af09f76d41ad3a2c91d5a929fa079d695e9fde53
[kopensolaris-gnu/glibc.git] / db2 / btree / bt_put.c
1 /*-
2  * See the file LICENSE for redistribution information.
3  *
4  * Copyright (c) 1996, 1997
5  *      Sleepycat Software.  All rights reserved.
6  */
7 /*
8  * Copyright (c) 1990, 1993, 1994, 1995, 1996
9  *      Keith Bostic.  All rights reserved.
10  */
11 /*
12  * Copyright (c) 1990, 1993, 1994, 1995
13  *      The Regents of the University of California.  All rights reserved.
14  *
15  * This code is derived from software contributed to Berkeley by
16  * Mike Olson.
17  *
18  * Redistribution and use in source and binary forms, with or without
19  * modification, are permitted provided that the following conditions
20  * are met:
21  * 1. Redistributions of source code must retain the above copyright
22  *    notice, this list of conditions and the following disclaimer.
23  * 2. Redistributions in binary form must reproduce the above copyright
24  *    notice, this list of conditions and the following disclaimer in the
25  *    documentation and/or other materials provided with the distribution.
26  * 3. All advertising materials mentioning features or use of this software
27  *    must display the following acknowledgement:
28  *      This product includes software developed by the University of
29  *      California, Berkeley and its contributors.
30  * 4. Neither the name of the University nor the names of its contributors
31  *    may be used to endorse or promote products derived from this software
32  *    without specific prior written permission.
33  *
34  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
35  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
36  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
37  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
38  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
39  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
40  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
41  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
42  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
43  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
44  * SUCH DAMAGE.
45  */
46
47 #include "config.h"
48
49 #ifndef lint
50 static const char sccsid[] = "@(#)bt_put.c      10.25 (Sleepycat) 9/17/97";
51 #endif /* not lint */
52
53 #ifndef NO_SYSTEM_INCLUDES
54 #include <sys/types.h>
55
56 #include <errno.h>
57 #include <stdio.h>
58 #include <stdlib.h>
59 #include <string.h>
60 #endif
61
62 #include "db_int.h"
63 #include "db_page.h"
64 #include "btree.h"
65
66 static int __bam_fixed __P((BTREE *, DBT *));
67 static int __bam_lookup __P((DB *, DBT *, int *));
68 static int __bam_ndup __P((DB *, PAGE *, u_int32_t));
69 static int __bam_partial __P((DB *, DBT *, PAGE *, u_int32_t));
70
71 /*
72  * __bam_put --
73  *      Add a new key/data pair or replace an existing pair (btree).
74  *
75  * PUBLIC: int __bam_put __P((DB *, DB_TXN *, DBT *, DBT *, int));
76  */
77 int
78 __bam_put(argdbp, txn, key, data, flags)
79         DB *argdbp;
80         DB_TXN *txn;
81         DBT *key, *data;
82         int flags;
83 {
84         BTREE *t;
85         CURSOR c;
86         DB *dbp;
87         PAGE *h;
88         db_indx_t indx;
89         int exact, iflags, newkey, replace, ret, stack;
90
91         DEBUG_LWRITE(argdbp, txn, "bam_put", key, data, flags);
92
93         /* Check flags. */
94         if ((ret = __db_putchk(argdbp, key, data, flags,
95             F_ISSET(argdbp, DB_AM_RDONLY), F_ISSET(argdbp, DB_AM_DUP))) != 0)
96                 return (ret);
97
98         GETHANDLE(argdbp, txn, &dbp, ret);
99         t = dbp->internal;
100
101 retry:  /*
102          * Find the location at which to insert.  The call to __bam_lookup
103          * leaves the returned page pinned.
104          */
105         if ((ret = __bam_lookup(dbp, key, &exact)) != 0) {
106                 PUTHANDLE(dbp);
107                 return (ret);
108         }
109         h = t->bt_csp->page;
110         indx = t->bt_csp->indx;
111         stack = 1;
112
113         /*
114          * If an identical key is already in the tree, and DB_NOOVERWRITE is
115          * set, an error is returned.  If an identical key is already in the
116          * tree and DB_NOOVERWRITE is not set, the key is either added (when
117          * duplicates are permitted) or an error is returned.  The exception
118          * is when the item located is referenced by a cursor and marked for
119          * deletion, in which case we permit the overwrite and flag the cursor.
120          */
121         replace = 0;
122         if (exact && flags == DB_NOOVERWRITE) {
123                 if (!B_DISSET(GET_BKEYDATA(h, indx + O_INDX)->type)) {
124                         ret = DB_KEYEXIST;
125                         goto err;
126                 }
127                 replace = 1;
128                 __bam_ca_replace(dbp, h->pgno, indx, REPLACE_SETUP);
129         }
130
131         /*
132          * If we're inserting into the first or last page of the tree,
133          * remember where we did it so we can do fast lookup next time.
134          *
135          * XXX
136          * Does reverse order still work (did it ever!?!?)
137          */
138         t->bt_lpgno =
139             h->next_pgno == PGNO_INVALID || h->prev_pgno == PGNO_INVALID ?
140             h->pgno : PGNO_INVALID;
141
142         /*
143          * Select the arguments for __bam_iitem() and do the insert.  If the
144          * key is an exact match, we're either adding a new duplicate at the
145          * end of the duplicate set, or we're replacing the data item with a
146          * new data item.  If the key isn't an exact match, we're inserting
147          * a new key/data pair, before the search location.
148          */
149         newkey = dbp->type == DB_BTREE && !exact;
150         if (exact) {
151                 if (F_ISSET(dbp, DB_AM_DUP)) {
152                         /*
153                          * Make sure that we're not looking at a page of
154                          * duplicates -- if so, move to the last entry on
155                          * that page.
156                          */
157                         c.page = h;
158                         c.pgno = h->pgno;
159                         c.indx = indx;
160                         c.dpgno = PGNO_INVALID;
161                         c.dindx = 0;
162                         if ((ret =
163                             __bam_ovfl_chk(dbp, &c, indx + O_INDX, 1)) != 0)
164                                 goto err;
165                         if (c.dpgno != PGNO_INVALID) {
166                                 /*
167                                  * XXX
168                                  * The __bam_ovfl_chk() routine memp_fput() the
169                                  * current page and acquired a new one, but did
170                                  * not do anything about the lock we're holding.
171                                  */
172                                 t->bt_csp->page = h = c.page;
173                                 indx = c.dindx;
174                         }
175                         iflags = DB_AFTER;
176                 } else
177                         iflags = DB_CURRENT;
178         } else
179                 iflags = DB_BEFORE;
180
181         /*
182          * The pages we're using may be modified by __bam_iitem(), so make
183          * sure we reset the stack.
184          */
185         ret = __bam_iitem(dbp,
186             &h, &indx, key, data, iflags, newkey ? BI_NEWKEY : 0);
187         t->bt_csp->page = h;
188         t->bt_csp->indx = indx;
189
190         switch (ret) {
191         case 0:
192                 /*
193                  * Done.  Clean up the cursor, and, if we're doing record
194                  * numbers, adjust the internal page counts.
195                  */
196                 if (replace)
197                         __bam_ca_replace(dbp, h->pgno, indx, REPLACE_SUCCESS);
198
199                 if (!replace && F_ISSET(dbp, DB_BT_RECNUM))
200                         ret = __bam_adjust(dbp, t, 1);
201                 break;
202         case DB_NEEDSPLIT:
203                 /*
204                  * We have to split the page.  Back out the cursor setup,
205                  * discard the stack of pages, and do the split.
206                  */
207                 if (replace) {
208                         replace = 0;
209                         __bam_ca_replace(dbp, h->pgno, indx, REPLACE_FAILED);
210                 }
211
212                 (void)__bam_stkrel(dbp);
213                 stack = 0;
214
215                 if ((ret = __bam_split(dbp, key)) != 0)
216                         break;
217
218                 goto retry;
219                 /* NOTREACHED */
220         default:
221                 if (replace)
222                         __bam_ca_replace(dbp, h->pgno, indx, REPLACE_FAILED);
223                 break;
224         }
225
226 err:    if (stack)
227                 (void)__bam_stkrel(dbp);
228
229         PUTHANDLE(dbp);
230         return (ret);
231 }
232
233 /*
234  * __bam_lookup --
235  *      Find the right location in the tree for the key.
236  */
237 static int
238 __bam_lookup(dbp, key, exactp)
239         DB *dbp;
240         DBT *key;
241         int *exactp;
242 {
243         BTREE *t;
244         DB_LOCK lock;
245         EPG e;
246         PAGE *h;
247         db_indx_t indx;
248         int cmp, ret;
249
250         t = dbp->internal;
251         h = NULL;
252
253         /*
254          * Record numbers can't be fast-tracked, we have to lock the entire
255          * tree.
256          */
257         if (F_ISSET(dbp, DB_BT_RECNUM))
258                 goto slow;
259
260         /* Check to see if we've been seeing sorted input. */
261         if (t->bt_lpgno == PGNO_INVALID)
262                 goto slow;
263
264         /*
265          * Retrieve the page on which we did the last insert.  It's okay if
266          * it doesn't exist, or if it's not the page type we expect, it just
267          * means that the world changed.
268          */
269         if (__bam_lget(dbp, 0, t->bt_lpgno, DB_LOCK_WRITE, &lock))
270                 goto miss;
271         if (__bam_pget(dbp, &h, &t->bt_lpgno, 0)) {
272                 (void)__BT_LPUT(dbp, lock);
273                 goto miss;
274         }
275         if (TYPE(h) != P_LBTREE)
276                 goto miss;
277         if (NUM_ENT(h) == 0)
278                 goto miss;
279
280         /*
281          * We have to be at the end or beginning of the tree to know that
282          * we're inserting in a sort order.  If that's the case and we're
283          * in the right order in comparison to the first/last key/data pair,
284          * we have the right position.
285          */
286         if (h->next_pgno == PGNO_INVALID) {
287                 e.page = h;
288                 e.indx = NUM_ENT(h) - P_INDX;
289                 if ((cmp = __bam_cmp(dbp, key, &e)) >= 0) {
290                         if (cmp > 0)
291                                 e.indx += P_INDX;
292                         goto fast;
293                 }
294         }
295         if (h->prev_pgno == PGNO_INVALID) {
296                 e.page = h;
297                 e.indx = 0;
298                 if ((cmp = __bam_cmp(dbp, key, &e)) <= 0) {
299                         /*
300                          * We're doing a put, so we want to insert as the last
301                          * of any set of duplicates.
302                          */
303                         if (cmp == 0) {
304                                 for (indx = 0;
305                                     indx < (db_indx_t)(NUM_ENT(h) - P_INDX) &&
306                                     h->inp[indx] == h->inp[indx + P_INDX];
307                                     indx += P_INDX);
308                                 e.indx = indx;
309                         }
310                         goto fast;
311                 }
312         }
313         goto miss;
314
315         /* Set the exact match flag in case we've already inserted this key. */
316 fast:   *exactp = cmp == 0;
317
318         /* Enter the entry in the stack. */
319         BT_STK_CLR(t);
320         BT_STK_ENTER(t, e.page, e.indx, lock, ret);
321         if (ret != 0)
322                 return (ret);
323
324         ++t->lstat.bt_cache_hit;
325         return (0);
326
327 miss:   ++t->lstat.bt_cache_miss;
328         if (h != NULL) {
329                 (void)memp_fput(dbp->mpf, h, 0);
330                 (void)__BT_LPUT(dbp, lock);
331         }
332
333 slow:   return (__bam_search(dbp, key, S_INSERT, 1, NULL, exactp));
334 }
335
336 /*
337  * OVPUT --
338  *      Copy an overflow item onto a page.
339  */
340 #undef  OVPUT
341 #define OVPUT(h, indx, bo) do {                                         \
342         DBT __hdr;                                                      \
343         memset(&__hdr, 0, sizeof(__hdr));                               \
344         __hdr.data = &bo;                                               \
345         __hdr.size = BOVERFLOW_SIZE;                                    \
346         if ((ret = __db_pitem(dbp,                                      \
347             h, indx, BOVERFLOW_SIZE, &__hdr, NULL)) != 0)               \
348                 return (ret);                                           \
349 } while (0)
350
351 /*
352  * __bam_iitem --
353  *      Insert an item into the tree.
354  *
355  * PUBLIC: int __bam_iitem __P((DB *,
356  * PUBLIC:    PAGE **, db_indx_t *, DBT *, DBT *, int, int));
357  */
358 int
359 __bam_iitem(dbp, hp, indxp, key, data, op, flags)
360         DB *dbp;
361         PAGE **hp;
362         db_indx_t *indxp;
363         DBT *key, *data;
364         int op, flags;
365 {
366         BTREE *t;
367         BKEYDATA *bk;
368         BOVERFLOW kbo, dbo;
369         DBT tdbt;
370         PAGE *h;
371         db_indx_t indx;
372         u_int32_t have_bytes, need_bytes, needed;
373         int bigkey, bigdata, dcopy, dupadjust, ret;
374
375         t = dbp->internal;
376         h = *hp;
377         indx = *indxp;
378
379         dupadjust = 0;
380         bk = NULL;                      /* XXX: Shut the compiler up. */
381
382         /*
383          * If it's a page of duplicates, call the common code to do the work.
384          *
385          * !!!
386          * Here's where the hp and indxp are important.  The duplicate code
387          * may decide to rework/rearrange the pages and indices we're using,
388          * so the caller must understand that the stack has to change.
389          */
390         if (TYPE(h) == P_DUPLICATE) {
391                 /* Adjust the index for the new item if it's a DB_AFTER op. */
392                 if (op == DB_AFTER)
393                         ++*indxp;
394
395                 /* Remove the current item if it's a DB_CURRENT op. */
396                 if (op == DB_CURRENT && (ret = __db_ditem(dbp, *hp, *indxp,
397                     BKEYDATA_SIZE(GET_BKEYDATA(*hp, *indxp)->len))) != 0)
398                         return (ret);
399
400                 /* Put the new/replacement item onto the page. */
401                 return (__db_dput(dbp, data, hp, indxp, __bam_new));
402         }
403
404         /*
405          * XXX
406          * Handle partial puts.
407          *
408          * This is truly awful from a performance standput.  We don't optimize
409          * for partial puts at all, we delete the record and add it back in,
410          * regardless of size or if we're simply overwriting current data.
411          * The hash access method does this a lot better than we do, and we're
412          * eventually going to have to fix it.
413          */
414         if (F_ISSET(data, DB_DBT_PARTIAL)) {
415                 tdbt = *data;
416                 if ((ret = __bam_partial(dbp, &tdbt, h, indx)) != 0)
417                         return (ret);
418                 data = &tdbt;
419         }
420
421         /* If it's a short fixed-length record, fix it up. */
422         if (F_ISSET(dbp, DB_RE_FIXEDLEN) && data->size != t->bt_recno->re_len) {
423                 tdbt = *data;
424                 if ((ret = __bam_fixed(t, &tdbt)) != 0)
425                         return (ret);
426                 data = &tdbt;
427         }
428
429         /*
430          * If the key or data item won't fit on a page, store it in the
431          * overflow pages.
432          *
433          * !!!
434          * From this point on, we have to recover the allocated overflow
435          * pages on error.
436          */
437         bigkey = bigdata = 0;
438         if (LF_ISSET(BI_NEWKEY) && key->size > t->bt_ovflsize) {
439                 B_TSET(kbo.type, B_OVERFLOW, 0);
440                 kbo.tlen = key->size;
441                 if ((ret = __db_poff(dbp, key, &kbo.pgno, __bam_new)) != 0)
442                         goto err;
443                 bigkey = 1;
444         }
445         if (data->size > t->bt_ovflsize) {
446                 B_TSET(dbo.type, B_OVERFLOW, 0);
447                 dbo.tlen = data->size;
448                 if ((ret = __db_poff(dbp, data, &dbo.pgno, __bam_new)) != 0)
449                         goto err;
450                 bigdata = 1;
451         }
452
453         dcopy = 0;
454         needed = 0;
455         if (LF_ISSET(BI_NEWKEY)) {
456                 /* If BI_NEWKEY is set we're adding a new key and data pair. */
457                 if (bigkey)
458                         needed += BOVERFLOW_PSIZE;
459                 else
460                         needed += BKEYDATA_PSIZE(key->size);
461                 if (bigdata)
462                         needed += BOVERFLOW_PSIZE;
463                 else
464                         needed += BKEYDATA_PSIZE(data->size);
465         } else {
466                 /*
467                  * We're either overwriting the data item of a key/data pair
468                  * or we're adding the data item only, i.e. a new duplicate.
469                  */
470                 if (op == DB_CURRENT) {
471                         bk = GET_BKEYDATA(h,
472                             indx + (TYPE(h) == P_LBTREE ? O_INDX : 0));
473                         if (B_TYPE(bk->type) == B_OVERFLOW)
474                                 have_bytes = BOVERFLOW_PSIZE;
475                         else
476                                 have_bytes = BKEYDATA_PSIZE(bk->len);
477                         need_bytes = 0;
478                 } else {
479                         have_bytes = 0;
480                         need_bytes = sizeof(db_indx_t);
481                 }
482                 if (bigdata)
483                         need_bytes += BOVERFLOW_PSIZE;
484                 else
485                         need_bytes += BKEYDATA_PSIZE(data->size);
486
487                 /*
488                  * If we're overwriting a data item, we copy it if it's not a
489                  * special record type and it's the same size (including any
490                  * alignment) and do a delete/insert otherwise.
491                  */
492                 if (op == DB_CURRENT && !bigdata &&
493                     B_TYPE(bk->type) == B_KEYDATA && have_bytes == need_bytes)
494                         dcopy = 1;
495                 if (have_bytes < need_bytes)
496                         needed += need_bytes - have_bytes;
497         }
498
499         /*
500          * If there's not enough room, or the user has put a ceiling on the
501          * number of keys permitted in the page, split the page.
502          *
503          * XXX
504          * The t->bt_maxkey test here may be insufficient -- do we have to
505          * check in the btree split code, so we don't undo it there!?!?
506          */
507         if (P_FREESPACE(h) < needed ||
508             (t->bt_maxkey != 0 && NUM_ENT(h) > t->bt_maxkey)) {
509                 ret = DB_NEEDSPLIT;
510                 goto err;
511         }
512
513         /*
514          * The code breaks it up into six cases:
515          *
516          * 1. Append a new key/data pair.
517          * 2. Insert a new key/data pair.
518          * 3. Copy the data item.
519          * 4. Delete/insert the data item.
520          * 5. Append a new data item.
521          * 6. Insert a new data item.
522          */
523         if (LF_ISSET(BI_NEWKEY)) {
524                 switch (op) {
525                 case DB_AFTER:          /* 1. Append a new key/data pair. */
526                         indx += 2;
527                         *indxp += 2;
528                         break;
529                 case DB_BEFORE:         /* 2. Insert a new key/data pair. */
530                         break;
531                 default:
532                         abort();
533                 }
534
535                 /* Add the key. */
536                 if (bigkey)
537                         OVPUT(h, indx, kbo);
538                 else {
539                         DBT __data;
540                         memset(&__data, 0, sizeof(__data));
541                         __data.data = key->data;
542                         __data.size = key->size;
543                         if ((ret = __db_pitem(dbp, h, indx,
544                             BKEYDATA_SIZE(key->size), NULL, &__data)) != 0)
545                                 goto err;
546                 }
547                 ++indx;
548         } else {
549                 switch (op) {
550                 case DB_CURRENT:        /* 3. Copy the data item. */
551                         /*
552                          * If we're not logging and it's possible, overwrite
553                          * the current item.
554                          *
555                          * XXX
556                          * We should add a separate logging message so that
557                          * we can do this anytime it's possible, including
558                          * for partial record puts.
559                          */
560                         if (dcopy && !DB_LOGGING(dbp)) {
561                                 bk->len = data->size;
562                                 memcpy(bk->data, data->data, data->size);
563                                 goto done;
564                         }
565                                         /* 4. Delete/insert the data item. */
566                         if (TYPE(h) == P_LBTREE)
567                                 ++indx;
568                         if ((ret = __bam_ditem(dbp, h, indx)) != 0)
569                                 goto err;
570                         break;
571                 case DB_AFTER:          /* 5. Append a new data item. */
572                         if (TYPE(h) == P_LBTREE) {
573                                 /*
574                                  * Adjust the cursor and copy in the key for
575                                  * the duplicate.
576                                  */
577                                 if ((ret = __bam_adjindx(dbp,
578                                     h, indx + P_INDX, indx, 1)) != 0)
579                                         goto err;
580
581                                 indx += 3;
582                                 dupadjust = 1;
583
584                                 *indxp += 2;
585                         } else {
586                                 ++indx;
587                                 __bam_ca_di(dbp, h->pgno, indx, 1);
588
589                                 *indxp += 1;
590                         }
591                         break;
592                 case DB_BEFORE:         /* 6. Insert a new data item. */
593                         if (TYPE(h) == P_LBTREE) {
594                                 /*
595                                  * Adjust the cursor and copy in the key for
596                                  * the duplicate.
597                                  */
598                                 if ((ret =
599                                     __bam_adjindx(dbp, h, indx, indx, 1)) != 0)
600                                         goto err;
601
602                                 ++indx;
603                                 dupadjust = 1;
604                         } else
605                                 __bam_ca_di(dbp, h->pgno, indx, 1);
606                         break;
607                 default:
608                         abort();
609                 }
610         }
611
612         /* Add the data. */
613         if (bigdata)
614                 OVPUT(h, indx, dbo);
615         else {
616                 BKEYDATA __bk;
617                 DBT __hdr, __data;
618                 memset(&__data, 0, sizeof(__data));
619                 __data.data = data->data;
620                 __data.size = data->size;
621
622                 if (LF_ISSET(BI_DELETED)) {
623                         B_TSET(__bk.type, B_KEYDATA, 1);
624                         __bk.len = __data.size;
625                         __hdr.data = &__bk;
626                         __hdr.size = SSZA(BKEYDATA, data);
627                         ret = __db_pitem(dbp, h, indx,
628                             BKEYDATA_SIZE(__data.size), &__hdr, &__data);
629                 } else
630                         ret = __db_pitem(dbp, h, indx,
631                             BKEYDATA_SIZE(data->size), NULL, &__data);
632                 if (ret != 0)
633                         goto err;
634         }
635
636 done:   ++t->lstat.bt_added;
637
638         ret = memp_fset(dbp->mpf, h, DB_MPOOL_DIRTY);
639
640         /*
641          * If the page is at least 50% full, and we added a duplicate, see if
642          * that set of duplicates takes up at least 25% of the space.  If it
643          * does, move it off onto its own page.
644          */
645         if (dupadjust && P_FREESPACE(h) <= dbp->pgsize / 2) {
646                 --indx;
647                 if ((ret = __bam_ndup(dbp, h, indx)) != 0)
648                         goto err;
649         }
650
651         if (t->bt_recno != NULL)
652                 F_SET(t->bt_recno, RECNO_MODIFIED);
653
654         if (0) {
655 err:            if (bigkey)
656                         (void)__db_doff(dbp, kbo.pgno, __bam_free);
657                 if (bigdata)
658                         (void)__db_doff(dbp, dbo.pgno, __bam_free);
659         }
660         return (ret);
661 }
662
663 /*
664  * __bam_ndup --
665  *      Check to see if the duplicate set at indx should have its own page.
666  *      If it should, create it.
667  */
668 static int
669 __bam_ndup(dbp, h, indx)
670         DB *dbp;
671         PAGE *h;
672         u_int32_t indx;
673 {
674         BKEYDATA *bk;
675         BOVERFLOW bo;
676         DBT hdr;
677         PAGE *cp;
678         db_indx_t cnt, cpindx, first, sz;
679         int ret;
680
681         while (indx > 0 && h->inp[indx] == h->inp[indx - P_INDX])
682                 indx -= P_INDX;
683         for (cnt = 0, sz = 0, first = indx;; ++cnt, indx += P_INDX) {
684                 if (indx >= NUM_ENT(h) || h->inp[first] != h->inp[indx])
685                         break;
686                 bk = GET_BKEYDATA(h, indx);
687                 sz += B_TYPE(bk->type) == B_KEYDATA ?
688                     BKEYDATA_PSIZE(bk->len) : BOVERFLOW_PSIZE;
689                 bk = GET_BKEYDATA(h, indx + O_INDX);
690                 sz += B_TYPE(bk->type) == B_KEYDATA ?
691                     BKEYDATA_PSIZE(bk->len) : BOVERFLOW_PSIZE;
692         }
693
694         /*
695          * If this set of duplicates is using more than 25% of the page, move
696          * them off.  The choice of 25% is a WAG, but it has to be small enough
697          * that we can always split regardless of the presence of duplicates.
698          */
699         if (sz < dbp->pgsize / 4)
700                 return (0);
701
702         /* Get a new page. */
703         if ((ret = __bam_new(dbp, P_DUPLICATE, &cp)) != 0)
704                 return (ret);
705
706         /*
707          * Move this set of duplicates off the page.  First points to the first
708          * key of the first duplicate key/data pair, cnt is the number of pairs
709          * we're dealing with.
710          */
711         memset(&hdr, 0, sizeof(hdr));
712         for (indx = first + O_INDX, cpindx = 0;; ++cpindx) {
713                 /* Copy the entry to the new page. */
714                 bk = GET_BKEYDATA(h, indx);
715                 hdr.data = bk;
716                 hdr.size = B_TYPE(bk->type) == B_KEYDATA ?
717                     BKEYDATA_SIZE(bk->len) : BOVERFLOW_SIZE;
718                 if ((ret =
719                     __db_pitem(dbp, cp, cpindx, hdr.size, &hdr, NULL)) != 0)
720                         goto err;
721
722                 /*
723                  * Move cursors referencing the old entry to the new entry.
724                  * Done after the page put because __db_pitem() adjusts
725                  * cursors on the new page, and before the delete because
726                  * __db_ditem adjusts cursors on the old page.
727                  */
728                 __bam_ca_dup(dbp,
729                     PGNO(h), first, indx - O_INDX, PGNO(cp), cpindx);
730
731                 /* Delete the data item. */
732                 if ((ret = __db_ditem(dbp, h, indx, hdr.size)) != 0)
733                         goto err;
734
735                 /* Delete all but the first reference to the key. */
736                 if (--cnt == 0)
737                         break;
738                 if ((ret = __bam_adjindx(dbp, h, indx, first, 0)) != 0)
739                         goto err;
740         }
741
742         /* Put in a new data item that points to the duplicates page. */
743         B_TSET(bo.type, B_DUPLICATE, 0);
744         bo.pgno = cp->pgno;
745         bo.tlen = 0;
746
747         OVPUT(h, indx, bo);
748
749         return (memp_fput(dbp->mpf, cp, DB_MPOOL_DIRTY));
750
751 err:    (void)__bam_free(dbp, cp);
752         return (ret);
753 }
754
755 /*
756  * __bam_fixed --
757  *      Build the real record for a fixed length put.
758  */
759 static int
760 __bam_fixed(t, dbt)
761         BTREE *t;
762         DBT *dbt;
763 {
764         RECNO *rp;
765
766         rp = t->bt_recno;
767
768         /*
769          * If using fixed-length records, and the record is long, return
770          * EINVAL.  If it's short, pad it out.  Use the record data return
771          * memory, it's only short-term.
772          */
773         if (dbt->size > rp->re_len)
774                 return (EINVAL);
775         if (t->bt_rdata.ulen < rp->re_len) {
776                 t->bt_rdata.data = t->bt_rdata.data == NULL ?
777                     (void *)malloc(rp->re_len) :
778                     (void *)realloc(t->bt_rdata.data, rp->re_len);
779                 if (t->bt_rdata.data == NULL) {
780                         t->bt_rdata.ulen = 0;
781                         return (ENOMEM);
782                 }
783                 t->bt_rdata.ulen = rp->re_len;
784         }
785         memcpy(t->bt_rdata.data, dbt->data, dbt->size);
786         memset((u_int8_t *)t->bt_rdata.data + dbt->size,
787             rp->re_pad, rp->re_len - dbt->size);
788
789         /* Set the DBT to reference our new record. */
790         t->bt_rdata.size = rp->re_len;
791         t->bt_rdata.dlen = 0;
792         t->bt_rdata.doff = 0;
793         t->bt_rdata.flags = 0;
794         *dbt = t->bt_rdata;
795         return (0);
796 }
797
798 /*
799  * __bam_partial --
800  *      Build the real record for a partial put.
801  */
802 static int
803 __bam_partial(dbp, dbt, h, indx)
804         DB *dbp;
805         DBT *dbt;
806         PAGE *h;
807         u_int32_t indx;
808 {
809         BTREE *t;
810         BKEYDATA *bk, tbk;
811         BOVERFLOW *bo;
812         DBT copy;
813         u_int32_t len, nbytes, tlen;
814         int ret;
815         u_int8_t *p;
816
817         bo = NULL;                      /* XXX: Shut the compiler up. */
818         t = dbp->internal;
819
820         /*
821          * Figure out how much total space we'll need.  Worst case is where
822          * the record is 0 bytes long, in which case doff causes the record
823          * to extend, and the put data is appended to it.
824          */
825         if (indx < NUM_ENT(h)) {
826                 bk = GET_BKEYDATA(h, indx + (TYPE(h) == P_LBTREE ? O_INDX : 0));
827                 if (B_TYPE(bk->type) == B_OVERFLOW) {
828                         bo = (BOVERFLOW *)bk;
829                         nbytes = bo->tlen;
830                 } else
831                         nbytes = bk->len;
832         } else {
833                 bk = &tbk;
834                 B_TSET(bk->type, B_KEYDATA, 0);
835                 nbytes = bk->len = 0;
836         }
837         nbytes += dbt->doff + dbt->size + dbt->dlen;
838
839         /* Allocate the space. */
840         if (t->bt_rdata.ulen < nbytes) {
841                 t->bt_rdata.data = t->bt_rdata.data == NULL ?
842                     (void *)malloc(nbytes) :
843                     (void *)realloc(t->bt_rdata.data, nbytes);
844                 if (t->bt_rdata.data == NULL) {
845                         t->bt_rdata.ulen = 0;
846                         return (ENOMEM);
847                 }
848                 t->bt_rdata.ulen = nbytes;
849         }
850
851         /* We use nul bytes for extending the record, get it over with. */
852         memset(t->bt_rdata.data, 0, nbytes);
853
854         tlen = 0;
855         if (B_TYPE(bk->type) == B_OVERFLOW) {
856                 /* Take up to doff bytes from the record. */
857                 memset(&copy, 0, sizeof(copy));
858                 if ((ret = __db_goff(dbp, &copy, bo->tlen,
859                     bo->pgno, &t->bt_rdata.data, &t->bt_rdata.ulen)) != 0)
860                         return (ret);
861                 tlen += dbt->doff;
862
863                 /*
864                  * If the original record was larger than the offset:
865                  *      If dlen > size, shift the remaining data down.
866                  *      If dlen < size, shift the remaining data up.
867                  * Use memmove(), the regions may overlap.
868                  */
869                 p = t->bt_rdata.data;
870                 if (bo->tlen > dbt->doff)
871                         if (dbt->dlen > dbt->size) {
872                                 tlen += len = bo->tlen -
873                                     dbt->doff - (dbt->dlen - dbt->size);
874                                 memmove(p + dbt->doff + dbt->size,
875                                     p + dbt->doff + dbt->dlen, len);
876                         } else if (dbt->dlen < dbt->size) {
877                                 tlen += len = bo->tlen -
878                                     dbt->doff - (dbt->size - dbt->dlen);
879                                 memmove(p + dbt->doff + dbt->dlen,
880                                     p + dbt->doff + dbt->size, len);
881                         } else
882                                 tlen += bo->tlen - dbt->doff;
883
884                 /* Copy in the user's data. */
885                 memcpy((u_int8_t *)t->bt_rdata.data + dbt->doff,
886                     dbt->data, dbt->size);
887                 tlen += dbt->size;
888         } else {
889                 /* Take up to doff bytes from the record. */
890                 memcpy(t->bt_rdata.data,
891                     bk->data, dbt->doff > bk->len ? bk->len : dbt->doff);
892                 tlen += dbt->doff;
893
894                 /* Copy in the user's data. */
895                 memcpy((u_int8_t *)t->bt_rdata.data +
896                     dbt->doff, dbt->data, dbt->size);
897                 tlen += dbt->size;
898
899                 /* Copy in any remaining data. */
900                 len = dbt->doff + dbt->dlen;
901                 if (bk->len > len) {
902                         memcpy((u_int8_t *)t->bt_rdata.data + dbt->doff +
903                             dbt->size, bk->data + len, bk->len - len);
904                         tlen += bk->len - len;
905                 }
906         }
907
908         /* Set the DBT to reference our new record. */
909         t->bt_rdata.size = tlen;
910         t->bt_rdata.dlen = 0;
911         t->bt_rdata.doff = 0;
912         t->bt_rdata.flags = 0;
913         *dbt = t->bt_rdata;
914         return (0);
915 }