db2/db/db.c

   1 /*-
   2  * See the file LICENSE for redistribution information.
   3  *
   4  * Copyright (c) 1996, 1997
   5  *      Sleepycat Software.  All rights reserved.
   6  */
   7 /*
   8  * Copyright (c) 1990, 1993, 1994, 1995, 1996
   9  *      Keith Bostic.  All rights reserved.
  10  */
  11 /*
  12  * Copyright (c) 1990, 1993, 1994, 1995
  13  *      The Regents of the University of California.  All rights reserved.
  14  *
  15  * Redistribution and use in source and binary forms, with or without
  16  * modification, are permitted provided that the following conditions
  17  * are met:
  18  * 1. Redistributions of source code must retain the above copyright
  19  *    notice, this list of conditions and the following disclaimer.
  20  * 2. Redistributions in binary form must reproduce the above copyright
  21  *    notice, this list of conditions and the following disclaimer in the
  22  *    documentation and/or other materials provided with the distribution.
  23  * 3. All advertising materials mentioning features or use of this software
  24  *    must display the following acknowledgement:
  25  *      This product includes software developed by the University of
  26  *      California, Berkeley and its contributors.
  27  * 4. Neither the name of the University nor the names of its contributors
  28  *    may be used to endorse or promote products derived from this software
  29  *    without specific prior written permission.
  30  *
  31  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  32  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  33  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  34  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  35  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  36  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  37  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  38  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  39  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  40  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  41  * SUCH DAMAGE.
  42  */
  43
  44 #include "config.h"
  45
  46 #ifndef lint
  47 static const char sccsid[] = "@(#)db.c  10.38 (Sleepycat) 9/2/97";
  48 #endif /* not lint */
  49
  50 #ifndef NO_SYSTEM_INCLUDES
  51 #include <sys/types.h>
  52 #include <sys/stat.h>
  53
  54 #include <errno.h>
  55 #include <fcntl.h>
  56 #include <stddef.h>
  57 #include <stdio.h>
  58 #include <stdlib.h>
  59 #include <string.h>
  60 #include <unistd.h>
  61 #endif
  62
  63 #include "db_int.h"
  64 #include "shqueue.h"
  65 #include "db_page.h"
  66 #include "db_shash.h"
  67 #include "db_swap.h"
  68 #include "btree.h"
  69 #include "hash.h"
  70 #include "mp.h"
  71 #include "db_am.h"
  72 #include "common_ext.h"
  73
  74 static int db_close __P((DB *, int));
  75 static int db_fd __P((DB *, int *));
  76
  77 /*
  78  * If the metadata page has the flag set, set the local flag.  If the page
  79  * does NOT have the flag set, return EINVAL if the user's dbinfo argument
  80  * caused us to already set the local flag.
  81  */
  82 #define DBINFO_FCHK(dbp, fn, meta_flags, m_name, dbp_name) {            \
  83         if ((meta_flags) & (m_name))                                    \
  84                 F_SET(dbp, dbp_name);                                   \
  85         else                                                            \
  86                 if (F_ISSET(dbp, dbp_name)) {                           \
  87                         __db_err(dbenv,                                 \
  88             "%s: %s specified in dbinfo argument but not set in file",  \
  89                             fname, fn);                                 \
  90                         goto einval;                                    \
  91                 }                                                       \
  92 }
  93
  94 /*
  95  * db_open --
  96  *      Main library interface to the DB access methods.
  97  */
  98 int
  99 db_open(fname, type, flags, mode, dbenv, dbinfo, dbpp)
 100         const char *fname;
 101         DBTYPE type;
 102         int flags, mode;
 103         DB_ENV *dbenv;
 104         DB_INFO *dbinfo;
 105         DB **dbpp;
 106 {
 107         BTMETA *btm;
 108         DB *dbp;
 109         DBT pgcookie;
 110         DB_ENV *envp, t_dbenv;
 111         DB_PGINFO pginfo;
 112         HASHHDR *hashm;
 113         off_t io;
 114         size_t cachesize;
 115         ssize_t nr;
 116         int fd, ftype, need_fileid, restore, ret, retry_cnt, swapped;
 117         char *real_name, mbuf[512];
 118
 119         /* Validate arguments. */
 120 #ifdef HAVE_SPINLOCKS
 121 #define OKFLAGS (DB_CREATE | DB_NOMMAP | DB_RDONLY | DB_THREAD | DB_TRUNCATE)
 122 #else
 123 #define OKFLAGS (DB_CREATE | DB_NOMMAP | DB_RDONLY | DB_TRUNCATE)
 124 #endif
 125         if ((ret = __db_fchk(dbenv, "db_open", flags, OKFLAGS)) != 0)
 126                 return (ret);
 127
 128         /* Initialize for error return. */
 129         fd = -1;
 130         need_fileid = 1;
 131         real_name = NULL;
 132
 133         /* Allocate the DB structure, reference the DB_ENV structure. */
 134         if ((dbp = (DB *)calloc(1, sizeof(DB))) == NULL) {
 135                 __db_err(dbenv, "%s", strerror(ENOMEM));
 136                 return (ENOMEM);
 137         }
 138         dbp->dbenv = dbenv;
 139
 140         /* Convert the dbinfo flags. */
 141         if (dbinfo != NULL) {
 142                 /*
 143                  * !!!
 144                  * We can't check for illegal flags until we know what type
 145                  * of open we're doing.
 146                  */
 147                 if (F_ISSET(dbinfo, DB_DELIMITER))
 148                         F_SET(dbp, DB_RE_DELIMITER);
 149                 if (F_ISSET(dbinfo, DB_DUP))
 150                         F_SET(dbp, DB_AM_DUP);
 151                 if (F_ISSET(dbinfo, DB_FIXEDLEN))
 152                         F_SET(dbp, DB_RE_FIXEDLEN);
 153                 if (F_ISSET(dbinfo, DB_PAD))
 154                         F_SET(dbp, DB_RE_PAD);
 155                 if (F_ISSET(dbinfo, DB_RECNUM))
 156                         F_SET(dbp, DB_BT_RECNUM);
 157                 if (F_ISSET(dbinfo, DB_RENUMBER))
 158                         F_SET(dbp, DB_RE_RENUMBER);
 159                 if (F_ISSET(dbinfo, DB_SNAPSHOT))
 160                         F_SET(dbp, DB_RE_SNAPSHOT);
 161         }
 162
 163         /* Set based on the open(2) flags. */
 164         if (LF_ISSET(DB_RDONLY))
 165                 F_SET(dbp, DB_AM_RDONLY);
 166
 167         /* Check threading fields. */
 168         if (LF_ISSET(DB_THREAD)) {
 169                 if ((dbp->mutex =
 170                     (db_mutex_t *)malloc(sizeof(db_mutex_t))) == NULL) {
 171                         __db_err(dbenv, "%s", strerror(ENOMEM));
 172                         ret = ENOMEM;
 173                         goto err;
 174                 }
 175                 __db_mutex_init(dbp->mutex, 0);
 176
 177                 F_SET(dbp, DB_AM_THREAD);
 178         }
 179
 180         /*
 181          * Always set the master and initialize the queues, so we can
 182          * use these fields without checking the thread bit.
 183          */
 184         dbp->master = dbp;
 185         LIST_INIT(&dbp->handleq);
 186         LIST_INSERT_HEAD(&dbp->handleq, dbp, links);
 187         TAILQ_INIT(&dbp->curs_queue);
 188
 189         /*
 190          * Set based on the dbenv fields, although no logging or transactions
 191          * are possible for temporary files.
 192          */
 193         if (dbp->dbenv != NULL) {
 194                 if (dbenv->lk_info != NULL)
 195                         F_SET(dbp, DB_AM_LOCKING);
 196                 if (fname != NULL && dbenv->lg_info != NULL)
 197                         F_SET(dbp, DB_AM_LOGGING);
 198         }
 199
 200         /* Set the common fields. */
 201         if (dbinfo == NULL) {
 202                 dbp->pgsize = 0;
 203                 dbp->db_malloc = NULL;
 204         } else {
 205                 dbp->pgsize = dbinfo->db_pagesize;
 206                 dbp->db_malloc = dbinfo->db_malloc;
 207         }
 208
 209         /* Fill in the default file mode. */
 210         if (mode == 0)
 211                 mode = S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP;
 212
 213         /* Check if the user wants us to swap byte order. */
 214         if (dbinfo != NULL)
 215                 switch (ret = __db_byteorder(dbenv, dbinfo->db_lorder)) {
 216                 case 0:
 217                         break;
 218                 case DB_SWAPBYTES:
 219                         F_SET(dbp, DB_AM_SWAP);
 220                         break;
 221                 default:
 222                         goto err;
 223                 }
 224
 225         /*
 226          * If we have a file name, try and read the first page, figure out
 227          * what type of file it is, and initialize everything we can based
 228          * on that file's meta-data page.
 229          *
 230          * XXX
 231          * We don't actually expect zero-length strings as arguments.  We
 232          * do the check, permitting them, because scripting languages, e.g.,
 233          * the Tcl test suite, doesn't know anything about passing NULL's.
 234          */
 235         if (fname != NULL && fname[0] != '\0') {
 236                 /* Get the real file name. */
 237                 if ((ret = __db_appname(dbenv,
 238                      DB_APP_DATA, NULL, fname, NULL, &real_name)) != 0)
 239                         goto err;
 240
 241                 /*
 242                  * Open the backing file.  We need to make sure that multiple
 243                  * processes attempting to create the file at the same time
 244                  * are properly ordered so that only one of them creates the
 245                  * "unique" file id, so we open it O_EXCL and O_CREAT so two
 246                  * simultaneous attempts to create the region will return
 247                  * failure in one of the attempts.  If we're one of the ones
 248                  * that fail, we simply retry without the O_CREAT flag, which
 249                  * will require that the meta-data page exist.
 250                  */
 251                 retry_cnt = 0;
 252 open_retry:     if (LF_ISSET(DB_CREATE)) {
 253                         if ((ret = __db_fdopen(real_name, flags | DB_EXCL,
 254                             OKFLAGS | DB_EXCL, mode, &fd)) != 0)
 255                                 if (ret == EEXIST) {
 256                                         LF_CLR(DB_CREATE);
 257                                         goto open_retry;
 258                                 } else {
 259                                         __db_err(dbenv,
 260                                             "%s: %s", fname, strerror(ret));
 261                                         goto err;
 262                                 }
 263                 } else
 264                         if ((ret = __db_fdopen(real_name,
 265                             flags, OKFLAGS, mode, &fd)) != 0) {
 266                                 __db_err(dbenv, "%s: %s", fname, strerror(ret));
 267                                 goto err;
 268                         }
 269
 270                 /*
 271                  * Use the optimum I/O size as the pagesize if a pagesize not
 272                  * specified.  Some filesystems have 64K as their optimum I/O
 273                  * size, but as that results in impossibly large default cache
 274                  * sizes, we limit the default pagesize to 16K.
 275                  */
 276                 if (dbp->pgsize == 0) {
 277                         if ((ret = __db_stat(dbp->dbenv,
 278                             real_name, fd, NULL, &io)) != 0)
 279                                 goto err;
 280                         if (io < 512)
 281                                 io = 512;
 282                         if (io > 16 * 1024)
 283                                 io = 16 * 1024;
 284                         dbp->pgsize = io;
 285                         F_SET(dbp, DB_AM_PGDEF);
 286                 }
 287
 288                 /*
 289                  * Try and read the first disk sector -- this code assumes
 290                  * that the meta-data for all access methods fits in 512
 291                  * bytes, and that no database will be smaller than that.
 292                  */
 293                 if ((ret = __db_read(fd, mbuf, sizeof(mbuf), &nr)) != 0)
 294                         goto err;
 295
 296                 /* The fd is no longer needed. */
 297                 (void)__db_close(fd);
 298                 fd = -1;
 299
 300                 if (nr != sizeof(mbuf)) {
 301                         if (nr != 0) {
 302                                 __db_err(dbenv,
 303                                     "%s: unexpected file format", fname);
 304                                 goto einval;
 305                         }
 306                         /*
 307                          * The only way we can reach here with the DB_CREATE
 308                          * flag set is if we created the file.  If that's not
 309                          * the case, then a) someone else created the file
 310                          * but has not yet written out the meta-data page, or
 311                          * b) we truncated the file (DB_TRUNCATE) leaving it
 312                          * zero-length.  In the case of a), we want to sleep
 313                          * and give the file creator some time to write the
 314                          * metadata page.  In the case of b), charge forward.
 315                          * Note, there is a race in the case of two processes
 316                          * opening the file with the DB_TRUNCATE flag set at
 317                          * roughly the same time, and they could theoretically
 318                          * hurt each other, although it's pretty unlikely.
 319                          */
 320                         if (retry_cnt++ < 3 &&
 321                             !LF_ISSET(DB_CREATE | DB_TRUNCATE)) {
 322                                 __db_sleep(1, 0);
 323                                 goto open_retry;
 324                         }
 325                         if (type == DB_UNKNOWN) {
 326                                 __db_err(dbenv,
 327                                     "%s: DBTYPE of unknown with empty file",
 328                                     fname);
 329                                 goto einval;
 330                         }
 331                         goto empty;
 332                 }
 333
 334                 /*
 335                  * A found file overrides some user information.  We'll check
 336                  * for possible error conditions based on conflicts between
 337                  * the file and the user's arguments below.
 338                  */
 339                 swapped = 0;
 340                 F_CLR(dbp, DB_AM_SWAP);
 341
 342 retry:          switch (((BTMETA *)mbuf)->magic) {
 343                 case DB_BTREEMAGIC:
 344                         if (type != DB_BTREE &&
 345                             type != DB_RECNO && type != DB_UNKNOWN)
 346                                 goto einval;
 347
 348                         btm = (BTMETA *)mbuf;
 349                         if (swapped && (ret = __bam_mswap((PAGE *)btm)) != 0)
 350                                 goto err;
 351
 352                         if (btm->version < DB_BTREEOLDVER ||
 353                             btm->version > DB_BTREEVERSION) {
 354                                 __db_err(dbenv,
 355                                     "%s: unsupported btree version number %lu",
 356                                     fname, (u_long)btm->version);
 357                                 goto einval;
 358                         }
 359                         dbp->pgsize = btm->pagesize;
 360                         F_CLR(dbp, DB_AM_PGDEF);
 361
 362                         if ((ret = __db_fchk(dbenv,
 363                             "db_open", btm->flags, BTM_MASK)) != 0)
 364                                 goto err;
 365                         DBINFO_FCHK(dbp, "DB_DUP",
 366                             btm->flags, BTM_DUP, DB_AM_DUP);
 367                         if (F_ISSET(btm, BTM_RECNO)) {
 368                                 DBINFO_FCHK(dbp, "DB_FIXEDLEN",
 369                                     btm->flags, BTM_FIXEDLEN, DB_RE_FIXEDLEN);
 370                                 DBINFO_FCHK(dbp, "DB_RENUMBER",
 371                                     btm->flags, BTM_RENUMBER, DB_RE_RENUMBER);
 372                                 type = DB_RECNO;
 373                         } else {
 374                                 DBINFO_FCHK(dbp, "DB_RECNUM",
 375                                     btm->flags, BTM_RECNUM, DB_BT_RECNUM);
 376                                 type = DB_BTREE;
 377                         }
 378
 379                         /* Copy the file's unique id. */
 380                         need_fileid = 0;
 381                         memcpy(dbp->lock.fileid, btm->uid, DB_FILE_ID_LEN);
 382                         break;
 383                 case DB_HASHMAGIC:
 384                         if (type != DB_HASH && type != DB_UNKNOWN)
 385                                 goto einval;
 386
 387                         hashm = (HASHHDR *)mbuf;
 388                         if (swapped && (ret = __ham_mswap((PAGE *)hashm)) != 0)
 389                                 goto err;
 390
 391                         if (hashm->version < DB_HASHOLDVER ||
 392                             hashm->version > DB_HASHVERSION) {
 393                                 __db_err(dbenv,
 394                                     "%s: unsupported hash version number %lu",
 395                                     fname, hashm->version);
 396                                 goto einval;
 397                         }
 398                         dbp->pgsize = hashm->pagesize;
 399                         F_CLR(dbp, DB_AM_PGDEF);
 400
 401                         if ((ret = __db_fchk(dbenv,
 402                             "db_open", hashm->flags, DB_HASH_DUP)) != 0)
 403                                 goto err;
 404                         DBINFO_FCHK(dbp, "DB_DUP",
 405                             hashm->flags, DB_HASH_DUP, DB_AM_DUP);
 406                         type = DB_HASH;
 407
 408                         /* Copy the file's unique id. */
 409                         need_fileid = 0;
 410                         memcpy(dbp->lock.fileid, hashm->uid, DB_FILE_ID_LEN);
 411                         break;
 412                 default:
 413                         if (swapped) {
 414                                 __db_err(dbenv, "unrecognized file type");
 415                                 goto einval;
 416                         }
 417                         M_32_SWAP(((BTMETA *)mbuf)->magic);
 418                         F_SET(dbp, DB_AM_SWAP);
 419
 420                         swapped = 1;
 421                         goto retry;
 422                 }
 423         } else {
 424                 fname = real_name = NULL;
 425
 426                 if (type == DB_UNKNOWN) {
 427                         __db_err(dbenv,
 428                             "DBTYPE of unknown without existing file");
 429                         goto einval;
 430                 }
 431                 F_SET(dbp, DB_AM_INMEM);
 432         }
 433
 434 empty:  /*
 435          * By the time we get here we've either set the type or we're taking
 436          * it from the user.
 437          */
 438         dbp->type = type;
 439
 440         /*
 441          * Set the page size to the best value for I/O to this file.  Don't
 442          * overflow the page offset type.  The page size must be db_indx_t
 443          * aligned and >= MIN_PAGE_SIZE.
 444          *
 445          * XXX
 446          * Should we be checking for a page size that's not a multiple of 512?
 447          */
 448         if (dbp->pgsize == 0) {
 449                 F_SET(dbp, DB_AM_PGDEF);
 450                 dbp->pgsize = 8 * 1024;
 451         }
 452         if (dbp->pgsize < DB_MIN_PGSIZE ||
 453             dbp->pgsize > DB_MAX_PGSIZE ||
 454             dbp->pgsize & (sizeof(db_indx_t) - 1)) {
 455                 __db_err(dbenv, "illegal page size");
 456                 goto einval;
 457         }
 458
 459         /*
 460          * Set and/or correct the cache size; must be a multiple of the
 461          * page size.
 462          */
 463         if (dbinfo == NULL || dbinfo->db_cachesize == 0)
 464                 cachesize = dbp->pgsize * DB_MINCACHE;
 465         else {
 466                 cachesize = dbinfo->db_cachesize;
 467                 if (cachesize & (dbp->pgsize - 1))
 468                         cachesize += (~cachesize & (dbp->pgsize - 1)) + 1;
 469                 if (cachesize < dbp->pgsize * DB_MINCACHE)
 470                         cachesize = dbp->pgsize * DB_MINCACHE;
 471                 if (cachesize < 20 * 1024)
 472                         cachesize = 20 * 1024;
 473         }
 474
 475         /*
 476          * If no mpool supplied by the application, attach to a local,
 477          * created buffer pool.
 478          *
 479          * XXX
 480          * If the user has a DB_ENV structure, we have to use a temporary
 481          * one so that we don't step on their values.  If the user doesn't,
 482          * we have to create one, and keep it around until the call to the
 483          * memp_close() function.  This is all so the mpool functions get
 484          * the error stuff right.
 485          */
 486         if (dbenv == NULL || dbenv->mp_info == NULL) {
 487                 F_SET(dbp, DB_AM_MLOCAL);
 488
 489                 if (dbenv == NULL) {
 490                         if ((dbp->mp_dbenv =
 491                             (DB_ENV *)calloc(sizeof(DB_ENV), 1)) == NULL) {
 492                                 ret = ENOMEM;
 493                                 goto err;
 494                         }
 495
 496                         envp = dbp->mp_dbenv;
 497                         restore = 0;
 498                 } else {
 499                         t_dbenv = *dbenv;
 500
 501                         envp = dbenv;
 502                         restore = 1;
 503                 }
 504                 envp->mp_size = cachesize;
 505                 F_SET(envp, DB_MPOOL_PRIVATE);
 506                 if ((ret = memp_open(NULL,
 507                     DB_CREATE, S_IRUSR | S_IWUSR, envp, &dbp->mp)) != 0)
 508                         goto err;
 509                 if (restore)
 510                         *dbenv = t_dbenv;
 511         } else
 512                 dbp->mp = dbenv->mp_info;
 513
 514         /* Register DB's pgin/pgout functions. */
 515         if ((ret = memp_register(dbp->mp,
 516             DB_FTYPE_BTREE, __bam_pgin, __bam_pgout)) != 0)
 517                 goto err;
 518         if ((ret = memp_register(dbp->mp,
 519             DB_FTYPE_HASH, __ham_pgin, __ham_pgout)) != 0)
 520                 goto err;
 521
 522         /*
 523          * If we don't already have one, get a unique file ID.  If the file
 524          * is a temporary file, then we have to create a unique file ID --
 525          * no backing file will be created until the mpool cache is filled
 526          * forcing it to go to disk.  The created ID must never match any
 527          * potential real file ID -- we know it won't because real file IDs
 528          * contain a time stamp after the dev/ino pair, and we're simply
 529          * storing a 4-byte locker ID.
 530          *
 531          * XXX
 532          * Store the file id in the locker structure -- we can get it from
 533          * there as necessary, and it saves having two copies.
 534          */
 535         if (need_fileid)
 536                 if (fname == NULL) {
 537                         memset(dbp->lock.fileid, 0, DB_FILE_ID_LEN);
 538                         if (F_ISSET(dbp, DB_AM_LOCKING) &&
 539                             (ret = lock_id(dbenv->lk_info,
 540                             (u_int32_t *)dbp->lock.fileid)) != 0)
 541                                 goto err;
 542                 } else
 543                         if ((ret = __db_fileid(dbenv,
 544                             real_name, 1, dbp->lock.fileid)) != 0)
 545                                 goto err;
 546
 547         /* No further use for the real name. */
 548         if (real_name != NULL)
 549                 FREES(real_name);
 550         real_name = NULL;
 551
 552         /*
 553          * Open a backing file in the memory pool.
 554          *
 555          * If we need to process the file's pages on I/O, set the file type.
 556          * If it's a hash file, always call pgin and pgout routines.  This
 557          * means that hash files can never be mapped into process memory.  If
 558          * it's a btree file and requires swapping, we need to page the file
 559          * in and out.  This has to be right -- we can't mmap files that are
 560          * being paged in and out.
 561          */
 562         if (type == DB_HASH)
 563                 ftype = DB_FTYPE_HASH;
 564         else
 565                 ftype = F_ISSET(dbp, DB_AM_SWAP) ? DB_FTYPE_BTREE : 0;
 566         pginfo.db_pagesize = dbp->pgsize;
 567         pginfo.needswap = F_ISSET(dbp, DB_AM_SWAP);
 568         pgcookie.data = &pginfo;
 569         pgcookie.size = sizeof(DB_PGINFO);
 570
 571         if ((ret = memp_fopen(dbp->mp, fname, ftype,
 572             F_ISSET(dbp, DB_AM_RDONLY) ? DB_RDONLY : 0, 0, dbp->pgsize,
 573             0, &pgcookie, dbp->lock.fileid, &dbp->mpf)) != 0)
 574                 goto err;
 575
 576         /* Get a log file id. */
 577         if (F_ISSET(dbp, DB_AM_LOGGING) &&
 578             (ret = log_register(dbenv->lg_info,
 579             dbp, fname, type, &dbp->log_fileid)) != 0)
 580                 goto err;
 581
 582         /*
 583          * Get a locker id for this DB, and build the lock cookie: the first
 584          * db_pgno_t bytes are the page number, the next N bytes are the file
 585          * id.
 586          */
 587         if (F_ISSET(dbp, DB_AM_LOCKING)) {
 588                 if ((ret = lock_id(dbenv->lk_info, &dbp->locker)) != 0)
 589                         goto err;
 590                 dbp->lock_dbt.size = sizeof(dbp->lock);
 591                 dbp->lock_dbt.data = &dbp->lock;
 592         }
 593
 594         /* Call the real open function. */
 595         switch (type) {
 596         case DB_BTREE:
 597                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 598                     "db_open", dbinfo->flags, DB_RECNUM | DB_DUP)) != 0)
 599                         goto err;
 600                 if (dbinfo != NULL && (ret = __db_fcchk(dbenv,
 601                     "db_open", dbinfo->flags, DB_DUP, DB_RECNUM)) != 0)
 602                         goto err;
 603                 if ((ret = __bam_open(dbp, type, dbinfo)) != 0)
 604                         goto err;
 605                 break;
 606         case DB_HASH:
 607                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 608                     "db_open", dbinfo->flags, DB_DUP)) != 0)
 609                         goto err;
 610                 if ((ret = __ham_open(dbp, dbinfo)) != 0)
 611                         goto err;
 612                 break;
 613         case DB_RECNO:
 614 #define DB_INFO_FLAGS \
 615         (DB_DELIMITER | DB_FIXEDLEN | DB_PAD | DB_RENUMBER | DB_SNAPSHOT)
 616                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 617                     "db_open", dbinfo->flags, DB_INFO_FLAGS)) != 0)
 618                         goto err;
 619                 if ((ret = __ram_open(dbp, type, dbinfo)) != 0)
 620                         goto err;
 621                 break;
 622         default:
 623                 abort();
 624         }
 625
 626         /* Call a local close routine. */
 627         dbp->close = db_close;
 628         dbp->fd = db_fd;
 629
 630         *dbpp = dbp;
 631         return (0);
 632
 633 einval: ret = EINVAL;
 634 err:    /* Close the file descriptor. */
 635         if (fd != -1)
 636                 (void)__db_close(fd);
 637
 638         /* Discard the log file id. */
 639         if (dbp->log_fileid != 0)
 640                 (void)log_unregister(dbenv->lg_info, dbp->log_fileid);
 641
 642         /* Close the memory pool file. */
 643         if (dbp->mpf != NULL)
 644                 (void)memp_fclose(dbp->mpf);
 645
 646         /* If the memory pool was local, close it. */
 647         if (F_ISSET(dbp, DB_AM_MLOCAL) && dbp->mp != NULL)
 648                 (void)memp_close(dbp->mp);
 649
 650         /* If we allocated a DB_ENV, discard it. */
 651         if (dbp->mp_dbenv != NULL)
 652                 FREE(dbp->mp_dbenv, sizeof(DB_ENV));
 653
 654         if (real_name != NULL)
 655                 FREES(real_name);
 656         if (dbp != NULL)
 657                 FREE(dbp, sizeof(DB));
 658
 659         return (ret);
 660 }
 661
 662 /*
 663  * db_close --
 664  *      Close a DB tree.
 665  */
 666 static int
 667 db_close(dbp, flags)
 668         DB *dbp;
 669         int flags;
 670 {
 671         DBC *dbc;
 672         DB *tdbp;
 673         int ret, t_ret;
 674
 675         ret = 0;
 676
 677         /* Sync the underlying file. */
 678         if (!LF_ISSET(DB_NOSYNC) &&
 679             (t_ret = dbp->sync(dbp, 0)) != 0 && ret == 0)
 680                 ret = t_ret;
 681
 682         /*
 683          * Call the underlying access method close routine for all the
 684          * cursors and handles.
 685          */
 686         for (tdbp = LIST_FIRST(&dbp->handleq);
 687             tdbp != NULL; tdbp = LIST_NEXT(tdbp, links)) {
 688
 689                 while ((dbc = TAILQ_FIRST(&tdbp->curs_queue)) != NULL)
 690                         if ((t_ret = dbc->c_close(dbc)) != 0 && ret == 0)
 691                                 ret = t_ret;
 692
 693                 switch (tdbp->type) {
 694                 case DB_BTREE:
 695                         if ((t_ret = __bam_close(tdbp)) != 0 && ret == 0)
 696                                 ret = t_ret;
 697                         break;
 698                 case DB_HASH:
 699                         if ((t_ret = __ham_close(tdbp)) != 0 && ret == 0)
 700                                 ret = t_ret;
 701                         break;
 702                 case DB_RECNO:
 703                         if ((t_ret = __ram_close(tdbp)) != 0 && ret == 0)
 704                                 ret = t_ret;
 705                         break;
 706                 default:
 707                         abort();
 708                 }
 709
 710         }
 711
 712         /* Sync the memory pool. */
 713         if ((t_ret = memp_fsync(dbp->mpf)) != 0 && ret == 0)
 714                 ret = t_ret;
 715
 716         /* Close the memory pool file. */
 717         if ((t_ret = memp_fclose(dbp->mpf)) != 0 && ret == 0)
 718                 ret = t_ret;
 719
 720         /* If the memory pool was local, close it. */
 721         if (F_ISSET(dbp, DB_AM_MLOCAL) &&
 722             (t_ret = memp_close(dbp->mp)) != 0 && ret == 0)
 723                 ret = t_ret;
 724
 725         /* Discard the mutex. */
 726         if (dbp->mutex != NULL)
 727                 FREE(dbp->mutex, sizeof(db_mutex_t));
 728
 729         /* Discard the log file id. */
 730         if (F_ISSET(dbp, DB_AM_LOGGING))
 731                 (void)log_unregister(dbp->dbenv->lg_info, dbp->log_fileid);
 732
 733         /* Discard the lock cookie for all handles. */
 734         for (tdbp = LIST_FIRST(&dbp->handleq);
 735             tdbp != NULL; tdbp = LIST_NEXT(tdbp, links))
 736                 if (F_ISSET(tdbp, DB_AM_LOCKING)) {
 737 #ifdef DEBUG
 738                         DB_LOCKREQ request;
 739
 740                         /*
 741                          * If we're running tests, display any locks currently
 742                          * held.  It's possible that some applications may hold
 743                          * locks for long periods, e.g., conference room locks,
 744                          * but the DB tests should never close holding locks.
 745                          */
 746                         request.op = DB_LOCK_DUMP;
 747                         if ((t_ret = lock_vec(tdbp->dbenv->lk_info,
 748                             tdbp->locker, 0, &request, 1, NULL)) != 0 &&
 749                             ret == 0)
 750                                 ret = EAGAIN;
 751 #endif
 752                 }
 753
 754         /* If we allocated a DB_ENV, discard it. */
 755         if (dbp->mp_dbenv != NULL)
 756                 FREE(dbp->mp_dbenv, sizeof(DB_ENV));
 757
 758         /* Free all of the DB's. */
 759         LIST_REMOVE(dbp, links);
 760         while ((tdbp = LIST_FIRST(&dbp->handleq)) != NULL) {
 761                 LIST_REMOVE(tdbp, links);
 762                 FREE(tdbp, sizeof(*tdbp));
 763         }
 764         FREE(dbp, sizeof(*dbp));
 765
 766         return (ret);
 767 }
 768
 769 /*
 770  * db_fd --
 771  *      Return a file descriptor for flock'ing.
 772  */
 773 static int
 774 db_fd(dbp, fdp)
 775         DB *dbp;
 776         int *fdp;
 777 {
 778         /* In-memory database can't have a file descriptor. */
 779         if (F_ISSET(dbp, DB_AM_INMEM))
 780                 return (ENOENT);
 781
 782         /*
 783          * XXX
 784          * Truly spectacular layering violation.  As we don't open the
 785          * underlying file until we need it, it may not be initialized.
 786          */
 787         if ((*fdp = dbp->mpf->fd) == -1)
 788                 return (ENOENT);
 789         return (0);
 790 }
 791
 792 /*
 793  * __db_pgerr --
 794  *      Error when unable to retrieve a specified page.
 795  *
 796  * PUBLIC: int __db_pgerr __P((DB *, db_pgno_t));
 797  */
 798 int
 799 __db_pgerr(dbp, pgno)
 800         DB *dbp;
 801         db_pgno_t pgno;
 802 {
 803         __db_err(dbp->dbenv,
 804             "unable to create/retrieve page %lu", (u_long)pgno);
 805         return (__db_panic(dbp));
 806 }
 807
 808 /*
 809  * __db_pgfmt --
 810  *      Error when a page has the wrong format.
 811  *
 812  * PUBLIC: int __db_pgfmt __P((DB *, db_pgno_t));
 813  */
 814 int
 815 __db_pgfmt(dbp, pgno)
 816         DB *dbp;
 817         db_pgno_t pgno;
 818 {
 819         __db_err(dbp->dbenv,
 820             "page %lu: illegal page type or format", (u_long)pgno);
 821         return (__db_panic(dbp));
 822 }