db2/db/db.c

   1 /*-
   2  * See the file LICENSE for redistribution information.
   3  *
   4  * Copyright (c) 1996, 1997
   5  *      Sleepycat Software.  All rights reserved.
   6  */
   7 /*
   8  * Copyright (c) 1990, 1993, 1994, 1995, 1996
   9  *      Keith Bostic.  All rights reserved.
  10  */
  11 /*
  12  * Copyright (c) 1990, 1993, 1994, 1995
  13  *      The Regents of the University of California.  All rights reserved.
  14  *
  15  * Redistribution and use in source and binary forms, with or without
  16  * modification, are permitted provided that the following conditions
  17  * are met:
  18  * 1. Redistributions of source code must retain the above copyright
  19  *    notice, this list of conditions and the following disclaimer.
  20  * 2. Redistributions in binary form must reproduce the above copyright
  21  *    notice, this list of conditions and the following disclaimer in the
  22  *    documentation and/or other materials provided with the distribution.
  23  * 3. All advertising materials mentioning features or use of this software
  24  *    must display the following acknowledgement:
  25  *      This product includes software developed by the University of
  26  *      California, Berkeley and its contributors.
  27  * 4. Neither the name of the University nor the names of its contributors
  28  *    may be used to endorse or promote products derived from this software
  29  *    without specific prior written permission.
  30  *
  31  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND
  32  * ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  33  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  34  * ARE DISCLAIMED.  IN NO EVENT SHALL THE REGENTS OR CONTRIBUTORS BE LIABLE
  35  * FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL
  36  * DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS
  37  * OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  38  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT
  39  * LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY
  40  * OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
  41  * SUCH DAMAGE.
  42  */
  43
  44 #include "config.h"
  45
  46 #ifndef lint
  47 static const char sccsid[] = "@(#)db.c  10.44 (Sleepycat) 10/25/97";
  48 #endif /* not lint */
  49
  50 #ifndef NO_SYSTEM_INCLUDES
  51 #include <sys/types.h>
  52 #include <sys/stat.h>
  53
  54 #include <errno.h>
  55 #include <fcntl.h>
  56 #include <stddef.h>
  57 #include <stdio.h>
  58 #include <stdlib.h>
  59 #include <string.h>
  60 #include <unistd.h>
  61 #endif
  62
  63 #include "db_int.h"
  64 #include "shqueue.h"
  65 #include "db_page.h"
  66 #include "db_shash.h"
  67 #include "db_swap.h"
  68 #include "btree.h"
  69 #include "hash.h"
  70 #include "mp.h"
  71 #include "db_am.h"
  72 #include "common_ext.h"
  73
  74 static int db_close __P((DB *, int));
  75 static int db_fd __P((DB *, int *));
  76
  77 /*
  78  * If the metadata page has the flag set, set the local flag.  If the page
  79  * does NOT have the flag set, return EINVAL if the user's dbinfo argument
  80  * caused us to already set the local flag.
  81  */
  82 #define DBINFO_FCHK(dbp, fn, meta_flags, m_name, dbp_name) {            \
  83         if ((meta_flags) & (m_name))                                    \
  84                 F_SET(dbp, dbp_name);                                   \
  85         else                                                            \
  86                 if (F_ISSET(dbp, dbp_name)) {                           \
  87                         __db_err(dbenv,                                 \
  88             "%s: %s specified in dbinfo argument but not set in file",  \
  89                             fname, fn);                                 \
  90                         goto einval;                                    \
  91                 }                                                       \
  92 }
  93
  94 /*
  95  * db_open --
  96  *      Main library interface to the DB access methods.
  97  */
  98 int
  99 db_open(fname, type, flags, mode, dbenv, dbinfo, dbpp)
 100         const char *fname;
 101         DBTYPE type;
 102         int flags, mode;
 103         DB_ENV *dbenv;
 104         DB_INFO *dbinfo;
 105         DB **dbpp;
 106 {
 107         BTMETA *btm;
 108         DB *dbp;
 109         DBT pgcookie;
 110         DB_ENV *envp, t_dbenv;
 111         DB_PGINFO pginfo;
 112         HASHHDR *hashm;
 113         off_t io;
 114         size_t cachesize;
 115         ssize_t nr;
 116         int fd, ftype, need_fileid, restore, ret, retry_cnt, swapped;
 117         char *real_name, mbuf[512];
 118
 119         /* Validate arguments. */
 120 #ifdef HAVE_SPINLOCKS
 121 #define OKFLAGS (DB_CREATE | DB_NOMMAP | DB_RDONLY | DB_THREAD | DB_TRUNCATE)
 122 #else
 123 #define OKFLAGS (DB_CREATE | DB_NOMMAP | DB_RDONLY | DB_TRUNCATE)
 124 #endif
 125         if ((ret = __db_fchk(dbenv, "db_open", flags, OKFLAGS)) != 0)
 126                 return (ret);
 127
 128         if (dbenv != NULL &&
 129             LF_ISSET(DB_THREAD) && !F_ISSET(dbenv, DB_ENV_THREAD)) {
 130                 __db_err(dbenv, "environment not created using DB_THREAD");
 131                 return (EINVAL);
 132         }
 133
 134         /* Initialize for error return. */
 135         fd = -1;
 136         need_fileid = 1;
 137         real_name = NULL;
 138
 139         /* Allocate the DB structure, reference the DB_ENV structure. */
 140         if ((dbp = (DB *)__db_calloc(1, sizeof(DB))) == NULL) {
 141                 __db_err(dbenv, "%s", strerror(ENOMEM));
 142                 return (ENOMEM);
 143         }
 144         dbp->dbenv = dbenv;
 145
 146         /* Convert the db_open(3) flags. */
 147         if (LF_ISSET(DB_RDONLY))
 148                 F_SET(dbp, DB_AM_RDONLY);
 149         if (LF_ISSET(DB_THREAD))
 150                 F_SET(dbp, DB_AM_THREAD);
 151
 152         /* Convert the dbinfo structure flags. */
 153         if (dbinfo != NULL) {
 154                 /*
 155                  * !!!
 156                  * We can't check for illegal flags until we know what type
 157                  * of open we're doing.
 158                  */
 159                 if (F_ISSET(dbinfo, DB_DELIMITER))
 160                         F_SET(dbp, DB_RE_DELIMITER);
 161                 if (F_ISSET(dbinfo, DB_DUP))
 162                         F_SET(dbp, DB_AM_DUP);
 163                 if (F_ISSET(dbinfo, DB_FIXEDLEN))
 164                         F_SET(dbp, DB_RE_FIXEDLEN);
 165                 if (F_ISSET(dbinfo, DB_PAD))
 166                         F_SET(dbp, DB_RE_PAD);
 167                 if (F_ISSET(dbinfo, DB_RECNUM))
 168                         F_SET(dbp, DB_BT_RECNUM);
 169                 if (F_ISSET(dbinfo, DB_RENUMBER))
 170                         F_SET(dbp, DB_RE_RENUMBER);
 171                 if (F_ISSET(dbinfo, DB_SNAPSHOT))
 172                         F_SET(dbp, DB_RE_SNAPSHOT);
 173         }
 174
 175         /*
 176          * Always set the master and initialize the queues, so we can
 177          * use these fields without checking the thread bit.
 178          */
 179         dbp->master = dbp;
 180         LIST_INIT(&dbp->handleq);
 181         LIST_INSERT_HEAD(&dbp->handleq, dbp, links);
 182         TAILQ_INIT(&dbp->curs_queue);
 183
 184         /*
 185          * Set based on the dbenv fields, although no logging or transactions
 186          * are possible for temporary files.
 187          */
 188         if (dbenv != NULL) {
 189                 if (dbenv->lk_info != NULL)
 190                         F_SET(dbp, DB_AM_LOCKING);
 191                 if (fname != NULL && dbenv->lg_info != NULL)
 192                         F_SET(dbp, DB_AM_LOGGING);
 193         }
 194
 195         /* Set the common fields. */
 196         if (dbinfo == NULL) {
 197                 dbp->pgsize = 0;
 198                 dbp->db_malloc = NULL;
 199         } else {
 200                 dbp->pgsize = dbinfo->db_pagesize;
 201                 dbp->db_malloc = dbinfo->db_malloc;
 202         }
 203
 204         /* Fill in the default file mode. */
 205         if (mode == 0)
 206                 mode = S_IRUSR | S_IWUSR | S_IRGRP | S_IWGRP;
 207
 208         /* Check if the user wants us to swap byte order. */
 209         if (dbinfo != NULL)
 210                 switch (ret = __db_byteorder(dbenv, dbinfo->db_lorder)) {
 211                 case 0:
 212                         break;
 213                 case DB_SWAPBYTES:
 214                         F_SET(dbp, DB_AM_SWAP);
 215                         break;
 216                 default:
 217                         goto err;
 218                 }
 219
 220         /*
 221          * If we have a file name, try and read the first page, figure out
 222          * what type of file it is, and initialize everything we can based
 223          * on that file's meta-data page.
 224          *
 225          * XXX
 226          * We don't actually expect zero-length strings as arguments.  We
 227          * do the check, permitting them, because scripting languages, e.g.,
 228          * the Tcl test suite, doesn't know anything about passing NULL's.
 229          */
 230         if (fname != NULL && fname[0] != '\0') {
 231                 /* Get the real file name. */
 232                 if ((ret = __db_appname(dbenv,
 233                      DB_APP_DATA, NULL, fname, NULL, &real_name)) != 0)
 234                         goto err;
 235
 236                 /*
 237                  * Open the backing file.  We need to make sure that multiple
 238                  * processes attempting to create the file at the same time
 239                  * are properly ordered so that only one of them creates the
 240                  * "unique" file id, so we open it O_EXCL and O_CREAT so two
 241                  * simultaneous attempts to create the region will return
 242                  * failure in one of the attempts.  If we're one of the ones
 243                  * that fail, we simply retry without the O_CREAT flag, which
 244                  * will require that the meta-data page exist.
 245                  */
 246                 retry_cnt = 0;
 247 open_retry:     if (LF_ISSET(DB_CREATE)) {
 248                         if ((ret = __db_open(real_name, flags | DB_EXCL,
 249                             OKFLAGS | DB_EXCL, mode, &fd)) != 0)
 250                                 if (ret == EEXIST) {
 251                                         LF_CLR(DB_CREATE);
 252                                         goto open_retry;
 253                                 } else {
 254                                         __db_err(dbenv,
 255                                             "%s: %s", fname, strerror(ret));
 256                                         goto err;
 257                                 }
 258                 } else
 259                         if ((ret = __db_open(real_name,
 260                             flags, OKFLAGS, mode, &fd)) != 0) {
 261                                 __db_err(dbenv, "%s: %s", fname, strerror(ret));
 262                                 goto err;
 263                         }
 264
 265                 /*
 266                  * Use the optimum I/O size as the pagesize if a pagesize not
 267                  * specified.  Some filesystems have 64K as their optimum I/O
 268                  * size, but as that results in impossibly large default cache
 269                  * sizes, we limit the default pagesize to 16K.
 270                  */
 271                 if (dbp->pgsize == 0) {
 272                         if ((ret =
 273                             __db_ioinfo(real_name, fd, NULL, &io)) != 0) {
 274                                 __db_err(dbenv,
 275                                     "%s: %s", real_name, strerror(ret));
 276                                 goto err;
 277                         }
 278                         if (io < 512)
 279                                 io = 512;
 280                         if (io > 16 * 1024)
 281                                 io = 16 * 1024;
 282                         dbp->pgsize = io;
 283                         F_SET(dbp, DB_AM_PGDEF);
 284                 }
 285
 286                 /*
 287                  * Try and read the first disk sector -- this code assumes
 288                  * that the meta-data for all access methods fits in 512
 289                  * bytes, and that no database will be smaller than that.
 290                  */
 291                 if ((ret = __db_read(fd, mbuf, sizeof(mbuf), &nr)) != 0)
 292                         goto err;
 293
 294                 /* The fd is no longer needed. */
 295                 (void)__db_close(fd);
 296                 fd = -1;
 297
 298                 if (nr != sizeof(mbuf)) {
 299                         if (nr != 0) {
 300                                 __db_err(dbenv,
 301                                     "%s: unexpected file format", fname);
 302                                 goto einval;
 303                         }
 304                         /*
 305                          * The only way we can reach here with the DB_CREATE
 306                          * flag set is if we created the file.  If that's not
 307                          * the case, then a) someone else created the file
 308                          * but has not yet written out the meta-data page, or
 309                          * b) we truncated the file (DB_TRUNCATE) leaving it
 310                          * zero-length.  In the case of a), we want to sleep
 311                          * and give the file creator some time to write the
 312                          * metadata page.  In the case of b), charge forward.
 313                          * Note, there is a race in the case of two processes
 314                          * opening the file with the DB_TRUNCATE flag set at
 315                          * roughly the same time, and they could theoretically
 316                          * hurt each other, although it's pretty unlikely.
 317                          */
 318                         if (retry_cnt++ < 3 &&
 319                             !LF_ISSET(DB_CREATE | DB_TRUNCATE)) {
 320                                 __db_sleep(1, 0);
 321                                 goto open_retry;
 322                         }
 323                         if (type == DB_UNKNOWN) {
 324                                 __db_err(dbenv,
 325                                     "%s: DBTYPE of unknown with empty file",
 326                                     fname);
 327                                 goto einval;
 328                         }
 329                         goto empty;
 330                 }
 331
 332                 /*
 333                  * A found file overrides some user information.  We'll check
 334                  * for possible error conditions based on conflicts between
 335                  * the file and the user's arguments below.
 336                  */
 337                 swapped = 0;
 338                 F_CLR(dbp, DB_AM_SWAP);
 339
 340 retry:          switch (((BTMETA *)mbuf)->magic) {
 341                 case DB_BTREEMAGIC:
 342                         if (type != DB_BTREE &&
 343                             type != DB_RECNO && type != DB_UNKNOWN)
 344                                 goto einval;
 345
 346                         btm = (BTMETA *)mbuf;
 347                         if (swapped && (ret = __bam_mswap((PAGE *)btm)) != 0)
 348                                 goto err;
 349
 350                         if (btm->version < DB_BTREEOLDVER ||
 351                             btm->version > DB_BTREEVERSION) {
 352                                 __db_err(dbenv,
 353                                     "%s: unsupported btree version number %lu",
 354                                     fname, (u_long)btm->version);
 355                                 goto einval;
 356                         }
 357                         dbp->pgsize = btm->pagesize;
 358                         F_CLR(dbp, DB_AM_PGDEF);
 359
 360                         if ((ret = __db_fchk(dbenv,
 361                             "db_open", btm->flags, BTM_MASK)) != 0)
 362                                 goto err;
 363                         DBINFO_FCHK(dbp, "DB_DUP",
 364                             btm->flags, BTM_DUP, DB_AM_DUP);
 365                         if (F_ISSET(btm, BTM_RECNO)) {
 366                                 DBINFO_FCHK(dbp, "DB_FIXEDLEN",
 367                                     btm->flags, BTM_FIXEDLEN, DB_RE_FIXEDLEN);
 368                                 DBINFO_FCHK(dbp, "DB_RENUMBER",
 369                                     btm->flags, BTM_RENUMBER, DB_RE_RENUMBER);
 370                                 type = DB_RECNO;
 371                         } else {
 372                                 DBINFO_FCHK(dbp, "DB_RECNUM",
 373                                     btm->flags, BTM_RECNUM, DB_BT_RECNUM);
 374                                 type = DB_BTREE;
 375                         }
 376
 377                         /* Copy the file's unique id. */
 378                         need_fileid = 0;
 379                         memcpy(dbp->lock.fileid, btm->uid, DB_FILE_ID_LEN);
 380                         break;
 381                 case DB_HASHMAGIC:
 382                         if (type != DB_HASH && type != DB_UNKNOWN)
 383                                 goto einval;
 384
 385                         hashm = (HASHHDR *)mbuf;
 386                         if (swapped && (ret = __ham_mswap((PAGE *)hashm)) != 0)
 387                                 goto err;
 388
 389                         if (hashm->version < DB_HASHOLDVER ||
 390                             hashm->version > DB_HASHVERSION) {
 391                                 __db_err(dbenv,
 392                                     "%s: unsupported hash version number %lu",
 393                                     fname, hashm->version);
 394                                 goto einval;
 395                         }
 396                         dbp->pgsize = hashm->pagesize;
 397                         F_CLR(dbp, DB_AM_PGDEF);
 398
 399                         if ((ret = __db_fchk(dbenv,
 400                             "db_open", hashm->flags, DB_HASH_DUP)) != 0)
 401                                 goto err;
 402                         DBINFO_FCHK(dbp, "DB_DUP",
 403                             hashm->flags, DB_HASH_DUP, DB_AM_DUP);
 404                         type = DB_HASH;
 405
 406                         /* Copy the file's unique id. */
 407                         need_fileid = 0;
 408                         memcpy(dbp->lock.fileid, hashm->uid, DB_FILE_ID_LEN);
 409                         break;
 410                 default:
 411                         if (swapped) {
 412                                 __db_err(dbenv, "unrecognized file type");
 413                                 goto einval;
 414                         }
 415                         M_32_SWAP(((BTMETA *)mbuf)->magic);
 416                         F_SET(dbp, DB_AM_SWAP);
 417
 418                         swapped = 1;
 419                         goto retry;
 420                 }
 421         } else {
 422                 fname = real_name = NULL;
 423
 424                 if (type == DB_UNKNOWN) {
 425                         __db_err(dbenv,
 426                             "DBTYPE of unknown without existing file");
 427                         goto einval;
 428                 }
 429                 F_SET(dbp, DB_AM_INMEM);
 430         }
 431
 432 empty:  /*
 433          * By the time we get here we've either set the type or we're taking
 434          * it from the user.
 435          */
 436         dbp->type = type;
 437
 438         /*
 439          * Set the page size to the best value for I/O to this file.  Don't
 440          * overflow the page offset type.  The page size must be db_indx_t
 441          * aligned and >= MIN_PAGE_SIZE.
 442          *
 443          * XXX
 444          * Should we be checking for a page size that's not a multiple of 512?
 445          */
 446         if (dbp->pgsize == 0) {
 447                 F_SET(dbp, DB_AM_PGDEF);
 448                 dbp->pgsize = 8 * 1024;
 449         }
 450         if (dbp->pgsize < DB_MIN_PGSIZE ||
 451             dbp->pgsize > DB_MAX_PGSIZE ||
 452             dbp->pgsize & (sizeof(db_indx_t) - 1)) {
 453                 __db_err(dbenv, "illegal page size");
 454                 goto einval;
 455         }
 456
 457         /*
 458          * Set and/or correct the cache size; must be a multiple of the
 459          * page size.
 460          */
 461         if (dbinfo == NULL || dbinfo->db_cachesize == 0)
 462                 cachesize = dbp->pgsize * DB_MINCACHE;
 463         else {
 464                 cachesize = dbinfo->db_cachesize;
 465                 if (cachesize & (dbp->pgsize - 1))
 466                         cachesize += (~cachesize & (dbp->pgsize - 1)) + 1;
 467                 if (cachesize < dbp->pgsize * DB_MINCACHE)
 468                         cachesize = dbp->pgsize * DB_MINCACHE;
 469                 if (cachesize < 20 * 1024)
 470                         cachesize = 20 * 1024;
 471         }
 472
 473         /*
 474          * If no mpool supplied by the application, attach to a local,
 475          * created buffer pool.
 476          *
 477          * XXX
 478          * If the user has a DB_ENV structure, we have to use a temporary
 479          * one so that we don't step on their values.  If the user doesn't,
 480          * we have to create one, and keep it around until the call to the
 481          * memp_close() function.  This is all so the mpool functions get
 482          * the error stuff right.
 483          */
 484         if (dbenv == NULL || dbenv->mp_info == NULL) {
 485                 F_SET(dbp, DB_AM_MLOCAL);
 486
 487                 if (dbenv == NULL) {
 488                         if ((dbp->mp_dbenv =
 489                             (DB_ENV *)__db_calloc(sizeof(DB_ENV), 1)) == NULL) {
 490                                 ret = ENOMEM;
 491                                 goto err;
 492                         }
 493
 494                         envp = dbp->mp_dbenv;
 495                         restore = 0;
 496                 } else {
 497                         t_dbenv = *dbenv;
 498
 499                         envp = dbenv;
 500                         restore = 1;
 501                 }
 502                 envp->mp_size = cachesize;
 503                 if ((ret = memp_open(NULL, DB_CREATE | DB_MPOOL_PRIVATE |
 504                     (F_ISSET(dbp, DB_AM_THREAD) ? DB_THREAD : 0),
 505                     S_IRUSR | S_IWUSR, envp, &dbp->mp)) != 0)
 506                         goto err;
 507                 if (restore)
 508                         *dbenv = t_dbenv;
 509         } else
 510                 dbp->mp = dbenv->mp_info;
 511
 512         /* Register DB's pgin/pgout functions. */
 513         if ((ret = memp_register(dbp->mp,
 514             DB_FTYPE_BTREE, __bam_pgin, __bam_pgout)) != 0)
 515                 goto err;
 516         if ((ret = memp_register(dbp->mp,
 517             DB_FTYPE_HASH, __ham_pgin, __ham_pgout)) != 0)
 518                 goto err;
 519
 520         /*
 521          * If we don't already have one, get a unique file ID.  If the file
 522          * is a temporary file, then we have to create a unique file ID --
 523          * no backing file will be created until the mpool cache is filled
 524          * forcing it to go to disk.  The created ID must never match any
 525          * potential real file ID -- we know it won't because real file IDs
 526          * contain a time stamp after the dev/ino pair, and we're simply
 527          * storing a 4-byte locker ID.
 528          *
 529          * XXX
 530          * Store the file id in the locker structure -- we can get it from
 531          * there as necessary, and it saves having two copies.
 532          */
 533         if (need_fileid)
 534                 if (fname == NULL) {
 535                         memset(dbp->lock.fileid, 0, DB_FILE_ID_LEN);
 536                         if (F_ISSET(dbp, DB_AM_LOCKING) &&
 537                             (ret = lock_id(dbenv->lk_info,
 538                             (u_int32_t *)dbp->lock.fileid)) != 0)
 539                                 goto err;
 540                 } else
 541                         if ((ret = __db_fileid(dbenv,
 542                             real_name, 1, dbp->lock.fileid)) != 0)
 543                                 goto err;
 544
 545         /* No further use for the real name. */
 546         if (real_name != NULL)
 547                 FREES(real_name);
 548         real_name = NULL;
 549
 550         /*
 551          * Open a backing file in the memory pool.
 552          *
 553          * If we need to process the file's pages on I/O, set the file type.
 554          * If it's a hash file, always call pgin and pgout routines.  This
 555          * means that hash files can never be mapped into process memory.  If
 556          * it's a btree file and requires swapping, we need to page the file
 557          * in and out.  This has to be right -- we can't mmap files that are
 558          * being paged in and out.
 559          */
 560         if (type == DB_HASH)
 561                 ftype = DB_FTYPE_HASH;
 562         else
 563                 ftype = F_ISSET(dbp, DB_AM_SWAP) ? DB_FTYPE_BTREE : 0;
 564         pginfo.db_pagesize = dbp->pgsize;
 565         pginfo.needswap = F_ISSET(dbp, DB_AM_SWAP);
 566         pgcookie.data = &pginfo;
 567         pgcookie.size = sizeof(DB_PGINFO);
 568
 569         if ((ret = memp_fopen(dbp->mp, fname, ftype,
 570             F_ISSET(dbp, DB_AM_RDONLY) ? DB_RDONLY : 0, 0, dbp->pgsize,
 571             0, &pgcookie, dbp->lock.fileid, &dbp->mpf)) != 0)
 572                 goto err;
 573
 574         /*
 575          * XXX
 576          * Truly spectacular layering violation.  We need a per-thread mutex
 577          * that lives in shared memory (thanks, HP-UX!) and so we acquire a
 578          * pointer to the mpool one.
 579          */
 580         if (F_ISSET(dbp, DB_AM_THREAD))
 581                 dbp->mutexp = dbp->mpf->mutexp;
 582
 583         /* Get a log file id. */
 584         if (F_ISSET(dbp, DB_AM_LOGGING) &&
 585             (ret = log_register(dbenv->lg_info,
 586             dbp, fname, type, &dbp->log_fileid)) != 0)
 587                 goto err;
 588
 589         /*
 590          * Get a locker id for this DB, and build the lock cookie: the first
 591          * db_pgno_t bytes are the page number, the next N bytes are the file
 592          * id.
 593          */
 594         if (F_ISSET(dbp, DB_AM_LOCKING)) {
 595                 if ((ret = lock_id(dbenv->lk_info, &dbp->locker)) != 0)
 596                         goto err;
 597                 dbp->lock_dbt.size = sizeof(dbp->lock);
 598                 dbp->lock_dbt.data = &dbp->lock;
 599         }
 600
 601         /* Call the real open function. */
 602         switch (type) {
 603         case DB_BTREE:
 604                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 605                     "db_open", dbinfo->flags, DB_RECNUM | DB_DUP)) != 0)
 606                         goto err;
 607                 if (dbinfo != NULL && (ret = __db_fcchk(dbenv,
 608                     "db_open", dbinfo->flags, DB_DUP, DB_RECNUM)) != 0)
 609                         goto err;
 610                 if ((ret = __bam_open(dbp, type, dbinfo)) != 0)
 611                         goto err;
 612                 break;
 613         case DB_HASH:
 614                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 615                     "db_open", dbinfo->flags, DB_DUP)) != 0)
 616                         goto err;
 617                 if ((ret = __ham_open(dbp, dbinfo)) != 0)
 618                         goto err;
 619                 break;
 620         case DB_RECNO:
 621 #define DB_INFO_FLAGS \
 622         (DB_DELIMITER | DB_FIXEDLEN | DB_PAD | DB_RENUMBER | DB_SNAPSHOT)
 623                 if (dbinfo != NULL && (ret = __db_fchk(dbenv,
 624                     "db_open", dbinfo->flags, DB_INFO_FLAGS)) != 0)
 625                         goto err;
 626                 if ((ret = __ram_open(dbp, type, dbinfo)) != 0)
 627                         goto err;
 628                 break;
 629         default:
 630                 abort();
 631         }
 632
 633         /* Call a local close routine. */
 634         dbp->close = db_close;
 635         dbp->fd = db_fd;
 636
 637         *dbpp = dbp;
 638         return (0);
 639
 640 einval: ret = EINVAL;
 641 err:    /* Close the file descriptor. */
 642         if (fd != -1)
 643                 (void)__db_close(fd);
 644
 645         /* Discard the log file id. */
 646         if (dbp->log_fileid != 0)
 647                 (void)log_unregister(dbenv->lg_info, dbp->log_fileid);
 648
 649         /* Close the memory pool file. */
 650         if (dbp->mpf != NULL)
 651                 (void)memp_fclose(dbp->mpf);
 652
 653         /* If the memory pool was local, close it. */
 654         if (F_ISSET(dbp, DB_AM_MLOCAL) && dbp->mp != NULL)
 655                 (void)memp_close(dbp->mp);
 656
 657         /* If we allocated a DB_ENV, discard it. */
 658         if (dbp->mp_dbenv != NULL)
 659                 FREE(dbp->mp_dbenv, sizeof(DB_ENV));
 660
 661         if (real_name != NULL)
 662                 FREES(real_name);
 663         if (dbp != NULL)
 664                 FREE(dbp, sizeof(DB));
 665
 666         return (ret);
 667 }
 668
 669 /*
 670  * db_close --
 671  *      Close a DB tree.
 672  */
 673 static int
 674 db_close(dbp, flags)
 675         DB *dbp;
 676         int flags;
 677 {
 678         DBC *dbc;
 679         DB *tdbp;
 680         int ret, t_ret;
 681
 682         /* Validate arguments. */
 683         if ((ret = __db_fchk(dbp->dbenv, "db_close", flags, DB_NOSYNC)) != 0)
 684                 return (ret);
 685
 686         /* Sync the underlying file. */
 687         if (!LF_ISSET(DB_NOSYNC) &&
 688             (t_ret = dbp->sync(dbp, 0)) != 0 && ret == 0)
 689                 ret = t_ret;
 690
 691         /*
 692          * Call the underlying access method close routine for all the
 693          * cursors and handles.
 694          */
 695         for (tdbp = LIST_FIRST(&dbp->handleq);
 696             tdbp != NULL; tdbp = LIST_NEXT(tdbp, links)) {
 697                 while ((dbc = TAILQ_FIRST(&tdbp->curs_queue)) != NULL)
 698                         switch (tdbp->type) {
 699                         case DB_BTREE:
 700                                 if ((t_ret =
 701                                     __bam_c_iclose(tdbp, dbc)) != 0 && ret == 0)
 702                                         ret = t_ret;
 703                                 break;
 704                         case DB_HASH:
 705                                 if ((t_ret =
 706                                     __ham_c_iclose(tdbp, dbc)) != 0 && ret == 0)
 707                                         ret = t_ret;
 708                                 break;
 709                         case DB_RECNO:
 710                                 if ((t_ret =
 711                                     __ram_c_iclose(tdbp, dbc)) != 0 && ret == 0)
 712                                         ret = t_ret;
 713                                 break;
 714                         default:
 715                                 abort();
 716                         }
 717
 718                 switch (tdbp->type) {
 719                 case DB_BTREE:
 720                         if ((t_ret = __bam_close(tdbp)) != 0 && ret == 0)
 721                                 ret = t_ret;
 722                         break;
 723                 case DB_HASH:
 724                         if ((t_ret = __ham_close(tdbp)) != 0 && ret == 0)
 725                                 ret = t_ret;
 726                         break;
 727                 case DB_RECNO:
 728                         if ((t_ret = __ram_close(tdbp)) != 0 && ret == 0)
 729                                 ret = t_ret;
 730                         break;
 731                 default:
 732                         abort();
 733                 }
 734         }
 735
 736         /* Sync the memory pool. */
 737         if ((t_ret = memp_fsync(dbp->mpf)) != 0 &&
 738             t_ret != DB_INCOMPLETE && ret == 0)
 739                 ret = t_ret;
 740
 741         /* Close the memory pool file. */
 742         if ((t_ret = memp_fclose(dbp->mpf)) != 0 && ret == 0)
 743                 ret = t_ret;
 744
 745         /* If the memory pool was local, close it. */
 746         if (F_ISSET(dbp, DB_AM_MLOCAL) &&
 747             (t_ret = memp_close(dbp->mp)) != 0 && ret == 0)
 748                 ret = t_ret;
 749
 750         /* Discard the log file id. */
 751         if (F_ISSET(dbp, DB_AM_LOGGING))
 752                 (void)log_unregister(dbp->dbenv->lg_info, dbp->log_fileid);
 753
 754         /* Discard the lock cookie for all handles. */
 755         for (tdbp = LIST_FIRST(&dbp->handleq);
 756             tdbp != NULL; tdbp = LIST_NEXT(tdbp, links))
 757                 if (F_ISSET(tdbp, DB_AM_LOCKING)) {
 758 #ifdef DEBUG
 759                         DB_LOCKREQ request;
 760
 761                         /*
 762                          * If we're running tests, display any locks currently
 763                          * held.  It's possible that some applications may hold
 764                          * locks for long periods, e.g., conference room locks,
 765                          * but the DB tests should never close holding locks.
 766                          */
 767                         request.op = DB_LOCK_DUMP;
 768                         if ((t_ret = lock_vec(tdbp->dbenv->lk_info,
 769                             tdbp->locker, 0, &request, 1, NULL)) != 0 &&
 770                             ret == 0)
 771                                 ret = EAGAIN;
 772 #endif
 773                 }
 774
 775         /* If we allocated a DB_ENV, discard it. */
 776         if (dbp->mp_dbenv != NULL)
 777                 FREE(dbp->mp_dbenv, sizeof(DB_ENV));
 778
 779         /* Free all of the DB's. */
 780         LIST_REMOVE(dbp, links);
 781         while ((tdbp = LIST_FIRST(&dbp->handleq)) != NULL) {
 782                 LIST_REMOVE(tdbp, links);
 783                 FREE(tdbp, sizeof(*tdbp));
 784         }
 785         FREE(dbp, sizeof(*dbp));
 786
 787         return (ret);
 788 }
 789
 790 /*
 791  * db_fd --
 792  *      Return a file descriptor for flock'ing.
 793  */
 794 static int
 795 db_fd(dbp, fdp)
 796         DB *dbp;
 797         int *fdp;
 798 {
 799         /* In-memory database can't have a file descriptor. */
 800         if (F_ISSET(dbp, DB_AM_INMEM))
 801                 return (ENOENT);
 802
 803         /*
 804          * XXX
 805          * Truly spectacular layering violation.  As we don't open the
 806          * underlying file until we need it, it may not be initialized.
 807          */
 808         if ((*fdp = dbp->mpf->fd) == -1)
 809                 return (ENOENT);
 810         return (0);
 811 }
 812
 813 /*
 814  * __db_pgerr --
 815  *      Error when unable to retrieve a specified page.
 816  *
 817  * PUBLIC: int __db_pgerr __P((DB *, db_pgno_t));
 818  */
 819 int
 820 __db_pgerr(dbp, pgno)
 821         DB *dbp;
 822         db_pgno_t pgno;
 823 {
 824         __db_err(dbp->dbenv,
 825             "unable to create/retrieve page %lu", (u_long)pgno);
 826         return (__db_panic(dbp));
 827 }
 828
 829 /*
 830  * __db_pgfmt --
 831  *      Error when a page has the wrong format.
 832  *
 833  * PUBLIC: int __db_pgfmt __P((DB *, db_pgno_t));
 834  */
 835 int
 836 __db_pgfmt(dbp, pgno)
 837         DB *dbp;
 838         db_pgno_t pgno;
 839 {
 840         __db_err(dbp->dbenv,
 841             "page %lu: illegal page type or format", (u_long)pgno);
 842         return (__db_panic(dbp));
 843 }