(_dl_map_object_from_fd): Use GL(dl_tls_dtv_slotinfo_list) != NULL to check
[kopensolaris-gnu/glibc.git] / elf / dl-load.c
1 /* Map in a shared object's segments from the file.
2    Copyright (C) 1995,96,97,98,99,2000,2001,2002 Free Software Foundation, Inc.
3    This file is part of the GNU C Library.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Lesser General Public
7    License as published by the Free Software Foundation; either
8    version 2.1 of the License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Lesser General Public License for more details.
14
15    You should have received a copy of the GNU Lesser General Public
16    License along with the GNU C Library; if not, write to the Free
17    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18    02111-1307 USA.  */
19
20 #include <elf.h>
21 #include <errno.h>
22 #include <fcntl.h>
23 #include <libintl.h>
24 #include <stdbool.h>
25 #include <stdlib.h>
26 #include <string.h>
27 #include <unistd.h>
28 #include <ldsodefs.h>
29 #include <sys/mman.h>
30 #include <sys/param.h>
31 #include <sys/stat.h>
32 #include <sys/types.h>
33 #include "dynamic-link.h"
34 #include <abi-tag.h>
35 #include <dl-osinfo.h>
36
37 #include <dl-dst.h>
38
39 /* On some systems, no flag bits are given to specify file mapping.  */
40 #ifndef MAP_FILE
41 # define MAP_FILE       0
42 #endif
43
44 /* The right way to map in the shared library files is MAP_COPY, which
45    makes a virtual copy of the data at the time of the mmap call; this
46    guarantees the mapped pages will be consistent even if the file is
47    overwritten.  Some losing VM systems like Linux's lack MAP_COPY.  All we
48    get is MAP_PRIVATE, which copies each page when it is modified; this
49    means if the file is overwritten, we may at some point get some pages
50    from the new version after starting with pages from the old version.  */
51 #ifndef MAP_COPY
52 # define MAP_COPY       MAP_PRIVATE
53 #endif
54
55 /* Some systems link their relocatable objects for another base address
56    than 0.  We want to know the base address for these such that we can
57    subtract this address from the segment addresses during mapping.
58    This results in a more efficient address space usage.  Defaults to
59    zero for almost all systems.  */
60 #ifndef MAP_BASE_ADDR
61 # define MAP_BASE_ADDR(l)       0
62 #endif
63
64
65 #include <endian.h>
66 #if BYTE_ORDER == BIG_ENDIAN
67 # define byteorder ELFDATA2MSB
68 #elif BYTE_ORDER == LITTLE_ENDIAN
69 # define byteorder ELFDATA2LSB
70 #else
71 # error "Unknown BYTE_ORDER " BYTE_ORDER
72 # define byteorder ELFDATANONE
73 #endif
74
75 #define STRING(x) __STRING (x)
76
77 #ifdef MAP_ANON
78 /* The fd is not examined when using MAP_ANON.  */
79 # define ANONFD -1
80 #else
81 int _dl_zerofd = -1;
82 # define ANONFD _dl_zerofd
83 #endif
84
85 /* Handle situations where we have a preferred location in memory for
86    the shared objects.  */
87 #ifdef ELF_PREFERRED_ADDRESS_DATA
88 ELF_PREFERRED_ADDRESS_DATA;
89 #endif
90 #ifndef ELF_PREFERRED_ADDRESS
91 # define ELF_PREFERRED_ADDRESS(loader, maplength, mapstartpref) (mapstartpref)
92 #endif
93 #ifndef ELF_FIXED_ADDRESS
94 # define ELF_FIXED_ADDRESS(loader, mapstart) ((void) 0)
95 #endif
96
97 /* Type for the buffer we put the ELF header and hopefully the program
98    header.  This buffer does not really have to be too large.  In most
99    cases the program header follows the ELF header directly.  If this
100    is not the case all bets are off and we can make the header arbitrarily
101    large and still won't get it read.  This means the only question is
102    how large are the ELF and program header combined.  The ELF header
103    in 64-bit files is 56 bytes long.  Each program header entry is again
104    56 bytes long.  I.e., even with a file which has 17 program header
105    entries we only have to read 1kB.  And 17 program header entries is
106    plenty, normal files have < 10.  If this heuristic should really fail
107    for some file the code in `_dl_map_object_from_fd' knows how to
108    recover.  */
109 struct filebuf
110 {
111   ssize_t len;
112   char buf[1024] __attribute__ ((aligned (__alignof (ElfW(Ehdr)))));
113 };
114
115 /* This is the decomposed LD_LIBRARY_PATH search path.  */
116 static struct r_search_path_struct env_path_list;
117
118 /* List of the hardware capabilities we might end up using.  */
119 static const struct r_strlenpair *capstr;
120 static size_t ncapstr;
121 static size_t max_capstrlen;
122
123
124 /* Get the generated information about the trusted directories.  */
125 #include "trusted-dirs.h"
126
127 static const char system_dirs[] = SYSTEM_DIRS;
128 static const size_t system_dirs_len[] =
129 {
130   SYSTEM_DIRS_LEN
131 };
132 #define nsystem_dirs_len \
133   (sizeof (system_dirs_len) / sizeof (system_dirs_len[0]))
134
135
136 /* Local version of `strdup' function.  */
137 static inline char *
138 local_strdup (const char *s)
139 {
140   size_t len = strlen (s) + 1;
141   void *new = malloc (len);
142
143   if (new == NULL)
144     return NULL;
145
146   return (char *) memcpy (new, s, len);
147 }
148
149
150 static size_t
151 is_dst (const char *start, const char *name, const char *str,
152         int is_path, int secure)
153 {
154   size_t len;
155   bool is_curly = false;
156
157   if (name[0] == '{')
158     {
159       is_curly = true;
160       ++name;
161     }
162
163   len = 0;
164   while (name[len] == str[len] && name[len] != '\0')
165     ++len;
166
167   if (is_curly)
168     {
169       if (name[len] != '}')
170         return 0;
171
172       /* Point again at the beginning of the name.  */
173       --name;
174       /* Skip over closing curly brace and adjust for the --name.  */
175       len += 2;
176     }
177   else if (name[len] != '\0' && name[len] != '/'
178            && (!is_path || name[len] != ':'))
179     return 0;
180
181   if (__builtin_expect (secure, 0)
182       && ((name[len] != '\0' && (!is_path || name[len] != ':'))
183           || (name != start + 1 && (!is_path || name[-2] != ':'))))
184     return 0;
185
186   return len;
187 }
188
189
190 size_t
191 _dl_dst_count (const char *name, int is_path)
192 {
193   const char *const start = name;
194   size_t cnt = 0;
195
196   do
197     {
198       size_t len;
199
200       /* $ORIGIN is not expanded for SUID/GUID programs (except if it
201          is $ORIGIN alone) and it must always appear first in path.  */
202       ++name;
203       if ((len = is_dst (start, name, "ORIGIN", is_path,
204                          INTUSE(__libc_enable_secure))) != 0
205           || (len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0
206           || (len = is_dst (start, name, "LIB", is_path, 0)) != 0)
207         ++cnt;
208
209       name = strchr (name + len, '$');
210     }
211   while (name != NULL);
212
213   return cnt;
214 }
215 INTDEF (_dl_dst_count)
216
217
218 char *
219 _dl_dst_substitute (struct link_map *l, const char *name, char *result,
220                     int is_path)
221 {
222   const char *const start = name;
223   char *last_elem, *wp;
224
225   /* Now fill the result path.  While copying over the string we keep
226      track of the start of the last path element.  When we come accross
227      a DST we copy over the value or (if the value is not available)
228      leave the entire path element out.  */
229   last_elem = wp = result;
230
231   do
232     {
233       if (__builtin_expect (*name == '$', 0))
234         {
235           const char *repl = NULL;
236           size_t len;
237
238           ++name;
239           if ((len = is_dst (start, name, "ORIGIN", is_path,
240                              INTUSE(__libc_enable_secure))) != 0)
241             repl = l->l_origin;
242           else if ((len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0)
243             repl = GL(dl_platform);
244           else if ((len = is_dst (start, name, "LIB", is_path, 0)) != 0)
245             repl = DL_DST_LIB;
246
247           if (repl != NULL && repl != (const char *) -1)
248             {
249               wp = __stpcpy (wp, repl);
250               name += len;
251             }
252           else if (len > 1)
253             {
254               /* We cannot use this path element, the value of the
255                  replacement is unknown.  */
256               wp = last_elem;
257               name += len;
258               while (*name != '\0' && (!is_path || *name != ':'))
259                 ++name;
260             }
261           else
262             /* No DST we recognize.  */
263             *wp++ = '$';
264         }
265       else
266         {
267           *wp++ = *name++;
268           if (is_path && *name == ':')
269             last_elem = wp;
270         }
271     }
272   while (*name != '\0');
273
274   *wp = '\0';
275
276   return result;
277 }
278 INTDEF (_dl_dst_substitute)
279
280
281 /* Return copy of argument with all recognized dynamic string tokens
282    ($ORIGIN and $PLATFORM for now) replaced.  On some platforms it
283    might not be possible to determine the path from which the object
284    belonging to the map is loaded.  In this case the path element
285    containing $ORIGIN is left out.  */
286 static char *
287 expand_dynamic_string_token (struct link_map *l, const char *s)
288 {
289   /* We make two runs over the string.  First we determine how large the
290      resulting string is and then we copy it over.  Since this is now
291      frequently executed operation we are looking here not for performance
292      but rather for code size.  */
293   size_t cnt;
294   size_t total;
295   char *result;
296
297   /* Determine the number of DST elements.  */
298   cnt = DL_DST_COUNT (s, 1);
299
300   /* If we do not have to replace anything simply copy the string.  */
301   if (__builtin_expect (cnt, 0) == 0)
302     return local_strdup (s);
303
304   /* Determine the length of the substituted string.  */
305   total = DL_DST_REQUIRED (l, s, strlen (s), cnt);
306
307   /* Allocate the necessary memory.  */
308   result = (char *) malloc (total + 1);
309   if (result == NULL)
310     return NULL;
311
312   return INTUSE(_dl_dst_substitute) (l, s, result, 1);
313 }
314
315
316 /* Add `name' to the list of names for a particular shared object.
317    `name' is expected to have been allocated with malloc and will
318    be freed if the shared object already has this name.
319    Returns false if the object already had this name.  */
320 static void
321 internal_function
322 add_name_to_object (struct link_map *l, const char *name)
323 {
324   struct libname_list *lnp, *lastp;
325   struct libname_list *newname;
326   size_t name_len;
327
328   lastp = NULL;
329   for (lnp = l->l_libname; lnp != NULL; lastp = lnp, lnp = lnp->next)
330     if (strcmp (name, lnp->name) == 0)
331       return;
332
333   name_len = strlen (name) + 1;
334   newname = (struct libname_list *) malloc (sizeof *newname + name_len);
335   if (newname == NULL)
336     {
337       /* No more memory.  */
338       INTUSE(_dl_signal_error) (ENOMEM, name, NULL,
339                              N_("cannot allocate name record"));
340       return;
341     }
342   /* The object should have a libname set from _dl_new_object.  */
343   assert (lastp != NULL);
344
345   newname->name = memcpy (newname + 1, name, name_len);
346   newname->next = NULL;
347   newname->dont_free = 0;
348   lastp->next = newname;
349 }
350
351 /* Standard search directories.  */
352 static struct r_search_path_struct rtld_search_dirs;
353
354 static size_t max_dirnamelen;
355
356 static inline struct r_search_path_elem **
357 fillin_rpath (char *rpath, struct r_search_path_elem **result, const char *sep,
358               int check_trusted, const char *what, const char *where)
359 {
360   char *cp;
361   size_t nelems = 0;
362
363   while ((cp = __strsep (&rpath, sep)) != NULL)
364     {
365       struct r_search_path_elem *dirp;
366       size_t len = strlen (cp);
367
368       /* `strsep' can pass an empty string.  This has to be
369          interpreted as `use the current directory'. */
370       if (len == 0)
371         {
372           static const char curwd[] = "./";
373           cp = (char *) curwd;
374         }
375
376       /* Remove trailing slashes (except for "/").  */
377       while (len > 1 && cp[len - 1] == '/')
378         --len;
379
380       /* Now add one if there is none so far.  */
381       if (len > 0 && cp[len - 1] != '/')
382         cp[len++] = '/';
383
384       /* Make sure we don't use untrusted directories if we run SUID.  */
385       if (__builtin_expect (check_trusted, 0))
386         {
387           const char *trun = system_dirs;
388           size_t idx;
389           int unsecure = 1;
390
391           /* All trusted directories must be complete names.  */
392           if (cp[0] == '/')
393             {
394               for (idx = 0; idx < nsystem_dirs_len; ++idx)
395                 {
396                   if (len == system_dirs_len[idx]
397                       && memcmp (trun, cp, len) == 0)
398                     {
399                       /* Found it.  */
400                       unsecure = 0;
401                       break;
402                     }
403
404                   trun += system_dirs_len[idx] + 1;
405                 }
406             }
407
408           if (unsecure)
409             /* Simply drop this directory.  */
410             continue;
411         }
412
413       /* See if this directory is already known.  */
414       for (dirp = GL(dl_all_dirs); dirp != NULL; dirp = dirp->next)
415         if (dirp->dirnamelen == len && memcmp (cp, dirp->dirname, len) == 0)
416           break;
417
418       if (dirp != NULL)
419         {
420           /* It is available, see whether it's on our own list.  */
421           size_t cnt;
422           for (cnt = 0; cnt < nelems; ++cnt)
423             if (result[cnt] == dirp)
424               break;
425
426           if (cnt == nelems)
427             result[nelems++] = dirp;
428         }
429       else
430         {
431           size_t cnt;
432           enum r_dir_status init_val;
433           size_t where_len = where ? strlen (where) + 1 : 0;
434
435           /* It's a new directory.  Create an entry and add it.  */
436           dirp = (struct r_search_path_elem *)
437             malloc (sizeof (*dirp) + ncapstr * sizeof (enum r_dir_status)
438                     + where_len + len + 1);
439           if (dirp == NULL)
440             INTUSE(_dl_signal_error) (ENOMEM, NULL, NULL,
441                                       N_("cannot create cache for search path"));
442
443           dirp->dirname = ((char *) dirp + sizeof (*dirp)
444                            + ncapstr * sizeof (enum r_dir_status));
445           *((char *) __mempcpy ((char *) dirp->dirname, cp, len)) = '\0';
446           dirp->dirnamelen = len;
447
448           if (len > max_dirnamelen)
449             max_dirnamelen = len;
450
451           /* We have to make sure all the relative directories are
452              never ignored.  The current directory might change and
453              all our saved information would be void.  */
454           init_val = cp[0] != '/' ? existing : unknown;
455           for (cnt = 0; cnt < ncapstr; ++cnt)
456             dirp->status[cnt] = init_val;
457
458           dirp->what = what;
459           if (__builtin_expect (where != NULL, 1))
460             dirp->where = memcpy ((char *) dirp + sizeof (*dirp) + len + 1
461                                   + (ncapstr * sizeof (enum r_dir_status)),
462                                   where, where_len);
463           else
464             dirp->where = NULL;
465
466           dirp->next = GL(dl_all_dirs);
467           GL(dl_all_dirs) = dirp;
468
469           /* Put it in the result array.  */
470           result[nelems++] = dirp;
471         }
472     }
473
474   /* Terminate the array.  */
475   result[nelems] = NULL;
476
477   return result;
478 }
479
480
481 static void
482 internal_function
483 decompose_rpath (struct r_search_path_struct *sps,
484                  const char *rpath, struct link_map *l, const char *what)
485 {
486   /* Make a copy we can work with.  */
487   const char *where = l->l_name;
488   char *copy;
489   char *cp;
490   struct r_search_path_elem **result;
491   size_t nelems;
492   /* Initialize to please the compiler.  */
493   const char *errstring = NULL;
494
495   /* First see whether we must forget the RUNPATH and RPATH from this
496      object.  */
497   if (__builtin_expect (GL(dl_inhibit_rpath) != NULL, 0)
498       && !INTUSE(__libc_enable_secure))
499     {
500       const char *inhp = GL(dl_inhibit_rpath);
501
502       do
503         {
504           const char *wp = where;
505
506           while (*inhp == *wp && *wp != '\0')
507             {
508               ++inhp;
509               ++wp;
510             }
511
512           if (*wp == '\0' && (*inhp == '\0' || *inhp == ':'))
513             {
514               /* This object is on the list of objects for which the
515                  RUNPATH and RPATH must not be used.  */
516               result = calloc (1, sizeof *result);
517               if (result == NULL)
518                 {
519                 signal_error_cache:
520                   errstring = N_("cannot create cache for search path");
521                 signal_error:
522                   INTUSE(_dl_signal_error) (ENOMEM, NULL, NULL, errstring);
523                 }
524
525               sps->dirs = result;
526               sps->malloced = 1;
527
528               return;
529             }
530
531           while (*inhp != '\0')
532             if (*inhp++ == ':')
533               break;
534         }
535       while (*inhp != '\0');
536     }
537
538   /* Make a writable copy.  At the same time expand possible dynamic
539      string tokens.  */
540   copy = expand_dynamic_string_token (l, rpath);
541   if (copy == NULL)
542     {
543       errstring = N_("cannot create RUNPATH/RPATH copy");
544       goto signal_error;
545     }
546
547   /* Count the number of necessary elements in the result array.  */
548   nelems = 0;
549   for (cp = copy; *cp != '\0'; ++cp)
550     if (*cp == ':')
551       ++nelems;
552
553   /* Allocate room for the result.  NELEMS + 1 is an upper limit for the
554      number of necessary entries.  */
555   result = (struct r_search_path_elem **) malloc ((nelems + 1 + 1)
556                                                   * sizeof (*result));
557   if (result == NULL)
558     goto signal_error_cache;
559
560   fillin_rpath (copy, result, ":", 0, what, where);
561
562   /* Free the copied RPATH string.  `fillin_rpath' make own copies if
563      necessary.  */
564   free (copy);
565
566   sps->dirs = result;
567   /* The caller will change this value if we haven't used a real malloc.  */
568   sps->malloced = 1;
569 }
570
571
572 void
573 internal_function
574 _dl_init_paths (const char *llp)
575 {
576   size_t idx;
577   const char *strp;
578   struct r_search_path_elem *pelem, **aelem;
579   size_t round_size;
580 #ifdef SHARED
581   struct link_map *l;
582 #endif
583   /* Initialize to please the compiler.  */
584   const char *errstring = NULL;
585
586   /* Fill in the information about the application's RPATH and the
587      directories addressed by the LD_LIBRARY_PATH environment variable.  */
588
589   /* Get the capabilities.  */
590   capstr = _dl_important_hwcaps (GL(dl_platform), GL(dl_platformlen),
591                                  &ncapstr, &max_capstrlen);
592
593   /* First set up the rest of the default search directory entries.  */
594   aelem = rtld_search_dirs.dirs = (struct r_search_path_elem **)
595     malloc ((nsystem_dirs_len + 1) * sizeof (struct r_search_path_elem *));
596   if (rtld_search_dirs.dirs == NULL)
597     {
598       errstring = N_("cannot create search path array");
599     signal_error:
600       INTUSE(_dl_signal_error) (ENOMEM, NULL, NULL, errstring);
601     }
602
603   round_size = ((2 * sizeof (struct r_search_path_elem) - 1
604                  + ncapstr * sizeof (enum r_dir_status))
605                 / sizeof (struct r_search_path_elem));
606
607   rtld_search_dirs.dirs[0] = (struct r_search_path_elem *)
608     malloc ((sizeof (system_dirs) / sizeof (system_dirs[0]))
609             * round_size * sizeof (struct r_search_path_elem));
610   if (rtld_search_dirs.dirs[0] == NULL)
611     {
612       errstring = N_("cannot create cache for search path");
613       goto signal_error;
614     }
615
616   rtld_search_dirs.malloced = 0;
617   pelem = GL(dl_all_dirs) = rtld_search_dirs.dirs[0];
618   strp = system_dirs;
619   idx = 0;
620
621   do
622     {
623       size_t cnt;
624
625       *aelem++ = pelem;
626
627       pelem->what = "system search path";
628       pelem->where = NULL;
629
630       pelem->dirname = strp;
631       pelem->dirnamelen = system_dirs_len[idx];
632       strp += system_dirs_len[idx] + 1;
633
634       /* System paths must be absolute.  */
635       assert (pelem->dirname[0] == '/');
636       for (cnt = 0; cnt < ncapstr; ++cnt)
637         pelem->status[cnt] = unknown;
638
639       pelem->next = (++idx == nsystem_dirs_len ? NULL : (pelem + round_size));
640
641       pelem += round_size;
642     }
643   while (idx < nsystem_dirs_len);
644
645   max_dirnamelen = SYSTEM_DIRS_MAX_LEN;
646   *aelem = NULL;
647
648 #ifdef SHARED
649   /* This points to the map of the main object.  */
650   l = GL(dl_loaded);
651   if (l != NULL)
652     {
653       assert (l->l_type != lt_loaded);
654
655       if (l->l_info[DT_RUNPATH])
656         {
657           /* Allocate room for the search path and fill in information
658              from RUNPATH.  */
659           decompose_rpath (&l->l_runpath_dirs,
660                            (const void *) (D_PTR (l, l_info[DT_STRTAB])
661                                            + l->l_info[DT_RUNPATH]->d_un.d_val),
662                            l, "RUNPATH");
663
664           /* The RPATH is ignored.  */
665           l->l_rpath_dirs.dirs = (void *) -1;
666         }
667       else
668         {
669           l->l_runpath_dirs.dirs = (void *) -1;
670
671           if (l->l_info[DT_RPATH])
672             {
673               /* Allocate room for the search path and fill in information
674                  from RPATH.  */
675               decompose_rpath (&l->l_rpath_dirs,
676                                (const void *) (D_PTR (l, l_info[DT_STRTAB])
677                                                + l->l_info[DT_RPATH]->d_un.d_val),
678                                l, "RPATH");
679               l->l_rpath_dirs.malloced = 0;
680             }
681           else
682             l->l_rpath_dirs.dirs = (void *) -1;
683         }
684     }
685 #endif  /* SHARED */
686
687   if (llp != NULL && *llp != '\0')
688     {
689       size_t nllp;
690       const char *cp = llp;
691       char *llp_tmp = strdupa (llp);
692
693       /* Decompose the LD_LIBRARY_PATH contents.  First determine how many
694          elements it has.  */
695       nllp = 1;
696       while (*cp)
697         {
698           if (*cp == ':' || *cp == ';')
699             ++nllp;
700           ++cp;
701         }
702
703       env_path_list.dirs = (struct r_search_path_elem **)
704         malloc ((nllp + 1) * sizeof (struct r_search_path_elem *));
705       if (env_path_list.dirs == NULL)
706         {
707           errstring = N_("cannot create cache for search path");
708           goto signal_error;
709         }
710
711       (void) fillin_rpath (llp_tmp, env_path_list.dirs, ":;",
712                            INTUSE(__libc_enable_secure), "LD_LIBRARY_PATH",
713                            NULL);
714
715       if (env_path_list.dirs[0] == NULL)
716         {
717           free (env_path_list.dirs);
718           env_path_list.dirs = (void *) -1;
719         }
720
721       env_path_list.malloced = 0;
722     }
723   else
724     env_path_list.dirs = (void *) -1;
725
726   /* Remember the last search directory added at startup.  */
727   GL(dl_init_all_dirs) = GL(dl_all_dirs);
728 }
729
730
731 /* Think twice before changing anything in this function.  It is placed
732    here and prepared using the `alloca' magic to prevent it from being
733    inlined.  The function is only called in case of an error.  But then
734    performance does not count.  The function used to be "inlinable" and
735    the compiled did so all the time.  This increased the code size for
736    absolutely no good reason.  */
737 static void
738 __attribute__ ((noreturn))
739 lose (int code, int fd, const char *name, char *realname, struct link_map *l,
740       const char *msg)
741 {
742   /* The use of `alloca' here looks ridiculous but it helps.  The goal
743      is to avoid the function from being inlined.  There is no official
744      way to do this so we use this trick.  gcc never inlines functions
745      which use `alloca'.  */
746   int *a = (int *) alloca (sizeof (int));
747   a[0] = fd;
748   /* The file might already be closed.  */
749   if (a[0] != -1)
750     (void) __close (a[0]);
751   if (l != NULL)
752     {
753       /* Remove the stillborn object from the list and free it.  */
754       assert (l->l_next == NULL);
755       if (l->l_prev == NULL)
756         /* No other module loaded. This happens only in the static library,
757            or in rtld under --verify.  */
758         GL(dl_loaded) = NULL;
759       else
760         l->l_prev->l_next = NULL;
761       --GL(dl_nloaded);
762       free (l);
763     }
764   free (realname);
765   INTUSE(_dl_signal_error) (code, name, NULL, msg);
766 }
767
768
769 /* Map in the shared object NAME, actually located in REALNAME, and already
770    opened on FD.  */
771
772 #ifndef EXTERNAL_MAP_FROM_FD
773 static
774 #endif
775 struct link_map *
776 _dl_map_object_from_fd (const char *name, int fd, struct filebuf *fbp,
777                         char *realname, struct link_map *loader, int l_type,
778                         int mode)
779 {
780   struct link_map *l = NULL;
781   const ElfW(Ehdr) *header;
782   const ElfW(Phdr) *phdr;
783   const ElfW(Phdr) *ph;
784   size_t maplength;
785   int type;
786   struct stat64 st;
787   /* Initialize to keep the compiler happy.  */
788   const char *errstring = NULL;
789   int errval = 0;
790
791   /* Get file information.  */
792   if (__builtin_expect (__fxstat64 (_STAT_VER, fd, &st) < 0, 0))
793     {
794       errstring = N_("cannot stat shared object");
795     call_lose_errno:
796       errval = errno;
797     call_lose:
798       lose (errval, fd, name, realname, l, errstring);
799     }
800
801   /* Look again to see if the real name matched another already loaded.  */
802   for (l = GL(dl_loaded); l; l = l->l_next)
803     if (l->l_ino == st.st_ino && l->l_dev == st.st_dev)
804       {
805         /* The object is already loaded.
806            Just bump its reference count and return it.  */
807         __close (fd);
808
809         /* If the name is not in the list of names for this object add
810            it.  */
811         free (realname);
812         add_name_to_object (l, name);
813
814         return l;
815       }
816
817   if (mode & RTLD_NOLOAD)
818     /* We are not supposed to load the object unless it is already
819        loaded.  So return now.  */
820     return NULL;
821
822   /* Print debugging message.  */
823   if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_FILES, 0))
824     INTUSE(_dl_debug_printf) ("file=%s;  generating link map\n", name);
825
826   /* This is the ELF header.  We read it in `open_verify'.  */
827   header = (void *) fbp->buf;
828
829 #ifndef MAP_ANON
830 # define MAP_ANON 0
831   if (_dl_zerofd == -1)
832     {
833       _dl_zerofd = _dl_sysdep_open_zero_fill ();
834       if (_dl_zerofd == -1)
835         {
836           __close (fd);
837           INTUSE(_dl_signal_error) (errno, NULL, NULL,
838                                  N_("cannot open zero fill device"));
839         }
840     }
841 #endif
842
843   /* Enter the new object in the list of loaded objects.  */
844   l = _dl_new_object (realname, name, l_type, loader);
845   if (__builtin_expect (! l, 0))
846     {
847       errstring = N_("cannot create shared object descriptor");
848       goto call_lose_errno;
849     }
850
851   /* Extract the remaining details we need from the ELF header
852      and then read in the program header table.  */
853   l->l_entry = header->e_entry;
854   type = header->e_type;
855   l->l_phnum = header->e_phnum;
856
857   maplength = header->e_phnum * sizeof (ElfW(Phdr));
858   if (header->e_phoff + maplength <= (size_t) fbp->len)
859     phdr = (void *) (fbp->buf + header->e_phoff);
860   else
861     {
862       phdr = alloca (maplength);
863       __lseek (fd, header->e_phoff, SEEK_SET);
864       if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
865         {
866           errstring = N_("cannot read file data");
867           goto call_lose_errno;
868         }
869     }
870
871   {
872     /* Scan the program header table, collecting its load commands.  */
873     struct loadcmd
874       {
875         ElfW(Addr) mapstart, mapend, dataend, allocend;
876         off_t mapoff;
877         int prot;
878       } loadcmds[l->l_phnum], *c;
879     size_t nloadcmds = 0;
880
881     /* The struct is initialized to zero so this is not necessary:
882     l->l_ld = 0;
883     l->l_phdr = 0;
884     l->l_addr = 0; */
885     for (ph = phdr; ph < &phdr[l->l_phnum]; ++ph)
886       switch (ph->p_type)
887         {
888           /* These entries tell us where to find things once the file's
889              segments are mapped in.  We record the addresses it says
890              verbatim, and later correct for the run-time load address.  */
891         case PT_DYNAMIC:
892           l->l_ld = (void *) ph->p_vaddr;
893           l->l_ldnum = ph->p_memsz / sizeof (ElfW(Dyn));
894           break;
895
896         case PT_PHDR:
897           l->l_phdr = (void *) ph->p_vaddr;
898           break;
899
900         case PT_LOAD:
901           /* A load command tells us to map in part of the file.
902              We record the load commands and process them all later.  */
903           if (__builtin_expect ((ph->p_align & (GL(dl_pagesize) - 1)) != 0,
904                                 0))
905             {
906               errstring = N_("ELF load command alignment not page-aligned");
907               goto call_lose;
908             }
909           if (__builtin_expect (((ph->p_vaddr - ph->p_offset)
910                                  & (ph->p_align - 1)) != 0, 0))
911             {
912               errstring
913                 = N_("ELF load command address/offset not properly aligned");
914               goto call_lose;
915             }
916
917           c = &loadcmds[nloadcmds++];
918           c->mapstart = ph->p_vaddr & ~(ph->p_align - 1);
919           c->mapend = ((ph->p_vaddr + ph->p_filesz + GL(dl_pagesize) - 1)
920                        & ~(GL(dl_pagesize) - 1));
921           c->dataend = ph->p_vaddr + ph->p_filesz;
922           c->allocend = ph->p_vaddr + ph->p_memsz;
923           c->mapoff = ph->p_offset & ~(ph->p_align - 1);
924
925           /* Optimize a common case.  */
926 #if (PF_R | PF_W | PF_X) == 7 && (PROT_READ | PROT_WRITE | PROT_EXEC) == 7
927           c->prot = (PF_TO_PROT
928                      >> ((ph->p_flags & (PF_R | PF_W | PF_X)) * 4)) & 0xf;
929 #else
930           c->prot = 0;
931           if (ph->p_flags & PF_R)
932             c->prot |= PROT_READ;
933           if (ph->p_flags & PF_W)
934             c->prot |= PROT_WRITE;
935           if (ph->p_flags & PF_X)
936             c->prot |= PROT_EXEC;
937 #endif
938           break;
939
940         case PT_TLS:
941 #ifdef USE_TLS
942           if (ph->p_memsz == 0)
943             /* Nothing to do for an empty segment.  */
944             break;
945
946           l->l_tls_blocksize = ph->p_memsz;
947           l->l_tls_align = ph->p_align;
948           l->l_tls_initimage_size = ph->p_filesz;
949           /* Since we don't know the load address yet only store the
950              offset.  We will adjust it later.  */
951           l->l_tls_initimage = (void *) ph->p_vaddr;
952
953           /* If not loading the initial set of shared libraries,
954              check whether we should permit loading a TLS segment.  */
955           if (__builtin_expect (l->l_type == lt_library, 1)
956               /* If GL(dl_tls_dtv_slotinfo_list) == NULL, then rtld.c did
957                  not set up TLS data structures, so don't use them now.  */
958               || __builtin_expect (GL(dl_tls_dtv_slotinfo_list) != NULL, 1))
959             {
960               /* Assign the next available module ID.  */
961               l->l_tls_modid = _dl_next_tls_modid ();
962               break;
963             }
964
965 # ifdef SHARED
966           if (l->l_prev == NULL)
967             /* We are loading the executable itself when the dynamic linker
968                was executed directly.  The setup will happen later.  */
969             break;
970
971           /* In a static binary there is no way to tell if we dynamically
972              loaded libpthread.  */
973           if (GL(dl_error_catch_tsd) == &_dl_initial_error_catch_tsd)
974 # endif
975             {
976               /* We have not yet loaded libpthread.
977                  We can do the TLS setup right now!  */
978
979               void *tcb;
980
981               /* The first call allocates TLS bookkeeping data structures.
982                  Then we allocate the TCB for the initial thread.  */
983               if (__builtin_expect (_dl_tls_setup (), 0)
984                   || __builtin_expect ((tcb = _dl_allocate_tls (NULL)) == NULL,
985                                        0))
986                 {
987                   errval = ENOMEM;
988                   errstring = N_("\
989 cannot allocate TLS data structures for initial thread");
990                   goto call_lose;
991                 }
992
993               /* Now we install the TCB in the thread register.  */
994               errstring = TLS_INIT_TP (tcb, 0);
995               if (__builtin_expect (errstring == NULL, 1))
996                 {
997                   /* Now we are all good.  */
998                   l->l_tls_modid = ++GL(dl_tls_max_dtv_idx);
999                   break;
1000                 }
1001
1002               /* The kernel is too old or somesuch.  */
1003               errval = 0;
1004               _dl_deallocate_tls (tcb, 1);
1005               goto call_lose;
1006             }
1007 #endif
1008
1009           /* Uh-oh, the binary expects TLS support but we cannot
1010              provide it.  */
1011           errval = 0;
1012           errstring = N_("cannot handle TLS data");
1013           goto call_lose;
1014           break;
1015         }
1016
1017     /* Now process the load commands and map segments into memory.  */
1018     c = loadcmds;
1019
1020     /* Length of the sections to be loaded.  */
1021     maplength = loadcmds[nloadcmds - 1].allocend - c->mapstart;
1022
1023     if (__builtin_expect (type, ET_DYN) == ET_DYN)
1024       {
1025         /* This is a position-independent shared object.  We can let the
1026            kernel map it anywhere it likes, but we must have space for all
1027            the segments in their specified positions relative to the first.
1028            So we map the first segment without MAP_FIXED, but with its
1029            extent increased to cover all the segments.  Then we remove
1030            access from excess portion, and there is known sufficient space
1031            there to remap from the later segments.
1032
1033            As a refinement, sometimes we have an address that we would
1034            prefer to map such objects at; but this is only a preference,
1035            the OS can do whatever it likes. */
1036         ElfW(Addr) mappref;
1037         mappref = (ELF_PREFERRED_ADDRESS (loader, maplength, c->mapstart)
1038                    - MAP_BASE_ADDR (l));
1039
1040         /* Remember which part of the address space this object uses.  */
1041         l->l_map_start = (ElfW(Addr)) __mmap ((void *) mappref, maplength,
1042                                               c->prot, MAP_COPY | MAP_FILE,
1043                                               fd, c->mapoff);
1044         if (__builtin_expect ((void *) l->l_map_start == MAP_FAILED, 0))
1045           {
1046           map_error:
1047             errstring = N_("failed to map segment from shared object");
1048             goto call_lose_errno;
1049           }
1050
1051         l->l_map_end = l->l_map_start + maplength;
1052         l->l_addr = l->l_map_start - c->mapstart;
1053
1054         /* Change protection on the excess portion to disallow all access;
1055            the portions we do not remap later will be inaccessible as if
1056            unallocated.  Then jump into the normal segment-mapping loop to
1057            handle the portion of the segment past the end of the file
1058            mapping.  */
1059         __mprotect ((caddr_t) (l->l_addr + c->mapend),
1060                     loadcmds[nloadcmds - 1].allocend - c->mapend,
1061                     PROT_NONE);
1062
1063         goto postmap;
1064       }
1065     else
1066       {
1067         /* This object is loaded at a fixed address.  This must never
1068            happen for objects loaded with dlopen().  */
1069         if (__builtin_expect (mode & __RTLD_DLOPEN, 0))
1070           {
1071             errstring = N_("cannot dynamically load executable");
1072             goto call_lose;
1073           }
1074
1075         /* Notify ELF_PREFERRED_ADDRESS that we have to load this one
1076            fixed.  */
1077         ELF_FIXED_ADDRESS (loader, c->mapstart);
1078       }
1079
1080     /* Remember which part of the address space this object uses.  */
1081     l->l_map_start = c->mapstart + l->l_addr;
1082     l->l_map_end = l->l_map_start + maplength;
1083
1084     while (c < &loadcmds[nloadcmds])
1085       {
1086         if (c->mapend > c->mapstart
1087             /* Map the segment contents from the file.  */
1088             && (__mmap ((void *) (l->l_addr + c->mapstart),
1089                         c->mapend - c->mapstart, c->prot,
1090                         MAP_FIXED | MAP_COPY | MAP_FILE, fd, c->mapoff)
1091                 == MAP_FAILED))
1092           goto map_error;
1093
1094       postmap:
1095         if (l->l_phdr == 0
1096             && (ElfW(Off)) c->mapoff <= header->e_phoff
1097             && ((size_t) (c->mapend - c->mapstart + c->mapoff)
1098                 >= header->e_phoff + header->e_phnum * sizeof (ElfW(Phdr))))
1099           /* Found the program header in this segment.  */
1100           l->l_phdr = (void *) (c->mapstart + header->e_phoff - c->mapoff);
1101
1102         if (c->allocend > c->dataend)
1103           {
1104             /* Extra zero pages should appear at the end of this segment,
1105                after the data mapped from the file.   */
1106             ElfW(Addr) zero, zeroend, zeropage;
1107
1108             zero = l->l_addr + c->dataend;
1109             zeroend = l->l_addr + c->allocend;
1110             zeropage = ((zero + GL(dl_pagesize) - 1)
1111                         & ~(GL(dl_pagesize) - 1));
1112
1113             if (zeroend < zeropage)
1114               /* All the extra data is in the last page of the segment.
1115                  We can just zero it.  */
1116               zeropage = zeroend;
1117
1118             if (zeropage > zero)
1119               {
1120                 /* Zero the final part of the last page of the segment.  */
1121                 if ((c->prot & PROT_WRITE) == 0)
1122                   {
1123                     /* Dag nab it.  */
1124                     if (__builtin_expect (__mprotect ((caddr_t)
1125                                                       (zero
1126                                                        & ~(GL(dl_pagesize)
1127                                                            - 1)),
1128                                                       GL(dl_pagesize),
1129                                                       c->prot|PROT_WRITE) < 0,
1130                                           0))
1131                       {
1132                         errstring = N_("cannot change memory protections");
1133                         goto call_lose_errno;
1134                       }
1135                   }
1136                 memset ((void *) zero, '\0', zeropage - zero);
1137                 if ((c->prot & PROT_WRITE) == 0)
1138                   __mprotect ((caddr_t) (zero & ~(GL(dl_pagesize) - 1)),
1139                               GL(dl_pagesize), c->prot);
1140               }
1141
1142             if (zeroend > zeropage)
1143               {
1144                 /* Map the remaining zero pages in from the zero fill FD.  */
1145                 caddr_t mapat;
1146                 mapat = __mmap ((caddr_t) zeropage, zeroend - zeropage,
1147                                 c->prot, MAP_ANON|MAP_PRIVATE|MAP_FIXED,
1148                                 ANONFD, 0);
1149                 if (__builtin_expect (mapat == MAP_FAILED, 0))
1150                   {
1151                     errstring = N_("cannot map zero-fill pages");
1152                     goto call_lose_errno;
1153                   }
1154               }
1155           }
1156
1157         ++c;
1158       }
1159
1160     if (l->l_phdr == NULL)
1161       {
1162         /* The program header is not contained in any of the segments.
1163            We have to allocate memory ourself and copy it over from
1164            out temporary place.  */
1165         ElfW(Phdr) *newp = (ElfW(Phdr) *) malloc (header->e_phnum
1166                                                   * sizeof (ElfW(Phdr)));
1167         if (newp == NULL)
1168           {
1169             errstring = N_("cannot allocate memory for program header");
1170             goto call_lose_errno;
1171           }
1172
1173         l->l_phdr = memcpy (newp, phdr,
1174                             (header->e_phnum * sizeof (ElfW(Phdr))));
1175         l->l_phdr_allocated = 1;
1176       }
1177     else
1178       /* Adjust the PT_PHDR value by the runtime load address.  */
1179       (ElfW(Addr)) l->l_phdr += l->l_addr;
1180   }
1181
1182 #ifdef USE_TLS
1183     /* Adjust the address of the TLS initialization image.  */
1184     if (l->l_tls_initimage != NULL)
1185       l->l_tls_initimage = (char *) l->l_tls_initimage + l->l_addr;
1186 #endif
1187
1188   /* We are done mapping in the file.  We no longer need the descriptor.  */
1189   __close (fd);
1190   /* Signal that we closed the file.  */
1191   fd = -1;
1192
1193   if (l->l_type == lt_library && type == ET_EXEC)
1194     l->l_type = lt_executable;
1195
1196   if (l->l_ld == 0)
1197     {
1198       if (__builtin_expect (type == ET_DYN, 0))
1199         {
1200           errstring = N_("object file has no dynamic section");
1201           goto call_lose;
1202         }
1203     }
1204   else
1205     (ElfW(Addr)) l->l_ld += l->l_addr;
1206
1207   l->l_entry += l->l_addr;
1208
1209   if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_FILES, 0))
1210     INTUSE(_dl_debug_printf) ("\
1211   dynamic: 0x%0*lx  base: 0x%0*lx   size: 0x%0*Zx\n\
1212     entry: 0x%0*lx  phdr: 0x%0*lx  phnum:   %*u\n\n",
1213                            (int) sizeof (void *) * 2,
1214                            (unsigned long int) l->l_ld,
1215                            (int) sizeof (void *) * 2,
1216                            (unsigned long int) l->l_addr,
1217                            (int) sizeof (void *) * 2, maplength,
1218                            (int) sizeof (void *) * 2,
1219                            (unsigned long int) l->l_entry,
1220                            (int) sizeof (void *) * 2,
1221                            (unsigned long int) l->l_phdr,
1222                            (int) sizeof (void *) * 2, l->l_phnum);
1223
1224   elf_get_dynamic_info (l);
1225
1226   /* Make sure we are not dlopen'ing an object
1227      that has the DF_1_NOOPEN flag set.  */
1228   if (__builtin_expect (l->l_flags_1 & DF_1_NOOPEN, 0)
1229       && (mode & __RTLD_DLOPEN))
1230     {
1231       /* We are not supposed to load this object.  Free all resources.  */
1232       __munmap ((void *) l->l_map_start, l->l_map_end - l->l_map_start);
1233
1234       if (!l->l_libname->dont_free)
1235         free (l->l_libname);
1236
1237       if (l->l_phdr_allocated)
1238         free ((void *) l->l_phdr);
1239
1240       errstring = N_("shared object cannot be dlopen()ed");
1241       goto call_lose;
1242     }
1243
1244   if (l->l_info[DT_HASH])
1245     _dl_setup_hash (l);
1246
1247   /* If this object has DT_SYMBOLIC set modify now its scope.  We don't
1248      have to do this for the main map.  */
1249   if (__builtin_expect (l->l_info[DT_SYMBOLIC] != NULL, 0)
1250       && &l->l_searchlist != l->l_scope[0])
1251     {
1252       /* Create an appropriate searchlist.  It contains only this map.
1253
1254          XXX This is the definition of DT_SYMBOLIC in SysVr4.  The old
1255          GNU ld.so implementation had a different interpretation which
1256          is more reasonable.  We are prepared to add this possibility
1257          back as part of a GNU extension of the ELF format.  */
1258       l->l_symbolic_searchlist.r_list =
1259         (struct link_map **) malloc (sizeof (struct link_map *));
1260
1261       if (l->l_symbolic_searchlist.r_list == NULL)
1262         {
1263           errstring = N_("cannot create searchlist");
1264           goto call_lose_errno;
1265         }
1266
1267       l->l_symbolic_searchlist.r_list[0] = l;
1268       l->l_symbolic_searchlist.r_nlist = 1;
1269
1270       /* Now move the existing entries one back.  */
1271       memmove (&l->l_scope[1], &l->l_scope[0],
1272                (l->l_scope_max - 1) * sizeof (l->l_scope[0]));
1273
1274       /* Now add the new entry.  */
1275       l->l_scope[0] = &l->l_symbolic_searchlist;
1276     }
1277
1278   /* Remember whether this object must be initialized first.  */
1279   if (l->l_flags_1 & DF_1_INITFIRST)
1280     GL(dl_initfirst) = l;
1281
1282   /* Finally the file information.  */
1283   l->l_dev = st.st_dev;
1284   l->l_ino = st.st_ino;
1285
1286   /* When we profile the SONAME might be needed for something else but
1287      loading.  Add it right away.  */
1288   if (__builtin_expect (GL(dl_profile) != NULL, 0)
1289       && l->l_info[DT_SONAME] != NULL)
1290     add_name_to_object (l, ((const char *) D_PTR (l, l_info[DT_STRTAB])
1291                             + l->l_info[DT_SONAME]->d_un.d_val));
1292
1293   return l;
1294 }
1295 \f
1296 /* Print search path.  */
1297 static void
1298 print_search_path (struct r_search_path_elem **list,
1299                    const char *what, const char *name)
1300 {
1301   char buf[max_dirnamelen + max_capstrlen];
1302   int first = 1;
1303
1304   INTUSE(_dl_debug_printf) (" search path=");
1305
1306   while (*list != NULL && (*list)->what == what) /* Yes, ==.  */
1307     {
1308       char *endp = __mempcpy (buf, (*list)->dirname, (*list)->dirnamelen);
1309       size_t cnt;
1310
1311       for (cnt = 0; cnt < ncapstr; ++cnt)
1312         if ((*list)->status[cnt] != nonexisting)
1313           {
1314             char *cp = __mempcpy (endp, capstr[cnt].str, capstr[cnt].len);
1315             if (cp == buf || (cp == buf + 1 && buf[0] == '/'))
1316               cp[0] = '\0';
1317             else
1318               cp[-1] = '\0';
1319
1320             _dl_debug_printf_c (first ? "%s" : ":%s", buf);
1321             first = 0;
1322           }
1323
1324       ++list;
1325     }
1326
1327   if (name != NULL)
1328     _dl_debug_printf_c ("\t\t(%s from file %s)\n", what,
1329                         name[0] ? name : rtld_progname);
1330   else
1331     _dl_debug_printf_c ("\t\t(%s)\n", what);
1332 }
1333 \f
1334 /* Open a file and verify it is an ELF file for this architecture.  We
1335    ignore only ELF files for other architectures.  Non-ELF files and
1336    ELF files with different header information cause fatal errors since
1337    this could mean there is something wrong in the installation and the
1338    user might want to know about this.  */
1339 static int
1340 open_verify (const char *name, struct filebuf *fbp)
1341 {
1342   /* This is the expected ELF header.  */
1343 #define ELF32_CLASS ELFCLASS32
1344 #define ELF64_CLASS ELFCLASS64
1345 #ifndef VALID_ELF_HEADER
1346 # define VALID_ELF_HEADER(hdr,exp,size) (memcmp (hdr, exp, size) == 0)
1347 # define VALID_ELF_OSABI(osabi)         (osabi == ELFOSABI_SYSV)
1348 # define VALID_ELF_ABIVERSION(ver)      (ver == 0)
1349 #endif
1350   static const unsigned char expected[EI_PAD] =
1351   {
1352     [EI_MAG0] = ELFMAG0,
1353     [EI_MAG1] = ELFMAG1,
1354     [EI_MAG2] = ELFMAG2,
1355     [EI_MAG3] = ELFMAG3,
1356     [EI_CLASS] = ELFW(CLASS),
1357     [EI_DATA] = byteorder,
1358     [EI_VERSION] = EV_CURRENT,
1359     [EI_OSABI] = ELFOSABI_SYSV,
1360     [EI_ABIVERSION] = 0
1361   };
1362   static const struct
1363   {
1364     ElfW(Word) vendorlen;
1365     ElfW(Word) datalen;
1366     ElfW(Word) type;
1367     char vendor[4];
1368   } expected_note = { 4, 16, 1, "GNU" };
1369   int fd;
1370   /* Initialize it to make the compiler happy.  */
1371   const char *errstring = NULL;
1372   int errval = 0;
1373
1374   /* Open the file.  We always open files read-only.  */
1375   fd = __open (name, O_RDONLY);
1376   if (fd != -1)
1377     {
1378       ElfW(Ehdr) *ehdr;
1379       ElfW(Phdr) *phdr, *ph;
1380       ElfW(Word) *abi_note, abi_note_buf[8];
1381       unsigned int osversion;
1382       size_t maplength;
1383
1384       /* We successfully openened the file.  Now verify it is a file
1385          we can use.  */
1386       __set_errno (0);
1387       fbp->len = __libc_read (fd, fbp->buf, sizeof (fbp->buf));
1388
1389       /* This is where the ELF header is loaded.  */
1390       assert (sizeof (fbp->buf) > sizeof (ElfW(Ehdr)));
1391       ehdr = (ElfW(Ehdr) *) fbp->buf;
1392
1393       /* Now run the tests.  */
1394       if (__builtin_expect (fbp->len < (ssize_t) sizeof (ElfW(Ehdr)), 0))
1395         {
1396           errval = errno;
1397           errstring = (errval == 0
1398                        ? N_("file too short") : N_("cannot read file data"));
1399         call_lose:
1400           lose (errval, fd, name, NULL, NULL, errstring);
1401         }
1402
1403       /* See whether the ELF header is what we expect.  */
1404       if (__builtin_expect (! VALID_ELF_HEADER (ehdr->e_ident, expected,
1405                                                 EI_PAD), 0))
1406         {
1407           /* Something is wrong.  */
1408           if (*(Elf32_Word *) &ehdr->e_ident !=
1409 #if BYTE_ORDER == LITTLE_ENDIAN
1410               ((ELFMAG0 << (EI_MAG0 * 8)) |
1411                (ELFMAG1 << (EI_MAG1 * 8)) |
1412                (ELFMAG2 << (EI_MAG2 * 8)) |
1413                (ELFMAG3 << (EI_MAG3 * 8)))
1414 #else
1415               ((ELFMAG0 << (EI_MAG3 * 8)) |
1416                (ELFMAG1 << (EI_MAG2 * 8)) |
1417                (ELFMAG2 << (EI_MAG1 * 8)) |
1418                (ELFMAG3 << (EI_MAG0 * 8)))
1419 #endif
1420               )
1421             errstring = N_("invalid ELF header");
1422           else if (ehdr->e_ident[EI_CLASS] != ELFW(CLASS))
1423             /* This is not a fatal error.  On architectures where
1424                32-bit and 64-bit binaries can be run this might
1425                happen.  */
1426             goto close_and_out;
1427           else if (ehdr->e_ident[EI_DATA] != byteorder)
1428             {
1429               if (BYTE_ORDER == BIG_ENDIAN)
1430                 errstring = N_("ELF file data encoding not big-endian");
1431               else
1432                 errstring = N_("ELF file data encoding not little-endian");
1433             }
1434           else if (ehdr->e_ident[EI_VERSION] != EV_CURRENT)
1435             errstring
1436               = N_("ELF file version ident does not match current one");
1437           /* XXX We should be able so set system specific versions which are
1438              allowed here.  */
1439           else if (!VALID_ELF_OSABI (ehdr->e_ident[EI_OSABI]))
1440             errstring = N_("ELF file OS ABI invalid");
1441           else if (!VALID_ELF_ABIVERSION (ehdr->e_ident[EI_ABIVERSION]))
1442             errstring = N_("ELF file ABI version invalid");
1443           else
1444             /* Otherwise we don't know what went wrong.  */
1445             errstring = N_("internal error");
1446
1447           goto call_lose;
1448         }
1449
1450       if (__builtin_expect (ehdr->e_version, EV_CURRENT) != EV_CURRENT)
1451         {
1452           errstring = N_("ELF file version does not match current one");
1453           goto call_lose;
1454         }
1455       if (! __builtin_expect (elf_machine_matches_host (ehdr), 1))
1456         goto close_and_out;
1457       else if (__builtin_expect (ehdr->e_phentsize, sizeof (ElfW(Phdr)))
1458                != sizeof (ElfW(Phdr)))
1459         {
1460           errstring = N_("ELF file's phentsize not the expected size");
1461           goto call_lose;
1462         }
1463       else if (__builtin_expect (ehdr->e_type, ET_DYN) != ET_DYN
1464                && __builtin_expect (ehdr->e_type, ET_EXEC) != ET_EXEC)
1465         {
1466           errstring = N_("only ET_DYN and ET_EXEC can be loaded");
1467           goto call_lose;
1468         }
1469
1470       maplength = ehdr->e_phnum * sizeof (ElfW(Phdr));
1471       if (ehdr->e_phoff + maplength <= (size_t) fbp->len)
1472         phdr = (void *) (fbp->buf + ehdr->e_phoff);
1473       else
1474         {
1475           phdr = alloca (maplength);
1476           __lseek (fd, ehdr->e_phoff, SEEK_SET);
1477           if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
1478             {
1479             read_error:
1480               errval = errno;
1481               errstring = N_("cannot read file data");
1482               goto call_lose;
1483             }
1484         }
1485
1486       /* Check .note.ABI-tag if present.  */
1487       for (ph = phdr; ph < &phdr[ehdr->e_phnum]; ++ph)
1488         if (ph->p_type == PT_NOTE && ph->p_filesz == 32 && ph->p_align >= 4)
1489           {
1490             if (ph->p_offset + 32 <= (size_t) fbp->len)
1491               abi_note = (void *) (fbp->buf + ph->p_offset);
1492             else
1493               {
1494                 __lseek (fd, ph->p_offset, SEEK_SET);
1495                 if (__libc_read (fd, (void *) abi_note_buf, 32) != 32)
1496                   goto read_error;
1497
1498                 abi_note = abi_note_buf;
1499               }
1500
1501             if (memcmp (abi_note, &expected_note, sizeof (expected_note)))
1502               continue;
1503
1504             osversion = (abi_note[5] & 0xff) * 65536
1505                         + (abi_note[6] & 0xff) * 256
1506                         + (abi_note[7] & 0xff);
1507             if (abi_note[4] != __ABI_TAG_OS
1508                 || (GL(dl_osversion) && GL(dl_osversion) < osversion))
1509               {
1510               close_and_out:
1511                 __close (fd);
1512                 __set_errno (ENOENT);
1513                 fd = -1;
1514               }
1515
1516             break;
1517           }
1518     }
1519
1520   return fd;
1521 }
1522 \f
1523 /* Try to open NAME in one of the directories in *DIRSP.
1524    Return the fd, or -1.  If successful, fill in *REALNAME
1525    with the malloc'd full directory name.  If it turns out
1526    that none of the directories in *DIRSP exists, *DIRSP is
1527    replaced with (void *) -1, and the old value is free()d
1528    if MAY_FREE_DIRS is true.  */
1529
1530 static int
1531 open_path (const char *name, size_t namelen, int preloaded,
1532            struct r_search_path_struct *sps, char **realname,
1533            struct filebuf *fbp)
1534 {
1535   struct r_search_path_elem **dirs = sps->dirs;
1536   char *buf;
1537   int fd = -1;
1538   const char *current_what = NULL;
1539   int any = 0;
1540
1541   buf = alloca (max_dirnamelen + max_capstrlen + namelen);
1542   do
1543     {
1544       struct r_search_path_elem *this_dir = *dirs;
1545       size_t buflen = 0;
1546       size_t cnt;
1547       char *edp;
1548       int here_any = 0;
1549       int err;
1550
1551       /* If we are debugging the search for libraries print the path
1552          now if it hasn't happened now.  */
1553       if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_LIBS, 0)
1554           && current_what != this_dir->what)
1555         {
1556           current_what = this_dir->what;
1557           print_search_path (dirs, current_what, this_dir->where);
1558         }
1559
1560       edp = (char *) __mempcpy (buf, this_dir->dirname, this_dir->dirnamelen);
1561       for (cnt = 0; fd == -1 && cnt < ncapstr; ++cnt)
1562         {
1563           /* Skip this directory if we know it does not exist.  */
1564           if (this_dir->status[cnt] == nonexisting)
1565             continue;
1566
1567           buflen =
1568             ((char *) __mempcpy (__mempcpy (edp, capstr[cnt].str,
1569                                             capstr[cnt].len),
1570                                  name, namelen)
1571              - buf);
1572
1573           /* Print name we try if this is wanted.  */
1574           if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_LIBS, 0))
1575             INTUSE(_dl_debug_printf) ("  trying file=%s\n", buf);
1576
1577           fd = open_verify (buf, fbp);
1578           if (this_dir->status[cnt] == unknown)
1579             {
1580               if (fd != -1)
1581                 this_dir->status[cnt] = existing;
1582               else
1583                 {
1584                   /* We failed to open machine dependent library.  Let's
1585                      test whether there is any directory at all.  */
1586                   struct stat64 st;
1587
1588                   buf[buflen - namelen - 1] = '\0';
1589
1590                   if (__xstat64 (_STAT_VER, buf, &st) != 0
1591                       || ! S_ISDIR (st.st_mode))
1592                     /* The directory does not exist or it is no directory.  */
1593                     this_dir->status[cnt] = nonexisting;
1594                   else
1595                     this_dir->status[cnt] = existing;
1596                 }
1597             }
1598
1599           /* Remember whether we found any existing directory.  */
1600           here_any |= this_dir->status[cnt] == existing;
1601
1602           if (fd != -1 && __builtin_expect (preloaded, 0)
1603               && INTUSE(__libc_enable_secure))
1604             {
1605               /* This is an extra security effort to make sure nobody can
1606                  preload broken shared objects which are in the trusted
1607                  directories and so exploit the bugs.  */
1608               struct stat64 st;
1609
1610               if (__fxstat64 (_STAT_VER, fd, &st) != 0
1611                   || (st.st_mode & S_ISUID) == 0)
1612                 {
1613                   /* The shared object cannot be tested for being SUID
1614                      or this bit is not set.  In this case we must not
1615                      use this object.  */
1616                   __close (fd);
1617                   fd = -1;
1618                   /* We simply ignore the file, signal this by setting
1619                      the error value which would have been set by `open'.  */
1620                   errno = ENOENT;
1621                 }
1622             }
1623         }
1624
1625       if (fd != -1)
1626         {
1627           *realname = (char *) malloc (buflen);
1628           if (*realname != NULL)
1629             {
1630               memcpy (*realname, buf, buflen);
1631               return fd;
1632             }
1633           else
1634             {
1635               /* No memory for the name, we certainly won't be able
1636                  to load and link it.  */
1637               __close (fd);
1638               return -1;
1639             }
1640         }
1641       if (here_any && (err = errno) != ENOENT && err != EACCES)
1642         /* The file exists and is readable, but something went wrong.  */
1643         return -1;
1644
1645       /* Remember whether we found anything.  */
1646       any |= here_any;
1647     }
1648   while (*++dirs != NULL);
1649
1650   /* Remove the whole path if none of the directories exists.  */
1651   if (__builtin_expect (! any, 0))
1652     {
1653       /* Paths which were allocated using the minimal malloc() in ld.so
1654          must not be freed using the general free() in libc.  */
1655       if (sps->malloced)
1656         free (sps->dirs);
1657       sps->dirs = (void *) -1;
1658     }
1659
1660   return -1;
1661 }
1662
1663 /* Map in the shared object file NAME.  */
1664
1665 struct link_map *
1666 internal_function
1667 _dl_map_object (struct link_map *loader, const char *name, int preloaded,
1668                 int type, int trace_mode, int mode)
1669 {
1670   int fd;
1671   char *realname;
1672   char *name_copy;
1673   struct link_map *l;
1674   struct filebuf fb;
1675
1676   /* Look for this name among those already loaded.  */
1677   for (l = GL(dl_loaded); l; l = l->l_next)
1678     {
1679       /* If the requested name matches the soname of a loaded object,
1680          use that object.  Elide this check for names that have not
1681          yet been opened.  */
1682       if (__builtin_expect (l->l_faked, 0) != 0)
1683         continue;
1684       if (!_dl_name_match_p (name, l))
1685         {
1686           const char *soname;
1687
1688           if (__builtin_expect (l->l_soname_added, 1)
1689               || l->l_info[DT_SONAME] == NULL)
1690             continue;
1691
1692           soname = ((const char *) D_PTR (l, l_info[DT_STRTAB])
1693                     + l->l_info[DT_SONAME]->d_un.d_val);
1694           if (strcmp (name, soname) != 0)
1695             continue;
1696
1697           /* We have a match on a new name -- cache it.  */
1698           add_name_to_object (l, soname);
1699           l->l_soname_added = 1;
1700         }
1701
1702       /* We have a match.  */
1703       return l;
1704     }
1705
1706   /* Display information if we are debugging.  */
1707   if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_FILES, 0)
1708       && loader != NULL)
1709     INTUSE(_dl_debug_printf) ("\nfile=%s;  needed by %s\n", name,
1710                               loader->l_name[0]
1711                               ? loader->l_name : rtld_progname);
1712
1713   if (strchr (name, '/') == NULL)
1714     {
1715       /* Search for NAME in several places.  */
1716
1717       size_t namelen = strlen (name) + 1;
1718
1719       if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_LIBS, 0))
1720         INTUSE(_dl_debug_printf) ("find library=%s; searching\n", name);
1721
1722       fd = -1;
1723
1724       /* When the object has the RUNPATH information we don't use any
1725          RPATHs.  */
1726       if (loader == NULL || loader->l_info[DT_RUNPATH] == NULL)
1727         {
1728           /* First try the DT_RPATH of the dependent object that caused NAME
1729              to be loaded.  Then that object's dependent, and on up.  */
1730           for (l = loader; fd == -1 && l; l = l->l_loader)
1731             {
1732               if (l->l_rpath_dirs.dirs == NULL)
1733                 {
1734                   if (l->l_info[DT_RPATH] == NULL)
1735                     {
1736                       /* There is no path.  */
1737                       l->l_rpath_dirs.dirs = (void *) -1;
1738                       continue;
1739                     }
1740                   else
1741                     {
1742                       /* Make sure the cache information is available.  */
1743                       size_t ptrval = (D_PTR (l, l_info[DT_STRTAB])
1744                                        + l->l_info[DT_RPATH]->d_un.d_val);
1745                       decompose_rpath (&l->l_rpath_dirs,
1746                                        (const char *) ptrval, l, "RPATH");
1747                     }
1748                 }
1749
1750               if (l->l_rpath_dirs.dirs != (void *) -1)
1751                 fd = open_path (name, namelen, preloaded, &l->l_rpath_dirs,
1752                                 &realname, &fb);
1753             }
1754
1755           /* If dynamically linked, try the DT_RPATH of the executable
1756              itself.  */
1757           l = GL(dl_loaded);
1758           if (fd == -1 && l && l->l_type != lt_loaded && l != loader
1759               && l->l_rpath_dirs.dirs != (void *) -1)
1760             fd = open_path (name, namelen, preloaded, &l->l_rpath_dirs,
1761                             &realname, &fb);
1762         }
1763
1764       /* Try the LD_LIBRARY_PATH environment variable.  */
1765       if (fd == -1 && env_path_list.dirs != (void *) -1)
1766         fd = open_path (name, namelen, preloaded, &env_path_list,
1767                         &realname, &fb);
1768
1769       /* Look at the RUNPATH information for this binary.
1770
1771          Note that this is no real loop.  'while' is used only to enable
1772          us to use 'break' instead of a 'goto' to jump to the end.  The
1773          loop is always left after the first round.  */
1774       while (fd == -1 && loader != NULL
1775              && loader->l_runpath_dirs.dirs != (void *) -1)
1776         {
1777           if (loader->l_runpath_dirs.dirs == NULL)
1778             {
1779               if (loader->l_info[DT_RUNPATH] == NULL)
1780                 {
1781                   /* No RUNPATH.  */
1782                   loader->l_runpath_dirs.dirs = (void *) -1;
1783                   break;
1784                 }
1785               else
1786                 {
1787                   /* Make sure the cache information is available.  */
1788                   size_t ptrval = (D_PTR (loader, l_info[DT_STRTAB])
1789                                    + loader->l_info[DT_RUNPATH]->d_un.d_val);
1790                   decompose_rpath (&loader->l_runpath_dirs,
1791                                    (const char *) ptrval, loader, "RUNPATH");
1792                 }
1793             }
1794
1795           if (loader->l_runpath_dirs.dirs != (void *) -1)
1796             fd = open_path (name, namelen, preloaded,
1797                             &loader->l_runpath_dirs, &realname, &fb);
1798           break;
1799         }
1800
1801       if (fd == -1
1802           && (__builtin_expect (! preloaded, 1)
1803               || ! INTUSE(__libc_enable_secure)))
1804         {
1805           /* Check the list of libraries in the file /etc/ld.so.cache,
1806              for compatibility with Linux's ldconfig program.  */
1807           const char *cached = _dl_load_cache_lookup (name);
1808
1809           if (cached != NULL)
1810             {
1811 #ifdef SHARED
1812               l = loader ?: GL(dl_loaded);
1813 #else
1814               l = loader;
1815 #endif
1816
1817               /* If the loader has the DF_1_NODEFLIB flag set we must not
1818                  use a cache entry from any of these directories.  */
1819               if (
1820 #ifndef SHARED
1821                   /* 'l' is always != NULL for dynamically linked objects.  */
1822                   l != NULL &&
1823 #endif
1824                   __builtin_expect (l->l_flags_1 & DF_1_NODEFLIB, 0))
1825                 {
1826                   const char *dirp = system_dirs;
1827                   unsigned int cnt = 0;
1828
1829                   do
1830                     {
1831                       if (memcmp (cached, dirp, system_dirs_len[cnt]) == 0)
1832                         {
1833                           /* The prefix matches.  Don't use the entry.  */
1834                           cached = NULL;
1835                           break;
1836                         }
1837
1838                       dirp += system_dirs_len[cnt] + 1;
1839                       ++cnt;
1840                     }
1841                   while (cnt < nsystem_dirs_len);
1842                 }
1843
1844               if (cached != NULL)
1845                 {
1846                   fd = open_verify (cached, &fb);
1847                   if (__builtin_expect (fd != -1, 1))
1848                     {
1849                       realname = local_strdup (cached);
1850                       if (realname == NULL)
1851                         {
1852                           __close (fd);
1853                           fd = -1;
1854                         }
1855                     }
1856                 }
1857             }
1858         }
1859
1860       /* Finally, try the default path.  */
1861       if (fd == -1
1862           && ((l = loader ?: GL(dl_loaded)) == NULL
1863               || __builtin_expect (!(l->l_flags_1 & DF_1_NODEFLIB), 1))
1864           && rtld_search_dirs.dirs != (void *) -1)
1865         fd = open_path (name, namelen, preloaded, &rtld_search_dirs,
1866                         &realname, &fb);
1867
1868       /* Add another newline when we are tracing the library loading.  */
1869       if (__builtin_expect (GL(dl_debug_mask) & DL_DEBUG_LIBS, 0))
1870         INTUSE(_dl_debug_printf) ("\n");
1871     }
1872   else
1873     {
1874       /* The path may contain dynamic string tokens.  */
1875       realname = (loader
1876                   ? expand_dynamic_string_token (loader, name)
1877                   : local_strdup (name));
1878       if (realname == NULL)
1879         fd = -1;
1880       else
1881         {
1882           fd = open_verify (realname, &fb);
1883           if (__builtin_expect (fd, 0) == -1)
1884             free (realname);
1885         }
1886     }
1887
1888   if (__builtin_expect (fd, 0) == -1)
1889     {
1890       if (trace_mode
1891           && __builtin_expect (GL(dl_debug_mask) & DL_DEBUG_PRELINK, 0) == 0)
1892         {
1893           /* We haven't found an appropriate library.  But since we
1894              are only interested in the list of libraries this isn't
1895              so severe.  Fake an entry with all the information we
1896              have.  */
1897           static const Elf_Symndx dummy_bucket = STN_UNDEF;
1898
1899           /* Enter the new object in the list of loaded objects.  */
1900           if ((name_copy = local_strdup (name)) == NULL
1901               || (l = _dl_new_object (name_copy, name, type, loader)) == NULL)
1902             INTUSE(_dl_signal_error) (ENOMEM, name, NULL, N_("\
1903 cannot create shared object descriptor"));
1904           /* Signal that this is a faked entry.  */
1905           l->l_faked = 1;
1906           /* Since the descriptor is initialized with zero we do not
1907              have do this here.
1908           l->l_reserved = 0; */
1909           l->l_buckets = &dummy_bucket;
1910           l->l_nbuckets = 1;
1911           l->l_relocated = 1;
1912
1913           return l;
1914         }
1915       else
1916         INTUSE(_dl_signal_error) (errno, name, NULL,
1917                                   N_("cannot open shared object file"));
1918     }
1919
1920   return _dl_map_object_from_fd (name, fd, &fb, realname, loader, type, mode);
1921 }
1922 INTDEF (_dl_map_object)