(_dl_dst_substitute): When replacing ORIGIN in statically built code,
[kopensolaris-gnu/glibc.git] / elf / dl-load.c
1 /* Map in a shared object's segments from the file.
2    Copyright (C) 1995-2005, 2006  Free Software Foundation, Inc.
3    This file is part of the GNU C Library.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Lesser General Public
7    License as published by the Free Software Foundation; either
8    version 2.1 of the License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Lesser General Public License for more details.
14
15    You should have received a copy of the GNU Lesser General Public
16    License along with the GNU C Library; if not, write to the Free
17    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18    02111-1307 USA.  */
19
20 #include <elf.h>
21 #include <errno.h>
22 #include <fcntl.h>
23 #include <libintl.h>
24 #include <stdbool.h>
25 #include <stdlib.h>
26 #include <string.h>
27 #include <unistd.h>
28 #include <ldsodefs.h>
29 #include <bits/wordsize.h>
30 #include <sys/mman.h>
31 #include <sys/param.h>
32 #include <sys/stat.h>
33 #include <sys/types.h>
34 #include "dynamic-link.h"
35 #include <abi-tag.h>
36 #include <stackinfo.h>
37 #include <caller.h>
38 #include <sysdep.h>
39
40 #include <dl-dst.h>
41
42 /* On some systems, no flag bits are given to specify file mapping.  */
43 #ifndef MAP_FILE
44 # define MAP_FILE       0
45 #endif
46
47 /* The right way to map in the shared library files is MAP_COPY, which
48    makes a virtual copy of the data at the time of the mmap call; this
49    guarantees the mapped pages will be consistent even if the file is
50    overwritten.  Some losing VM systems like Linux's lack MAP_COPY.  All we
51    get is MAP_PRIVATE, which copies each page when it is modified; this
52    means if the file is overwritten, we may at some point get some pages
53    from the new version after starting with pages from the old version.
54
55    To make up for the lack and avoid the overwriting problem,
56    what Linux does have is MAP_DENYWRITE.  This prevents anyone
57    from modifying the file while we have it mapped.  */
58 #ifndef MAP_COPY
59 # ifdef MAP_DENYWRITE
60 #  define MAP_COPY      (MAP_PRIVATE | MAP_DENYWRITE)
61 # else
62 #  define MAP_COPY      MAP_PRIVATE
63 # endif
64 #endif
65
66 /* Some systems link their relocatable objects for another base address
67    than 0.  We want to know the base address for these such that we can
68    subtract this address from the segment addresses during mapping.
69    This results in a more efficient address space usage.  Defaults to
70    zero for almost all systems.  */
71 #ifndef MAP_BASE_ADDR
72 # define MAP_BASE_ADDR(l)       0
73 #endif
74
75
76 #include <endian.h>
77 #if BYTE_ORDER == BIG_ENDIAN
78 # define byteorder ELFDATA2MSB
79 #elif BYTE_ORDER == LITTLE_ENDIAN
80 # define byteorder ELFDATA2LSB
81 #else
82 # error "Unknown BYTE_ORDER " BYTE_ORDER
83 # define byteorder ELFDATANONE
84 #endif
85
86 #define STRING(x) __STRING (x)
87
88 #ifdef MAP_ANON
89 /* The fd is not examined when using MAP_ANON.  */
90 # define ANONFD -1
91 #else
92 int _dl_zerofd = -1;
93 # define ANONFD _dl_zerofd
94 #endif
95
96 /* Handle situations where we have a preferred location in memory for
97    the shared objects.  */
98 #ifdef ELF_PREFERRED_ADDRESS_DATA
99 ELF_PREFERRED_ADDRESS_DATA;
100 #endif
101 #ifndef ELF_PREFERRED_ADDRESS
102 # define ELF_PREFERRED_ADDRESS(loader, maplength, mapstartpref) (mapstartpref)
103 #endif
104 #ifndef ELF_FIXED_ADDRESS
105 # define ELF_FIXED_ADDRESS(loader, mapstart) ((void) 0)
106 #endif
107
108
109 int __stack_prot attribute_hidden attribute_relro
110 #if _STACK_GROWS_DOWN && defined PROT_GROWSDOWN
111   = PROT_GROWSDOWN;
112 #elif _STACK_GROWS_UP && defined PROT_GROWSUP
113   = PROT_GROWSUP;
114 #else
115   = 0;
116 #endif
117
118
119 /* Type for the buffer we put the ELF header and hopefully the program
120    header.  This buffer does not really have to be too large.  In most
121    cases the program header follows the ELF header directly.  If this
122    is not the case all bets are off and we can make the header
123    arbitrarily large and still won't get it read.  This means the only
124    question is how large are the ELF and program header combined.  The
125    ELF header 32-bit files is 52 bytes long and in 64-bit files is 64
126    bytes long.  Each program header entry is again 32 and 56 bytes
127    long respectively.  I.e., even with a file which has 10 program
128    header entries we only have to read 372B/624B respectively.  Add to
129    this a bit of margin for program notes and reading 512B and 832B
130    for 32-bit and 64-bit files respecitvely is enough.  If this
131    heuristic should really fail for some file the code in
132    `_dl_map_object_from_fd' knows how to recover.  */
133 struct filebuf
134 {
135   ssize_t len;
136 #if __WORDSIZE == 32
137 # define FILEBUF_SIZE 512
138 #else
139 # define FILEBUF_SIZE 832
140 #endif
141   char buf[FILEBUF_SIZE] __attribute__ ((aligned (__alignof (ElfW(Ehdr)))));
142 };
143
144 /* This is the decomposed LD_LIBRARY_PATH search path.  */
145 static struct r_search_path_struct env_path_list attribute_relro;
146
147 /* List of the hardware capabilities we might end up using.  */
148 static const struct r_strlenpair *capstr attribute_relro;
149 static size_t ncapstr attribute_relro;
150 static size_t max_capstrlen attribute_relro;
151
152
153 /* Get the generated information about the trusted directories.  */
154 #include "trusted-dirs.h"
155
156 static const char system_dirs[] = SYSTEM_DIRS;
157 static const size_t system_dirs_len[] =
158 {
159   SYSTEM_DIRS_LEN
160 };
161 #define nsystem_dirs_len \
162   (sizeof (system_dirs_len) / sizeof (system_dirs_len[0]))
163
164
165 /* Local version of `strdup' function.  */
166 static inline char *
167 local_strdup (const char *s)
168 {
169   size_t len = strlen (s) + 1;
170   void *new = malloc (len);
171
172   if (new == NULL)
173     return NULL;
174
175   return (char *) memcpy (new, s, len);
176 }
177
178
179 static size_t
180 is_dst (const char *start, const char *name, const char *str,
181         int is_path, int secure)
182 {
183   size_t len;
184   bool is_curly = false;
185
186   if (name[0] == '{')
187     {
188       is_curly = true;
189       ++name;
190     }
191
192   len = 0;
193   while (name[len] == str[len] && name[len] != '\0')
194     ++len;
195
196   if (is_curly)
197     {
198       if (name[len] != '}')
199         return 0;
200
201       /* Point again at the beginning of the name.  */
202       --name;
203       /* Skip over closing curly brace and adjust for the --name.  */
204       len += 2;
205     }
206   else if (name[len] != '\0' && name[len] != '/'
207            && (!is_path || name[len] != ':'))
208     return 0;
209
210   if (__builtin_expect (secure, 0)
211       && ((name[len] != '\0' && (!is_path || name[len] != ':'))
212           || (name != start + 1 && (!is_path || name[-2] != ':'))))
213     return 0;
214
215   return len;
216 }
217
218
219 size_t
220 _dl_dst_count (const char *name, int is_path)
221 {
222   const char *const start = name;
223   size_t cnt = 0;
224
225   do
226     {
227       size_t len;
228
229       /* $ORIGIN is not expanded for SUID/GUID programs (except if it
230          is $ORIGIN alone) and it must always appear first in path.  */
231       ++name;
232       if ((len = is_dst (start, name, "ORIGIN", is_path,
233                          INTUSE(__libc_enable_secure))) != 0
234           || (len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0
235           || (len = is_dst (start, name, "LIB", is_path, 0)) != 0)
236         ++cnt;
237
238       name = strchr (name + len, '$');
239     }
240   while (name != NULL);
241
242   return cnt;
243 }
244
245
246 char *
247 _dl_dst_substitute (struct link_map *l, const char *name, char *result,
248                     int is_path)
249 {
250   const char *const start = name;
251   char *last_elem, *wp;
252
253   /* Now fill the result path.  While copying over the string we keep
254      track of the start of the last path element.  When we come accross
255      a DST we copy over the value or (if the value is not available)
256      leave the entire path element out.  */
257   last_elem = wp = result;
258
259   do
260     {
261       if (__builtin_expect (*name == '$', 0))
262         {
263           const char *repl = NULL;
264           size_t len;
265
266           ++name;
267           if ((len = is_dst (start, name, "ORIGIN", is_path,
268                              INTUSE(__libc_enable_secure))) != 0)
269             {
270 #ifndef SHARED
271               if (l == NULL)
272                 repl = _dl_get_origin ();
273               else
274 #endif
275                 repl = l->l_origin;
276             }
277           else if ((len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0)
278             repl = GLRO(dl_platform);
279           else if ((len = is_dst (start, name, "LIB", is_path, 0)) != 0)
280             repl = DL_DST_LIB;
281
282           if (repl != NULL && repl != (const char *) -1)
283             {
284               wp = __stpcpy (wp, repl);
285               name += len;
286             }
287           else if (len > 1)
288             {
289               /* We cannot use this path element, the value of the
290                  replacement is unknown.  */
291               wp = last_elem;
292               name += len;
293               while (*name != '\0' && (!is_path || *name != ':'))
294                 ++name;
295             }
296           else
297             /* No DST we recognize.  */
298             *wp++ = '$';
299         }
300       else
301         {
302           *wp++ = *name++;
303           if (is_path && *name == ':')
304             last_elem = wp;
305         }
306     }
307   while (*name != '\0');
308
309   *wp = '\0';
310
311   return result;
312 }
313
314
315 /* Return copy of argument with all recognized dynamic string tokens
316    ($ORIGIN and $PLATFORM for now) replaced.  On some platforms it
317    might not be possible to determine the path from which the object
318    belonging to the map is loaded.  In this case the path element
319    containing $ORIGIN is left out.  */
320 static char *
321 expand_dynamic_string_token (struct link_map *l, const char *s)
322 {
323   /* We make two runs over the string.  First we determine how large the
324      resulting string is and then we copy it over.  Since this is now
325      frequently executed operation we are looking here not for performance
326      but rather for code size.  */
327   size_t cnt;
328   size_t total;
329   char *result;
330
331   /* Determine the number of DST elements.  */
332   cnt = DL_DST_COUNT (s, 1);
333
334   /* If we do not have to replace anything simply copy the string.  */
335   if (__builtin_expect (cnt, 0) == 0)
336     return local_strdup (s);
337
338   /* Determine the length of the substituted string.  */
339   total = DL_DST_REQUIRED (l, s, strlen (s), cnt);
340
341   /* Allocate the necessary memory.  */
342   result = (char *) malloc (total + 1);
343   if (result == NULL)
344     return NULL;
345
346   return _dl_dst_substitute (l, s, result, 1);
347 }
348
349
350 /* Add `name' to the list of names for a particular shared object.
351    `name' is expected to have been allocated with malloc and will
352    be freed if the shared object already has this name.
353    Returns false if the object already had this name.  */
354 static void
355 internal_function
356 add_name_to_object (struct link_map *l, const char *name)
357 {
358   struct libname_list *lnp, *lastp;
359   struct libname_list *newname;
360   size_t name_len;
361
362   lastp = NULL;
363   for (lnp = l->l_libname; lnp != NULL; lastp = lnp, lnp = lnp->next)
364     if (strcmp (name, lnp->name) == 0)
365       return;
366
367   name_len = strlen (name) + 1;
368   newname = (struct libname_list *) malloc (sizeof *newname + name_len);
369   if (newname == NULL)
370     {
371       /* No more memory.  */
372       _dl_signal_error (ENOMEM, name, NULL, N_("cannot allocate name record"));
373       return;
374     }
375   /* The object should have a libname set from _dl_new_object.  */
376   assert (lastp != NULL);
377
378   newname->name = memcpy (newname + 1, name, name_len);
379   newname->next = NULL;
380   newname->dont_free = 0;
381   lastp->next = newname;
382 }
383
384 /* Standard search directories.  */
385 static struct r_search_path_struct rtld_search_dirs attribute_relro;
386
387 static size_t max_dirnamelen;
388
389 static struct r_search_path_elem **
390 fillin_rpath (char *rpath, struct r_search_path_elem **result, const char *sep,
391               int check_trusted, const char *what, const char *where)
392 {
393   char *cp;
394   size_t nelems = 0;
395
396   while ((cp = __strsep (&rpath, sep)) != NULL)
397     {
398       struct r_search_path_elem *dirp;
399       size_t len = strlen (cp);
400
401       /* `strsep' can pass an empty string.  This has to be
402          interpreted as `use the current directory'. */
403       if (len == 0)
404         {
405           static const char curwd[] = "./";
406           cp = (char *) curwd;
407         }
408
409       /* Remove trailing slashes (except for "/").  */
410       while (len > 1 && cp[len - 1] == '/')
411         --len;
412
413       /* Now add one if there is none so far.  */
414       if (len > 0 && cp[len - 1] != '/')
415         cp[len++] = '/';
416
417       /* Make sure we don't use untrusted directories if we run SUID.  */
418       if (__builtin_expect (check_trusted, 0))
419         {
420           const char *trun = system_dirs;
421           size_t idx;
422           int unsecure = 1;
423
424           /* All trusted directories must be complete names.  */
425           if (cp[0] == '/')
426             {
427               for (idx = 0; idx < nsystem_dirs_len; ++idx)
428                 {
429                   if (len == system_dirs_len[idx]
430                       && memcmp (trun, cp, len) == 0)
431                     {
432                       /* Found it.  */
433                       unsecure = 0;
434                       break;
435                     }
436
437                   trun += system_dirs_len[idx] + 1;
438                 }
439             }
440
441           if (unsecure)
442             /* Simply drop this directory.  */
443             continue;
444         }
445
446       /* See if this directory is already known.  */
447       for (dirp = GL(dl_all_dirs); dirp != NULL; dirp = dirp->next)
448         if (dirp->dirnamelen == len && memcmp (cp, dirp->dirname, len) == 0)
449           break;
450
451       if (dirp != NULL)
452         {
453           /* It is available, see whether it's on our own list.  */
454           size_t cnt;
455           for (cnt = 0; cnt < nelems; ++cnt)
456             if (result[cnt] == dirp)
457               break;
458
459           if (cnt == nelems)
460             result[nelems++] = dirp;
461         }
462       else
463         {
464           size_t cnt;
465           enum r_dir_status init_val;
466           size_t where_len = where ? strlen (where) + 1 : 0;
467
468           /* It's a new directory.  Create an entry and add it.  */
469           dirp = (struct r_search_path_elem *)
470             malloc (sizeof (*dirp) + ncapstr * sizeof (enum r_dir_status)
471                     + where_len + len + 1);
472           if (dirp == NULL)
473             _dl_signal_error (ENOMEM, NULL, NULL,
474                               N_("cannot create cache for search path"));
475
476           dirp->dirname = ((char *) dirp + sizeof (*dirp)
477                            + ncapstr * sizeof (enum r_dir_status));
478           *((char *) __mempcpy ((char *) dirp->dirname, cp, len)) = '\0';
479           dirp->dirnamelen = len;
480
481           if (len > max_dirnamelen)
482             max_dirnamelen = len;
483
484           /* We have to make sure all the relative directories are
485              never ignored.  The current directory might change and
486              all our saved information would be void.  */
487           init_val = cp[0] != '/' ? existing : unknown;
488           for (cnt = 0; cnt < ncapstr; ++cnt)
489             dirp->status[cnt] = init_val;
490
491           dirp->what = what;
492           if (__builtin_expect (where != NULL, 1))
493             dirp->where = memcpy ((char *) dirp + sizeof (*dirp) + len + 1
494                                   + (ncapstr * sizeof (enum r_dir_status)),
495                                   where, where_len);
496           else
497             dirp->where = NULL;
498
499           dirp->next = GL(dl_all_dirs);
500           GL(dl_all_dirs) = dirp;
501
502           /* Put it in the result array.  */
503           result[nelems++] = dirp;
504         }
505     }
506
507   /* Terminate the array.  */
508   result[nelems] = NULL;
509
510   return result;
511 }
512
513
514 static void
515 internal_function
516 decompose_rpath (struct r_search_path_struct *sps,
517                  const char *rpath, struct link_map *l, const char *what)
518 {
519   /* Make a copy we can work with.  */
520   const char *where = l->l_name;
521   char *copy;
522   char *cp;
523   struct r_search_path_elem **result;
524   size_t nelems;
525   /* Initialize to please the compiler.  */
526   const char *errstring = NULL;
527
528   /* First see whether we must forget the RUNPATH and RPATH from this
529      object.  */
530   if (__builtin_expect (GLRO(dl_inhibit_rpath) != NULL, 0)
531       && !INTUSE(__libc_enable_secure))
532     {
533       const char *inhp = GLRO(dl_inhibit_rpath);
534
535       do
536         {
537           const char *wp = where;
538
539           while (*inhp == *wp && *wp != '\0')
540             {
541               ++inhp;
542               ++wp;
543             }
544
545           if (*wp == '\0' && (*inhp == '\0' || *inhp == ':'))
546             {
547               /* This object is on the list of objects for which the
548                  RUNPATH and RPATH must not be used.  */
549               result = calloc (1, sizeof *result);
550               if (result == NULL)
551                 {
552                 signal_error_cache:
553                   errstring = N_("cannot create cache for search path");
554                 signal_error:
555                   _dl_signal_error (ENOMEM, NULL, NULL, errstring);
556                 }
557
558               sps->dirs = result;
559               sps->malloced = 1;
560
561               return;
562             }
563
564           while (*inhp != '\0')
565             if (*inhp++ == ':')
566               break;
567         }
568       while (*inhp != '\0');
569     }
570
571   /* Make a writable copy.  At the same time expand possible dynamic
572      string tokens.  */
573   copy = expand_dynamic_string_token (l, rpath);
574   if (copy == NULL)
575     {
576       errstring = N_("cannot create RUNPATH/RPATH copy");
577       goto signal_error;
578     }
579
580   /* Count the number of necessary elements in the result array.  */
581   nelems = 0;
582   for (cp = copy; *cp != '\0'; ++cp)
583     if (*cp == ':')
584       ++nelems;
585
586   /* Allocate room for the result.  NELEMS + 1 is an upper limit for the
587      number of necessary entries.  */
588   result = (struct r_search_path_elem **) malloc ((nelems + 1 + 1)
589                                                   * sizeof (*result));
590   if (result == NULL)
591     goto signal_error_cache;
592
593   fillin_rpath (copy, result, ":", 0, what, where);
594
595   /* Free the copied RPATH string.  `fillin_rpath' make own copies if
596      necessary.  */
597   free (copy);
598
599   sps->dirs = result;
600   /* The caller will change this value if we haven't used a real malloc.  */
601   sps->malloced = 1;
602 }
603
604 /* Make sure cached path information is stored in *SP
605    and return true if there are any paths to search there.  */
606 static bool
607 cache_rpath (struct link_map *l,
608              struct r_search_path_struct *sp,
609              int tag,
610              const char *what)
611 {
612   if (sp->dirs == (void *) -1)
613     return false;
614
615   if (sp->dirs != NULL)
616     return true;
617
618   if (l->l_info[tag] == NULL)
619     {
620       /* There is no path.  */
621       sp->dirs = (void *) -1;
622       return false;
623     }
624
625   /* Make sure the cache information is available.  */
626   decompose_rpath (sp, (const char *) (D_PTR (l, l_info[DT_STRTAB])
627                                        + l->l_info[tag]->d_un.d_val),
628                    l, what);
629   return true;
630 }
631
632
633 void
634 internal_function
635 _dl_init_paths (const char *llp)
636 {
637   size_t idx;
638   const char *strp;
639   struct r_search_path_elem *pelem, **aelem;
640   size_t round_size;
641 #ifdef SHARED
642   struct link_map *l;
643 #endif
644   /* Initialize to please the compiler.  */
645   const char *errstring = NULL;
646
647   /* Fill in the information about the application's RPATH and the
648      directories addressed by the LD_LIBRARY_PATH environment variable.  */
649
650   /* Get the capabilities.  */
651   capstr = _dl_important_hwcaps (GLRO(dl_platform), GLRO(dl_platformlen),
652                                  &ncapstr, &max_capstrlen);
653
654   /* First set up the rest of the default search directory entries.  */
655   aelem = rtld_search_dirs.dirs = (struct r_search_path_elem **)
656     malloc ((nsystem_dirs_len + 1) * sizeof (struct r_search_path_elem *));
657   if (rtld_search_dirs.dirs == NULL)
658     {
659       errstring = N_("cannot create search path array");
660     signal_error:
661       _dl_signal_error (ENOMEM, NULL, NULL, errstring);
662     }
663
664   round_size = ((2 * sizeof (struct r_search_path_elem) - 1
665                  + ncapstr * sizeof (enum r_dir_status))
666                 / sizeof (struct r_search_path_elem));
667
668   rtld_search_dirs.dirs[0] = (struct r_search_path_elem *)
669     malloc ((sizeof (system_dirs) / sizeof (system_dirs[0]))
670             * round_size * sizeof (struct r_search_path_elem));
671   if (rtld_search_dirs.dirs[0] == NULL)
672     {
673       errstring = N_("cannot create cache for search path");
674       goto signal_error;
675     }
676
677   rtld_search_dirs.malloced = 0;
678   pelem = GL(dl_all_dirs) = rtld_search_dirs.dirs[0];
679   strp = system_dirs;
680   idx = 0;
681
682   do
683     {
684       size_t cnt;
685
686       *aelem++ = pelem;
687
688       pelem->what = "system search path";
689       pelem->where = NULL;
690
691       pelem->dirname = strp;
692       pelem->dirnamelen = system_dirs_len[idx];
693       strp += system_dirs_len[idx] + 1;
694
695       /* System paths must be absolute.  */
696       assert (pelem->dirname[0] == '/');
697       for (cnt = 0; cnt < ncapstr; ++cnt)
698         pelem->status[cnt] = unknown;
699
700       pelem->next = (++idx == nsystem_dirs_len ? NULL : (pelem + round_size));
701
702       pelem += round_size;
703     }
704   while (idx < nsystem_dirs_len);
705
706   max_dirnamelen = SYSTEM_DIRS_MAX_LEN;
707   *aelem = NULL;
708
709 #ifdef SHARED
710   /* This points to the map of the main object.  */
711   l = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
712   if (l != NULL)
713     {
714       assert (l->l_type != lt_loaded);
715
716       if (l->l_info[DT_RUNPATH])
717         {
718           /* Allocate room for the search path and fill in information
719              from RUNPATH.  */
720           decompose_rpath (&l->l_runpath_dirs,
721                            (const void *) (D_PTR (l, l_info[DT_STRTAB])
722                                            + l->l_info[DT_RUNPATH]->d_un.d_val),
723                            l, "RUNPATH");
724
725           /* The RPATH is ignored.  */
726           l->l_rpath_dirs.dirs = (void *) -1;
727         }
728       else
729         {
730           l->l_runpath_dirs.dirs = (void *) -1;
731
732           if (l->l_info[DT_RPATH])
733             {
734               /* Allocate room for the search path and fill in information
735                  from RPATH.  */
736               decompose_rpath (&l->l_rpath_dirs,
737                                (const void *) (D_PTR (l, l_info[DT_STRTAB])
738                                                + l->l_info[DT_RPATH]->d_un.d_val),
739                                l, "RPATH");
740               l->l_rpath_dirs.malloced = 0;
741             }
742           else
743             l->l_rpath_dirs.dirs = (void *) -1;
744         }
745     }
746 #endif  /* SHARED */
747
748   if (llp != NULL && *llp != '\0')
749     {
750       size_t nllp;
751       const char *cp = llp;
752       char *llp_tmp = strdupa (llp);
753
754       /* Decompose the LD_LIBRARY_PATH contents.  First determine how many
755          elements it has.  */
756       nllp = 1;
757       while (*cp)
758         {
759           if (*cp == ':' || *cp == ';')
760             ++nllp;
761           ++cp;
762         }
763
764       env_path_list.dirs = (struct r_search_path_elem **)
765         malloc ((nllp + 1) * sizeof (struct r_search_path_elem *));
766       if (env_path_list.dirs == NULL)
767         {
768           errstring = N_("cannot create cache for search path");
769           goto signal_error;
770         }
771
772       (void) fillin_rpath (llp_tmp, env_path_list.dirs, ":;",
773                            INTUSE(__libc_enable_secure), "LD_LIBRARY_PATH",
774                            NULL);
775
776       if (env_path_list.dirs[0] == NULL)
777         {
778           free (env_path_list.dirs);
779           env_path_list.dirs = (void *) -1;
780         }
781
782       env_path_list.malloced = 0;
783     }
784   else
785     env_path_list.dirs = (void *) -1;
786
787   /* Remember the last search directory added at startup.  */
788   GLRO(dl_init_all_dirs) = GL(dl_all_dirs);
789 }
790
791
792 static void
793 __attribute__ ((noreturn, noinline))
794 lose (int code, int fd, const char *name, char *realname, struct link_map *l,
795       const char *msg, struct r_debug *r)
796 {
797   /* The file might already be closed.  */
798   if (fd != -1)
799     (void) __close (fd);
800   if (l != NULL)
801     {
802       /* Remove the stillborn object from the list and free it.  */
803       assert (l->l_next == NULL);
804       if (l->l_prev == NULL)
805         /* No other module loaded. This happens only in the static library,
806            or in rtld under --verify.  */
807         GL(dl_ns)[l->l_ns]._ns_loaded = NULL;
808       else
809         l->l_prev->l_next = NULL;
810       --GL(dl_ns)[l->l_ns]._ns_nloaded;
811       free (l);
812     }
813   free (realname);
814
815   if (r != NULL)
816     {
817       r->r_state = RT_CONSISTENT;
818       _dl_debug_state ();
819     }
820
821   _dl_signal_error (code, name, NULL, msg);
822 }
823
824
825 /* Map in the shared object NAME, actually located in REALNAME, and already
826    opened on FD.  */
827
828 #ifndef EXTERNAL_MAP_FROM_FD
829 static
830 #endif
831 struct link_map *
832 _dl_map_object_from_fd (const char *name, int fd, struct filebuf *fbp,
833                         char *realname, struct link_map *loader, int l_type,
834                         int mode, void **stack_endp, Lmid_t nsid)
835 {
836   struct link_map *l = NULL;
837   const ElfW(Ehdr) *header;
838   const ElfW(Phdr) *phdr;
839   const ElfW(Phdr) *ph;
840   size_t maplength;
841   int type;
842   struct stat64 st;
843   /* Initialize to keep the compiler happy.  */
844   const char *errstring = NULL;
845   int errval = 0;
846   struct r_debug *r = _dl_debug_initialize (0, nsid);
847   bool make_consistent = false;
848
849   /* Get file information.  */
850   if (__builtin_expect (__fxstat64 (_STAT_VER, fd, &st) < 0, 0))
851     {
852       errstring = N_("cannot stat shared object");
853     call_lose_errno:
854       errval = errno;
855     call_lose:
856       lose (errval, fd, name, realname, l, errstring,
857             make_consistent ? r : NULL);
858     }
859
860   /* Look again to see if the real name matched another already loaded.  */
861   for (l = GL(dl_ns)[nsid]._ns_loaded; l; l = l->l_next)
862     if (l->l_removed == 0 && l->l_ino == st.st_ino && l->l_dev == st.st_dev)
863       {
864         /* The object is already loaded.
865            Just bump its reference count and return it.  */
866         __close (fd);
867
868         /* If the name is not in the list of names for this object add
869            it.  */
870         free (realname);
871         add_name_to_object (l, name);
872
873         return l;
874       }
875
876 #ifdef SHARED
877   /* When loading into a namespace other than the base one we must
878      avoid loading ld.so since there can only be one copy.  Ever.  */
879   if (__builtin_expect (nsid != LM_ID_BASE, 0)
880       && ((st.st_ino == GL(dl_rtld_map).l_ino
881            && st.st_dev == GL(dl_rtld_map).l_dev)
882           || _dl_name_match_p (name, &GL(dl_rtld_map))))
883     {
884       /* This is indeed ld.so.  Create a new link_map which refers to
885          the real one for almost everything.  */
886       l = _dl_new_object (realname, name, l_type, loader, mode, nsid);
887       if (l == NULL)
888         goto fail_new;
889
890       /* Refer to the real descriptor.  */
891       l->l_real = &GL(dl_rtld_map);
892
893       /* No need to bump the refcount of the real object, ld.so will
894          never be unloaded.  */
895       __close (fd);
896
897       return l;
898     }
899 #endif
900
901   if (mode & RTLD_NOLOAD)
902     /* We are not supposed to load the object unless it is already
903        loaded.  So return now.  */
904     return NULL;
905
906   /* Print debugging message.  */
907   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0))
908     _dl_debug_printf ("file=%s [%lu];  generating link map\n", name, nsid);
909
910   /* This is the ELF header.  We read it in `open_verify'.  */
911   header = (void *) fbp->buf;
912
913 #ifndef MAP_ANON
914 # define MAP_ANON 0
915   if (_dl_zerofd == -1)
916     {
917       _dl_zerofd = _dl_sysdep_open_zero_fill ();
918       if (_dl_zerofd == -1)
919         {
920           __close (fd);
921           _dl_signal_error (errno, NULL, NULL,
922                             N_("cannot open zero fill device"));
923         }
924     }
925 #endif
926
927   /* Signal that we are going to add new objects.  */
928   if (r->r_state == RT_CONSISTENT)
929     {
930 #ifdef SHARED
931       /* Auditing checkpoint: we are going to add new objects.  */
932       if (__builtin_expect (GLRO(dl_naudit) > 0, 0))
933         {
934           struct link_map *head = GL(dl_ns)[nsid]._ns_loaded;
935           /* Do not call the functions for any auditing object.  */
936           if (head->l_auditing == 0)
937             {
938               struct audit_ifaces *afct = GLRO(dl_audit);
939               for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
940                 {
941                   if (afct->activity != NULL)
942                     afct->activity (&head->l_audit[cnt].cookie, LA_ACT_ADD);
943
944                   afct = afct->next;
945                 }
946             }
947         }
948 #endif
949
950       /* Notify the debugger we have added some objects.  We need to
951          call _dl_debug_initialize in a static program in case dynamic
952          linking has not been used before.  */
953       r->r_state = RT_ADD;
954       _dl_debug_state ();
955       make_consistent = true;
956     }
957   else
958     assert (r->r_state == RT_ADD);
959
960   /* Enter the new object in the list of loaded objects.  */
961   l = _dl_new_object (realname, name, l_type, loader, mode, nsid);
962   if (__builtin_expect (l == NULL, 0))
963     {
964 #ifdef SHARED
965     fail_new:
966 #endif
967       errstring = N_("cannot create shared object descriptor");
968       goto call_lose_errno;
969     }
970
971   /* Extract the remaining details we need from the ELF header
972      and then read in the program header table.  */
973   l->l_entry = header->e_entry;
974   type = header->e_type;
975   l->l_phnum = header->e_phnum;
976
977   maplength = header->e_phnum * sizeof (ElfW(Phdr));
978   if (header->e_phoff + maplength <= (size_t) fbp->len)
979     phdr = (void *) (fbp->buf + header->e_phoff);
980   else
981     {
982       phdr = alloca (maplength);
983       __lseek (fd, header->e_phoff, SEEK_SET);
984       if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
985         {
986           errstring = N_("cannot read file data");
987           goto call_lose_errno;
988         }
989     }
990
991   /* Presumed absent PT_GNU_STACK.  */
992   uint_fast16_t stack_flags = PF_R|PF_W|PF_X;
993
994   {
995     /* Scan the program header table, collecting its load commands.  */
996     struct loadcmd
997       {
998         ElfW(Addr) mapstart, mapend, dataend, allocend;
999         off_t mapoff;
1000         int prot;
1001       } loadcmds[l->l_phnum], *c;
1002     size_t nloadcmds = 0;
1003     bool has_holes = false;
1004
1005     /* The struct is initialized to zero so this is not necessary:
1006     l->l_ld = 0;
1007     l->l_phdr = 0;
1008     l->l_addr = 0; */
1009     for (ph = phdr; ph < &phdr[l->l_phnum]; ++ph)
1010       switch (ph->p_type)
1011         {
1012           /* These entries tell us where to find things once the file's
1013              segments are mapped in.  We record the addresses it says
1014              verbatim, and later correct for the run-time load address.  */
1015         case PT_DYNAMIC:
1016           l->l_ld = (void *) ph->p_vaddr;
1017           l->l_ldnum = ph->p_memsz / sizeof (ElfW(Dyn));
1018           break;
1019
1020         case PT_PHDR:
1021           l->l_phdr = (void *) ph->p_vaddr;
1022           break;
1023
1024         case PT_LOAD:
1025           /* A load command tells us to map in part of the file.
1026              We record the load commands and process them all later.  */
1027           if (__builtin_expect ((ph->p_align & (GLRO(dl_pagesize) - 1)) != 0,
1028                                 0))
1029             {
1030               errstring = N_("ELF load command alignment not page-aligned");
1031               goto call_lose;
1032             }
1033           if (__builtin_expect (((ph->p_vaddr - ph->p_offset)
1034                                  & (ph->p_align - 1)) != 0, 0))
1035             {
1036               errstring
1037                 = N_("ELF load command address/offset not properly aligned");
1038               goto call_lose;
1039             }
1040
1041           c = &loadcmds[nloadcmds++];
1042           c->mapstart = ph->p_vaddr & ~(GLRO(dl_pagesize) - 1);
1043           c->mapend = ((ph->p_vaddr + ph->p_filesz + GLRO(dl_pagesize) - 1)
1044                        & ~(GLRO(dl_pagesize) - 1));
1045           c->dataend = ph->p_vaddr + ph->p_filesz;
1046           c->allocend = ph->p_vaddr + ph->p_memsz;
1047           c->mapoff = ph->p_offset & ~(GLRO(dl_pagesize) - 1);
1048
1049           /* Determine whether there is a gap between the last segment
1050              and this one.  */
1051           if (nloadcmds > 1 && c[-1].mapend != c->mapstart)
1052             has_holes = true;
1053
1054           /* Optimize a common case.  */
1055 #if (PF_R | PF_W | PF_X) == 7 && (PROT_READ | PROT_WRITE | PROT_EXEC) == 7
1056           c->prot = (PF_TO_PROT
1057                      >> ((ph->p_flags & (PF_R | PF_W | PF_X)) * 4)) & 0xf;
1058 #else
1059           c->prot = 0;
1060           if (ph->p_flags & PF_R)
1061             c->prot |= PROT_READ;
1062           if (ph->p_flags & PF_W)
1063             c->prot |= PROT_WRITE;
1064           if (ph->p_flags & PF_X)
1065             c->prot |= PROT_EXEC;
1066 #endif
1067           break;
1068
1069         case PT_TLS:
1070 #ifdef USE_TLS
1071           if (ph->p_memsz == 0)
1072             /* Nothing to do for an empty segment.  */
1073             break;
1074
1075           l->l_tls_blocksize = ph->p_memsz;
1076           l->l_tls_align = ph->p_align;
1077           if (ph->p_align == 0)
1078             l->l_tls_firstbyte_offset = 0;
1079           else
1080             l->l_tls_firstbyte_offset = ph->p_vaddr & (ph->p_align - 1);
1081           l->l_tls_initimage_size = ph->p_filesz;
1082           /* Since we don't know the load address yet only store the
1083              offset.  We will adjust it later.  */
1084           l->l_tls_initimage = (void *) ph->p_vaddr;
1085
1086           /* If not loading the initial set of shared libraries,
1087              check whether we should permit loading a TLS segment.  */
1088           if (__builtin_expect (l->l_type == lt_library, 1)
1089               /* If GL(dl_tls_dtv_slotinfo_list) == NULL, then rtld.c did
1090                  not set up TLS data structures, so don't use them now.  */
1091               || __builtin_expect (GL(dl_tls_dtv_slotinfo_list) != NULL, 1))
1092             {
1093               /* Assign the next available module ID.  */
1094               l->l_tls_modid = _dl_next_tls_modid ();
1095               break;
1096             }
1097
1098 # ifdef SHARED
1099           if (l->l_prev == NULL || (mode & __RTLD_AUDIT) != 0)
1100             /* We are loading the executable itself when the dynamic linker
1101                was executed directly.  The setup will happen later.  */
1102             break;
1103
1104           /* In a static binary there is no way to tell if we dynamically
1105              loaded libpthread.  */
1106           if (GL(dl_error_catch_tsd) == &_dl_initial_error_catch_tsd)
1107 # endif
1108             {
1109               /* We have not yet loaded libpthread.
1110                  We can do the TLS setup right now!  */
1111
1112               void *tcb;
1113
1114               /* The first call allocates TLS bookkeeping data structures.
1115                  Then we allocate the TCB for the initial thread.  */
1116               if (__builtin_expect (_dl_tls_setup (), 0)
1117                   || __builtin_expect ((tcb = _dl_allocate_tls (NULL)) == NULL,
1118                                        0))
1119                 {
1120                   errval = ENOMEM;
1121                   errstring = N_("\
1122 cannot allocate TLS data structures for initial thread");
1123                   goto call_lose;
1124                 }
1125
1126               /* Now we install the TCB in the thread register.  */
1127               errstring = TLS_INIT_TP (tcb, 0);
1128               if (__builtin_expect (errstring == NULL, 1))
1129                 {
1130                   /* Now we are all good.  */
1131                   l->l_tls_modid = ++GL(dl_tls_max_dtv_idx);
1132                   break;
1133                 }
1134
1135               /* The kernel is too old or somesuch.  */
1136               errval = 0;
1137               _dl_deallocate_tls (tcb, 1);
1138               goto call_lose;
1139             }
1140 #endif
1141
1142           /* Uh-oh, the binary expects TLS support but we cannot
1143              provide it.  */
1144           errval = 0;
1145           errstring = N_("cannot handle TLS data");
1146           goto call_lose;
1147           break;
1148
1149         case PT_GNU_STACK:
1150           stack_flags = ph->p_flags;
1151           break;
1152
1153         case PT_GNU_RELRO:
1154           l->l_relro_addr = ph->p_vaddr;
1155           l->l_relro_size = ph->p_memsz;
1156           break;
1157         }
1158
1159     if (__builtin_expect (nloadcmds == 0, 0))
1160       {
1161         /* This only happens for a bogus object that will be caught with
1162            another error below.  But we don't want to go through the
1163            calculations below using NLOADCMDS - 1.  */
1164         errstring = N_("object file has no loadable segments");
1165         goto call_lose;
1166       }
1167
1168     /* Now process the load commands and map segments into memory.  */
1169     c = loadcmds;
1170
1171     /* Length of the sections to be loaded.  */
1172     maplength = loadcmds[nloadcmds - 1].allocend - c->mapstart;
1173
1174     if (__builtin_expect (type, ET_DYN) == ET_DYN)
1175       {
1176         /* This is a position-independent shared object.  We can let the
1177            kernel map it anywhere it likes, but we must have space for all
1178            the segments in their specified positions relative to the first.
1179            So we map the first segment without MAP_FIXED, but with its
1180            extent increased to cover all the segments.  Then we remove
1181            access from excess portion, and there is known sufficient space
1182            there to remap from the later segments.
1183
1184            As a refinement, sometimes we have an address that we would
1185            prefer to map such objects at; but this is only a preference,
1186            the OS can do whatever it likes. */
1187         ElfW(Addr) mappref;
1188         mappref = (ELF_PREFERRED_ADDRESS (loader, maplength,
1189                                           c->mapstart & GLRO(dl_use_load_bias))
1190                    - MAP_BASE_ADDR (l));
1191
1192         /* Remember which part of the address space this object uses.  */
1193         l->l_map_start = (ElfW(Addr)) __mmap ((void *) mappref, maplength,
1194                                               c->prot,
1195                                               MAP_COPY|MAP_FILE,
1196                                               fd, c->mapoff);
1197         if (__builtin_expect ((void *) l->l_map_start == MAP_FAILED, 0))
1198           {
1199           map_error:
1200             errstring = N_("failed to map segment from shared object");
1201             goto call_lose_errno;
1202           }
1203
1204         l->l_map_end = l->l_map_start + maplength;
1205         l->l_addr = l->l_map_start - c->mapstart;
1206
1207         if (has_holes)
1208           /* Change protection on the excess portion to disallow all access;
1209              the portions we do not remap later will be inaccessible as if
1210              unallocated.  Then jump into the normal segment-mapping loop to
1211              handle the portion of the segment past the end of the file
1212              mapping.  */
1213           __mprotect ((caddr_t) (l->l_addr + c->mapend),
1214                       loadcmds[nloadcmds - 1].mapstart - c->mapend,
1215                       PROT_NONE);
1216
1217         goto postmap;
1218       }
1219
1220     /* This object is loaded at a fixed address.  This must never
1221        happen for objects loaded with dlopen().  */
1222     if (__builtin_expect ((mode & __RTLD_OPENEXEC) == 0, 0))
1223       {
1224         errstring = N_("cannot dynamically load executable");
1225         goto call_lose;
1226       }
1227
1228     /* Notify ELF_PREFERRED_ADDRESS that we have to load this one
1229        fixed.  */
1230     ELF_FIXED_ADDRESS (loader, c->mapstart);
1231
1232
1233     /* Remember which part of the address space this object uses.  */
1234     l->l_map_start = c->mapstart + l->l_addr;
1235     l->l_map_end = l->l_map_start + maplength;
1236
1237     while (c < &loadcmds[nloadcmds])
1238       {
1239         if (c->mapend > c->mapstart
1240             /* Map the segment contents from the file.  */
1241             && (__mmap ((void *) (l->l_addr + c->mapstart),
1242                         c->mapend - c->mapstart, c->prot,
1243                         MAP_FIXED|MAP_COPY|MAP_FILE,
1244                         fd, c->mapoff)
1245                 == MAP_FAILED))
1246           goto map_error;
1247
1248       postmap:
1249         if (c->prot & PROT_EXEC)
1250           l->l_text_end = l->l_addr + c->mapend;
1251
1252         if (l->l_phdr == 0
1253             && (ElfW(Off)) c->mapoff <= header->e_phoff
1254             && ((size_t) (c->mapend - c->mapstart + c->mapoff)
1255                 >= header->e_phoff + header->e_phnum * sizeof (ElfW(Phdr))))
1256           /* Found the program header in this segment.  */
1257           l->l_phdr = (void *) (c->mapstart + header->e_phoff - c->mapoff);
1258
1259         if (c->allocend > c->dataend)
1260           {
1261             /* Extra zero pages should appear at the end of this segment,
1262                after the data mapped from the file.   */
1263             ElfW(Addr) zero, zeroend, zeropage;
1264
1265             zero = l->l_addr + c->dataend;
1266             zeroend = l->l_addr + c->allocend;
1267             zeropage = ((zero + GLRO(dl_pagesize) - 1)
1268                         & ~(GLRO(dl_pagesize) - 1));
1269
1270             if (zeroend < zeropage)
1271               /* All the extra data is in the last page of the segment.
1272                  We can just zero it.  */
1273               zeropage = zeroend;
1274
1275             if (zeropage > zero)
1276               {
1277                 /* Zero the final part of the last page of the segment.  */
1278                 if (__builtin_expect ((c->prot & PROT_WRITE) == 0, 0))
1279                   {
1280                     /* Dag nab it.  */
1281                     if (__mprotect ((caddr_t) (zero
1282                                                & ~(GLRO(dl_pagesize) - 1)),
1283                                     GLRO(dl_pagesize), c->prot|PROT_WRITE) < 0)
1284                       {
1285                         errstring = N_("cannot change memory protections");
1286                         goto call_lose_errno;
1287                       }
1288                   }
1289                 memset ((void *) zero, '\0', zeropage - zero);
1290                 if (__builtin_expect ((c->prot & PROT_WRITE) == 0, 0))
1291                   __mprotect ((caddr_t) (zero & ~(GLRO(dl_pagesize) - 1)),
1292                               GLRO(dl_pagesize), c->prot);
1293               }
1294
1295             if (zeroend > zeropage)
1296               {
1297                 /* Map the remaining zero pages in from the zero fill FD.  */
1298                 caddr_t mapat;
1299                 mapat = __mmap ((caddr_t) zeropage, zeroend - zeropage,
1300                                 c->prot, MAP_ANON|MAP_PRIVATE|MAP_FIXED,
1301                                 ANONFD, 0);
1302                 if (__builtin_expect (mapat == MAP_FAILED, 0))
1303                   {
1304                     errstring = N_("cannot map zero-fill pages");
1305                     goto call_lose_errno;
1306                   }
1307               }
1308           }
1309
1310         ++c;
1311       }
1312   }
1313
1314   if (l->l_ld == 0)
1315     {
1316       if (__builtin_expect (type == ET_DYN, 0))
1317         {
1318           errstring = N_("object file has no dynamic section");
1319           goto call_lose;
1320         }
1321     }
1322   else
1323     l->l_ld = (ElfW(Dyn) *) ((ElfW(Addr)) l->l_ld + l->l_addr);
1324
1325   elf_get_dynamic_info (l, NULL);
1326
1327   /* Make sure we are not dlopen'ing an object that has the
1328      DF_1_NOOPEN flag set.  */
1329   if (__builtin_expect (l->l_flags_1 & DF_1_NOOPEN, 0)
1330       && (mode & __RTLD_DLOPEN))
1331     {
1332       /* We are not supposed to load this object.  Free all resources.  */
1333       __munmap ((void *) l->l_map_start, l->l_map_end - l->l_map_start);
1334
1335       if (!l->l_libname->dont_free)
1336         free (l->l_libname);
1337
1338       if (l->l_phdr_allocated)
1339         free ((void *) l->l_phdr);
1340
1341       errstring = N_("shared object cannot be dlopen()ed");
1342       goto call_lose;
1343     }
1344
1345   if (l->l_phdr == NULL)
1346     {
1347       /* The program header is not contained in any of the segments.
1348          We have to allocate memory ourself and copy it over from out
1349          temporary place.  */
1350       ElfW(Phdr) *newp = (ElfW(Phdr) *) malloc (header->e_phnum
1351                                                 * sizeof (ElfW(Phdr)));
1352       if (newp == NULL)
1353         {
1354           errstring = N_("cannot allocate memory for program header");
1355           goto call_lose_errno;
1356         }
1357
1358       l->l_phdr = memcpy (newp, phdr,
1359                           (header->e_phnum * sizeof (ElfW(Phdr))));
1360       l->l_phdr_allocated = 1;
1361     }
1362   else
1363     /* Adjust the PT_PHDR value by the runtime load address.  */
1364     l->l_phdr = (ElfW(Phdr) *) ((ElfW(Addr)) l->l_phdr + l->l_addr);
1365
1366   if (__builtin_expect ((stack_flags &~ GL(dl_stack_flags)) & PF_X, 0))
1367     {
1368       if (__builtin_expect (__check_caller (RETURN_ADDRESS (0), allow_ldso),
1369                             0) != 0)
1370         {
1371           errstring = N_("invalid caller");
1372           goto call_lose;
1373         }
1374
1375       /* The stack is presently not executable, but this module
1376          requires that it be executable.  We must change the
1377          protection of the variable which contains the flags used in
1378          the mprotect calls.  */
1379 #if defined HAVE_Z_RELRO && defined SHARED
1380       if ((mode & (__RTLD_DLOPEN | __RTLD_AUDIT)) == __RTLD_DLOPEN)
1381         {
1382           const uintptr_t p = (uintptr_t) &__stack_prot & -GLRO(dl_pagesize);
1383           const size_t s = (uintptr_t) (&__stack_prot + 1) - p;
1384
1385           struct link_map *const m = &GL(dl_rtld_map);
1386           const uintptr_t relro_end = ((m->l_addr + m->l_relro_addr
1387                                         + m->l_relro_size)
1388                                        & -GLRO(dl_pagesize));
1389           if (__builtin_expect (p + s <= relro_end, 1))
1390             {
1391               /* The variable lies in the region protected by RELRO.  */
1392               __mprotect ((void *) p, s, PROT_READ|PROT_WRITE);
1393               __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1394               __mprotect ((void *) p, s, PROT_READ);
1395             }
1396           else
1397             __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1398         }
1399       else
1400 #endif
1401         __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1402
1403 #ifdef check_consistency
1404       check_consistency ();
1405 #endif
1406
1407       errval = (*GL(dl_make_stack_executable_hook)) (stack_endp);
1408       if (errval)
1409         {
1410           errstring = N_("\
1411 cannot enable executable stack as shared object requires");
1412           goto call_lose;
1413         }
1414     }
1415
1416 #ifdef USE_TLS
1417   /* Adjust the address of the TLS initialization image.  */
1418   if (l->l_tls_initimage != NULL)
1419     l->l_tls_initimage = (char *) l->l_tls_initimage + l->l_addr;
1420 #endif
1421
1422   /* We are done mapping in the file.  We no longer need the descriptor.  */
1423   if (__builtin_expect (__close (fd) != 0, 0))
1424     {
1425       errstring = N_("cannot close file descriptor");
1426       goto call_lose_errno;
1427     }
1428   /* Signal that we closed the file.  */
1429   fd = -1;
1430
1431   if (l->l_type == lt_library && type == ET_EXEC)
1432     l->l_type = lt_executable;
1433
1434   l->l_entry += l->l_addr;
1435
1436   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0))
1437     _dl_debug_printf ("\
1438   dynamic: 0x%0*lx  base: 0x%0*lx   size: 0x%0*Zx\n\
1439     entry: 0x%0*lx  phdr: 0x%0*lx  phnum:   %*u\n\n",
1440                            (int) sizeof (void *) * 2,
1441                            (unsigned long int) l->l_ld,
1442                            (int) sizeof (void *) * 2,
1443                            (unsigned long int) l->l_addr,
1444                            (int) sizeof (void *) * 2, maplength,
1445                            (int) sizeof (void *) * 2,
1446                            (unsigned long int) l->l_entry,
1447                            (int) sizeof (void *) * 2,
1448                            (unsigned long int) l->l_phdr,
1449                            (int) sizeof (void *) * 2, l->l_phnum);
1450
1451   /* Set up the symbol hash table.  */
1452   _dl_setup_hash (l);
1453
1454   /* If this object has DT_SYMBOLIC set modify now its scope.  We don't
1455      have to do this for the main map.  */
1456   if ((mode & RTLD_DEEPBIND) == 0
1457       && __builtin_expect (l->l_info[DT_SYMBOLIC] != NULL, 0)
1458       && &l->l_searchlist != l->l_scope[0])
1459     {
1460       /* Create an appropriate searchlist.  It contains only this map.
1461          This is the definition of DT_SYMBOLIC in SysVr4.  */
1462       l->l_symbolic_searchlist.r_list =
1463         (struct link_map **) malloc (sizeof (struct link_map *));
1464
1465       if (l->l_symbolic_searchlist.r_list == NULL)
1466         {
1467           errstring = N_("cannot create searchlist");
1468           goto call_lose_errno;
1469         }
1470
1471       l->l_symbolic_searchlist.r_list[0] = l;
1472       l->l_symbolic_searchlist.r_nlist = 1;
1473
1474       /* Now move the existing entries one back.  */
1475       memmove (&l->l_scope[1], &l->l_scope[0],
1476                (l->l_scope_max - 1) * sizeof (l->l_scope[0]));
1477
1478       /* Now add the new entry.  */
1479       l->l_scope[0] = &l->l_symbolic_searchlist;
1480     }
1481
1482   /* Remember whether this object must be initialized first.  */
1483   if (l->l_flags_1 & DF_1_INITFIRST)
1484     GL(dl_initfirst) = l;
1485
1486   /* Finally the file information.  */
1487   l->l_dev = st.st_dev;
1488   l->l_ino = st.st_ino;
1489
1490   /* When we profile the SONAME might be needed for something else but
1491      loading.  Add it right away.  */
1492   if (__builtin_expect (GLRO(dl_profile) != NULL, 0)
1493       && l->l_info[DT_SONAME] != NULL)
1494     add_name_to_object (l, ((const char *) D_PTR (l, l_info[DT_STRTAB])
1495                             + l->l_info[DT_SONAME]->d_un.d_val));
1496
1497 #ifdef SHARED
1498   /* Auditing checkpoint: we have a new object.  */
1499   if (__builtin_expect (GLRO(dl_naudit) > 0, 0)
1500       && !GL(dl_ns)[l->l_ns]._ns_loaded->l_auditing)
1501     {
1502       struct audit_ifaces *afct = GLRO(dl_audit);
1503       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
1504         {
1505           if (afct->objopen != NULL)
1506             {
1507               l->l_audit[cnt].bindflags
1508                 = afct->objopen (l, nsid, &l->l_audit[cnt].cookie);
1509
1510               l->l_audit_any_plt |= l->l_audit[cnt].bindflags != 0;
1511             }
1512
1513           afct = afct->next;
1514         }
1515     }
1516 #endif
1517
1518   return l;
1519 }
1520 \f
1521 /* Print search path.  */
1522 static void
1523 print_search_path (struct r_search_path_elem **list,
1524                    const char *what, const char *name)
1525 {
1526   char buf[max_dirnamelen + max_capstrlen];
1527   int first = 1;
1528
1529   _dl_debug_printf (" search path=");
1530
1531   while (*list != NULL && (*list)->what == what) /* Yes, ==.  */
1532     {
1533       char *endp = __mempcpy (buf, (*list)->dirname, (*list)->dirnamelen);
1534       size_t cnt;
1535
1536       for (cnt = 0; cnt < ncapstr; ++cnt)
1537         if ((*list)->status[cnt] != nonexisting)
1538           {
1539             char *cp = __mempcpy (endp, capstr[cnt].str, capstr[cnt].len);
1540             if (cp == buf || (cp == buf + 1 && buf[0] == '/'))
1541               cp[0] = '\0';
1542             else
1543               cp[-1] = '\0';
1544
1545             _dl_debug_printf_c (first ? "%s" : ":%s", buf);
1546             first = 0;
1547           }
1548
1549       ++list;
1550     }
1551
1552   if (name != NULL)
1553     _dl_debug_printf_c ("\t\t(%s from file %s)\n", what,
1554                         name[0] ? name : rtld_progname);
1555   else
1556     _dl_debug_printf_c ("\t\t(%s)\n", what);
1557 }
1558 \f
1559 /* Open a file and verify it is an ELF file for this architecture.  We
1560    ignore only ELF files for other architectures.  Non-ELF files and
1561    ELF files with different header information cause fatal errors since
1562    this could mean there is something wrong in the installation and the
1563    user might want to know about this.  */
1564 static int
1565 open_verify (const char *name, struct filebuf *fbp, struct link_map *loader,
1566              int whatcode, bool *found_other_class, bool free_name)
1567 {
1568   /* This is the expected ELF header.  */
1569 #define ELF32_CLASS ELFCLASS32
1570 #define ELF64_CLASS ELFCLASS64
1571 #ifndef VALID_ELF_HEADER
1572 # define VALID_ELF_HEADER(hdr,exp,size) (memcmp (hdr, exp, size) == 0)
1573 # define VALID_ELF_OSABI(osabi)         (osabi == ELFOSABI_SYSV)
1574 # define VALID_ELF_ABIVERSION(ver)      (ver == 0)
1575 #endif
1576   static const unsigned char expected[EI_PAD] =
1577   {
1578     [EI_MAG0] = ELFMAG0,
1579     [EI_MAG1] = ELFMAG1,
1580     [EI_MAG2] = ELFMAG2,
1581     [EI_MAG3] = ELFMAG3,
1582     [EI_CLASS] = ELFW(CLASS),
1583     [EI_DATA] = byteorder,
1584     [EI_VERSION] = EV_CURRENT,
1585     [EI_OSABI] = ELFOSABI_SYSV,
1586     [EI_ABIVERSION] = 0
1587   };
1588   static const struct
1589   {
1590     ElfW(Word) vendorlen;
1591     ElfW(Word) datalen;
1592     ElfW(Word) type;
1593     char vendor[4];
1594   } expected_note = { 4, 16, 1, "GNU" };
1595   /* Initialize it to make the compiler happy.  */
1596   const char *errstring = NULL;
1597   int errval = 0;
1598
1599 #ifdef SHARED
1600   /* Give the auditing libraries a chance.  */
1601   if (__builtin_expect (GLRO(dl_naudit) > 0, 0) && whatcode != 0
1602       && loader->l_auditing == 0)
1603     {
1604       struct audit_ifaces *afct = GLRO(dl_audit);
1605       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
1606         {
1607           if (afct->objsearch != NULL)
1608             {
1609               name = afct->objsearch (name, &loader->l_audit[cnt].cookie,
1610                                       whatcode);
1611               if (name == NULL)
1612                 /* Ignore the path.  */
1613                 return -1;
1614             }
1615
1616           afct = afct->next;
1617         }
1618     }
1619 #endif
1620
1621   /* Open the file.  We always open files read-only.  */
1622   int fd = __open (name, O_RDONLY);
1623   if (fd != -1)
1624     {
1625       ElfW(Ehdr) *ehdr;
1626       ElfW(Phdr) *phdr, *ph;
1627       ElfW(Word) *abi_note, abi_note_buf[8];
1628       unsigned int osversion;
1629       size_t maplength;
1630
1631       /* We successfully openened the file.  Now verify it is a file
1632          we can use.  */
1633       __set_errno (0);
1634       fbp->len = __libc_read (fd, fbp->buf, sizeof (fbp->buf));
1635
1636       /* This is where the ELF header is loaded.  */
1637       assert (sizeof (fbp->buf) > sizeof (ElfW(Ehdr)));
1638       ehdr = (ElfW(Ehdr) *) fbp->buf;
1639
1640       /* Now run the tests.  */
1641       if (__builtin_expect (fbp->len < (ssize_t) sizeof (ElfW(Ehdr)), 0))
1642         {
1643           errval = errno;
1644           errstring = (errval == 0
1645                        ? N_("file too short") : N_("cannot read file data"));
1646         call_lose:
1647           if (free_name)
1648             {
1649               char *realname = (char *) name;
1650               name = strdupa (realname);
1651               free (realname);
1652             }
1653           lose (errval, fd, name, NULL, NULL, errstring, NULL);
1654         }
1655
1656       /* See whether the ELF header is what we expect.  */
1657       if (__builtin_expect (! VALID_ELF_HEADER (ehdr->e_ident, expected,
1658                                                 EI_PAD), 0))
1659         {
1660           /* Something is wrong.  */
1661           if (*(Elf32_Word *) &ehdr->e_ident !=
1662 #if BYTE_ORDER == LITTLE_ENDIAN
1663               ((ELFMAG0 << (EI_MAG0 * 8)) |
1664                (ELFMAG1 << (EI_MAG1 * 8)) |
1665                (ELFMAG2 << (EI_MAG2 * 8)) |
1666                (ELFMAG3 << (EI_MAG3 * 8)))
1667 #else
1668               ((ELFMAG0 << (EI_MAG3 * 8)) |
1669                (ELFMAG1 << (EI_MAG2 * 8)) |
1670                (ELFMAG2 << (EI_MAG1 * 8)) |
1671                (ELFMAG3 << (EI_MAG0 * 8)))
1672 #endif
1673               )
1674             errstring = N_("invalid ELF header");
1675           else if (ehdr->e_ident[EI_CLASS] != ELFW(CLASS))
1676             {
1677               /* This is not a fatal error.  On architectures where
1678                  32-bit and 64-bit binaries can be run this might
1679                  happen.  */
1680               *found_other_class = true;
1681               goto close_and_out;
1682             }
1683           else if (ehdr->e_ident[EI_DATA] != byteorder)
1684             {
1685               if (BYTE_ORDER == BIG_ENDIAN)
1686                 errstring = N_("ELF file data encoding not big-endian");
1687               else
1688                 errstring = N_("ELF file data encoding not little-endian");
1689             }
1690           else if (ehdr->e_ident[EI_VERSION] != EV_CURRENT)
1691             errstring
1692               = N_("ELF file version ident does not match current one");
1693           /* XXX We should be able so set system specific versions which are
1694              allowed here.  */
1695           else if (!VALID_ELF_OSABI (ehdr->e_ident[EI_OSABI]))
1696             errstring = N_("ELF file OS ABI invalid");
1697           else if (!VALID_ELF_ABIVERSION (ehdr->e_ident[EI_ABIVERSION]))
1698             errstring = N_("ELF file ABI version invalid");
1699           else
1700             /* Otherwise we don't know what went wrong.  */
1701             errstring = N_("internal error");
1702
1703           goto call_lose;
1704         }
1705
1706       if (__builtin_expect (ehdr->e_version, EV_CURRENT) != EV_CURRENT)
1707         {
1708           errstring = N_("ELF file version does not match current one");
1709           goto call_lose;
1710         }
1711       if (! __builtin_expect (elf_machine_matches_host (ehdr), 1))
1712         goto close_and_out;
1713       else if (__builtin_expect (ehdr->e_type, ET_DYN) != ET_DYN
1714                && __builtin_expect (ehdr->e_type, ET_EXEC) != ET_EXEC)
1715         {
1716           errstring = N_("only ET_DYN and ET_EXEC can be loaded");
1717           goto call_lose;
1718         }
1719       else if (__builtin_expect (ehdr->e_phentsize, sizeof (ElfW(Phdr)))
1720                != sizeof (ElfW(Phdr)))
1721         {
1722           errstring = N_("ELF file's phentsize not the expected size");
1723           goto call_lose;
1724         }
1725
1726       maplength = ehdr->e_phnum * sizeof (ElfW(Phdr));
1727       if (ehdr->e_phoff + maplength <= (size_t) fbp->len)
1728         phdr = (void *) (fbp->buf + ehdr->e_phoff);
1729       else
1730         {
1731           phdr = alloca (maplength);
1732           __lseek (fd, ehdr->e_phoff, SEEK_SET);
1733           if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
1734             {
1735             read_error:
1736               errval = errno;
1737               errstring = N_("cannot read file data");
1738               goto call_lose;
1739             }
1740         }
1741
1742       /* Check .note.ABI-tag if present.  */
1743       for (ph = phdr; ph < &phdr[ehdr->e_phnum]; ++ph)
1744         if (ph->p_type == PT_NOTE && ph->p_filesz == 32 && ph->p_align >= 4)
1745           {
1746             if (ph->p_offset + 32 <= (size_t) fbp->len)
1747               abi_note = (void *) (fbp->buf + ph->p_offset);
1748             else
1749               {
1750                 __lseek (fd, ph->p_offset, SEEK_SET);
1751                 if (__libc_read (fd, (void *) abi_note_buf, 32) != 32)
1752                   goto read_error;
1753
1754                 abi_note = abi_note_buf;
1755               }
1756
1757             if (memcmp (abi_note, &expected_note, sizeof (expected_note)))
1758               continue;
1759
1760             osversion = (abi_note[5] & 0xff) * 65536
1761                         + (abi_note[6] & 0xff) * 256
1762                         + (abi_note[7] & 0xff);
1763             if (abi_note[4] != __ABI_TAG_OS
1764                 || (GLRO(dl_osversion) && GLRO(dl_osversion) < osversion))
1765               {
1766               close_and_out:
1767                 __close (fd);
1768                 __set_errno (ENOENT);
1769                 fd = -1;
1770               }
1771
1772             break;
1773           }
1774     }
1775
1776   return fd;
1777 }
1778 \f
1779 /* Try to open NAME in one of the directories in *DIRSP.
1780    Return the fd, or -1.  If successful, fill in *REALNAME
1781    with the malloc'd full directory name.  If it turns out
1782    that none of the directories in *DIRSP exists, *DIRSP is
1783    replaced with (void *) -1, and the old value is free()d
1784    if MAY_FREE_DIRS is true.  */
1785
1786 static int
1787 open_path (const char *name, size_t namelen, int preloaded,
1788            struct r_search_path_struct *sps, char **realname,
1789            struct filebuf *fbp, struct link_map *loader, int whatcode,
1790            bool *found_other_class)
1791 {
1792   struct r_search_path_elem **dirs = sps->dirs;
1793   char *buf;
1794   int fd = -1;
1795   const char *current_what = NULL;
1796   int any = 0;
1797
1798   if (__builtin_expect (dirs == NULL, 0))
1799     /* We're called before _dl_init_paths when loading the main executable
1800        given on the command line when rtld is run directly.  */
1801     return -1;
1802
1803   buf = alloca (max_dirnamelen + max_capstrlen + namelen);
1804   do
1805     {
1806       struct r_search_path_elem *this_dir = *dirs;
1807       size_t buflen = 0;
1808       size_t cnt;
1809       char *edp;
1810       int here_any = 0;
1811       int err;
1812
1813       /* If we are debugging the search for libraries print the path
1814          now if it hasn't happened now.  */
1815       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0)
1816           && current_what != this_dir->what)
1817         {
1818           current_what = this_dir->what;
1819           print_search_path (dirs, current_what, this_dir->where);
1820         }
1821
1822       edp = (char *) __mempcpy (buf, this_dir->dirname, this_dir->dirnamelen);
1823       for (cnt = 0; fd == -1 && cnt < ncapstr; ++cnt)
1824         {
1825           /* Skip this directory if we know it does not exist.  */
1826           if (this_dir->status[cnt] == nonexisting)
1827             continue;
1828
1829           buflen =
1830             ((char *) __mempcpy (__mempcpy (edp, capstr[cnt].str,
1831                                             capstr[cnt].len),
1832                                  name, namelen)
1833              - buf);
1834
1835           /* Print name we try if this is wanted.  */
1836           if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
1837             _dl_debug_printf ("  trying file=%s\n", buf);
1838
1839           fd = open_verify (buf, fbp, loader, whatcode, found_other_class,
1840                             false);
1841           if (this_dir->status[cnt] == unknown)
1842             {
1843               if (fd != -1)
1844                 this_dir->status[cnt] = existing;
1845               /* Do not update the directory information when loading
1846                  auditing code.  We must try to disturb the program as
1847                  little as possible.  */
1848               else if (loader == NULL
1849                        || GL(dl_ns)[loader->l_ns]._ns_loaded->l_audit == 0)
1850                 {
1851                   /* We failed to open machine dependent library.  Let's
1852                      test whether there is any directory at all.  */
1853                   struct stat64 st;
1854
1855                   buf[buflen - namelen - 1] = '\0';
1856
1857                   if (__xstat64 (_STAT_VER, buf, &st) != 0
1858                       || ! S_ISDIR (st.st_mode))
1859                     /* The directory does not exist or it is no directory.  */
1860                     this_dir->status[cnt] = nonexisting;
1861                   else
1862                     this_dir->status[cnt] = existing;
1863                 }
1864             }
1865
1866           /* Remember whether we found any existing directory.  */
1867           here_any |= this_dir->status[cnt] != nonexisting;
1868
1869           if (fd != -1 && __builtin_expect (preloaded, 0)
1870               && INTUSE(__libc_enable_secure))
1871             {
1872               /* This is an extra security effort to make sure nobody can
1873                  preload broken shared objects which are in the trusted
1874                  directories and so exploit the bugs.  */
1875               struct stat64 st;
1876
1877               if (__fxstat64 (_STAT_VER, fd, &st) != 0
1878                   || (st.st_mode & S_ISUID) == 0)
1879                 {
1880                   /* The shared object cannot be tested for being SUID
1881                      or this bit is not set.  In this case we must not
1882                      use this object.  */
1883                   __close (fd);
1884                   fd = -1;
1885                   /* We simply ignore the file, signal this by setting
1886                      the error value which would have been set by `open'.  */
1887                   errno = ENOENT;
1888                 }
1889             }
1890         }
1891
1892       if (fd != -1)
1893         {
1894           *realname = (char *) malloc (buflen);
1895           if (*realname != NULL)
1896             {
1897               memcpy (*realname, buf, buflen);
1898               return fd;
1899             }
1900           else
1901             {
1902               /* No memory for the name, we certainly won't be able
1903                  to load and link it.  */
1904               __close (fd);
1905               return -1;
1906             }
1907         }
1908       if (here_any && (err = errno) != ENOENT && err != EACCES)
1909         /* The file exists and is readable, but something went wrong.  */
1910         return -1;
1911
1912       /* Remember whether we found anything.  */
1913       any |= here_any;
1914     }
1915   while (*++dirs != NULL);
1916
1917   /* Remove the whole path if none of the directories exists.  */
1918   if (__builtin_expect (! any, 0))
1919     {
1920       /* Paths which were allocated using the minimal malloc() in ld.so
1921          must not be freed using the general free() in libc.  */
1922       if (sps->malloced)
1923         free (sps->dirs);
1924 #ifdef HAVE_Z_RELRO
1925       /* rtld_search_dirs is attribute_relro, therefore avoid writing
1926          into it.  */
1927       if (sps != &rtld_search_dirs)
1928 #endif
1929         sps->dirs = (void *) -1;
1930     }
1931
1932   return -1;
1933 }
1934
1935 /* Map in the shared object file NAME.  */
1936
1937 struct link_map *
1938 internal_function
1939 _dl_map_object (struct link_map *loader, const char *name, int preloaded,
1940                 int type, int trace_mode, int mode, Lmid_t nsid)
1941 {
1942   int fd;
1943   char *realname;
1944   char *name_copy;
1945   struct link_map *l;
1946   struct filebuf fb;
1947
1948   assert (nsid >= 0);
1949   assert (nsid < DL_NNS);
1950
1951   /* Look for this name among those already loaded.  */
1952   for (l = GL(dl_ns)[nsid]._ns_loaded; l; l = l->l_next)
1953     {
1954       /* If the requested name matches the soname of a loaded object,
1955          use that object.  Elide this check for names that have not
1956          yet been opened.  */
1957       if (__builtin_expect (l->l_faked, 0) != 0
1958           || __builtin_expect (l->l_removed, 0) != 0)
1959         continue;
1960       if (!_dl_name_match_p (name, l))
1961         {
1962           const char *soname;
1963
1964           if (__builtin_expect (l->l_soname_added, 1)
1965               || l->l_info[DT_SONAME] == NULL)
1966             continue;
1967
1968           soname = ((const char *) D_PTR (l, l_info[DT_STRTAB])
1969                     + l->l_info[DT_SONAME]->d_un.d_val);
1970           if (strcmp (name, soname) != 0)
1971             continue;
1972
1973           /* We have a match on a new name -- cache it.  */
1974           add_name_to_object (l, soname);
1975           l->l_soname_added = 1;
1976         }
1977
1978       /* We have a match.  */
1979       return l;
1980     }
1981
1982   /* Display information if we are debugging.  */
1983   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0)
1984       && loader != NULL)
1985     _dl_debug_printf ("\nfile=%s [%lu];  needed by %s [%lu]\n", name, nsid,
1986                               loader->l_name[0]
1987                               ? loader->l_name : rtld_progname, loader->l_ns);
1988
1989 #ifdef SHARED
1990   /* Give the auditing libraries a chance to change the name before we
1991      try anything.  */
1992   if (__builtin_expect (GLRO(dl_naudit) > 0, 0)
1993       && (loader == NULL || loader->l_auditing == 0))
1994     {
1995       struct audit_ifaces *afct = GLRO(dl_audit);
1996       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
1997         {
1998           if (afct->objsearch != NULL)
1999             {
2000               name = afct->objsearch (name, &loader->l_audit[cnt].cookie,
2001                                       LA_SER_ORIG);
2002               if (name == NULL)
2003                 {
2004                   /* Do not try anything further.  */
2005                   fd = -1;
2006                   goto no_file;
2007                 }
2008             }
2009
2010           afct = afct->next;
2011         }
2012     }
2013 #endif
2014
2015   /* Will be true if we found a DSO which is of the other ELF class.  */
2016   bool found_other_class = false;
2017
2018   if (strchr (name, '/') == NULL)
2019     {
2020       /* Search for NAME in several places.  */
2021
2022       size_t namelen = strlen (name) + 1;
2023
2024       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
2025         _dl_debug_printf ("find library=%s [%lu]; searching\n", name, nsid);
2026
2027       fd = -1;
2028
2029       /* When the object has the RUNPATH information we don't use any
2030          RPATHs.  */
2031       if (loader == NULL || loader->l_info[DT_RUNPATH] == NULL)
2032         {
2033           /* First try the DT_RPATH of the dependent object that caused NAME
2034              to be loaded.  Then that object's dependent, and on up.  */
2035           for (l = loader; fd == -1 && l; l = l->l_loader)
2036             if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2037               fd = open_path (name, namelen, preloaded, &l->l_rpath_dirs,
2038                               &realname, &fb, loader, LA_SER_RUNPATH,
2039                               &found_other_class);
2040
2041           /* If dynamically linked, try the DT_RPATH of the executable
2042              itself.  NB: we do this for lookups in any namespace.  */
2043           if (fd == -1)
2044             {
2045               l = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2046               if (l && l->l_type != lt_loaded && l != loader
2047                   && cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2048                 fd = open_path (name, namelen, preloaded, &l->l_rpath_dirs,
2049                                 &realname, &fb, loader ?: l, LA_SER_RUNPATH,
2050                                 &found_other_class);
2051             }
2052         }
2053
2054       /* Try the LD_LIBRARY_PATH environment variable.  */
2055       if (fd == -1 && env_path_list.dirs != (void *) -1)
2056         fd = open_path (name, namelen, preloaded, &env_path_list,
2057                         &realname, &fb,
2058                         loader ?: GL(dl_ns)[LM_ID_BASE]._ns_loaded,
2059                         LA_SER_LIBPATH, &found_other_class);
2060
2061       /* Look at the RUNPATH information for this binary.  */
2062       if (fd == -1 && loader != NULL
2063           && cache_rpath (loader, &loader->l_runpath_dirs,
2064                           DT_RUNPATH, "RUNPATH"))
2065         fd = open_path (name, namelen, preloaded,
2066                         &loader->l_runpath_dirs, &realname, &fb, loader,
2067                         LA_SER_RUNPATH, &found_other_class);
2068
2069       if (fd == -1
2070           && (__builtin_expect (! preloaded, 1)
2071               || ! INTUSE(__libc_enable_secure)))
2072         {
2073           /* Check the list of libraries in the file /etc/ld.so.cache,
2074              for compatibility with Linux's ldconfig program.  */
2075           const char *cached = _dl_load_cache_lookup (name);
2076
2077           if (cached != NULL)
2078             {
2079 #ifdef SHARED
2080               // XXX Correct to unconditionally default to namespace 0?
2081               l = loader ?: GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2082 #else
2083               l = loader;
2084 #endif
2085
2086               /* If the loader has the DF_1_NODEFLIB flag set we must not
2087                  use a cache entry from any of these directories.  */
2088               if (
2089 #ifndef SHARED
2090                   /* 'l' is always != NULL for dynamically linked objects.  */
2091                   l != NULL &&
2092 #endif
2093                   __builtin_expect (l->l_flags_1 & DF_1_NODEFLIB, 0))
2094                 {
2095                   const char *dirp = system_dirs;
2096                   unsigned int cnt = 0;
2097
2098                   do
2099                     {
2100                       if (memcmp (cached, dirp, system_dirs_len[cnt]) == 0)
2101                         {
2102                           /* The prefix matches.  Don't use the entry.  */
2103                           cached = NULL;
2104                           break;
2105                         }
2106
2107                       dirp += system_dirs_len[cnt] + 1;
2108                       ++cnt;
2109                     }
2110                   while (cnt < nsystem_dirs_len);
2111                 }
2112
2113               if (cached != NULL)
2114                 {
2115                   fd = open_verify (cached,
2116                                     &fb, loader ?: GL(dl_ns)[nsid]._ns_loaded,
2117                                     LA_SER_CONFIG, &found_other_class, false);
2118                   if (__builtin_expect (fd != -1, 1))
2119                     {
2120                       realname = local_strdup (cached);
2121                       if (realname == NULL)
2122                         {
2123                           __close (fd);
2124                           fd = -1;
2125                         }
2126                     }
2127                 }
2128             }
2129         }
2130
2131       /* Finally, try the default path.  */
2132       if (fd == -1
2133           && ((l = loader ?: GL(dl_ns)[nsid]._ns_loaded) == NULL
2134               || __builtin_expect (!(l->l_flags_1 & DF_1_NODEFLIB), 1))
2135           && rtld_search_dirs.dirs != (void *) -1)
2136         fd = open_path (name, namelen, preloaded, &rtld_search_dirs,
2137                         &realname, &fb, l, LA_SER_DEFAULT, &found_other_class);
2138
2139       /* Add another newline when we are tracing the library loading.  */
2140       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
2141         _dl_debug_printf ("\n");
2142     }
2143   else
2144     {
2145       /* The path may contain dynamic string tokens.  */
2146       realname = (loader
2147                   ? expand_dynamic_string_token (loader, name)
2148                   : local_strdup (name));
2149       if (realname == NULL)
2150         fd = -1;
2151       else
2152         {
2153           fd = open_verify (realname, &fb,
2154                             loader ?: GL(dl_ns)[nsid]._ns_loaded, 0,
2155                             &found_other_class, true);
2156           if (__builtin_expect (fd, 0) == -1)
2157             free (realname);
2158         }
2159     }
2160
2161 #ifdef SHARED
2162  no_file:
2163 #endif
2164   /* In case the LOADER information has only been provided to get to
2165      the appropriate RUNPATH/RPATH information we do not need it
2166      anymore.  */
2167   if (mode & __RTLD_CALLMAP)
2168     loader = NULL;
2169
2170   if (__builtin_expect (fd, 0) == -1)
2171     {
2172       if (trace_mode
2173           && __builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_PRELINK, 0) == 0)
2174         {
2175           /* We haven't found an appropriate library.  But since we
2176              are only interested in the list of libraries this isn't
2177              so severe.  Fake an entry with all the information we
2178              have.  */
2179           static const Elf_Symndx dummy_bucket = STN_UNDEF;
2180
2181           /* Enter the new object in the list of loaded objects.  */
2182           if ((name_copy = local_strdup (name)) == NULL
2183               || (l = _dl_new_object (name_copy, name, type, loader,
2184                                       mode, nsid)) == NULL)
2185             {
2186               free (name_copy);
2187               _dl_signal_error (ENOMEM, name, NULL,
2188                                 N_("cannot create shared object descriptor"));
2189             }
2190           /* Signal that this is a faked entry.  */
2191           l->l_faked = 1;
2192           /* Since the descriptor is initialized with zero we do not
2193              have do this here.
2194           l->l_reserved = 0; */
2195           l->l_buckets = &dummy_bucket;
2196           l->l_nbuckets = 1;
2197           l->l_relocated = 1;
2198
2199           return l;
2200         }
2201       else if (found_other_class)
2202         _dl_signal_error (0, name, NULL,
2203                           ELFW(CLASS) == ELFCLASS32
2204                           ? N_("wrong ELF class: ELFCLASS64")
2205                           : N_("wrong ELF class: ELFCLASS32"));
2206       else
2207         _dl_signal_error (errno, name, NULL,
2208                           N_("cannot open shared object file"));
2209     }
2210
2211   void *stack_end = __libc_stack_end;
2212   return _dl_map_object_from_fd (name, fd, &fb, realname, loader, type, mode,
2213                                  &stack_end, nsid);
2214 }
2215
2216
2217 void
2218 internal_function
2219 _dl_rtld_di_serinfo (struct link_map *loader, Dl_serinfo *si, bool counting)
2220 {
2221   if (counting)
2222     {
2223       si->dls_cnt = 0;
2224       si->dls_size = 0;
2225     }
2226
2227   unsigned int idx = 0;
2228   char *allocptr = (char *) &si->dls_serpath[si->dls_cnt];
2229   void add_path (const struct r_search_path_struct *sps, unsigned int flags)
2230 # define add_path(sps, flags) add_path(sps, 0) /* XXX */
2231     {
2232       if (sps->dirs != (void *) -1)
2233         {
2234           struct r_search_path_elem **dirs = sps->dirs;
2235           do
2236             {
2237               const struct r_search_path_elem *const r = *dirs++;
2238               if (counting)
2239                 {
2240                   si->dls_cnt++;
2241                   si->dls_size += r->dirnamelen;
2242                 }
2243               else
2244                 {
2245                   Dl_serpath *const sp = &si->dls_serpath[idx++];
2246                   sp->dls_name = allocptr;
2247                   allocptr = __mempcpy (allocptr,
2248                                         r->dirname, r->dirnamelen - 1);
2249                   *allocptr++ = '\0';
2250                   sp->dls_flags = flags;
2251                 }
2252             }
2253           while (*dirs != NULL);
2254         }
2255     }
2256
2257   /* When the object has the RUNPATH information we don't use any RPATHs.  */
2258   if (loader->l_info[DT_RUNPATH] == NULL)
2259     {
2260       /* First try the DT_RPATH of the dependent object that caused NAME
2261          to be loaded.  Then that object's dependent, and on up.  */
2262
2263       struct link_map *l = loader;
2264       do
2265         {
2266           if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2267             add_path (&l->l_rpath_dirs, XXX_RPATH);
2268           l = l->l_loader;
2269         }
2270       while (l != NULL);
2271
2272       /* If dynamically linked, try the DT_RPATH of the executable itself.  */
2273       if (loader->l_ns == LM_ID_BASE)
2274         {
2275           l = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2276           if (l != NULL && l->l_type != lt_loaded && l != loader)
2277             if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2278               add_path (&l->l_rpath_dirs, XXX_RPATH);
2279         }
2280     }
2281
2282   /* Try the LD_LIBRARY_PATH environment variable.  */
2283   add_path (&env_path_list, XXX_ENV);
2284
2285   /* Look at the RUNPATH information for this binary.  */
2286   if (cache_rpath (loader, &loader->l_runpath_dirs, DT_RUNPATH, "RUNPATH"))
2287     add_path (&loader->l_runpath_dirs, XXX_RUNPATH);
2288
2289   /* XXX
2290      Here is where ld.so.cache gets checked, but we don't have
2291      a way to indicate that in the results for Dl_serinfo.  */
2292
2293   /* Finally, try the default path.  */
2294   if (!(loader->l_flags_1 & DF_1_NODEFLIB))
2295     add_path (&rtld_search_dirs, XXX_default);
2296
2297   if (counting)
2298     /* Count the struct size before the string area, which we didn't
2299        know before we completed dls_cnt.  */
2300     si->dls_size += (char *) &si->dls_serpath[si->dls_cnt] - (char *) si;
2301 }