2adeb60fcd90157b291d6a895bc4b997aa5ae31b
[kopensolaris-gnu/glibc.git] / elf / dl-load.c
1 /* Map in a shared object's segments from the file.
2    Copyright (C) 1995-2005, 2006  Free Software Foundation, Inc.
3    This file is part of the GNU C Library.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Lesser General Public
7    License as published by the Free Software Foundation; either
8    version 2.1 of the License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Lesser General Public License for more details.
14
15    You should have received a copy of the GNU Lesser General Public
16    License along with the GNU C Library; if not, write to the Free
17    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18    02111-1307 USA.  */
19
20 #include <elf.h>
21 #include <errno.h>
22 #include <fcntl.h>
23 #include <libintl.h>
24 #include <stdbool.h>
25 #include <stdlib.h>
26 #include <string.h>
27 #include <unistd.h>
28 #include <ldsodefs.h>
29 #include <bits/wordsize.h>
30 #include <sys/mman.h>
31 #include <sys/param.h>
32 #include <sys/stat.h>
33 #include <sys/types.h>
34 #include "dynamic-link.h"
35 #include <abi-tag.h>
36 #include <stackinfo.h>
37 #include <caller.h>
38 #include <sysdep.h>
39
40 #include <dl-dst.h>
41
42 /* On some systems, no flag bits are given to specify file mapping.  */
43 #ifndef MAP_FILE
44 # define MAP_FILE       0
45 #endif
46
47 /* The right way to map in the shared library files is MAP_COPY, which
48    makes a virtual copy of the data at the time of the mmap call; this
49    guarantees the mapped pages will be consistent even if the file is
50    overwritten.  Some losing VM systems like Linux's lack MAP_COPY.  All we
51    get is MAP_PRIVATE, which copies each page when it is modified; this
52    means if the file is overwritten, we may at some point get some pages
53    from the new version after starting with pages from the old version.
54
55    To make up for the lack and avoid the overwriting problem,
56    what Linux does have is MAP_DENYWRITE.  This prevents anyone
57    from modifying the file while we have it mapped.  */
58 #ifndef MAP_COPY
59 # ifdef MAP_DENYWRITE
60 #  define MAP_COPY      (MAP_PRIVATE | MAP_DENYWRITE)
61 # else
62 #  define MAP_COPY      MAP_PRIVATE
63 # endif
64 #endif
65
66 /* Some systems link their relocatable objects for another base address
67    than 0.  We want to know the base address for these such that we can
68    subtract this address from the segment addresses during mapping.
69    This results in a more efficient address space usage.  Defaults to
70    zero for almost all systems.  */
71 #ifndef MAP_BASE_ADDR
72 # define MAP_BASE_ADDR(l)       0
73 #endif
74
75
76 #include <endian.h>
77 #if BYTE_ORDER == BIG_ENDIAN
78 # define byteorder ELFDATA2MSB
79 #elif BYTE_ORDER == LITTLE_ENDIAN
80 # define byteorder ELFDATA2LSB
81 #else
82 # error "Unknown BYTE_ORDER " BYTE_ORDER
83 # define byteorder ELFDATANONE
84 #endif
85
86 #define STRING(x) __STRING (x)
87
88 #ifdef MAP_ANON
89 /* The fd is not examined when using MAP_ANON.  */
90 # define ANONFD -1
91 #else
92 int _dl_zerofd = -1;
93 # define ANONFD _dl_zerofd
94 #endif
95
96 /* Handle situations where we have a preferred location in memory for
97    the shared objects.  */
98 #ifdef ELF_PREFERRED_ADDRESS_DATA
99 ELF_PREFERRED_ADDRESS_DATA;
100 #endif
101 #ifndef ELF_PREFERRED_ADDRESS
102 # define ELF_PREFERRED_ADDRESS(loader, maplength, mapstartpref) (mapstartpref)
103 #endif
104 #ifndef ELF_FIXED_ADDRESS
105 # define ELF_FIXED_ADDRESS(loader, mapstart) ((void) 0)
106 #endif
107
108
109 int __stack_prot attribute_hidden attribute_relro
110 #if _STACK_GROWS_DOWN && defined PROT_GROWSDOWN
111   = PROT_GROWSDOWN;
112 #elif _STACK_GROWS_UP && defined PROT_GROWSUP
113   = PROT_GROWSUP;
114 #else
115   = 0;
116 #endif
117
118
119 /* Type for the buffer we put the ELF header and hopefully the program
120    header.  This buffer does not really have to be too large.  In most
121    cases the program header follows the ELF header directly.  If this
122    is not the case all bets are off and we can make the header
123    arbitrarily large and still won't get it read.  This means the only
124    question is how large are the ELF and program header combined.  The
125    ELF header 32-bit files is 52 bytes long and in 64-bit files is 64
126    bytes long.  Each program header entry is again 32 and 56 bytes
127    long respectively.  I.e., even with a file which has 10 program
128    header entries we only have to read 372B/624B respectively.  Add to
129    this a bit of margin for program notes and reading 512B and 832B
130    for 32-bit and 64-bit files respecitvely is enough.  If this
131    heuristic should really fail for some file the code in
132    `_dl_map_object_from_fd' knows how to recover.  */
133 struct filebuf
134 {
135   ssize_t len;
136 #if __WORDSIZE == 32
137 # define FILEBUF_SIZE 512
138 #else
139 # define FILEBUF_SIZE 832
140 #endif
141   char buf[FILEBUF_SIZE] __attribute__ ((aligned (__alignof (ElfW(Ehdr)))));
142 };
143
144 /* This is the decomposed LD_LIBRARY_PATH search path.  */
145 static struct r_search_path_struct env_path_list attribute_relro;
146
147 /* List of the hardware capabilities we might end up using.  */
148 static const struct r_strlenpair *capstr attribute_relro;
149 static size_t ncapstr attribute_relro;
150 static size_t max_capstrlen attribute_relro;
151
152
153 /* Get the generated information about the trusted directories.  */
154 #include "trusted-dirs.h"
155
156 static const char system_dirs[] = SYSTEM_DIRS;
157 static const size_t system_dirs_len[] =
158 {
159   SYSTEM_DIRS_LEN
160 };
161 #define nsystem_dirs_len \
162   (sizeof (system_dirs_len) / sizeof (system_dirs_len[0]))
163
164
165 /* Local version of `strdup' function.  */
166 static inline char *
167 local_strdup (const char *s)
168 {
169   size_t len = strlen (s) + 1;
170   void *new = malloc (len);
171
172   if (new == NULL)
173     return NULL;
174
175   return (char *) memcpy (new, s, len);
176 }
177
178
179 static size_t
180 is_dst (const char *start, const char *name, const char *str,
181         int is_path, int secure)
182 {
183   size_t len;
184   bool is_curly = false;
185
186   if (name[0] == '{')
187     {
188       is_curly = true;
189       ++name;
190     }
191
192   len = 0;
193   while (name[len] == str[len] && name[len] != '\0')
194     ++len;
195
196   if (is_curly)
197     {
198       if (name[len] != '}')
199         return 0;
200
201       /* Point again at the beginning of the name.  */
202       --name;
203       /* Skip over closing curly brace and adjust for the --name.  */
204       len += 2;
205     }
206   else if (name[len] != '\0' && name[len] != '/'
207            && (!is_path || name[len] != ':'))
208     return 0;
209
210   if (__builtin_expect (secure, 0)
211       && ((name[len] != '\0' && (!is_path || name[len] != ':'))
212           || (name != start + 1 && (!is_path || name[-2] != ':'))))
213     return 0;
214
215   return len;
216 }
217
218
219 size_t
220 _dl_dst_count (const char *name, int is_path)
221 {
222   const char *const start = name;
223   size_t cnt = 0;
224
225   do
226     {
227       size_t len;
228
229       /* $ORIGIN is not expanded for SUID/GUID programs (except if it
230          is $ORIGIN alone) and it must always appear first in path.  */
231       ++name;
232       if ((len = is_dst (start, name, "ORIGIN", is_path,
233                          INTUSE(__libc_enable_secure))) != 0
234           || (len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0
235           || (len = is_dst (start, name, "LIB", is_path, 0)) != 0)
236         ++cnt;
237
238       name = strchr (name + len, '$');
239     }
240   while (name != NULL);
241
242   return cnt;
243 }
244
245
246 char *
247 _dl_dst_substitute (struct link_map *l, const char *name, char *result,
248                     int is_path)
249 {
250   const char *const start = name;
251   char *last_elem, *wp;
252
253   /* Now fill the result path.  While copying over the string we keep
254      track of the start of the last path element.  When we come accross
255      a DST we copy over the value or (if the value is not available)
256      leave the entire path element out.  */
257   last_elem = wp = result;
258
259   do
260     {
261       if (__builtin_expect (*name == '$', 0))
262         {
263           const char *repl = NULL;
264           size_t len;
265
266           ++name;
267           if ((len = is_dst (start, name, "ORIGIN", is_path,
268                              INTUSE(__libc_enable_secure))) != 0)
269             {
270 #ifndef SHARED
271               if (l == NULL)
272                 repl = _dl_get_origin ();
273               else
274 #endif
275                 repl = l->l_origin;
276             }
277           else if ((len = is_dst (start, name, "PLATFORM", is_path, 0)) != 0)
278             repl = GLRO(dl_platform);
279           else if ((len = is_dst (start, name, "LIB", is_path, 0)) != 0)
280             repl = DL_DST_LIB;
281
282           if (repl != NULL && repl != (const char *) -1)
283             {
284               wp = __stpcpy (wp, repl);
285               name += len;
286             }
287           else if (len > 1)
288             {
289               /* We cannot use this path element, the value of the
290                  replacement is unknown.  */
291               wp = last_elem;
292               name += len;
293               while (*name != '\0' && (!is_path || *name != ':'))
294                 ++name;
295             }
296           else
297             /* No DST we recognize.  */
298             *wp++ = '$';
299         }
300       else
301         {
302           *wp++ = *name++;
303           if (is_path && *name == ':')
304             last_elem = wp;
305         }
306     }
307   while (*name != '\0');
308
309   *wp = '\0';
310
311   return result;
312 }
313
314
315 /* Return copy of argument with all recognized dynamic string tokens
316    ($ORIGIN and $PLATFORM for now) replaced.  On some platforms it
317    might not be possible to determine the path from which the object
318    belonging to the map is loaded.  In this case the path element
319    containing $ORIGIN is left out.  */
320 static char *
321 expand_dynamic_string_token (struct link_map *l, const char *s)
322 {
323   /* We make two runs over the string.  First we determine how large the
324      resulting string is and then we copy it over.  Since this is now
325      frequently executed operation we are looking here not for performance
326      but rather for code size.  */
327   size_t cnt;
328   size_t total;
329   char *result;
330
331   /* Determine the number of DST elements.  */
332   cnt = DL_DST_COUNT (s, 1);
333
334   /* If we do not have to replace anything simply copy the string.  */
335   if (__builtin_expect (cnt, 0) == 0)
336     return local_strdup (s);
337
338   /* Determine the length of the substituted string.  */
339   total = DL_DST_REQUIRED (l, s, strlen (s), cnt);
340
341   /* Allocate the necessary memory.  */
342   result = (char *) malloc (total + 1);
343   if (result == NULL)
344     return NULL;
345
346   return _dl_dst_substitute (l, s, result, 1);
347 }
348
349
350 /* Add `name' to the list of names for a particular shared object.
351    `name' is expected to have been allocated with malloc and will
352    be freed if the shared object already has this name.
353    Returns false if the object already had this name.  */
354 static void
355 internal_function
356 add_name_to_object (struct link_map *l, const char *name)
357 {
358   struct libname_list *lnp, *lastp;
359   struct libname_list *newname;
360   size_t name_len;
361
362   lastp = NULL;
363   for (lnp = l->l_libname; lnp != NULL; lastp = lnp, lnp = lnp->next)
364     if (strcmp (name, lnp->name) == 0)
365       return;
366
367   name_len = strlen (name) + 1;
368   newname = (struct libname_list *) malloc (sizeof *newname + name_len);
369   if (newname == NULL)
370     {
371       /* No more memory.  */
372       _dl_signal_error (ENOMEM, name, NULL, N_("cannot allocate name record"));
373       return;
374     }
375   /* The object should have a libname set from _dl_new_object.  */
376   assert (lastp != NULL);
377
378   newname->name = memcpy (newname + 1, name, name_len);
379   newname->next = NULL;
380   newname->dont_free = 0;
381   lastp->next = newname;
382 }
383
384 /* Standard search directories.  */
385 static struct r_search_path_struct rtld_search_dirs attribute_relro;
386
387 static size_t max_dirnamelen;
388
389 static struct r_search_path_elem **
390 fillin_rpath (char *rpath, struct r_search_path_elem **result, const char *sep,
391               int check_trusted, const char *what, const char *where)
392 {
393   char *cp;
394   size_t nelems = 0;
395
396   while ((cp = __strsep (&rpath, sep)) != NULL)
397     {
398       struct r_search_path_elem *dirp;
399       size_t len = strlen (cp);
400
401       /* `strsep' can pass an empty string.  This has to be
402          interpreted as `use the current directory'. */
403       if (len == 0)
404         {
405           static const char curwd[] = "./";
406           cp = (char *) curwd;
407         }
408
409       /* Remove trailing slashes (except for "/").  */
410       while (len > 1 && cp[len - 1] == '/')
411         --len;
412
413       /* Now add one if there is none so far.  */
414       if (len > 0 && cp[len - 1] != '/')
415         cp[len++] = '/';
416
417       /* Make sure we don't use untrusted directories if we run SUID.  */
418       if (__builtin_expect (check_trusted, 0))
419         {
420           const char *trun = system_dirs;
421           size_t idx;
422           int unsecure = 1;
423
424           /* All trusted directories must be complete names.  */
425           if (cp[0] == '/')
426             {
427               for (idx = 0; idx < nsystem_dirs_len; ++idx)
428                 {
429                   if (len == system_dirs_len[idx]
430                       && memcmp (trun, cp, len) == 0)
431                     {
432                       /* Found it.  */
433                       unsecure = 0;
434                       break;
435                     }
436
437                   trun += system_dirs_len[idx] + 1;
438                 }
439             }
440
441           if (unsecure)
442             /* Simply drop this directory.  */
443             continue;
444         }
445
446       /* See if this directory is already known.  */
447       for (dirp = GL(dl_all_dirs); dirp != NULL; dirp = dirp->next)
448         if (dirp->dirnamelen == len && memcmp (cp, dirp->dirname, len) == 0)
449           break;
450
451       if (dirp != NULL)
452         {
453           /* It is available, see whether it's on our own list.  */
454           size_t cnt;
455           for (cnt = 0; cnt < nelems; ++cnt)
456             if (result[cnt] == dirp)
457               break;
458
459           if (cnt == nelems)
460             result[nelems++] = dirp;
461         }
462       else
463         {
464           size_t cnt;
465           enum r_dir_status init_val;
466           size_t where_len = where ? strlen (where) + 1 : 0;
467
468           /* It's a new directory.  Create an entry and add it.  */
469           dirp = (struct r_search_path_elem *)
470             malloc (sizeof (*dirp) + ncapstr * sizeof (enum r_dir_status)
471                     + where_len + len + 1);
472           if (dirp == NULL)
473             _dl_signal_error (ENOMEM, NULL, NULL,
474                               N_("cannot create cache for search path"));
475
476           dirp->dirname = ((char *) dirp + sizeof (*dirp)
477                            + ncapstr * sizeof (enum r_dir_status));
478           *((char *) __mempcpy ((char *) dirp->dirname, cp, len)) = '\0';
479           dirp->dirnamelen = len;
480
481           if (len > max_dirnamelen)
482             max_dirnamelen = len;
483
484           /* We have to make sure all the relative directories are
485              never ignored.  The current directory might change and
486              all our saved information would be void.  */
487           init_val = cp[0] != '/' ? existing : unknown;
488           for (cnt = 0; cnt < ncapstr; ++cnt)
489             dirp->status[cnt] = init_val;
490
491           dirp->what = what;
492           if (__builtin_expect (where != NULL, 1))
493             dirp->where = memcpy ((char *) dirp + sizeof (*dirp) + len + 1
494                                   + (ncapstr * sizeof (enum r_dir_status)),
495                                   where, where_len);
496           else
497             dirp->where = NULL;
498
499           dirp->next = GL(dl_all_dirs);
500           GL(dl_all_dirs) = dirp;
501
502           /* Put it in the result array.  */
503           result[nelems++] = dirp;
504         }
505     }
506
507   /* Terminate the array.  */
508   result[nelems] = NULL;
509
510   return result;
511 }
512
513
514 static void
515 internal_function
516 decompose_rpath (struct r_search_path_struct *sps,
517                  const char *rpath, struct link_map *l, const char *what)
518 {
519   /* Make a copy we can work with.  */
520   const char *where = l->l_name;
521   char *copy;
522   char *cp;
523   struct r_search_path_elem **result;
524   size_t nelems;
525   /* Initialize to please the compiler.  */
526   const char *errstring = NULL;
527
528   /* First see whether we must forget the RUNPATH and RPATH from this
529      object.  */
530   if (__builtin_expect (GLRO(dl_inhibit_rpath) != NULL, 0)
531       && !INTUSE(__libc_enable_secure))
532     {
533       const char *inhp = GLRO(dl_inhibit_rpath);
534
535       do
536         {
537           const char *wp = where;
538
539           while (*inhp == *wp && *wp != '\0')
540             {
541               ++inhp;
542               ++wp;
543             }
544
545           if (*wp == '\0' && (*inhp == '\0' || *inhp == ':'))
546             {
547               /* This object is on the list of objects for which the
548                  RUNPATH and RPATH must not be used.  */
549               result = calloc (1, sizeof *result);
550               if (result == NULL)
551                 {
552                 signal_error_cache:
553                   errstring = N_("cannot create cache for search path");
554                 signal_error:
555                   _dl_signal_error (ENOMEM, NULL, NULL, errstring);
556                 }
557
558               sps->dirs = result;
559               sps->malloced = 1;
560
561               return;
562             }
563
564           while (*inhp != '\0')
565             if (*inhp++ == ':')
566               break;
567         }
568       while (*inhp != '\0');
569     }
570
571   /* Make a writable copy.  At the same time expand possible dynamic
572      string tokens.  */
573   copy = expand_dynamic_string_token (l, rpath);
574   if (copy == NULL)
575     {
576       errstring = N_("cannot create RUNPATH/RPATH copy");
577       goto signal_error;
578     }
579
580   /* Count the number of necessary elements in the result array.  */
581   nelems = 0;
582   for (cp = copy; *cp != '\0'; ++cp)
583     if (*cp == ':')
584       ++nelems;
585
586   /* Allocate room for the result.  NELEMS + 1 is an upper limit for the
587      number of necessary entries.  */
588   result = (struct r_search_path_elem **) malloc ((nelems + 1 + 1)
589                                                   * sizeof (*result));
590   if (result == NULL)
591     goto signal_error_cache;
592
593   fillin_rpath (copy, result, ":", 0, what, where);
594
595   /* Free the copied RPATH string.  `fillin_rpath' make own copies if
596      necessary.  */
597   free (copy);
598
599   sps->dirs = result;
600   /* The caller will change this value if we haven't used a real malloc.  */
601   sps->malloced = 1;
602 }
603
604 /* Make sure cached path information is stored in *SP
605    and return true if there are any paths to search there.  */
606 static bool
607 cache_rpath (struct link_map *l,
608              struct r_search_path_struct *sp,
609              int tag,
610              const char *what)
611 {
612   if (sp->dirs == (void *) -1)
613     return false;
614
615   if (sp->dirs != NULL)
616     return true;
617
618   if (l->l_info[tag] == NULL)
619     {
620       /* There is no path.  */
621       sp->dirs = (void *) -1;
622       return false;
623     }
624
625   /* Make sure the cache information is available.  */
626   decompose_rpath (sp, (const char *) (D_PTR (l, l_info[DT_STRTAB])
627                                        + l->l_info[tag]->d_un.d_val),
628                    l, what);
629   return true;
630 }
631
632
633 void
634 internal_function
635 _dl_init_paths (const char *llp)
636 {
637   size_t idx;
638   const char *strp;
639   struct r_search_path_elem *pelem, **aelem;
640   size_t round_size;
641 #ifdef SHARED
642   struct link_map *l;
643 #endif
644   /* Initialize to please the compiler.  */
645   const char *errstring = NULL;
646
647   /* Fill in the information about the application's RPATH and the
648      directories addressed by the LD_LIBRARY_PATH environment variable.  */
649
650   /* Get the capabilities.  */
651   capstr = _dl_important_hwcaps (GLRO(dl_platform), GLRO(dl_platformlen),
652                                  &ncapstr, &max_capstrlen);
653
654   /* First set up the rest of the default search directory entries.  */
655   aelem = rtld_search_dirs.dirs = (struct r_search_path_elem **)
656     malloc ((nsystem_dirs_len + 1) * sizeof (struct r_search_path_elem *));
657   if (rtld_search_dirs.dirs == NULL)
658     {
659       errstring = N_("cannot create search path array");
660     signal_error:
661       _dl_signal_error (ENOMEM, NULL, NULL, errstring);
662     }
663
664   round_size = ((2 * sizeof (struct r_search_path_elem) - 1
665                  + ncapstr * sizeof (enum r_dir_status))
666                 / sizeof (struct r_search_path_elem));
667
668   rtld_search_dirs.dirs[0] = (struct r_search_path_elem *)
669     malloc ((sizeof (system_dirs) / sizeof (system_dirs[0]))
670             * round_size * sizeof (struct r_search_path_elem));
671   if (rtld_search_dirs.dirs[0] == NULL)
672     {
673       errstring = N_("cannot create cache for search path");
674       goto signal_error;
675     }
676
677   rtld_search_dirs.malloced = 0;
678   pelem = GL(dl_all_dirs) = rtld_search_dirs.dirs[0];
679   strp = system_dirs;
680   idx = 0;
681
682   do
683     {
684       size_t cnt;
685
686       *aelem++ = pelem;
687
688       pelem->what = "system search path";
689       pelem->where = NULL;
690
691       pelem->dirname = strp;
692       pelem->dirnamelen = system_dirs_len[idx];
693       strp += system_dirs_len[idx] + 1;
694
695       /* System paths must be absolute.  */
696       assert (pelem->dirname[0] == '/');
697       for (cnt = 0; cnt < ncapstr; ++cnt)
698         pelem->status[cnt] = unknown;
699
700       pelem->next = (++idx == nsystem_dirs_len ? NULL : (pelem + round_size));
701
702       pelem += round_size;
703     }
704   while (idx < nsystem_dirs_len);
705
706   max_dirnamelen = SYSTEM_DIRS_MAX_LEN;
707   *aelem = NULL;
708
709 #ifdef SHARED
710   /* This points to the map of the main object.  */
711   l = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
712   if (l != NULL)
713     {
714       assert (l->l_type != lt_loaded);
715
716       if (l->l_info[DT_RUNPATH])
717         {
718           /* Allocate room for the search path and fill in information
719              from RUNPATH.  */
720           decompose_rpath (&l->l_runpath_dirs,
721                            (const void *) (D_PTR (l, l_info[DT_STRTAB])
722                                            + l->l_info[DT_RUNPATH]->d_un.d_val),
723                            l, "RUNPATH");
724
725           /* The RPATH is ignored.  */
726           l->l_rpath_dirs.dirs = (void *) -1;
727         }
728       else
729         {
730           l->l_runpath_dirs.dirs = (void *) -1;
731
732           if (l->l_info[DT_RPATH])
733             {
734               /* Allocate room for the search path and fill in information
735                  from RPATH.  */
736               decompose_rpath (&l->l_rpath_dirs,
737                                (const void *) (D_PTR (l, l_info[DT_STRTAB])
738                                                + l->l_info[DT_RPATH]->d_un.d_val),
739                                l, "RPATH");
740               l->l_rpath_dirs.malloced = 0;
741             }
742           else
743             l->l_rpath_dirs.dirs = (void *) -1;
744         }
745     }
746 #endif  /* SHARED */
747
748   if (llp != NULL && *llp != '\0')
749     {
750       size_t nllp;
751       const char *cp = llp;
752       char *llp_tmp;
753
754 #ifdef SHARED
755       /* Expand DSTs.  */
756       size_t cnt = DL_DST_COUNT (llp, 1);
757       if (__builtin_expect (cnt == 0, 1))
758         llp_tmp = strdupa (llp);
759       else
760         {
761           /* Determine the length of the substituted string.  */
762           size_t total = DL_DST_REQUIRED (l, llp, strlen (llp), cnt);
763
764           /* Allocate the necessary memory.  */
765           llp_tmp = (char *) alloca (total + 1);
766           llp_tmp = _dl_dst_substitute (l, llp, llp_tmp, 1);
767         }
768 #else
769       llp_tmp = strdupa (llp);
770 #endif
771
772       /* Decompose the LD_LIBRARY_PATH contents.  First determine how many
773          elements it has.  */
774       nllp = 1;
775       while (*cp)
776         {
777           if (*cp == ':' || *cp == ';')
778             ++nllp;
779           ++cp;
780         }
781
782       env_path_list.dirs = (struct r_search_path_elem **)
783         malloc ((nllp + 1) * sizeof (struct r_search_path_elem *));
784       if (env_path_list.dirs == NULL)
785         {
786           errstring = N_("cannot create cache for search path");
787           goto signal_error;
788         }
789
790       (void) fillin_rpath (llp_tmp, env_path_list.dirs, ":;",
791                            INTUSE(__libc_enable_secure), "LD_LIBRARY_PATH",
792                            NULL);
793
794       if (env_path_list.dirs[0] == NULL)
795         {
796           free (env_path_list.dirs);
797           env_path_list.dirs = (void *) -1;
798         }
799
800       env_path_list.malloced = 0;
801     }
802   else
803     env_path_list.dirs = (void *) -1;
804
805   /* Remember the last search directory added at startup.  */
806   GLRO(dl_init_all_dirs) = GL(dl_all_dirs);
807 }
808
809
810 static void
811 __attribute__ ((noreturn, noinline))
812 lose (int code, int fd, const char *name, char *realname, struct link_map *l,
813       const char *msg, struct r_debug *r)
814 {
815   /* The file might already be closed.  */
816   if (fd != -1)
817     (void) __close (fd);
818   if (l != NULL)
819     {
820       /* Remove the stillborn object from the list and free it.  */
821       assert (l->l_next == NULL);
822       if (l->l_prev == NULL)
823         /* No other module loaded. This happens only in the static library,
824            or in rtld under --verify.  */
825         GL(dl_ns)[l->l_ns]._ns_loaded = NULL;
826       else
827         l->l_prev->l_next = NULL;
828       --GL(dl_ns)[l->l_ns]._ns_nloaded;
829       free (l);
830     }
831   free (realname);
832
833   if (r != NULL)
834     {
835       r->r_state = RT_CONSISTENT;
836       _dl_debug_state ();
837     }
838
839   _dl_signal_error (code, name, NULL, msg);
840 }
841
842
843 /* Map in the shared object NAME, actually located in REALNAME, and already
844    opened on FD.  */
845
846 #ifndef EXTERNAL_MAP_FROM_FD
847 static
848 #endif
849 struct link_map *
850 _dl_map_object_from_fd (const char *name, int fd, struct filebuf *fbp,
851                         char *realname, struct link_map *loader, int l_type,
852                         int mode, void **stack_endp, Lmid_t nsid)
853 {
854   struct link_map *l = NULL;
855   const ElfW(Ehdr) *header;
856   const ElfW(Phdr) *phdr;
857   const ElfW(Phdr) *ph;
858   size_t maplength;
859   int type;
860   struct stat64 st;
861   /* Initialize to keep the compiler happy.  */
862   const char *errstring = NULL;
863   int errval = 0;
864   struct r_debug *r = _dl_debug_initialize (0, nsid);
865   bool make_consistent = false;
866
867   /* Get file information.  */
868   if (__builtin_expect (__fxstat64 (_STAT_VER, fd, &st) < 0, 0))
869     {
870       errstring = N_("cannot stat shared object");
871     call_lose_errno:
872       errval = errno;
873     call_lose:
874       lose (errval, fd, name, realname, l, errstring,
875             make_consistent ? r : NULL);
876     }
877
878   /* Look again to see if the real name matched another already loaded.  */
879   for (l = GL(dl_ns)[nsid]._ns_loaded; l; l = l->l_next)
880     if (l->l_removed == 0 && l->l_ino == st.st_ino && l->l_dev == st.st_dev)
881       {
882         /* The object is already loaded.
883            Just bump its reference count and return it.  */
884         __close (fd);
885
886         /* If the name is not in the list of names for this object add
887            it.  */
888         free (realname);
889         add_name_to_object (l, name);
890
891         return l;
892       }
893
894 #ifdef SHARED
895   /* When loading into a namespace other than the base one we must
896      avoid loading ld.so since there can only be one copy.  Ever.  */
897   if (__builtin_expect (nsid != LM_ID_BASE, 0)
898       && ((st.st_ino == GL(dl_rtld_map).l_ino
899            && st.st_dev == GL(dl_rtld_map).l_dev)
900           || _dl_name_match_p (name, &GL(dl_rtld_map))))
901     {
902       /* This is indeed ld.so.  Create a new link_map which refers to
903          the real one for almost everything.  */
904       l = _dl_new_object (realname, name, l_type, loader, mode, nsid);
905       if (l == NULL)
906         goto fail_new;
907
908       /* Refer to the real descriptor.  */
909       l->l_real = &GL(dl_rtld_map);
910
911       /* No need to bump the refcount of the real object, ld.so will
912          never be unloaded.  */
913       __close (fd);
914
915       return l;
916     }
917 #endif
918
919   if (mode & RTLD_NOLOAD)
920     /* We are not supposed to load the object unless it is already
921        loaded.  So return now.  */
922     return NULL;
923
924   /* Print debugging message.  */
925   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0))
926     _dl_debug_printf ("file=%s [%lu];  generating link map\n", name, nsid);
927
928   /* This is the ELF header.  We read it in `open_verify'.  */
929   header = (void *) fbp->buf;
930
931 #ifndef MAP_ANON
932 # define MAP_ANON 0
933   if (_dl_zerofd == -1)
934     {
935       _dl_zerofd = _dl_sysdep_open_zero_fill ();
936       if (_dl_zerofd == -1)
937         {
938           __close (fd);
939           _dl_signal_error (errno, NULL, NULL,
940                             N_("cannot open zero fill device"));
941         }
942     }
943 #endif
944
945   /* Signal that we are going to add new objects.  */
946   if (r->r_state == RT_CONSISTENT)
947     {
948 #ifdef SHARED
949       /* Auditing checkpoint: we are going to add new objects.  */
950       if (__builtin_expect (GLRO(dl_naudit) > 0, 0))
951         {
952           struct link_map *head = GL(dl_ns)[nsid]._ns_loaded;
953           /* Do not call the functions for any auditing object.  */
954           if (head->l_auditing == 0)
955             {
956               struct audit_ifaces *afct = GLRO(dl_audit);
957               for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
958                 {
959                   if (afct->activity != NULL)
960                     afct->activity (&head->l_audit[cnt].cookie, LA_ACT_ADD);
961
962                   afct = afct->next;
963                 }
964             }
965         }
966 #endif
967
968       /* Notify the debugger we have added some objects.  We need to
969          call _dl_debug_initialize in a static program in case dynamic
970          linking has not been used before.  */
971       r->r_state = RT_ADD;
972       _dl_debug_state ();
973       make_consistent = true;
974     }
975   else
976     assert (r->r_state == RT_ADD);
977
978   /* Enter the new object in the list of loaded objects.  */
979   l = _dl_new_object (realname, name, l_type, loader, mode, nsid);
980   if (__builtin_expect (l == NULL, 0))
981     {
982 #ifdef SHARED
983     fail_new:
984 #endif
985       errstring = N_("cannot create shared object descriptor");
986       goto call_lose_errno;
987     }
988
989   /* Extract the remaining details we need from the ELF header
990      and then read in the program header table.  */
991   l->l_entry = header->e_entry;
992   type = header->e_type;
993   l->l_phnum = header->e_phnum;
994
995   maplength = header->e_phnum * sizeof (ElfW(Phdr));
996   if (header->e_phoff + maplength <= (size_t) fbp->len)
997     phdr = (void *) (fbp->buf + header->e_phoff);
998   else
999     {
1000       phdr = alloca (maplength);
1001       __lseek (fd, header->e_phoff, SEEK_SET);
1002       if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
1003         {
1004           errstring = N_("cannot read file data");
1005           goto call_lose_errno;
1006         }
1007     }
1008
1009   /* Presumed absent PT_GNU_STACK.  */
1010   uint_fast16_t stack_flags = PF_R|PF_W|PF_X;
1011
1012   {
1013     /* Scan the program header table, collecting its load commands.  */
1014     struct loadcmd
1015       {
1016         ElfW(Addr) mapstart, mapend, dataend, allocend;
1017         off_t mapoff;
1018         int prot;
1019       } loadcmds[l->l_phnum], *c;
1020     size_t nloadcmds = 0;
1021     bool has_holes = false;
1022
1023     /* The struct is initialized to zero so this is not necessary:
1024     l->l_ld = 0;
1025     l->l_phdr = 0;
1026     l->l_addr = 0; */
1027     for (ph = phdr; ph < &phdr[l->l_phnum]; ++ph)
1028       switch (ph->p_type)
1029         {
1030           /* These entries tell us where to find things once the file's
1031              segments are mapped in.  We record the addresses it says
1032              verbatim, and later correct for the run-time load address.  */
1033         case PT_DYNAMIC:
1034           l->l_ld = (void *) ph->p_vaddr;
1035           l->l_ldnum = ph->p_memsz / sizeof (ElfW(Dyn));
1036           break;
1037
1038         case PT_PHDR:
1039           l->l_phdr = (void *) ph->p_vaddr;
1040           break;
1041
1042         case PT_LOAD:
1043           /* A load command tells us to map in part of the file.
1044              We record the load commands and process them all later.  */
1045           if (__builtin_expect ((ph->p_align & (GLRO(dl_pagesize) - 1)) != 0,
1046                                 0))
1047             {
1048               errstring = N_("ELF load command alignment not page-aligned");
1049               goto call_lose;
1050             }
1051           if (__builtin_expect (((ph->p_vaddr - ph->p_offset)
1052                                  & (ph->p_align - 1)) != 0, 0))
1053             {
1054               errstring
1055                 = N_("ELF load command address/offset not properly aligned");
1056               goto call_lose;
1057             }
1058
1059           c = &loadcmds[nloadcmds++];
1060           c->mapstart = ph->p_vaddr & ~(GLRO(dl_pagesize) - 1);
1061           c->mapend = ((ph->p_vaddr + ph->p_filesz + GLRO(dl_pagesize) - 1)
1062                        & ~(GLRO(dl_pagesize) - 1));
1063           c->dataend = ph->p_vaddr + ph->p_filesz;
1064           c->allocend = ph->p_vaddr + ph->p_memsz;
1065           c->mapoff = ph->p_offset & ~(GLRO(dl_pagesize) - 1);
1066
1067           /* Determine whether there is a gap between the last segment
1068              and this one.  */
1069           if (nloadcmds > 1 && c[-1].mapend != c->mapstart)
1070             has_holes = true;
1071
1072           /* Optimize a common case.  */
1073 #if (PF_R | PF_W | PF_X) == 7 && (PROT_READ | PROT_WRITE | PROT_EXEC) == 7
1074           c->prot = (PF_TO_PROT
1075                      >> ((ph->p_flags & (PF_R | PF_W | PF_X)) * 4)) & 0xf;
1076 #else
1077           c->prot = 0;
1078           if (ph->p_flags & PF_R)
1079             c->prot |= PROT_READ;
1080           if (ph->p_flags & PF_W)
1081             c->prot |= PROT_WRITE;
1082           if (ph->p_flags & PF_X)
1083             c->prot |= PROT_EXEC;
1084 #endif
1085           break;
1086
1087         case PT_TLS:
1088           if (ph->p_memsz == 0)
1089             /* Nothing to do for an empty segment.  */
1090             break;
1091
1092           l->l_tls_blocksize = ph->p_memsz;
1093           l->l_tls_align = ph->p_align;
1094           if (ph->p_align == 0)
1095             l->l_tls_firstbyte_offset = 0;
1096           else
1097             l->l_tls_firstbyte_offset = ph->p_vaddr & (ph->p_align - 1);
1098           l->l_tls_initimage_size = ph->p_filesz;
1099           /* Since we don't know the load address yet only store the
1100              offset.  We will adjust it later.  */
1101           l->l_tls_initimage = (void *) ph->p_vaddr;
1102
1103           /* If not loading the initial set of shared libraries,
1104              check whether we should permit loading a TLS segment.  */
1105           if (__builtin_expect (l->l_type == lt_library, 1)
1106               /* If GL(dl_tls_dtv_slotinfo_list) == NULL, then rtld.c did
1107                  not set up TLS data structures, so don't use them now.  */
1108               || __builtin_expect (GL(dl_tls_dtv_slotinfo_list) != NULL, 1))
1109             {
1110               /* Assign the next available module ID.  */
1111               l->l_tls_modid = _dl_next_tls_modid ();
1112               break;
1113             }
1114
1115 #ifdef SHARED
1116           if (l->l_prev == NULL || (mode & __RTLD_AUDIT) != 0)
1117             /* We are loading the executable itself when the dynamic linker
1118                was executed directly.  The setup will happen later.  */
1119             break;
1120
1121           /* In a static binary there is no way to tell if we dynamically
1122              loaded libpthread.  */
1123           if (GL(dl_error_catch_tsd) == &_dl_initial_error_catch_tsd)
1124 #endif
1125             {
1126               /* We have not yet loaded libpthread.
1127                  We can do the TLS setup right now!  */
1128
1129               void *tcb;
1130
1131               /* The first call allocates TLS bookkeeping data structures.
1132                  Then we allocate the TCB for the initial thread.  */
1133               if (__builtin_expect (_dl_tls_setup (), 0)
1134                   || __builtin_expect ((tcb = _dl_allocate_tls (NULL)) == NULL,
1135                                        0))
1136                 {
1137                   errval = ENOMEM;
1138                   errstring = N_("\
1139 cannot allocate TLS data structures for initial thread");
1140                   goto call_lose;
1141                 }
1142
1143               /* Now we install the TCB in the thread register.  */
1144               errstring = TLS_INIT_TP (tcb, 0);
1145               if (__builtin_expect (errstring == NULL, 1))
1146                 {
1147                   /* Now we are all good.  */
1148                   l->l_tls_modid = ++GL(dl_tls_max_dtv_idx);
1149                   break;
1150                 }
1151
1152               /* The kernel is too old or somesuch.  */
1153               errval = 0;
1154               _dl_deallocate_tls (tcb, 1);
1155               goto call_lose;
1156             }
1157
1158           /* Uh-oh, the binary expects TLS support but we cannot
1159              provide it.  */
1160           errval = 0;
1161           errstring = N_("cannot handle TLS data");
1162           goto call_lose;
1163           break;
1164
1165         case PT_GNU_STACK:
1166           stack_flags = ph->p_flags;
1167           break;
1168
1169         case PT_GNU_RELRO:
1170           l->l_relro_addr = ph->p_vaddr;
1171           l->l_relro_size = ph->p_memsz;
1172           break;
1173         }
1174
1175     if (__builtin_expect (nloadcmds == 0, 0))
1176       {
1177         /* This only happens for a bogus object that will be caught with
1178            another error below.  But we don't want to go through the
1179            calculations below using NLOADCMDS - 1.  */
1180         errstring = N_("object file has no loadable segments");
1181         goto call_lose;
1182       }
1183
1184     /* Now process the load commands and map segments into memory.  */
1185     c = loadcmds;
1186
1187     /* Length of the sections to be loaded.  */
1188     maplength = loadcmds[nloadcmds - 1].allocend - c->mapstart;
1189
1190     if (__builtin_expect (type, ET_DYN) == ET_DYN)
1191       {
1192         /* This is a position-independent shared object.  We can let the
1193            kernel map it anywhere it likes, but we must have space for all
1194            the segments in their specified positions relative to the first.
1195            So we map the first segment without MAP_FIXED, but with its
1196            extent increased to cover all the segments.  Then we remove
1197            access from excess portion, and there is known sufficient space
1198            there to remap from the later segments.
1199
1200            As a refinement, sometimes we have an address that we would
1201            prefer to map such objects at; but this is only a preference,
1202            the OS can do whatever it likes. */
1203         ElfW(Addr) mappref;
1204         mappref = (ELF_PREFERRED_ADDRESS (loader, maplength,
1205                                           c->mapstart & GLRO(dl_use_load_bias))
1206                    - MAP_BASE_ADDR (l));
1207
1208         /* Remember which part of the address space this object uses.  */
1209         l->l_map_start = (ElfW(Addr)) __mmap ((void *) mappref, maplength,
1210                                               c->prot,
1211                                               MAP_COPY|MAP_FILE,
1212                                               fd, c->mapoff);
1213         if (__builtin_expect ((void *) l->l_map_start == MAP_FAILED, 0))
1214           {
1215           map_error:
1216             errstring = N_("failed to map segment from shared object");
1217             goto call_lose_errno;
1218           }
1219
1220         l->l_map_end = l->l_map_start + maplength;
1221         l->l_addr = l->l_map_start - c->mapstart;
1222
1223         if (has_holes)
1224           /* Change protection on the excess portion to disallow all access;
1225              the portions we do not remap later will be inaccessible as if
1226              unallocated.  Then jump into the normal segment-mapping loop to
1227              handle the portion of the segment past the end of the file
1228              mapping.  */
1229           __mprotect ((caddr_t) (l->l_addr + c->mapend),
1230                       loadcmds[nloadcmds - 1].mapstart - c->mapend,
1231                       PROT_NONE);
1232
1233         goto postmap;
1234       }
1235
1236     /* This object is loaded at a fixed address.  This must never
1237        happen for objects loaded with dlopen().  */
1238     if (__builtin_expect ((mode & __RTLD_OPENEXEC) == 0, 0))
1239       {
1240         errstring = N_("cannot dynamically load executable");
1241         goto call_lose;
1242       }
1243
1244     /* Notify ELF_PREFERRED_ADDRESS that we have to load this one
1245        fixed.  */
1246     ELF_FIXED_ADDRESS (loader, c->mapstart);
1247
1248
1249     /* Remember which part of the address space this object uses.  */
1250     l->l_map_start = c->mapstart + l->l_addr;
1251     l->l_map_end = l->l_map_start + maplength;
1252
1253     while (c < &loadcmds[nloadcmds])
1254       {
1255         if (c->mapend > c->mapstart
1256             /* Map the segment contents from the file.  */
1257             && (__mmap ((void *) (l->l_addr + c->mapstart),
1258                         c->mapend - c->mapstart, c->prot,
1259                         MAP_FIXED|MAP_COPY|MAP_FILE,
1260                         fd, c->mapoff)
1261                 == MAP_FAILED))
1262           goto map_error;
1263
1264       postmap:
1265         if (c->prot & PROT_EXEC)
1266           l->l_text_end = l->l_addr + c->mapend;
1267
1268         if (l->l_phdr == 0
1269             && (ElfW(Off)) c->mapoff <= header->e_phoff
1270             && ((size_t) (c->mapend - c->mapstart + c->mapoff)
1271                 >= header->e_phoff + header->e_phnum * sizeof (ElfW(Phdr))))
1272           /* Found the program header in this segment.  */
1273           l->l_phdr = (void *) (c->mapstart + header->e_phoff - c->mapoff);
1274
1275         if (c->allocend > c->dataend)
1276           {
1277             /* Extra zero pages should appear at the end of this segment,
1278                after the data mapped from the file.   */
1279             ElfW(Addr) zero, zeroend, zeropage;
1280
1281             zero = l->l_addr + c->dataend;
1282             zeroend = l->l_addr + c->allocend;
1283             zeropage = ((zero + GLRO(dl_pagesize) - 1)
1284                         & ~(GLRO(dl_pagesize) - 1));
1285
1286             if (zeroend < zeropage)
1287               /* All the extra data is in the last page of the segment.
1288                  We can just zero it.  */
1289               zeropage = zeroend;
1290
1291             if (zeropage > zero)
1292               {
1293                 /* Zero the final part of the last page of the segment.  */
1294                 if (__builtin_expect ((c->prot & PROT_WRITE) == 0, 0))
1295                   {
1296                     /* Dag nab it.  */
1297                     if (__mprotect ((caddr_t) (zero
1298                                                & ~(GLRO(dl_pagesize) - 1)),
1299                                     GLRO(dl_pagesize), c->prot|PROT_WRITE) < 0)
1300                       {
1301                         errstring = N_("cannot change memory protections");
1302                         goto call_lose_errno;
1303                       }
1304                   }
1305                 memset ((void *) zero, '\0', zeropage - zero);
1306                 if (__builtin_expect ((c->prot & PROT_WRITE) == 0, 0))
1307                   __mprotect ((caddr_t) (zero & ~(GLRO(dl_pagesize) - 1)),
1308                               GLRO(dl_pagesize), c->prot);
1309               }
1310
1311             if (zeroend > zeropage)
1312               {
1313                 /* Map the remaining zero pages in from the zero fill FD.  */
1314                 caddr_t mapat;
1315                 mapat = __mmap ((caddr_t) zeropage, zeroend - zeropage,
1316                                 c->prot, MAP_ANON|MAP_PRIVATE|MAP_FIXED,
1317                                 ANONFD, 0);
1318                 if (__builtin_expect (mapat == MAP_FAILED, 0))
1319                   {
1320                     errstring = N_("cannot map zero-fill pages");
1321                     goto call_lose_errno;
1322                   }
1323               }
1324           }
1325
1326         ++c;
1327       }
1328   }
1329
1330   if (l->l_ld == 0)
1331     {
1332       if (__builtin_expect (type == ET_DYN, 0))
1333         {
1334           errstring = N_("object file has no dynamic section");
1335           goto call_lose;
1336         }
1337     }
1338   else
1339     l->l_ld = (ElfW(Dyn) *) ((ElfW(Addr)) l->l_ld + l->l_addr);
1340
1341   elf_get_dynamic_info (l, NULL);
1342
1343   /* Make sure we are not dlopen'ing an object that has the
1344      DF_1_NOOPEN flag set.  */
1345   if (__builtin_expect (l->l_flags_1 & DF_1_NOOPEN, 0)
1346       && (mode & __RTLD_DLOPEN))
1347     {
1348       /* We are not supposed to load this object.  Free all resources.  */
1349       __munmap ((void *) l->l_map_start, l->l_map_end - l->l_map_start);
1350
1351       if (!l->l_libname->dont_free)
1352         free (l->l_libname);
1353
1354       if (l->l_phdr_allocated)
1355         free ((void *) l->l_phdr);
1356
1357       errstring = N_("shared object cannot be dlopen()ed");
1358       goto call_lose;
1359     }
1360
1361   if (l->l_phdr == NULL)
1362     {
1363       /* The program header is not contained in any of the segments.
1364          We have to allocate memory ourself and copy it over from out
1365          temporary place.  */
1366       ElfW(Phdr) *newp = (ElfW(Phdr) *) malloc (header->e_phnum
1367                                                 * sizeof (ElfW(Phdr)));
1368       if (newp == NULL)
1369         {
1370           errstring = N_("cannot allocate memory for program header");
1371           goto call_lose_errno;
1372         }
1373
1374       l->l_phdr = memcpy (newp, phdr,
1375                           (header->e_phnum * sizeof (ElfW(Phdr))));
1376       l->l_phdr_allocated = 1;
1377     }
1378   else
1379     /* Adjust the PT_PHDR value by the runtime load address.  */
1380     l->l_phdr = (ElfW(Phdr) *) ((ElfW(Addr)) l->l_phdr + l->l_addr);
1381
1382   if (__builtin_expect ((stack_flags &~ GL(dl_stack_flags)) & PF_X, 0))
1383     {
1384       if (__builtin_expect (__check_caller (RETURN_ADDRESS (0), allow_ldso),
1385                             0) != 0)
1386         {
1387           errstring = N_("invalid caller");
1388           goto call_lose;
1389         }
1390
1391       /* The stack is presently not executable, but this module
1392          requires that it be executable.  We must change the
1393          protection of the variable which contains the flags used in
1394          the mprotect calls.  */
1395 #if defined HAVE_Z_RELRO && defined SHARED
1396       if ((mode & (__RTLD_DLOPEN | __RTLD_AUDIT)) == __RTLD_DLOPEN)
1397         {
1398           const uintptr_t p = (uintptr_t) &__stack_prot & -GLRO(dl_pagesize);
1399           const size_t s = (uintptr_t) (&__stack_prot + 1) - p;
1400
1401           struct link_map *const m = &GL(dl_rtld_map);
1402           const uintptr_t relro_end = ((m->l_addr + m->l_relro_addr
1403                                         + m->l_relro_size)
1404                                        & -GLRO(dl_pagesize));
1405           if (__builtin_expect (p + s <= relro_end, 1))
1406             {
1407               /* The variable lies in the region protected by RELRO.  */
1408               __mprotect ((void *) p, s, PROT_READ|PROT_WRITE);
1409               __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1410               __mprotect ((void *) p, s, PROT_READ);
1411             }
1412           else
1413             __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1414         }
1415       else
1416 #endif
1417         __stack_prot |= PROT_READ|PROT_WRITE|PROT_EXEC;
1418
1419 #ifdef check_consistency
1420       check_consistency ();
1421 #endif
1422
1423       errval = (*GL(dl_make_stack_executable_hook)) (stack_endp);
1424       if (errval)
1425         {
1426           errstring = N_("\
1427 cannot enable executable stack as shared object requires");
1428           goto call_lose;
1429         }
1430     }
1431
1432   /* Adjust the address of the TLS initialization image.  */
1433   if (l->l_tls_initimage != NULL)
1434     l->l_tls_initimage = (char *) l->l_tls_initimage + l->l_addr;
1435
1436   /* We are done mapping in the file.  We no longer need the descriptor.  */
1437   if (__builtin_expect (__close (fd) != 0, 0))
1438     {
1439       errstring = N_("cannot close file descriptor");
1440       goto call_lose_errno;
1441     }
1442   /* Signal that we closed the file.  */
1443   fd = -1;
1444
1445   if (l->l_type == lt_library && type == ET_EXEC)
1446     l->l_type = lt_executable;
1447
1448   l->l_entry += l->l_addr;
1449
1450   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0))
1451     _dl_debug_printf ("\
1452   dynamic: 0x%0*lx  base: 0x%0*lx   size: 0x%0*Zx\n\
1453     entry: 0x%0*lx  phdr: 0x%0*lx  phnum:   %*u\n\n",
1454                            (int) sizeof (void *) * 2,
1455                            (unsigned long int) l->l_ld,
1456                            (int) sizeof (void *) * 2,
1457                            (unsigned long int) l->l_addr,
1458                            (int) sizeof (void *) * 2, maplength,
1459                            (int) sizeof (void *) * 2,
1460                            (unsigned long int) l->l_entry,
1461                            (int) sizeof (void *) * 2,
1462                            (unsigned long int) l->l_phdr,
1463                            (int) sizeof (void *) * 2, l->l_phnum);
1464
1465   /* Set up the symbol hash table.  */
1466   _dl_setup_hash (l);
1467
1468   /* If this object has DT_SYMBOLIC set modify now its scope.  We don't
1469      have to do this for the main map.  */
1470   if ((mode & RTLD_DEEPBIND) == 0
1471       && __builtin_expect (l->l_info[DT_SYMBOLIC] != NULL, 0)
1472       && &l->l_searchlist != l->l_scope[0])
1473     {
1474       /* Create an appropriate searchlist.  It contains only this map.
1475          This is the definition of DT_SYMBOLIC in SysVr4.  */
1476       l->l_symbolic_searchlist.r_list =
1477         (struct link_map **) malloc (sizeof (struct link_map *));
1478
1479       if (l->l_symbolic_searchlist.r_list == NULL)
1480         {
1481           errstring = N_("cannot create searchlist");
1482           goto call_lose_errno;
1483         }
1484
1485       l->l_symbolic_searchlist.r_list[0] = l;
1486       l->l_symbolic_searchlist.r_nlist = 1;
1487
1488       /* Now move the existing entries one back.  */
1489       memmove (&l->l_scope[1], &l->l_scope[0],
1490                (l->l_scope_max - 1) * sizeof (l->l_scope[0]));
1491
1492       /* Now add the new entry.  */
1493       l->l_scope[0] = &l->l_symbolic_searchlist;
1494     }
1495
1496   /* Remember whether this object must be initialized first.  */
1497   if (l->l_flags_1 & DF_1_INITFIRST)
1498     GL(dl_initfirst) = l;
1499
1500   /* Finally the file information.  */
1501   l->l_dev = st.st_dev;
1502   l->l_ino = st.st_ino;
1503
1504   /* When we profile the SONAME might be needed for something else but
1505      loading.  Add it right away.  */
1506   if (__builtin_expect (GLRO(dl_profile) != NULL, 0)
1507       && l->l_info[DT_SONAME] != NULL)
1508     add_name_to_object (l, ((const char *) D_PTR (l, l_info[DT_STRTAB])
1509                             + l->l_info[DT_SONAME]->d_un.d_val));
1510
1511 #ifdef SHARED
1512   /* Auditing checkpoint: we have a new object.  */
1513   if (__builtin_expect (GLRO(dl_naudit) > 0, 0)
1514       && !GL(dl_ns)[l->l_ns]._ns_loaded->l_auditing)
1515     {
1516       struct audit_ifaces *afct = GLRO(dl_audit);
1517       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
1518         {
1519           if (afct->objopen != NULL)
1520             {
1521               l->l_audit[cnt].bindflags
1522                 = afct->objopen (l, nsid, &l->l_audit[cnt].cookie);
1523
1524               l->l_audit_any_plt |= l->l_audit[cnt].bindflags != 0;
1525             }
1526
1527           afct = afct->next;
1528         }
1529     }
1530 #endif
1531
1532   return l;
1533 }
1534 \f
1535 /* Print search path.  */
1536 static void
1537 print_search_path (struct r_search_path_elem **list,
1538                    const char *what, const char *name)
1539 {
1540   char buf[max_dirnamelen + max_capstrlen];
1541   int first = 1;
1542
1543   _dl_debug_printf (" search path=");
1544
1545   while (*list != NULL && (*list)->what == what) /* Yes, ==.  */
1546     {
1547       char *endp = __mempcpy (buf, (*list)->dirname, (*list)->dirnamelen);
1548       size_t cnt;
1549
1550       for (cnt = 0; cnt < ncapstr; ++cnt)
1551         if ((*list)->status[cnt] != nonexisting)
1552           {
1553             char *cp = __mempcpy (endp, capstr[cnt].str, capstr[cnt].len);
1554             if (cp == buf || (cp == buf + 1 && buf[0] == '/'))
1555               cp[0] = '\0';
1556             else
1557               cp[-1] = '\0';
1558
1559             _dl_debug_printf_c (first ? "%s" : ":%s", buf);
1560             first = 0;
1561           }
1562
1563       ++list;
1564     }
1565
1566   if (name != NULL)
1567     _dl_debug_printf_c ("\t\t(%s from file %s)\n", what,
1568                         name[0] ? name : rtld_progname);
1569   else
1570     _dl_debug_printf_c ("\t\t(%s)\n", what);
1571 }
1572 \f
1573 /* Open a file and verify it is an ELF file for this architecture.  We
1574    ignore only ELF files for other architectures.  Non-ELF files and
1575    ELF files with different header information cause fatal errors since
1576    this could mean there is something wrong in the installation and the
1577    user might want to know about this.  */
1578 static int
1579 open_verify (const char *name, struct filebuf *fbp, struct link_map *loader,
1580              int whatcode, bool *found_other_class, bool free_name)
1581 {
1582   /* This is the expected ELF header.  */
1583 #define ELF32_CLASS ELFCLASS32
1584 #define ELF64_CLASS ELFCLASS64
1585 #ifndef VALID_ELF_HEADER
1586 # define VALID_ELF_HEADER(hdr,exp,size) (memcmp (hdr, exp, size) == 0)
1587 # define VALID_ELF_OSABI(osabi)         (osabi == ELFOSABI_SYSV)
1588 # define VALID_ELF_ABIVERSION(ver)      (ver == 0)
1589 #endif
1590   static const unsigned char expected[EI_PAD] =
1591   {
1592     [EI_MAG0] = ELFMAG0,
1593     [EI_MAG1] = ELFMAG1,
1594     [EI_MAG2] = ELFMAG2,
1595     [EI_MAG3] = ELFMAG3,
1596     [EI_CLASS] = ELFW(CLASS),
1597     [EI_DATA] = byteorder,
1598     [EI_VERSION] = EV_CURRENT,
1599     [EI_OSABI] = ELFOSABI_SYSV,
1600     [EI_ABIVERSION] = 0
1601   };
1602   static const struct
1603   {
1604     ElfW(Word) vendorlen;
1605     ElfW(Word) datalen;
1606     ElfW(Word) type;
1607     char vendor[4];
1608   } expected_note = { 4, 16, 1, "GNU" };
1609   /* Initialize it to make the compiler happy.  */
1610   const char *errstring = NULL;
1611   int errval = 0;
1612
1613 #ifdef SHARED
1614   /* Give the auditing libraries a chance.  */
1615   if (__builtin_expect (GLRO(dl_naudit) > 0, 0) && whatcode != 0
1616       && loader->l_auditing == 0)
1617     {
1618       struct audit_ifaces *afct = GLRO(dl_audit);
1619       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
1620         {
1621           if (afct->objsearch != NULL)
1622             {
1623               name = afct->objsearch (name, &loader->l_audit[cnt].cookie,
1624                                       whatcode);
1625               if (name == NULL)
1626                 /* Ignore the path.  */
1627                 return -1;
1628             }
1629
1630           afct = afct->next;
1631         }
1632     }
1633 #endif
1634
1635   /* Open the file.  We always open files read-only.  */
1636   int fd = __open (name, O_RDONLY);
1637   if (fd != -1)
1638     {
1639       ElfW(Ehdr) *ehdr;
1640       ElfW(Phdr) *phdr, *ph;
1641       ElfW(Word) *abi_note, abi_note_buf[8];
1642       unsigned int osversion;
1643       size_t maplength;
1644
1645       /* We successfully openened the file.  Now verify it is a file
1646          we can use.  */
1647       __set_errno (0);
1648       fbp->len = __libc_read (fd, fbp->buf, sizeof (fbp->buf));
1649
1650       /* This is where the ELF header is loaded.  */
1651       assert (sizeof (fbp->buf) > sizeof (ElfW(Ehdr)));
1652       ehdr = (ElfW(Ehdr) *) fbp->buf;
1653
1654       /* Now run the tests.  */
1655       if (__builtin_expect (fbp->len < (ssize_t) sizeof (ElfW(Ehdr)), 0))
1656         {
1657           errval = errno;
1658           errstring = (errval == 0
1659                        ? N_("file too short") : N_("cannot read file data"));
1660         call_lose:
1661           if (free_name)
1662             {
1663               char *realname = (char *) name;
1664               name = strdupa (realname);
1665               free (realname);
1666             }
1667           lose (errval, fd, name, NULL, NULL, errstring, NULL);
1668         }
1669
1670       /* See whether the ELF header is what we expect.  */
1671       if (__builtin_expect (! VALID_ELF_HEADER (ehdr->e_ident, expected,
1672                                                 EI_PAD), 0))
1673         {
1674           /* Something is wrong.  */
1675           if (*(Elf32_Word *) &ehdr->e_ident !=
1676 #if BYTE_ORDER == LITTLE_ENDIAN
1677               ((ELFMAG0 << (EI_MAG0 * 8)) |
1678                (ELFMAG1 << (EI_MAG1 * 8)) |
1679                (ELFMAG2 << (EI_MAG2 * 8)) |
1680                (ELFMAG3 << (EI_MAG3 * 8)))
1681 #else
1682               ((ELFMAG0 << (EI_MAG3 * 8)) |
1683                (ELFMAG1 << (EI_MAG2 * 8)) |
1684                (ELFMAG2 << (EI_MAG1 * 8)) |
1685                (ELFMAG3 << (EI_MAG0 * 8)))
1686 #endif
1687               )
1688             errstring = N_("invalid ELF header");
1689           else if (ehdr->e_ident[EI_CLASS] != ELFW(CLASS))
1690             {
1691               /* This is not a fatal error.  On architectures where
1692                  32-bit and 64-bit binaries can be run this might
1693                  happen.  */
1694               *found_other_class = true;
1695               goto close_and_out;
1696             }
1697           else if (ehdr->e_ident[EI_DATA] != byteorder)
1698             {
1699               if (BYTE_ORDER == BIG_ENDIAN)
1700                 errstring = N_("ELF file data encoding not big-endian");
1701               else
1702                 errstring = N_("ELF file data encoding not little-endian");
1703             }
1704           else if (ehdr->e_ident[EI_VERSION] != EV_CURRENT)
1705             errstring
1706               = N_("ELF file version ident does not match current one");
1707           /* XXX We should be able so set system specific versions which are
1708              allowed here.  */
1709           else if (!VALID_ELF_OSABI (ehdr->e_ident[EI_OSABI]))
1710             errstring = N_("ELF file OS ABI invalid");
1711           else if (!VALID_ELF_ABIVERSION (ehdr->e_ident[EI_ABIVERSION]))
1712             errstring = N_("ELF file ABI version invalid");
1713           else
1714             /* Otherwise we don't know what went wrong.  */
1715             errstring = N_("internal error");
1716
1717           goto call_lose;
1718         }
1719
1720       if (__builtin_expect (ehdr->e_version, EV_CURRENT) != EV_CURRENT)
1721         {
1722           errstring = N_("ELF file version does not match current one");
1723           goto call_lose;
1724         }
1725       if (! __builtin_expect (elf_machine_matches_host (ehdr), 1))
1726         goto close_and_out;
1727       else if (__builtin_expect (ehdr->e_type, ET_DYN) != ET_DYN
1728                && __builtin_expect (ehdr->e_type, ET_EXEC) != ET_EXEC)
1729         {
1730           errstring = N_("only ET_DYN and ET_EXEC can be loaded");
1731           goto call_lose;
1732         }
1733       else if (__builtin_expect (ehdr->e_phentsize, sizeof (ElfW(Phdr)))
1734                != sizeof (ElfW(Phdr)))
1735         {
1736           errstring = N_("ELF file's phentsize not the expected size");
1737           goto call_lose;
1738         }
1739
1740       maplength = ehdr->e_phnum * sizeof (ElfW(Phdr));
1741       if (ehdr->e_phoff + maplength <= (size_t) fbp->len)
1742         phdr = (void *) (fbp->buf + ehdr->e_phoff);
1743       else
1744         {
1745           phdr = alloca (maplength);
1746           __lseek (fd, ehdr->e_phoff, SEEK_SET);
1747           if ((size_t) __libc_read (fd, (void *) phdr, maplength) != maplength)
1748             {
1749             read_error:
1750               errval = errno;
1751               errstring = N_("cannot read file data");
1752               goto call_lose;
1753             }
1754         }
1755
1756       /* Check .note.ABI-tag if present.  */
1757       for (ph = phdr; ph < &phdr[ehdr->e_phnum]; ++ph)
1758         if (ph->p_type == PT_NOTE && ph->p_filesz == 32 && ph->p_align >= 4)
1759           {
1760             if (ph->p_offset + 32 <= (size_t) fbp->len)
1761               abi_note = (void *) (fbp->buf + ph->p_offset);
1762             else
1763               {
1764                 __lseek (fd, ph->p_offset, SEEK_SET);
1765                 if (__libc_read (fd, (void *) abi_note_buf, 32) != 32)
1766                   goto read_error;
1767
1768                 abi_note = abi_note_buf;
1769               }
1770
1771             if (memcmp (abi_note, &expected_note, sizeof (expected_note)))
1772               continue;
1773
1774             osversion = (abi_note[5] & 0xff) * 65536
1775                         + (abi_note[6] & 0xff) * 256
1776                         + (abi_note[7] & 0xff);
1777             if (abi_note[4] != __ABI_TAG_OS
1778                 || (GLRO(dl_osversion) && GLRO(dl_osversion) < osversion))
1779               {
1780               close_and_out:
1781                 __close (fd);
1782                 __set_errno (ENOENT);
1783                 fd = -1;
1784               }
1785
1786             break;
1787           }
1788     }
1789
1790   return fd;
1791 }
1792 \f
1793 /* Try to open NAME in one of the directories in *DIRSP.
1794    Return the fd, or -1.  If successful, fill in *REALNAME
1795    with the malloc'd full directory name.  If it turns out
1796    that none of the directories in *DIRSP exists, *DIRSP is
1797    replaced with (void *) -1, and the old value is free()d
1798    if MAY_FREE_DIRS is true.  */
1799
1800 static int
1801 open_path (const char *name, size_t namelen, int preloaded,
1802            struct r_search_path_struct *sps, char **realname,
1803            struct filebuf *fbp, struct link_map *loader, int whatcode,
1804            bool *found_other_class)
1805 {
1806   struct r_search_path_elem **dirs = sps->dirs;
1807   char *buf;
1808   int fd = -1;
1809   const char *current_what = NULL;
1810   int any = 0;
1811
1812   if (__builtin_expect (dirs == NULL, 0))
1813     /* We're called before _dl_init_paths when loading the main executable
1814        given on the command line when rtld is run directly.  */
1815     return -1;
1816
1817   buf = alloca (max_dirnamelen + max_capstrlen + namelen);
1818   do
1819     {
1820       struct r_search_path_elem *this_dir = *dirs;
1821       size_t buflen = 0;
1822       size_t cnt;
1823       char *edp;
1824       int here_any = 0;
1825       int err;
1826
1827       /* If we are debugging the search for libraries print the path
1828          now if it hasn't happened now.  */
1829       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0)
1830           && current_what != this_dir->what)
1831         {
1832           current_what = this_dir->what;
1833           print_search_path (dirs, current_what, this_dir->where);
1834         }
1835
1836       edp = (char *) __mempcpy (buf, this_dir->dirname, this_dir->dirnamelen);
1837       for (cnt = 0; fd == -1 && cnt < ncapstr; ++cnt)
1838         {
1839           /* Skip this directory if we know it does not exist.  */
1840           if (this_dir->status[cnt] == nonexisting)
1841             continue;
1842
1843           buflen =
1844             ((char *) __mempcpy (__mempcpy (edp, capstr[cnt].str,
1845                                             capstr[cnt].len),
1846                                  name, namelen)
1847              - buf);
1848
1849           /* Print name we try if this is wanted.  */
1850           if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
1851             _dl_debug_printf ("  trying file=%s\n", buf);
1852
1853           fd = open_verify (buf, fbp, loader, whatcode, found_other_class,
1854                             false);
1855           if (this_dir->status[cnt] == unknown)
1856             {
1857               if (fd != -1)
1858                 this_dir->status[cnt] = existing;
1859               /* Do not update the directory information when loading
1860                  auditing code.  We must try to disturb the program as
1861                  little as possible.  */
1862               else if (loader == NULL
1863                        || GL(dl_ns)[loader->l_ns]._ns_loaded->l_auditing == 0)
1864                 {
1865                   /* We failed to open machine dependent library.  Let's
1866                      test whether there is any directory at all.  */
1867                   struct stat64 st;
1868
1869                   buf[buflen - namelen - 1] = '\0';
1870
1871                   if (__xstat64 (_STAT_VER, buf, &st) != 0
1872                       || ! S_ISDIR (st.st_mode))
1873                     /* The directory does not exist or it is no directory.  */
1874                     this_dir->status[cnt] = nonexisting;
1875                   else
1876                     this_dir->status[cnt] = existing;
1877                 }
1878             }
1879
1880           /* Remember whether we found any existing directory.  */
1881           here_any |= this_dir->status[cnt] != nonexisting;
1882
1883           if (fd != -1 && __builtin_expect (preloaded, 0)
1884               && INTUSE(__libc_enable_secure))
1885             {
1886               /* This is an extra security effort to make sure nobody can
1887                  preload broken shared objects which are in the trusted
1888                  directories and so exploit the bugs.  */
1889               struct stat64 st;
1890
1891               if (__fxstat64 (_STAT_VER, fd, &st) != 0
1892                   || (st.st_mode & S_ISUID) == 0)
1893                 {
1894                   /* The shared object cannot be tested for being SUID
1895                      or this bit is not set.  In this case we must not
1896                      use this object.  */
1897                   __close (fd);
1898                   fd = -1;
1899                   /* We simply ignore the file, signal this by setting
1900                      the error value which would have been set by `open'.  */
1901                   errno = ENOENT;
1902                 }
1903             }
1904         }
1905
1906       if (fd != -1)
1907         {
1908           *realname = (char *) malloc (buflen);
1909           if (*realname != NULL)
1910             {
1911               memcpy (*realname, buf, buflen);
1912               return fd;
1913             }
1914           else
1915             {
1916               /* No memory for the name, we certainly won't be able
1917                  to load and link it.  */
1918               __close (fd);
1919               return -1;
1920             }
1921         }
1922       if (here_any && (err = errno) != ENOENT && err != EACCES)
1923         /* The file exists and is readable, but something went wrong.  */
1924         return -1;
1925
1926       /* Remember whether we found anything.  */
1927       any |= here_any;
1928     }
1929   while (*++dirs != NULL);
1930
1931   /* Remove the whole path if none of the directories exists.  */
1932   if (__builtin_expect (! any, 0))
1933     {
1934       /* Paths which were allocated using the minimal malloc() in ld.so
1935          must not be freed using the general free() in libc.  */
1936       if (sps->malloced)
1937         free (sps->dirs);
1938 #ifdef HAVE_Z_RELRO
1939       /* rtld_search_dirs is attribute_relro, therefore avoid writing
1940          into it.  */
1941       if (sps != &rtld_search_dirs)
1942 #endif
1943         sps->dirs = (void *) -1;
1944     }
1945
1946   return -1;
1947 }
1948
1949 /* Map in the shared object file NAME.  */
1950
1951 struct link_map *
1952 internal_function
1953 _dl_map_object (struct link_map *loader, const char *name, int preloaded,
1954                 int type, int trace_mode, int mode, Lmid_t nsid)
1955 {
1956   int fd;
1957   char *realname;
1958   char *name_copy;
1959   struct link_map *l;
1960   struct filebuf fb;
1961
1962   assert (nsid >= 0);
1963   assert (nsid < DL_NNS);
1964
1965   /* Look for this name among those already loaded.  */
1966   for (l = GL(dl_ns)[nsid]._ns_loaded; l; l = l->l_next)
1967     {
1968       /* If the requested name matches the soname of a loaded object,
1969          use that object.  Elide this check for names that have not
1970          yet been opened.  */
1971       if (__builtin_expect (l->l_faked, 0) != 0
1972           || __builtin_expect (l->l_removed, 0) != 0)
1973         continue;
1974       if (!_dl_name_match_p (name, l))
1975         {
1976           const char *soname;
1977
1978           if (__builtin_expect (l->l_soname_added, 1)
1979               || l->l_info[DT_SONAME] == NULL)
1980             continue;
1981
1982           soname = ((const char *) D_PTR (l, l_info[DT_STRTAB])
1983                     + l->l_info[DT_SONAME]->d_un.d_val);
1984           if (strcmp (name, soname) != 0)
1985             continue;
1986
1987           /* We have a match on a new name -- cache it.  */
1988           add_name_to_object (l, soname);
1989           l->l_soname_added = 1;
1990         }
1991
1992       /* We have a match.  */
1993       return l;
1994     }
1995
1996   /* Display information if we are debugging.  */
1997   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_FILES, 0)
1998       && loader != NULL)
1999     _dl_debug_printf ("\nfile=%s [%lu];  needed by %s [%lu]\n", name, nsid,
2000                               loader->l_name[0]
2001                               ? loader->l_name : rtld_progname, loader->l_ns);
2002
2003 #ifdef SHARED
2004   /* Give the auditing libraries a chance to change the name before we
2005      try anything.  */
2006   if (__builtin_expect (GLRO(dl_naudit) > 0, 0)
2007       && (loader == NULL || loader->l_auditing == 0))
2008     {
2009       struct audit_ifaces *afct = GLRO(dl_audit);
2010       for (unsigned int cnt = 0; cnt < GLRO(dl_naudit); ++cnt)
2011         {
2012           if (afct->objsearch != NULL)
2013             {
2014               name = afct->objsearch (name, &loader->l_audit[cnt].cookie,
2015                                       LA_SER_ORIG);
2016               if (name == NULL)
2017                 {
2018                   /* Do not try anything further.  */
2019                   fd = -1;
2020                   goto no_file;
2021                 }
2022             }
2023
2024           afct = afct->next;
2025         }
2026     }
2027 #endif
2028
2029   /* Will be true if we found a DSO which is of the other ELF class.  */
2030   bool found_other_class = false;
2031
2032   if (strchr (name, '/') == NULL)
2033     {
2034       /* Search for NAME in several places.  */
2035
2036       size_t namelen = strlen (name) + 1;
2037
2038       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
2039         _dl_debug_printf ("find library=%s [%lu]; searching\n", name, nsid);
2040
2041       fd = -1;
2042
2043       /* When the object has the RUNPATH information we don't use any
2044          RPATHs.  */
2045       if (loader == NULL || loader->l_info[DT_RUNPATH] == NULL)
2046         {
2047           /* This is the executable's map (if there is one).  Make sure that
2048              we do not look at it twice.  */
2049           struct link_map *main_map = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2050           bool did_main_map = false;
2051
2052           /* First try the DT_RPATH of the dependent object that caused NAME
2053              to be loaded.  Then that object's dependent, and on up.  */
2054           for (l = loader; l; l = l->l_loader)
2055             if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2056               {
2057                 fd = open_path (name, namelen, preloaded, &l->l_rpath_dirs,
2058                                 &realname, &fb, loader, LA_SER_RUNPATH,
2059                                 &found_other_class);
2060                 if (fd != -1)
2061                   break;
2062
2063                 did_main_map |= l == main_map;
2064               }
2065
2066           /* If dynamically linked, try the DT_RPATH of the executable
2067              itself.  NB: we do this for lookups in any namespace.  */
2068           if (fd == -1 && !did_main_map
2069               && main_map != NULL && main_map->l_type != lt_loaded
2070               && cache_rpath (main_map, &main_map->l_rpath_dirs, DT_RPATH,
2071                               "RPATH"))
2072             fd = open_path (name, namelen, preloaded, &main_map->l_rpath_dirs,
2073                             &realname, &fb, loader ?: main_map, LA_SER_RUNPATH,
2074                             &found_other_class);
2075         }
2076
2077       /* Try the LD_LIBRARY_PATH environment variable.  */
2078       if (fd == -1 && env_path_list.dirs != (void *) -1)
2079         fd = open_path (name, namelen, preloaded, &env_path_list,
2080                         &realname, &fb,
2081                         loader ?: GL(dl_ns)[LM_ID_BASE]._ns_loaded,
2082                         LA_SER_LIBPATH, &found_other_class);
2083
2084       /* Look at the RUNPATH information for this binary.  */
2085       if (fd == -1 && loader != NULL
2086           && cache_rpath (loader, &loader->l_runpath_dirs,
2087                           DT_RUNPATH, "RUNPATH"))
2088         fd = open_path (name, namelen, preloaded,
2089                         &loader->l_runpath_dirs, &realname, &fb, loader,
2090                         LA_SER_RUNPATH, &found_other_class);
2091
2092       if (fd == -1
2093           && (__builtin_expect (! preloaded, 1)
2094               || ! INTUSE(__libc_enable_secure)))
2095         {
2096           /* Check the list of libraries in the file /etc/ld.so.cache,
2097              for compatibility with Linux's ldconfig program.  */
2098           const char *cached = _dl_load_cache_lookup (name);
2099
2100           if (cached != NULL)
2101             {
2102 #ifdef SHARED
2103               // XXX Correct to unconditionally default to namespace 0?
2104               l = loader ?: GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2105 #else
2106               l = loader;
2107 #endif
2108
2109               /* If the loader has the DF_1_NODEFLIB flag set we must not
2110                  use a cache entry from any of these directories.  */
2111               if (
2112 #ifndef SHARED
2113                   /* 'l' is always != NULL for dynamically linked objects.  */
2114                   l != NULL &&
2115 #endif
2116                   __builtin_expect (l->l_flags_1 & DF_1_NODEFLIB, 0))
2117                 {
2118                   const char *dirp = system_dirs;
2119                   unsigned int cnt = 0;
2120
2121                   do
2122                     {
2123                       if (memcmp (cached, dirp, system_dirs_len[cnt]) == 0)
2124                         {
2125                           /* The prefix matches.  Don't use the entry.  */
2126                           cached = NULL;
2127                           break;
2128                         }
2129
2130                       dirp += system_dirs_len[cnt] + 1;
2131                       ++cnt;
2132                     }
2133                   while (cnt < nsystem_dirs_len);
2134                 }
2135
2136               if (cached != NULL)
2137                 {
2138                   fd = open_verify (cached,
2139                                     &fb, loader ?: GL(dl_ns)[nsid]._ns_loaded,
2140                                     LA_SER_CONFIG, &found_other_class, false);
2141                   if (__builtin_expect (fd != -1, 1))
2142                     {
2143                       realname = local_strdup (cached);
2144                       if (realname == NULL)
2145                         {
2146                           __close (fd);
2147                           fd = -1;
2148                         }
2149                     }
2150                 }
2151             }
2152         }
2153
2154       /* Finally, try the default path.  */
2155       if (fd == -1
2156           && ((l = loader ?: GL(dl_ns)[nsid]._ns_loaded) == NULL
2157               || __builtin_expect (!(l->l_flags_1 & DF_1_NODEFLIB), 1))
2158           && rtld_search_dirs.dirs != (void *) -1)
2159         fd = open_path (name, namelen, preloaded, &rtld_search_dirs,
2160                         &realname, &fb, l, LA_SER_DEFAULT, &found_other_class);
2161
2162       /* Add another newline when we are tracing the library loading.  */
2163       if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))
2164         _dl_debug_printf ("\n");
2165     }
2166   else
2167     {
2168       /* The path may contain dynamic string tokens.  */
2169       realname = (loader
2170                   ? expand_dynamic_string_token (loader, name)
2171                   : local_strdup (name));
2172       if (realname == NULL)
2173         fd = -1;
2174       else
2175         {
2176           fd = open_verify (realname, &fb,
2177                             loader ?: GL(dl_ns)[nsid]._ns_loaded, 0,
2178                             &found_other_class, true);
2179           if (__builtin_expect (fd, 0) == -1)
2180             free (realname);
2181         }
2182     }
2183
2184 #ifdef SHARED
2185  no_file:
2186 #endif
2187   /* In case the LOADER information has only been provided to get to
2188      the appropriate RUNPATH/RPATH information we do not need it
2189      anymore.  */
2190   if (mode & __RTLD_CALLMAP)
2191     loader = NULL;
2192
2193   if (__builtin_expect (fd, 0) == -1)
2194     {
2195       if (trace_mode
2196           && __builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_PRELINK, 0) == 0)
2197         {
2198           /* We haven't found an appropriate library.  But since we
2199              are only interested in the list of libraries this isn't
2200              so severe.  Fake an entry with all the information we
2201              have.  */
2202           static const Elf_Symndx dummy_bucket = STN_UNDEF;
2203
2204           /* Enter the new object in the list of loaded objects.  */
2205           if ((name_copy = local_strdup (name)) == NULL
2206               || (l = _dl_new_object (name_copy, name, type, loader,
2207                                       mode, nsid)) == NULL)
2208             {
2209               free (name_copy);
2210               _dl_signal_error (ENOMEM, name, NULL,
2211                                 N_("cannot create shared object descriptor"));
2212             }
2213           /* Signal that this is a faked entry.  */
2214           l->l_faked = 1;
2215           /* Since the descriptor is initialized with zero we do not
2216              have do this here.
2217           l->l_reserved = 0; */
2218           l->l_buckets = &dummy_bucket;
2219           l->l_nbuckets = 1;
2220           l->l_relocated = 1;
2221
2222           return l;
2223         }
2224       else if (found_other_class)
2225         _dl_signal_error (0, name, NULL,
2226                           ELFW(CLASS) == ELFCLASS32
2227                           ? N_("wrong ELF class: ELFCLASS64")
2228                           : N_("wrong ELF class: ELFCLASS32"));
2229       else
2230         _dl_signal_error (errno, name, NULL,
2231                           N_("cannot open shared object file"));
2232     }
2233
2234   void *stack_end = __libc_stack_end;
2235   return _dl_map_object_from_fd (name, fd, &fb, realname, loader, type, mode,
2236                                  &stack_end, nsid);
2237 }
2238
2239
2240 void
2241 internal_function
2242 _dl_rtld_di_serinfo (struct link_map *loader, Dl_serinfo *si, bool counting)
2243 {
2244   if (counting)
2245     {
2246       si->dls_cnt = 0;
2247       si->dls_size = 0;
2248     }
2249
2250   unsigned int idx = 0;
2251   char *allocptr = (char *) &si->dls_serpath[si->dls_cnt];
2252   void add_path (const struct r_search_path_struct *sps, unsigned int flags)
2253 # define add_path(sps, flags) add_path(sps, 0) /* XXX */
2254     {
2255       if (sps->dirs != (void *) -1)
2256         {
2257           struct r_search_path_elem **dirs = sps->dirs;
2258           do
2259             {
2260               const struct r_search_path_elem *const r = *dirs++;
2261               if (counting)
2262                 {
2263                   si->dls_cnt++;
2264                   si->dls_size += r->dirnamelen;
2265                 }
2266               else
2267                 {
2268                   Dl_serpath *const sp = &si->dls_serpath[idx++];
2269                   sp->dls_name = allocptr;
2270                   allocptr = __mempcpy (allocptr,
2271                                         r->dirname, r->dirnamelen - 1);
2272                   *allocptr++ = '\0';
2273                   sp->dls_flags = flags;
2274                 }
2275             }
2276           while (*dirs != NULL);
2277         }
2278     }
2279
2280   /* When the object has the RUNPATH information we don't use any RPATHs.  */
2281   if (loader->l_info[DT_RUNPATH] == NULL)
2282     {
2283       /* First try the DT_RPATH of the dependent object that caused NAME
2284          to be loaded.  Then that object's dependent, and on up.  */
2285
2286       struct link_map *l = loader;
2287       do
2288         {
2289           if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2290             add_path (&l->l_rpath_dirs, XXX_RPATH);
2291           l = l->l_loader;
2292         }
2293       while (l != NULL);
2294
2295       /* If dynamically linked, try the DT_RPATH of the executable itself.  */
2296       if (loader->l_ns == LM_ID_BASE)
2297         {
2298           l = GL(dl_ns)[LM_ID_BASE]._ns_loaded;
2299           if (l != NULL && l->l_type != lt_loaded && l != loader)
2300             if (cache_rpath (l, &l->l_rpath_dirs, DT_RPATH, "RPATH"))
2301               add_path (&l->l_rpath_dirs, XXX_RPATH);
2302         }
2303     }
2304
2305   /* Try the LD_LIBRARY_PATH environment variable.  */
2306   add_path (&env_path_list, XXX_ENV);
2307
2308   /* Look at the RUNPATH information for this binary.  */
2309   if (cache_rpath (loader, &loader->l_runpath_dirs, DT_RUNPATH, "RUNPATH"))
2310     add_path (&loader->l_runpath_dirs, XXX_RUNPATH);
2311
2312   /* XXX
2313      Here is where ld.so.cache gets checked, but we don't have
2314      a way to indicate that in the results for Dl_serinfo.  */
2315
2316   /* Finally, try the default path.  */
2317   if (!(loader->l_flags_1 & DF_1_NODEFLIB))
2318     add_path (&rtld_search_dirs, XXX_default);
2319
2320   if (counting)
2321     /* Count the struct size before the string area, which we didn't
2322        know before we completed dls_cnt.  */
2323     si->dls_size += (char *) &si->dls_serpath[si->dls_cnt] - (char *) si;
2324 }