ba8572e9e58995d4a500b80aa56ce931c550f2dd
[kopensolaris-gnu/glibc.git] / locale / programs / localedef.c
1 /* Copyright (C) 1995-1999, 2000, 2001, 2002 Free Software Foundation, Inc.
2    This file is part of the GNU C Library.
3    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1995.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Lesser General Public
7    License as published by the Free Software Foundation; either
8    version 2.1 of the License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Lesser General Public License for more details.
14
15    You should have received a copy of the GNU Lesser General Public
16    License along with the GNU C Library; if not, write to the Free
17    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18    02111-1307 USA.  */
19
20 #ifdef HAVE_CONFIG_H
21 # include <config.h>
22 #endif
23
24 #include <argp.h>
25 #include <errno.h>
26 #include <fcntl.h>
27 #include <libintl.h>
28 #include <locale.h>
29 #include <mcheck.h>
30 #include <stdbool.h>
31 #include <stdio.h>
32 #include <stdlib.h>
33 #include <string.h>
34 #include <unistd.h>
35 #include <error.h>
36 #include <sys/mman.h>
37 #include <sys/stat.h>
38
39 #include "localedef.h"
40 #include "charmap.h"
41 #include "locfile.h"
42
43 /* Undefine the following line in the production version.  */
44 /* #define NDEBUG 1 */
45 #include <assert.h>
46
47
48 /* List of copied locales.  */
49 struct copy_def_list_t *copy_list;
50
51 /* If this is defined be POSIX conform.  */
52 int posix_conformance;
53
54 /* If not zero give a lot more messages.  */
55 int verbose;
56
57 /* If not zero suppress warnings and information messages.  */
58 int be_quiet;
59
60 /* If not zero, produce old-style hash table instead of 3-level access
61    tables.  */
62 int oldstyle_tables;
63
64 /* If not zero force output even if warning were issued.  */
65 static int force_output;
66
67 /* Prefix for output files.  */
68 const char *output_prefix;
69
70 /* Name of the character map file.  */
71 static const char *charmap_file;
72
73 /* Name of the locale definition file.  */
74 static const char *input_file;
75
76 /* Name of the repertoire map file.  */
77 const char *repertoire_global;
78
79 /* List of all locales.  */
80 static struct localedef_t *locales;
81
82 /* If true don't add locale data to archive.  */
83 bool no_archive;
84
85 /* If true add named locales to archive.  */
86 static bool add_to_archive;
87
88 /* If true delete named locales from archive.  */
89 static bool delete_from_archive;
90
91 /* If true replace archive content when adding.  */
92 static bool replace_archive;
93
94 /* If true list archive content.  */
95 static bool list_archive;
96
97 /* Maximum number of retries when opening the locale archive.  */
98 int max_locarchive_open_retry = 10;
99
100
101 /* Name and version of program.  */
102 static void print_version (FILE *stream, struct argp_state *state);
103 void (*argp_program_version_hook) (FILE *, struct argp_state *) = print_version;
104
105 #define OPT_POSIX 301
106 #define OPT_QUIET 302
107 #define OPT_OLDSTYLE 303
108 #define OPT_PREFIX 304
109 #define OPT_NO_ARCHIVE 305
110 #define OPT_ADD_TO_ARCHIVE 306
111 #define OPT_REPLACE 307
112 #define OPT_DELETE_FROM_ARCHIVE 308
113 #define OPT_LIST_ARCHIVE 309
114
115 /* Definitions of arguments for argp functions.  */
116 static const struct argp_option options[] =
117 {
118   { NULL, 0, NULL, 0, N_("Input Files:") },
119   { "charmap", 'f', "FILE", 0,
120     N_("Symbolic character names defined in FILE") },
121   { "inputfile", 'i', "FILE", 0, N_("Source definitions are found in FILE") },
122   { "repertoire-map", 'u', "FILE", 0,
123     N_("FILE contains mapping from symbolic names to UCS4 values") },
124
125   { NULL, 0, NULL, 0, N_("Output control:") },
126   { "force", 'c', NULL, 0,
127     N_("Create output even if warning messages were issued") },
128   { "old-style", OPT_OLDSTYLE, NULL, 0, N_("Create old-style tables") },
129   { "prefix", OPT_PREFIX, "PATH", 0, N_("Optional output file prefix") },
130   { "posix", OPT_POSIX, NULL, 0, N_("Be strictly POSIX conform") },
131   { "quiet", OPT_QUIET, NULL, 0,
132     N_("Suppress warnings and information messages") },
133   { "verbose", 'v', NULL, 0, N_("Print more messages") },
134   { NULL, 0, NULL, 0, N_("Archive control:") },
135   { "no-archive", OPT_NO_ARCHIVE, NULL, 0,
136     N_("Don't add new data to archive") },
137   { "add-to-archive", OPT_ADD_TO_ARCHIVE, NULL, 0,
138     N_("Add locales named by parameters to archive") },
139   { "replace", OPT_REPLACE, NULL, 0, N_("Replace existing archive content") },
140   { "delete-from-archive", OPT_DELETE_FROM_ARCHIVE, NULL, 0,
141     N_("Remove locales named by parameters from archive") },
142   { "list-archive", OPT_LIST_ARCHIVE, NULL, 0, N_("List content of archive") },
143   { NULL, 0, NULL, 0, NULL }
144 };
145
146 /* Short description of program.  */
147 static const char doc[] = N_("Compile locale specification");
148
149 /* Strings for arguments in help texts.  */
150 static const char args_doc[] = N_("\
151 NAME\n\
152 [--add-to-archive|--delete-from-archive] FILE...\n\
153 --list-archive [FILE]");
154
155 /* Prototype for option handler.  */
156 static error_t parse_opt (int key, char *arg, struct argp_state *state);
157
158 /* Function to print some extra text in the help message.  */
159 static char *more_help (int key, const char *text, void *input);
160
161 /* Data structure to communicate with argp functions.  */
162 static struct argp argp =
163 {
164   options, parse_opt, args_doc, doc, NULL, more_help
165 };
166
167
168 /* Prototypes for global functions.  */
169 extern void *xmalloc (size_t __n);
170
171 /* Prototypes for local functions.  */
172 static void error_print (void);
173 static const char *construct_output_path (char *path);
174 static const char *normalize_codeset (const char *codeset, size_t name_len);
175
176
177 int
178 main (int argc, char *argv[])
179 {
180   const char *output_path;
181   int cannot_write_why;
182   struct charmap_t *charmap;
183   struct localedef_t global;
184   int remaining;
185
186   /* Set initial values for global variables.  */
187   copy_list = NULL;
188   posix_conformance = getenv ("POSIXLY_CORRECT") != NULL;
189   error_print_progname = error_print;
190
191   /* Set locale.  Do not set LC_ALL because the other categories must
192      not be affected (according to POSIX.2).  */
193   setlocale (LC_MESSAGES, "");
194   setlocale (LC_CTYPE, "");
195
196   /* Initialize the message catalog.  */
197   textdomain (_libc_intl_domainname);
198
199   /* Parse and process arguments.  */
200   argp_err_exit_status = 4;
201   argp_parse (&argp, argc, argv, 0, &remaining, NULL);
202
203   /* Handle a few special cases.  */
204   if (list_archive)
205     show_archive_content ();
206   if (add_to_archive)
207     return add_locales_to_archive (argc - remaining, &argv[remaining],
208                                    replace_archive);
209   if (delete_from_archive)
210     return delete_locales_from_archive (argc - remaining, &argv[remaining]);
211
212   /* POSIX.2 requires to be verbose about missing characters in the
213      character map.  */
214   verbose |= posix_conformance;
215
216   if (argc - remaining != 1)
217     {
218       /* We need exactly one non-option parameter.  */
219       argp_help (&argp, stdout, ARGP_HELP_SEE | ARGP_HELP_EXIT_ERR,
220                  program_invocation_short_name);
221       exit (4);
222     }
223
224   /* The parameter describes the output path of the constructed files.
225      If the described files cannot be written return a NULL pointer.  */
226   output_path  = construct_output_path (argv[remaining]);
227   if (output_path == NULL && ! no_archive)
228     error (4, errno, _("cannot create directory for output files"));
229   cannot_write_why = errno;
230
231   /* Now that the parameters are processed we have to reset the local
232      ctype locale.  (P1003.2 4.35.5.2)  */
233   setlocale (LC_CTYPE, "POSIX");
234
235   /* Look whether the system really allows locale definitions.  POSIX
236      defines error code 3 for this situation so I think it must be
237      a fatal error (see P1003.2 4.35.8).  */
238   if (sysconf (_SC_2_LOCALEDEF) < 0)
239     WITH_CUR_LOCALE (error (3, 0, _("\
240 FATAL: system does not define `_POSIX2_LOCALEDEF'")));
241
242   /* Process charmap file.  */
243   charmap = charmap_read (charmap_file, verbose, be_quiet, 1);
244
245   /* Add the first entry in the locale list.  */
246   memset (&global, '\0', sizeof (struct localedef_t));
247   global.name = input_file ?: "/dev/stdin";
248   global.needed = ALL_LOCALES;
249   locales = &global;
250
251   /* Now read the locale file.  */
252   if (locfile_read (&global, charmap) != 0)
253     WITH_CUR_LOCALE (error (4, errno, _("\
254 cannot open locale definition file `%s'"), input_file));
255
256   /* Perhaps we saw some `copy' instructions.  */
257   while (1)
258     {
259       struct localedef_t *runp = locales;
260
261       while (runp != NULL && (runp->needed & runp->avail) == runp->needed)
262         runp = runp->next;
263
264       if (runp == NULL)
265         /* Everything read.  */
266         break;
267
268       if (locfile_read (runp, charmap) != 0)
269         WITH_CUR_LOCALE (error (4, errno, _("\
270 cannot open locale definition file `%s'"), runp->name));
271     }
272
273   /* Check the categories we processed in source form.  */
274   check_all_categories (locales, charmap);
275
276   /* We are now able to write the data files.  If warning were given we
277      do it only if it is explicitly requested (--force).  */
278   if (error_message_count == 0 || force_output != 0)
279     {
280       if (cannot_write_why != 0)
281         WITH_CUR_LOCALE (error (4, cannot_write_why, _("\
282 cannot write output files to `%s'"), output_path));
283       else
284         write_all_categories (locales, charmap, argv[remaining], output_path);
285     }
286   else
287     WITH_CUR_LOCALE (error (4, 0, _("\
288 no output file produced because warning were issued")));
289
290   /* This exit status is prescribed by POSIX.2 4.35.7.  */
291   exit (error_message_count != 0);
292 }
293
294
295 /* Handle program arguments.  */
296 static error_t
297 parse_opt (int key, char *arg, struct argp_state *state)
298 {
299   switch (key)
300     {
301     case OPT_QUIET:
302       be_quiet = 1;
303       break;
304     case OPT_POSIX:
305       posix_conformance = 1;
306       break;
307     case OPT_OLDSTYLE:
308       oldstyle_tables = 1;
309       break;
310     case OPT_PREFIX:
311       output_prefix = arg;
312       break;
313     case OPT_NO_ARCHIVE:
314       no_archive = true;
315       break;
316     case OPT_ADD_TO_ARCHIVE:
317       add_to_archive = true;
318       break;
319     case OPT_REPLACE:
320       replace_archive = true;
321       break;
322     case OPT_DELETE_FROM_ARCHIVE:
323       delete_from_archive = true;
324       break;
325     case OPT_LIST_ARCHIVE:
326       list_archive = true;
327       break;
328     case 'c':
329       force_output = 1;
330       break;
331     case 'f':
332       charmap_file = arg;
333       break;
334     case 'i':
335       input_file = arg;
336       break;
337     case 'u':
338       repertoire_global = arg;
339       break;
340     case 'v':
341       verbose = 1;
342       break;
343     default:
344       return ARGP_ERR_UNKNOWN;
345     }
346   return 0;
347 }
348
349
350 static char *
351 more_help (int key, const char *text, void *input)
352 {
353   char *cp;
354
355   switch (key)
356     {
357     case ARGP_KEY_HELP_EXTRA:
358       /* We print some extra information.  */
359       asprintf (&cp, gettext ("\
360 System's directory for character maps : %s\n\
361                        repertoire maps: %s\n\
362                        locale path    : %s\n\
363 %s"),
364                 CHARMAP_PATH, REPERTOIREMAP_PATH, LOCALE_PATH, gettext ("\
365 Report bugs using the `glibcbug' script to <bugs@gnu.org>.\n"));
366       return cp;
367     default:
368       break;
369     }
370   return (char *) text;
371 }
372
373 /* Print the version information.  */
374 static void
375 print_version (FILE *stream, struct argp_state *state)
376 {
377   fprintf (stream, "localedef (GNU %s) %s\n", PACKAGE, VERSION);
378   fprintf (stream, gettext ("\
379 Copyright (C) %s Free Software Foundation, Inc.\n\
380 This is free software; see the source for copying conditions.  There is NO\n\
381 warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.\n\
382 "), "2002");
383   fprintf (stream, gettext ("Written by %s.\n"), "Ulrich Drepper");
384 }
385
386
387 /* The address of this function will be assigned to the hook in the error
388    functions.  */
389 static void
390 error_print (void)
391 {
392 }
393
394
395 /* The parameter to localedef describes the output path.  If it does
396    contain a '/' character it is a relative path.  Otherwise it names the
397    locale this definition is for.  */
398 static const char *
399 construct_output_path (char *path)
400 {
401   const char *normal = NULL;
402   char *result;
403   char *endp;
404
405   if (strchr (path, '/') == NULL)
406     {
407       /* This is a system path.  First examine whether the locale name
408          contains a reference to the codeset.  This should be
409          normalized.  */
410       char *startp;
411       size_t n;
412
413       startp = path;
414       /* We must be prepared for finding a CEN name or a location of
415          the introducing `.' where it is not possible anymore.  */
416       while (*startp != '\0' && *startp != '@' && *startp != '.'
417              && *startp != '+' && *startp != ',')
418         ++startp;
419       if (*startp == '.')
420         {
421           /* We found a codeset specification.  Now find the end.  */
422           endp = ++startp;
423           while (*endp != '\0' && *endp != '@')
424             ++endp;
425
426           if (endp > startp)
427             normal = normalize_codeset (startp, endp - startp);
428         }
429       else
430         /* This is to keep gcc quiet.  */
431         endp = NULL;
432
433       /* We put an additional '\0' at the end of the string because at
434          the end of the function we need another byte for the trailing
435          '/'.  */
436       if (normal == NULL)
437         n = asprintf (&result, "%s%s/%s%c",
438                       output_prefix ?: "", LOCALEDIR, path, '\0');
439       else
440         n = asprintf (&result, "%s%s/%.*s%s%s%c",
441                       output_prefix ?: "", LOCALEDIR,
442                       (int) (startp - path), path, normal, endp, '\0');
443
444       if (n < 0)
445         return NULL;
446
447       endp = result + n - 1;
448     }
449   else
450     {
451       /* This is a user path.  Please note the additional byte in the
452          memory allocation.  */
453       size_t len = strlen (path) + 1;
454       result = xmalloc (len + 1);
455       endp = mempcpy (result, path, len) - 1;
456
457       /* If the user specified an output path we cannot add the output
458          to the archive.  */
459       no_archive = true;
460     }
461
462   errno = 0;
463
464   if (euidaccess (result, W_OK) == -1)
465     /* Perhaps the directory does not exist now.  Try to create it.  */
466     if (errno == ENOENT)
467       {
468         errno = 0;
469         if (mkdir (result, 0777) < 0)
470           return NULL;
471       }
472
473   *endp++ = '/';
474   *endp = '\0';
475
476   return result;
477 }
478
479
480 /* Normalize codeset name.  There is no standard for the codeset
481    names.  Normalization allows the user to use any of the common
482    names.  */
483 static const char *
484 normalize_codeset (codeset, name_len)
485      const char *codeset;
486      size_t name_len;
487 {
488   int len = 0;
489   int only_digit = 1;
490   char *retval;
491   char *wp;
492   size_t cnt;
493
494   for (cnt = 0; cnt < name_len; ++cnt)
495     if (isalnum (codeset[cnt]))
496       {
497         ++len;
498
499         if (isalpha (codeset[cnt]))
500           only_digit = 0;
501       }
502
503   retval = (char *) malloc ((only_digit ? 3 : 0) + len + 1);
504
505   if (retval != NULL)
506     {
507       if (only_digit)
508         wp = stpcpy (retval, "iso");
509       else
510         wp = retval;
511
512       for (cnt = 0; cnt < name_len; ++cnt)
513         if (isalpha (codeset[cnt]))
514           *wp++ = tolower (codeset[cnt]);
515         else if (isdigit (codeset[cnt]))
516           *wp++ = codeset[cnt];
517
518       *wp = '\0';
519     }
520
521   return (const char *) retval;
522 }
523
524
525 struct localedef_t *
526 add_to_readlist (int locale, const char *name, const char *repertoire_name,
527                  int generate, struct localedef_t *copy_locale)
528 {
529   struct localedef_t *runp = locales;
530
531   while (runp != NULL && strcmp (name, runp->name) != 0)
532     runp = runp->next;
533
534   if (runp == NULL)
535     {
536       /* Add a new entry at the end.  */
537       struct localedef_t *newp;
538
539       assert (generate == 1);
540
541       newp = xcalloc (1, sizeof (struct localedef_t));
542       newp->name = name;
543       newp->repertoire_name = repertoire_name;
544
545       if (locales == NULL)
546         runp = locales = newp;
547       else
548         {
549           runp = locales;
550           while (runp->next != NULL)
551             runp = runp->next;
552           runp = runp->next = newp;
553         }
554     }
555
556   if (generate && (runp->needed & (1 << locale)) != 0)
557     WITH_CUR_LOCALE (error (5, 0, _("\
558 circular dependencies between locale definitions")));
559
560   if (copy_locale != NULL)
561     {
562       if (runp->categories[locale].generic != NULL)
563         WITH_CUR_LOCALE (error (5, 0, _("\
564 cannot add already read locale `%s' a second time"), name));
565       else
566         runp->categories[locale].generic =
567           copy_locale->categories[locale].generic;
568     }
569
570   runp->needed |= 1 << locale;
571
572   return runp;
573 }
574
575
576 struct localedef_t *
577 find_locale (int locale, const char *name, const char *repertoire_name,
578              const struct charmap_t *charmap)
579 {
580   struct localedef_t *result;
581
582   /* Find the locale, but do not generate it since this would be a bug.  */
583   result = add_to_readlist (locale, name, repertoire_name, 0, NULL);
584
585   assert (result != NULL);
586
587   if ((result->avail & (1 << locale)) == 0
588       && locfile_read (result, charmap) != 0)
589     WITH_CUR_LOCALE (error (4, errno, _("\
590 cannot open locale definition file `%s'"), result->name));
591
592   return result;
593 }
594
595
596 struct localedef_t *
597 load_locale (int locale, const char *name, const char *repertoire_name,
598              const struct charmap_t *charmap, struct localedef_t *copy_locale)
599 {
600   struct localedef_t *result;
601
602   /* Generate the locale if it does not exist.  */
603   result = add_to_readlist (locale, name, repertoire_name, 1, copy_locale);
604
605   assert (result != NULL);
606
607   if ((result->avail & (1 << locale)) == 0
608       && locfile_read (result, charmap) != 0)
609     WITH_CUR_LOCALE (error (4, errno, _("\
610 cannot open locale definition file `%s'"), result->name));
611
612   return result;
613 }
614
615 static void
616 turn_on_mcheck (void)
617 {
618   /* Enable `malloc' debugging.  */
619   mcheck (NULL);
620   /* Use the following line for a more thorough but much slower testing.  */
621   /* mcheck_pedantic (NULL); */
622 }
623
624 void (*__malloc_initialize_hook) (void) = turn_on_mcheck;