Copyright 2001.
[kopensolaris-gnu/glibc.git] / locale / programs / localedef.c
1 /* Copyright (C) 1995-1999, 2000, 2001 Free Software Foundation, Inc.
2    This file is part of the GNU C Library.
3    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1995.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Library General Public License as
7    published by the Free Software Foundation; either version 2 of the
8    License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Library General Public License for more details.
14
15    You should have received a copy of the GNU Library General Public
16    License along with the GNU C Library; see the file COPYING.LIB.  If not,
17    write to the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18    Boston, MA 02111-1307, USA.  */
19
20 #ifdef HAVE_CONFIG_H
21 # include <config.h>
22 #endif
23
24 #include <argp.h>
25 #include <errno.h>
26 #include <fcntl.h>
27 #include <libintl.h>
28 #include <locale.h>
29 #include <mcheck.h>
30 #include <stdio.h>
31 #include <stdlib.h>
32 #include <string.h>
33 #include <unistd.h>
34 #include <sys/mman.h>
35 #include <sys/stat.h>
36
37 #include "error.h"
38 #include "charmap.h"
39 #include "locfile.h"
40
41 /* Undefine the following line in the production version.  */
42 /* #define NDEBUG 1 */
43 #include <assert.h>
44
45
46 /* List of copied locales.  */
47 struct copy_def_list_t *copy_list;
48
49 /* If this is defined be POSIX conform.  */
50 int posix_conformance;
51
52 /* If not zero give a lot more messages.  */
53 int verbose;
54
55 /* If not zero suppress warnings and information messages.  */
56 int be_quiet;
57
58 /* If not zero, produce old-style hash table instead of 3-level access tables.  */
59 int oldstyle_tables;
60
61 /* If not zero force output even if warning were issued.  */
62 static int force_output;
63
64 /* Prefix for output files.  */
65 const char *output_prefix;
66
67 /* Name of the character map file.  */
68 static const char *charmap_file;
69
70 /* Name of the locale definition file.  */
71 static const char *input_file;
72
73 /* Name of the repertoire map file.  */
74 const char *repertoire_global;
75
76 /* List of all locales.  */
77 static struct localedef_t *locales;
78
79
80 /* Name and version of program.  */
81 static void print_version (FILE *stream, struct argp_state *state);
82 void (*argp_program_version_hook) (FILE *, struct argp_state *) = print_version;
83
84 #define OPT_POSIX 1
85 #define OPT_QUIET 2
86 #define OPT_OLDSTYLE 3
87 #define OPT_PREFIX 4
88
89 /* Definitions of arguments for argp functions.  */
90 static const struct argp_option options[] =
91 {
92   { NULL, 0, NULL, 0, N_("Input Files:") },
93   { "charmap", 'f', "FILE", 0,
94     N_("Symbolic character names defined in FILE") },
95   { "inputfile", 'i', "FILE", 0, N_("Source definitions are found in FILE") },
96   { "repertoire-map", 'u', "FILE", 0,
97     N_("FILE contains mapping from symbolic names to UCS4 values") },
98
99   { NULL, 0, NULL, 0, N_("Output control:") },
100   { "force", 'c', NULL, 0,
101     N_("Create output even if warning messages were issued") },
102   { "old-style", OPT_OLDSTYLE, NULL, 0, N_("Create old-style tables") },
103   { "prefix", OPT_PREFIX, "PATH", 0, N_("Optional output file prefix") },
104   { "posix", OPT_POSIX, NULL, 0, N_("Be strictly POSIX conform") },
105   { "quiet", OPT_QUIET, NULL, 0,
106     N_("Suppress warnings and information messages") },
107   { "verbose", 'v', NULL, 0, N_("Print more messages") },
108   { NULL, 0, NULL, 0, NULL }
109 };
110
111 /* Short description of program.  */
112 static const char doc[] = N_("Compile locale specification");
113
114 /* Strings for arguments in help texts.  */
115 static const char args_doc[] = N_("NAME");
116
117 /* Prototype for option handler.  */
118 static error_t parse_opt (int key, char *arg, struct argp_state *state);
119
120 /* Function to print some extra text in the help message.  */
121 static char *more_help (int key, const char *text, void *input);
122
123 /* Data structure to communicate with argp functions.  */
124 static struct argp argp =
125 {
126   options, parse_opt, args_doc, doc, NULL, more_help
127 };
128
129
130 /* Prototypes for global functions.  */
131 extern void *xmalloc (size_t __n);
132
133 /* Prototypes for local functions.  */
134 static void error_print (void);
135 static const char *construct_output_path (char *path);
136 static const char *normalize_codeset (const char *codeset, size_t name_len);
137
138
139 int
140 main (int argc, char *argv[])
141 {
142   const char *output_path;
143   int cannot_write_why;
144   struct charmap_t *charmap;
145   struct localedef_t global;
146   int remaining;
147
148   /* Set initial values for global variables.  */
149   copy_list = NULL;
150   posix_conformance = getenv ("POSIXLY_CORRECT") != NULL;
151   error_print_progname = error_print;
152
153   /* Set locale.  Do not set LC_ALL because the other categories must
154      not be affected (according to POSIX.2).  */
155   setlocale (LC_MESSAGES, "");
156   setlocale (LC_CTYPE, "");
157
158   /* Initialize the message catalog.  */
159   textdomain (_libc_intl_domainname);
160
161   /* Parse and process arguments.  */
162   argp_err_exit_status = 4;
163   argp_parse (&argp, argc, argv, 0, &remaining, NULL);
164
165   /* POSIX.2 requires to be verbose about missing characters in the
166      character map.  */
167   verbose |= posix_conformance;
168
169   if (argc - remaining != 1)
170     {
171       /* We need exactly one non-option parameter.  */
172       argp_help (&argp, stdout, ARGP_HELP_SEE | ARGP_HELP_EXIT_ERR,
173                  program_invocation_short_name);
174       exit (4);
175     }
176
177   /* The parameter describes the output path of the constructed files.
178      If the described files cannot be written return a NULL pointer.  */
179   output_path  = construct_output_path (argv[remaining]);
180   cannot_write_why = errno;
181
182   /* Now that the parameters are processed we have to reset the local
183      ctype locale.  (P1003.2 4.35.5.2)  */
184   setlocale (LC_CTYPE, "POSIX");
185
186   /* Look whether the system really allows locale definitions.  POSIX
187      defines error code 3 for this situation so I think it must be
188      a fatal error (see P1003.2 4.35.8).  */
189   if (sysconf (_SC_2_LOCALEDEF) < 0)
190     error (3, 0, _("FATAL: system does not define `_POSIX2_LOCALEDEF'"));
191
192   /* Process charmap file.  */
193   charmap = charmap_read (charmap_file);
194
195   /* Add the first entry in the locale list.  */
196   memset (&global, '\0', sizeof (struct localedef_t));
197   global.name = input_file;
198   global.needed = ALL_LOCALES;
199   locales = &global;
200
201   /* Now read the locale file.  */
202   if (locfile_read (&global, charmap) != 0)
203     error (4, errno, _("cannot open locale definition file `%s'"), input_file);
204
205   /* Perhaps we saw some `copy' instructions.  */
206   while (1)
207     {
208       struct localedef_t *runp = locales;
209
210       while (runp != NULL && (runp->needed & runp->avail) == runp->needed)
211         runp = runp->next;
212
213       if (runp == NULL)
214         /* Everything read.  */
215         break;
216
217       if (locfile_read (runp, charmap) != 0)
218         error (4, errno, _("cannot open locale definition file `%s'"),
219                runp->name);
220     }
221
222   /* Check the categories we processed in source form.  */
223   check_all_categories (locales, charmap);
224
225   /* We are now able to write the data files.  If warning were given we
226      do it only if it is explicitly requested (--force).  */
227   if (error_message_count == 0 || force_output != 0)
228     {
229       if (cannot_write_why != 0)
230         error (4, cannot_write_why, _("cannot write output files to `%s'"),
231                output_path);
232       else
233         write_all_categories (locales, charmap, output_path);
234     }
235   else
236     error (4, 0, _("no output file produced because warning were issued"));
237
238   /* This exit status is prescribed by POSIX.2 4.35.7.  */
239   exit (error_message_count != 0);
240 }
241
242
243 /* Handle program arguments.  */
244 static error_t
245 parse_opt (int key, char *arg, struct argp_state *state)
246 {
247   switch (key)
248     {
249     case OPT_QUIET:
250       be_quiet = 1;
251       break;
252     case OPT_POSIX:
253       posix_conformance = 1;
254       break;
255     case OPT_OLDSTYLE:
256       oldstyle_tables = 1;
257       break;
258     case OPT_PREFIX:
259       output_prefix = arg;
260       break;
261     case 'c':
262       force_output = 1;
263       break;
264     case 'f':
265       charmap_file = arg;
266       break;
267     case 'i':
268       input_file = arg;
269       break;
270     case 'u':
271       repertoire_global = arg;
272       break;
273     case 'v':
274       verbose = 1;
275       break;
276     default:
277       return ARGP_ERR_UNKNOWN;
278     }
279   return 0;
280 }
281
282
283 static char *
284 more_help (int key, const char *text, void *input)
285 {
286   char *cp;
287
288   switch (key)
289     {
290     case ARGP_KEY_HELP_EXTRA:
291       /* We print some extra information.  */
292       asprintf (&cp, gettext ("\
293 System's directory for character maps : %s\n\
294                        repertoire maps: %s\n\
295                        locale path    : %s\n\
296 %s"),
297                 CHARMAP_PATH, REPERTOIREMAP_PATH, LOCALE_PATH, gettext ("\
298 Report bugs using the `glibcbug' script to <bugs@gnu.org>.\n"));
299       return cp;
300     default:
301       break;
302     }
303   return (char *) text;
304 }
305
306 /* Print the version information.  */
307 static void
308 print_version (FILE *stream, struct argp_state *state)
309 {
310   fprintf (stream, "localedef (GNU %s) %s\n", PACKAGE, VERSION);
311   fprintf (stream, gettext ("\
312 Copyright (C) %s Free Software Foundation, Inc.\n\
313 This is free software; see the source for copying conditions.  There is NO\n\
314 warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.\n\
315 "), "2001");
316   fprintf (stream, gettext ("Written by %s.\n"), "Ulrich Drepper");
317 }
318
319
320 /* The address of this function will be assigned to the hook in the error
321    functions.  */
322 static void
323 error_print (void)
324 {
325 }
326
327
328 /* The parameter to localedef describes the output path.  If it does
329    contain a '/' character it is a relative path.  Otherwise it names the
330    locale this definition is for.  */
331 static const char *
332 construct_output_path (char *path)
333 {
334   const char *normal = NULL;
335   char *result;
336   char *endp;
337
338   if (strchr (path, '/') == NULL)
339     {
340       /* This is a system path.  First examine whether the locale name
341          contains a reference to the codeset.  This should be
342          normalized.  */
343       char *startp;
344       size_t n;
345
346       startp = path;
347       /* We must be prepared for finding a CEN name or a location of
348          the introducing `.' where it is not possible anymore.  */
349       while (*startp != '\0' && *startp != '@' && *startp != '.'
350              && *startp != '+' && *startp != ',')
351         ++startp;
352       if (*startp == '.')
353         {
354           /* We found a codeset specification.  Now find the end.  */
355           endp = ++startp;
356           while (*endp != '\0' && *endp != '@')
357             ++endp;
358
359           if (endp > startp)
360             normal = normalize_codeset (startp, endp - startp);
361         }
362       else
363         /* This is to keep gcc quiet.  */
364         endp = NULL;
365
366       /* We put an additional '\0' at the end of the string because at
367          the end of the function we need another byte for the trailing
368          '/'.  */
369       if (normal == NULL)
370         n = asprintf (&result, "%s%s/%s%c",
371                       output_prefix ?: "", LOCALEDIR, path, '\0');
372       else
373         n = asprintf (&result, "%s%s/%.*s%s%s%c",
374                       output_prefix ?: "", LOCALEDIR,
375                       (int) (startp - path), path, normal, endp, '\0');
376
377       endp = result + n - 1;
378     }
379   else
380     {
381       /* This is a user path.  Please note the additional byte in the
382          memory allocation.  */
383       size_t len = strlen (path) + 1;
384       result = xmalloc (len + 1);
385       endp = mempcpy (result, path, len) - 1;
386     }
387
388   errno = 0;
389
390   if (euidaccess (result, W_OK) == -1)
391     /* Perhaps the directory does not exist now.  Try to create it.  */
392     if (errno == ENOENT)
393       {
394         errno = 0;
395         mkdir (result, 0777);
396       }
397
398   *endp++ = '/';
399   *endp = '\0';
400
401   return result;
402 }
403
404
405 /* Normalize codeset name.  There is no standard for the codeset
406    names.  Normalization allows the user to use any of the common
407    names.  */
408 static const char *
409 normalize_codeset (codeset, name_len)
410      const char *codeset;
411      size_t name_len;
412 {
413   int len = 0;
414   int only_digit = 1;
415   char *retval;
416   char *wp;
417   size_t cnt;
418
419   for (cnt = 0; cnt < name_len; ++cnt)
420     if (isalnum (codeset[cnt]))
421       {
422         ++len;
423
424         if (isalpha (codeset[cnt]))
425           only_digit = 0;
426       }
427
428   retval = (char *) malloc ((only_digit ? 3 : 0) + len + 1);
429
430   if (retval != NULL)
431     {
432       if (only_digit)
433         wp = stpcpy (retval, "iso");
434       else
435         wp = retval;
436
437       for (cnt = 0; cnt < name_len; ++cnt)
438         if (isalpha (codeset[cnt]))
439           *wp++ = tolower (codeset[cnt]);
440         else if (isdigit (codeset[cnt]))
441           *wp++ = codeset[cnt];
442
443       *wp = '\0';
444     }
445
446   return (const char *) retval;
447 }
448
449
450 struct localedef_t *
451 add_to_readlist (int locale, const char *name, const char *repertoire_name,
452                  int generate, struct localedef_t *copy_locale)
453 {
454   struct localedef_t *runp = locales;
455
456   while (runp != NULL && strcmp (name, runp->name) != 0)
457     runp = runp->next;
458
459   if (runp == NULL)
460     {
461       /* Add a new entry at the end.  */
462       struct localedef_t *newp;
463
464       assert (generate == 1);
465
466       newp = xcalloc (1, sizeof (struct localedef_t));
467       newp->name = name;
468       newp->repertoire_name = repertoire_name;
469
470       if (locales == NULL)
471         runp = locales = newp;
472       else
473         {
474           runp = locales;
475           while (runp->next != NULL)
476             runp = runp->next;
477           runp = runp->next = newp;
478         }
479     }
480
481   if (generate && (runp->needed & (1 << locale)) != 0)
482     error (5, 0, _("circular dependencies between locale definitions"));
483
484   if (copy_locale != NULL)
485     {
486       if (runp->categories[locale].generic != NULL)
487         error (5, 0, _("cannot add already read locale `%s' a second time"),
488                name);
489       else
490         runp->categories[locale].generic =
491           copy_locale->categories[locale].generic;
492     }
493
494   runp->needed |= 1 << locale;
495
496   return runp;
497 }
498
499
500 struct localedef_t *
501 find_locale (int locale, const char *name, const char *repertoire_name,
502              struct charmap_t *charmap)
503 {
504   struct localedef_t *result;
505
506   /* Find the locale, but do not generate it since this would be a bug.  */
507   result = add_to_readlist (locale, name, repertoire_name, 0, NULL);
508
509   assert (result != NULL);
510
511   if ((result->avail & (1 << locale)) == 0
512       && locfile_read (result, charmap) != 0)
513     error (4, errno, _("cannot open locale definition file `%s'"),
514            result->name);
515
516   return result;
517 }
518
519
520 struct localedef_t *
521 load_locale (int locale, const char *name, const char *repertoire_name,
522              struct charmap_t *charmap, struct localedef_t *copy_locale)
523 {
524   struct localedef_t *result;
525
526   /* Generate the locale if it does not exist.  */
527   result = add_to_readlist (locale, name, repertoire_name, 1, copy_locale);
528
529   assert (result != NULL);
530
531   if ((result->avail & (1 << locale)) == 0
532       && locfile_read (result, charmap) != 0)
533     error (4, errno, _("cannot open locale definition file `%s'"),
534            result->name);
535
536   return result;
537 }
538
539 static void
540 turn_on_mcheck (void)
541 {
542   /* Enable `malloc' debugging.  */
543   mcheck (NULL);
544   /* Use the following line for a more thorough but much slower testing.  */
545   /* mcheck_pedantic (NULL); */
546 }
547
548 void (*__malloc_initialize_hook) (void) = turn_on_mcheck;