assert.h isn't used anymore, remove inclusion.
[kopensolaris-gnu/glibc.git] / locale / programs / localedef.c
1 /* Copyright (C) 1995, 1996, 1997, 1998, 1999 Free Software Foundation, Inc.
2    This file is part of the GNU C Library.
3    Contributed by Ulrich Drepper <drepper@gnu.ai.mit.edu>, 1995.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Library General Public License as
7    published by the Free Software Foundation; either version 2 of the
8    License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Library General Public License for more details.
14
15    You should have received a copy of the GNU Library General Public
16    License along with the GNU C Library; see the file COPYING.LIB.  If not,
17    write to the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
18    Boston, MA 02111-1307, USA.  */
19
20 #ifdef HAVE_CONFIG_H
21 # include <config.h>
22 #endif
23
24 #include <argp.h>
25 #include <errno.h>
26 #include <fcntl.h>
27 #include <libintl.h>
28 #include <locale.h>
29 #include <stdio.h>
30 #include <stdlib.h>
31 #include <string.h>
32 #include <unistd.h>
33 #ifdef _POSIX2_LOCALEDEF
34 # include <sys/mman.h>
35 #endif
36 #include <sys/stat.h>
37
38 #include "error.h"
39 #include "charset.h"
40 #include "locfile.h"
41 #include "locales.h"
42
43
44 /* This is a special entry of the copylist.  For all categories we don't
45    have a definition we use the data for the POSIX locale.  */
46 struct copy_def_list_t copy_posix =
47 {
48   next: NULL,
49   name: "POSIX",
50   mask: (1 << LC_ALL) - 1,
51   locale: NULL
52 };
53
54
55 /* List of copied locales.  */
56 struct copy_def_list_t *copy_list;
57
58 /* If this is defined be POSIX conform.  */
59 int posix_conformance;
60
61 /* If not zero give a lot more messages.  */
62 int verbose;
63
64 /* If not zero suppress warnings and information messages.  */
65 int be_quiet;
66
67 /* If not zero force output even if warning were issued.  */
68 static int force_output;
69
70 /* Name of the character map file.  */
71 static const char *charmap_file;
72
73 /* Name of the locale definition file.  */
74 static const char *input_file;
75
76 /* Name of the repertoire map file.  */
77 const char *repertoiremap;
78
79
80 /* Name and version of program.  */
81 static void print_version (FILE *stream, struct argp_state *state);
82 void (*argp_program_version_hook) (FILE *, struct argp_state *) = print_version;
83
84 #define OPT_POSIX 1
85 #define OPT_QUIET 2
86
87 /* Definitions of arguments for argp functions.  */
88 static const struct argp_option options[] =
89 {
90   { NULL, 0, NULL, 0, N_("Input Files:") },
91   { "charmap", 'f', N_("FILE"), 0,
92     N_("Symbolic character names defined in FILE") },
93   { "inputfile", 'i', N_("FILE"), 0,
94     N_("Source definitions are found in FILE") },
95   { "repertoire-map", 'u', N_("FILE"), 0,
96     N_("FILE contains mapping from symbolic names to UCS4 values") },
97
98   { NULL, 0, NULL, 0, N_("Output control:") },
99   { "force", 'c', NULL, 0,
100     N_("Create output even if warning messages were issued") },
101   { "posix", OPT_POSIX, NULL, 0, N_("Be strictly POSIX conform") },
102   { "quiet", OPT_QUIET, NULL, 0,
103     N_("Suppress warnings and information messages") },
104   { "verbose", 'v', NULL, 0, N_("Print more messages") },
105   { NULL, 0, NULL, 0, NULL }
106 };
107
108 /* Short description of program.  */
109 static const char doc[] = N_("Compile locale specification");
110
111 /* Strings for arguments in help texts.  */
112 static const char args_doc[] = N_("NAME");
113
114 /* Prototype for option handler.  */
115 static error_t parse_opt (int key, char *arg, struct argp_state *state);
116
117 /* Function to print some extra text in the help message.  */
118 static char *more_help (int key, const char *text, void *input);
119
120 /* Data structure to communicate with argp functions.  */
121 static struct argp argp =
122 {
123   options, parse_opt, args_doc, doc, NULL, more_help
124 };
125
126
127 /* Prototypes for global functions.  */
128 void *xmalloc (size_t __n);
129
130 /* Prototypes for local functions.  */
131 static void error_print (void);
132 static const char *construct_output_path (char *path);
133 static const char *normalize_codeset (const char *codeset, size_t name_len);
134
135
136 int
137 main (int argc, char *argv[])
138 {
139   const char *output_path;
140   int cannot_write_why;
141   struct charset_t *charset;
142   struct localedef_t *localedef;
143   struct copy_def_list_t *act_add_locdef;
144   int remaining;
145
146   /* Set initial values for global variables.  */
147   posix_conformance = getenv ("POSIXLY_CORRECT") != NULL;
148   error_print_progname = error_print;
149
150   /* Set locale.  Do not set LC_ALL because the other categories must
151      not be affected (according to POSIX.2).  */
152   setlocale (LC_MESSAGES, "");
153   setlocale (LC_CTYPE, "");
154
155   /* Initialize the message catalog.  */
156   textdomain (_libc_intl_domainname);
157
158   /* Parse and process arguments.  */
159   argp_err_exit_status = 4;
160   argp_parse (&argp, argc, argv, 0, &remaining, NULL);
161
162   /* POSIX.2 requires to be verbose about missing characters in the
163      character map.  */
164   verbose |= posix_conformance;
165
166   if (argc - remaining != 1)
167     {
168       /* We need exactly one non-option parameter.  */
169       argp_help (&argp, stdout, ARGP_HELP_SEE | ARGP_HELP_EXIT_ERR,
170                  program_invocation_short_name);
171       exit (4);
172     }
173
174   /* The parameter describes the output path of the constructed files.
175      If the described files cannot be written return a NULL pointer.  */
176   output_path  = construct_output_path (argv[remaining]);
177   cannot_write_why = errno;
178
179   /* Now that the parameters are processed we have to reset the local
180      ctype locale.  (P1003.2 4.35.5.2)  */
181   setlocale (LC_CTYPE, "POSIX");
182
183   /* Look whether the system really allows locale definitions.  POSIX
184      defines error code 3 for this situation so I think it must be
185      a fatal error (see P1003.2 4.35.8).  */
186   if (sysconf (_SC_2_LOCALEDEF) < 0)
187     error (3, 0, _("FATAL: system does not define `_POSIX2_LOCALEDEF'"));
188
189   /* Process charmap file.  */
190   charset = charmap_read (charmap_file);
191
192   /* Now read the locale file.  */
193   localedef = locfile_read (input_file, charset);
194   if (localedef->failed != 0)
195     error (4, errno, _("cannot open locale definition file `%s'"), input_file);
196
197   /* Make sure all categories are defined.  */
198   copy_posix.next = copy_list;
199   copy_list = &copy_posix;
200
201   /* Perhaps we saw some `copy' instructions.  Process the given list.
202      We use a very simple algorithm: we look up the list from the
203      beginning every time.  */
204   do
205     {
206       int cat;
207
208       for (act_add_locdef = copy_list; act_add_locdef != NULL;
209            act_add_locdef = act_add_locdef->next)
210         {
211           for (cat = LC_CTYPE; cat <= LC_MESSAGES; ++cat)
212             if ((act_add_locdef->mask & (1 << cat)) != 0)
213               {
214                 act_add_locdef->mask &= ~(1 << cat);
215                 break;
216               }
217           if (cat <= LC_MESSAGES)
218             break;
219         }
220
221       if (act_add_locdef != NULL)
222         {
223           int avail = 0;
224
225           if (act_add_locdef->locale == NULL)
226             {
227               /* Saving the mask is an ugly trick to prevent the reader
228                  from modifying `copy_posix' if we currently process it.  */
229               int save_mask = act_add_locdef->mask;
230               act_add_locdef->locale = locfile_read (act_add_locdef->name,
231                                                      charset);
232               act_add_locdef->mask = save_mask;
233             }
234
235           if (! act_add_locdef->locale->failed)
236             {
237               avail = act_add_locdef->locale->categories[cat].generic != NULL;
238               if (avail)
239                 {
240                   localedef->categories[cat].generic
241                     = act_add_locdef->locale->categories[cat].generic;
242                   localedef->avail |= 1 << cat;
243                 }
244             }
245
246           if (! avail)
247             {
248               static const char *locale_names[] =
249               {
250                 "LC_COLLATE", "LC_CTYPE", "LC_MONETARY",
251                 "LC_NUMERIC", "LC_TIME", "LC_MESSAGES"
252               };
253               char *fname;
254               int fd;
255               struct stat st;
256
257               asprintf (&fname, LOCALEDIR "/%s/%s", act_add_locdef->name,
258                         locale_names[cat]);
259               fd = open (fname, O_RDONLY);
260               if (fd == -1)
261                 {
262                   free (fname);
263
264                   asprintf (&fname, LOCALEDIR "/%s/%s/SYS_%s",
265                             act_add_locdef->name, locale_names[cat],
266                             locale_names[cat]);
267
268                   fd = open (fname, O_RDONLY);
269                   if (fd == -1)
270                     error (5, 0, _("\
271 locale file `%s', used in `copy' statement, not found"),
272                            act_add_locdef->name);
273                 }
274
275               if (fstat (fd, &st) < 0)
276                 error (5, errno, _("\
277 cannot `stat' locale file `%s'"),
278                        fname);
279
280               localedef->len[cat] = st.st_size;
281 #ifdef _POSIX_MAPPED_FILES
282               localedef->categories[cat].generic
283                 = mmap (NULL, st.st_size, PROT_READ, MAP_PRIVATE, fd, 0);
284
285               if (localedef->categories[cat].generic == MAP_FAILED)
286 #endif  /* _POSIX_MAPPED_FILES */
287                 {
288                   size_t left = st.st_size;
289                   void *read_ptr;
290
291                   localedef->categories[cat].generic
292                     = xmalloc (st.st_size);
293                   read_ptr = localedef->categories[cat].generic;
294
295                   do
296                     {
297                       long int n;
298                       n = read (fd, read_ptr, left);
299                       if (n == -1)
300                         error (5, errno, _("cannot read locale file `%s'"),
301                                fname);
302                       read_ptr += n;
303                       left -= n;
304                     }
305                   while (left > 0);
306                 }
307
308               close (fd);
309               free (fname);
310
311               localedef->binary |= 1 << cat;
312             }
313         }
314     }
315   while (act_add_locdef != NULL);
316
317   /* Check the categories we processed in source form.  */
318   check_all_categories (localedef, charset);
319
320   /* We are now able to write the data files.  If warning were given we
321      do it only if it is explicitly requested (--force).  */
322   if (error_message_count == 0 || force_output != 0)
323     {
324       if (cannot_write_why != 0)
325         error (4, cannot_write_why, _("cannot write output files to `%s'"),
326                output_path);
327       else
328         write_all_categories (localedef, charset, output_path);
329     }
330   else
331     error (4, 0, _("no output file produced because warning were issued"));
332
333   /* This exit status is prescribed by POSIX.2 4.35.7.  */
334   exit (error_message_count != 0);
335 }
336
337
338 /* Handle program arguments.  */
339 static error_t
340 parse_opt (int key, char *arg, struct argp_state *state)
341 {
342   switch (key)
343     {
344     case OPT_QUIET:
345       be_quiet = 1;
346       break;
347     case OPT_POSIX:
348       posix_conformance = 1;
349       break;
350     case 'c':
351       force_output = 1;
352       break;
353     case 'f':
354       charmap_file = arg;
355       break;
356     case 'i':
357       input_file = arg;
358       break;
359     case 'u':
360       repertoiremap = arg;
361       break;
362     case 'v':
363       verbose = 1;
364       break;
365     default:
366       return ARGP_ERR_UNKNOWN;
367     }
368   return 0;
369 }
370
371
372 static char *
373 more_help (int key, const char *text, void *input)
374 {
375   char *cp;
376
377   switch (key)
378     {
379     case ARGP_KEY_HELP_EXTRA:
380       /* We print some extra information.  */
381       asprintf (&cp, gettext ("\
382 System's directory for character maps : %s\n\
383                        repertoire maps: %s\n\
384                        locale path    : %s\n\
385 %s"),
386                 CHARMAP_PATH, REPERTOIREMAP_PATH, LOCALE_PATH, gettext ("\
387 Report bugs using the `glibcbug' script to <bugs@gnu.org>.\n"));
388       return cp;
389     default:
390       break;
391     }
392   return (char *) text;
393 }
394
395 /* Print the version information.  */
396 static void
397 print_version (FILE *stream, struct argp_state *state)
398 {
399   fprintf (stream, "localedef (GNU %s) %s\n", PACKAGE, VERSION);
400   fprintf (stream, gettext ("\
401 Copyright (C) %s Free Software Foundation, Inc.\n\
402 This is free software; see the source for copying conditions.  There is NO\n\
403 warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.\n\
404 "), "1999");
405   fprintf (stream, gettext ("Written by %s.\n"), "Ulrich Drepper");
406 }
407
408
409 void
410 def_to_process (const char *name, int category)
411 {
412   struct copy_def_list_t *new, **rp;
413
414   for (rp = &copy_list; *rp != NULL; rp = &(*rp)->next)
415     if (strcmp (name, (*rp)->name) == 0)
416       break;
417
418   if (*rp == NULL)
419     {
420       size_t cnt;
421
422       *rp = (struct copy_def_list_t *) xmalloc (sizeof (**rp));
423
424       (*rp)->next = NULL;
425       (*rp)->name = name;
426       (*rp)->mask = 0;
427       (*rp)->locale = NULL;
428
429       for (cnt = 0; cnt < 6; ++cnt)
430         {
431           (*rp)->binary[cnt].data = NULL;
432           (*rp)->binary[cnt].len = 0;
433         }
434     }
435   new = *rp;
436
437   if ((new->mask & category) != 0)
438     /* We already have the information.  This cannot happen.  */
439     error (5, 0, _("\
440 category data requested more than once: should not happen"));
441
442   new->mask |= category;
443 }
444
445
446 /* The address of this function will be assigned to the hook in the error
447    functions.  */
448 static void
449 error_print ()
450 {
451   /* We don't want the program name to be printed in messages.  Emacs'
452      compile.el does not like this.  */
453 }
454
455
456 /* The parameter to localedef describes the output path.  If it does
457    contain a '/' character it is a relative path.  Otherwise it names the
458    locale this definition is for.  */
459 static const char *
460 construct_output_path (char *path)
461 {
462   const char *normal = NULL;
463   char *result;
464
465   if (strchr (path, '/') == NULL)
466     {
467       /* This is a system path.  First examine whether the locale name
468          contains a reference to the codeset.  This should be
469          normalized.  */
470       char *startp, *endp;
471
472       startp = path;
473       /* We must be prepared for finding a CEN name or a location of
474          the introducing `.' where it is not possible anymore.  */
475       while (*startp != '\0' && *startp != '@' && *startp != '.'
476              && *startp != '+' && *startp != ',')
477         ++startp;
478       if (*startp == '.')
479         {
480           /* We found a codeset specification.  Now find the end.  */
481           endp = ++startp;
482           while (*endp != '\0' && *endp != '@')
483             ++endp;
484
485           if (endp > startp)
486             normal = normalize_codeset (startp, endp - startp);
487         }
488       else
489         /* This is to keep gcc quiet.  */
490         endp = NULL;
491
492       /* We put an additional '\0' at the end of the string because at
493          the end of the function we need another byte for the trailing
494          '/'.  */
495       if (normal == NULL)
496         asprintf (&result, "%s/%s%c", LOCALEDIR, path, '\0');
497       else
498         asprintf (&result, "%s/%.*s%s%s%c", LOCALEDIR, startp - path, path,
499                   normal, endp, '\0');
500     }
501   else
502     {
503       /* This is a user path.  Please note the additional byte in the
504          memory allocation.  */
505       result = xmalloc (strlen (path) + 2);
506       strcpy (result, path);
507     }
508
509   errno = 0;
510
511   if (euidaccess (result, W_OK) == -1)
512     /* Perhaps the directory does not exist now.  Try to create it.  */
513     if (errno == ENOENT)
514       {
515         errno = 0;
516         mkdir (result, 0777);
517       }
518
519   strcat (result, "/");
520
521   return result;
522 }
523
524 /* Normalize codeset name.  There is no standard for the codeset
525    names.  Normalization allows the user to use any of the common
526    names.  */
527 static const char *
528 normalize_codeset (codeset, name_len)
529      const char *codeset;
530      size_t name_len;
531 {
532   int len = 0;
533   int only_digit = 1;
534   char *retval;
535   char *wp;
536   size_t cnt;
537
538   for (cnt = 0; cnt < name_len; ++cnt)
539     if (isalnum (codeset[cnt]))
540       {
541         ++len;
542
543         if (isalpha (codeset[cnt]))
544           only_digit = 0;
545       }
546
547   retval = (char *) malloc ((only_digit ? 3 : 0) + len + 1);
548
549   if (retval != NULL)
550     {
551       if (only_digit)
552         wp = stpcpy (retval, "iso");
553       else
554         wp = retval;
555
556       for (cnt = 0; cnt < name_len; ++cnt)
557         if (isalpha (codeset[cnt]))
558           *wp++ = _tolower (codeset[cnt]);
559         else if (isdigit (codeset[cnt]))
560           *wp++ = codeset[cnt];
561
562       *wp = '\0';
563     }
564
565   return (const char *) retval;
566 }