Fix condition for defining unaligned loop. Add some more security checks.
[kopensolaris-gnu/glibc.git] / iconv / loop.c
1 /* Conversion loop frame work.
2    Copyright (C) 1998, 1999, 2000, 2001, 2002 Free Software Foundation, Inc.
3    This file is part of the GNU C Library.
4    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1998.
5
6    The GNU C Library is free software; you can redistribute it and/or
7    modify it under the terms of the GNU Lesser General Public
8    License as published by the Free Software Foundation; either
9    version 2.1 of the License, or (at your option) any later version.
10
11    The GNU C Library is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14    Lesser General Public License for more details.
15
16    You should have received a copy of the GNU Lesser General Public
17    License along with the GNU C Library; if not, write to the Free
18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
19    02111-1307 USA.  */
20
21 /* This file provides a frame for the reader loop in all conversion modules.
22    The actual code must (of course) be provided in the actual module source
23    code but certain actions can be written down generically, with some
24    customization options which are these:
25
26      MIN_NEEDED_INPUT   minimal number of input bytes needed for the next
27                         conversion.
28      MIN_NEEDED_OUTPUT  minimal number of bytes produced by the next round
29                         of conversion.
30
31      MAX_NEEDED_INPUT   you guess it, this is the maximal number of input
32                         bytes needed.  It defaults to MIN_NEEDED_INPUT
33      MAX_NEEDED_OUTPUT  likewise for output bytes.
34
35      LOOPFCT            name of the function created.  If not specified
36                         the name is `loop' but this prevents the use
37                         of multiple functions in the same file.
38
39      BODY               this is supposed to expand to the body of the loop.
40                         The user must provide this.
41
42      EXTRA_LOOP_DECLS   extra arguments passed from converion loop call.
43
44      INIT_PARAMS        code to define and initialize variables from params.
45      UPDATE_PARAMS      code to store result in params.
46 */
47
48 #include <assert.h>
49 #include <endian.h>
50 #include <gconv.h>
51 #include <stdint.h>
52 #include <string.h>
53 #include <wchar.h>
54 #include <sys/param.h>          /* For MIN.  */
55 #define __need_size_t
56 #include <stddef.h>
57
58
59 /* We have to provide support for machines which are not able to handled
60    unaligned memory accesses.  Some of the character encodings have
61    representations with a fixed width of 2 or 4 bytes.  But if we cannot
62    access unaligned memory we still have to read byte-wise.  */
63 #undef FCTNAME2
64 #if defined _STRING_ARCH_unaligned || !defined DEFINE_UNALIGNED
65 /* We can handle unaligned memory access.  */
66 # define get16(addr) *((__const uint16_t *) (addr))
67 # define get32(addr) *((__const uint32_t *) (addr))
68
69 /* We need no special support for writing values either.  */
70 # define put16(addr, val) *((uint16_t *) (addr)) = (val)
71 # define put32(addr, val) *((uint32_t *) (addr)) = (val)
72
73 # define FCTNAME2(name) name
74 #else
75 /* Distinguish between big endian and little endian.  */
76 # if __BYTE_ORDER == __LITTLE_ENDIAN
77 #  define get16(addr) \
78      (((__const unsigned char *) (addr))[1] << 8                              \
79       | ((__const unsigned char *) (addr))[0])
80 #  define get32(addr) \
81      (((((__const unsigned char *) (addr))[3] << 8                            \
82         | ((__const unsigned char *) (addr))[2]) << 8                         \
83        | ((__const unsigned char *) (addr))[1]) << 8                          \
84       | ((__const unsigned char *) (addr))[0])
85
86 #  define put16(addr, val) \
87      ({ uint16_t __val = (val);                                               \
88         ((unsigned char *) (addr))[0] = __val;                                \
89         ((unsigned char *) (addr))[1] = __val >> 8;                           \
90         (void) 0; })
91 #  define put32(addr, val) \
92      ({ uint32_t __val = (val);                                               \
93         ((unsigned char *) (addr))[0] = __val;                                \
94         __val >>= 8;                                                          \
95         ((unsigned char *) (addr))[1] = __val;                                \
96         __val >>= 8;                                                          \
97         ((unsigned char *) (addr))[2] = __val;                                \
98         __val >>= 8;                                                          \
99         ((unsigned char *) (addr))[3] = __val;                                \
100         (void) 0; })
101 # else
102 #  define get16(addr) \
103      (((__const unsigned char *) (addr))[0] << 8                              \
104       | ((__const unsigned char *) (addr))[1])
105 #  define get32(addr) \
106      (((((__const unsigned char *) (addr))[0] << 8                            \
107         | ((__const unsigned char *) (addr))[1]) << 8                         \
108        | ((__const unsigned char *) (addr))[2]) << 8                          \
109       | ((__const unsigned char *) (addr))[3])
110
111 #  define put16(addr, val) \
112      ({ uint16_t __val = (val);                                               \
113         ((unsigned char *) (addr))[1] = __val;                                \
114         ((unsigned char *) (addr))[0] = __val >> 8;                           \
115         (void) 0; })
116 #  define put32(addr, val) \
117      ({ uint32_t __val = (val);                                               \
118         ((unsigned char *) (addr))[3] = __val;                                \
119         __val >>= 8;                                                          \
120         ((unsigned char *) (addr))[2] = __val;                                \
121         __val >>= 8;                                                          \
122         ((unsigned char *) (addr))[1] = __val;                                \
123         __val >>= 8;                                                          \
124         ((unsigned char *) (addr))[0] = __val;                                \
125         (void) 0; })
126 # endif
127
128 # define FCTNAME2(name) name##_unaligned
129 #endif
130 #define FCTNAME(name) FCTNAME2(name)
131
132
133 /* We need at least one byte for the next round.  */
134 #ifndef MIN_NEEDED_INPUT
135 # error "MIN_NEEDED_INPUT definition missing"
136 #elif MIN_NEEDED_INPUT < 1
137 # error "MIN_NEEDED_INPUT must be >= 1"
138 #endif
139
140 /* Let's see how many bytes we produce.  */
141 #ifndef MAX_NEEDED_INPUT
142 # define MAX_NEEDED_INPUT       MIN_NEEDED_INPUT
143 #endif
144
145 /* We produce at least one byte in the next round.  */
146 #ifndef MIN_NEEDED_OUTPUT
147 # error "MIN_NEEDED_OUTPUT definition missing"
148 #elif MIN_NEEDED_INPUT < 1
149 # error "MIN_NEEDED_INPUT must be >= 1"
150 #endif
151
152 /* Let's see how many bytes we produce.  */
153 #ifndef MAX_NEEDED_OUTPUT
154 # define MAX_NEEDED_OUTPUT      MIN_NEEDED_OUTPUT
155 #endif
156
157 /* Default name for the function.  */
158 #ifndef LOOPFCT
159 # define LOOPFCT                loop
160 #endif
161
162 /* Make sure we have a loop body.  */
163 #ifndef BODY
164 # error "Definition of BODY missing for function" LOOPFCT
165 #endif
166
167
168 /* If no arguments have to passed to the loop function define the macro
169    as empty.  */
170 #ifndef EXTRA_LOOP_DECLS
171 # define EXTRA_LOOP_DECLS
172 #endif
173
174
175 /* To make it easier for the writers of the modules, we define a macro
176    to test whether we have to ignore errors.  */
177 #define ignore_errors_p() \
178   (irreversible != NULL && (flags & __GCONV_IGNORE_ERRORS))
179
180
181 /* Error handling with transliteration/transcription function use and
182    ignoring of errors.  Note that we cannot use the do while (0) trick
183    since `break' and `continue' must reach certain points.  */
184 #define STANDARD_ERR_HANDLER(Incr) \
185   {                                                                           \
186     struct __gconv_trans_data *trans;                                         \
187                                                                               \
188     result = __GCONV_ILLEGAL_INPUT;                                           \
189                                                                               \
190     if (irreversible == NULL)                                                 \
191       /* This means we are in call from __gconv_transliterate.  In this       \
192          case we are not doing any error recovery outself.  */                \
193       break;                                                                  \
194                                                                               \
195     /* First try the transliteration methods.  */                             \
196     for (trans = step_data->__trans; trans != NULL; trans = trans->__next)    \
197       {                                                                       \
198         result = DL_CALL_FCT (trans->__trans_fct,                             \
199                               (step, step_data, trans->__data, *inptrp,       \
200                                &inptr, inend, &outptr, irreversible));        \
201         if (result != __GCONV_ILLEGAL_INPUT)                                  \
202           break;                                                              \
203       }                                                                       \
204     /* If any of them recognized the input continue with the loop.  */        \
205     if (result != __GCONV_ILLEGAL_INPUT)                                      \
206       continue;                                                               \
207                                                                               \
208     /* Next see whether we have to ignore the error.  If not, stop.  */       \
209     if (! ignore_errors_p ())                                                 \
210       break;                                                                  \
211                                                                               \
212     /* When we come here it means we ignore the character.  */                \
213     ++*irreversible;                                                          \
214     inptr += Incr;                                                            \
215     continue;                                                                 \
216   }
217
218
219 /* Handling of Unicode 3.1 TAG characters.  Unicode recommends
220    "If language codes are not relevant to the particular processing
221     operation, then they should be ignored."
222    This macro is usually called right before STANDARD_ERR_HANDLER (Incr).  */
223 #define UNICODE_TAG_HANDLER(Character, Incr) \
224   {                                                                           \
225     /* TAG characters are those in the range U+E0000..U+E007F.  */            \
226     if (((Character) >> 7) == (0xe0000 >> 7))                                 \
227       {                                                                       \
228         inptr += Incr;                                                        \
229         continue;                                                             \
230       }                                                                       \
231   }
232
233
234 /* The function returns the status, as defined in gconv.h.  */
235 static inline int
236 FCTNAME (LOOPFCT) (struct __gconv_step *step,
237                    struct __gconv_step_data *step_data,
238                    const unsigned char **inptrp, const unsigned char *inend,
239                    unsigned char **outptrp, const unsigned char *outend,
240                    size_t *irreversible EXTRA_LOOP_DECLS)
241 {
242 #ifdef LOOP_NEED_STATE
243   mbstate_t *state = step_data->__statep;
244 #endif
245 #ifdef LOOP_NEED_FLAGS
246   int flags = step_data->__flags;
247 #endif
248 #ifdef LOOP_NEED_DATA
249   void *data = step->__data;
250 #endif
251   int result = __GCONV_EMPTY_INPUT;
252   const unsigned char *inptr = *inptrp;
253   unsigned char *outptr = *outptrp;
254
255 #ifdef INIT_PARAMS
256   INIT_PARAMS;
257 #endif
258
259   while (inptr != inend)
260     {
261       /* `if' cases for MIN_NEEDED_OUTPUT ==/!= 1 is made to help the
262          compiler generating better code.  They will be optimized away
263          since MIN_NEEDED_OUTPUT is always a constant.  */
264       if ((MIN_NEEDED_OUTPUT != 1
265            && __builtin_expect (outptr + MIN_NEEDED_OUTPUT > outend, 0))
266           || (MIN_NEEDED_OUTPUT == 1
267               && __builtin_expect (outptr >= outend, 0)))
268         {
269           /* Overflow in the output buffer.  */
270           result = __GCONV_FULL_OUTPUT;
271           break;
272         }
273       if (MIN_NEEDED_INPUT > 1
274           && __builtin_expect (inptr + MIN_NEEDED_INPUT > inend, 0))
275         {
276           /* We don't have enough input for another complete input
277              character.  */
278           result = __GCONV_INCOMPLETE_INPUT;
279           break;
280         }
281
282       /* Here comes the body the user provides.  It can stop with
283          RESULT set to GCONV_INCOMPLETE_INPUT (if the size of the
284          input characters vary in size), GCONV_ILLEGAL_INPUT, or
285          GCONV_FULL_OUTPUT (if the output characters vary in size).  */
286       BODY
287     }
288
289   /* Update the pointers pointed to by the parameters.  */
290   *inptrp = inptr;
291   *outptrp = outptr;
292 #ifdef UPDATE_PARAMS
293   UPDATE_PARAMS;
294 #endif
295
296   return result;
297 }
298
299
300 /* Include the file a second time to define the function to handle
301    unaligned access.  */
302 #if !defined DEFINE_UNALIGNED && !defined _STRING_ARCH_unaligned \
303     && MIN_NEEDED_INPUT != 1 && MAX_NEEDED_INPUT % MIN_NEEDED_INPUT == 0 \
304     && MIN_NEEDED_OUTPUT != 1 && MAX_NEEDED_OUTPUT % MIN_NEEDED_OUTPUT == 0
305 # undef get16
306 # undef get32
307 # undef put16
308 # undef put32
309 # undef unaligned
310
311 # define DEFINE_UNALIGNED
312 # include "loop.c"
313 # undef DEFINE_UNALIGNED
314 #endif
315
316
317 #if MAX_NEEDED_INPUT > 1
318 # define SINGLE(fct) SINGLE2 (fct)
319 # define SINGLE2(fct) fct##_single
320 static inline int
321 SINGLE(LOOPFCT) (struct __gconv_step *step,
322                  struct __gconv_step_data *step_data,
323                  const unsigned char **inptrp, const unsigned char *inend,
324                  unsigned char **outptrp, unsigned char *outend,
325                  size_t *irreversible EXTRA_LOOP_DECLS)
326 {
327   mbstate_t *state = step_data->__statep;
328 #ifdef LOOP_NEED_FLAGS
329   int flags = step_data->__flags;
330 #endif
331 #ifdef LOOP_NEED_DATA
332   void *data = step->__data;
333 #endif
334   int result = __GCONV_OK;
335   unsigned char bytebuf[MAX_NEEDED_INPUT];
336   const unsigned char *inptr = *inptrp;
337   unsigned char *outptr = *outptrp;
338   size_t inlen;
339
340 #ifdef INIT_PARAMS
341   INIT_PARAMS;
342 #endif
343
344 #ifdef UNPACK_BYTES
345   UNPACK_BYTES
346 #else
347   /* Add the bytes from the state to the input buffer.  */
348   for (inlen = 0; inlen < (size_t) (state->__count & 7); ++inlen)
349     bytebuf[inlen] = state->__value.__wchb[inlen];
350 #endif
351
352   /* Are there enough bytes in the input buffer?  */
353   if (__builtin_expect (inptr + (MIN_NEEDED_INPUT - inlen) > inend, 0))
354     {
355       *inptrp = inend;
356 #ifdef STORE_REST
357       inptr = bytebuf;
358       inptrp = &inptr;
359       inend = &bytebuf[inlen];
360
361       STORE_REST
362 #else
363       /* We don't have enough input for another complete input
364          character.  */
365       while (inptr < inend)
366         state->__value.__wchb[inlen++] = *inptr++;
367 #endif
368
369       return __GCONV_INCOMPLETE_INPUT;
370     }
371
372   /* Enough space in output buffer.  */
373   if ((MIN_NEEDED_OUTPUT != 1 && outptr + MIN_NEEDED_OUTPUT > outend)
374       || (MIN_NEEDED_OUTPUT == 1 && outptr >= outend))
375     /* Overflow in the output buffer.  */
376     return __GCONV_FULL_OUTPUT;
377
378   /*  Now add characters from the normal input buffer.  */
379   do
380     bytebuf[inlen++] = *inptr++;
381   while (inlen < MAX_NEEDED_INPUT && inptr < inend);
382
383   inptr = bytebuf;
384   inend = &bytebuf[inlen];
385
386   do
387     {
388       BODY
389     }
390   while (0);
391
392   /* Now we either have produced an output character and consumed all the
393      bytes from the state and at least one more, or the character is still
394      incomplete, or we have some other error (like illegal input character,
395      no space in output buffer).  */
396   if (__builtin_expect (inptr != bytebuf, 1))
397     {
398       /* We found a new character.  */
399       assert (inptr - bytebuf > (state->__count & 7));
400
401       *inptrp += inptr - bytebuf - (state->__count & 7);
402       *outptrp = outptr;
403
404       result = __GCONV_OK;
405
406       /* Clear the state buffer.  */
407       state->__count &= ~7;
408     }
409   else if (result == __GCONV_INCOMPLETE_INPUT)
410     {
411       /* This can only happen if we have less than MAX_NEEDED_INPUT bytes
412          available.  */
413       assert (inend != &bytebuf[MAX_NEEDED_INPUT]);
414
415       *inptrp += inend - bytebuf - (state->__count & 7);
416 #ifdef STORE_REST
417       inptrp = &inptr;
418
419       STORE_REST
420 #else
421       /* We don't have enough input for another complete input
422          character.  */
423       while (inptr < inend)
424         state->__value.__wchb[inlen++] = *inptr++;
425 #endif
426     }
427
428   return result;
429 }
430 # undef SINGLE
431 # undef SINGLE2
432 #endif
433
434
435 /* We remove the macro definitions so that we can include this file again
436    for the definition of another function.  */
437 #undef MIN_NEEDED_INPUT
438 #undef MAX_NEEDED_INPUT
439 #undef MIN_NEEDED_OUTPUT
440 #undef MAX_NEEDED_OUTPUT
441 #undef LOOPFCT
442 #undef BODY
443 #undef LOOPFCT
444 #undef EXTRA_LOOP_DECLS
445 #undef INIT_PARAMS
446 #undef UPDATE_PARAMS
447 #undef UNPACK_BYTES
448 #undef LOOP_NEED_STATE
449 #undef LOOP_NEED_FLAGS
450 #undef LOOP_NEED_DATA
451 #undef get16
452 #undef get32
453 #undef put16
454 #undef put32
455 #undef unaligned