(tests): Add tst-iconv2.
[kopensolaris-gnu/glibc.git] / iconv / gconv_db.c
index 9f4366b..d003981 100644 (file)
@@ -1,5 +1,5 @@
 /* Provide access to the collection of available transformation modules.
 /* Provide access to the collection of available transformation modules.
-   Copyright (C) 1997, 1998 Free Software Foundation, Inc.
+   Copyright (C) 1997, 1998, 1999, 2000 Free Software Foundation, Inc.
    This file is part of the GNU C Library.
    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1997.
 
    This file is part of the GNU C Library.
    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1997.
 
    write to the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
    Boston, MA 02111-1307, USA.  */
 
    write to the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
    Boston, MA 02111-1307, USA.  */
 
+#include <limits.h>
 #include <search.h>
 #include <stdlib.h>
 #include <string.h>
 #include <search.h>
 #include <stdlib.h>
 #include <string.h>
+#include <sys/param.h>
 #include <bits/libc-lock.h>
 
 #include <bits/libc-lock.h>
 
+#include <dlfcn.h>
 #include <gconv_int.h>
 
 
 #include <gconv_int.h>
 
 
@@ -31,8 +34,7 @@
 void *__gconv_alias_db;
 
 /* Array with available modules.  */
 void *__gconv_alias_db;
 
 /* Array with available modules.  */
-size_t __gconv_nmodules;
-struct gconv_module **__gconv_modules_db;
+struct gconv_module *__gconv_modules_db;
 
 /* We modify global data.   */
 __libc_lock_define_initialized (static, lock)
 
 /* We modify global data.   */
 __libc_lock_define_initialized (static, lock)
@@ -42,9 +44,9 @@ __libc_lock_define_initialized (static, lock)
 int
 __gconv_alias_compare (const void *p1, const void *p2)
 {
 int
 __gconv_alias_compare (const void *p1, const void *p2)
 {
-  struct gconv_alias *s1 = (struct gconv_alias *) p1;
-  struct gconv_alias *s2 = (struct gconv_alias *) p2;
-  return __strcasecmp (s1->fromname, s2->fromname);
+  const struct gconv_alias *s1 = (const struct gconv_alias *) p1;
+  const struct gconv_alias *s2 = (const struct gconv_alias *) p2;
+  return strcmp (s1->fromname, s2->fromname);
 }
 
 
 }
 
 
@@ -54,14 +56,20 @@ __gconv_alias_compare (const void *p1, const void *p2)
 struct derivation_step
 {
   const char *result_set;
 struct derivation_step
 {
   const char *result_set;
+  size_t result_set_len;
+  int cost_lo;
+  int cost_hi;
   struct gconv_module *code;
   struct derivation_step *last;
   struct derivation_step *next;
 };
 
   struct gconv_module *code;
   struct derivation_step *last;
   struct derivation_step *next;
 };
 
-#define NEW_STEP(result, module, last_mod) \
+#define NEW_STEP(result, hi, lo, module, last_mod) \
   ({ struct derivation_step *newp = alloca (sizeof (struct derivation_step)); \
      newp->result_set = result;                                                      \
   ({ struct derivation_step *newp = alloca (sizeof (struct derivation_step)); \
      newp->result_set = result;                                                      \
+     newp->result_set_len = strlen (result);                                 \
+     newp->cost_hi = hi;                                                     \
+     newp->cost_lo = lo;                                                     \
      newp->code = module;                                                    \
      newp->last = last_mod;                                                  \
      newp->next = NULL;                                                              \
      newp->code = module;                                                    \
      newp->last = last_mod;                                                  \
      newp->next = NULL;                                                              \
@@ -74,7 +82,7 @@ struct known_derivation
 {
   const char *from;
   const char *to;
 {
   const char *from;
   const char *to;
-  struct gconv_step *steps;
+  struct __gconv_step *steps;
   size_t nsteps;
 };
 
   size_t nsteps;
 };
 
@@ -82,8 +90,8 @@ struct known_derivation
 static int
 derivation_compare (const void *p1, const void *p2)
 {
 static int
 derivation_compare (const void *p1, const void *p2)
 {
-  struct known_derivation *s1 = (struct known_derivation *) p1;
-  struct known_derivation *s2 = (struct known_derivation *) p2;
+  const struct known_derivation *s1 = (const struct known_derivation *) p1;
+  const struct known_derivation *s2 = (const struct known_derivation *) p2;
   int result;
 
   result = strcmp (s1->from, s2->from);
   int result;
 
   result = strcmp (s1->from, s2->from);
@@ -99,29 +107,29 @@ static void *known_derivations;
 static int
 internal_function
 derivation_lookup (const char *fromset, const char *toset,
 static int
 internal_function
 derivation_lookup (const char *fromset, const char *toset,
-                  struct gconv_step **handle, size_t *nsteps)
+                  struct __gconv_step **handle, size_t *nsteps)
 {
   struct known_derivation key = { fromset, toset, NULL, 0 };
 {
   struct known_derivation key = { fromset, toset, NULL, 0 };
-  struct known_derivation *result;
+  struct known_derivation **result;
 
   result = __tfind (&key, &known_derivations, derivation_compare);
 
   if (result == NULL)
 
   result = __tfind (&key, &known_derivations, derivation_compare);
 
   if (result == NULL)
-    return GCONV_NOCONV;
+    return __GCONV_NOCONV;
 
 
-  *handle = result->steps;
-  *nsteps = result->nsteps;
+  *handle = (*result)->steps;
+  *nsteps = (*result)->nsteps;
 
   /* Please note that we return GCONV_OK even if the last search for
      this transformation was unsuccessful.  */
 
   /* Please note that we return GCONV_OK even if the last search for
      this transformation was unsuccessful.  */
-  return GCONV_OK;
+  return __GCONV_OK;
 }
 
 /* Add new derivation to list of known ones.  */
 static void
 internal_function
 add_derivation (const char *fromset, const char *toset,
 }
 
 /* Add new derivation to list of known ones.  */
 static void
 internal_function
 add_derivation (const char *fromset, const char *toset,
-               struct gconv_step *handle, size_t nsteps)
+               struct __gconv_step *handle, size_t nsteps)
 {
   struct known_derivation *new_deriv;
   size_t fromset_len = strlen (fromset) + 1;
 {
   struct known_derivation *new_deriv;
   size_t fromset_len = strlen (fromset) + 1;
@@ -131,14 +139,17 @@ add_derivation (const char *fromset, const char *toset,
     malloc (sizeof (struct known_derivation) + fromset_len + toset_len);
   if (new_deriv != NULL)
     {
     malloc (sizeof (struct known_derivation) + fromset_len + toset_len);
   if (new_deriv != NULL)
     {
-      new_deriv->from = memcpy (new_deriv + 1, fromset, fromset_len);
-      new_deriv->to = memcpy ((char *) new_deriv->from + fromset_len,
+      new_deriv->from = (char *) (new_deriv + 1);
+      new_deriv->to = memcpy (__mempcpy (new_deriv + 1, fromset, fromset_len),
                              toset, toset_len);
 
       new_deriv->steps = handle;
       new_deriv->nsteps = nsteps;
 
                              toset, toset_len);
 
       new_deriv->steps = handle;
       new_deriv->nsteps = nsteps;
 
-      __tsearch (new_deriv, &known_derivations, derivation_compare);
+      if (__tsearch (new_deriv, &known_derivations, derivation_compare)
+         == NULL)
+       /* There is some kind of memory allocation problem.  */
+       free (new_deriv);
     }
   /* Please note that we don't complain if the allocation failed.  This
      is not tragically but in case we use the memory debugging facilities
     }
   /* Please note that we don't complain if the allocation failed.  This
      is not tragically but in case we use the memory debugging facilities
@@ -146,56 +157,84 @@ add_derivation (const char *fromset, const char *toset,
 }
 
 static void
 }
 
 static void
-internal_function
 free_derivation (void *p)
 {
   struct known_derivation *deriv = (struct known_derivation *) p;
   size_t cnt;
 
   for (cnt = 0; cnt < deriv->nsteps; ++cnt)
 free_derivation (void *p)
 {
   struct known_derivation *deriv = (struct known_derivation *) p;
   size_t cnt;
 
   for (cnt = 0; cnt < deriv->nsteps; ++cnt)
-    if (deriv->steps[cnt].end_fct)
-      (*deriv->steps[cnt].end_fct) (&deriv->steps[cnt]);
+    if (deriv->steps[cnt].__counter > 0
+       && deriv->steps[cnt].__end_fct != NULL)
+      DL_CALL_FCT (deriv->steps[cnt].__end_fct, (&deriv->steps[cnt]));
+
+  /* Free the name strings.  */
+  free ((char *) deriv->steps[0].__from_name);
+  free ((char *) deriv->steps[deriv->nsteps - 1].__to_name);
 
 
-  free ((struct gconv_step *) deriv->steps);
+  free ((struct __gconv_step *) deriv->steps);
   free (deriv);
 }
 
 
   free (deriv);
 }
 
 
+/* Decrement the reference count for a single step in a steps array.  */
+static inline void
+release_step (struct __gconv_step *step)
+{
+  if (--step->__counter == 0)
+    {
+      /* Call the destructor.  */
+      if (step->__end_fct != NULL)
+       DL_CALL_FCT (step->__end_fct, (step));
+
+#ifndef STATIC_GCONV
+      /* Skip builtin modules; they are not reference counted.  */
+      if (step->__shlib_handle != NULL)
+       {
+         /* Release the loaded module.  */
+         __gconv_release_shlib (step->__shlib_handle);
+         step->__shlib_handle = NULL;
+       }
+#endif
+    }
+}
+
 static int
 internal_function
 gen_steps (struct derivation_step *best, const char *toset,
 static int
 internal_function
 gen_steps (struct derivation_step *best, const char *toset,
-          const char *fromset, struct gconv_step **handle, size_t *nsteps)
+          const char *fromset, struct __gconv_step **handle, size_t *nsteps)
 {
   size_t step_cnt = 0;
 {
   size_t step_cnt = 0;
-  struct gconv_step *result;
+  struct __gconv_step *result;
   struct derivation_step *current;
   struct derivation_step *current;
-  int status = GCONV_NOMEM;
+  int status = __GCONV_NOMEM;
 
   /* First determine number of steps.  */
   for (current = best; current->last != NULL; current = current->last)
     ++step_cnt;
 
 
   /* First determine number of steps.  */
   for (current = best; current->last != NULL; current = current->last)
     ++step_cnt;
 
-  result = (struct gconv_step *) malloc (sizeof (struct gconv_step)
-                                        * step_cnt);
+  result = (struct __gconv_step *) malloc (sizeof (struct __gconv_step)
+                                          * step_cnt);
   if (result != NULL)
     {
       int failed = 0;
 
   if (result != NULL)
     {
       int failed = 0;
 
+      status = __GCONV_OK;
       *nsteps = step_cnt;
       current = best;
       while (step_cnt-- > 0)
        {
       *nsteps = step_cnt;
       current = best;
       while (step_cnt-- > 0)
        {
-         result[step_cnt].from_name = (step_cnt == 0
-                                       ? __strdup (fromset)
-                                       : current->last->result_set);
-         result[step_cnt].to_name = (step_cnt + 1 == *nsteps
-                                     ? __strdup (current->result_set)
-                                     : result[step_cnt + 1].from_name);
-
+         result[step_cnt].__from_name = (step_cnt == 0
+                                         ? __strdup (fromset)
+                                         : current->last->result_set);
+         result[step_cnt].__to_name = (step_cnt + 1 == *nsteps
+                                       ? __strdup (current->result_set)
+                                       : result[step_cnt + 1].__from_name);
+
+#ifndef STATIC_GCONV
          if (current->code->module_name[0] == '/')
            {
              /* Load the module, return handle for it.  */
          if (current->code->module_name[0] == '/')
            {
              /* Load the module, return handle for it.  */
-             struct gconv_loaded_object *shlib_handle =
+             struct __gconv_loaded_object *shlib_handle =
                __gconv_find_shlib (current->code->module_name);
 
              if (shlib_handle == NULL)
                __gconv_find_shlib (current->code->module_name);
 
              if (shlib_handle == NULL)
@@ -204,272 +243,362 @@ gen_steps (struct derivation_step *best, const char *toset,
                  break;
                }
 
                  break;
                }
 
-             result[step_cnt].shlib_handle = shlib_handle;
-             result[step_cnt].modname = shlib_handle->name;
-             result[step_cnt].counter = 0;
-             result[step_cnt].fct = shlib_handle->fct;
-             result[step_cnt].init_fct = shlib_handle->init_fct;
-             result[step_cnt].end_fct = shlib_handle->end_fct;
+             result[step_cnt].__shlib_handle = shlib_handle;
+             result[step_cnt].__modname = shlib_handle->name;
+             result[step_cnt].__fct = shlib_handle->fct;
+             result[step_cnt].__init_fct = shlib_handle->init_fct;
+             result[step_cnt].__end_fct = shlib_handle->end_fct;
            }
          else
            }
          else
+#endif
            /* It's a builtin transformation.  */
            __gconv_get_builtin_trans (current->code->module_name,
                                       &result[step_cnt]);
 
            /* It's a builtin transformation.  */
            __gconv_get_builtin_trans (current->code->module_name,
                                       &result[step_cnt]);
 
+         result[step_cnt].__counter = 1;
+
          /* Call the init function.  */
          /* Call the init function.  */
-         if (result[step_cnt].init_fct != NULL)
-           (*result[step_cnt].init_fct) (&result[step_cnt]);
+         result[step_cnt].__data = NULL;
+         if (result[step_cnt].__init_fct != NULL)
+            {
+              status = DL_CALL_FCT (result[step_cnt].__init_fct,
+                                     (&result[step_cnt]));
+
+              if (__builtin_expect (status, __GCONV_OK) != __GCONV_OK)
+                {
+                  failed = 1;
+                  /* Make sure we unload this modules.  */
+                  --step_cnt;
+                  result[step_cnt].__end_fct = NULL;
+                  break;
+                }
+            }
 
          current = current->last;
        }
 
 
          current = current->last;
        }
 
-      if (failed != 0)
+      if (__builtin_expect (failed, 0) != 0)
        {
          /* Something went wrong while initializing the modules.  */
          while (++step_cnt < *nsteps)
        {
          /* Something went wrong while initializing the modules.  */
          while (++step_cnt < *nsteps)
-           {
-             if (result[step_cnt].end_fct != NULL)
-               (*result[step_cnt].end_fct) (&result[step_cnt]);
-             __gconv_release_shlib (result[step_cnt].shlib_handle);
-           }
+           release_step (&result[step_cnt]);
          free (result);
          *nsteps = 0;
          free (result);
          *nsteps = 0;
-         status = GCONV_NOCONV;
+         *handle = NULL;
+         if (status == __GCONV_OK)
+           status = __GCONV_NOCONV;
        }
       else
        }
       else
-       {
-         *handle = result;
-         status = GCONV_OK;
-       }
+       *handle = result;
+    }
+  else
+    {
+      *nsteps = 0;
+      *handle = NULL;
     }
 
   return status;
 }
 
 
     }
 
   return status;
 }
 
 
+#ifndef STATIC_GCONV
+static int
+internal_function
+increment_counter (struct __gconv_step *steps, size_t nsteps)
+{
+  /* Increment the user counter.  */
+  size_t cnt = nsteps;
+  int result = __GCONV_OK;
+
+  while (cnt-- > 0)
+    {
+      struct __gconv_step *step = &steps[cnt];
+
+      if (step->__counter++ == 0)
+       {
+         /* Skip builtin modules.  */
+         if (step->__modname != NULL)
+           {
+             /* Reopen a previously used module.  */
+             step->__shlib_handle = __gconv_find_shlib (step->__modname);
+             if (step->__shlib_handle == NULL)
+               {
+                 /* Oops, this is the second time we use this module
+                    (after unloading) and this time loading failed!?  */
+                 --step->__counter;
+                 while (++cnt < nsteps)
+                   release_step (&steps[cnt]);
+                 result = __GCONV_NOCONV;
+                 break;
+               }
+
+             /* The function addresses defined by the module may
+                have changed.  */
+             step->__fct = step->__shlib_handle->fct;
+             step->__init_fct = step->__shlib_handle->init_fct;
+             step->__end_fct = step->__shlib_handle->end_fct;
+           }
+
+         if (step->__init_fct != NULL)
+           DL_CALL_FCT (step->__init_fct, (step));
+       }
+    }
+  return result;
+}
+#endif
+
+
 /* The main function: find a possible derivation from the `fromset' (either
    the given name or the alias) to the `toset' (again with alias).  */
 static int
 internal_function
 find_derivation (const char *toset, const char *toset_expand,
                 const char *fromset, const char *fromset_expand,
 /* The main function: find a possible derivation from the `fromset' (either
    the given name or the alias) to the `toset' (again with alias).  */
 static int
 internal_function
 find_derivation (const char *toset, const char *toset_expand,
                 const char *fromset, const char *fromset_expand,
-                struct gconv_step **handle, size_t *nsteps)
+                struct __gconv_step **handle, size_t *nsteps)
 {
 {
-  __libc_lock_define_initialized (static, lock)
-  struct derivation_step *first, *current, **lastp, *best = NULL;
-  int best_cost = 0;
+  struct derivation_step *first, *current, **lastp, *solution = NULL;
+  int best_cost_hi = INT_MAX;
+  int best_cost_lo = INT_MAX;
   int result;
 
   int result;
 
+  /* Look whether an earlier call to `find_derivation' has already
+     computed a possible derivation.  If so, return it immediately.  */
   result = derivation_lookup (fromset_expand ?: fromset, toset_expand ?: toset,
                              handle, nsteps);
   result = derivation_lookup (fromset_expand ?: fromset, toset_expand ?: toset,
                              handle, nsteps);
-  if (result == GCONV_OK)
-    return result;
+  if (result == __GCONV_OK)
+    {
+#ifndef STATIC_GCONV
+      result = increment_counter (*handle, *nsteps);
+#endif
+      return result;
+    }
 
 
-  __libc_lock_lock (lock);
+  /* The task is to find a sequence of transformations, backed by the
+     existing modules - whether builtin or dynamically loadable -,
+     starting at `fromset' (or `fromset_expand') and ending at `toset'
+     (or `toset_expand'), and with minimal cost.
 
 
-  /* There is a small chance that this derivation is meanwhile found.  This
-     can happen if in `find_derivation' we look for this derivation, didn't
-     find it but at the same time another thread looked for this derivation. */
-  result = derivation_lookup (fromset_expand ?: fromset, toset_expand ?: toset,
-                             handle, nsteps);
-  if (result == GCONV_OK)
-    return result;
+     For computer scientists, this is a shortest path search in the
+     graph where the nodes are all possible charsets and the edges are
+     the transformations listed in __gconv_modules_db.
 
 
-  /* ### TODO
      For now we use a simple algorithm with quadratic runtime behaviour.
      For now we use a simple algorithm with quadratic runtime behaviour.
-     The task is to match the `toset' with any of the available rules,
-     starting from FROMSET.  */
+     A breadth-first search, starting at `fromset' and `fromset_expand'.
+     The list starting at `first' contains all nodes that have been
+     visited up to now, in the order in which they have been visited --
+     excluding the goal nodes `toset' and `toset_expand' which get
+     managed in the list starting at `solution'.
+     `current' walks through the list starting at `first' and looks
+     which nodes are reachable from the current node, adding them to
+     the end of the list [`first' or `solution' respectively] (if
+     they are visited the first time) or updating them in place (if
+     they have have already been visited).
+     In each node of either list, cost_lo and cost_hi contain the
+     minimum cost over any paths found up to now, starting at `fromset'
+     or `fromset_expand', ending at that node.  best_cost_lo and
+     best_cost_hi represent the minimum over the elements of the
+     `solution' list.  */
+
   if (fromset_expand != NULL)
     {
   if (fromset_expand != NULL)
     {
-      first = NEW_STEP (fromset_expand, NULL, NULL);
-      first->next = NEW_STEP (fromset, NULL, NULL);
+      first = NEW_STEP (fromset_expand, 0, 0, NULL, NULL);
+      first->next = NEW_STEP (fromset, 0, 0, NULL, NULL);
       lastp = &first->next->next;
     }
   else
     {
       lastp = &first->next->next;
     }
   else
     {
-      first = NEW_STEP (fromset, NULL, NULL);
+      first = NEW_STEP (fromset, 0, 0, NULL, NULL);
       lastp = &first->next;
     }
 
       lastp = &first->next;
     }
 
-  current = first;
-  while (current != NULL)
+  for (current = first; current != NULL; current = current->next)
     {
       /* Now match all the available module specifications against the
          current charset name.  If any of them matches check whether
          we already have a derivation for this charset.  If yes, use the
          one with the lower costs.  Otherwise add the new charset at the
     {
       /* Now match all the available module specifications against the
          current charset name.  If any of them matches check whether
          we already have a derivation for this charset.  If yes, use the
          one with the lower costs.  Otherwise add the new charset at the
-         end.  */
-      size_t cnt;
-
-      for (cnt = 0; cnt < __gconv_nmodules; ++cnt)
-        {
-         const char *result_set = NULL;
-
-         if (__gconv_modules_db[cnt]->from_pattern == NULL)
+         end.
+
+        The module database is organized in a tree form which allows
+        searching for prefixes.  So we search for the first entry with a
+        matching prefix and any other matching entry can be found from
+        this place.  */
+      struct gconv_module *node;
+
+      /* Maybe it is not necessary anymore to look for a solution for
+        this entry since the cost is already as high (or higher) as
+        the cost for the best solution so far.  */
+      if (current->cost_hi > best_cost_hi
+         || (current->cost_hi == best_cost_hi
+             && current->cost_lo >= best_cost_lo))
+       continue;
+
+      node = __gconv_modules_db;
+      while (node != NULL)
+       {
+         int cmpres = strcmp (current->result_set, node->from_string);
+         if (cmpres == 0)
            {
            {
-             if (__strcasecmp (current->result_set,
-                               __gconv_modules_db[cnt]->from_constpfx) == 0)
+             /* Walk through the list of modules with this prefix and
+                try to match the name.  */
+             struct gconv_module *runp;
+
+             /* Check all the modules with this prefix.  */
+             runp = node;
+             do
                {
                {
-                 if (strcmp (__gconv_modules_db[cnt]->to_string, "-") == 0)
-                   result_set = toset_expand ?: toset;
-                 else
-                   result_set = __gconv_modules_db[cnt]->to_string;
-               }
-           }
-         else
-           /* We have a regular expression.  First see if the prefix
-              matches.  */
-           if (__strncasecmp (current->result_set,
-                              __gconv_modules_db[cnt]->from_constpfx,
-                              __gconv_modules_db[cnt]->from_constpfx_len)
-               == 0)
-             {
-               /* First compile the regex if not already done.  */
-               if (__gconv_modules_db[cnt]->from_regex == NULL)
-                 {
-                   regex_t *newp = (regex_t *) malloc (sizeof (regex_t));
-
-                   if (__regcomp (newp, __gconv_modules_db[cnt]->from_pattern,
-                                  REG_EXTENDED | REG_ICASE) != 0)
-                     {
-                       /* Something is wrong.  Remember this.  */
-                       free (newp);
-                       __gconv_modules_db[cnt]->from_regex = (regex_t *) -1L;
-                     }
-                   else
-                     __gconv_modules_db[cnt]->from_regex = newp;
-                 }
-
-               if (__gconv_modules_db[cnt]->from_regex != (regex_t *) -1L)
-                 {
-                   /* Try to match the from name.  */
-                   regmatch_t match[4];
-
-                   if (__regexec (__gconv_modules_db[cnt]->from_regex,
-                                  current->result_set, 4, match, 0) == 0
-                       && match[0].rm_so == 0
-                       && current->result_set[match[0].rm_eo] == '\0')
-                     {
-                       /* At least the whole <from> string is matched.
-                          We must now match sed-like possible
-                          subexpressions from the match to the
-                          toset expression.  */
-#define ENSURE_LEN(LEN) \
-  if (wp + (LEN) >= constr + len - 1)                                        \
-    {                                                                        \
-      char *newp = alloca (len += 128);                                              \
-      memcpy (newp, constr, wp - constr);                                    \
-      wp = newp + (wp - constr);                                             \
-      constr = newp;                                                         \
-    }
-                       size_t len = 128;
-                       char *constr = alloca (len);
-                       char *wp = constr;
-                       const char *cp = __gconv_modules_db[cnt]->to_string;
-
-                       while (*cp != '\0')
-                         {
-                           if (*cp != '\\')
-                             {
-                               ENSURE_LEN (1);
-                               *wp++ = *cp++;
-                             }
-                           else if (cp[1] == '\0')
-                             /* Backslash at end of string.  */
-                             break;
-                           else
+                 const char *result_set = (strcmp (runp->to_string, "-") == 0
+                                           ? (toset_expand ?: toset)
+                                           : runp->to_string);
+                 int cost_hi = runp->cost_hi + current->cost_hi;
+                 int cost_lo = runp->cost_lo + current->cost_lo;
+                 struct derivation_step *step;
+
+                 /* We managed to find a derivation.  First see whether
+                    we have reached one of the goal nodes.  */
+                 if (strcmp (result_set, toset) == 0
+                     || (toset_expand != NULL
+                         && strcmp (result_set, toset_expand) == 0))
+                   {
+                     /* Append to the `solution' list if there
+                        is no entry with this name.  */
+                     for (step = solution; step != NULL; step = step->next)
+                       if (strcmp (result_set, step->result_set) == 0)
+                         break;
+
+                     if (step == NULL)
+                       {
+                         step = NEW_STEP (result_set,
+                                          cost_hi, cost_lo,
+                                          runp, current);
+                         step->next = solution;
+                         solution = step;
+                       }
+                     else if (step->cost_hi > cost_hi
+                              || (step->cost_hi == cost_hi
+                                  && step->cost_lo > cost_lo))
+                       {
+                         /* A better path was found for the node,
+                            on the `solution' list.  */
+                         step->code = runp;
+                         step->last = current;
+                         step->cost_hi = cost_hi;
+                         step->cost_lo = cost_lo;
+                       }
+
+                     /* Update best_cost accordingly.  */
+                     if (cost_hi < best_cost_hi
+                         || (cost_hi == best_cost_hi
+                             && cost_lo < best_cost_lo))
+                       {
+                         best_cost_hi = cost_hi;
+                         best_cost_lo = cost_lo;
+                       }
+                   }
+                 else if (cost_hi < best_cost_hi
+                          || (cost_hi == best_cost_hi
+                              && cost_lo < best_cost_lo))
+                   {
+                     /* Append at the end of the `first' list if there
+                        is no entry with this name.  */
+                     for (step = first; step != NULL; step = step->next)
+                       if (strcmp (result_set, step->result_set) == 0)
+                         break;
+
+                     if (step == NULL)
+                       {
+                         *lastp = NEW_STEP (result_set,
+                                            cost_hi, cost_lo,
+                                            runp, current);
+                         lastp = &(*lastp)->next;
+                       }
+                     else if (step->cost_hi > cost_hi
+                              || (step->cost_hi == cost_hi
+                                  && step->cost_lo > cost_lo))
+                       {
+                         /* A better path was found for the node,
+                            on the `first' list.  */
+                         step->code = runp;
+                         step->last = current;
+
+                         /* Update the cost for all steps.  */
+                         for (step = first; step != NULL;
+                              step = step->next)
+                           /* But don't update the start nodes.  */
+                           if (step->code != NULL)
                              {
                              {
-                               ++cp;
-                               if (*cp == '\\')
-                                 {
-                                   *wp++ = *cp++;
-                                   ENSURE_LEN (1);
-                                 }
-                               else if (*cp < '1' || *cp > '3')
-                                 break;
-                               else
+                               struct derivation_step *back;
+                               int hi, lo;
+
+                               hi = step->code->cost_hi;
+                               lo = step->code->cost_lo;
+
+                               for (back = step->last; back->code != NULL;
+                                    back = back->last)
                                  {
                                  {
-                                   int idx = *cp - '0';
-                                   if (match[idx].rm_so == -1)
-                                     /* No match.  */
-                                     break;
-
-                                   ENSURE_LEN (match[idx].rm_eo
-                                               - match[idx].rm_so);
-                                   wp = __mempcpy (wp,
-                                                   &current->result_set[match[idx].rm_so],
-                                                   match[idx].rm_eo
-                                                   - match[idx].rm_so);
-                                   ++cp;
+                                   hi += back->code->cost_hi;
+                                   lo += back->code->cost_lo;
                                  }
                                  }
+
+                               step->cost_hi = hi;
+                               step->cost_lo = lo;
                              }
                              }
-                         }
-                       if (*cp == '\0' && wp != constr)
-                         {
-                                /* Terminate the constructed string.  */
-                           *wp = '\0';
-                           result_set = constr;
-                         }
-                     }
-                 }
-             }
-
-         if (result_set != NULL)
-           {
-             /* We managed to find a derivation.  First see whether
-                this is what we are looking for.  */
-             if (__strcasecmp (result_set, toset) == 0
-                 || (toset_expand != NULL
-                     && __strcasecmp (result_set, toset_expand) == 0))
-               {
-                 /* Determine the costs.  If they are lower than the
-                    previous solution (or this is the first solution)
-                    remember this solution.  */
-                 int cost = __gconv_modules_db[cnt]->cost;
-                 struct derivation_step *runp = current;
-                 while (runp->code != NULL)
-                   {
-                     cost += runp->code->cost;
-                     runp = runp->last;
-                   }
-                 if (best == NULL || cost < best_cost)
-                   {
-                     best = NEW_STEP (result_set, __gconv_modules_db[cnt],
-                                      current);
-                     best_cost = cost;
-                   }
-               }
-             else
-               {
-                 /* Append at the end if there is no entry with this name.  */
-                 struct derivation_step *runp = first;
 
 
-                 while (runp != NULL)
-                   {
-                     if (__strcasecmp (result_set, runp->result_set) == 0)
-                       break;
-                     runp = runp->next;
+                         /* Likewise for the nodes on the solution list.
+                            Also update best_cost accordingly.  */
+                         for (step = solution; step != NULL;
+                              step = step->next)
+                           {
+                             step->cost_hi = (step->code->cost_hi
+                                              + step->last->cost_hi);
+                             step->cost_lo = (step->code->cost_lo
+                                              + step->last->cost_lo);
+
+                             if (step->cost_hi < best_cost_hi
+                                 || (step->cost_hi == best_cost_hi
+                                     && step->cost_lo < best_cost_lo))
+                               {
+                                 best_cost_hi = step->cost_hi;
+                                 best_cost_lo = step->cost_lo;
+                               }
+                           }
+                       }
                    }
 
                    }
 
-                 if (runp == NULL)
-                   {
-                     *lastp = NEW_STEP (result_set, __gconv_modules_db[cnt],
-                                        current);
-                     lastp = &(*lastp)->next;
-                   }
-                }
+                 runp = runp->same;
+               }
+             while (runp != NULL);
+
+             break;
            }
            }
+         else if (cmpres < 0)
+           node = node->left;
+         else
+           node = node->right;
        }
        }
-
-      /* Go on with the next entry.  */
-      current = current->next;
     }
 
     }
 
-  if (best != NULL)
-    /* We really found a way to do the transformation.  Now build a data
-       structure describing the transformation steps.*/
-    result = gen_steps (best, toset_expand ?: toset, fromset_expand ?: fromset,
-                       handle, nsteps);
+  if (solution != NULL)
+    {
+      /* We really found a way to do the transformation.  */
+
+      /* Choose the best solution.  This is easy because we know that
+        the solution list has at most length 2 (one for every possible
+        goal node).  */
+      if (solution->next != NULL)
+       {
+         struct derivation_step *solution2 = solution->next;
+
+         if (solution2->cost_hi < solution->cost_hi
+             || (solution2->cost_hi == solution->cost_hi
+                 && solution2->cost_lo < solution->cost_lo))
+           solution = solution2;
+       }
+
+      /* Now build a data structure describing the transformation steps.  */
+      result = gen_steps (solution, toset_expand ?: toset,
+                         fromset_expand ?: fromset, handle, nsteps);
+    }
   else
     {
       /* We haven't found a transformation.  Clear the result values.  */
   else
     {
       /* We haven't found a transformation.  Clear the result values.  */
@@ -481,8 +610,6 @@ find_derivation (const char *toset, const char *toset_expand,
   add_derivation (fromset_expand ?: fromset, toset_expand ?: toset,
                  *handle, *nsteps);
 
   add_derivation (fromset_expand ?: fromset, toset_expand ?: toset,
                  *handle, *nsteps);
 
-  __libc_lock_unlock (lock);
-
   return result;
 }
 
   return result;
 }
 
@@ -490,7 +617,8 @@ find_derivation (const char *toset, const char *toset_expand,
 int
 internal_function
 __gconv_find_transform (const char *toset, const char *fromset,
 int
 internal_function
 __gconv_find_transform (const char *toset, const char *fromset,
-                       struct gconv_step **handle, size_t *nsteps)
+                       struct __gconv_step **handle, size_t *nsteps,
+                       int flags)
 {
   __libc_once_define (static, once);
   const char *fromset_expand = NULL;
 {
   __libc_once_define (static, once);
   const char *fromset_expand = NULL;
@@ -505,7 +633,10 @@ __gconv_find_transform (const char *toset, const char *fromset,
 
   /* If we don't have a module database return with an error.  */
   if (__gconv_modules_db == NULL)
 
   /* If we don't have a module database return with an error.  */
   if (__gconv_modules_db == NULL)
-    return GCONV_NOCONV;
+    {
+      __libc_lock_unlock (lock);
+      return __GCONV_NOCONV;
+    }
 
   /* See whether the names are aliases.  */
   if (__gconv_alias_db != NULL)
 
   /* See whether the names are aliases.  */
   if (__gconv_alias_db != NULL)
@@ -522,41 +653,32 @@ __gconv_find_transform (const char *toset, const char *fromset,
       toset_expand = found != NULL ? (*found)->toname : NULL;
     }
 
       toset_expand = found != NULL ? (*found)->toname : NULL;
     }
 
-  result = find_derivation (toset, toset_expand, fromset, fromset_expand,
-                           handle, nsteps);
-
-  /* Increment the user counter.  */
-  if (result == GCONV_OK)
+  if (__builtin_expect (flags & GCONV_AVOID_NOCONV, 0)
+      /* We are not supposed to create a pseudo transformation (means
+        copying) when the input and output character set are the same.  */
+      && (strcmp (toset, fromset) == 0
+         || (toset_expand != NULL && strcmp (toset_expand, fromset) == 0)
+         || (fromset_expand != NULL
+             && (strcmp (toset, fromset_expand) == 0
+                 || (toset_expand != NULL
+                     && strcmp (toset_expand, fromset_expand) == 0)))))
     {
     {
-      size_t cnt = *nsteps;
-      struct gconv_step *steps = *handle;
-
-      do
-       if (steps[--cnt].counter++ == 0)
-         {
-           steps[cnt].shlib_handle =
-             __gconv_find_shlib (steps[cnt].modname);
-           if (steps[cnt].shlib_handle == NULL)
-             {
-               /* Oops, this is the second time we use this module (after
-                  unloading) and this time loading failed!?  */
-               while (++cnt < *nsteps)
-                 __gconv_release_shlib (steps[cnt].shlib_handle);
-               result = GCONV_NOCONV;
-               break;
-             }
-         }
-      while (cnt > 0);
+      /* Both character sets are the same.  */
+      __libc_lock_unlock (lock);
+      return __GCONV_NOCONV;
     }
 
     }
 
+  result = find_derivation (toset, toset_expand, fromset, fromset_expand,
+                           handle, nsteps);
+
   /* Release the lock.  */
   __libc_lock_unlock (lock);
 
   /* The following code is necessary since `find_derivation' will return
      GCONV_OK even when no derivation was found but the same request
      was processed before.  I.e., negative results will also be cached.  */
   /* Release the lock.  */
   __libc_lock_unlock (lock);
 
   /* The following code is necessary since `find_derivation' will return
      GCONV_OK even when no derivation was found but the same request
      was processed before.  I.e., negative results will also be cached.  */
-  return (result == GCONV_OK
-         ? (*handle == NULL ? GCONV_NOCONV : GCONV_OK)
+  return (result == __GCONV_OK
+         ? (*handle == NULL ? __GCONV_NOCONV : __GCONV_OK)
          : result);
 }
 
          : result);
 }
 
@@ -564,49 +686,54 @@ __gconv_find_transform (const char *toset, const char *fromset,
 /* Release the entries of the modules list.  */
 int
 internal_function
 /* Release the entries of the modules list.  */
 int
 internal_function
-__gconv_close_transform (struct gconv_step *steps, size_t nsteps)
+__gconv_close_transform (struct __gconv_step *steps, size_t nsteps)
 {
 {
-  int result = GCONV_OK;
+  int result = __GCONV_OK;
 
 
+#ifndef STATIC_GCONV
   /* Acquire the lock.  */
   __libc_lock_lock (lock);
 
   while (nsteps-- > 0)
   /* Acquire the lock.  */
   __libc_lock_lock (lock);
 
   while (nsteps-- > 0)
-    if (steps[nsteps].shlib_handle != NULL
-       && --steps[nsteps].counter == 0)
-      {
-       result = __gconv_release_shlib (steps[nsteps].shlib_handle);
-       if (result != GCONV_OK)
-         break;
-       steps[nsteps].shlib_handle = NULL;
-      }
+    release_step (&steps[nsteps]);
 
   /* Release the lock.  */
   __libc_lock_unlock (lock);
 
   /* Release the lock.  */
   __libc_lock_unlock (lock);
+#endif
 
   return result;
 }
 
 
 
   return result;
 }
 
 
+/* Free the modules mentioned.  */
+static void
+internal_function
+free_modules_db (struct gconv_module *node)
+{
+  if (node->left != NULL)
+    free_modules_db (node->left);
+  if (node->right != NULL)
+    free_modules_db (node->right);
+  do
+    {
+      struct gconv_module *act = node;
+      node = node->same;
+      if (act->module_name[0] == '/')
+       free (act);
+    }
+  while (node != NULL);
+}
+
+
 /* Free all resources if necessary.  */
 static void __attribute__ ((unused))
 free_mem (void)
 {
 /* Free all resources if necessary.  */
 static void __attribute__ ((unused))
 free_mem (void)
 {
-  size_t cnt;
-
   if (__gconv_alias_db != NULL)
     __tdestroy (__gconv_alias_db, free);
 
   if (__gconv_alias_db != NULL)
     __tdestroy (__gconv_alias_db, free);
 
-  for (cnt = 0; cnt < __gconv_nmodules; ++cnt)
-    {
-      if (__gconv_modules_db[cnt]->from_regex != NULL)
-       __regfree ((regex_t *) __gconv_modules_db[cnt]->from_regex);
-
-      /* Modules which names do not start with a slash are builtin
-        transformations and the memory is not allocated dynamically.  */
-      if (__gconv_modules_db[cnt]->module_name[0] == '/')
-       free (__gconv_modules_db[cnt]);
-    }
+  if (__gconv_modules_db != NULL)
+    free_modules_db (__gconv_modules_db);
 
   if (known_derivations != NULL)
     __tdestroy (known_derivations, free_derivation);
 
   if (known_derivations != NULL)
     __tdestroy (known_derivations, free_derivation);