Generic __longjmp.c.
[kopensolaris-gnu/glibc.git] / malloc / memusage.c
index 6296d99..8b37c43 100644 (file)
@@ -1,31 +1,36 @@
 /* Profile heap and stack memory usage of running program.
 /* Profile heap and stack memory usage of running program.
-   Copyright (C) 1998, 1999, 2000 Free Software Foundation, Inc.
+   Copyright (C) 1998-2002, 2004, 2005 Free Software Foundation, Inc.
    This file is part of the GNU C Library.
    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1998.
 
    The GNU C Library is free software; you can redistribute it and/or
    This file is part of the GNU C Library.
    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1998.
 
    The GNU C Library is free software; you can redistribute it and/or
-   modify it under the terms of the GNU Library General Public License as
-   published by the Free Software Foundation; either version 2 of the
-   License, or (at your option) any later version.
+   modify it under the terms of the GNU Lesser General Public
+   License as published by the Free Software Foundation; either
+   version 2.1 of the License, or (at your option) any later version.
 
    The GNU C Library is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
 
    The GNU C Library is distributed in the hope that it will be useful,
    but WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-   Library General Public License for more details.
+   Lesser General Public License for more details.
 
 
-   You should have received a copy of the GNU Library General Public
-   License along with the GNU C Library; see the file COPYING.LIB.  If not,
-   write to the Free Software Foundation, Inc., 59 Temple Place - Suite 330,
-   Boston, MA 02111-1307, USA.  */
+   You should have received a copy of the GNU Lesser General Public
+   License along with the GNU C Library; if not, write to the Free
+   Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
+   02111-1307 USA.  */
 
 
+#include <atomic.h>
 #include <dlfcn.h>
 #include <dlfcn.h>
+#include <errno.h>
 #include <fcntl.h>
 #include <inttypes.h>
 #include <signal.h>
 #include <fcntl.h>
 #include <inttypes.h>
 #include <signal.h>
+#include <stdarg.h>
+#include <stdbool.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <unistd.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <unistd.h>
+#include <sys/mman.h>
 #include <sys/time.h>
 
 #include <memusage.h>
 #include <sys/time.h>
 
 #include <memusage.h>
@@ -37,12 +42,22 @@ static void *(*reallocp) (void *, size_t);
 static void *(*callocp) (size_t, size_t);
 static void (*freep) (void *);
 
 static void *(*callocp) (size_t, size_t);
 static void (*freep) (void *);
 
+static void *(*mmapp) (void *, size_t, int, int, int, off_t);
+static void *(*mmap64p) (void *, size_t, int, int, int, off64_t);
+static int (*munmapp) (void *, size_t);
+static void *(*mremapp) (void *, size_t, size_t, int, void *);
+
 enum
 {
   idx_malloc = 0,
   idx_realloc,
   idx_calloc,
   idx_free,
 enum
 {
   idx_malloc = 0,
   idx_realloc,
   idx_calloc,
   idx_free,
+  idx_mmap_r,
+  idx_mmap_w,
+  idx_mmap_a,
+  idx_mremap,
+  idx_munmap,
   idx_last
 };
 
   idx_last
 };
 
@@ -56,22 +71,22 @@ struct header
 #define MAGIC 0xfeedbeaf
 
 
 #define MAGIC 0xfeedbeaf
 
 
-static unsigned long int calls[idx_last];
-static unsigned long int failed[idx_last];
-static unsigned long long int total[idx_last];
-static unsigned long long int grand_total;
-static unsigned long int histogram[65536 / 16];
-static unsigned long int large;
-static unsigned long int calls_total;
-static unsigned long int inplace;
-static unsigned long int decreasing;
-static long int current_use[2];
-static long int peak_use[3];
-static uintptr_t start_sp;
+static memusage_cntr_t calls[idx_last];
+static memusage_cntr_t failed[idx_last];
+static memusage_size_t total[idx_last];
+static memusage_size_t grand_total;
+static memusage_cntr_t histogram[65536 / 16];
+static memusage_cntr_t large;
+static memusage_cntr_t calls_total;
+static memusage_cntr_t inplace;
+static memusage_cntr_t decreasing;
+static memusage_cntr_t inplace_mremap;
+static memusage_cntr_t decreasing_mremap;
+static memusage_size_t current_heap;
+static memusage_size_t peak_use[3];
+static __thread uintptr_t start_sp;
 
 /* A few macros to make the source more readable.  */
 
 /* A few macros to make the source more readable.  */
-#define current_heap   current_use[0]
-#define current_stack  current_use[1]
 #define peak_heap      peak_use[0]
 #define peak_stack     peak_use[1]
 #define peak_total     peak_use[2]
 #define peak_heap      peak_use[0]
 #define peak_stack     peak_use[1]
 #define peak_total     peak_use[2]
@@ -81,7 +96,9 @@ static size_t buffer_size;
 
 static int fd = -1;
 
 
 static int fd = -1;
 
-static int not_me;
+static bool not_me;
+static int initialized;
+static bool trace_mmap;
 extern const char *__progname;
 
 struct entry
 extern const char *__progname;
 
 struct entry
@@ -92,8 +109,8 @@ struct entry
   uint32_t time_high;
 };
 
   uint32_t time_high;
 };
 
-static struct entry buffer[DEFAULT_BUFFER_SIZE];
-static size_t buffer_cnt;
+static struct entry buffer[2 * DEFAULT_BUFFER_SIZE];
+static uatomic32_t buffer_cnt;
 static struct entry first;
 
 
 static struct entry first;
 
 
@@ -101,8 +118,6 @@ static struct entry first;
 static void
 update_data (struct header *result, size_t len, size_t old_len)
 {
 static void
 update_data (struct header *result, size_t len, size_t old_len)
 {
-  long int total_use;
-
   if (result != NULL)
     {
       /* Record the information we need and mark the block using a
   if (result != NULL)
     {
       /* Record the information we need and mark the block using a
@@ -112,34 +127,60 @@ update_data (struct header *result, size_t len, size_t old_len)
     }
 
   /* Compute current heap usage and compare it with the maximum value.  */
     }
 
   /* Compute current heap usage and compare it with the maximum value.  */
-  current_heap += len - old_len;
-  if (current_heap > peak_heap)
-    peak_heap = current_heap;
-
-  /* Compute current stack usage and compare it with the maximum value.  */
-  current_stack = start_sp - GETSP ();
-  if (current_stack > peak_stack)
-    peak_stack = current_stack;
+  memusage_size_t heap
+    = atomic_exchange_and_add (&current_heap, len - old_len) + len - old_len;
+  atomic_max (&peak_heap, heap);
+
+  /* Compute current stack usage and compare it with the maximum
+     value.  The base stack pointer might not be set if this is not
+     the main thread and it is the first call to any of these
+     functions.  */
+  if (__builtin_expect (!start_sp, 0))
+    start_sp = GETSP ();
+
+  uintptr_t sp = GETSP ();
+#ifdef STACK_GROWS_UPWARD
+  /* This can happen in threads where we didn't catch the thread's
+     stack early enough.  */
+  if (__builtin_expect (sp < start_sp, 0))
+    start_sp = sp;
+  size_t current_stack = sp - start_sp;
+#else
+  /* This can happen in threads where we didn't catch the thread's
+     stack early enough.  */
+  if (__builtin_expect (sp > start_sp, 0))
+    start_sp = sp;
+  size_t current_stack = start_sp - sp;
+#endif
+  atomic_max (&peak_stack, current_stack);
 
   /* Add up heap and stack usage and compare it with the maximum value.  */
 
   /* Add up heap and stack usage and compare it with the maximum value.  */
-  total_use = current_heap + current_stack;
-  if (total_use > peak_total)
-    peak_total = total_use;
+  atomic_max (&peak_total, heap + current_stack);
 
   /* Store the value only if we are writing to a file.  */
   if (fd != -1)
     {
 
   /* Store the value only if we are writing to a file.  */
   if (fd != -1)
     {
-      buffer[buffer_cnt].heap = current_heap;
-      buffer[buffer_cnt].stack = current_stack;
-      GETTIME (buffer[buffer_cnt].time_low, buffer[buffer_cnt].time_high);
-      ++buffer_cnt;
-
-      /* Write out buffer if it is full.  */
-      if (buffer_cnt == buffer_size)
+      uatomic32_t idx = atomic_exchange_and_add (&buffer_cnt, 1);
+      if (idx >= 2 * buffer_size)
        {
        {
-         write (fd, buffer, buffer_cnt * sizeof (struct entry));
-         buffer_cnt = 0;
+         /* We try to reset the counter to the correct range.  If
+            this fails because of another thread increasing the
+            counter it does not matter since that thread will take
+            care of the correction.  */
+         unsigned int reset = idx - 2 * buffer_size;
+         atomic_compare_and_exchange_val_acq (&buffer_size, reset, idx);
+         idx = reset;
        }
        }
+
+      buffer[idx].heap = current_heap;
+      buffer[idx].stack = current_stack;
+      GETTIME (buffer[idx].time_low, buffer[idx].time_high);
+
+      /* Write out buffer if it is full.  */
+      if (idx + 1 == buffer_size)
+       write (fd, buffer, buffer_size * sizeof (struct entry));
+      else if (idx + 1 == 2 * buffer_size)
+       write (fd, &buffer[buffer_size], buffer_size * sizeof (struct entry));
     }
 }
 
     }
 }
 
@@ -153,15 +194,6 @@ int_handler (int signo)
 }
 
 
 }
 
 
-/* Record the initial stack position.  */
-static void
-__attribute__ ((constructor))
-init (void)
-{
-  start_sp = GETSP ();
-}
-
-
 /* Find out whether this is the program we are supposed to profile.
    For this the name in the variable `__progname' must match the one
    given in the environment variable MEMUSAGE_PROG_NAME.  If the variable
 /* Find out whether this is the program we are supposed to profile.
    For this the name in the variable `__progname' must match the one
    given in the environment variable MEMUSAGE_PROG_NAME.  If the variable
@@ -183,27 +215,50 @@ me (void)
 {
   const char *env = getenv ("MEMUSAGE_PROG_NAME");
   size_t prog_len = strlen (__progname);
 {
   const char *env = getenv ("MEMUSAGE_PROG_NAME");
   size_t prog_len = strlen (__progname);
+
+  initialized = -1;
+  mallocp = (void *(*) (size_t)) dlsym (RTLD_NEXT, "malloc");
+  reallocp = (void *(*) (void *, size_t)) dlsym (RTLD_NEXT, "realloc");
+  callocp = (void *(*) (size_t, size_t)) dlsym (RTLD_NEXT, "calloc");
+  freep = (void (*) (void *)) dlsym (RTLD_NEXT, "free");
+
+  mmapp = (void *(*) (void *, size_t, int, int, int, off_t)) dlsym (RTLD_NEXT,
+                                                                   "mmap");
+  mmap64p =
+    (void *(*) (void *, size_t, int, int, int, off64_t)) dlsym (RTLD_NEXT,
+                                                               "mmap64");
+  mremapp = (void *(*) (void *, size_t, size_t, int, void *)) dlsym (RTLD_NEXT,
+                                                                    "mremap");
+  munmapp = (int (*) (void *, size_t)) dlsym (RTLD_NEXT, "munmap");
+  initialized = 1;
+
   if (env != NULL)
     {
       /* Check for program name.  */
       size_t len = strlen (env);
       if (len > prog_len || strcmp (env, &__progname[prog_len - len]) != 0
          || (prog_len != len && __progname[prog_len - len - 1] != '/'))
   if (env != NULL)
     {
       /* Check for program name.  */
       size_t len = strlen (env);
       if (len > prog_len || strcmp (env, &__progname[prog_len - len]) != 0
          || (prog_len != len && __progname[prog_len - len - 1] != '/'))
-       not_me = 1;
+       not_me = true;
     }
 
   /* Only open the file if it's really us.  */
   if (!not_me && fd == -1)
     {
     }
 
   /* Only open the file if it's really us.  */
   if (!not_me && fd == -1)
     {
-      const char *outname = getenv ("MEMUSAGE_OUTPUT");
-      if (outname != NULL)
+      const char *outname;
+
+      if (!start_sp)
+       start_sp = GETSP ();
+
+      outname = getenv ("MEMUSAGE_OUTPUT");
+      if (outname != NULL && outname[0] != '\0'
+         && (access (outname, R_OK | W_OK) == 0 || errno == ENOENT))
        {
        {
-         fd = creat (outname, 0666);
+         fd = creat64 (outname, 0666);
 
          if (fd == -1)
            /* Don't do anything in future calls if we cannot write to
               the output file.  */
 
          if (fd == -1)
            /* Don't do anything in future calls if we cannot write to
               the output file.  */
-           not_me = 1;
+           not_me = true;
          else
            {
              /* Write the first entry.  */
          else
            {
              /* Write the first entry.  */
@@ -244,10 +299,24 @@ me (void)
                }
            }
        }
                }
            }
        }
+
+      if (!not_me && getenv ("MEMUSAGE_TRACE_MMAP") != NULL)
+       trace_mmap = true;
     }
 }
 
 
     }
 }
 
 
+/* Record the initial stack position.  */
+static void
+__attribute__ ((constructor))
+init (void)
+{
+  start_sp = GETSP ();
+  if (! initialized)
+    me ();
+}
+
+
 /* `malloc' replacement.  We keep track of the memory usage if this is the
    correct program.  */
 void *
 /* `malloc' replacement.  We keep track of the memory usage if this is the
    correct program.  */
 void *
@@ -256,10 +325,11 @@ malloc (size_t len)
   struct header *result = NULL;
 
   /* Determine real implementation if not already happened.  */
   struct header *result = NULL;
 
   /* Determine real implementation if not already happened.  */
-  if (mallocp == NULL)
+  if (__builtin_expect (initialized <= 0, 0))
     {
     {
+      if (initialized == -1)
+       return NULL;
       me ();
       me ();
-      mallocp = (void *(*) (size_t)) dlsym (RTLD_NEXT, "malloc");
     }
 
   /* If this is not the correct program just use the normal function.  */
     }
 
   /* If this is not the correct program just use the normal function.  */
@@ -267,30 +337,32 @@ malloc (size_t len)
     return (*mallocp) (len);
 
   /* Keep track of number of calls.  */
     return (*mallocp) (len);
 
   /* Keep track of number of calls.  */
-  ++calls[idx_malloc];
+  atomic_increment (&calls[idx_malloc]);
   /* Keep track of total memory consumption for `malloc'.  */
   /* Keep track of total memory consumption for `malloc'.  */
-  total[idx_malloc] += len;
+  atomic_add (&total[idx_malloc], len);
   /* Keep track of total memory requirement.  */
   /* Keep track of total memory requirement.  */
-  grand_total += len;
+  atomic_add (&grand_total, len);
   /* Remember the size of the request.  */
   if (len < 65536)
   /* Remember the size of the request.  */
   if (len < 65536)
-    ++histogram[len / 16];
+    atomic_increment (&histogram[len / 16]);
   else
   else
-    ++large;
+    atomic_increment (&large);
   /* Total number of calls of any of the functions.  */
   /* Total number of calls of any of the functions.  */
-  ++calls_total;
+  atomic_increment (&calls_total);
 
   /* Do the real work.  */
   result = (struct header *) (*mallocp) (len + sizeof (struct header));
 
   /* Do the real work.  */
   result = (struct header *) (*mallocp) (len + sizeof (struct header));
-
   if (result == NULL)
   if (result == NULL)
-    ++failed[idx_malloc];
-  else
-    /* Update the allocation data and write out the records if necessary.  */
-    update_data (result, len, 0);
+    {
+      atomic_increment (&failed[idx_malloc]);
+      return NULL;
+    }
+
+  /* Update the allocation data and write out the records if necessary.  */
+  update_data (result, len, 0);
 
   /* Return the pointer to the user buffer.  */
 
   /* Return the pointer to the user buffer.  */
-  return result ? (void *) (result + 1) : NULL;
+  return (void *) (result + 1);
 }
 
 
 }
 
 
@@ -304,10 +376,11 @@ realloc (void *old, size_t len)
   size_t old_len;
 
   /* Determine real implementation if not already happened.  */
   size_t old_len;
 
   /* Determine real implementation if not already happened.  */
-  if (reallocp == NULL)
+  if (__builtin_expect (initialized <= 0, 0))
     {
     {
+      if (initialized == -1)
+       return NULL;
       me ();
       me ();
-      reallocp = (void *(*) (void *, size_t)) dlsym (RTLD_NEXT, "realloc");
     }
 
   /* If this is not the correct program just use the normal function.  */
     }
 
   /* If this is not the correct program just use the normal function.  */
@@ -330,39 +403,42 @@ realloc (void *old, size_t len)
     }
 
   /* Keep track of number of calls.  */
     }
 
   /* Keep track of number of calls.  */
-  ++calls[idx_realloc];
-  /* Keep track of total memory consumption for `realloc'.  */
-  total[idx_realloc] += len;
-  /* Keep track of total memory requirement.  */
-  grand_total += len;
+  atomic_increment (&calls[idx_realloc]);
+  if (len > old_len)
+    {
+      /* Keep track of total memory consumption for `realloc'.  */
+      atomic_add (&total[idx_realloc], len - old_len);
+      /* Keep track of total memory requirement.  */
+      atomic_add (&grand_total, len - old_len);
+    }
   /* Remember the size of the request.  */
   if (len < 65536)
   /* Remember the size of the request.  */
   if (len < 65536)
-    ++histogram[len / 16];
+    atomic_increment (&histogram[len / 16]);
   else
   else
-    ++large;
+    atomic_increment (&large);
   /* Total number of calls of any of the functions.  */
   /* Total number of calls of any of the functions.  */
-  ++calls_total;
+  atomic_increment (&calls_total);
 
   /* Do the real work.  */
   result = (struct header *) (*reallocp) (real, len + sizeof (struct header));
 
   /* Do the real work.  */
   result = (struct header *) (*reallocp) (real, len + sizeof (struct header));
-
   if (result == NULL)
   if (result == NULL)
-    ++failed[idx_realloc];
-  else
     {
     {
-      /* Record whether the reduction/increase happened in place.  */
-      if (real == result)
-        ++inplace;
-      /* Was the buffer increased?  */
-      if (old_len > len)
-       ++decreasing;
-
-      /* Update the allocation data and write out the records if necessary.  */
-      update_data (result, len, old_len);
+      atomic_increment (&failed[idx_realloc]);
+      return NULL;
     }
 
     }
 
+  /* Record whether the reduction/increase happened in place.  */
+  if (real == result)
+    atomic_increment (&inplace);
+  /* Was the buffer increased?  */
+  if (old_len > len)
+    atomic_increment (&decreasing);
+
+  /* Update the allocation data and write out the records if necessary.  */
+  update_data (result, len, old_len);
+
   /* Return the pointer to the user buffer.  */
   /* Return the pointer to the user buffer.  */
-  return result ? (void *) (result + 1) : NULL;
+  return (void *) (result + 1);
 }
 
 
 }
 
 
@@ -374,51 +450,45 @@ calloc (size_t n, size_t len)
   struct header *result;
   size_t size = n * len;
 
   struct header *result;
   size_t size = n * len;
 
-  /* Determine real implementation if not already happened.  We are
-     searching for the `malloc' implementation since it is not always
-     efficiently possible to use `calloc' because we have to add a bit
-     room to the allocation to put the header in.  */
-  if (mallocp == NULL)
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
     {
     {
+      if (initialized == -1)
+       return NULL;
       me ();
       me ();
-      mallocp = (void *(*) (size_t)) dlsym (RTLD_NEXT, "malloc");
     }
 
   /* If this is not the correct program just use the normal function.  */
   if (not_me)
     }
 
   /* If this is not the correct program just use the normal function.  */
   if (not_me)
-    {
-      callocp = (void *(*) (size_t, size_t)) dlsym (RTLD_NEXT, "calloc");
-
-      return (*callocp) (n, len);
-    }
+    return (*callocp) (n, len);
 
   /* Keep track of number of calls.  */
 
   /* Keep track of number of calls.  */
-  ++calls[idx_calloc];
+  atomic_increment (&calls[idx_calloc]);
   /* Keep track of total memory consumption for `calloc'.  */
   /* Keep track of total memory consumption for `calloc'.  */
-  total[idx_calloc] += size;
+  atomic_add (&total[idx_calloc], size);
   /* Keep track of total memory requirement.  */
   /* Keep track of total memory requirement.  */
-  grand_total += size;
+  atomic_add (&grand_total, size);
   /* Remember the size of the request.  */
   if (size < 65536)
   /* Remember the size of the request.  */
   if (size < 65536)
-    ++histogram[size / 16];
+    atomic_increment (&histogram[size / 16]);
   else
   else
-    ++large;
+    atomic_increment (&large);
   /* Total number of calls of any of the functions.  */
   ++calls_total;
 
   /* Do the real work.  */
   result = (struct header *) (*mallocp) (size + sizeof (struct header));
   /* Total number of calls of any of the functions.  */
   ++calls_total;
 
   /* Do the real work.  */
   result = (struct header *) (*mallocp) (size + sizeof (struct header));
-  if (result != NULL)
-    memset (result + 1, '\0', size);
-
   if (result == NULL)
   if (result == NULL)
-    ++failed[idx_calloc];
-  else
-    /* Update the allocation data and write out the records if necessary.  */
-    update_data (result, size, 0);
+    {
+      atomic_increment (&failed[idx_calloc]);
+      return NULL;
+    }
 
 
-  /* Return the pointer to the user buffer.  */
-  return result ? (void *) (result + 1) : NULL;
+  /* Update the allocation data and write out the records if necessary.  */
+  update_data (result, size, 0);
+
+  /* Do what `calloc' would have done and return the buffer to the caller.  */
+  return memset (result + 1, '\0', size);
 }
 
 
 }
 
 
@@ -429,18 +499,12 @@ free (void *ptr)
 {
   struct header *real;
 
 {
   struct header *real;
 
-  /* `free (NULL)' has no effect.  */
-  if (ptr == NULL)
-    {
-      ++calls[idx_free];
-      return;
-    }
-
   /* Determine real implementation if not already happened.  */
   /* Determine real implementation if not already happened.  */
-  if (freep == NULL)
+  if (__builtin_expect (initialized <= 0, 0))
     {
     {
+      if (initialized == -1)
+       return;
       me ();
       me ();
-      freep = (void (*) (void *)) dlsym (RTLD_NEXT, "free");
     }
 
   /* If this is not the correct program just use the normal function.  */
     }
 
   /* If this is not the correct program just use the normal function.  */
@@ -450,6 +514,13 @@ free (void *ptr)
       return;
     }
 
       return;
     }
 
+  /* `free (NULL)' has no effect.  */
+  if (ptr == NULL)
+    {
+      atomic_increment (&calls[idx_free]);
+      return;
+    }
+
   /* Determine the pointer to the header.  */
   real = ((struct header *) ptr) - 1;
   if (real->magic != MAGIC)
   /* Determine the pointer to the header.  */
   real = ((struct header *) ptr) - 1;
   if (real->magic != MAGIC)
@@ -460,9 +531,9 @@ free (void *ptr)
     }
 
   /* Keep track of number of calls.  */
     }
 
   /* Keep track of number of calls.  */
-  ++calls[idx_free];
+  atomic_increment (&calls[idx_free]);
   /* Keep track of total memory freed using `free'.  */
   /* Keep track of total memory freed using `free'.  */
-  total[idx_free] += real->length;
+  atomic_add (&total[idx_free], real->length);
 
   /* Update the allocation data and write out the records if necessary.  */
   update_data (NULL, 0, real->length);
 
   /* Update the allocation data and write out the records if necessary.  */
   update_data (NULL, 0, real->length);
@@ -472,6 +543,215 @@ free (void *ptr)
 }
 
 
 }
 
 
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mmap (void *start, size_t len, int prot, int flags, int fd, off_t offset)
+{
+  void *result = NULL;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mmapp) (start, len, prot, flags, fd, offset);
+
+  if (!not_me && trace_mmap)
+    {
+      int idx = (flags & MAP_ANON
+                ? idx_mmap_a : prot & PROT_WRITE ? idx_mmap_w : idx_mmap_r);
+
+      /* Keep track of number of calls.  */
+      atomic_increment (&calls[idx]);
+      /* Keep track of total memory consumption for `malloc'.  */
+      atomic_add (&total[idx], len);
+      /* Keep track of total memory requirement.  */
+      atomic_add (&grand_total, len);
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       atomic_increment (&histogram[len / 16]);
+      else
+       atomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      atomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       atomic_increment (&failed[idx]);
+      else if (idx == idx_mmap_w)
+       /* Update the allocation data and write out the records if
+          necessary.  Note the first parameter is NULL which means
+          the size is not tracked.  */
+       update_data (NULL, len, 0);
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mmap64 (void *start, size_t len, int prot, int flags, int fd, off64_t offset)
+{
+  void *result = NULL;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mmap64p) (start, len, prot, flags, fd, offset);
+
+  if (!not_me && trace_mmap)
+    {
+      int idx = (flags & MAP_ANON
+                ? idx_mmap_a : prot & PROT_WRITE ? idx_mmap_w : idx_mmap_r);
+
+      /* Keep track of number of calls.  */
+      atomic_increment (&calls[idx]);
+      /* Keep track of total memory consumption for `malloc'.  */
+      atomic_add (&total[idx], len);
+      /* Keep track of total memory requirement.  */
+      atomic_add (&grand_total, len);
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       atomic_increment (&histogram[len / 16]);
+      else
+       atomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      atomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       atomic_increment (&failed[idx]);
+      else if (idx == idx_mmap_w)
+       /* Update the allocation data and write out the records if
+          necessary.  Note the first parameter is NULL which means
+          the size is not tracked.  */
+       update_data (NULL, len, 0);
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mremap (void *start, size_t old_len, size_t len, int flags,  ...)
+{
+  void *result = NULL;
+  va_list ap;
+
+  va_start (ap, flags);
+  void *newaddr = (flags & MREMAP_FIXED) ? va_arg (ap, void *) : NULL;
+  va_end (ap);
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mremapp) (start, old_len, len, flags, newaddr);
+
+  if (!not_me && trace_mmap)
+    {
+      /* Keep track of number of calls.  */
+      atomic_increment (&calls[idx_mremap]);
+      if (len > old_len)
+       {
+         /* Keep track of total memory consumption for `malloc'.  */
+         atomic_add (&total[idx_mremap], len - old_len);
+         /* Keep track of total memory requirement.  */
+         atomic_add (&grand_total, len - old_len);
+       }
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       atomic_increment (&histogram[len / 16]);
+      else
+       atomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      atomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       atomic_increment (&failed[idx_mremap]);
+      else
+       {
+         /* Record whether the reduction/increase happened in place.  */
+         if (start == result)
+           atomic_increment (&inplace_mremap);
+         /* Was the buffer increased?  */
+         if (old_len > len)
+           atomic_increment (&decreasing_mremap);
+
+         /* Update the allocation data and write out the records if
+            necessary.  Note the first parameter is NULL which means
+            the size is not tracked.  */
+         update_data (NULL, len, old_len);
+       }
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `munmap' replacement.  */
+int
+munmap (void *start, size_t len)
+{
+  int result;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return -1;
+      me ();
+    }
+
+  /* Do the real work.  */
+  result = (*munmapp) (start, len);
+
+  if (!not_me && trace_mmap)
+    {
+      /* Keep track of number of calls.  */
+      atomic_increment (&calls[idx_munmap]);
+
+      if (__builtin_expect (result == 0, 1))
+       {
+         /* Keep track of total memory freed using `free'.  */
+         atomic_add (&total[idx_munmap], len);
+
+         /* Update the allocation data and write out the records if
+            necessary.  */
+         update_data (NULL, 0, len);
+       }
+      else
+       atomic_increment (&failed[idx_munmap]);
+    }
+
+  return result;
+}
+
+
 /* Write some statistics to standard error.  */
 static void
 __attribute__ ((destructor))
 /* Write some statistics to standard error.  */
 static void
 __attribute__ ((destructor))
@@ -484,7 +764,7 @@ dest (void)
   if (not_me)
     return;
   /* If we should call any of the memory functions don't do any profiling.  */
   if (not_me)
     return;
   /* If we should call any of the memory functions don't do any profiling.  */
-  not_me = 1;
+  not_me = true;
 
   /* Finish the output file.  */
   if (fd != -1)
 
   /* Finish the output file.  */
   if (fd != -1)
@@ -517,16 +797,53 @@ dest (void)
 \e[00;34mrealloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m   (in place: %ld, dec: %ld)\n\
 \e[00;34m calloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
 \e[00;34m   free|\e[0m %10lu   %12llu\n",
 \e[00;34mrealloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m   (in place: %ld, dec: %ld)\n\
 \e[00;34m calloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
 \e[00;34m   free|\e[0m %10lu   %12llu\n",
-          grand_total, (unsigned long int) peak_heap,
+          (unsigned long long int) grand_total, (unsigned long int) peak_heap,
           (unsigned long int) peak_stack,
           (unsigned long int) peak_stack,
-          calls[idx_malloc], total[idx_malloc],
-          failed[idx_malloc] ? "\e[01;41m" : "", failed[idx_malloc],
-          calls[idx_realloc], total[idx_realloc],
-          failed[idx_realloc] ? "\e[01;41m" : "", failed[idx_realloc],
-          inplace, decreasing,
-          calls[idx_calloc], total[idx_calloc],
-          failed[idx_calloc] ? "\e[01;41m" : "", failed[idx_calloc],
-          calls[idx_free], total[idx_free]);
+          (unsigned long int) calls[idx_malloc],
+          (unsigned long long int) total[idx_malloc],
+          failed[idx_malloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_malloc],
+          (unsigned long int) calls[idx_realloc],
+          (unsigned long long int) total[idx_realloc],
+          failed[idx_realloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_realloc],
+          (unsigned long int) inplace, (unsigned long int) decreasing,
+          (unsigned long int) calls[idx_calloc],
+          (unsigned long long int) total[idx_calloc],
+          failed[idx_calloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_calloc],
+          (unsigned long int) calls[idx_free],
+          (unsigned long long int) total[idx_free]);
+
+  if (trace_mmap)
+    fprintf (stderr, "\
+\e[00;34mmmap(r)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34mmmap(w)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34mmmap(a)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34m mremap|\e[0m %10lu   %12llu   %s%12lu\e[00;00m   (in place: %ld, dec: %ld)\n\
+\e[00;34m munmap|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n",
+            (unsigned long int) calls[idx_mmap_r],
+            (unsigned long long int) total[idx_mmap_r],
+            failed[idx_mmap_r] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_r],
+            (unsigned long int) calls[idx_mmap_w],
+            (unsigned long long int) total[idx_mmap_w],
+            failed[idx_mmap_w] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_w],
+            (unsigned long int) calls[idx_mmap_a],
+            (unsigned long long int) total[idx_mmap_a],
+            failed[idx_mmap_a] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_a],
+            (unsigned long int) calls[idx_mremap],
+            (unsigned long long int) total[idx_mremap],
+            failed[idx_mremap] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mremap],
+            (unsigned long int) inplace_mremap,
+            (unsigned long int) decreasing_mremap,
+            (unsigned long int) calls[idx_munmap],
+            (unsigned long long int) total[idx_munmap],
+            failed[idx_munmap] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_munmap]);
 
   /* Write out a histoogram of the sizes of the allocations.  */
   fprintf (stderr, "\e[01;32mHistogram for block sizes:\e[0;0m\n");
 
   /* Write out a histoogram of the sizes of the allocations.  */
   fprintf (stderr, "\e[01;32mHistogram for block sizes:\e[0;0m\n");
@@ -543,7 +860,7 @@ dest (void)
       {
        percent = (histogram[cnt / 16] * 100) / calls_total;
        fprintf (stderr, "%5d-%-5d%12lu ", cnt, cnt + 15,
       {
        percent = (histogram[cnt / 16] * 100) / calls_total;
        fprintf (stderr, "%5d-%-5d%12lu ", cnt, cnt + 15,
-                histogram[cnt / 16]);
+                (unsigned long int) histogram[cnt / 16]);
        if (percent == 0)
          fputs (" <1% \e[41;37m", stderr);
        else
        if (percent == 0)
          fputs (" <1% \e[41;37m", stderr);
        else
@@ -560,7 +877,7 @@ dest (void)
   if (large != 0)
     {
       percent = (large * 100) / calls_total;
   if (large != 0)
     {
       percent = (large * 100) / calls_total;
-      fprintf (stderr, "   large   %12lu ", large);
+      fprintf (stderr, "   large   %12lu ", (unsigned long int) large);
       if (percent == 0)
        fputs (" <1% \e[41;37m", stderr);
       else
       if (percent == 0)
        fputs (" <1% \e[41;37m", stderr);
       else