typo
[kopensolaris-gnu/glibc.git] / malloc / memusage.c
index b65440f..d11e9e6 100644 (file)
@@ -1,5 +1,5 @@
 /* Profile heap and stack memory usage of running program.
-   Copyright (C) 1998, 1999, 2000, 2001 Free Software Foundation, Inc.
+   Copyright (C) 1998-2002, 2004, 2005, 2006 Free Software Foundation, Inc.
    This file is part of the GNU C Library.
    Contributed by Ulrich Drepper <drepper@cygnus.com>, 1998.
 
    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
    02111-1307 USA.  */
 
+#include <atomic.h>
 #include <dlfcn.h>
+#include <errno.h>
 #include <fcntl.h>
 #include <inttypes.h>
 #include <signal.h>
+#include <stdarg.h>
+#include <stdbool.h>
 #include <stdio.h>
 #include <stdlib.h>
 #include <string.h>
 #include <unistd.h>
+#include <sys/mman.h>
 #include <sys/time.h>
 
 #include <memusage.h>
@@ -37,12 +42,22 @@ static void *(*reallocp) (void *, size_t);
 static void *(*callocp) (size_t, size_t);
 static void (*freep) (void *);
 
+static void *(*mmapp) (void *, size_t, int, int, int, off_t);
+static void *(*mmap64p) (void *, size_t, int, int, int, off64_t);
+static int (*munmapp) (void *, size_t);
+static void *(*mremapp) (void *, size_t, size_t, int, void *);
+
 enum
 {
   idx_malloc = 0,
   idx_realloc,
   idx_calloc,
   idx_free,
+  idx_mmap_r,
+  idx_mmap_w,
+  idx_mmap_a,
+  idx_mremap,
+  idx_munmap,
   idx_last
 };
 
@@ -56,22 +71,23 @@ struct header
 #define MAGIC 0xfeedbeaf
 
 
-static unsigned long int calls[idx_last];
-static unsigned long int failed[idx_last];
-static unsigned long long int total[idx_last];
-static unsigned long long int grand_total;
-static unsigned long int histogram[65536 / 16];
-static unsigned long int large;
-static unsigned long int calls_total;
-static unsigned long int inplace;
-static unsigned long int decreasing;
-static long int current_use[2];
-static long int peak_use[3];
-static uintptr_t start_sp;
+static memusage_cntr_t calls[idx_last];
+static memusage_cntr_t failed[idx_last];
+static memusage_size_t total[idx_last];
+static memusage_size_t grand_total;
+static memusage_cntr_t histogram[65536 / 16];
+static memusage_cntr_t large;
+static memusage_cntr_t calls_total;
+static memusage_cntr_t inplace;
+static memusage_cntr_t decreasing;
+static memusage_cntr_t realloc_free;
+static memusage_cntr_t inplace_mremap;
+static memusage_cntr_t decreasing_mremap;
+static memusage_size_t current_heap;
+static memusage_size_t peak_use[3];
+static __thread uintptr_t start_sp;
 
 /* A few macros to make the source more readable.  */
-#define current_heap   current_use[0]
-#define current_stack  current_use[1]
 #define peak_heap      peak_use[0]
 #define peak_stack     peak_use[1]
 #define peak_total     peak_use[2]
@@ -81,20 +97,21 @@ static size_t buffer_size;
 
 static int fd = -1;
 
-static int not_me;
+static bool not_me;
 static int initialized;
+static bool trace_mmap;
 extern const char *__progname;
 
 struct entry
 {
-  size_t heap;
-  size_t stack;
+  uint64_t heap;
+  uint64_t stack;
   uint32_t time_low;
   uint32_t time_high;
 };
 
-static struct entry buffer[DEFAULT_BUFFER_SIZE];
-static size_t buffer_cnt;
+static struct entry buffer[2 * DEFAULT_BUFFER_SIZE];
+static uatomic32_t buffer_cnt;
 static struct entry first;
 
 
@@ -102,8 +119,6 @@ static struct entry first;
 static void
 update_data (struct header *result, size_t len, size_t old_len)
 {
-  long int total_use;
-
   if (result != NULL)
     {
       /* Record the information we need and mark the block using a
@@ -113,38 +128,60 @@ update_data (struct header *result, size_t len, size_t old_len)
     }
 
   /* Compute current heap usage and compare it with the maximum value.  */
-  current_heap += len - old_len;
-  if (current_heap > peak_heap)
-    peak_heap = current_heap;
-
-  /* Compute current stack usage and compare it with the maximum value.  */
+  memusage_size_t heap
+    = catomic_exchange_and_add (&current_heap, len - old_len) + len - old_len;
+  catomic_max (&peak_heap, heap);
+
+  /* Compute current stack usage and compare it with the maximum
+     value.  The base stack pointer might not be set if this is not
+     the main thread and it is the first call to any of these
+     functions.  */
+  if (__builtin_expect (!start_sp, 0))
+    start_sp = GETSP ();
+
+  uintptr_t sp = GETSP ();
 #ifdef STACK_GROWS_UPWARD
-  current_stack = GETSP () - start_sp;
+  /* This can happen in threads where we didn't catch the thread's
+     stack early enough.  */
+  if (__builtin_expect (sp < start_sp, 0))
+    start_sp = sp;
+  size_t current_stack = sp - start_sp;
 #else
-  current_stack = start_sp - GETSP ();
+  /* This can happen in threads where we didn't catch the thread's
+     stack early enough.  */
+  if (__builtin_expect (sp > start_sp, 0))
+    start_sp = sp;
+  size_t current_stack = start_sp - sp;
 #endif
-  if (current_stack > peak_stack)
-    peak_stack = current_stack;
+  catomic_max (&peak_stack, current_stack);
 
   /* Add up heap and stack usage and compare it with the maximum value.  */
-  total_use = current_heap + current_stack;
-  if (total_use > peak_total)
-    peak_total = total_use;
+  catomic_max (&peak_total, heap + current_stack);
 
   /* Store the value only if we are writing to a file.  */
   if (fd != -1)
     {
-      buffer[buffer_cnt].heap = current_heap;
-      buffer[buffer_cnt].stack = current_stack;
-      GETTIME (buffer[buffer_cnt].time_low, buffer[buffer_cnt].time_high);
-      ++buffer_cnt;
-
-      /* Write out buffer if it is full.  */
-      if (buffer_cnt == buffer_size)
+      uatomic32_t idx = catomic_exchange_and_add (&buffer_cnt, 1);
+      if (idx >= 2 * buffer_size)
        {
-         write (fd, buffer, buffer_cnt * sizeof (struct entry));
-         buffer_cnt = 0;
+         /* We try to reset the counter to the correct range.  If
+            this fails because of another thread increasing the
+            counter it does not matter since that thread will take
+            care of the correction.  */
+         unsigned int reset = idx - 2 * buffer_size;
+         catomic_compare_and_exchange_val_acq (&buffer_size, reset, idx);
+         idx = reset;
        }
+
+      buffer[idx].heap = current_heap;
+      buffer[idx].stack = current_stack;
+      GETTIME (buffer[idx].time_low, buffer[idx].time_high);
+
+      /* Write out buffer if it is full.  */
+      if (idx + 1 == buffer_size)
+       write (fd, buffer, buffer_size * sizeof (struct entry));
+      else if (idx + 1 == 2 * buffer_size)
+       write (fd, &buffer[buffer_size], buffer_size * sizeof (struct entry));
     }
 }
 
@@ -180,13 +217,29 @@ me (void)
   const char *env = getenv ("MEMUSAGE_PROG_NAME");
   size_t prog_len = strlen (__progname);
 
+  initialized = -1;
+  mallocp = (void *(*) (size_t)) dlsym (RTLD_NEXT, "malloc");
+  reallocp = (void *(*) (void *, size_t)) dlsym (RTLD_NEXT, "realloc");
+  callocp = (void *(*) (size_t, size_t)) dlsym (RTLD_NEXT, "calloc");
+  freep = (void (*) (void *)) dlsym (RTLD_NEXT, "free");
+
+  mmapp = (void *(*) (void *, size_t, int, int, int, off_t)) dlsym (RTLD_NEXT,
+                                                                   "mmap");
+  mmap64p =
+    (void *(*) (void *, size_t, int, int, int, off64_t)) dlsym (RTLD_NEXT,
+                                                               "mmap64");
+  mremapp = (void *(*) (void *, size_t, size_t, int, void *)) dlsym (RTLD_NEXT,
+                                                                    "mremap");
+  munmapp = (int (*) (void *, size_t)) dlsym (RTLD_NEXT, "munmap");
+  initialized = 1;
+
   if (env != NULL)
     {
       /* Check for program name.  */
       size_t len = strlen (env);
       if (len > prog_len || strcmp (env, &__progname[prog_len - len]) != 0
          || (prog_len != len && __progname[prog_len - len - 1] != '/'))
-       not_me = 1;
+       not_me = true;
     }
 
   /* Only open the file if it's really us.  */
@@ -197,23 +250,16 @@ me (void)
       if (!start_sp)
        start_sp = GETSP ();
 
-      initialized = -1;
-      mallocp = (void *(*) (size_t)) dlsym (RTLD_NEXT, "malloc");
-      reallocp = (void *(*) (void *, size_t)) dlsym (RTLD_NEXT, "realloc");
-      callocp = (void *(*) (size_t, size_t)) dlsym (RTLD_NEXT, "calloc");
-      freep = (void (*) (void *)) dlsym (RTLD_NEXT, "free");
-      initialized = 1;
-
       outname = getenv ("MEMUSAGE_OUTPUT");
       if (outname != NULL && outname[0] != '\0'
-         && access (outname, R_OK | W_OK) == 0)
+         && (access (outname, R_OK | W_OK) == 0 || errno == ENOENT))
        {
-         fd = creat (outname, 0666);
+         fd = creat64 (outname, 0666);
 
          if (fd == -1)
            /* Don't do anything in future calls if we cannot write to
               the output file.  */
-           not_me = 1;
+           not_me = true;
          else
            {
              /* Write the first entry.  */
@@ -222,6 +268,7 @@ me (void)
              GETTIME (first.time_low, first.time_high);
              /* Write it two times since we need the starting and end time. */
              write (fd, &first, sizeof (first));
+             write (fd, &first, sizeof (first));
 
              /* Determine the buffer size.  We use the default if the
                 environment variable is not present.  */
@@ -254,6 +301,9 @@ me (void)
                }
            }
        }
+
+      if (!not_me && getenv ("MEMUSAGE_TRACE_MMAP") != NULL)
+       trace_mmap = true;
     }
 }
 
@@ -289,24 +339,24 @@ malloc (size_t len)
     return (*mallocp) (len);
 
   /* Keep track of number of calls.  */
-  ++calls[idx_malloc];
+  catomic_increment (&calls[idx_malloc]);
   /* Keep track of total memory consumption for `malloc'.  */
-  total[idx_malloc] += len;
+  catomic_add (&total[idx_malloc], len);
   /* Keep track of total memory requirement.  */
-  grand_total += len;
+  catomic_add (&grand_total, len);
   /* Remember the size of the request.  */
   if (len < 65536)
-    ++histogram[len / 16];
+    catomic_increment (&histogram[len / 16]);
   else
-    ++large;
+    catomic_increment (&large);
   /* Total number of calls of any of the functions.  */
-  ++calls_total;
+  catomic_increment (&calls_total);
 
   /* Do the real work.  */
   result = (struct header *) (*mallocp) (len + sizeof (struct header));
   if (result == NULL)
     {
-      ++failed[idx_malloc];
+      catomic_increment (&failed[idx_malloc]);
       return NULL;
     }
 
@@ -355,33 +405,53 @@ realloc (void *old, size_t len)
     }
 
   /* Keep track of number of calls.  */
-  ++calls[idx_realloc];
-  /* Keep track of total memory consumption for `realloc'.  */
-  total[idx_realloc] += len;
-  /* Keep track of total memory requirement.  */
-  grand_total += len;
+  catomic_increment (&calls[idx_realloc]);
+  if (len > old_len)
+    {
+      /* Keep track of total memory consumption for `realloc'.  */
+      catomic_add (&total[idx_realloc], len - old_len);
+      /* Keep track of total memory requirement.  */
+      catomic_add (&grand_total, len - old_len);
+    }
+
+  if (len == 0 && old != NULL)
+    {
+      /* Special case.  */
+      catomic_increment (&realloc_free);
+      /* Keep track of total memory freed using `free'.  */
+      catomic_add (&total[idx_free], real->length);
+
+      /* Update the allocation data and write out the records if necessary.  */
+      update_data (NULL, 0, old_len);
+
+      /* Do the real work.  */
+      (*freep) (real);
+
+      return NULL;
+    }
+
   /* Remember the size of the request.  */
   if (len < 65536)
-    ++histogram[len / 16];
+    catomic_increment (&histogram[len / 16]);
   else
-    ++large;
+    catomic_increment (&large);
   /* Total number of calls of any of the functions.  */
-  ++calls_total;
+  catomic_increment (&calls_total);
 
   /* Do the real work.  */
   result = (struct header *) (*reallocp) (real, len + sizeof (struct header));
   if (result == NULL)
     {
-      ++failed[idx_realloc];
+      catomic_increment (&failed[idx_realloc]);
       return NULL;
     }
 
   /* Record whether the reduction/increase happened in place.  */
   if (real == result)
-    ++inplace;
+    catomic_increment (&inplace);
   /* Was the buffer increased?  */
   if (old_len > len)
-    ++decreasing;
+    catomic_increment (&decreasing);
 
   /* Update the allocation data and write out the records if necessary.  */
   update_data (result, len, old_len);
@@ -412,16 +482,16 @@ calloc (size_t n, size_t len)
     return (*callocp) (n, len);
 
   /* Keep track of number of calls.  */
-  ++calls[idx_calloc];
+  catomic_increment (&calls[idx_calloc]);
   /* Keep track of total memory consumption for `calloc'.  */
-  total[idx_calloc] += size;
+  catomic_add (&total[idx_calloc], size);
   /* Keep track of total memory requirement.  */
-  grand_total += size;
+  catomic_add (&grand_total, size);
   /* Remember the size of the request.  */
   if (size < 65536)
-    ++histogram[size / 16];
+    catomic_increment (&histogram[size / 16]);
   else
-    ++large;
+    catomic_increment (&large);
   /* Total number of calls of any of the functions.  */
   ++calls_total;
 
@@ -429,7 +499,7 @@ calloc (size_t n, size_t len)
   result = (struct header *) (*mallocp) (size + sizeof (struct header));
   if (result == NULL)
     {
-      ++failed[idx_calloc];
+      catomic_increment (&failed[idx_calloc]);
       return NULL;
     }
 
@@ -466,7 +536,7 @@ free (void *ptr)
   /* `free (NULL)' has no effect.  */
   if (ptr == NULL)
     {
-      ++calls[idx_free];
+      catomic_increment (&calls[idx_free]);
       return;
     }
 
@@ -480,9 +550,9 @@ free (void *ptr)
     }
 
   /* Keep track of number of calls.  */
-  ++calls[idx_free];
+  catomic_increment (&calls[idx_free]);
   /* Keep track of total memory freed using `free'.  */
-  total[idx_free] += real->length;
+  catomic_add (&total[idx_free], real->length);
 
   /* Update the allocation data and write out the records if necessary.  */
   update_data (NULL, 0, real->length);
@@ -492,6 +562,215 @@ free (void *ptr)
 }
 
 
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mmap (void *start, size_t len, int prot, int flags, int fd, off_t offset)
+{
+  void *result = NULL;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mmapp) (start, len, prot, flags, fd, offset);
+
+  if (!not_me && trace_mmap)
+    {
+      int idx = (flags & MAP_ANON
+                ? idx_mmap_a : prot & PROT_WRITE ? idx_mmap_w : idx_mmap_r);
+
+      /* Keep track of number of calls.  */
+      catomic_increment (&calls[idx]);
+      /* Keep track of total memory consumption for `malloc'.  */
+      catomic_add (&total[idx], len);
+      /* Keep track of total memory requirement.  */
+      catomic_add (&grand_total, len);
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       catomic_increment (&histogram[len / 16]);
+      else
+       catomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      catomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       catomic_increment (&failed[idx]);
+      else if (idx == idx_mmap_w)
+       /* Update the allocation data and write out the records if
+          necessary.  Note the first parameter is NULL which means
+          the size is not tracked.  */
+       update_data (NULL, len, 0);
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mmap64 (void *start, size_t len, int prot, int flags, int fd, off64_t offset)
+{
+  void *result = NULL;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mmap64p) (start, len, prot, flags, fd, offset);
+
+  if (!not_me && trace_mmap)
+    {
+      int idx = (flags & MAP_ANON
+                ? idx_mmap_a : prot & PROT_WRITE ? idx_mmap_w : idx_mmap_r);
+
+      /* Keep track of number of calls.  */
+      catomic_increment (&calls[idx]);
+      /* Keep track of total memory consumption for `malloc'.  */
+      catomic_add (&total[idx], len);
+      /* Keep track of total memory requirement.  */
+      catomic_add (&grand_total, len);
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       catomic_increment (&histogram[len / 16]);
+      else
+       catomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      catomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       catomic_increment (&failed[idx]);
+      else if (idx == idx_mmap_w)
+       /* Update the allocation data and write out the records if
+          necessary.  Note the first parameter is NULL which means
+          the size is not tracked.  */
+       update_data (NULL, len, 0);
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `mmap' replacement.  We do not have to keep track of the sizesince
+   `munmap' will get it as a parameter.  */
+void *
+mremap (void *start, size_t old_len, size_t len, int flags,  ...)
+{
+  void *result = NULL;
+  va_list ap;
+
+  va_start (ap, flags);
+  void *newaddr = (flags & MREMAP_FIXED) ? va_arg (ap, void *) : NULL;
+  va_end (ap);
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return NULL;
+      me ();
+    }
+
+  /* Always get a block.  We don't need extra memory.  */
+  result = (*mremapp) (start, old_len, len, flags, newaddr);
+
+  if (!not_me && trace_mmap)
+    {
+      /* Keep track of number of calls.  */
+      catomic_increment (&calls[idx_mremap]);
+      if (len > old_len)
+       {
+         /* Keep track of total memory consumption for `malloc'.  */
+         catomic_add (&total[idx_mremap], len - old_len);
+         /* Keep track of total memory requirement.  */
+         catomic_add (&grand_total, len - old_len);
+       }
+      /* Remember the size of the request.  */
+      if (len < 65536)
+       catomic_increment (&histogram[len / 16]);
+      else
+       catomic_increment (&large);
+      /* Total number of calls of any of the functions.  */
+      catomic_increment (&calls_total);
+
+      /* Check for failures.  */
+      if (result == NULL)
+       catomic_increment (&failed[idx_mremap]);
+      else
+       {
+         /* Record whether the reduction/increase happened in place.  */
+         if (start == result)
+           catomic_increment (&inplace_mremap);
+         /* Was the buffer increased?  */
+         if (old_len > len)
+           catomic_increment (&decreasing_mremap);
+
+         /* Update the allocation data and write out the records if
+            necessary.  Note the first parameter is NULL which means
+            the size is not tracked.  */
+         update_data (NULL, len, old_len);
+       }
+    }
+
+  /* Return the pointer to the user buffer.  */
+  return result;
+}
+
+
+/* `munmap' replacement.  */
+int
+munmap (void *start, size_t len)
+{
+  int result;
+
+  /* Determine real implementation if not already happened.  */
+  if (__builtin_expect (initialized <= 0, 0))
+    {
+      if (initialized == -1)
+       return -1;
+      me ();
+    }
+
+  /* Do the real work.  */
+  result = (*munmapp) (start, len);
+
+  if (!not_me && trace_mmap)
+    {
+      /* Keep track of number of calls.  */
+      catomic_increment (&calls[idx_munmap]);
+
+      if (__builtin_expect (result == 0, 1))
+       {
+         /* Keep track of total memory freed using `free'.  */
+         catomic_add (&total[idx_munmap], len);
+
+         /* Update the allocation data and write out the records if
+            necessary.  */
+         update_data (NULL, 0, len);
+       }
+      else
+       catomic_increment (&failed[idx_munmap]);
+    }
+
+  return result;
+}
+
+
 /* Write some statistics to standard error.  */
 static void
 __attribute__ ((destructor))
@@ -504,13 +783,18 @@ dest (void)
   if (not_me)
     return;
   /* If we should call any of the memory functions don't do any profiling.  */
-  not_me = 1;
+  not_me = true;
 
   /* Finish the output file.  */
   if (fd != -1)
     {
       /* Write the partially filled buffer.  */
-      write (fd, buffer, buffer_cnt * sizeof (struct entry));
+      if (buffer_cnt > buffer_size)
+       write (fd, buffer + buffer_size,
+              (buffer_cnt - buffer_size) * sizeof (struct entry));
+      else
+       write (fd, buffer, buffer_cnt * sizeof (struct entry));
+
       /* Go back to the beginning of the file.  We allocated two records
         here when we opened the file.  */
       lseek (fd, 0, SEEK_SET);
@@ -534,19 +818,58 @@ dest (void)
 \e[01;32mMemory usage summary:\e[0;0m heap total: %llu, heap peak: %lu, stack peak: %lu\n\
 \e[04;34m         total calls   total memory   failed calls\e[0m\n\
 \e[00;34m malloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
-\e[00;34mrealloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m   (in place: %ld, dec: %ld)\n\
+\e[00;34mrealloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m  (nomove:%ld, dec:%ld, free:%ld)\n\
 \e[00;34m calloc|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
 \e[00;34m   free|\e[0m %10lu   %12llu\n",
-          grand_total, (unsigned long int) peak_heap,
+          (unsigned long long int) grand_total, (unsigned long int) peak_heap,
           (unsigned long int) peak_stack,
-          calls[idx_malloc], total[idx_malloc],
-          failed[idx_malloc] ? "\e[01;41m" : "", failed[idx_malloc],
-          calls[idx_realloc], total[idx_realloc],
-          failed[idx_realloc] ? "\e[01;41m" : "", failed[idx_realloc],
-          inplace, decreasing,
-          calls[idx_calloc], total[idx_calloc],
-          failed[idx_calloc] ? "\e[01;41m" : "", failed[idx_calloc],
-          calls[idx_free], total[idx_free]);
+          (unsigned long int) calls[idx_malloc],
+          (unsigned long long int) total[idx_malloc],
+          failed[idx_malloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_malloc],
+          (unsigned long int) calls[idx_realloc],
+          (unsigned long long int) total[idx_realloc],
+          failed[idx_realloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_realloc],
+          (unsigned long int) inplace,
+          (unsigned long int) decreasing,
+          (unsigned long int) realloc_free,
+          (unsigned long int) calls[idx_calloc],
+          (unsigned long long int) total[idx_calloc],
+          failed[idx_calloc] ? "\e[01;41m" : "",
+          (unsigned long int) failed[idx_calloc],
+          (unsigned long int) calls[idx_free],
+          (unsigned long long int) total[idx_free]);
+
+  if (trace_mmap)
+    fprintf (stderr, "\
+\e[00;34mmmap(r)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34mmmap(w)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34mmmap(a)|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n\
+\e[00;34m mremap|\e[0m %10lu   %12llu   %s%12lu\e[00;00m  (nomove: %ld, dec:%ld)\n\
+\e[00;34m munmap|\e[0m %10lu   %12llu   %s%12lu\e[00;00m\n",
+            (unsigned long int) calls[idx_mmap_r],
+            (unsigned long long int) total[idx_mmap_r],
+            failed[idx_mmap_r] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_r],
+            (unsigned long int) calls[idx_mmap_w],
+            (unsigned long long int) total[idx_mmap_w],
+            failed[idx_mmap_w] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_w],
+            (unsigned long int) calls[idx_mmap_a],
+            (unsigned long long int) total[idx_mmap_a],
+            failed[idx_mmap_a] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mmap_a],
+            (unsigned long int) calls[idx_mremap],
+            (unsigned long long int) total[idx_mremap],
+            failed[idx_mremap] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_mremap],
+            (unsigned long int) inplace_mremap,
+            (unsigned long int) decreasing_mremap,
+            (unsigned long int) calls[idx_munmap],
+            (unsigned long long int) total[idx_munmap],
+            failed[idx_munmap] ? "\e[01;41m" : "",
+            (unsigned long int) failed[idx_munmap]);
 
   /* Write out a histoogram of the sizes of the allocations.  */
   fprintf (stderr, "\e[01;32mHistogram for block sizes:\e[0;0m\n");
@@ -563,7 +886,7 @@ dest (void)
       {
        percent = (histogram[cnt / 16] * 100) / calls_total;
        fprintf (stderr, "%5d-%-5d%12lu ", cnt, cnt + 15,
-                histogram[cnt / 16]);
+                (unsigned long int) histogram[cnt / 16]);
        if (percent == 0)
          fputs (" <1% \e[41;37m", stderr);
        else
@@ -580,7 +903,7 @@ dest (void)
   if (large != 0)
     {
       percent = (large * 100) / calls_total;
-      fprintf (stderr, "   large   %12lu ", large);
+      fprintf (stderr, "   large   %12lu ", (unsigned long int) large);
       if (percent == 0)
        fputs (" <1% \e[41;37m", stderr);
       else
@@ -590,4 +913,10 @@ dest (void)
         fputc ('=', stderr);
       fputs ("\e[0;0m\n", stderr);
     }
+
+  /* Any following malloc/free etc. calls should generate statistics again,
+     because otherwise freeing something that has been malloced before
+     this destructor (including struct header in front of it) wouldn't
+     be properly freed.  */
+  not_me = false;
 }