(@headers): Add monetary.h-data, mqueue.h-data, ndbm.h-data, nl_types.h-data,
[kopensolaris-gnu/glibc.git] / conform / conformtest.pl
1 #! /usr/bin/perl
2
3 $CC = "gcc";
4 $CFLAGS = "-I. '-D__attribute__(x)=' -D_XOPEN_SOURCE=500";
5
6 # List of the headers we are testing.
7 @headers = ("poll.h", "nl_types.h", "ndbm.h", "mqueue.h", "monetary.h",
8             "math.h", "locale.h", "libgen.h", "langinfo.h", "iso646.h",
9             "inttypes.h", "iconv.h", "grp.h", "glob.h", "ftw.h", "fnmatch.h",
10             "fmtmsg.h", "float.h", "fcntl.h", "errno.h", "dlfcn.h", "dirent.h",
11             "ctype.h", "cpio.h", "assert.h", "aio.h");
12
13 # These are the ISO C9x keywords.
14 @keywords = ('auto', 'break', 'case', 'char', 'const', 'continue', 'default',
15              'do', 'double', 'else', 'enum', 'extern', 'float', 'for', 'goto',
16              'if', 'inline', 'int', 'long', 'register', 'restrict', 'return',
17              'short', 'signed', 'sizeof', 'static', 'struct', 'switch',
18              'typedef', 'union', 'unsigned', 'void', 'volatile', 'while');
19
20 # Make an hash table from this information.
21 while ($#keywords) {
22   $iskeyword{pop (@keywords)} = 1;
23 }
24
25 $tmpdir = "/tmp";
26
27 $verbose = 1;
28
29 $total = 0;
30 $skipped = 0;
31 $errors = 0;
32
33 #$dialect = "ISO";
34 #$dialect = "POSIX";
35 #$dialect = "XPG3";
36 #$dialect = "XPG4";
37 $dialect = "UNIX98";
38
39
40 sub poorfnmatch {
41   my($pattern, $string) = @_;
42   my($strlen) = length ($string);
43   my($res);
44
45   if (substr ($pattern, 0, 1) eq '*') {
46     my($patlen) = length ($pattern) - 1;
47     $res = ($strlen >= $patlen
48             && substr ($pattern, -$patlen, $patlen) eq substr ($string, -$patlen, $patlen));
49   } elsif (substr ($pattern, -1, 1) eq '*') {
50     my($patlen) = length ($pattern) - 1;
51     $res = ($strlen >= $patlen
52             && substr ($pattern, 0, $patlen) eq substr ($string, 0, $patlen));
53   } else {
54     $res = $pattern eq $string;
55   }
56   return $res;
57 }
58
59
60 sub compiletest
61 {
62   my($fnamebase, $msg, $errmsg, $skip) = @_;
63   my($result) = $skip;
64   my($printlog) = 0;
65
66   ++$total;
67   printf ("  $msg...");
68
69   if ($skip != 0) {
70     ++$skipped;
71     printf (" SKIP\n");
72   } else {
73     $ret = system "$CC $CFLAGS -c $fnamebase.c -o $fnamebase.o > $fnamebase.out 2>&1";
74     if ($ret != 0) {
75       printf (" FAIL\n");
76       if ($verbose != 0) {
77         printf ("    $errmsg  Compiler message:\n");
78         $printlog = 1;
79       }
80       ++$errors;
81       $result = 1;
82     } else {
83       printf (" OK\n");
84       if ($verbose > 1 && -s "$fnamebase.out") {
85         # We print all warnings issued.
86         $printlog = 1;
87       }
88     }
89     if ($printlog != 0) {
90       printf ("    " . "-" x 71 . "\n");
91       open (MESSAGE, "< $fnamebase.out");
92       while (<MESSAGE>) {
93         printf ("    %s", $_);
94       }
95       close (MESSAGE);
96       printf ("    " . "-" x 71 . "\n");
97     }
98   }
99   unlink "$fnamebase.c";
100   unlink "$fnamebase.o";
101   unlink "$fnamebase.out";
102
103   $result;
104 }
105
106
107 sub runtest
108 {
109   my($fnamebase, $msg, $errmsg, $skip) = @_;
110   my($result) = $skip;
111   my($printlog) = 0;
112
113   ++$total;
114   printf ("  $msg...");
115
116   if ($skip != 0) {
117     ++$skipped;
118     printf (" SKIP\n");
119   } else {
120     $ret = system "$CC $CFLAGS -o $fnamebase $fnamebase.c > $fnamebase.out 2>&1";
121     if ($ret != 0) {
122       printf (" FAIL\n");
123       if ($verbose != 0) {
124         printf ("    $errmsg  Compiler message:\n");
125         $printlog = 1;
126       }
127       ++$errors;
128       $result = 1;
129     } else {
130       # Now run the program.  If the exit code is not zero something is wrong.
131       $result = system "$fnamebase > $fnamebase.out2 2>&1";
132       if ($result == 0) {
133         printf (" OK\n");
134         if ($verbose > 1 && -s "$fnamebase.out") {
135           # We print all warnings issued.
136           $printlog = 1;
137           system "cat $fnamebase.out2 >> $fnamebase.out";
138         }
139       } else {
140         printf (" FAIL\n");
141         $printlog = 1;
142         unlink "$fnamebase.out";
143         rename "$fnamebase.out2", "$fnamebase.out";
144       }
145     }
146     if ($printlog != 0) {
147       printf ("    " . "-" x 71 . "\n");
148       open (MESSAGE, "< $fnamebase.out");
149       while (<MESSAGE>) {
150         printf ("    %s", $_);
151       }
152       close (MESSAGE);
153       printf ("    " . "-" x 71 . "\n");
154     }
155   }
156   unlink "$fnamebase";
157   unlink "$fnamebase.c";
158   unlink "$fnamebase.o";
159   unlink "$fnamebase.out";
160   unlink "$fnamebase.out2";
161
162   $result;
163 }
164
165
166 sub newtoken {
167   my($token, $nerrors, @allow) = @_;
168   my($idx);
169
170   for ($idx = 0; $idx <= $#allow; ++$idx) {
171     if ($token =~ /^[0-9_]/ || $iskeyword{$token} || poorfnmatch ($allow[$idx], $token)) {
172       return $nerrors;
173     }
174   }
175
176   ++$nerrors;
177   if ($nerrors == 1) {
178     printf ("FAIL\n    " . "-" x 72 . "\n");
179   }
180   printf ("    Namespace violation: \"%s\"\n", $token);
181   return $nerrors;
182 }
183
184
185 sub checknamespace {
186   my($h, $fnamebase, @allow) = @_;
187   my($nerrors) = 0;
188
189   ++$total;
190
191   # Generate a program to get the contents of this header.
192   open (TESTFILE, ">$fnamebase.c");
193   print TESTFILE "#include <$h>\n";
194   close (TESTFILE);
195
196   open (CONTENT, "$CC $CFLAGS -E $fnamebase.c -Wp,-dN | sed -e '/^# [1-9]/d' -e '/^[[:space:]]*\$/d' |");
197   while (<CONTENT>) {
198     chop;
199     if (/^#define (.*)/) {
200       $nerrors = newtoken ($1, $nerrors, @allow);
201     } else {
202       # We have to tokenize the line.
203       my($str) = $_;
204       my($index) = 0;
205       my($len) = length ($str);
206
207       foreach $token (split(/[^a-zA-Z0-9_]/, $str)) {
208         if ($token ne "") {
209           $nerrors = newtoken ($token, $nerrors, @allow);
210         }
211       }
212     }
213   }
214   close (CONTENT);
215   unlink "$fnamebase.c";
216   if ($nerrors != 0) {
217     printf ("    " . "-" x 72 . "\n");
218     ++$errors;
219   } else {
220     printf ("OK\n");
221   }
222 }
223
224
225 while ($#headers >= 0) {
226   my($h) = pop (@headers);
227   my($fnamebase) = "$tmpdir/$h-test";
228   my($missing);
229   my(@allow) = ();
230
231   printf ("Testing <$h>\n");
232   printf ("----------" . "-" x length ($h) . "\n");
233
234   # Generate a program to test for the availability of this header.
235   open (TESTFILE, ">$fnamebase.c");
236   print TESTFILE "#include <$h>\n";
237   close (TESTFILE);
238
239   $missing = compiletest ($fnamebase, "Checking whether <$h> is available",
240                           "Header <$h> not available", 0);
241
242   printf ("\n");
243
244   open (CONTROL, "$CC -E -D$dialect - < data/$h-data |");
245   control: while (<CONTROL>) {
246     chop;
247     next control if (/^#/);
248     next control if (/^[        ]*$/);
249
250     if (/^element *({([^}]*)}|([^ ]*)) *({([^}]*)}|([^ ]*)) *([A-Za-z0-9_]*) *(.*)/) {
251       my($struct) = "$2$3";
252       my($type) = "$5$6";
253       my($member) = "$7";
254       my($rest) = "$8";
255       my($res) = $missing;
256
257       # Remember that this name is allowed.
258       push @allow, $member;
259
260       # Generate a program to test for the availability of this member.
261       open (TESTFILE, ">$fnamebase.c");
262       print TESTFILE "#include <$h>\n";
263       print TESTFILE "$struct a;\n";
264       print TESTFILE "$struct b;\n";
265       print TESTFILE "extern void xyzzy (__typeof__ (&b.$member), __typeof__ (&a.$member), unsigned);\n";
266       print TESTFILE "void foobarbaz (void) {\n";
267       print TESTFILE "  xyzzy (&a.$member, &b.$member, sizeof (a.$member));\n";
268       print TESTFILE "}\n";
269       close (TESTFILE);
270
271       $res = compiletest ($fnamebase, "Testing for member $member",
272                           "Member \"$member\" not available.", $res);
273
274
275       # Test the types of the members.
276       open (TESTFILE, ">$fnamebase.c");
277       print TESTFILE "#include <$h>\n";
278       print TESTFILE "$struct a;\n";
279       print TESTFILE "extern $type b$rest;\n";
280       print TESTFILE "extern __typeof__ (a.$member) b;\n";
281       close (TESTFILE);
282
283       compiletest ($fnamebase, "Testing for type of member $member",
284                    "Member \"$member\" does not have the correct type.", $res);
285     } elsif (/^constant *([a-zA-Z0-9_]*) *([A-Za-z0-9_]*)?/) {
286       my($const) = $1;
287       my($value) = $2;
288       my($res) = $missing;
289
290       # Remember that this name is allowed.
291       push @allow, $const;
292
293       # Generate a program to test for the availability of this constant.
294       open (TESTFILE, ">$fnamebase.c");
295       print TESTFILE "#include <$h>\n";
296       print TESTFILE "__typeof__ ($const) a = $const;\n";
297       close (TESTFILE);
298
299       $res = compiletest ($fnamebase, "Testing for constant $const",
300                           "Constant \"$const\" not available.", $res);
301
302       if ($value ne "") {
303         # Generate a program to test for the value of this constant.
304         open (TESTFILE, ">$fnamebase.c");
305         print TESTFILE "#include <$h>\n";
306         print TESTFILE "int main (void) { return $const != $value; }\n";
307         close (TESTFILE);
308
309         $res = runtest ($fnamebase, "Testing for value of constant $const",
310                         "Constant \"$const\" has not the right value.", $res);
311       }
312     } elsif (/^type *({([^}]*)|([a-zA-Z0-9_]*))/) {
313       my($type) = "$2$3";
314
315       # Remember that this name is allowed.
316       if ($type =~ /^struct *(.*)/) {
317         push @allow, $1;
318       } elsif ($type =~ /^union *(.*)/) {
319         push @allow, $1;
320       } else {
321         push @allow, $type;
322       }
323
324       # Remember that this name is allowed.
325       push @allow, $type;
326
327       # Generate a program to test for the availability of this constant.
328       open (TESTFILE, ">$fnamebase.c");
329       print TESTFILE "#include <$h>\n";
330       print TESTFILE "$type *a;\n";
331       close (TESTFILE);
332
333       compiletest ($fnamebase, "Testing for type $type",
334                    "Type \"$type\" not available.", $missing);
335     } elsif (/^function *({([^}]*)}|([a-zA-Z0-9_]*)) ([a-zA-Z0-9_]*) ([(][^)]*[)])/) {
336       my($rettype) = "$2$3";
337       my($fname) = "$4";
338       my($args) = "$5";
339       my($res) = $missing;
340
341       # Remember that this name is allowed.
342       push @allow, $fname;
343
344       # Generate a program to test for availability of this function.
345       open (TESTFILE, ">$fnamebase.c");
346       print TESTFILE "#include <$h>\n";
347       # print TESTFILE "#undef $fname\n";
348       print TESTFILE "$rettype (*foobarbaz) $args = $fname;\n";
349       close (TESTFILE);
350
351       $res = compiletest ($fnamebase, "Test availability of function $fname",
352                           "Function \"$fname\" is not available.", $res);
353
354       # Generate a program to test for the type of this function.
355       open (TESTFILE, ">$fnamebase.c");
356       print TESTFILE "#include <$h>\n";
357       # print TESTFILE "#undef $fname\n";
358       print TESTFILE "extern $rettype (*foobarbaz) $args;\n";
359       print TESTFILE "extern __typeof__ (&$fname) foobarbaz;\n";
360       close (TESTFILE);
361
362       compiletest ($fnamebase, "Test for type of function $fname",
363                    "Function \"$fname\" has incorrect type.", $res);
364     } elsif (/^macro *([^       ]*)/) {
365       my($macro) = "$1";
366
367       # Remember that this name is allowed.
368       push @allow, $macro;
369
370       # Generate a program to test for availability of this macro.
371       open (TESTFILE, ">$fnamebase.c");
372       print TESTFILE "#include <$h>\n";
373       print TESTFILE "#ifndef $macro\n";
374       print TESTFILE "# error \"Macro $macro not defined\"\n";
375       print TESTFILE "#endif\n";
376       close (TESTFILE);
377
378       compiletest ($fnamebase, "Test availability of macro $macro",
379                    "Macro \"$macro\" is not available.", $missing);
380     } elsif (/^allow *(.*)/) {
381       my($pattern) = $1;
382       push @allow, $pattern;
383       next control;
384     } else {
385       # printf ("line is `%s'\n", $_);
386       next control;
387     }
388
389     printf ("\n");
390   }
391   close (CONTROL);
392
393   # Now check the namespace.
394   printf ("  Checking the namespace of \"%s\"... ", $h);
395   if ($missing) {
396     ++$skipped;
397     printf ("SKIP\n");
398   } else {
399     checknamespace ($h, $fnamebase, @allow);
400   }
401
402   printf ("\n\n");
403 }
404
405 printf "-" x 76 . "\n";
406 printf ("  Total number of tests  : %4d\n", $total);
407 printf ("  Number of failed tests : %4d (%3d%%)\n", $errors, ($errors * 100) / $total);
408 printf ("  Number of skipped tests: %4d (%3d%%)\n", $skipped, ($skipped * 100) / $total);
409
410 exit $errors != 0;