Updated to fedora-glibc-20041006T0900
[kopensolaris-gnu/glibc.git] / nptl / sysdeps / unix / sysv / linux / x86_64 / pthread_cond_broadcast.S
1 /* Copyright (C) 2002, 2003, 2004 Free Software Foundation, Inc.
2    This file is part of the GNU C Library.
3    Contributed by Ulrich Drepper <drepper@redhat.com>, 2002.
4
5    The GNU C Library is free software; you can redistribute it and/or
6    modify it under the terms of the GNU Lesser General Public
7    License as published by the Free Software Foundation; either
8    version 2.1 of the License, or (at your option) any later version.
9
10    The GNU C Library is distributed in the hope that it will be useful,
11    but WITHOUT ANY WARRANTY; without even the implied warranty of
12    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13    Lesser General Public License for more details.
14
15    You should have received a copy of the GNU Lesser General Public
16    License along with the GNU C Library; if not, write to the Free
17    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18    02111-1307 USA.  */
19
20 #include <sysdep.h>
21 #include <shlib-compat.h>
22 #include <lowlevelcond.h>
23 #include <kernel-features.h>
24
25 #ifdef UP
26 # define LOCK
27 #else
28 # define LOCK lock
29 #endif
30
31 #define SYS_futex               202
32 #define FUTEX_WAIT              0
33 #define FUTEX_WAKE              1
34 #define FUTEX_REQUEUE           3
35 #define FUTEX_CMP_REQUEUE       4
36
37 #define EINVAL                  22
38
39
40         .text
41
42         /* int pthread_cond_broadcast (pthread_cond_t *cond) */
43         .globl  __pthread_cond_broadcast
44         .type   __pthread_cond_broadcast, @function
45         .align  16
46 __pthread_cond_broadcast:
47
48         /* Get internal lock.  */
49         movl    $1, %esi
50         xorl    %eax, %eax
51         LOCK
52 #if cond_lock == 0
53         cmpxchgl %esi, (%rdi)
54 #else
55         cmpxchgl %esi, cond_lock(%rdi)
56 #endif
57         jnz     1f
58
59 2:      addq    $cond_futex, %rdi
60         movq    total_seq-cond_futex(%rdi), %r9
61         cmpq    wakeup_seq-cond_futex(%rdi), %r9
62         jna     4f
63
64         /* Cause all currently waiting threads to recognize they are
65            woken up.  */
66         movq    %r9, wakeup_seq-cond_futex(%rdi)
67         movq    %r9, woken_seq-cond_futex(%rdi)
68         addq    %r9, %r9
69         movl    %r9d, (%rdi)
70         incl    broadcast_seq-cond_futex(%rdi)
71
72         /* Get the address of the mutex used.  */
73         movq    dep_mutex-cond_futex(%rdi), %r8
74
75         /* Unlock.  */
76         LOCK
77         decl    cond_lock-cond_futex(%rdi)
78         jne     7f
79
80 8:      cmpq    $-1, %r8
81         je      9f
82
83         /* Wake up all threads.  */
84         movq    $FUTEX_CMP_REQUEUE, %rsi
85         movq    $SYS_futex, %rax
86         movl    $1, %edx
87         movq    $0x7fffffff, %r10
88         syscall
89
90         /* For any kind of error, which mainly is EAGAIN, we try again
91            with WAKE.  The general test also covers running on old
92            kernels.  */
93         cmpq    $-4095, %rax
94         jae     9f
95
96 10:     xorl    %eax, %eax
97         retq
98
99         .align  16
100         /* Unlock.  */
101 4:      LOCK
102         decl    cond_lock-cond_futex(%rdi)
103         jne     5f
104
105 6:      xorl    %eax, %eax
106         retq
107
108         /* Initial locking failed.  */
109 1:
110 #if cond_lock != 0
111         addq    $cond_lock, %rdi
112 #endif
113         callq   __lll_mutex_lock_wait
114 #if cond_lock != 0
115         subq    $cond_lock, %rdi
116 #endif
117         jmp     2b
118
119         /* Unlock in loop requires wakeup.  */
120 5:      addq    $cond_lock-cond_futex, %rdi
121         callq   __lll_mutex_unlock_wake
122         jmp     6b
123
124         /* Unlock in loop requires wakeup.  */
125 7:      addq    $cond_lock-cond_futex, %rdi
126         callq   __lll_mutex_unlock_wake
127         subq    $cond_lock-cond_futex, %rdi
128         jmp     8b
129
130 9:      /* The futex requeue functionality is not available.  */
131         movq    $0x7fffffff, %rdx
132         movq    $FUTEX_WAKE, %rsi
133         movq    $SYS_futex, %rax
134         syscall
135         jmp     10b
136         .size   __pthread_cond_broadcast, .-__pthread_cond_broadcast
137 versioned_symbol (libpthread, __pthread_cond_broadcast, pthread_cond_broadcast,
138                   GLIBC_2_3_2)