2004-10-15 Jakub Jelinek <jakub@redhat.com>
[kopensolaris-gnu/glibc.git] / sysdeps / x86_64 / memcpy.S
1 /* Highly optimized version for x86-64.
2    Copyright (C) 1997, 2000, 2002, 2003, 2004 Free Software Foundation, Inc.
3    This file is part of the GNU C Library.
4    Based on i586 version contributed by Ulrich Drepper <drepper@cygnus.com>, 1997.
5
6    The GNU C Library is free software; you can redistribute it and/or
7    modify it under the terms of the GNU Lesser General Public
8    License as published by the Free Software Foundation; either
9    version 2.1 of the License, or (at your option) any later version.
10
11    The GNU C Library is distributed in the hope that it will be useful,
12    but WITHOUT ANY WARRANTY; without even the implied warranty of
13    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14    Lesser General Public License for more details.
15
16    You should have received a copy of the GNU Lesser General Public
17    License along with the GNU C Library; if not, write to the Free
18    Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
19    02111-1307 USA.  */
20
21 #include <sysdep.h>
22 #include "asm-syntax.h"
23 #include "bp-sym.h"
24 #include "bp-asm.h"
25
26 /* BEWARE: `#ifdef memcpy' means that memcpy is redefined as `mempcpy',
27    and the return value is the byte after the last one copied in
28    the destination. */
29 #define MEMPCPY_P (defined memcpy)
30
31         .text
32 #if defined PIC && !defined NOT_IN_libc
33 ENTRY (__memcpy_chk)
34         cmpq    %rdx, %rcx
35         jb      HIDDEN_JUMPTARGET (__chk_fail)
36 END (__memcpy_chk)
37 #endif
38 ENTRY (BP_SYM (memcpy))
39         /* Cutoff for the big loop is a size of 32 bytes since otherwise
40            the loop will never be entered.  */
41         cmpq    $32, %rdx
42         movq    %rdx, %rcx
43 #if !MEMPCPY_P
44         movq    %rdi, %r10      /* Save value. */
45 #endif
46
47         /* We need this in any case.  */
48         cld
49
50         jbe     1f
51
52         /* Align destination.  */
53         movq    %rdi, %rax
54         negq    %rax
55         andq    $7, %rax
56         subq    %rax, %rcx
57         xchgq   %rax, %rcx
58
59         rep; movsb
60
61         movq    %rax, %rcx
62         subq    $32, %rcx
63         js      2f
64
65         .p2align 4
66 3:
67
68         /* Now correct the loop counter.  Please note that in the following
69            code the flags are not changed anymore.  */
70         subq    $32, %rcx
71
72         movq    (%rsi), %rax
73         movq    8(%rsi), %rdx
74         movq    16(%rsi), %r8
75         movq    24(%rsi), %r9
76         movq    %rax, (%rdi)
77         movq    %rdx, 8(%rdi)
78         movq    %r8, 16(%rdi)
79         movq    %r9, 24(%rdi)
80
81         leaq    32(%rsi), %rsi
82         leaq    32(%rdi), %rdi
83
84         jns     3b
85
86         /* Correct extra loop counter modification.  */
87 2:      addq    $32, %rcx
88 1:      rep; movsb
89
90 #if MEMPCPY_P
91         movq    %rdi, %rax              /* Set return value.  */
92 #else
93         movq    %r10, %rax              /* Set return value.  */
94         
95 #endif
96         ret
97
98 END (BP_SYM (memcpy))
99 #if !MEMPCPY_P
100 libc_hidden_builtin_def (memcpy)
101 #endif