path: root/src/libcryptobox/curve25519/avx.S

#include "../macro.S"
#include "constants.S"

.p2align 5
GLOBAL_HIDDEN_FN_EXT ladder_avx,2,0
ladder_avx_local:
mov %rsp,%r11
and $31,%r11
add $1856,%r11
sub %r11,%rsp
movq %r11,1824(%rsp)
movq %r12,1832(%rsp)
movq %r13,1840(%rsp)
movq %r14,1848(%rsp)
movdqa v0_0(%rip),%xmm0
movdqa v1_0(%rip),%xmm1
movdqu   0(%rdi),%xmm2
movdqa %xmm2,0(%rsp)
movdqu   16(%rdi),%xmm2
movdqa %xmm2,16(%rsp)
movdqu   32(%rdi),%xmm2
movdqa %xmm2,32(%rsp)
movdqu   48(%rdi),%xmm2
movdqa %xmm2,48(%rsp)
movdqu   64(%rdi),%xmm2
movdqa %xmm2,64(%rsp)
movdqa %xmm1,80(%rsp)
movdqa %xmm0,96(%rsp)
movdqa %xmm0,112(%rsp)
movdqa %xmm0,128(%rsp)
movdqa %xmm0,144(%rsp)
movdqa %xmm1,%xmm0
pxor %xmm1,%xmm1
pxor %xmm2,%xmm2
pxor %xmm3,%xmm3
pxor %xmm4,%xmm4
pxor %xmm5,%xmm5
pxor %xmm6,%xmm6
pxor %xmm7,%xmm7
pxor %xmm8,%xmm8
pxor %xmm9,%xmm9
movdqu   0(%rdi),%xmm10
movdqa %xmm10,160(%rsp)
movdqu   16(%rdi),%xmm10
movdqa %xmm10,176(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,192(%rsp)
movdqu   32(%rdi),%xmm10
movdqa %xmm10,208(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,224(%rsp)
movdqu   48(%rdi),%xmm10
movdqa %xmm10,240(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,256(%rsp)
movdqu   64(%rdi),%xmm10
movdqa %xmm10,272(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,288(%rsp)
movdqu   8(%rdi),%xmm10
pmuludq v2_1(%rip),%xmm10
movdqa %xmm10,304(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,320(%rsp)
movdqu   24(%rdi),%xmm10
pmuludq v2_1(%rip),%xmm10
movdqa %xmm10,336(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,352(%rsp)
movdqu   40(%rdi),%xmm10
pmuludq v2_1(%rip),%xmm10
movdqa %xmm10,368(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,384(%rsp)
movdqu   56(%rdi),%xmm10
pmuludq v2_1(%rip),%xmm10
movdqa %xmm10,400(%rsp)
pmuludq v19_19(%rip),%xmm10
movdqa %xmm10,416(%rsp)
movdqu   0(%rdi),%xmm10
movdqu   64(%rdi),%xmm11
blendps $12, %xmm11, %xmm10
pshufd $2,%xmm10,%xmm10
pmuludq v38_1(%rip),%xmm10
movdqa %xmm10,432(%rsp)
movq   0(%rsi),%rdx
movq   8(%rsi),%rcx
movq   16(%rsi),%r8
movq   24(%rsi),%r9
shrd $1,%rcx,%rdx
shrd $1,%r8,%rcx
shrd $1,%r9,%r8
shr  $1,%r9
xorq 0(%rsi),%rdx
xorq 8(%rsi),%rcx
xorq 16(%rsi),%r8
xorq 24(%rsi),%r9
leaq 800(%rsp),%rsi
mov  $64,%rax
._small_loop:
mov  %rdx,%r10
mov  %rcx,%r11
mov  %r8,%r12
mov  %r9,%r13
shr  $1,%rdx
shr  $1,%rcx
shr  $1,%r8
shr  $1,%r9
and  $1,%r10d
and  $1,%r11d
and  $1,%r12d
and  $1,%r13d
neg  %r10
neg  %r11
neg  %r12
neg  %r13
movl   %r10d,0(%rsi)
movl   %r11d,256(%rsi)
movl   %r12d,512(%rsi)
movl   %r13d,768(%rsi)
add  $4,%rsi
sub  $1,%rax
jne ._small_loop
mov  $255,%rdx
add  $760,%rsi
._loop_ladder:
sub  $1,%rdx
vbroadcastss 0(%rsi),%xmm10
sub  $4,%rsi
movdqa 0(%rsp),%xmm11
movdqa 80(%rsp),%xmm12
vpxor %xmm11,%xmm0,%xmm13
pand %xmm10,%xmm13
pxor %xmm13,%xmm0
pxor %xmm13,%xmm11
vpxor %xmm12,%xmm1,%xmm13
pand %xmm10,%xmm13
pxor %xmm13,%xmm1
pxor %xmm13,%xmm12
movdqa 16(%rsp),%xmm13
movdqa 96(%rsp),%xmm14
vpxor %xmm13,%xmm2,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm2
pxor %xmm15,%xmm13
vpxor %xmm14,%xmm3,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm3
pxor %xmm15,%xmm14
movdqa %xmm13,0(%rsp)
movdqa %xmm14,16(%rsp)
movdqa 32(%rsp),%xmm13
movdqa 112(%rsp),%xmm14
vpxor %xmm13,%xmm4,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm4
pxor %xmm15,%xmm13
vpxor %xmm14,%xmm5,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm5
pxor %xmm15,%xmm14
movdqa %xmm13,32(%rsp)
movdqa %xmm14,80(%rsp)
movdqa 48(%rsp),%xmm13
movdqa 128(%rsp),%xmm14
vpxor %xmm13,%xmm6,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm6
pxor %xmm15,%xmm13
vpxor %xmm14,%xmm7,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm7
pxor %xmm15,%xmm14
movdqa %xmm13,48(%rsp)
movdqa %xmm14,96(%rsp)
movdqa 64(%rsp),%xmm13
movdqa 144(%rsp),%xmm14
vpxor %xmm13,%xmm8,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm8
pxor %xmm15,%xmm13
vpxor %xmm14,%xmm9,%xmm15
pand %xmm10,%xmm15
pxor %xmm15,%xmm9
pxor %xmm15,%xmm14
movdqa %xmm13,64(%rsp)
movdqa %xmm14,112(%rsp)
vpaddq subc0(%rip),%xmm11,%xmm10
psubq %xmm12,%xmm10
paddq %xmm12,%xmm11
vpunpckhqdq %xmm10,%xmm11,%xmm12
vpunpcklqdq %xmm10,%xmm11,%xmm10
vpaddq %xmm1,%xmm0,%xmm11
paddq subc0(%rip),%xmm0
psubq %xmm1,%xmm0
vpunpckhqdq %xmm11,%xmm0,%xmm1
vpunpcklqdq %xmm11,%xmm0,%xmm0
vpmuludq %xmm0,%xmm10,%xmm11
vpmuludq %xmm1,%xmm10,%xmm13
movdqa %xmm1,128(%rsp)
paddq %xmm1,%xmm1
vpmuludq %xmm0,%xmm12,%xmm14
movdqa %xmm0,144(%rsp)
paddq %xmm14,%xmm13
vpmuludq %xmm1,%xmm12,%xmm0
movdqa %xmm1,448(%rsp)
vpaddq %xmm3,%xmm2,%xmm1
paddq subc2(%rip),%xmm2
psubq %xmm3,%xmm2
vpunpckhqdq %xmm1,%xmm2,%xmm3
vpunpcklqdq %xmm1,%xmm2,%xmm1
vpmuludq %xmm1,%xmm10,%xmm2
paddq %xmm2,%xmm0
vpmuludq %xmm3,%xmm10,%xmm2
movdqa %xmm3,464(%rsp)
paddq %xmm3,%xmm3
vpmuludq %xmm1,%xmm12,%xmm14
movdqa %xmm1,480(%rsp)
paddq %xmm14,%xmm2
vpmuludq %xmm3,%xmm12,%xmm1
movdqa %xmm3,496(%rsp)
vpaddq %xmm5,%xmm4,%xmm3
paddq subc2(%rip),%xmm4
psubq %xmm5,%xmm4
vpunpckhqdq %xmm3,%xmm4,%xmm5
vpunpcklqdq %xmm3,%xmm4,%xmm3
vpmuludq %xmm3,%xmm10,%xmm4
paddq %xmm4,%xmm1
vpmuludq %xmm5,%xmm10,%xmm4
movdqa %xmm5,512(%rsp)
paddq %xmm5,%xmm5
vpmuludq %xmm3,%xmm12,%xmm14
movdqa %xmm3,528(%rsp)
paddq %xmm14,%xmm4
vpaddq %xmm7,%xmm6,%xmm3
paddq subc2(%rip),%xmm6
psubq %xmm7,%xmm6
vpunpckhqdq %xmm3,%xmm6,%xmm7
vpunpcklqdq %xmm3,%xmm6,%xmm3
vpmuludq %xmm3,%xmm10,%xmm6
vpmuludq %xmm5,%xmm12,%xmm14
movdqa %xmm5,544(%rsp)
pmuludq v19_19(%rip),%xmm5
movdqa %xmm5,560(%rsp)
paddq %xmm14,%xmm6
vpmuludq %xmm7,%xmm10,%xmm5
movdqa %xmm7,576(%rsp)
paddq %xmm7,%xmm7
vpmuludq %xmm3,%xmm12,%xmm14
movdqa %xmm3,592(%rsp)
paddq %xmm14,%xmm5
pmuludq v19_19(%rip),%xmm3
movdqa %xmm3,608(%rsp)
vpaddq %xmm9,%xmm8,%xmm3
paddq subc2(%rip),%xmm8
psubq %xmm9,%xmm8
vpunpckhqdq %xmm3,%xmm8,%xmm9
vpunpcklqdq %xmm3,%xmm8,%xmm3
movdqa %xmm3,624(%rsp)
vpmuludq %xmm7,%xmm12,%xmm8
movdqa %xmm7,640(%rsp)
pmuludq v19_19(%rip),%xmm7
movdqa %xmm7,656(%rsp)
vpmuludq %xmm3,%xmm10,%xmm7
paddq %xmm7,%xmm8
vpmuludq %xmm9,%xmm10,%xmm7
movdqa %xmm9,672(%rsp)
paddq %xmm9,%xmm9
vpmuludq %xmm3,%xmm12,%xmm10
paddq %xmm10,%xmm7
pmuludq v19_19(%rip),%xmm3
movdqa %xmm3,688(%rsp)
pmuludq v19_19(%rip),%xmm12
vpmuludq %xmm9,%xmm12,%xmm3
movdqa %xmm9,704(%rsp)
paddq %xmm3,%xmm11
movdqa 0(%rsp),%xmm3
movdqa 16(%rsp),%xmm9
vpaddq subc2(%rip),%xmm3,%xmm10
psubq %xmm9,%xmm10
paddq %xmm9,%xmm3
vpunpckhqdq %xmm10,%xmm3,%xmm9
vpunpcklqdq %xmm10,%xmm3,%xmm3
vpmuludq 144(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm0
vpmuludq 128(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm2
vpmuludq 480(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm1
vpmuludq 464(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm4
vpmuludq 528(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm6
vpmuludq 512(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm5
vpmuludq 592(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm8
vpmuludq 576(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm7
pmuludq v19_19(%rip),%xmm3
vpmuludq 624(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm11
pmuludq 672(%rsp),%xmm3
paddq %xmm3,%xmm13
vpmuludq 144(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm2
vpmuludq 448(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm1
vpmuludq 480(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm4
vpmuludq 496(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm6
vpmuludq 528(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm5
vpmuludq 544(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm8
vpmuludq 592(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm7
pmuludq v19_19(%rip),%xmm9
vpmuludq 640(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm11
vpmuludq 624(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm13
pmuludq 704(%rsp),%xmm9
paddq %xmm9,%xmm0
movdqa 32(%rsp),%xmm3
movdqa 80(%rsp),%xmm9
vpaddq subc2(%rip),%xmm3,%xmm10
psubq %xmm9,%xmm10
paddq %xmm9,%xmm3
vpunpckhqdq %xmm10,%xmm3,%xmm9
vpunpcklqdq %xmm10,%xmm3,%xmm3
vpmuludq 144(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm1
vpmuludq 128(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm4
vpmuludq 480(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm6
vpmuludq 464(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm5
vpmuludq 528(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm8
vpmuludq 512(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm7
pmuludq v19_19(%rip),%xmm3
vpmuludq 592(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm11
vpmuludq 576(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm13
vpmuludq 624(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm0
pmuludq 672(%rsp),%xmm3
paddq %xmm3,%xmm2
vpmuludq 144(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm4
vpmuludq 448(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm6
vpmuludq 480(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm5
vpmuludq 496(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm8
vpmuludq 528(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm7
pmuludq v19_19(%rip),%xmm9
vpmuludq 544(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm11
vpmuludq 592(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm13
vpmuludq 640(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm0
vpmuludq 624(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm2
pmuludq 704(%rsp),%xmm9
paddq %xmm9,%xmm1
movdqa 48(%rsp),%xmm3
movdqa 96(%rsp),%xmm9
vpaddq subc2(%rip),%xmm3,%xmm10
psubq %xmm9,%xmm10
paddq %xmm9,%xmm3
vpunpckhqdq %xmm10,%xmm3,%xmm9
vpunpcklqdq %xmm10,%xmm3,%xmm3
vpmuludq 144(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm6
vpmuludq 128(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm5
vpmuludq 480(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm8
vpmuludq 464(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm7
pmuludq v19_19(%rip),%xmm3
vpmuludq 528(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm11
vpmuludq 512(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm13
vpmuludq 592(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm0
vpmuludq 576(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm2
vpmuludq 624(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm1
pmuludq 672(%rsp),%xmm3
paddq %xmm3,%xmm4
vpmuludq 144(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm5
vpmuludq 448(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm8
vpmuludq 480(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm7
pmuludq v19_19(%rip),%xmm9
vpmuludq 496(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm11
vpmuludq 528(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm13
vpmuludq 544(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm0
vpmuludq 592(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm2
vpmuludq 640(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm1
vpmuludq 624(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm4
pmuludq 704(%rsp),%xmm9
paddq %xmm9,%xmm6
movdqa 64(%rsp),%xmm3
movdqa 112(%rsp),%xmm9
vpaddq subc2(%rip),%xmm3,%xmm10
psubq %xmm9,%xmm10
paddq %xmm9,%xmm3
vpunpckhqdq %xmm10,%xmm3,%xmm9
vpunpcklqdq %xmm10,%xmm3,%xmm3
vpmuludq 144(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm8
vpmuludq 128(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm7
pmuludq v19_19(%rip),%xmm3
vpmuludq 480(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm11
vpmuludq 464(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm13
vpmuludq 528(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm0
vpmuludq 512(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm2
vpmuludq 592(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm1
vpmuludq 576(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm4
vpmuludq 624(%rsp),%xmm3,%xmm10
paddq %xmm10,%xmm6
pmuludq 672(%rsp),%xmm3
paddq %xmm3,%xmm5
vpmuludq 144(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm7
pmuludq v19_19(%rip),%xmm9
vpmuludq 448(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm11
vpmuludq 480(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm13
vpmuludq 496(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm0
vpmuludq 528(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm2
vpmuludq 544(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm1
vpmuludq 592(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm4
vpmuludq 640(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm6
vpmuludq 624(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm5
pmuludq 704(%rsp),%xmm9
paddq %xmm9,%xmm8
vpsrlq $25,%xmm4,%xmm3
paddq %xmm3,%xmm6
pand m25(%rip),%xmm4
vpsrlq $26,%xmm11,%xmm3
paddq %xmm3,%xmm13
pand m26(%rip),%xmm11
vpsrlq $26,%xmm6,%xmm3
paddq %xmm3,%xmm5
pand m26(%rip),%xmm6
vpsrlq $25,%xmm13,%xmm3
paddq %xmm3,%xmm0
pand m25(%rip),%xmm13
vpsrlq $25,%xmm5,%xmm3
paddq %xmm3,%xmm8
pand m25(%rip),%xmm5
vpsrlq $26,%xmm0,%xmm3
paddq %xmm3,%xmm2
pand m26(%rip),%xmm0
vpsrlq $26,%xmm8,%xmm3
paddq %xmm3,%xmm7
pand m26(%rip),%xmm8
vpsrlq $25,%xmm2,%xmm3
paddq %xmm3,%xmm1
pand m25(%rip),%xmm2
vpsrlq $25,%xmm7,%xmm3
vpsllq $4,%xmm3,%xmm9
paddq %xmm3,%xmm11
psllq $1,%xmm3
paddq %xmm3,%xmm9
paddq %xmm9,%xmm11
pand m25(%rip),%xmm7
vpsrlq $26,%xmm1,%xmm3
paddq %xmm3,%xmm4
pand m26(%rip),%xmm1
vpsrlq $26,%xmm11,%xmm3
paddq %xmm3,%xmm13
pand m26(%rip),%xmm11
vpsrlq $25,%xmm4,%xmm3
paddq %xmm3,%xmm6
pand m25(%rip),%xmm4
vpunpcklqdq %xmm13,%xmm11,%xmm3
vpunpckhqdq %xmm13,%xmm11,%xmm9
vpaddq subc0(%rip),%xmm9,%xmm10
psubq %xmm3,%xmm10
paddq %xmm9,%xmm3
vpunpckhqdq %xmm3,%xmm10,%xmm9
punpcklqdq %xmm3,%xmm10
vpmuludq %xmm10,%xmm10,%xmm3
paddq %xmm10,%xmm10
vpmuludq %xmm9,%xmm10,%xmm11
vpunpcklqdq %xmm2,%xmm0,%xmm12
vpunpckhqdq %xmm2,%xmm0,%xmm0
vpaddq subc2(%rip),%xmm0,%xmm2
psubq %xmm12,%xmm2
paddq %xmm0,%xmm12
vpunpckhqdq %xmm12,%xmm2,%xmm0
punpcklqdq %xmm12,%xmm2
vpmuludq %xmm2,%xmm10,%xmm12
vpaddq %xmm9,%xmm9,%xmm13
vpmuludq %xmm13,%xmm9,%xmm9
paddq %xmm9,%xmm12
vpmuludq %xmm0,%xmm10,%xmm9
vpmuludq %xmm2,%xmm13,%xmm14
paddq %xmm14,%xmm9
vpunpcklqdq %xmm4,%xmm1,%xmm14
vpunpckhqdq %xmm4,%xmm1,%xmm1
vpaddq subc2(%rip),%xmm1,%xmm4
psubq %xmm14,%xmm4
paddq %xmm1,%xmm14
vpunpckhqdq %xmm14,%xmm4,%xmm1
punpcklqdq %xmm14,%xmm4
movdqa %xmm1,0(%rsp)
paddq %xmm1,%xmm1
movdqa %xmm1,16(%rsp)
pmuludq v19_19(%rip),%xmm1
movdqa %xmm1,32(%rsp)
vpmuludq %xmm4,%xmm10,%xmm1
vpmuludq %xmm2,%xmm2,%xmm14
paddq %xmm14,%xmm1
vpmuludq 0(%rsp),%xmm10,%xmm14
vpmuludq %xmm4,%xmm13,%xmm15
paddq %xmm15,%xmm14
vpunpcklqdq %xmm5,%xmm6,%xmm15
vpunpckhqdq %xmm5,%xmm6,%xmm5
vpaddq subc2(%rip),%xmm5,%xmm6
psubq %xmm15,%xmm6
paddq %xmm5,%xmm15
vpunpckhqdq %xmm15,%xmm6,%xmm5
punpcklqdq %xmm15,%xmm6
movdqa %xmm6,48(%rsp)
pmuludq v19_19(%rip),%xmm6
movdqa %xmm6,64(%rsp)
movdqa %xmm5,80(%rsp)
pmuludq v38_38(%rip),%xmm5
movdqa %xmm5,96(%rsp)
vpmuludq 48(%rsp),%xmm10,%xmm5
vpaddq %xmm0,%xmm0,%xmm6
vpmuludq %xmm6,%xmm0,%xmm0
paddq %xmm0,%xmm5
vpmuludq 80(%rsp),%xmm10,%xmm0
vpmuludq %xmm4,%xmm6,%xmm15
paddq %xmm15,%xmm0
vpmuludq %xmm6,%xmm13,%xmm15
paddq %xmm15,%xmm1
vpmuludq %xmm6,%xmm2,%xmm15
paddq %xmm15,%xmm14
vpunpcklqdq %xmm7,%xmm8,%xmm15
vpunpckhqdq %xmm7,%xmm8,%xmm7
vpaddq subc2(%rip),%xmm7,%xmm8
psubq %xmm15,%xmm8
paddq %xmm7,%xmm15
vpunpckhqdq %xmm15,%xmm8,%xmm7
punpcklqdq %xmm15,%xmm8
movdqa %xmm8,112(%rsp)
pmuludq v19_19(%rip),%xmm8
movdqa %xmm8,448(%rsp)
vpmuludq 112(%rsp),%xmm10,%xmm8
vpmuludq %xmm7,%xmm10,%xmm10
vpmuludq v38_38(%rip),%xmm7,%xmm15
vpmuludq %xmm15,%xmm7,%xmm7
paddq %xmm7,%xmm8
vpmuludq %xmm15,%xmm13,%xmm7
paddq %xmm7,%xmm3
vpmuludq %xmm15,%xmm2,%xmm7
paddq %xmm7,%xmm11
vpmuludq 80(%rsp),%xmm13,%xmm7
paddq %xmm7,%xmm7
paddq %xmm7,%xmm8
vpmuludq 16(%rsp),%xmm13,%xmm7
paddq %xmm7,%xmm5
vpmuludq 48(%rsp),%xmm13,%xmm7
paddq %xmm7,%xmm0
vpmuludq 112(%rsp),%xmm13,%xmm7
paddq %xmm7,%xmm10
vpmuludq %xmm15,%xmm6,%xmm7
paddq %xmm7,%xmm12
vpmuludq %xmm15,%xmm4,%xmm7
paddq %xmm7,%xmm9
vpaddq %xmm2,%xmm2,%xmm2
vpmuludq %xmm4,%xmm2,%xmm7
paddq %xmm7,%xmm5
vpmuludq 448(%rsp),%xmm2,%xmm7
paddq %xmm7,%xmm3
vpmuludq 448(%rsp),%xmm6,%xmm7
paddq %xmm7,%xmm11
vpmuludq 0(%rsp),%xmm2,%xmm7
paddq %xmm7,%xmm0
vpmuludq 48(%rsp),%xmm2,%xmm7
paddq %xmm7,%xmm8
vpmuludq 80(%rsp),%xmm2,%xmm2
paddq %xmm2,%xmm10
vpmuludq 96(%rsp),%xmm4,%xmm2
paddq %xmm2,%xmm11
vpmuludq %xmm4,%xmm4,%xmm2
paddq %xmm2,%xmm8
vpaddq %xmm4,%xmm4,%xmm2
vpmuludq 448(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm12
vpmuludq 16(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm1
vpmuludq 48(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm14
vpmuludq 96(%rsp),%xmm6,%xmm4
paddq %xmm4,%xmm3
movdqa 16(%rsp),%xmm4
pmuludq 448(%rsp),%xmm4
paddq %xmm4,%xmm9
vpmuludq 16(%rsp),%xmm6,%xmm4
paddq %xmm4,%xmm8
vpmuludq 48(%rsp),%xmm6,%xmm4
paddq %xmm4,%xmm10
vpmuludq 80(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm4
paddq %xmm4,%xmm5
vpmuludq 112(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm0
movdqa 48(%rsp),%xmm4
paddq %xmm4,%xmm4
pmuludq 448(%rsp),%xmm4
paddq %xmm4,%xmm1
movdqa 80(%rsp),%xmm4
paddq %xmm4,%xmm4
pmuludq 448(%rsp),%xmm4
paddq %xmm4,%xmm14
vpmuludq 64(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm3
movdqa 16(%rsp),%xmm4
pmuludq 64(%rsp),%xmm4
paddq %xmm4,%xmm11
movdqa 16(%rsp),%xmm4
pmuludq 96(%rsp),%xmm4
paddq %xmm4,%xmm12
movdqa 48(%rsp),%xmm4
pmuludq 96(%rsp),%xmm4
paddq %xmm4,%xmm9
vpmuludq 0(%rsp),%xmm2,%xmm2
paddq %xmm2,%xmm10
movdqa 32(%rsp),%xmm2
pmuludq 0(%rsp),%xmm2
paddq %xmm2,%xmm3
movdqa 64(%rsp),%xmm2
pmuludq 48(%rsp),%xmm2
paddq %xmm2,%xmm12
movdqa 96(%rsp),%xmm2
pmuludq 80(%rsp),%xmm2
paddq %xmm2,%xmm1
movdqa 448(%rsp),%xmm2
pmuludq 112(%rsp),%xmm2
paddq %xmm2,%xmm5
vpsrlq $26,%xmm3,%xmm2
paddq %xmm2,%xmm11
pand m26(%rip),%xmm3
vpsrlq $25,%xmm14,%xmm2
paddq %xmm2,%xmm5
pand m25(%rip),%xmm14
vpsrlq $25,%xmm11,%xmm2
paddq %xmm2,%xmm12
pand m25(%rip),%xmm11
vpsrlq $26,%xmm5,%xmm2
paddq %xmm2,%xmm0
pand m26(%rip),%xmm5
vpsrlq $26,%xmm12,%xmm2
paddq %xmm2,%xmm9
pand m26(%rip),%xmm12
vpsrlq $25,%xmm0,%xmm2
paddq %xmm2,%xmm8
pand m25(%rip),%xmm0
vpsrlq $25,%xmm9,%xmm2
paddq %xmm2,%xmm1
pand m25(%rip),%xmm9
vpsrlq $26,%xmm8,%xmm2
paddq %xmm2,%xmm10
pand m26(%rip),%xmm8
vpsrlq $26,%xmm1,%xmm2
paddq %xmm2,%xmm14
pand m26(%rip),%xmm1
vpsrlq $25,%xmm10,%xmm2
vpsllq $4,%xmm2,%xmm4
paddq %xmm2,%xmm3
psllq $1,%xmm2
paddq %xmm2,%xmm4
paddq %xmm4,%xmm3
pand m25(%rip),%xmm10
vpsrlq $25,%xmm14,%xmm2
paddq %xmm2,%xmm5
pand m25(%rip),%xmm14
vpsrlq $26,%xmm3,%xmm2
paddq %xmm2,%xmm11
pand m26(%rip),%xmm3
vpunpckhqdq %xmm11,%xmm3,%xmm2
movdqa %xmm2,0(%rsp)
pshufd $0,%xmm3,%xmm2
pshufd $0,%xmm11,%xmm3
vpmuludq 160(%rsp),%xmm2,%xmm4
vpmuludq 432(%rsp),%xmm3,%xmm6
paddq %xmm6,%xmm4
vpmuludq 176(%rsp),%xmm2,%xmm6
vpmuludq 304(%rsp),%xmm3,%xmm7
paddq %xmm7,%xmm6
vpmuludq 208(%rsp),%xmm2,%xmm7
vpmuludq 336(%rsp),%xmm3,%xmm11
paddq %xmm11,%xmm7
vpmuludq 240(%rsp),%xmm2,%xmm11
vpmuludq 368(%rsp),%xmm3,%xmm13
paddq %xmm13,%xmm11
vpmuludq 272(%rsp),%xmm2,%xmm2
vpmuludq 400(%rsp),%xmm3,%xmm3
paddq %xmm3,%xmm2
vpunpckhqdq %xmm9,%xmm12,%xmm3
movdqa %xmm3,16(%rsp)
pshufd $0,%xmm12,%xmm3
pshufd $0,%xmm9,%xmm9
vpmuludq 288(%rsp),%xmm3,%xmm12
paddq %xmm12,%xmm4
vpmuludq 416(%rsp),%xmm9,%xmm12
paddq %xmm12,%xmm4
vpmuludq 160(%rsp),%xmm3,%xmm12
paddq %xmm12,%xmm6
vpmuludq 432(%rsp),%xmm9,%xmm12
paddq %xmm12,%xmm6
vpmuludq 176(%rsp),%xmm3,%xmm12
paddq %xmm12,%xmm7
vpmuludq 304(%rsp),%xmm9,%xmm12
paddq %xmm12,%xmm7
vpmuludq 208(%rsp),%xmm3,%xmm12
paddq %xmm12,%xmm11
vpmuludq 336(%rsp),%xmm9,%xmm12
paddq %xmm12,%xmm11
vpmuludq 240(%rsp),%xmm3,%xmm3
paddq %xmm3,%xmm2
vpmuludq 368(%rsp),%xmm9,%xmm3
paddq %xmm3,%xmm2
vpunpckhqdq %xmm14,%xmm1,%xmm3
movdqa %xmm3,32(%rsp)
pshufd $0,%xmm1,%xmm1
pshufd $0,%xmm14,%xmm3
vpmuludq 256(%rsp),%xmm1,%xmm9
paddq %xmm9,%xmm4
vpmuludq 384(%rsp),%xmm3,%xmm9
paddq %xmm9,%xmm4
vpmuludq 288(%rsp),%xmm1,%xmm9
paddq %xmm9,%xmm6
vpmuludq 416(%rsp),%xmm3,%xmm9
paddq %xmm9,%xmm6
vpmuludq 160(%rsp),%xmm1,%xmm9
paddq %xmm9,%xmm7
vpmuludq 432(%rsp),%xmm3,%xmm9
paddq %xmm9,%xmm7
vpmuludq 176(%rsp),%xmm1,%xmm9
paddq %xmm9,%xmm11
vpmuludq 304(%rsp),%xmm3,%xmm9
paddq %xmm9,%xmm11
vpmuludq 208(%rsp),%xmm1,%xmm1
paddq %xmm1,%xmm2
vpmuludq 336(%rsp),%xmm3,%xmm1
paddq %xmm1,%xmm2
vpunpckhqdq %xmm0,%xmm5,%xmm1
movdqa %xmm1,48(%rsp)
pshufd $0,%xmm5,%xmm1
pshufd $0,%xmm0,%xmm0
vpmuludq 224(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm4
vpmuludq 352(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm4
vpmuludq 256(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm6
vpmuludq 384(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm6
vpmuludq 288(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm7
vpmuludq 416(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm7
vpmuludq 160(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm11
vpmuludq 432(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm11
vpmuludq 176(%rsp),%xmm1,%xmm1
paddq %xmm1,%xmm2
vpmuludq 304(%rsp),%xmm0,%xmm0
paddq %xmm0,%xmm2
vpunpckhqdq %xmm10,%xmm8,%xmm0
movdqa %xmm0,64(%rsp)
pshufd $0,%xmm8,%xmm0
pshufd $0,%xmm10,%xmm1
vpmuludq 192(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm4
vpmuludq 320(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm4
vpmuludq 224(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm6
vpmuludq 352(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm6
vpmuludq 256(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm7
vpmuludq 384(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm7
vpmuludq 288(%rsp),%xmm0,%xmm3
paddq %xmm3,%xmm11
vpmuludq 416(%rsp),%xmm1,%xmm3
paddq %xmm3,%xmm11
vpmuludq 160(%rsp),%xmm0,%xmm0
paddq %xmm0,%xmm2
vpmuludq 432(%rsp),%xmm1,%xmm0
paddq %xmm0,%xmm2
movdqa %xmm4,80(%rsp)
movdqa %xmm6,96(%rsp)
movdqa %xmm7,112(%rsp)
movdqa %xmm11,448(%rsp)
movdqa %xmm2,496(%rsp)
movdqa 144(%rsp),%xmm0
vpmuludq %xmm0,%xmm0,%xmm1
paddq %xmm0,%xmm0
movdqa 128(%rsp),%xmm2
vpmuludq %xmm2,%xmm0,%xmm3
movdqa 480(%rsp),%xmm4
vpmuludq %xmm4,%xmm0,%xmm5
movdqa 464(%rsp),%xmm6
vpmuludq %xmm6,%xmm0,%xmm7
movdqa 528(%rsp),%xmm8
vpmuludq %xmm8,%xmm0,%xmm9
vpmuludq 512(%rsp),%xmm0,%xmm10
vpmuludq 592(%rsp),%xmm0,%xmm11
vpmuludq 576(%rsp),%xmm0,%xmm12
vpmuludq 624(%rsp),%xmm0,%xmm13
movdqa 672(%rsp),%xmm14
vpmuludq %xmm14,%xmm0,%xmm0
vpmuludq v38_38(%rip),%xmm14,%xmm15
vpmuludq %xmm15,%xmm14,%xmm14
paddq %xmm14,%xmm13
vpaddq %xmm6,%xmm6,%xmm14
vpmuludq %xmm14,%xmm6,%xmm6
paddq %xmm6,%xmm11
vpaddq %xmm2,%xmm2,%xmm6
vpmuludq %xmm6,%xmm2,%xmm2
paddq %xmm2,%xmm5
vpmuludq %xmm15,%xmm6,%xmm2
paddq %xmm2,%xmm1
vpmuludq %xmm15,%xmm4,%xmm2
paddq %xmm2,%xmm3
vpmuludq 544(%rsp),%xmm6,%xmm2
paddq %xmm2,%xmm11
vpmuludq 592(%rsp),%xmm6,%xmm2
paddq %xmm2,%xmm12
vpmuludq 640(%rsp),%xmm6,%xmm2
paddq %xmm2,%xmm13
vpmuludq 624(%rsp),%xmm6,%xmm2
paddq %xmm2,%xmm0
vpmuludq %xmm4,%xmm6,%xmm2
paddq %xmm2,%xmm7
vpmuludq %xmm14,%xmm6,%xmm2
paddq %xmm2,%xmm9
vpmuludq %xmm8,%xmm6,%xmm2
paddq %xmm2,%xmm10
vpmuludq %xmm15,%xmm14,%xmm2
paddq %xmm2,%xmm5
vpmuludq %xmm15,%xmm8,%xmm2
paddq %xmm2,%xmm7
vpmuludq %xmm4,%xmm4,%xmm2
paddq %xmm2,%xmm9
vpmuludq %xmm14,%xmm4,%xmm2
paddq %xmm2,%xmm10
vpaddq %xmm4,%xmm4,%xmm2
vpmuludq %xmm8,%xmm2,%xmm4
paddq %xmm4,%xmm11
vpmuludq 688(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm1
vpmuludq 688(%rsp),%xmm14,%xmm4
paddq %xmm4,%xmm3
vpmuludq 512(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm12
vpmuludq 592(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm13
vpmuludq 576(%rsp),%xmm2,%xmm2
paddq %xmm2,%xmm0
vpmuludq 656(%rsp),%xmm8,%xmm2
paddq %xmm2,%xmm3
vpmuludq %xmm8,%xmm14,%xmm2
paddq %xmm2,%xmm12
vpmuludq %xmm8,%xmm8,%xmm2
paddq %xmm2,%xmm13
vpaddq %xmm8,%xmm8,%xmm2
vpmuludq 688(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm5
vpmuludq 544(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm9
vpmuludq 592(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm10
vpmuludq 656(%rsp),%xmm14,%xmm4
paddq %xmm4,%xmm1
movdqa 544(%rsp),%xmm4
pmuludq 688(%rsp),%xmm4
paddq %xmm4,%xmm7
vpmuludq 544(%rsp),%xmm14,%xmm4
paddq %xmm4,%xmm13
vpmuludq 592(%rsp),%xmm14,%xmm4
paddq %xmm4,%xmm0
vpmuludq 640(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm11
vpmuludq 624(%rsp),%xmm15,%xmm4
paddq %xmm4,%xmm12
movdqa 592(%rsp),%xmm4
paddq %xmm4,%xmm4
pmuludq 688(%rsp),%xmm4
paddq %xmm4,%xmm9
vpmuludq 608(%rsp),%xmm2,%xmm4
paddq %xmm4,%xmm1
movdqa 544(%rsp),%xmm4
pmuludq 608(%rsp),%xmm4
paddq %xmm4,%xmm3
movdqa 544(%rsp),%xmm4
pmuludq 656(%rsp),%xmm4
paddq %xmm4,%xmm5
movdqa 592(%rsp),%xmm4
pmuludq 656(%rsp),%xmm4
paddq %xmm4,%xmm7
movdqa 640(%rsp),%xmm4
pmuludq 688(%rsp),%xmm4
paddq %xmm4,%xmm10
vpmuludq 512(%rsp),%xmm2,%xmm2
paddq %xmm2,%xmm0
movdqa 560(%rsp),%xmm2
pmuludq 512(%rsp),%xmm2
paddq %xmm2,%xmm1
movdqa 608(%rsp),%xmm2
pmuludq 592(%rsp),%xmm2
paddq %xmm2,%xmm5
movdqa 656(%rsp),%xmm2
pmuludq 576(%rsp),%xmm2
paddq %xmm2,%xmm9
movdqa 688(%rsp),%xmm2
pmuludq 624(%rsp),%xmm2
paddq %xmm2,%xmm11
vpsrlq $26,%xmm1,%xmm2
paddq %xmm2,%xmm3
pand m26(%rip),%xmm1
vpsrlq $25,%xmm10,%xmm2
paddq %xmm2,%xmm11
pand m25(%rip),%xmm10
vpsrlq $25,%xmm3,%xmm2
paddq %xmm2,%xmm5
pand m25(%rip),%xmm3
vpsrlq $26,%xmm11,%xmm2
paddq %xmm2,%xmm12
pand m26(%rip),%xmm11
vpsrlq $26,%xmm5,%xmm2
paddq %xmm2,%xmm7
pand m26(%rip),%xmm5
vpsrlq $25,%xmm12,%xmm2
paddq %xmm2,%xmm13
pand m25(%rip),%xmm12
vpsrlq $25,%xmm7,%xmm2
paddq %xmm2,%xmm9
pand m25(%rip),%xmm7
vpsrlq $26,%xmm13,%xmm2
paddq %xmm2,%xmm0
pand m26(%rip),%xmm13
vpsrlq $26,%xmm9,%xmm2
paddq %xmm2,%xmm10
pand m26(%rip),%xmm9
vpsrlq $25,%xmm0,%xmm2
vpsllq $4,%xmm2,%xmm4
paddq %xmm2,%xmm1
psllq $1,%xmm2
paddq %xmm2,%xmm4
paddq %xmm4,%xmm1
pand m25(%rip),%xmm0
vpsrlq $25,%xmm10,%xmm2
paddq %xmm2,%xmm11
pand m25(%rip),%xmm10
vpsrlq $26,%xmm1,%xmm2
paddq %xmm2,%xmm3
pand m26(%rip),%xmm1
vpunpckhqdq %xmm3,%xmm1,%xmm2
vpunpcklqdq %xmm3,%xmm1,%xmm1
movdqa %xmm1,464(%rsp)
vpaddq subc0(%rip),%xmm2,%xmm3
psubq %xmm1,%xmm3
vpunpckhqdq %xmm3,%xmm2,%xmm1
vpunpcklqdq %xmm3,%xmm2,%xmm2
movdqa %xmm2,480(%rsp)
movdqa %xmm1,512(%rsp)
psllq $1,%xmm1
movdqa %xmm1,528(%rsp)
pmuludq v121666_121666(%rip),%xmm3
movdqa 80(%rsp),%xmm1
vpunpcklqdq %xmm1,%xmm3,%xmm2
vpunpckhqdq %xmm1,%xmm3,%xmm1
vpunpckhqdq %xmm7,%xmm5,%xmm3
vpunpcklqdq %xmm7,%xmm5,%xmm4
movdqa %xmm4,544(%rsp)
vpaddq subc2(%rip),%xmm3,%xmm5
psubq %xmm4,%xmm5
vpunpckhqdq %xmm5,%xmm3,%xmm4
vpunpcklqdq %xmm5,%xmm3,%xmm3
movdqa %xmm3,560(%rsp)
movdqa %xmm4,576(%rsp)
psllq $1,%xmm4
movdqa %xmm4,592(%rsp)
pmuludq v121666_121666(%rip),%xmm5
movdqa 96(%rsp),%xmm3
vpunpcklqdq %xmm3,%xmm5,%xmm4
vpunpckhqdq %xmm3,%xmm5,%xmm3
vpunpckhqdq %xmm10,%xmm9,%xmm5
vpunpcklqdq %xmm10,%xmm9,%xmm6
movdqa %xmm6,608(%rsp)
vpaddq subc2(%rip),%xmm5,%xmm7
psubq %xmm6,%xmm7
vpunpckhqdq %xmm7,%xmm5,%xmm6
vpunpcklqdq %xmm7,%xmm5,%xmm5
movdqa %xmm5,624(%rsp)
movdqa %xmm6,640(%rsp)
psllq $1,%xmm6
movdqa %xmm6,656(%rsp)
pmuludq v121666_121666(%rip),%xmm7
movdqa 112(%rsp),%xmm5
vpunpcklqdq %xmm5,%xmm7,%xmm6
vpunpckhqdq %xmm5,%xmm7,%xmm5
vpunpckhqdq %xmm12,%xmm11,%xmm7
vpunpcklqdq %xmm12,%xmm11,%xmm8
movdqa %xmm8,672(%rsp)
vpaddq subc2(%rip),%xmm7,%xmm9
psubq %xmm8,%xmm9
vpunpckhqdq %xmm9,%xmm7,%xmm8
vpunpcklqdq %xmm9,%xmm7,%xmm7
movdqa %xmm7,688(%rsp)
movdqa %xmm8,704(%rsp)
psllq $1,%xmm8
movdqa %xmm8,720(%rsp)
pmuludq v121666_121666(%rip),%xmm9
movdqa 448(%rsp),%xmm7
vpunpcklqdq %xmm7,%xmm9,%xmm8
vpunpckhqdq %xmm7,%xmm9,%xmm7
vpunpckhqdq %xmm0,%xmm13,%xmm9
vpunpcklqdq %xmm0,%xmm13,%xmm0
movdqa %xmm0,448(%rsp)
vpaddq subc2(%rip),%xmm9,%xmm10
psubq %xmm0,%xmm10
vpunpckhqdq %xmm10,%xmm9,%xmm0
vpunpcklqdq %xmm10,%xmm9,%xmm9
movdqa %xmm9,736(%rsp)
movdqa %xmm0,752(%rsp)
psllq $1,%xmm0
movdqa %xmm0,768(%rsp)
pmuludq v121666_121666(%rip),%xmm10
movdqa 496(%rsp),%xmm0
vpunpcklqdq %xmm0,%xmm10,%xmm9
vpunpckhqdq %xmm0,%xmm10,%xmm0
vpsrlq $26,%xmm2,%xmm10
paddq %xmm10,%xmm1
pand m26(%rip),%xmm2
vpsrlq $25,%xmm5,%xmm10
paddq %xmm10,%xmm8
pand m25(%rip),%xmm5
vpsrlq $25,%xmm1,%xmm10
paddq %xmm10,%xmm4
pand m25(%rip),%xmm1
vpsrlq $26,%xmm8,%xmm10
paddq %xmm10,%xmm7
pand m26(%rip),%xmm8
vpsrlq $26,%xmm4,%xmm10
paddq %xmm10,%xmm3
pand m26(%rip),%xmm4
vpsrlq $25,%xmm7,%xmm10
paddq %xmm10,%xmm9
pand m25(%rip),%xmm7
vpsrlq $25,%xmm3,%xmm10
paddq %xmm10,%xmm6
pand m25(%rip),%xmm3
vpsrlq $26,%xmm9,%xmm10
paddq %xmm10,%xmm0
pand m26(%rip),%xmm9
vpsrlq $26,%xmm6,%xmm10
paddq %xmm10,%xmm5
pand m26(%rip),%xmm6
vpsrlq $25,%xmm0,%xmm10
vpsllq $4,%xmm10,%xmm11
paddq %xmm10,%xmm2
psllq $1,%xmm10
paddq %xmm10,%xmm11
paddq %xmm11,%xmm2
pand m25(%rip),%xmm0
vpsrlq $25,%xmm5,%xmm10
paddq %xmm10,%xmm8
pand m25(%rip),%xmm5
vpsrlq $26,%xmm2,%xmm10
paddq %xmm10,%xmm1
pand m26(%rip),%xmm2
vpunpckhqdq %xmm1,%xmm2,%xmm10
movdqa %xmm10,80(%rsp)
vpunpcklqdq %xmm1,%xmm2,%xmm1
vpunpckhqdq %xmm3,%xmm4,%xmm2
movdqa %xmm2,96(%rsp)
vpunpcklqdq %xmm3,%xmm4,%xmm2
vpunpckhqdq %xmm5,%xmm6,%xmm3
movdqa %xmm3,112(%rsp)
vpunpcklqdq %xmm5,%xmm6,%xmm3
vpunpckhqdq %xmm7,%xmm8,%xmm4
movdqa %xmm4,128(%rsp)
vpunpcklqdq %xmm7,%xmm8,%xmm4
vpunpckhqdq %xmm0,%xmm9,%xmm5
movdqa %xmm5,144(%rsp)
vpunpcklqdq %xmm0,%xmm9,%xmm0
movdqa 464(%rsp),%xmm5
paddq %xmm5,%xmm1
vpunpcklqdq %xmm1,%xmm5,%xmm6
vpunpckhqdq %xmm1,%xmm5,%xmm1
vpmuludq 512(%rsp),%xmm6,%xmm5
vpmuludq 480(%rsp),%xmm1,%xmm7
paddq %xmm7,%xmm5
vpmuludq 560(%rsp),%xmm6,%xmm7
vpmuludq 528(%rsp),%xmm1,%xmm8
paddq %xmm8,%xmm7
vpmuludq 576(%rsp),%xmm6,%xmm8
vpmuludq 560(%rsp),%xmm1,%xmm9
paddq %xmm9,%xmm8
vpmuludq 624(%rsp),%xmm6,%xmm9
vpmuludq 592(%rsp),%xmm1,%xmm10
paddq %xmm10,%xmm9
vpmuludq 640(%rsp),%xmm6,%xmm10
vpmuludq 624(%rsp),%xmm1,%xmm11
paddq %xmm11,%xmm10
vpmuludq 688(%rsp),%xmm6,%xmm11
vpmuludq 656(%rsp),%xmm1,%xmm12
paddq %xmm12,%xmm11
vpmuludq 704(%rsp),%xmm6,%xmm12
vpmuludq 688(%rsp),%xmm1,%xmm13
paddq %xmm13,%xmm12
vpmuludq 736(%rsp),%xmm6,%xmm13
vpmuludq 720(%rsp),%xmm1,%xmm14
paddq %xmm14,%xmm13
vpmuludq 752(%rsp),%xmm6,%xmm14
vpmuludq 736(%rsp),%xmm1,%xmm15
paddq %xmm15,%xmm14
vpmuludq 480(%rsp),%xmm6,%xmm6
pmuludq v19_19(%rip),%xmm1
vpmuludq 768(%rsp),%xmm1,%xmm1
paddq %xmm1,%xmm6
movdqa 544(%rsp),%xmm1
paddq %xmm1,%xmm2
vpunpcklqdq %xmm2,%xmm1,%xmm15
vpunpckhqdq %xmm2,%xmm1,%xmm1
vpmuludq 480(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm7
vpmuludq 512(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm8
vpmuludq 560(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm9
vpmuludq 576(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm10
vpmuludq 624(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm11
vpmuludq 640(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm12
vpmuludq 688(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm13
vpmuludq 704(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm14
pmuludq v19_19(%rip),%xmm15
vpmuludq 736(%rsp),%xmm15,%xmm2
paddq %xmm2,%xmm6
pmuludq 752(%rsp),%xmm15
paddq %xmm15,%xmm5
vpmuludq 480(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm8
vpmuludq 528(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm9
vpmuludq 560(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm10
vpmuludq 592(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm11
vpmuludq 624(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm12
vpmuludq 656(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm13
vpmuludq 688(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm14
pmuludq v19_19(%rip),%xmm1
vpmuludq 720(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm6
vpmuludq 736(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm5
pmuludq 768(%rsp),%xmm1
paddq %xmm1,%xmm7
movdqa 608(%rsp),%xmm1
paddq %xmm1,%xmm3
vpunpcklqdq %xmm3,%xmm1,%xmm2
vpunpckhqdq %xmm3,%xmm1,%xmm1
vpmuludq 480(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm9
vpmuludq 512(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm10
vpmuludq 560(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm11
vpmuludq 576(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm12
vpmuludq 624(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm13
vpmuludq 640(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm14
pmuludq v19_19(%rip),%xmm2
vpmuludq 688(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm6
vpmuludq 704(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm5
vpmuludq 736(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm7
pmuludq 752(%rsp),%xmm2
paddq %xmm2,%xmm8
vpmuludq 480(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm10
vpmuludq 528(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm11
vpmuludq 560(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm12
vpmuludq 592(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm13
vpmuludq 624(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm14
pmuludq v19_19(%rip),%xmm1
vpmuludq 656(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm6
vpmuludq 688(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm5
vpmuludq 720(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm7
vpmuludq 736(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm8
pmuludq 768(%rsp),%xmm1
paddq %xmm1,%xmm9
movdqa 672(%rsp),%xmm1
paddq %xmm1,%xmm4
vpunpcklqdq %xmm4,%xmm1,%xmm2
vpunpckhqdq %xmm4,%xmm1,%xmm1
vpmuludq 480(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm11
vpmuludq 512(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm12
vpmuludq 560(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm13
vpmuludq 576(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm14
pmuludq v19_19(%rip),%xmm2
vpmuludq 624(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm6
vpmuludq 640(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm5
vpmuludq 688(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm7
vpmuludq 704(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm8
vpmuludq 736(%rsp),%xmm2,%xmm3
paddq %xmm3,%xmm9
pmuludq 752(%rsp),%xmm2
paddq %xmm2,%xmm10
vpmuludq 480(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm12
vpmuludq 528(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm13
vpmuludq 560(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm14
pmuludq v19_19(%rip),%xmm1
vpmuludq 592(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm6
vpmuludq 624(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm5
vpmuludq 656(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm7
vpmuludq 688(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm8
vpmuludq 720(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm9
vpmuludq 736(%rsp),%xmm1,%xmm2
paddq %xmm2,%xmm10
pmuludq 768(%rsp),%xmm1
paddq %xmm1,%xmm11
movdqa 448(%rsp),%xmm1
paddq %xmm1,%xmm0
vpunpcklqdq %xmm0,%xmm1,%xmm2
vpunpckhqdq %xmm0,%xmm1,%xmm0
vpmuludq 480(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm13
vpmuludq 512(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm14
pmuludq v19_19(%rip),%xmm2
vpmuludq 560(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm6
vpmuludq 576(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm5
vpmuludq 624(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm7
vpmuludq 640(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm8
vpmuludq 688(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm9
vpmuludq 704(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm10
vpmuludq 736(%rsp),%xmm2,%xmm1
paddq %xmm1,%xmm11
pmuludq 752(%rsp),%xmm2
paddq %xmm2,%xmm12
vpmuludq 480(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm14
pmuludq v19_19(%rip),%xmm0
vpmuludq 528(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm6
vpmuludq 560(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm5
vpmuludq 592(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm7
vpmuludq 624(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm8
vpmuludq 656(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm9
vpmuludq 688(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm10
vpmuludq 720(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm11
vpmuludq 736(%rsp),%xmm0,%xmm1
paddq %xmm1,%xmm12
pmuludq 768(%rsp),%xmm0
paddq %xmm0,%xmm13
vpsrlq $26,%xmm6,%xmm0
paddq %xmm0,%xmm5
pand m26(%rip),%xmm6
vpsrlq $25,%xmm10,%xmm0
paddq %xmm0,%xmm11
pand m25(%rip),%xmm10
vpsrlq $25,%xmm5,%xmm0
paddq %xmm0,%xmm7
pand m25(%rip),%xmm5
vpsrlq $26,%xmm11,%xmm0
paddq %xmm0,%xmm12
pand m26(%rip),%xmm11
vpsrlq $26,%xmm7,%xmm0
paddq %xmm0,%xmm8
pand m26(%rip),%xmm7
vpsrlq $25,%xmm12,%xmm0
paddq %xmm0,%xmm13
pand m25(%rip),%xmm12
vpsrlq $25,%xmm8,%xmm0
paddq %xmm0,%xmm9
pand m25(%rip),%xmm8
vpsrlq $26,%xmm13,%xmm0
paddq %xmm0,%xmm14
pand m26(%rip),%xmm13
vpsrlq $26,%xmm9,%xmm0
paddq %xmm0,%xmm10
pand m26(%rip),%xmm9
vpsrlq $25,%xmm14,%xmm0
vpsllq $4,%xmm0,%xmm1
paddq %xmm0,%xmm6
psllq $1,%xmm0
paddq %xmm0,%xmm1
paddq %xmm1,%xmm6
pand m25(%rip),%xmm14
vpsrlq $25,%xmm10,%xmm0
paddq %xmm0,%xmm11
pand m25(%rip),%xmm10
vpsrlq $26,%xmm6,%xmm0
paddq %xmm0,%xmm5
pand m26(%rip),%xmm6
vpunpckhqdq %xmm5,%xmm6,%xmm1
vpunpcklqdq %xmm5,%xmm6,%xmm0
vpunpckhqdq %xmm8,%xmm7,%xmm3
vpunpcklqdq %xmm8,%xmm7,%xmm2
vpunpckhqdq %xmm10,%xmm9,%xmm5
vpunpcklqdq %xmm10,%xmm9,%xmm4
vpunpckhqdq %xmm12,%xmm11,%xmm7
vpunpcklqdq %xmm12,%xmm11,%xmm6
vpunpckhqdq %xmm14,%xmm13,%xmm9
vpunpcklqdq %xmm14,%xmm13,%xmm8
cmp  $0,%rdx
jne ._loop_ladder
movdqu   %xmm1,160(%rdi)
movdqu   %xmm0,80(%rdi)
movdqu   %xmm3,176(%rdi)
movdqu   %xmm2,96(%rdi)
movdqu   %xmm5,192(%rdi)
movdqu   %xmm4,112(%rdi)
movdqu   %xmm7,208(%rdi)
movdqu   %xmm6,128(%rdi)
movdqu   %xmm9,224(%rdi)
movdqu   %xmm8,144(%rdi)
movq 1824(%rsp),%r11
movq 1832(%rsp),%r12
movq 1840(%rsp),%r13
movq 1848(%rsp),%r14
add %r11,%rsp
ret
FN_END ladder_avx

.p2align 5
GLOBAL_HIDDEN_FN_EXT fe51_pack_avx,2,0
fe51_pack_avx_local:
mov %rsp,%r11
and $31,%r11
add $32,%r11
sub %r11,%rsp
movq %r11,0(%rsp)
movq %r12,8(%rsp)
movq   0(%rsi),%rdx
movq   8(%rsi),%rcx
movq   16(%rsi),%r8
movq   24(%rsi),%r9
movq   32(%rsi),%rsi
movq REDMASK51(%rip),%rax
lea  -18(%rax),%r10
mov  $3,%r11
._reduceloop:
mov  %rdx,%r12
shr  $51,%r12
and  %rax,%rdx
add  %r12,%rcx
mov  %rcx,%r12
shr  $51,%r12
and  %rax,%rcx
add  %r12,%r8
mov  %r8,%r12
shr  $51,%r12
and  %rax,%r8
add  %r12,%r9
mov  %r9,%r12
shr  $51,%r12
and  %rax,%r9
add  %r12,%rsi
mov  %rsi,%r12
shr  $51,%r12
and  %rax,%rsi
imulq  $19, %r12,%r12
add  %r12,%rdx
sub  $1,%r11
ja ._reduceloop
mov  $1,%r12
cmp  %r10,%rdx
cmovl %r11,%r12
cmp  %rax,%rcx
cmovne %r11,%r12
cmp  %rax,%r8
cmovne %r11,%r12
cmp  %rax,%r9
cmovne %r11,%r12
cmp  %rax,%rsi
cmovne %r11,%r12
neg  %r12
and  %r12,%rax
and  %r12,%r10
sub  %r10,%rdx
sub  %rax,%rcx
sub  %rax,%r8
sub  %rax,%r9
sub  %rax,%rsi
mov  %rdx,%rax
and  $0xFF,%eax
movb   %al,0(%rdi)
mov  %rdx,%rax
shr  $8,%rax
and  $0xFF,%eax
movb   %al,1(%rdi)
mov  %rdx,%rax
shr  $16,%rax
and  $0xFF,%eax
movb   %al,2(%rdi)
mov  %rdx,%rax
shr  $24,%rax
and  $0xFF,%eax
movb   %al,3(%rdi)
mov  %rdx,%rax
shr  $32,%rax
and  $0xFF,%eax
movb   %al,4(%rdi)
mov  %rdx,%rax
shr  $40,%rax
and  $0xFF,%eax
movb   %al,5(%rdi)
mov  %rdx,%rdx
shr  $48,%rdx
mov  %rcx,%rax
shl  $3,%rax
and  $0xF8,%eax
xor  %rdx,%rax
movb   %al,6(%rdi)
mov  %rcx,%rdx
shr  $5,%rdx
and  $0xFF,%edx
movb   %dl,7(%rdi)
mov  %rcx,%rdx
shr  $13,%rdx
and  $0xFF,%edx
movb   %dl,8(%rdi)
mov  %rcx,%rdx
shr  $21,%rdx
and  $0xFF,%edx
movb   %dl,9(%rdi)
mov  %rcx,%rdx
shr  $29,%rdx
and  $0xFF,%edx
movb   %dl,10(%rdi)
mov  %rcx,%rdx
shr  $37,%rdx
and  $0xFF,%edx
movb   %dl,11(%rdi)
mov  %rcx,%rdx
shr  $45,%rdx
mov  %r8,%rcx
shl  $6,%rcx
and  $0xC0,%ecx
xor  %rdx,%rcx
movb   %cl,12(%rdi)
mov  %r8,%rdx
shr  $2,%rdx
and  $0xFF,%edx
movb   %dl,13(%rdi)
mov  %r8,%rdx
shr  $10,%rdx
and  $0xFF,%edx
movb   %dl,14(%rdi)
mov  %r8,%rdx
shr  $18,%rdx
and  $0xFF,%edx
movb   %dl,15(%rdi)
mov  %r8,%rdx
shr  $26,%rdx
and  $0xFF,%edx
movb   %dl,16(%rdi)
mov  %r8,%rdx
shr  $34,%rdx
and  $0xFF,%edx
movb   %dl,17(%rdi)
mov  %r8,%rdx
shr  $42,%rdx
movb   %dl,18(%rdi)
mov  %r8,%rdx
shr  $50,%rdx
mov  %r9,%rcx
shl  $1,%rcx
and  $0xFE,%ecx
xor  %rdx,%rcx
movb   %cl,19(%rdi)
mov  %r9,%rdx
shr  $7,%rdx
and  $0xFF,%edx
movb   %dl,20(%rdi)
mov  %r9,%rdx
shr  $15,%rdx
and  $0xFF,%edx
movb   %dl,21(%rdi)
mov  %r9,%rdx
shr  $23,%rdx
and  $0xFF,%edx
movb   %dl,22(%rdi)
mov  %r9,%rdx
shr  $31,%rdx
and  $0xFF,%edx
movb   %dl,23(%rdi)
mov  %r9,%rdx
shr  $39,%rdx
and  $0xFF,%edx
movb   %dl,24(%rdi)
mov  %r9,%rdx
shr  $47,%rdx
mov  %rsi,%rcx
shl  $4,%rcx
and  $0xF0,%ecx
xor  %rdx,%rcx
movb   %cl,25(%rdi)
mov  %rsi,%rdx
shr  $4,%rdx
and  $0xFF,%edx
movb   %dl,26(%rdi)
mov  %rsi,%rdx
shr  $12,%rdx
and  $0xFF,%edx
movb   %dl,27(%rdi)
mov  %rsi,%rdx
shr  $20,%rdx
and  $0xFF,%edx
movb   %dl,28(%rdi)
mov  %rsi,%rdx
shr  $28,%rdx
and  $0xFF,%edx
movb   %dl,29(%rdi)
mov  %rsi,%rdx
shr  $36,%rdx
and  $0xFF,%edx
movb   %dl,30(%rdi)
mov  %rsi,%rsi
shr  $44,%rsi
movb   %sil,31(%rdi)
movq 0(%rsp),%r11
movq 8(%rsp),%r12
add %r11,%rsp
ret
FN_END fe51_pack_avx

.p2align 5
GLOBAL_HIDDEN_FN_EXT fe51_mul_avx,3,0
fe51_mul_avx_local:
mov %rsp,%r11
and $31,%r11
add $96,%r11
sub %r11,%rsp
movq %r11,0(%rsp)
movq %r12,8(%rsp)
movq %r13,16(%rsp)
movq %r14,24(%rsp)
movq %r15,32(%rsp)
movq %rbx,40(%rsp)
movq %rbp,48(%rsp)
movq %rdi,56(%rsp)
mov  %rdx,%rcx
movq   24(%rsi),%rdx
imulq  $19,%rdx,%rax
movq %rax,64(%rsp)
mulq  16(%rcx)
mov  %rax,%r8
mov  %rdx,%r9
movq   32(%rsi),%rdx
imulq  $19,%rdx,%rax
movq %rax,72(%rsp)
mulq  8(%rcx)
add  %rax,%r8
adc %rdx,%r9
movq   0(%rsi),%rax
mulq  0(%rcx)
add  %rax,%r8
adc %rdx,%r9
movq   0(%rsi),%rax
mulq  8(%rcx)
mov  %rax,%r10
mov  %rdx,%r11
movq   0(%rsi),%rax
mulq  16(%rcx)
mov  %rax,%r12
mov  %rdx,%r13
movq   0(%rsi),%rax
mulq  24(%rcx)
mov  %rax,%r14
mov  %rdx,%r15
movq   0(%rsi),%rax
mulq  32(%rcx)
mov  %rax,%rbx
mov  %rdx,%rbp
movq   8(%rsi),%rax
mulq  0(%rcx)
add  %rax,%r10
adc %rdx,%r11
movq   8(%rsi),%rax
mulq  8(%rcx)
add  %rax,%r12
adc %rdx,%r13
movq   8(%rsi),%rax
mulq  16(%rcx)
add  %rax,%r14
adc %rdx,%r15
movq   8(%rsi),%rax
mulq  24(%rcx)
add  %rax,%rbx
adc %rdx,%rbp
movq   8(%rsi),%rdx
imulq  $19,%rdx,%rax
mulq  32(%rcx)
add  %rax,%r8
adc %rdx,%r9
movq   16(%rsi),%rax
mulq  0(%rcx)
add  %rax,%r12
adc %rdx,%r13
movq   16(%rsi),%rax
mulq  8(%rcx)
add  %rax,%r14
adc %rdx,%r15
movq   16(%rsi),%rax
mulq  16(%rcx)
add  %rax,%rbx
adc %rdx,%rbp
movq   16(%rsi),%rdx
imulq  $19,%rdx,%rax
mulq  24(%rcx)
add  %rax,%r8
adc %rdx,%r9
movq   16(%rsi),%rdx
imulq  $19,%rdx,%rax
mulq  32(%rcx)
add  %rax,%r10
adc %rdx,%r11
movq   24(%rsi),%rax
mulq  0(%rcx)
add  %rax,%r14
adc %rdx,%r15
movq   24(%rsi),%rax
mulq  8(%rcx)
add  %rax,%rbx
adc %rdx,%rbp
movq 64(%rsp),%rax
mulq  24(%rcx)
add  %rax,%r10
adc %rdx,%r11
movq 64(%rsp),%rax
mulq  32(%rcx)
add  %rax,%r12
adc %rdx,%r13
movq   32(%rsi),%rax
mulq  0(%rcx)
add  %rax,%rbx
adc %rdx,%rbp
movq 72(%rsp),%rax
mulq  16(%rcx)
add  %rax,%r10
adc %rdx,%r11
movq 72(%rsp),%rax
mulq  24(%rcx)
add  %rax,%r12
adc %rdx,%r13
movq 72(%rsp),%rax
mulq  32(%rcx)
add  %rax,%r14
adc %rdx,%r15
movq REDMASK51(%rip),%rsi
shld $13,%r8,%r9
and  %rsi,%r8
shld $13,%r10,%r11
and  %rsi,%r10
add  %r9,%r10
shld $13,%r12,%r13
and  %rsi,%r12
add  %r11,%r12
shld $13,%r14,%r15
and  %rsi,%r14
add  %r13,%r14
shld $13,%rbx,%rbp
and  %rsi,%rbx
add  %r15,%rbx
imulq  $19,%rbp,%rdx
add  %rdx,%r8
mov  %r8,%rdx
shr  $51,%rdx
add  %r10,%rdx
mov  %rdx,%rcx
shr  $51,%rdx
and  %rsi,%r8
add  %r12,%rdx
mov  %rdx,%r9
shr  $51,%rdx
and  %rsi,%rcx
add  %r14,%rdx
mov  %rdx,%rax
shr  $51,%rdx
and  %rsi,%r9
add  %rbx,%rdx
mov  %rdx,%r10
shr  $51,%rdx
and  %rsi,%rax
imulq  $19,%rdx,%rdx
add  %rdx,%r8
and  %rsi,%r10
movq   %r8,0(%rdi)
movq   %rcx,8(%rdi)
movq   %r9,16(%rdi)
movq   %rax,24(%rdi)
movq   %r10,32(%rdi)
movq 0(%rsp),%r11
movq 8(%rsp),%r12
movq 16(%rsp),%r13
movq 24(%rsp),%r14
movq 32(%rsp),%r15
movq 40(%rsp),%rbx
movq 48(%rsp),%rbp
add %r11,%rsp
mov %rdi,%rax
mov %rsi,%rdx
ret
FN_END fe51_mul_avx

.p2align 5
GLOBAL_HIDDEN_FN_EXT fe51_nsquare_avx,4,0
fe51_nsquare_avx_local:
mov %rsp,%r11
and $31,%r11
add $64,%r11
sub %r11,%rsp
movq %r11,0(%rsp)
movq %r12,8(%rsp)
movq %r13,16(%rsp)
movq %r14,24(%rsp)
movq %r15,32(%rsp)
movq %rbx,40(%rsp)
movq %rbp,48(%rsp)
movq   0(%rsi),%rcx
movq   8(%rsi),%r8
movq   16(%rsi),%r9
movq   24(%rsi),%rax
movq   32(%rsi),%rsi
movq   %r9,16(%rdi)
movq   %rax,24(%rdi)
movq   %rsi,32(%rdi)
mov  %rdx,%rsi
._loop_nsquare:
sub  $1,%rsi
mov  %rcx,%rax
mul  %rcx
add  %rcx,%rcx
mov  %rax,%r9
mov  %rdx,%r10
mov  %rcx,%rax
mul  %r8
mov  %rax,%r11
mov  %rdx,%r12
mov  %rcx,%rax
mulq  16(%rdi)
mov  %rax,%r13
mov  %rdx,%r14
mov  %rcx,%rax
mulq  24(%rdi)
mov  %rax,%r15
mov  %rdx,%rbx
mov  %rcx,%rax
mulq  32(%rdi)
mov  %rax,%rcx
mov  %rdx,%rbp
mov  %r8,%rax
mul  %r8
add  %r8,%r8
add  %rax,%r13
adc %rdx,%r14
mov  %r8,%rax
mulq  16(%rdi)
add  %rax,%r15
adc %rdx,%rbx
mov  %r8,%rax
imulq  $19, %r8,%r8
mulq  24(%rdi)
add  %rax,%rcx
adc %rdx,%rbp
mov  %r8,%rax
mulq  32(%rdi)
add  %rax,%r9
adc %rdx,%r10
movq   16(%rdi),%rax
mulq  16(%rdi)
add  %rax,%rcx
adc %rdx,%rbp
shld $13,%rcx,%rbp
movq   16(%rdi),%rax
imulq  $38, %rax,%rax
mulq  24(%rdi)
add  %rax,%r9
adc %rdx,%r10
shld $13,%r9,%r10
movq   16(%rdi),%rax
imulq  $38, %rax,%rax
mulq  32(%rdi)
add  %rax,%r11
adc %rdx,%r12
movq   24(%rdi),%rax
imulq  $19, %rax,%rax
mulq  24(%rdi)
add  %rax,%r11
adc %rdx,%r12
shld $13,%r11,%r12
movq   24(%rdi),%rax
imulq  $38, %rax,%rax
mulq  32(%rdi)
add  %rax,%r13
adc %rdx,%r14
shld $13,%r13,%r14
movq   32(%rdi),%rax
imulq  $19, %rax,%rax
mulq  32(%rdi)
add  %rax,%r15
adc %rdx,%rbx
shld $13,%r15,%rbx
movq REDMASK51(%rip),%rdx
and  %rdx,%rcx
add  %rbx,%rcx
and  %rdx,%r9
and  %rdx,%r11
add  %r10,%r11
and  %rdx,%r13
add  %r12,%r13
and  %rdx,%r15
add  %r14,%r15
imulq  $19, %rbp,%rbp
lea  (%r9,%rbp),%r9
mov  %r9,%rax
shr  $51,%r9
add  %r11,%r9
and  %rdx,%rax
mov  %r9,%r8
shr  $51,%r9
add  %r13,%r9
and  %rdx,%r8
mov  %r9,%r10
shr  $51,%r9
add  %r15,%r9
and  %rdx,%r10
movq   %r10,16(%rdi)
mov  %r9,%r10
shr  $51,%r9
add  %rcx,%r9
and  %rdx,%r10
movq   %r10,24(%rdi)
mov  %r9,%r10
shr  $51,%r9
imulq  $19, %r9,%r9
lea  (%rax,%r9),%rcx
and  %rdx,%r10
movq   %r10,32(%rdi)
cmp  $0,%rsi
jne ._loop_nsquare
movq   %rcx,0(%rdi)
movq   %r8,8(%rdi)
movq 0(%rsp),%r11
movq 8(%rsp),%r12
movq 16(%rsp),%r13
movq 24(%rsp),%r14
movq 32(%rsp),%r15
movq 40(%rsp),%rbx
movq 48(%rsp),%rbp
add %r11,%rsp
ret
FN_END fe51_nsquare_avx