]> source.dussan.org Git - rspamd.git/commitdiff
[Rework] Use VEX instructions, relocate
authorVsevolod Stakhov <vsevolod@highsecure.ru>
Wed, 13 Feb 2019 18:03:35 +0000 (18:03 +0000)
committerVsevolod Stakhov <vsevolod@highsecure.ru>
Wed, 13 Feb 2019 18:03:35 +0000 (18:03 +0000)
src/libcryptobox/curve25519/avx.S
src/libcryptobox/curve25519/avx.c
src/libcryptobox/curve25519/constants.S

index c671cd3e8f36628f84bd6d7d3687e6e7db05600e..061b6c3d61ad01a85755ad229f599a7b81e0fb90 100644 (file)
@@ -1,8 +1,10 @@
 #include "../macro.S"
 #include "constants.S"
 
+.text
+
 .p2align 5
-GLOBAL_HIDDEN_FN_EXT ladder_avx,2,0
+GLOBAL_HIDDEN_FN_EXT ladder_avx
 ladder_avx_local:
 mov %rsp,%r11
 and $31,%r11
@@ -12,77 +14,77 @@ movq %r11,1824(%rsp)
 movq %r12,1832(%rsp)
 movq %r13,1840(%rsp)
 movq %r14,1848(%rsp)
-movdqa v0_0(%rip),%xmm0
-movdqa v1_0(%rip),%xmm1
-movdqu   0(%rdi),%xmm2
-movdqa %xmm2,0(%rsp)
-movdqu   16(%rdi),%xmm2
-movdqa %xmm2,16(%rsp)
-movdqu   32(%rdi),%xmm2
-movdqa %xmm2,32(%rsp)
-movdqu   48(%rdi),%xmm2
-movdqa %xmm2,48(%rsp)
-movdqu   64(%rdi),%xmm2
-movdqa %xmm2,64(%rsp)
-movdqa %xmm1,80(%rsp)
-movdqa %xmm0,96(%rsp)
-movdqa %xmm0,112(%rsp)
-movdqa %xmm0,128(%rsp)
-movdqa %xmm0,144(%rsp)
-movdqa %xmm1,%xmm0
-pxor %xmm1,%xmm1
-pxor %xmm2,%xmm2
-pxor %xmm3,%xmm3
-pxor %xmm4,%xmm4
-pxor %xmm5,%xmm5
-pxor %xmm6,%xmm6
-pxor %xmm7,%xmm7
-pxor %xmm8,%xmm8
-pxor %xmm9,%xmm9
-movdqu   0(%rdi),%xmm10
-movdqa %xmm10,160(%rsp)
-movdqu   16(%rdi),%xmm10
-movdqa %xmm10,176(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,192(%rsp)
-movdqu   32(%rdi),%xmm10
-movdqa %xmm10,208(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,224(%rsp)
-movdqu   48(%rdi),%xmm10
-movdqa %xmm10,240(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,256(%rsp)
-movdqu   64(%rdi),%xmm10
-movdqa %xmm10,272(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,288(%rsp)
-movdqu   8(%rdi),%xmm10
-pmuludq v2_1(%rip),%xmm10
-movdqa %xmm10,304(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,320(%rsp)
-movdqu   24(%rdi),%xmm10
-pmuludq v2_1(%rip),%xmm10
-movdqa %xmm10,336(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,352(%rsp)
-movdqu   40(%rdi),%xmm10
-pmuludq v2_1(%rip),%xmm10
-movdqa %xmm10,368(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,384(%rsp)
-movdqu   56(%rdi),%xmm10
-pmuludq v2_1(%rip),%xmm10
-movdqa %xmm10,400(%rsp)
-pmuludq v19_19(%rip),%xmm10
-movdqa %xmm10,416(%rsp)
-movdqu   0(%rdi),%xmm10
-movdqu   64(%rdi),%xmm11
-blendps $12, %xmm11, %xmm10
-pshufd $2,%xmm10,%xmm10
-pmuludq v38_1(%rip),%xmm10
-movdqa %xmm10,432(%rsp)
+vmovdqa v0_0(%rip),%xmm0
+vmovdqa v1_0(%rip),%xmm1
+vmovdqu 0(%rdi),%xmm2
+vmovdqa %xmm2,0(%rsp)
+vmovdqu 16(%rdi),%xmm2
+vmovdqa %xmm2,16(%rsp)
+vmovdqu 32(%rdi),%xmm2
+vmovdqa %xmm2,32(%rsp)
+vmovdqu 48(%rdi),%xmm2
+vmovdqa %xmm2,48(%rsp)
+vmovdqu 64(%rdi),%xmm2
+vmovdqa %xmm2,64(%rsp)
+vmovdqa %xmm1,80(%rsp)
+vmovdqa %xmm0,96(%rsp)
+vmovdqa %xmm0,112(%rsp)
+vmovdqa %xmm0,128(%rsp)
+vmovdqa %xmm0,144(%rsp)
+vmovdqa %xmm1,%xmm0
+vpxor %xmm1,%xmm1,%xmm1
+vpxor %xmm2,%xmm2,%xmm2
+vpxor %xmm3,%xmm3,%xmm3
+vpxor %xmm4,%xmm4,%xmm4
+vpxor %xmm5,%xmm5,%xmm5
+vpxor %xmm6,%xmm6,%xmm6
+vpxor %xmm7,%xmm7,%xmm7
+vpxor %xmm8,%xmm8,%xmm8
+vpxor %xmm9,%xmm9,%xmm9
+vmovdqu 0(%rdi),%xmm10
+vmovdqa %xmm10,160(%rsp)
+vmovdqu 16(%rdi),%xmm10
+vmovdqa %xmm10,176(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,192(%rsp)
+vmovdqu 32(%rdi),%xmm10
+vmovdqa %xmm10,208(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,224(%rsp)
+vmovdqu 48(%rdi),%xmm10
+vmovdqa %xmm10,240(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,256(%rsp)
+vmovdqu 64(%rdi),%xmm10
+vmovdqa %xmm10,272(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,288(%rsp)
+vmovdqu 8(%rdi),%xmm10
+vpmuludq v2_1(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,304(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,320(%rsp)
+vmovdqu 24(%rdi),%xmm10
+vpmuludq v2_1(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,336(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,352(%rsp)
+vmovdqu 40(%rdi),%xmm10
+vpmuludq v2_1(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,368(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,384(%rsp)
+vmovdqu 56(%rdi),%xmm10
+vpmuludq v2_1(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,400(%rsp)
+vpmuludq v19_19(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,416(%rsp)
+vmovdqu 0(%rdi),%xmm10
+vmovdqu 64(%rdi),%xmm11
+vblendps $12, %xmm11, %xmm10, %xmm10
+vpshufd $2,%xmm10,%xmm10
+vpmuludq v38_1(%rip),%xmm10,%xmm10
+vmovdqa %xmm10,432(%rsp)
 movq   0(%rsi),%rdx
 movq   8(%rsi),%rcx
 movq   16(%rsi),%r8
@@ -97,7 +99,9 @@ xorq 16(%rsi),%r8
 xorq 24(%rsi),%r9
 leaq 800(%rsp),%rsi
 mov  $64,%rax
-._small_loop:
+
+.p2align 4
+._ladder_small_loop:
 mov  %rdx,%r10
 mov  %rcx,%r11
 mov  %r8,%r12
@@ -120,1277 +124,1279 @@ movl   %r12d,512(%rsi)
 movl   %r13d,768(%rsi)
 add  $4,%rsi
 sub  $1,%rax
-jne ._small_loop
+jne ._ladder_small_loop
 mov  $255,%rdx
 add  $760,%rsi
-._loop_ladder:
+
+.p2align 4
+._ladder_loop:
 sub  $1,%rdx
 vbroadcastss 0(%rsi),%xmm10
 sub  $4,%rsi
-movdqa 0(%rsp),%xmm11
-movdqa 80(%rsp),%xmm12
+vmovdqa 0(%rsp),%xmm11
+vmovdqa 80(%rsp),%xmm12
 vpxor %xmm11,%xmm0,%xmm13
-pand %xmm10,%xmm13
-pxor %xmm13,%xmm0
-pxor %xmm13,%xmm11
+vpand %xmm10,%xmm13,%xmm13
+vpxor %xmm13,%xmm0,%xmm0
+vpxor %xmm13,%xmm11,%xmm11
 vpxor %xmm12,%xmm1,%xmm13
-pand %xmm10,%xmm13
-pxor %xmm13,%xmm1
-pxor %xmm13,%xmm12
-movdqa 16(%rsp),%xmm13
-movdqa 96(%rsp),%xmm14
+vpand %xmm10,%xmm13,%xmm13
+vpxor %xmm13,%xmm1,%xmm1
+vpxor %xmm13,%xmm12,%xmm12
+vmovdqa 16(%rsp),%xmm13
+vmovdqa 96(%rsp),%xmm14
 vpxor %xmm13,%xmm2,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm2
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm2,%xmm2
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm3,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm3
-pxor %xmm15,%xmm14
-movdqa %xmm13,0(%rsp)
-movdqa %xmm14,16(%rsp)
-movdqa 32(%rsp),%xmm13
-movdqa 112(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm3,%xmm3
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,0(%rsp)
+vmovdqa %xmm14,16(%rsp)
+vmovdqa 32(%rsp),%xmm13
+vmovdqa 112(%rsp),%xmm14
 vpxor %xmm13,%xmm4,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm4
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm4,%xmm4
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm5,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm5
-pxor %xmm15,%xmm14
-movdqa %xmm13,32(%rsp)
-movdqa %xmm14,80(%rsp)
-movdqa 48(%rsp),%xmm13
-movdqa 128(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm5,%xmm5
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,32(%rsp)
+vmovdqa %xmm14,80(%rsp)
+vmovdqa 48(%rsp),%xmm13
+vmovdqa 128(%rsp),%xmm14
 vpxor %xmm13,%xmm6,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm6
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm6,%xmm6
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm7,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm7
-pxor %xmm15,%xmm14
-movdqa %xmm13,48(%rsp)
-movdqa %xmm14,96(%rsp)
-movdqa 64(%rsp),%xmm13
-movdqa 144(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm7,%xmm7
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,48(%rsp)
+vmovdqa %xmm14,96(%rsp)
+vmovdqa 64(%rsp),%xmm13
+vmovdqa 144(%rsp),%xmm14
 vpxor %xmm13,%xmm8,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm8
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm8,%xmm8
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm9,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm9
-pxor %xmm15,%xmm14
-movdqa %xmm13,64(%rsp)
-movdqa %xmm14,112(%rsp)
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm9,%xmm9
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,64(%rsp)
+vmovdqa %xmm14,112(%rsp)
 vpaddq subc0(%rip),%xmm11,%xmm10
-psubq %xmm12,%xmm10
-paddq %xmm12,%xmm11
+vpsubq %xmm12,%xmm10,%xmm10
+vpaddq %xmm12,%xmm11,%xmm11
 vpunpckhqdq %xmm10,%xmm11,%xmm12
 vpunpcklqdq %xmm10,%xmm11,%xmm10
 vpaddq %xmm1,%xmm0,%xmm11
-paddq subc0(%rip),%xmm0
-psubq %xmm1,%xmm0
+vpaddq subc0(%rip),%xmm0,%xmm0
+vpsubq %xmm1,%xmm0,%xmm0
 vpunpckhqdq %xmm11,%xmm0,%xmm1
 vpunpcklqdq %xmm11,%xmm0,%xmm0
 vpmuludq %xmm0,%xmm10,%xmm11
 vpmuludq %xmm1,%xmm10,%xmm13
-movdqa %xmm1,128(%rsp)
-paddq %xmm1,%xmm1
+vmovdqa %xmm1,128(%rsp)
+vpaddq %xmm1,%xmm1,%xmm1
 vpmuludq %xmm0,%xmm12,%xmm14
-movdqa %xmm0,144(%rsp)
-paddq %xmm14,%xmm13
+vmovdqa %xmm0,144(%rsp)
+vpaddq %xmm14,%xmm13,%xmm13
 vpmuludq %xmm1,%xmm12,%xmm0
-movdqa %xmm1,448(%rsp)
+vmovdqa %xmm1,448(%rsp)
 vpaddq %xmm3,%xmm2,%xmm1
-paddq subc2(%rip),%xmm2
-psubq %xmm3,%xmm2
+vpaddq subc2(%rip),%xmm2,%xmm2
+vpsubq %xmm3,%xmm2,%xmm2
 vpunpckhqdq %xmm1,%xmm2,%xmm3
 vpunpcklqdq %xmm1,%xmm2,%xmm1
 vpmuludq %xmm1,%xmm10,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq %xmm3,%xmm10,%xmm2
-movdqa %xmm3,464(%rsp)
-paddq %xmm3,%xmm3
+vmovdqa %xmm3,464(%rsp)
+vpaddq %xmm3,%xmm3,%xmm3
 vpmuludq %xmm1,%xmm12,%xmm14
-movdqa %xmm1,480(%rsp)
-paddq %xmm14,%xmm2
+vmovdqa %xmm1,480(%rsp)
+vpaddq %xmm14,%xmm2,%xmm2
 vpmuludq %xmm3,%xmm12,%xmm1
-movdqa %xmm3,496(%rsp)
+vmovdqa %xmm3,496(%rsp)
 vpaddq %xmm5,%xmm4,%xmm3
-paddq subc2(%rip),%xmm4
-psubq %xmm5,%xmm4
+vpaddq subc2(%rip),%xmm4,%xmm4
+vpsubq %xmm5,%xmm4,%xmm4
 vpunpckhqdq %xmm3,%xmm4,%xmm5
 vpunpcklqdq %xmm3,%xmm4,%xmm3
 vpmuludq %xmm3,%xmm10,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq %xmm5,%xmm10,%xmm4
-movdqa %xmm5,512(%rsp)
-paddq %xmm5,%xmm5
+vmovdqa %xmm5,512(%rsp)
+vpaddq %xmm5,%xmm5,%xmm5
 vpmuludq %xmm3,%xmm12,%xmm14
-movdqa %xmm3,528(%rsp)
-paddq %xmm14,%xmm4
+vmovdqa %xmm3,528(%rsp)
+vpaddq %xmm14,%xmm4,%xmm4
 vpaddq %xmm7,%xmm6,%xmm3
-paddq subc2(%rip),%xmm6
-psubq %xmm7,%xmm6
+vpaddq subc2(%rip),%xmm6,%xmm6
+vpsubq %xmm7,%xmm6,%xmm6
 vpunpckhqdq %xmm3,%xmm6,%xmm7
 vpunpcklqdq %xmm3,%xmm6,%xmm3
 vpmuludq %xmm3,%xmm10,%xmm6
 vpmuludq %xmm5,%xmm12,%xmm14
-movdqa %xmm5,544(%rsp)
-pmuludq v19_19(%rip),%xmm5
-movdqa %xmm5,560(%rsp)
-paddq %xmm14,%xmm6
+vmovdqa %xmm5,544(%rsp)
+vpmuludq v19_19(%rip),%xmm5,%xmm5
+vmovdqa %xmm5,560(%rsp)
+vpaddq %xmm14,%xmm6,%xmm6
 vpmuludq %xmm7,%xmm10,%xmm5
-movdqa %xmm7,576(%rsp)
-paddq %xmm7,%xmm7
+vmovdqa %xmm7,576(%rsp)
+vpaddq %xmm7,%xmm7,%xmm7
 vpmuludq %xmm3,%xmm12,%xmm14
-movdqa %xmm3,592(%rsp)
-paddq %xmm14,%xmm5
-pmuludq v19_19(%rip),%xmm3
-movdqa %xmm3,608(%rsp)
+vmovdqa %xmm3,592(%rsp)
+vpaddq %xmm14,%xmm5,%xmm5
+vpmuludq v19_19(%rip),%xmm3,%xmm3
+vmovdqa %xmm3,608(%rsp)
 vpaddq %xmm9,%xmm8,%xmm3
-paddq subc2(%rip),%xmm8
-psubq %xmm9,%xmm8
+vpaddq subc2(%rip),%xmm8,%xmm8
+vpsubq %xmm9,%xmm8,%xmm8
 vpunpckhqdq %xmm3,%xmm8,%xmm9
 vpunpcklqdq %xmm3,%xmm8,%xmm3
-movdqa %xmm3,624(%rsp)
+vmovdqa %xmm3,624(%rsp)
 vpmuludq %xmm7,%xmm12,%xmm8
-movdqa %xmm7,640(%rsp)
-pmuludq v19_19(%rip),%xmm7
-movdqa %xmm7,656(%rsp)
+vmovdqa %xmm7,640(%rsp)
+vpmuludq v19_19(%rip),%xmm7,%xmm7
+vmovdqa %xmm7,656(%rsp)
 vpmuludq %xmm3,%xmm10,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq %xmm9,%xmm10,%xmm7
-movdqa %xmm9,672(%rsp)
-paddq %xmm9,%xmm9
+vmovdqa %xmm9,672(%rsp)
+vpaddq %xmm9,%xmm9,%xmm9
 vpmuludq %xmm3,%xmm12,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
-movdqa %xmm3,688(%rsp)
-pmuludq v19_19(%rip),%xmm12
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
+vmovdqa %xmm3,688(%rsp)
+vpmuludq v19_19(%rip),%xmm12,%xmm12
 vpmuludq %xmm9,%xmm12,%xmm3
-movdqa %xmm9,704(%rsp)
-paddq %xmm3,%xmm11
-movdqa 0(%rsp),%xmm3
-movdqa 16(%rsp),%xmm9
+vmovdqa %xmm9,704(%rsp)
+vpaddq %xmm3,%xmm11,%xmm11
+vmovdqa 0(%rsp),%xmm3
+vmovdqa 16(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 480(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 464(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 528(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 512(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 592(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 576(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 624(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
-pmuludq 672(%rsp),%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm10,%xmm11,%xmm11
+vpmuludq 672(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 448(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 480(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 496(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 528(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 544(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 592(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 640(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 624(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
-pmuludq 704(%rsp),%xmm9
-paddq %xmm9,%xmm0
-movdqa 32(%rsp),%xmm3
-movdqa 80(%rsp),%xmm9
+vpaddq %xmm3,%xmm13,%xmm13
+vpmuludq 704(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm0,%xmm0
+vmovdqa 32(%rsp),%xmm3
+vmovdqa 80(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 480(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 464(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 528(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 512(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 592(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 576(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 624(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
-pmuludq 672(%rsp),%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm10,%xmm0,%xmm0
+vpmuludq 672(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 448(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 480(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 496(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 528(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 544(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 592(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 640(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 624(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
-pmuludq 704(%rsp),%xmm9
-paddq %xmm9,%xmm1
-movdqa 48(%rsp),%xmm3
-movdqa 96(%rsp),%xmm9
+vpaddq %xmm3,%xmm2,%xmm2
+vpmuludq 704(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm1,%xmm1
+vmovdqa 48(%rsp),%xmm3
+vmovdqa 96(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 480(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 464(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 528(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 512(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 592(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 576(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 624(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
-pmuludq 672(%rsp),%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm10,%xmm1,%xmm1
+vpmuludq 672(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 448(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 480(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 496(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 528(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 544(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 592(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 640(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 624(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
-pmuludq 704(%rsp),%xmm9
-paddq %xmm9,%xmm6
-movdqa 64(%rsp),%xmm3
-movdqa 112(%rsp),%xmm9
+vpaddq %xmm3,%xmm4,%xmm4
+vpmuludq 704(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm6,%xmm6
+vmovdqa 64(%rsp),%xmm3
+vmovdqa 112(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 480(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 464(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 528(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 512(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 592(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 576(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 624(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
-pmuludq 672(%rsp),%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm10,%xmm6,%xmm6
+vpmuludq 672(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 448(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 480(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 496(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 528(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 544(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 592(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 640(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 624(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
-pmuludq 704(%rsp),%xmm9
-paddq %xmm9,%xmm8
+vpaddq %xmm3,%xmm5,%xmm5
+vpmuludq 704(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm8,%xmm8
 vpsrlq $25,%xmm4,%xmm3
-paddq %xmm3,%xmm6
-pand m25(%rip),%xmm4
+vpaddq %xmm3,%xmm6,%xmm6
+vpand m25(%rip),%xmm4,%xmm4
 vpsrlq $26,%xmm11,%xmm3
-paddq %xmm3,%xmm13
-pand m26(%rip),%xmm11
+vpaddq %xmm3,%xmm13,%xmm13
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm6,%xmm3
-paddq %xmm3,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm3,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm13,%xmm3
-paddq %xmm3,%xmm0
-pand m25(%rip),%xmm13
+vpaddq %xmm3,%xmm0,%xmm0
+vpand m25(%rip),%xmm13,%xmm13
 vpsrlq $25,%xmm5,%xmm3
-paddq %xmm3,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm3,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm0,%xmm3
-paddq %xmm3,%xmm2
-pand m26(%rip),%xmm0
+vpaddq %xmm3,%xmm2,%xmm2
+vpand m26(%rip),%xmm0,%xmm0
 vpsrlq $26,%xmm8,%xmm3
-paddq %xmm3,%xmm7
-pand m26(%rip),%xmm8
+vpaddq %xmm3,%xmm7,%xmm7
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $25,%xmm2,%xmm3
-paddq %xmm3,%xmm1
-pand m25(%rip),%xmm2
+vpaddq %xmm3,%xmm1,%xmm1
+vpand m25(%rip),%xmm2,%xmm2
 vpsrlq $25,%xmm7,%xmm3
 vpsllq $4,%xmm3,%xmm9
-paddq %xmm3,%xmm11
-psllq $1,%xmm3
-paddq %xmm3,%xmm9
-paddq %xmm9,%xmm11
-pand m25(%rip),%xmm7
+vpaddq %xmm3,%xmm11,%xmm11
+vpsllq $1,%xmm3,%xmm3
+vpaddq %xmm3,%xmm9,%xmm9
+vpaddq %xmm9,%xmm11,%xmm11
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $26,%xmm1,%xmm3
-paddq %xmm3,%xmm4
-pand m26(%rip),%xmm1
+vpaddq %xmm3,%xmm4,%xmm4
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $26,%xmm11,%xmm3
-paddq %xmm3,%xmm13
-pand m26(%rip),%xmm11
+vpaddq %xmm3,%xmm13,%xmm13
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $25,%xmm4,%xmm3
-paddq %xmm3,%xmm6
-pand m25(%rip),%xmm4
+vpaddq %xmm3,%xmm6,%xmm6
+vpand m25(%rip),%xmm4,%xmm4
 vpunpcklqdq %xmm13,%xmm11,%xmm3
 vpunpckhqdq %xmm13,%xmm11,%xmm9
 vpaddq subc0(%rip),%xmm9,%xmm10
-psubq %xmm3,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm3,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm3,%xmm10,%xmm9
-punpcklqdq %xmm3,%xmm10
+vpunpcklqdq %xmm3,%xmm10,%xmm10
 vpmuludq %xmm10,%xmm10,%xmm3
-paddq %xmm10,%xmm10
+vpaddq %xmm10,%xmm10,%xmm10
 vpmuludq %xmm9,%xmm10,%xmm11
 vpunpcklqdq %xmm2,%xmm0,%xmm12
 vpunpckhqdq %xmm2,%xmm0,%xmm0
 vpaddq subc2(%rip),%xmm0,%xmm2
-psubq %xmm12,%xmm2
-paddq %xmm0,%xmm12
+vpsubq %xmm12,%xmm2,%xmm2
+vpaddq %xmm0,%xmm12,%xmm12
 vpunpckhqdq %xmm12,%xmm2,%xmm0
-punpcklqdq %xmm12,%xmm2
+vpunpcklqdq %xmm12,%xmm2,%xmm2
 vpmuludq %xmm2,%xmm10,%xmm12
 vpaddq %xmm9,%xmm9,%xmm13
 vpmuludq %xmm13,%xmm9,%xmm9
-paddq %xmm9,%xmm12
+vpaddq %xmm9,%xmm12,%xmm12
 vpmuludq %xmm0,%xmm10,%xmm9
 vpmuludq %xmm2,%xmm13,%xmm14
-paddq %xmm14,%xmm9
+vpaddq %xmm14,%xmm9,%xmm9
 vpunpcklqdq %xmm4,%xmm1,%xmm14
 vpunpckhqdq %xmm4,%xmm1,%xmm1
 vpaddq subc2(%rip),%xmm1,%xmm4
-psubq %xmm14,%xmm4
-paddq %xmm1,%xmm14
+vpsubq %xmm14,%xmm4,%xmm4
+vpaddq %xmm1,%xmm14,%xmm14
 vpunpckhqdq %xmm14,%xmm4,%xmm1
-punpcklqdq %xmm14,%xmm4
-movdqa %xmm1,0(%rsp)
-paddq %xmm1,%xmm1
-movdqa %xmm1,16(%rsp)
-pmuludq v19_19(%rip),%xmm1
-movdqa %xmm1,32(%rsp)
+vpunpcklqdq %xmm14,%xmm4,%xmm4
+vmovdqa %xmm1,0(%rsp)
+vpaddq %xmm1,%xmm1,%xmm1
+vmovdqa %xmm1,16(%rsp)
+vpmuludq v19_19(%rip),%xmm1,%xmm1
+vmovdqa %xmm1,32(%rsp)
 vpmuludq %xmm4,%xmm10,%xmm1
 vpmuludq %xmm2,%xmm2,%xmm14
-paddq %xmm14,%xmm1
+vpaddq %xmm14,%xmm1,%xmm1
 vpmuludq 0(%rsp),%xmm10,%xmm14
 vpmuludq %xmm4,%xmm13,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpunpcklqdq %xmm5,%xmm6,%xmm15
 vpunpckhqdq %xmm5,%xmm6,%xmm5
 vpaddq subc2(%rip),%xmm5,%xmm6
-psubq %xmm15,%xmm6
-paddq %xmm5,%xmm15
+vpsubq %xmm15,%xmm6,%xmm6
+vpaddq %xmm5,%xmm15,%xmm15
 vpunpckhqdq %xmm15,%xmm6,%xmm5
-punpcklqdq %xmm15,%xmm6
-movdqa %xmm6,48(%rsp)
-pmuludq v19_19(%rip),%xmm6
-movdqa %xmm6,64(%rsp)
-movdqa %xmm5,80(%rsp)
-pmuludq v38_38(%rip),%xmm5
-movdqa %xmm5,96(%rsp)
+vpunpcklqdq %xmm15,%xmm6,%xmm6
+vmovdqa %xmm6,48(%rsp)
+vpmuludq v19_19(%rip),%xmm6,%xmm6
+vmovdqa %xmm6,64(%rsp)
+vmovdqa %xmm5,80(%rsp)
+vpmuludq v38_38(%rip),%xmm5,%xmm5
+vmovdqa %xmm5,96(%rsp)
 vpmuludq 48(%rsp),%xmm10,%xmm5
 vpaddq %xmm0,%xmm0,%xmm6
 vpmuludq %xmm6,%xmm0,%xmm0
-paddq %xmm0,%xmm5
+vpaddq %xmm0,%xmm5,%xmm5
 vpmuludq 80(%rsp),%xmm10,%xmm0
 vpmuludq %xmm4,%xmm6,%xmm15
-paddq %xmm15,%xmm0
+vpaddq %xmm15,%xmm0,%xmm0
 vpmuludq %xmm6,%xmm13,%xmm15
-paddq %xmm15,%xmm1
+vpaddq %xmm15,%xmm1,%xmm1
 vpmuludq %xmm6,%xmm2,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpunpcklqdq %xmm7,%xmm8,%xmm15
 vpunpckhqdq %xmm7,%xmm8,%xmm7
 vpaddq subc2(%rip),%xmm7,%xmm8
-psubq %xmm15,%xmm8
-paddq %xmm7,%xmm15
+vpsubq %xmm15,%xmm8,%xmm8
+vpaddq %xmm7,%xmm15,%xmm15
 vpunpckhqdq %xmm15,%xmm8,%xmm7
-punpcklqdq %xmm15,%xmm8
-movdqa %xmm8,112(%rsp)
-pmuludq v19_19(%rip),%xmm8
-movdqa %xmm8,448(%rsp)
+vpunpcklqdq %xmm15,%xmm8,%xmm8
+vmovdqa %xmm8,112(%rsp)
+vpmuludq v19_19(%rip),%xmm8,%xmm8
+vmovdqa %xmm8,448(%rsp)
 vpmuludq 112(%rsp),%xmm10,%xmm8
 vpmuludq %xmm7,%xmm10,%xmm10
 vpmuludq v38_38(%rip),%xmm7,%xmm15
 vpmuludq %xmm15,%xmm7,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq %xmm15,%xmm13,%xmm7
-paddq %xmm7,%xmm3
+vpaddq %xmm7,%xmm3,%xmm3
 vpmuludq %xmm15,%xmm2,%xmm7
-paddq %xmm7,%xmm11
+vpaddq %xmm7,%xmm11,%xmm11
 vpmuludq 80(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm7,%xmm7
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq 16(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 48(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm0
+vpaddq %xmm7,%xmm0,%xmm0
 vpmuludq 112(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm10
+vpaddq %xmm7,%xmm10,%xmm10
 vpmuludq %xmm15,%xmm6,%xmm7
-paddq %xmm7,%xmm12
+vpaddq %xmm7,%xmm12,%xmm12
 vpmuludq %xmm15,%xmm4,%xmm7
-paddq %xmm7,%xmm9
+vpaddq %xmm7,%xmm9,%xmm9
 vpaddq %xmm2,%xmm2,%xmm2
 vpmuludq %xmm4,%xmm2,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 448(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm3
+vpaddq %xmm7,%xmm3,%xmm3
 vpmuludq 448(%rsp),%xmm6,%xmm7
-paddq %xmm7,%xmm11
+vpaddq %xmm7,%xmm11,%xmm11
 vpmuludq 0(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm0
+vpaddq %xmm7,%xmm0,%xmm0
 vpmuludq 48(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq 80(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 96(%rsp),%xmm4,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq %xmm4,%xmm4,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpaddq %xmm4,%xmm4,%xmm2
 vpmuludq 448(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm12
+vpaddq %xmm4,%xmm12,%xmm12
 vpmuludq 16(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq 48(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm14
+vpaddq %xmm4,%xmm14,%xmm14
 vpmuludq 96(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm3
-movdqa 16(%rsp),%xmm4
-pmuludq 448(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 448(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 16(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm8
+vpaddq %xmm4,%xmm8,%xmm8
 vpmuludq 48(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm10,%xmm10
 vpmuludq 80(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm4
-paddq %xmm4,%xmm5
+vpaddq %xmm4,%xmm4,%xmm4
+vpaddq %xmm4,%xmm5,%xmm5
 vpmuludq 112(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm0
-movdqa 48(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 448(%rsp),%xmm4
-paddq %xmm4,%xmm1
-movdqa 80(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 448(%rsp),%xmm4
-paddq %xmm4,%xmm14
+vpaddq %xmm4,%xmm0,%xmm0
+vmovdqa 48(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 448(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 80(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 448(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm14,%xmm14
 vpmuludq 64(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm3
-movdqa 16(%rsp),%xmm4
-pmuludq 64(%rsp),%xmm4
-paddq %xmm4,%xmm11
-movdqa 16(%rsp),%xmm4
-pmuludq 96(%rsp),%xmm4
-paddq %xmm4,%xmm12
-movdqa 48(%rsp),%xmm4
-pmuludq 96(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 64(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm11,%xmm11
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 96(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm12,%xmm12
+vmovdqa 48(%rsp),%xmm4
+vpmuludq 96(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 0(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm10
-movdqa 32(%rsp),%xmm2
-pmuludq 0(%rsp),%xmm2
-paddq %xmm2,%xmm3
-movdqa 64(%rsp),%xmm2
-pmuludq 48(%rsp),%xmm2
-paddq %xmm2,%xmm12
-movdqa 96(%rsp),%xmm2
-pmuludq 80(%rsp),%xmm2
-paddq %xmm2,%xmm1
-movdqa 448(%rsp),%xmm2
-pmuludq 112(%rsp),%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm10,%xmm10
+vmovdqa 32(%rsp),%xmm2
+vpmuludq 0(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm3,%xmm3
+vmovdqa 64(%rsp),%xmm2
+vpmuludq 48(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm12,%xmm12
+vmovdqa 96(%rsp),%xmm2
+vpmuludq 80(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm1,%xmm1
+vmovdqa 448(%rsp),%xmm2
+vpmuludq 112(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm5,%xmm5
 vpsrlq $26,%xmm3,%xmm2
-paddq %xmm2,%xmm11
-pand m26(%rip),%xmm3
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m26(%rip),%xmm3,%xmm3
 vpsrlq $25,%xmm14,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm14
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $25,%xmm11,%xmm2
-paddq %xmm2,%xmm12
-pand m25(%rip),%xmm11
+vpaddq %xmm2,%xmm12,%xmm12
+vpand m25(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm5,%xmm2
-paddq %xmm2,%xmm0
-pand m26(%rip),%xmm5
+vpaddq %xmm2,%xmm0,%xmm0
+vpand m26(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm12,%xmm2
-paddq %xmm2,%xmm9
-pand m26(%rip),%xmm12
+vpaddq %xmm2,%xmm9,%xmm9
+vpand m26(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm0,%xmm2
-paddq %xmm2,%xmm8
-pand m25(%rip),%xmm0
+vpaddq %xmm2,%xmm8,%xmm8
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm9,%xmm2
-paddq %xmm2,%xmm1
-pand m25(%rip),%xmm9
+vpaddq %xmm2,%xmm1,%xmm1
+vpand m25(%rip),%xmm9,%xmm9
 vpsrlq $26,%xmm8,%xmm2
-paddq %xmm2,%xmm10
-pand m26(%rip),%xmm8
+vpaddq %xmm2,%xmm10,%xmm10
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $25,%xmm10,%xmm2
 vpsllq $4,%xmm2,%xmm4
-paddq %xmm2,%xmm3
-psllq $1,%xmm2
-paddq %xmm2,%xmm4
-paddq %xmm4,%xmm3
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm3,%xmm3
+vpsllq $1,%xmm2,%xmm2
+vpaddq %xmm2,%xmm4,%xmm4
+vpaddq %xmm4,%xmm3,%xmm3
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm14,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm14
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $26,%xmm3,%xmm2
-paddq %xmm2,%xmm11
-pand m26(%rip),%xmm3
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m26(%rip),%xmm3,%xmm3
 vpunpckhqdq %xmm11,%xmm3,%xmm2
-movdqa %xmm2,0(%rsp)
-pshufd $0,%xmm3,%xmm2
-pshufd $0,%xmm11,%xmm3
+vmovdqa %xmm2,0(%rsp)
+vpshufd $0,%xmm3,%xmm2
+vpshufd $0,%xmm11,%xmm3
 vpmuludq 160(%rsp),%xmm2,%xmm4
 vpmuludq 432(%rsp),%xmm3,%xmm6
-paddq %xmm6,%xmm4
+vpaddq %xmm6,%xmm4,%xmm4
 vpmuludq 176(%rsp),%xmm2,%xmm6
 vpmuludq 304(%rsp),%xmm3,%xmm7
-paddq %xmm7,%xmm6
+vpaddq %xmm7,%xmm6,%xmm6
 vpmuludq 208(%rsp),%xmm2,%xmm7
 vpmuludq 336(%rsp),%xmm3,%xmm11
-paddq %xmm11,%xmm7
+vpaddq %xmm11,%xmm7,%xmm7
 vpmuludq 240(%rsp),%xmm2,%xmm11
 vpmuludq 368(%rsp),%xmm3,%xmm13
-paddq %xmm13,%xmm11
+vpaddq %xmm13,%xmm11,%xmm11
 vpmuludq 272(%rsp),%xmm2,%xmm2
 vpmuludq 400(%rsp),%xmm3,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpunpckhqdq %xmm9,%xmm12,%xmm3
-movdqa %xmm3,16(%rsp)
-pshufd $0,%xmm12,%xmm3
-pshufd $0,%xmm9,%xmm9
+vmovdqa %xmm3,16(%rsp)
+vpshufd $0,%xmm12,%xmm3
+vpshufd $0,%xmm9,%xmm9
 vpmuludq 288(%rsp),%xmm3,%xmm12
-paddq %xmm12,%xmm4
+vpaddq %xmm12,%xmm4,%xmm4
 vpmuludq 416(%rsp),%xmm9,%xmm12
-paddq %xmm12,%xmm4
+vpaddq %xmm12,%xmm4,%xmm4
 vpmuludq 160(%rsp),%xmm3,%xmm12
-paddq %xmm12,%xmm6
+vpaddq %xmm12,%xmm6,%xmm6
 vpmuludq 432(%rsp),%xmm9,%xmm12
-paddq %xmm12,%xmm6
+vpaddq %xmm12,%xmm6,%xmm6
 vpmuludq 176(%rsp),%xmm3,%xmm12
-paddq %xmm12,%xmm7
+vpaddq %xmm12,%xmm7,%xmm7
 vpmuludq 304(%rsp),%xmm9,%xmm12
-paddq %xmm12,%xmm7
+vpaddq %xmm12,%xmm7,%xmm7
 vpmuludq 208(%rsp),%xmm3,%xmm12
-paddq %xmm12,%xmm11
+vpaddq %xmm12,%xmm11,%xmm11
 vpmuludq 336(%rsp),%xmm9,%xmm12
-paddq %xmm12,%xmm11
+vpaddq %xmm12,%xmm11,%xmm11
 vpmuludq 240(%rsp),%xmm3,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 368(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpunpckhqdq %xmm14,%xmm1,%xmm3
-movdqa %xmm3,32(%rsp)
-pshufd $0,%xmm1,%xmm1
-pshufd $0,%xmm14,%xmm3
+vmovdqa %xmm3,32(%rsp)
+vpshufd $0,%xmm1,%xmm1
+vpshufd $0,%xmm14,%xmm3
 vpmuludq 256(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm4
+vpaddq %xmm9,%xmm4,%xmm4
 vpmuludq 384(%rsp),%xmm3,%xmm9
-paddq %xmm9,%xmm4
+vpaddq %xmm9,%xmm4,%xmm4
 vpmuludq 288(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm6
+vpaddq %xmm9,%xmm6,%xmm6
 vpmuludq 416(%rsp),%xmm3,%xmm9
-paddq %xmm9,%xmm6
+vpaddq %xmm9,%xmm6,%xmm6
 vpmuludq 160(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm7
+vpaddq %xmm9,%xmm7,%xmm7
 vpmuludq 432(%rsp),%xmm3,%xmm9
-paddq %xmm9,%xmm7
+vpaddq %xmm9,%xmm7,%xmm7
 vpmuludq 176(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm11
+vpaddq %xmm9,%xmm11,%xmm11
 vpmuludq 304(%rsp),%xmm3,%xmm9
-paddq %xmm9,%xmm11
+vpaddq %xmm9,%xmm11,%xmm11
 vpmuludq 208(%rsp),%xmm1,%xmm1
-paddq %xmm1,%xmm2
+vpaddq %xmm1,%xmm2,%xmm2
 vpmuludq 336(%rsp),%xmm3,%xmm1
-paddq %xmm1,%xmm2
+vpaddq %xmm1,%xmm2,%xmm2
 vpunpckhqdq %xmm0,%xmm5,%xmm1
-movdqa %xmm1,48(%rsp)
-pshufd $0,%xmm5,%xmm1
-pshufd $0,%xmm0,%xmm0
+vmovdqa %xmm1,48(%rsp)
+vpshufd $0,%xmm5,%xmm1
+vpshufd $0,%xmm0,%xmm0
 vpmuludq 224(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 352(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 256(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 384(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 288(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 416(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 160(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 432(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 176(%rsp),%xmm1,%xmm1
-paddq %xmm1,%xmm2
+vpaddq %xmm1,%xmm2,%xmm2
 vpmuludq 304(%rsp),%xmm0,%xmm0
-paddq %xmm0,%xmm2
+vpaddq %xmm0,%xmm2,%xmm2
 vpunpckhqdq %xmm10,%xmm8,%xmm0
-movdqa %xmm0,64(%rsp)
-pshufd $0,%xmm8,%xmm0
-pshufd $0,%xmm10,%xmm1
+vmovdqa %xmm0,64(%rsp)
+vpshufd $0,%xmm8,%xmm0
+vpshufd $0,%xmm10,%xmm1
 vpmuludq 192(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 320(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 224(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 352(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 256(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 384(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 288(%rsp),%xmm0,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 416(%rsp),%xmm1,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 160(%rsp),%xmm0,%xmm0
-paddq %xmm0,%xmm2
+vpaddq %xmm0,%xmm2,%xmm2
 vpmuludq 432(%rsp),%xmm1,%xmm0
-paddq %xmm0,%xmm2
-movdqa %xmm4,80(%rsp)
-movdqa %xmm6,96(%rsp)
-movdqa %xmm7,112(%rsp)
-movdqa %xmm11,448(%rsp)
-movdqa %xmm2,496(%rsp)
-movdqa 144(%rsp),%xmm0
+vpaddq %xmm0,%xmm2,%xmm2
+vmovdqa %xmm4,80(%rsp)
+vmovdqa %xmm6,96(%rsp)
+vmovdqa %xmm7,112(%rsp)
+vmovdqa %xmm11,448(%rsp)
+vmovdqa %xmm2,496(%rsp)
+vmovdqa 144(%rsp),%xmm0
 vpmuludq %xmm0,%xmm0,%xmm1
-paddq %xmm0,%xmm0
-movdqa 128(%rsp),%xmm2
+vpaddq %xmm0,%xmm0,%xmm0
+vmovdqa 128(%rsp),%xmm2
 vpmuludq %xmm2,%xmm0,%xmm3
-movdqa 480(%rsp),%xmm4
+vmovdqa 480(%rsp),%xmm4
 vpmuludq %xmm4,%xmm0,%xmm5
-movdqa 464(%rsp),%xmm6
+vmovdqa 464(%rsp),%xmm6
 vpmuludq %xmm6,%xmm0,%xmm7
-movdqa 528(%rsp),%xmm8
+vmovdqa 528(%rsp),%xmm8
 vpmuludq %xmm8,%xmm0,%xmm9
 vpmuludq 512(%rsp),%xmm0,%xmm10
 vpmuludq 592(%rsp),%xmm0,%xmm11
 vpmuludq 576(%rsp),%xmm0,%xmm12
 vpmuludq 624(%rsp),%xmm0,%xmm13
-movdqa 672(%rsp),%xmm14
+vmovdqa 672(%rsp),%xmm14
 vpmuludq %xmm14,%xmm0,%xmm0
 vpmuludq v38_38(%rip),%xmm14,%xmm15
 vpmuludq %xmm15,%xmm14,%xmm14
-paddq %xmm14,%xmm13
+vpaddq %xmm14,%xmm13,%xmm13
 vpaddq %xmm6,%xmm6,%xmm14
 vpmuludq %xmm14,%xmm6,%xmm6
-paddq %xmm6,%xmm11
+vpaddq %xmm6,%xmm11,%xmm11
 vpaddq %xmm2,%xmm2,%xmm6
 vpmuludq %xmm6,%xmm2,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq %xmm15,%xmm6,%xmm2
-paddq %xmm2,%xmm1
+vpaddq %xmm2,%xmm1,%xmm1
 vpmuludq %xmm15,%xmm4,%xmm2
-paddq %xmm2,%xmm3
+vpaddq %xmm2,%xmm3,%xmm3
 vpmuludq 544(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 592(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 640(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 624(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq %xmm4,%xmm6,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq %xmm14,%xmm6,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq %xmm8,%xmm6,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq %xmm15,%xmm14,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq %xmm15,%xmm8,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq %xmm4,%xmm4,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq %xmm14,%xmm4,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpaddq %xmm4,%xmm4,%xmm2
 vpmuludq %xmm8,%xmm2,%xmm4
-paddq %xmm4,%xmm11
+vpaddq %xmm4,%xmm11,%xmm11
 vpmuludq 688(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq 688(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm3
+vpaddq %xmm4,%xmm3,%xmm3
 vpmuludq 512(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm12
+vpaddq %xmm4,%xmm12,%xmm12
 vpmuludq 592(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm13
+vpaddq %xmm4,%xmm13,%xmm13
 vpmuludq 576(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq 656(%rsp),%xmm8,%xmm2
-paddq %xmm2,%xmm3
+vpaddq %xmm2,%xmm3,%xmm3
 vpmuludq %xmm8,%xmm14,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq %xmm8,%xmm8,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpaddq %xmm8,%xmm8,%xmm2
 vpmuludq 688(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm5
+vpaddq %xmm4,%xmm5,%xmm5
 vpmuludq 544(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 592(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm10,%xmm10
 vpmuludq 656(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm1
-movdqa 544(%rsp),%xmm4
-pmuludq 688(%rsp),%xmm4
-paddq %xmm4,%xmm7
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 544(%rsp),%xmm4
+vpmuludq 688(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm7,%xmm7
 vpmuludq 544(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm13
+vpaddq %xmm4,%xmm13,%xmm13
 vpmuludq 592(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm0
+vpaddq %xmm4,%xmm0,%xmm0
 vpmuludq 640(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm11
+vpaddq %xmm4,%xmm11,%xmm11
 vpmuludq 624(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm12
-movdqa 592(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 688(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm12,%xmm12
+vmovdqa 592(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 688(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 608(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm1
-movdqa 544(%rsp),%xmm4
-pmuludq 608(%rsp),%xmm4
-paddq %xmm4,%xmm3
-movdqa 544(%rsp),%xmm4
-pmuludq 656(%rsp),%xmm4
-paddq %xmm4,%xmm5
-movdqa 592(%rsp),%xmm4
-pmuludq 656(%rsp),%xmm4
-paddq %xmm4,%xmm7
-movdqa 640(%rsp),%xmm4
-pmuludq 688(%rsp),%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 544(%rsp),%xmm4
+vpmuludq 608(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 544(%rsp),%xmm4
+vpmuludq 656(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm5,%xmm5
+vmovdqa 592(%rsp),%xmm4
+vpmuludq 656(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm7,%xmm7
+vmovdqa 640(%rsp),%xmm4
+vpmuludq 688(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm10,%xmm10
+vpmuludq 512(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm0,%xmm0
+vmovdqa 560(%rsp),%xmm2
 vpmuludq 512(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm0
-movdqa 560(%rsp),%xmm2
-pmuludq 512(%rsp),%xmm2
-paddq %xmm2,%xmm1
-movdqa 608(%rsp),%xmm2
-pmuludq 592(%rsp),%xmm2
-paddq %xmm2,%xmm5
-movdqa 656(%rsp),%xmm2
-pmuludq 576(%rsp),%xmm2
-paddq %xmm2,%xmm9
-movdqa 688(%rsp),%xmm2
-pmuludq 624(%rsp),%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm1,%xmm1
+vmovdqa 608(%rsp),%xmm2
+vpmuludq 592(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm5,%xmm5
+vmovdqa 656(%rsp),%xmm2
+vpmuludq 576(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm9,%xmm9
+vmovdqa 688(%rsp),%xmm2
+vpmuludq 624(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm11,%xmm11
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm3
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm3,%xmm3
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $25,%xmm10,%xmm2
-paddq %xmm2,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm3,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm3
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm3,%xmm3
 vpsrlq $26,%xmm11,%xmm2
-paddq %xmm2,%xmm12
-pand m26(%rip),%xmm11
+vpaddq %xmm2,%xmm12,%xmm12
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm5,%xmm2
-paddq %xmm2,%xmm7
-pand m26(%rip),%xmm5
+vpaddq %xmm2,%xmm7,%xmm7
+vpand m26(%rip),%xmm5,%xmm5
 vpsrlq $25,%xmm12,%xmm2
-paddq %xmm2,%xmm13
-pand m25(%rip),%xmm12
+vpaddq %xmm2,%xmm13,%xmm13
+vpand m25(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm7,%xmm2
-paddq %xmm2,%xmm9
-pand m25(%rip),%xmm7
+vpaddq %xmm2,%xmm9,%xmm9
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $26,%xmm13,%xmm2
-paddq %xmm2,%xmm0
-pand m26(%rip),%xmm13
+vpaddq %xmm2,%xmm0,%xmm0
+vpand m26(%rip),%xmm13,%xmm13
 vpsrlq $26,%xmm9,%xmm2
-paddq %xmm2,%xmm10
-pand m26(%rip),%xmm9
+vpaddq %xmm2,%xmm10,%xmm10
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $25,%xmm0,%xmm2
 vpsllq $4,%xmm2,%xmm4
-paddq %xmm2,%xmm1
-psllq $1,%xmm2
-paddq %xmm2,%xmm4
-paddq %xmm4,%xmm1
-pand m25(%rip),%xmm0
+vpaddq %xmm2,%xmm1,%xmm1
+vpsllq $1,%xmm2,%xmm2
+vpaddq %xmm2,%xmm4,%xmm4
+vpaddq %xmm4,%xmm1,%xmm1
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm10,%xmm2
-paddq %xmm2,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm3
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm3,%xmm3
+vpand m26(%rip),%xmm1,%xmm1
 vpunpckhqdq %xmm3,%xmm1,%xmm2
 vpunpcklqdq %xmm3,%xmm1,%xmm1
-movdqa %xmm1,464(%rsp)
+vmovdqa %xmm1,464(%rsp)
 vpaddq subc0(%rip),%xmm2,%xmm3
-psubq %xmm1,%xmm3
+vpsubq %xmm1,%xmm3,%xmm3
 vpunpckhqdq %xmm3,%xmm2,%xmm1
 vpunpcklqdq %xmm3,%xmm2,%xmm2
-movdqa %xmm2,480(%rsp)
-movdqa %xmm1,512(%rsp)
-psllq $1,%xmm1
-movdqa %xmm1,528(%rsp)
-pmuludq v121666_121666(%rip),%xmm3
-movdqa 80(%rsp),%xmm1
+vmovdqa %xmm2,480(%rsp)
+vmovdqa %xmm1,512(%rsp)
+vpsllq $1,%xmm1,%xmm1
+vmovdqa %xmm1,528(%rsp)
+vpmuludq v121666_121666(%rip),%xmm3,%xmm3
+vmovdqa 80(%rsp),%xmm1
 vpunpcklqdq %xmm1,%xmm3,%xmm2
 vpunpckhqdq %xmm1,%xmm3,%xmm1
 vpunpckhqdq %xmm7,%xmm5,%xmm3
 vpunpcklqdq %xmm7,%xmm5,%xmm4
-movdqa %xmm4,544(%rsp)
+vmovdqa %xmm4,544(%rsp)
 vpaddq subc2(%rip),%xmm3,%xmm5
-psubq %xmm4,%xmm5
+vpsubq %xmm4,%xmm5,%xmm5
 vpunpckhqdq %xmm5,%xmm3,%xmm4
 vpunpcklqdq %xmm5,%xmm3,%xmm3
-movdqa %xmm3,560(%rsp)
-movdqa %xmm4,576(%rsp)
-psllq $1,%xmm4
-movdqa %xmm4,592(%rsp)
-pmuludq v121666_121666(%rip),%xmm5
-movdqa 96(%rsp),%xmm3
+vmovdqa %xmm3,560(%rsp)
+vmovdqa %xmm4,576(%rsp)
+vpsllq $1,%xmm4,%xmm4
+vmovdqa %xmm4,592(%rsp)
+vpmuludq v121666_121666(%rip),%xmm5,%xmm5
+vmovdqa 96(%rsp),%xmm3
 vpunpcklqdq %xmm3,%xmm5,%xmm4
 vpunpckhqdq %xmm3,%xmm5,%xmm3
 vpunpckhqdq %xmm10,%xmm9,%xmm5
 vpunpcklqdq %xmm10,%xmm9,%xmm6
-movdqa %xmm6,608(%rsp)
+vmovdqa %xmm6,608(%rsp)
 vpaddq subc2(%rip),%xmm5,%xmm7
-psubq %xmm6,%xmm7
+vpsubq %xmm6,%xmm7,%xmm7
 vpunpckhqdq %xmm7,%xmm5,%xmm6
 vpunpcklqdq %xmm7,%xmm5,%xmm5
-movdqa %xmm5,624(%rsp)
-movdqa %xmm6,640(%rsp)
-psllq $1,%xmm6
-movdqa %xmm6,656(%rsp)
-pmuludq v121666_121666(%rip),%xmm7
-movdqa 112(%rsp),%xmm5
+vmovdqa %xmm5,624(%rsp)
+vmovdqa %xmm6,640(%rsp)
+vpsllq $1,%xmm6,%xmm6
+vmovdqa %xmm6,656(%rsp)
+vpmuludq v121666_121666(%rip),%xmm7,%xmm7
+vmovdqa 112(%rsp),%xmm5
 vpunpcklqdq %xmm5,%xmm7,%xmm6
 vpunpckhqdq %xmm5,%xmm7,%xmm5
 vpunpckhqdq %xmm12,%xmm11,%xmm7
 vpunpcklqdq %xmm12,%xmm11,%xmm8
-movdqa %xmm8,672(%rsp)
+vmovdqa %xmm8,672(%rsp)
 vpaddq subc2(%rip),%xmm7,%xmm9
-psubq %xmm8,%xmm9
+vpsubq %xmm8,%xmm9,%xmm9
 vpunpckhqdq %xmm9,%xmm7,%xmm8
 vpunpcklqdq %xmm9,%xmm7,%xmm7
-movdqa %xmm7,688(%rsp)
-movdqa %xmm8,704(%rsp)
-psllq $1,%xmm8
-movdqa %xmm8,720(%rsp)
-pmuludq v121666_121666(%rip),%xmm9
-movdqa 448(%rsp),%xmm7
+vmovdqa %xmm7,688(%rsp)
+vmovdqa %xmm8,704(%rsp)
+vpsllq $1,%xmm8,%xmm8
+vmovdqa %xmm8,720(%rsp)
+vpmuludq v121666_121666(%rip),%xmm9,%xmm9
+vmovdqa 448(%rsp),%xmm7
 vpunpcklqdq %xmm7,%xmm9,%xmm8
 vpunpckhqdq %xmm7,%xmm9,%xmm7
 vpunpckhqdq %xmm0,%xmm13,%xmm9
 vpunpcklqdq %xmm0,%xmm13,%xmm0
-movdqa %xmm0,448(%rsp)
+vmovdqa %xmm0,448(%rsp)
 vpaddq subc2(%rip),%xmm9,%xmm10
-psubq %xmm0,%xmm10
+vpsubq %xmm0,%xmm10,%xmm10
 vpunpckhqdq %xmm10,%xmm9,%xmm0
 vpunpcklqdq %xmm10,%xmm9,%xmm9
-movdqa %xmm9,736(%rsp)
-movdqa %xmm0,752(%rsp)
-psllq $1,%xmm0
-movdqa %xmm0,768(%rsp)
-pmuludq v121666_121666(%rip),%xmm10
-movdqa 496(%rsp),%xmm0
+vmovdqa %xmm9,736(%rsp)
+vmovdqa %xmm0,752(%rsp)
+vpsllq $1,%xmm0,%xmm0
+vmovdqa %xmm0,768(%rsp)
+vpmuludq v121666_121666(%rip),%xmm10,%xmm10
+vmovdqa 496(%rsp),%xmm0
 vpunpcklqdq %xmm0,%xmm10,%xmm9
 vpunpckhqdq %xmm0,%xmm10,%xmm0
 vpsrlq $26,%xmm2,%xmm10
-paddq %xmm10,%xmm1
-pand m26(%rip),%xmm2
+vpaddq %xmm10,%xmm1,%xmm1
+vpand m26(%rip),%xmm2,%xmm2
 vpsrlq $25,%xmm5,%xmm10
-paddq %xmm10,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm10,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $25,%xmm1,%xmm10
-paddq %xmm10,%xmm4
-pand m25(%rip),%xmm1
+vpaddq %xmm10,%xmm4,%xmm4
+vpand m25(%rip),%xmm1,%xmm1
 vpsrlq $26,%xmm8,%xmm10
-paddq %xmm10,%xmm7
-pand m26(%rip),%xmm8
+vpaddq %xmm10,%xmm7,%xmm7
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm4,%xmm10
-paddq %xmm10,%xmm3
-pand m26(%rip),%xmm4
+vpaddq %xmm10,%xmm3,%xmm3
+vpand m26(%rip),%xmm4,%xmm4
 vpsrlq $25,%xmm7,%xmm10
-paddq %xmm10,%xmm9
-pand m25(%rip),%xmm7
+vpaddq %xmm10,%xmm9,%xmm9
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $25,%xmm3,%xmm10
-paddq %xmm10,%xmm6
-pand m25(%rip),%xmm3
+vpaddq %xmm10,%xmm6,%xmm6
+vpand m25(%rip),%xmm3,%xmm3
 vpsrlq $26,%xmm9,%xmm10
-paddq %xmm10,%xmm0
-pand m26(%rip),%xmm9
+vpaddq %xmm10,%xmm0,%xmm0
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $26,%xmm6,%xmm10
-paddq %xmm10,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm10,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm0,%xmm10
 vpsllq $4,%xmm10,%xmm11
-paddq %xmm10,%xmm2
-psllq $1,%xmm10
-paddq %xmm10,%xmm11
-paddq %xmm11,%xmm2
-pand m25(%rip),%xmm0
+vpaddq %xmm10,%xmm2,%xmm2
+vpsllq $1,%xmm10,%xmm10
+vpaddq %xmm10,%xmm11,%xmm11
+vpaddq %xmm11,%xmm2,%xmm2
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm5,%xmm10
-paddq %xmm10,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm10,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm2,%xmm10
-paddq %xmm10,%xmm1
-pand m26(%rip),%xmm2
+vpaddq %xmm10,%xmm1,%xmm1
+vpand m26(%rip),%xmm2,%xmm2
 vpunpckhqdq %xmm1,%xmm2,%xmm10
-movdqa %xmm10,80(%rsp)
+vmovdqa %xmm10,80(%rsp)
 vpunpcklqdq %xmm1,%xmm2,%xmm1
 vpunpckhqdq %xmm3,%xmm4,%xmm2
-movdqa %xmm2,96(%rsp)
+vmovdqa %xmm2,96(%rsp)
 vpunpcklqdq %xmm3,%xmm4,%xmm2
 vpunpckhqdq %xmm5,%xmm6,%xmm3
-movdqa %xmm3,112(%rsp)
+vmovdqa %xmm3,112(%rsp)
 vpunpcklqdq %xmm5,%xmm6,%xmm3
 vpunpckhqdq %xmm7,%xmm8,%xmm4
-movdqa %xmm4,128(%rsp)
+vmovdqa %xmm4,128(%rsp)
 vpunpcklqdq %xmm7,%xmm8,%xmm4
 vpunpckhqdq %xmm0,%xmm9,%xmm5
-movdqa %xmm5,144(%rsp)
+vmovdqa %xmm5,144(%rsp)
 vpunpcklqdq %xmm0,%xmm9,%xmm0
-movdqa 464(%rsp),%xmm5
-paddq %xmm5,%xmm1
+vmovdqa 464(%rsp),%xmm5
+vpaddq %xmm5,%xmm1,%xmm1
 vpunpcklqdq %xmm1,%xmm5,%xmm6
 vpunpckhqdq %xmm1,%xmm5,%xmm1
 vpmuludq 512(%rsp),%xmm6,%xmm5
 vpmuludq 480(%rsp),%xmm1,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 560(%rsp),%xmm6,%xmm7
 vpmuludq 528(%rsp),%xmm1,%xmm8
-paddq %xmm8,%xmm7
+vpaddq %xmm8,%xmm7,%xmm7
 vpmuludq 576(%rsp),%xmm6,%xmm8
 vpmuludq 560(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm8
+vpaddq %xmm9,%xmm8,%xmm8
 vpmuludq 624(%rsp),%xmm6,%xmm9
 vpmuludq 592(%rsp),%xmm1,%xmm10
-paddq %xmm10,%xmm9
+vpaddq %xmm10,%xmm9,%xmm9
 vpmuludq 640(%rsp),%xmm6,%xmm10
 vpmuludq 624(%rsp),%xmm1,%xmm11
-paddq %xmm11,%xmm10
+vpaddq %xmm11,%xmm10,%xmm10
 vpmuludq 688(%rsp),%xmm6,%xmm11
 vpmuludq 656(%rsp),%xmm1,%xmm12
-paddq %xmm12,%xmm11
+vpaddq %xmm12,%xmm11,%xmm11
 vpmuludq 704(%rsp),%xmm6,%xmm12
 vpmuludq 688(%rsp),%xmm1,%xmm13
-paddq %xmm13,%xmm12
+vpaddq %xmm13,%xmm12,%xmm12
 vpmuludq 736(%rsp),%xmm6,%xmm13
 vpmuludq 720(%rsp),%xmm1,%xmm14
-paddq %xmm14,%xmm13
+vpaddq %xmm14,%xmm13,%xmm13
 vpmuludq 752(%rsp),%xmm6,%xmm14
 vpmuludq 736(%rsp),%xmm1,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpmuludq 480(%rsp),%xmm6,%xmm6
-pmuludq v19_19(%rip),%xmm1
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 768(%rsp),%xmm1,%xmm1
-paddq %xmm1,%xmm6
-movdqa 544(%rsp),%xmm1
-paddq %xmm1,%xmm2
+vpaddq %xmm1,%xmm6,%xmm6
+vmovdqa 544(%rsp),%xmm1
+vpaddq %xmm1,%xmm2,%xmm2
 vpunpcklqdq %xmm2,%xmm1,%xmm15
 vpunpckhqdq %xmm2,%xmm1,%xmm1
 vpmuludq 480(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 512(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 560(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 576(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 624(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 640(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 688(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 704(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm15
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm15,%xmm15
 vpmuludq 736(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm6
-pmuludq 752(%rsp),%xmm15
-paddq %xmm15,%xmm5
+vpaddq %xmm2,%xmm6,%xmm6
+vpmuludq 752(%rsp),%xmm15,%xmm15
+vpaddq %xmm15,%xmm5,%xmm5
 vpmuludq 480(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 528(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 560(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 592(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 624(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 656(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 688(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 720(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 736(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
-pmuludq 768(%rsp),%xmm1
-paddq %xmm1,%xmm7
-movdqa 608(%rsp),%xmm1
-paddq %xmm1,%xmm3
+vpaddq %xmm2,%xmm5,%xmm5
+vpmuludq 768(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm7,%xmm7
+vmovdqa 608(%rsp),%xmm1
+vpaddq %xmm1,%xmm3,%xmm3
 vpunpcklqdq %xmm3,%xmm1,%xmm2
 vpunpckhqdq %xmm3,%xmm1,%xmm1
 vpmuludq 480(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm9
+vpaddq %xmm3,%xmm9,%xmm9
 vpmuludq 512(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm10
+vpaddq %xmm3,%xmm10,%xmm10
 vpmuludq 560(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 576(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm12
+vpaddq %xmm3,%xmm12,%xmm12
 vpmuludq 624(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 640(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm3,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 688(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 704(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 736(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm7
-pmuludq 752(%rsp),%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq 752(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 480(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 528(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 560(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 592(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 624(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 656(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 688(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq 720(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 736(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
-pmuludq 768(%rsp),%xmm1
-paddq %xmm1,%xmm9
-movdqa 672(%rsp),%xmm1
-paddq %xmm1,%xmm4
+vpaddq %xmm2,%xmm8,%xmm8
+vpmuludq 768(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm9,%xmm9
+vmovdqa 672(%rsp),%xmm1
+vpaddq %xmm1,%xmm4,%xmm4
 vpunpcklqdq %xmm4,%xmm1,%xmm2
 vpunpckhqdq %xmm4,%xmm1,%xmm1
 vpmuludq 480(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 512(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm12
+vpaddq %xmm3,%xmm12,%xmm12
 vpmuludq 560(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 576(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm3,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 624(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 640(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 688(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 704(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 736(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm9
-pmuludq 752(%rsp),%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm3,%xmm9,%xmm9
+vpmuludq 752(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 480(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 528(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 560(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 592(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 624(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq 656(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 688(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 720(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 736(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
-pmuludq 768(%rsp),%xmm1
-paddq %xmm1,%xmm11
-movdqa 448(%rsp),%xmm1
-paddq %xmm1,%xmm0
+vpaddq %xmm2,%xmm10,%xmm10
+vpmuludq 768(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm11,%xmm11
+vmovdqa 448(%rsp),%xmm1
+vpaddq %xmm1,%xmm0,%xmm0
 vpunpcklqdq %xmm0,%xmm1,%xmm2
 vpunpckhqdq %xmm0,%xmm1,%xmm0
 vpmuludq 480(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm13
+vpaddq %xmm1,%xmm13,%xmm13
 vpmuludq 512(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm1,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 560(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm6
+vpaddq %xmm1,%xmm6,%xmm6
 vpmuludq 576(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm5
+vpaddq %xmm1,%xmm5,%xmm5
 vpmuludq 624(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm7
+vpaddq %xmm1,%xmm7,%xmm7
 vpmuludq 640(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm8
+vpaddq %xmm1,%xmm8,%xmm8
 vpmuludq 688(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm9
+vpaddq %xmm1,%xmm9,%xmm9
 vpmuludq 704(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm10
+vpaddq %xmm1,%xmm10,%xmm10
 vpmuludq 736(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm11
-pmuludq 752(%rsp),%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm1,%xmm11,%xmm11
+vpmuludq 752(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 480(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm14
-pmuludq v19_19(%rip),%xmm0
+vpaddq %xmm1,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm0,%xmm0
 vpmuludq 528(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm6
+vpaddq %xmm1,%xmm6,%xmm6
 vpmuludq 560(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm5
+vpaddq %xmm1,%xmm5,%xmm5
 vpmuludq 592(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm7
+vpaddq %xmm1,%xmm7,%xmm7
 vpmuludq 624(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm8
+vpaddq %xmm1,%xmm8,%xmm8
 vpmuludq 656(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm9
+vpaddq %xmm1,%xmm9,%xmm9
 vpmuludq 688(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm10
+vpaddq %xmm1,%xmm10,%xmm10
 vpmuludq 720(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm11
+vpaddq %xmm1,%xmm11,%xmm11
 vpmuludq 736(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm12
-pmuludq 768(%rsp),%xmm0
-paddq %xmm0,%xmm13
+vpaddq %xmm1,%xmm12,%xmm12
+vpmuludq 768(%rsp),%xmm0,%xmm0
+vpaddq %xmm0,%xmm13,%xmm13
 vpsrlq $26,%xmm6,%xmm0
-paddq %xmm0,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm0,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm10,%xmm0
-paddq %xmm0,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm0,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm5,%xmm0
-paddq %xmm0,%xmm7
-pand m25(%rip),%xmm5
+vpaddq %xmm0,%xmm7,%xmm7
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm11,%xmm0
-paddq %xmm0,%xmm12
-pand m26(%rip),%xmm11
+vpaddq %xmm0,%xmm12,%xmm12
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm7,%xmm0
-paddq %xmm0,%xmm8
-pand m26(%rip),%xmm7
+vpaddq %xmm0,%xmm8,%xmm8
+vpand m26(%rip),%xmm7,%xmm7
 vpsrlq $25,%xmm12,%xmm0
-paddq %xmm0,%xmm13
-pand m25(%rip),%xmm12
+vpaddq %xmm0,%xmm13,%xmm13
+vpand m25(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm8,%xmm0
-paddq %xmm0,%xmm9
-pand m25(%rip),%xmm8
+vpaddq %xmm0,%xmm9,%xmm9
+vpand m25(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm13,%xmm0
-paddq %xmm0,%xmm14
-pand m26(%rip),%xmm13
+vpaddq %xmm0,%xmm14,%xmm14
+vpand m26(%rip),%xmm13,%xmm13
 vpsrlq $26,%xmm9,%xmm0
-paddq %xmm0,%xmm10
-pand m26(%rip),%xmm9
+vpaddq %xmm0,%xmm10,%xmm10
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $25,%xmm14,%xmm0
 vpsllq $4,%xmm0,%xmm1
-paddq %xmm0,%xmm6
-psllq $1,%xmm0
-paddq %xmm0,%xmm1
-paddq %xmm1,%xmm6
-pand m25(%rip),%xmm14
+vpaddq %xmm0,%xmm6,%xmm6
+vpsllq $1,%xmm0,%xmm0
+vpaddq %xmm0,%xmm1,%xmm1
+vpaddq %xmm1,%xmm6,%xmm6
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $25,%xmm10,%xmm0
-paddq %xmm0,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm0,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $26,%xmm6,%xmm0
-paddq %xmm0,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm0,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpunpckhqdq %xmm5,%xmm6,%xmm1
 vpunpcklqdq %xmm5,%xmm6,%xmm0
 vpunpckhqdq %xmm8,%xmm7,%xmm3
@@ -1402,17 +1408,17 @@ vpunpcklqdq %xmm12,%xmm11,%xmm6
 vpunpckhqdq %xmm14,%xmm13,%xmm9
 vpunpcklqdq %xmm14,%xmm13,%xmm8
 cmp  $0,%rdx
-jne ._loop_ladder
-movdqu   %xmm1,160(%rdi)
-movdqu   %xmm0,80(%rdi)
-movdqu   %xmm3,176(%rdi)
-movdqu   %xmm2,96(%rdi)
-movdqu   %xmm5,192(%rdi)
-movdqu   %xmm4,112(%rdi)
-movdqu   %xmm7,208(%rdi)
-movdqu   %xmm6,128(%rdi)
-movdqu   %xmm9,224(%rdi)
-movdqu   %xmm8,144(%rdi)
+jne ._ladder_loop
+vmovdqu %xmm1,160(%rdi)
+vmovdqu %xmm0,80(%rdi)
+vmovdqu %xmm3,176(%rdi)
+vmovdqu %xmm2,96(%rdi)
+vmovdqu %xmm5,192(%rdi)
+vmovdqu %xmm4,112(%rdi)
+vmovdqu %xmm7,208(%rdi)
+vmovdqu %xmm6,128(%rdi)
+vmovdqu %xmm9,224(%rdi)
+vmovdqu %xmm8,144(%rdi)
 movq 1824(%rsp),%r11
 movq 1832(%rsp),%r12
 movq 1840(%rsp),%r13
@@ -1431,29 +1437,29 @@ sub %r11,%rsp
 movq %r11,1536(%rsp)
 movq %r12,1544(%rsp)
 movq %r13,1552(%rsp)
-movdqa v0_0(%rip),%xmm0
-movdqa v1_0(%rip),%xmm1
-movdqa v9_0(%rip),%xmm2
-movdqa %xmm2,0(%rsp)
-movdqa %xmm0,16(%rsp)
-movdqa %xmm0,32(%rsp)
-movdqa %xmm0,48(%rsp)
-movdqa %xmm0,64(%rsp)
-movdqa %xmm1,80(%rsp)
-movdqa %xmm0,96(%rsp)
-movdqa %xmm0,112(%rsp)
-movdqa %xmm0,128(%rsp)
-movdqa %xmm0,144(%rsp)
-movdqa %xmm1,%xmm0
-pxor %xmm1,%xmm1
-pxor %xmm2,%xmm2
-pxor %xmm3,%xmm3
-pxor %xmm4,%xmm4
-pxor %xmm5,%xmm5
-pxor %xmm6,%xmm6
-pxor %xmm7,%xmm7
-pxor %xmm8,%xmm8
-pxor %xmm9,%xmm9
+vmovdqa v0_0(%rip),%xmm0
+vmovdqa v1_0(%rip),%xmm1
+vmovdqa v9_0(%rip),%xmm2
+vmovdqa %xmm2,0(%rsp)
+vmovdqa %xmm0,16(%rsp)
+vmovdqa %xmm0,32(%rsp)
+vmovdqa %xmm0,48(%rsp)
+vmovdqa %xmm0,64(%rsp)
+vmovdqa %xmm1,80(%rsp)
+vmovdqa %xmm0,96(%rsp)
+vmovdqa %xmm0,112(%rsp)
+vmovdqa %xmm0,128(%rsp)
+vmovdqa %xmm0,144(%rsp)
+vmovdqa %xmm1,%xmm0
+vpxor %xmm1,%xmm1,%xmm1
+vpxor %xmm2,%xmm2,%xmm2
+vpxor %xmm3,%xmm3,%xmm3
+vpxor %xmm4,%xmm4,%xmm4
+vpxor %xmm5,%xmm5,%xmm5
+vpxor %xmm6,%xmm6,%xmm6
+vpxor %xmm7,%xmm7,%xmm7
+vpxor %xmm8,%xmm8,%xmm8
+vpxor %xmm9,%xmm9,%xmm9
 movq   0(%rsi),%rdx
 movq   8(%rsi),%rcx
 movq   16(%rsi),%r8
@@ -1468,6 +1474,8 @@ xorq 16(%rsi),%r8
 xorq 24(%rsi),%r9
 leaq 512(%rsp),%rsi
 mov  $64,%rax
+
+.p2align 4
 ._ladder_base_small_loop:
 mov  %rdx,%r10
 mov  %rcx,%r11
@@ -1494,1179 +1502,1181 @@ sub  $1,%rax
 jne ._ladder_base_small_loop
 mov  $255,%rdx
 add  $760,%rsi
+
+.p2align 4
 ._ladder_base_loop:
 sub  $1,%rdx
 vbroadcastss 0(%rsi),%xmm10
 sub  $4,%rsi
-movdqa 0(%rsp),%xmm11
-movdqa 80(%rsp),%xmm12
+vmovdqa 0(%rsp),%xmm11
+vmovdqa 80(%rsp),%xmm12
 vpxor %xmm11,%xmm0,%xmm13
-pand %xmm10,%xmm13
-pxor %xmm13,%xmm0
-pxor %xmm13,%xmm11
+vpand %xmm10,%xmm13,%xmm13
+vpxor %xmm13,%xmm0,%xmm0
+vpxor %xmm13,%xmm11,%xmm11
 vpxor %xmm12,%xmm1,%xmm13
-pand %xmm10,%xmm13
-pxor %xmm13,%xmm1
-pxor %xmm13,%xmm12
-movdqa 16(%rsp),%xmm13
-movdqa 96(%rsp),%xmm14
+vpand %xmm10,%xmm13,%xmm13
+vpxor %xmm13,%xmm1,%xmm1
+vpxor %xmm13,%xmm12,%xmm12
+vmovdqa 16(%rsp),%xmm13
+vmovdqa 96(%rsp),%xmm14
 vpxor %xmm13,%xmm2,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm2
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm2,%xmm2
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm3,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm3
-pxor %xmm15,%xmm14
-movdqa %xmm13,0(%rsp)
-movdqa %xmm14,16(%rsp)
-movdqa 32(%rsp),%xmm13
-movdqa 112(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm3,%xmm3
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,0(%rsp)
+vmovdqa %xmm14,16(%rsp)
+vmovdqa 32(%rsp),%xmm13
+vmovdqa 112(%rsp),%xmm14
 vpxor %xmm13,%xmm4,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm4
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm4,%xmm4
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm5,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm5
-pxor %xmm15,%xmm14
-movdqa %xmm13,32(%rsp)
-movdqa %xmm14,80(%rsp)
-movdqa 48(%rsp),%xmm13
-movdqa 128(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm5,%xmm5
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,32(%rsp)
+vmovdqa %xmm14,80(%rsp)
+vmovdqa 48(%rsp),%xmm13
+vmovdqa 128(%rsp),%xmm14
 vpxor %xmm13,%xmm6,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm6
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm6,%xmm6
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm7,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm7
-pxor %xmm15,%xmm14
-movdqa %xmm13,48(%rsp)
-movdqa %xmm14,96(%rsp)
-movdqa 64(%rsp),%xmm13
-movdqa 144(%rsp),%xmm14
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm7,%xmm7
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,48(%rsp)
+vmovdqa %xmm14,96(%rsp)
+vmovdqa 64(%rsp),%xmm13
+vmovdqa 144(%rsp),%xmm14
 vpxor %xmm13,%xmm8,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm8
-pxor %xmm15,%xmm13
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm8,%xmm8
+vpxor %xmm15,%xmm13,%xmm13
 vpxor %xmm14,%xmm9,%xmm15
-pand %xmm10,%xmm15
-pxor %xmm15,%xmm9
-pxor %xmm15,%xmm14
-movdqa %xmm13,64(%rsp)
-movdqa %xmm14,112(%rsp)
+vpand %xmm10,%xmm15,%xmm15
+vpxor %xmm15,%xmm9,%xmm9
+vpxor %xmm15,%xmm14,%xmm14
+vmovdqa %xmm13,64(%rsp)
+vmovdqa %xmm14,112(%rsp)
 vpaddq subc0(%rip),%xmm11,%xmm10
-psubq %xmm12,%xmm10
-paddq %xmm12,%xmm11
+vpsubq %xmm12,%xmm10,%xmm10
+vpaddq %xmm12,%xmm11,%xmm11
 vpunpckhqdq %xmm10,%xmm11,%xmm12
 vpunpcklqdq %xmm10,%xmm11,%xmm10
 vpaddq %xmm1,%xmm0,%xmm11
-paddq subc0(%rip),%xmm0
-psubq %xmm1,%xmm0
+vpaddq subc0(%rip),%xmm0,%xmm0
+vpsubq %xmm1,%xmm0,%xmm0
 vpunpckhqdq %xmm11,%xmm0,%xmm1
 vpunpcklqdq %xmm11,%xmm0,%xmm0
 vpmuludq %xmm0,%xmm10,%xmm11
 vpmuludq %xmm1,%xmm10,%xmm13
-movdqa %xmm1,128(%rsp)
-paddq %xmm1,%xmm1
+vmovdqa %xmm1,128(%rsp)
+vpaddq %xmm1,%xmm1,%xmm1
 vpmuludq %xmm0,%xmm12,%xmm14
-movdqa %xmm0,144(%rsp)
-paddq %xmm14,%xmm13
+vmovdqa %xmm0,144(%rsp)
+vpaddq %xmm14,%xmm13,%xmm13
 vpmuludq %xmm1,%xmm12,%xmm0
-movdqa %xmm1,160(%rsp)
+vmovdqa %xmm1,160(%rsp)
 vpaddq %xmm3,%xmm2,%xmm1
-paddq subc2(%rip),%xmm2
-psubq %xmm3,%xmm2
+vpaddq subc2(%rip),%xmm2,%xmm2
+vpsubq %xmm3,%xmm2,%xmm2
 vpunpckhqdq %xmm1,%xmm2,%xmm3
 vpunpcklqdq %xmm1,%xmm2,%xmm1
 vpmuludq %xmm1,%xmm10,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq %xmm3,%xmm10,%xmm2
-movdqa %xmm3,176(%rsp)
-paddq %xmm3,%xmm3
+vmovdqa %xmm3,176(%rsp)
+vpaddq %xmm3,%xmm3,%xmm3
 vpmuludq %xmm1,%xmm12,%xmm14
-movdqa %xmm1,192(%rsp)
-paddq %xmm14,%xmm2
+vmovdqa %xmm1,192(%rsp)
+vpaddq %xmm14,%xmm2,%xmm2
 vpmuludq %xmm3,%xmm12,%xmm1
-movdqa %xmm3,208(%rsp)
+vmovdqa %xmm3,208(%rsp)
 vpaddq %xmm5,%xmm4,%xmm3
-paddq subc2(%rip),%xmm4
-psubq %xmm5,%xmm4
+vpaddq subc2(%rip),%xmm4,%xmm4
+vpsubq %xmm5,%xmm4,%xmm4
 vpunpckhqdq %xmm3,%xmm4,%xmm5
 vpunpcklqdq %xmm3,%xmm4,%xmm3
 vpmuludq %xmm3,%xmm10,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq %xmm5,%xmm10,%xmm4
-movdqa %xmm5,224(%rsp)
-paddq %xmm5,%xmm5
+vmovdqa %xmm5,224(%rsp)
+vpaddq %xmm5,%xmm5,%xmm5
 vpmuludq %xmm3,%xmm12,%xmm14
-movdqa %xmm3,240(%rsp)
-paddq %xmm14,%xmm4
+vmovdqa %xmm3,240(%rsp)
+vpaddq %xmm14,%xmm4,%xmm4
 vpaddq %xmm7,%xmm6,%xmm3
-paddq subc2(%rip),%xmm6
-psubq %xmm7,%xmm6
+vpaddq subc2(%rip),%xmm6,%xmm6
+vpsubq %xmm7,%xmm6,%xmm6
 vpunpckhqdq %xmm3,%xmm6,%xmm7
 vpunpcklqdq %xmm3,%xmm6,%xmm3
 vpmuludq %xmm3,%xmm10,%xmm6
 vpmuludq %xmm5,%xmm12,%xmm14
-movdqa %xmm5,256(%rsp)
-pmuludq v19_19(%rip),%xmm5
-movdqa %xmm5,272(%rsp)
-paddq %xmm14,%xmm6
+vmovdqa %xmm5,256(%rsp)
+vpmuludq v19_19(%rip),%xmm5,%xmm5
+vmovdqa %xmm5,272(%rsp)
+vpaddq %xmm14,%xmm6,%xmm6
 vpmuludq %xmm7,%xmm10,%xmm5
-movdqa %xmm7,288(%rsp)
-paddq %xmm7,%xmm7
+vmovdqa %xmm7,288(%rsp)
+vpaddq %xmm7,%xmm7,%xmm7
 vpmuludq %xmm3,%xmm12,%xmm14
-movdqa %xmm3,304(%rsp)
-paddq %xmm14,%xmm5
-pmuludq v19_19(%rip),%xmm3
-movdqa %xmm3,320(%rsp)
+vmovdqa %xmm3,304(%rsp)
+vpaddq %xmm14,%xmm5,%xmm5
+vpmuludq v19_19(%rip),%xmm3,%xmm3
+vmovdqa %xmm3,320(%rsp)
 vpaddq %xmm9,%xmm8,%xmm3
-paddq subc2(%rip),%xmm8
-psubq %xmm9,%xmm8
+vpaddq subc2(%rip),%xmm8,%xmm8
+vpsubq %xmm9,%xmm8,%xmm8
 vpunpckhqdq %xmm3,%xmm8,%xmm9
 vpunpcklqdq %xmm3,%xmm8,%xmm3
-movdqa %xmm3,336(%rsp)
+vmovdqa %xmm3,336(%rsp)
 vpmuludq %xmm7,%xmm12,%xmm8
-movdqa %xmm7,352(%rsp)
-pmuludq v19_19(%rip),%xmm7
-movdqa %xmm7,368(%rsp)
+vmovdqa %xmm7,352(%rsp)
+vpmuludq v19_19(%rip),%xmm7,%xmm7
+vmovdqa %xmm7,368(%rsp)
 vpmuludq %xmm3,%xmm10,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq %xmm9,%xmm10,%xmm7
-movdqa %xmm9,384(%rsp)
-paddq %xmm9,%xmm9
+vmovdqa %xmm9,384(%rsp)
+vpaddq %xmm9,%xmm9,%xmm9
 vpmuludq %xmm3,%xmm12,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
-movdqa %xmm3,400(%rsp)
-pmuludq v19_19(%rip),%xmm12
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
+vmovdqa %xmm3,400(%rsp)
+vpmuludq v19_19(%rip),%xmm12,%xmm12
 vpmuludq %xmm9,%xmm12,%xmm3
-movdqa %xmm9,416(%rsp)
-paddq %xmm3,%xmm11
-movdqa 0(%rsp),%xmm3
-movdqa 16(%rsp),%xmm9
+vmovdqa %xmm9,416(%rsp)
+vpaddq %xmm3,%xmm11,%xmm11
+vmovdqa 0(%rsp),%xmm3
+vmovdqa 16(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 192(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 176(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 240(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 224(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 304(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 288(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 336(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
-pmuludq 384(%rsp),%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm10,%xmm11,%xmm11
+vpmuludq 384(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 160(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 192(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 208(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 240(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 256(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 304(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 352(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 336(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
-pmuludq 416(%rsp),%xmm9
-paddq %xmm9,%xmm0
-movdqa 32(%rsp),%xmm3
-movdqa 80(%rsp),%xmm9
+vpaddq %xmm3,%xmm13,%xmm13
+vpmuludq 416(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm0,%xmm0
+vmovdqa 32(%rsp),%xmm3
+vmovdqa 80(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 192(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 176(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 240(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 224(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 304(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 288(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 336(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
-pmuludq 384(%rsp),%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm10,%xmm0,%xmm0
+vpmuludq 384(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 160(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 192(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 208(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 240(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 256(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 304(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 352(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 336(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
-pmuludq 416(%rsp),%xmm9
-paddq %xmm9,%xmm1
-movdqa 48(%rsp),%xmm3
-movdqa 96(%rsp),%xmm9
+vpaddq %xmm3,%xmm2,%xmm2
+vpmuludq 416(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm1,%xmm1
+vmovdqa 48(%rsp),%xmm3
+vmovdqa 96(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
+vpaddq %xmm10,%xmm6,%xmm6
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm5
+vpaddq %xmm10,%xmm5,%xmm5
 vpmuludq 192(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 176(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 240(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 224(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 304(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 288(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 336(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
-pmuludq 384(%rsp),%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm10,%xmm1,%xmm1
+vpmuludq 384(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 160(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 192(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 208(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 240(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 256(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 304(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 352(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 336(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
-pmuludq 416(%rsp),%xmm9
-paddq %xmm9,%xmm6
-movdqa 64(%rsp),%xmm3
-movdqa 112(%rsp),%xmm9
+vpaddq %xmm3,%xmm4,%xmm4
+vpmuludq 416(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm6,%xmm6
+vmovdqa 64(%rsp),%xmm3
+vmovdqa 112(%rsp),%xmm9
 vpaddq subc2(%rip),%xmm3,%xmm10
-psubq %xmm9,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm9,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm10,%xmm3,%xmm9
 vpunpcklqdq %xmm10,%xmm3,%xmm3
 vpmuludq 144(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm8
+vpaddq %xmm10,%xmm8,%xmm8
 vpmuludq 128(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm7
-pmuludq v19_19(%rip),%xmm3
+vpaddq %xmm10,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm3,%xmm3
 vpmuludq 192(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm11
+vpaddq %xmm10,%xmm11,%xmm11
 vpmuludq 176(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm13
+vpaddq %xmm10,%xmm13,%xmm13
 vpmuludq 240(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm0
+vpaddq %xmm10,%xmm0,%xmm0
 vpmuludq 224(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm2
+vpaddq %xmm10,%xmm2,%xmm2
 vpmuludq 304(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm1
+vpaddq %xmm10,%xmm1,%xmm1
 vpmuludq 288(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm4
+vpaddq %xmm10,%xmm4,%xmm4
 vpmuludq 336(%rsp),%xmm3,%xmm10
-paddq %xmm10,%xmm6
-pmuludq 384(%rsp),%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm10,%xmm6,%xmm6
+vpmuludq 384(%rsp),%xmm3,%xmm3
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 144(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm7
-pmuludq v19_19(%rip),%xmm9
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq v19_19(%rip),%xmm9,%xmm9
 vpmuludq 160(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 192(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 208(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm0
+vpaddq %xmm3,%xmm0,%xmm0
 vpmuludq 240(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm2
+vpaddq %xmm3,%xmm2,%xmm2
 vpmuludq 256(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm1
+vpaddq %xmm3,%xmm1,%xmm1
 vpmuludq 304(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm4
+vpaddq %xmm3,%xmm4,%xmm4
 vpmuludq 352(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 336(%rsp),%xmm9,%xmm3
-paddq %xmm3,%xmm5
-pmuludq 416(%rsp),%xmm9
-paddq %xmm9,%xmm8
+vpaddq %xmm3,%xmm5,%xmm5
+vpmuludq 416(%rsp),%xmm9,%xmm9
+vpaddq %xmm9,%xmm8,%xmm8
 vpsrlq $25,%xmm4,%xmm3
-paddq %xmm3,%xmm6
-pand m25(%rip),%xmm4
+vpaddq %xmm3,%xmm6,%xmm6
+vpand m25(%rip),%xmm4,%xmm4
 vpsrlq $26,%xmm11,%xmm3
-paddq %xmm3,%xmm13
-pand m26(%rip),%xmm11
+vpaddq %xmm3,%xmm13,%xmm13
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm6,%xmm3
-paddq %xmm3,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm3,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm13,%xmm3
-paddq %xmm3,%xmm0
-pand m25(%rip),%xmm13
+vpaddq %xmm3,%xmm0,%xmm0
+vpand m25(%rip),%xmm13,%xmm13
 vpsrlq $25,%xmm5,%xmm3
-paddq %xmm3,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm3,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm0,%xmm3
-paddq %xmm3,%xmm2
-pand m26(%rip),%xmm0
+vpaddq %xmm3,%xmm2,%xmm2
+vpand m26(%rip),%xmm0,%xmm0
 vpsrlq $26,%xmm8,%xmm3
-paddq %xmm3,%xmm7
-pand m26(%rip),%xmm8
+vpaddq %xmm3,%xmm7,%xmm7
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $25,%xmm2,%xmm3
-paddq %xmm3,%xmm1
-pand m25(%rip),%xmm2
+vpaddq %xmm3,%xmm1,%xmm1
+vpand m25(%rip),%xmm2,%xmm2
 vpsrlq $25,%xmm7,%xmm3
 vpsllq $4,%xmm3,%xmm9
-paddq %xmm3,%xmm11
-psllq $1,%xmm3
-paddq %xmm3,%xmm9
-paddq %xmm9,%xmm11
-pand m25(%rip),%xmm7
+vpaddq %xmm3,%xmm11,%xmm11
+vpsllq $1,%xmm3,%xmm3
+vpaddq %xmm3,%xmm9,%xmm9
+vpaddq %xmm9,%xmm11,%xmm11
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $26,%xmm1,%xmm3
-paddq %xmm3,%xmm4
-pand m26(%rip),%xmm1
+vpaddq %xmm3,%xmm4,%xmm4
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $26,%xmm11,%xmm3
-paddq %xmm3,%xmm13
-pand m26(%rip),%xmm11
+vpaddq %xmm3,%xmm13,%xmm13
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $25,%xmm4,%xmm3
-paddq %xmm3,%xmm6
-pand m25(%rip),%xmm4
+vpaddq %xmm3,%xmm6,%xmm6
+vpand m25(%rip),%xmm4,%xmm4
 vpunpcklqdq %xmm13,%xmm11,%xmm3
 vpunpckhqdq %xmm13,%xmm11,%xmm9
 vpaddq subc0(%rip),%xmm9,%xmm10
-psubq %xmm3,%xmm10
-paddq %xmm9,%xmm3
+vpsubq %xmm3,%xmm10,%xmm10
+vpaddq %xmm9,%xmm3,%xmm3
 vpunpckhqdq %xmm3,%xmm10,%xmm9
-punpcklqdq %xmm3,%xmm10
+vpunpcklqdq %xmm3,%xmm10,%xmm10
 vpmuludq %xmm10,%xmm10,%xmm3
-paddq %xmm10,%xmm10
+vpaddq %xmm10,%xmm10,%xmm10
 vpmuludq %xmm9,%xmm10,%xmm11
 vpunpcklqdq %xmm2,%xmm0,%xmm12
 vpunpckhqdq %xmm2,%xmm0,%xmm0
 vpaddq subc2(%rip),%xmm0,%xmm2
-psubq %xmm12,%xmm2
-paddq %xmm0,%xmm12
+vpsubq %xmm12,%xmm2,%xmm2
+vpaddq %xmm0,%xmm12,%xmm12
 vpunpckhqdq %xmm12,%xmm2,%xmm0
-punpcklqdq %xmm12,%xmm2
+vpunpcklqdq %xmm12,%xmm2,%xmm2
 vpmuludq %xmm2,%xmm10,%xmm12
 vpaddq %xmm9,%xmm9,%xmm13
 vpmuludq %xmm13,%xmm9,%xmm9
-paddq %xmm9,%xmm12
+vpaddq %xmm9,%xmm12,%xmm12
 vpmuludq %xmm0,%xmm10,%xmm9
 vpmuludq %xmm2,%xmm13,%xmm14
-paddq %xmm14,%xmm9
+vpaddq %xmm14,%xmm9,%xmm9
 vpunpcklqdq %xmm4,%xmm1,%xmm14
 vpunpckhqdq %xmm4,%xmm1,%xmm1
 vpaddq subc2(%rip),%xmm1,%xmm4
-psubq %xmm14,%xmm4
-paddq %xmm1,%xmm14
+vpsubq %xmm14,%xmm4,%xmm4
+vpaddq %xmm1,%xmm14,%xmm14
 vpunpckhqdq %xmm14,%xmm4,%xmm1
-punpcklqdq %xmm14,%xmm4
-movdqa %xmm1,0(%rsp)
-paddq %xmm1,%xmm1
-movdqa %xmm1,16(%rsp)
-pmuludq v19_19(%rip),%xmm1
-movdqa %xmm1,32(%rsp)
+vpunpcklqdq %xmm14,%xmm4,%xmm4
+vmovdqa %xmm1,0(%rsp)
+vpaddq %xmm1,%xmm1,%xmm1
+vmovdqa %xmm1,16(%rsp)
+vpmuludq v19_19(%rip),%xmm1,%xmm1
+vmovdqa %xmm1,32(%rsp)
 vpmuludq %xmm4,%xmm10,%xmm1
 vpmuludq %xmm2,%xmm2,%xmm14
-paddq %xmm14,%xmm1
+vpaddq %xmm14,%xmm1,%xmm1
 vpmuludq 0(%rsp),%xmm10,%xmm14
 vpmuludq %xmm4,%xmm13,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpunpcklqdq %xmm5,%xmm6,%xmm15
 vpunpckhqdq %xmm5,%xmm6,%xmm5
 vpaddq subc2(%rip),%xmm5,%xmm6
-psubq %xmm15,%xmm6
-paddq %xmm5,%xmm15
+vpsubq %xmm15,%xmm6,%xmm6
+vpaddq %xmm5,%xmm15,%xmm15
 vpunpckhqdq %xmm15,%xmm6,%xmm5
-punpcklqdq %xmm15,%xmm6
-movdqa %xmm6,48(%rsp)
-pmuludq v19_19(%rip),%xmm6
-movdqa %xmm6,64(%rsp)
-movdqa %xmm5,80(%rsp)
-pmuludq v38_38(%rip),%xmm5
-movdqa %xmm5,96(%rsp)
+vpunpcklqdq %xmm15,%xmm6,%xmm6
+vmovdqa %xmm6,48(%rsp)
+vpmuludq v19_19(%rip),%xmm6,%xmm6
+vmovdqa %xmm6,64(%rsp)
+vmovdqa %xmm5,80(%rsp)
+vpmuludq v38_38(%rip),%xmm5,%xmm5
+vmovdqa %xmm5,96(%rsp)
 vpmuludq 48(%rsp),%xmm10,%xmm5
 vpaddq %xmm0,%xmm0,%xmm6
 vpmuludq %xmm6,%xmm0,%xmm0
-paddq %xmm0,%xmm5
+vpaddq %xmm0,%xmm5,%xmm5
 vpmuludq 80(%rsp),%xmm10,%xmm0
 vpmuludq %xmm4,%xmm6,%xmm15
-paddq %xmm15,%xmm0
+vpaddq %xmm15,%xmm0,%xmm0
 vpmuludq %xmm6,%xmm13,%xmm15
-paddq %xmm15,%xmm1
+vpaddq %xmm15,%xmm1,%xmm1
 vpmuludq %xmm6,%xmm2,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpunpcklqdq %xmm7,%xmm8,%xmm15
 vpunpckhqdq %xmm7,%xmm8,%xmm7
 vpaddq subc2(%rip),%xmm7,%xmm8
-psubq %xmm15,%xmm8
-paddq %xmm7,%xmm15
+vpsubq %xmm15,%xmm8,%xmm8
+vpaddq %xmm7,%xmm15,%xmm15
 vpunpckhqdq %xmm15,%xmm8,%xmm7
-punpcklqdq %xmm15,%xmm8
-movdqa %xmm8,112(%rsp)
-pmuludq v19_19(%rip),%xmm8
-movdqa %xmm8,160(%rsp)
+vpunpcklqdq %xmm15,%xmm8,%xmm8
+vmovdqa %xmm8,112(%rsp)
+vpmuludq v19_19(%rip),%xmm8,%xmm8
+vmovdqa %xmm8,160(%rsp)
 vpmuludq 112(%rsp),%xmm10,%xmm8
 vpmuludq %xmm7,%xmm10,%xmm10
 vpmuludq v38_38(%rip),%xmm7,%xmm15
 vpmuludq %xmm15,%xmm7,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq %xmm15,%xmm13,%xmm7
-paddq %xmm7,%xmm3
+vpaddq %xmm7,%xmm3,%xmm3
 vpmuludq %xmm15,%xmm2,%xmm7
-paddq %xmm7,%xmm11
+vpaddq %xmm7,%xmm11,%xmm11
 vpmuludq 80(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm7,%xmm7
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq 16(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 48(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm0
+vpaddq %xmm7,%xmm0,%xmm0
 vpmuludq 112(%rsp),%xmm13,%xmm7
-paddq %xmm7,%xmm10
+vpaddq %xmm7,%xmm10,%xmm10
 vpmuludq %xmm15,%xmm6,%xmm7
-paddq %xmm7,%xmm12
+vpaddq %xmm7,%xmm12,%xmm12
 vpmuludq %xmm15,%xmm4,%xmm7
-paddq %xmm7,%xmm9
+vpaddq %xmm7,%xmm9,%xmm9
 vpaddq %xmm2,%xmm2,%xmm2
 vpmuludq %xmm4,%xmm2,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 160(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm3
+vpaddq %xmm7,%xmm3,%xmm3
 vpmuludq 160(%rsp),%xmm6,%xmm7
-paddq %xmm7,%xmm11
+vpaddq %xmm7,%xmm11,%xmm11
 vpmuludq 0(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm0
+vpaddq %xmm7,%xmm0,%xmm0
 vpmuludq 48(%rsp),%xmm2,%xmm7
-paddq %xmm7,%xmm8
+vpaddq %xmm7,%xmm8,%xmm8
 vpmuludq 80(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 96(%rsp),%xmm4,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq %xmm4,%xmm4,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpaddq %xmm4,%xmm4,%xmm2
 vpmuludq 160(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm12
+vpaddq %xmm4,%xmm12,%xmm12
 vpmuludq 16(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq 48(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm14
+vpaddq %xmm4,%xmm14,%xmm14
 vpmuludq 96(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm3
-movdqa 16(%rsp),%xmm4
-pmuludq 160(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 160(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 16(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm8
+vpaddq %xmm4,%xmm8,%xmm8
 vpmuludq 48(%rsp),%xmm6,%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm10,%xmm10
 vpmuludq 80(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm4
-paddq %xmm4,%xmm5
+vpaddq %xmm4,%xmm4,%xmm4
+vpaddq %xmm4,%xmm5,%xmm5
 vpmuludq 112(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm0
-movdqa 48(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 160(%rsp),%xmm4
-paddq %xmm4,%xmm1
-movdqa 80(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 160(%rsp),%xmm4
-paddq %xmm4,%xmm14
+vpaddq %xmm4,%xmm0,%xmm0
+vmovdqa 48(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 160(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 80(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 160(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm14,%xmm14
 vpmuludq 64(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm3
-movdqa 16(%rsp),%xmm4
-pmuludq 64(%rsp),%xmm4
-paddq %xmm4,%xmm11
-movdqa 16(%rsp),%xmm4
-pmuludq 96(%rsp),%xmm4
-paddq %xmm4,%xmm12
-movdqa 48(%rsp),%xmm4
-pmuludq 96(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 64(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm11,%xmm11
+vmovdqa 16(%rsp),%xmm4
+vpmuludq 96(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm12,%xmm12
+vmovdqa 48(%rsp),%xmm4
+vpmuludq 96(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 0(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm10
-movdqa 32(%rsp),%xmm2
-pmuludq 0(%rsp),%xmm2
-paddq %xmm2,%xmm3
-movdqa 64(%rsp),%xmm2
-pmuludq 48(%rsp),%xmm2
-paddq %xmm2,%xmm12
-movdqa 96(%rsp),%xmm2
-pmuludq 80(%rsp),%xmm2
-paddq %xmm2,%xmm1
-movdqa 160(%rsp),%xmm2
-pmuludq 112(%rsp),%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm10,%xmm10
+vmovdqa 32(%rsp),%xmm2
+vpmuludq 0(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm3,%xmm3
+vmovdqa 64(%rsp),%xmm2
+vpmuludq 48(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm12,%xmm12
+vmovdqa 96(%rsp),%xmm2
+vpmuludq 80(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm1,%xmm1
+vmovdqa 160(%rsp),%xmm2
+vpmuludq 112(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm5,%xmm5
 vpsrlq $26,%xmm3,%xmm2
-paddq %xmm2,%xmm11
-pand m26(%rip),%xmm3
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m26(%rip),%xmm3,%xmm3
 vpsrlq $25,%xmm14,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm14
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $25,%xmm11,%xmm2
-paddq %xmm2,%xmm12
-pand m25(%rip),%xmm11
+vpaddq %xmm2,%xmm12,%xmm12
+vpand m25(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm5,%xmm2
-paddq %xmm2,%xmm0
-pand m26(%rip),%xmm5
+vpaddq %xmm2,%xmm0,%xmm0
+vpand m26(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm12,%xmm2
-paddq %xmm2,%xmm9
-pand m26(%rip),%xmm12
+vpaddq %xmm2,%xmm9,%xmm9
+vpand m26(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm0,%xmm2
-paddq %xmm2,%xmm8
-pand m25(%rip),%xmm0
+vpaddq %xmm2,%xmm8,%xmm8
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm9,%xmm2
-paddq %xmm2,%xmm1
-pand m25(%rip),%xmm9
+vpaddq %xmm2,%xmm1,%xmm1
+vpand m25(%rip),%xmm9,%xmm9
 vpsrlq $26,%xmm8,%xmm2
-paddq %xmm2,%xmm10
-pand m26(%rip),%xmm8
+vpaddq %xmm2,%xmm10,%xmm10
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $25,%xmm10,%xmm2
 vpsllq $4,%xmm2,%xmm4
-paddq %xmm2,%xmm3
-psllq $1,%xmm2
-paddq %xmm2,%xmm4
-paddq %xmm4,%xmm3
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm3,%xmm3
+vpsllq $1,%xmm2,%xmm2
+vpaddq %xmm2,%xmm4,%xmm4
+vpaddq %xmm4,%xmm3,%xmm3
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm14,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm14
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $26,%xmm3,%xmm2
-paddq %xmm2,%xmm11
-pand m26(%rip),%xmm3
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m26(%rip),%xmm3,%xmm3
 vpunpckhqdq %xmm11,%xmm3,%xmm2
-movdqa %xmm2,0(%rsp)
+vmovdqa %xmm2,0(%rsp)
 vpunpcklqdq %xmm11,%xmm3,%xmm2
-pmuludq v9_9(%rip),%xmm2
-movdqa %xmm2,80(%rsp)
+vpmuludq v9_9(%rip),%xmm2,%xmm2
+vmovdqa %xmm2,80(%rsp)
 vpunpckhqdq %xmm9,%xmm12,%xmm2
-movdqa %xmm2,16(%rsp)
+vmovdqa %xmm2,16(%rsp)
 vpunpcklqdq %xmm9,%xmm12,%xmm2
-pmuludq v9_9(%rip),%xmm2
-movdqa %xmm2,96(%rsp)
+vpmuludq v9_9(%rip),%xmm2,%xmm2
+vmovdqa %xmm2,96(%rsp)
 vpunpckhqdq %xmm14,%xmm1,%xmm2
-movdqa %xmm2,32(%rsp)
+vmovdqa %xmm2,32(%rsp)
 vpunpcklqdq %xmm14,%xmm1,%xmm1
-pmuludq v9_9(%rip),%xmm1
-movdqa %xmm1,112(%rsp)
+vpmuludq v9_9(%rip),%xmm1,%xmm1
+vmovdqa %xmm1,112(%rsp)
 vpunpckhqdq %xmm0,%xmm5,%xmm1
-movdqa %xmm1,48(%rsp)
+vmovdqa %xmm1,48(%rsp)
 vpunpcklqdq %xmm0,%xmm5,%xmm0
-pmuludq v9_9(%rip),%xmm0
-movdqa %xmm0,160(%rsp)
+vpmuludq v9_9(%rip),%xmm0,%xmm0
+vmovdqa %xmm0,160(%rsp)
 vpunpckhqdq %xmm10,%xmm8,%xmm0
-movdqa %xmm0,64(%rsp)
+vmovdqa %xmm0,64(%rsp)
 vpunpcklqdq %xmm10,%xmm8,%xmm0
-pmuludq v9_9(%rip),%xmm0
-movdqa %xmm0,208(%rsp)
-movdqa 144(%rsp),%xmm0
+vpmuludq v9_9(%rip),%xmm0,%xmm0
+vmovdqa %xmm0,208(%rsp)
+vmovdqa 144(%rsp),%xmm0
 vpmuludq %xmm0,%xmm0,%xmm1
-paddq %xmm0,%xmm0
-movdqa 128(%rsp),%xmm2
+vpaddq %xmm0,%xmm0,%xmm0
+vmovdqa 128(%rsp),%xmm2
 vpmuludq %xmm2,%xmm0,%xmm3
-movdqa 192(%rsp),%xmm4
+vmovdqa 192(%rsp),%xmm4
 vpmuludq %xmm4,%xmm0,%xmm5
-movdqa 176(%rsp),%xmm6
+vmovdqa 176(%rsp),%xmm6
 vpmuludq %xmm6,%xmm0,%xmm7
-movdqa 240(%rsp),%xmm8
+vmovdqa 240(%rsp),%xmm8
 vpmuludq %xmm8,%xmm0,%xmm9
 vpmuludq 224(%rsp),%xmm0,%xmm10
 vpmuludq 304(%rsp),%xmm0,%xmm11
 vpmuludq 288(%rsp),%xmm0,%xmm12
 vpmuludq 336(%rsp),%xmm0,%xmm13
-movdqa 384(%rsp),%xmm14
+vmovdqa 384(%rsp),%xmm14
 vpmuludq %xmm14,%xmm0,%xmm0
 vpmuludq v38_38(%rip),%xmm14,%xmm15
 vpmuludq %xmm15,%xmm14,%xmm14
-paddq %xmm14,%xmm13
+vpaddq %xmm14,%xmm13,%xmm13
 vpaddq %xmm6,%xmm6,%xmm14
 vpmuludq %xmm14,%xmm6,%xmm6
-paddq %xmm6,%xmm11
+vpaddq %xmm6,%xmm11,%xmm11
 vpaddq %xmm2,%xmm2,%xmm6
 vpmuludq %xmm6,%xmm2,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq %xmm15,%xmm6,%xmm2
-paddq %xmm2,%xmm1
+vpaddq %xmm2,%xmm1,%xmm1
 vpmuludq %xmm15,%xmm4,%xmm2
-paddq %xmm2,%xmm3
+vpaddq %xmm2,%xmm3,%xmm3
 vpmuludq 256(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 304(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 352(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 336(%rsp),%xmm6,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq %xmm4,%xmm6,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq %xmm14,%xmm6,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq %xmm8,%xmm6,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq %xmm15,%xmm14,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq %xmm15,%xmm8,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq %xmm4,%xmm4,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq %xmm14,%xmm4,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpaddq %xmm4,%xmm4,%xmm2
 vpmuludq %xmm8,%xmm2,%xmm4
-paddq %xmm4,%xmm11
+vpaddq %xmm4,%xmm11,%xmm11
 vpmuludq 400(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm1
+vpaddq %xmm4,%xmm1,%xmm1
 vpmuludq 400(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm3
+vpaddq %xmm4,%xmm3,%xmm3
 vpmuludq 224(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm12
+vpaddq %xmm4,%xmm12,%xmm12
 vpmuludq 304(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm13
+vpaddq %xmm4,%xmm13,%xmm13
 vpmuludq 288(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm0
+vpaddq %xmm2,%xmm0,%xmm0
 vpmuludq 368(%rsp),%xmm8,%xmm2
-paddq %xmm2,%xmm3
+vpaddq %xmm2,%xmm3,%xmm3
 vpmuludq %xmm8,%xmm14,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq %xmm8,%xmm8,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpaddq %xmm8,%xmm8,%xmm2
 vpmuludq 400(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm5
+vpaddq %xmm4,%xmm5,%xmm5
 vpmuludq 256(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 304(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm10,%xmm10
 vpmuludq 368(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm1
-movdqa 256(%rsp),%xmm4
-pmuludq 400(%rsp),%xmm4
-paddq %xmm4,%xmm7
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 256(%rsp),%xmm4
+vpmuludq 400(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm7,%xmm7
 vpmuludq 256(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm13
+vpaddq %xmm4,%xmm13,%xmm13
 vpmuludq 304(%rsp),%xmm14,%xmm4
-paddq %xmm4,%xmm0
+vpaddq %xmm4,%xmm0,%xmm0
 vpmuludq 352(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm11
+vpaddq %xmm4,%xmm11,%xmm11
 vpmuludq 336(%rsp),%xmm15,%xmm4
-paddq %xmm4,%xmm12
-movdqa 304(%rsp),%xmm4
-paddq %xmm4,%xmm4
-pmuludq 400(%rsp),%xmm4
-paddq %xmm4,%xmm9
+vpaddq %xmm4,%xmm12,%xmm12
+vmovdqa 304(%rsp),%xmm4
+vpaddq %xmm4,%xmm4,%xmm4
+vpmuludq 400(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm9,%xmm9
 vpmuludq 320(%rsp),%xmm2,%xmm4
-paddq %xmm4,%xmm1
-movdqa 256(%rsp),%xmm4
-pmuludq 320(%rsp),%xmm4
-paddq %xmm4,%xmm3
-movdqa 256(%rsp),%xmm4
-pmuludq 368(%rsp),%xmm4
-paddq %xmm4,%xmm5
-movdqa 304(%rsp),%xmm4
-pmuludq 368(%rsp),%xmm4
-paddq %xmm4,%xmm7
-movdqa 352(%rsp),%xmm4
-pmuludq 400(%rsp),%xmm4
-paddq %xmm4,%xmm10
+vpaddq %xmm4,%xmm1,%xmm1
+vmovdqa 256(%rsp),%xmm4
+vpmuludq 320(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm3,%xmm3
+vmovdqa 256(%rsp),%xmm4
+vpmuludq 368(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm5,%xmm5
+vmovdqa 304(%rsp),%xmm4
+vpmuludq 368(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm7,%xmm7
+vmovdqa 352(%rsp),%xmm4
+vpmuludq 400(%rsp),%xmm4,%xmm4
+vpaddq %xmm4,%xmm10,%xmm10
+vpmuludq 224(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm0,%xmm0
+vmovdqa 272(%rsp),%xmm2
 vpmuludq 224(%rsp),%xmm2,%xmm2
-paddq %xmm2,%xmm0
-movdqa 272(%rsp),%xmm2
-pmuludq 224(%rsp),%xmm2
-paddq %xmm2,%xmm1
-movdqa 320(%rsp),%xmm2
-pmuludq 304(%rsp),%xmm2
-paddq %xmm2,%xmm5
-movdqa 368(%rsp),%xmm2
-pmuludq 288(%rsp),%xmm2
-paddq %xmm2,%xmm9
-movdqa 400(%rsp),%xmm2
-pmuludq 336(%rsp),%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm1,%xmm1
+vmovdqa 320(%rsp),%xmm2
+vpmuludq 304(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm5,%xmm5
+vmovdqa 368(%rsp),%xmm2
+vpmuludq 288(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm9,%xmm9
+vmovdqa 400(%rsp),%xmm2
+vpmuludq 336(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm11,%xmm11
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm3
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm3,%xmm3
+vpand m26(%rip),%xmm1,%xmm1
 vpsrlq $25,%xmm10,%xmm2
-paddq %xmm2,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm3,%xmm2
-paddq %xmm2,%xmm5
-pand m25(%rip),%xmm3
+vpaddq %xmm2,%xmm5,%xmm5
+vpand m25(%rip),%xmm3,%xmm3
 vpsrlq $26,%xmm11,%xmm2
-paddq %xmm2,%xmm12
-pand m26(%rip),%xmm11
+vpaddq %xmm2,%xmm12,%xmm12
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm5,%xmm2
-paddq %xmm2,%xmm7
-pand m26(%rip),%xmm5
+vpaddq %xmm2,%xmm7,%xmm7
+vpand m26(%rip),%xmm5,%xmm5
 vpsrlq $25,%xmm12,%xmm2
-paddq %xmm2,%xmm13
-pand m25(%rip),%xmm12
+vpaddq %xmm2,%xmm13,%xmm13
+vpand m25(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm7,%xmm2
-paddq %xmm2,%xmm9
-pand m25(%rip),%xmm7
+vpaddq %xmm2,%xmm9,%xmm9
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $26,%xmm13,%xmm2
-paddq %xmm2,%xmm0
-pand m26(%rip),%xmm13
+vpaddq %xmm2,%xmm0,%xmm0
+vpand m26(%rip),%xmm13,%xmm13
 vpsrlq $26,%xmm9,%xmm2
-paddq %xmm2,%xmm10
-pand m26(%rip),%xmm9
+vpaddq %xmm2,%xmm10,%xmm10
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $25,%xmm0,%xmm2
 vpsllq $4,%xmm2,%xmm4
-paddq %xmm2,%xmm1
-psllq $1,%xmm2
-paddq %xmm2,%xmm4
-paddq %xmm4,%xmm1
-pand m25(%rip),%xmm0
+vpaddq %xmm2,%xmm1,%xmm1
+vpsllq $1,%xmm2,%xmm2
+vpaddq %xmm2,%xmm4,%xmm4
+vpaddq %xmm4,%xmm1,%xmm1
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm10,%xmm2
-paddq %xmm2,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm2,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $26,%xmm1,%xmm2
-paddq %xmm2,%xmm3
-pand m26(%rip),%xmm1
+vpaddq %xmm2,%xmm3,%xmm3
+vpand m26(%rip),%xmm1,%xmm1
 vpunpckhqdq %xmm3,%xmm1,%xmm2
 vpunpcklqdq %xmm3,%xmm1,%xmm1
-movdqa %xmm1,176(%rsp)
+vmovdqa %xmm1,176(%rsp)
 vpaddq subc0(%rip),%xmm2,%xmm3
-psubq %xmm1,%xmm3
+vpsubq %xmm1,%xmm3,%xmm3
 vpunpckhqdq %xmm3,%xmm2,%xmm1
 vpunpcklqdq %xmm3,%xmm2,%xmm2
-movdqa %xmm2,192(%rsp)
-movdqa %xmm1,224(%rsp)
-psllq $1,%xmm1
-movdqa %xmm1,240(%rsp)
-pmuludq v121666_121666(%rip),%xmm3
-movdqa 80(%rsp),%xmm1
+vmovdqa %xmm2,192(%rsp)
+vmovdqa %xmm1,224(%rsp)
+vpsllq $1,%xmm1,%xmm1
+vmovdqa %xmm1,240(%rsp)
+vpmuludq v121666_121666(%rip),%xmm3,%xmm3
+vmovdqa 80(%rsp),%xmm1
 vpunpcklqdq %xmm1,%xmm3,%xmm2
 vpunpckhqdq %xmm1,%xmm3,%xmm1
 vpunpckhqdq %xmm7,%xmm5,%xmm3
 vpunpcklqdq %xmm7,%xmm5,%xmm4
-movdqa %xmm4,256(%rsp)
+vmovdqa %xmm4,256(%rsp)
 vpaddq subc2(%rip),%xmm3,%xmm5
-psubq %xmm4,%xmm5
+vpsubq %xmm4,%xmm5,%xmm5
 vpunpckhqdq %xmm5,%xmm3,%xmm4
 vpunpcklqdq %xmm5,%xmm3,%xmm3
-movdqa %xmm3,272(%rsp)
-movdqa %xmm4,288(%rsp)
-psllq $1,%xmm4
-movdqa %xmm4,304(%rsp)
-pmuludq v121666_121666(%rip),%xmm5
-movdqa 96(%rsp),%xmm3
+vmovdqa %xmm3,272(%rsp)
+vmovdqa %xmm4,288(%rsp)
+vpsllq $1,%xmm4,%xmm4
+vmovdqa %xmm4,304(%rsp)
+vpmuludq v121666_121666(%rip),%xmm5,%xmm5
+vmovdqa 96(%rsp),%xmm3
 vpunpcklqdq %xmm3,%xmm5,%xmm4
 vpunpckhqdq %xmm3,%xmm5,%xmm3
 vpunpckhqdq %xmm10,%xmm9,%xmm5
 vpunpcklqdq %xmm10,%xmm9,%xmm6
-movdqa %xmm6,320(%rsp)
+vmovdqa %xmm6,320(%rsp)
 vpaddq subc2(%rip),%xmm5,%xmm7
-psubq %xmm6,%xmm7
+vpsubq %xmm6,%xmm7,%xmm7
 vpunpckhqdq %xmm7,%xmm5,%xmm6
 vpunpcklqdq %xmm7,%xmm5,%xmm5
-movdqa %xmm5,336(%rsp)
-movdqa %xmm6,352(%rsp)
-psllq $1,%xmm6
-movdqa %xmm6,368(%rsp)
-pmuludq v121666_121666(%rip),%xmm7
-movdqa 112(%rsp),%xmm5
+vmovdqa %xmm5,336(%rsp)
+vmovdqa %xmm6,352(%rsp)
+vpsllq $1,%xmm6,%xmm6
+vmovdqa %xmm6,368(%rsp)
+vpmuludq v121666_121666(%rip),%xmm7,%xmm7
+vmovdqa 112(%rsp),%xmm5
 vpunpcklqdq %xmm5,%xmm7,%xmm6
 vpunpckhqdq %xmm5,%xmm7,%xmm5
 vpunpckhqdq %xmm12,%xmm11,%xmm7
 vpunpcklqdq %xmm12,%xmm11,%xmm8
-movdqa %xmm8,384(%rsp)
+vmovdqa %xmm8,384(%rsp)
 vpaddq subc2(%rip),%xmm7,%xmm9
-psubq %xmm8,%xmm9
+vpsubq %xmm8,%xmm9,%xmm9
 vpunpckhqdq %xmm9,%xmm7,%xmm8
 vpunpcklqdq %xmm9,%xmm7,%xmm7
-movdqa %xmm7,400(%rsp)
-movdqa %xmm8,416(%rsp)
-psllq $1,%xmm8
-movdqa %xmm8,432(%rsp)
-pmuludq v121666_121666(%rip),%xmm9
-movdqa 160(%rsp),%xmm7
+vmovdqa %xmm7,400(%rsp)
+vmovdqa %xmm8,416(%rsp)
+vpsllq $1,%xmm8,%xmm8
+vmovdqa %xmm8,432(%rsp)
+vpmuludq v121666_121666(%rip),%xmm9,%xmm9
+vmovdqa 160(%rsp),%xmm7
 vpunpcklqdq %xmm7,%xmm9,%xmm8
 vpunpckhqdq %xmm7,%xmm9,%xmm7
 vpunpckhqdq %xmm0,%xmm13,%xmm9
 vpunpcklqdq %xmm0,%xmm13,%xmm0
-movdqa %xmm0,160(%rsp)
+vmovdqa %xmm0,160(%rsp)
 vpaddq subc2(%rip),%xmm9,%xmm10
-psubq %xmm0,%xmm10
+vpsubq %xmm0,%xmm10,%xmm10
 vpunpckhqdq %xmm10,%xmm9,%xmm0
 vpunpcklqdq %xmm10,%xmm9,%xmm9
-movdqa %xmm9,448(%rsp)
-movdqa %xmm0,464(%rsp)
-psllq $1,%xmm0
-movdqa %xmm0,480(%rsp)
-pmuludq v121666_121666(%rip),%xmm10
-movdqa 208(%rsp),%xmm0
+vmovdqa %xmm9,448(%rsp)
+vmovdqa %xmm0,464(%rsp)
+vpsllq $1,%xmm0,%xmm0
+vmovdqa %xmm0,480(%rsp)
+vpmuludq v121666_121666(%rip),%xmm10,%xmm10
+vmovdqa 208(%rsp),%xmm0
 vpunpcklqdq %xmm0,%xmm10,%xmm9
 vpunpckhqdq %xmm0,%xmm10,%xmm0
 vpsrlq $26,%xmm2,%xmm10
-paddq %xmm10,%xmm1
-pand m26(%rip),%xmm2
+vpaddq %xmm10,%xmm1,%xmm1
+vpand m26(%rip),%xmm2,%xmm2
 vpsrlq $25,%xmm5,%xmm10
-paddq %xmm10,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm10,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $25,%xmm1,%xmm10
-paddq %xmm10,%xmm4
-pand m25(%rip),%xmm1
+vpaddq %xmm10,%xmm4,%xmm4
+vpand m25(%rip),%xmm1,%xmm1
 vpsrlq $26,%xmm8,%xmm10
-paddq %xmm10,%xmm7
-pand m26(%rip),%xmm8
+vpaddq %xmm10,%xmm7,%xmm7
+vpand m26(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm4,%xmm10
-paddq %xmm10,%xmm3
-pand m26(%rip),%xmm4
+vpaddq %xmm10,%xmm3,%xmm3
+vpand m26(%rip),%xmm4,%xmm4
 vpsrlq $25,%xmm7,%xmm10
-paddq %xmm10,%xmm9
-pand m25(%rip),%xmm7
+vpaddq %xmm10,%xmm9,%xmm9
+vpand m25(%rip),%xmm7,%xmm7
 vpsrlq $25,%xmm3,%xmm10
-paddq %xmm10,%xmm6
-pand m25(%rip),%xmm3
+vpaddq %xmm10,%xmm6,%xmm6
+vpand m25(%rip),%xmm3,%xmm3
 vpsrlq $26,%xmm9,%xmm10
-paddq %xmm10,%xmm0
-pand m26(%rip),%xmm9
+vpaddq %xmm10,%xmm0,%xmm0
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $26,%xmm6,%xmm10
-paddq %xmm10,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm10,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm0,%xmm10
 vpsllq $4,%xmm10,%xmm11
-paddq %xmm10,%xmm2
-psllq $1,%xmm10
-paddq %xmm10,%xmm11
-paddq %xmm11,%xmm2
-pand m25(%rip),%xmm0
+vpaddq %xmm10,%xmm2,%xmm2
+vpsllq $1,%xmm10,%xmm10
+vpaddq %xmm10,%xmm11,%xmm11
+vpaddq %xmm11,%xmm2,%xmm2
+vpand m25(%rip),%xmm0,%xmm0
 vpsrlq $25,%xmm5,%xmm10
-paddq %xmm10,%xmm8
-pand m25(%rip),%xmm5
+vpaddq %xmm10,%xmm8,%xmm8
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm2,%xmm10
-paddq %xmm10,%xmm1
-pand m26(%rip),%xmm2
+vpaddq %xmm10,%xmm1,%xmm1
+vpand m26(%rip),%xmm2,%xmm2
 vpunpckhqdq %xmm1,%xmm2,%xmm10
-movdqa %xmm10,80(%rsp)
+vmovdqa %xmm10,80(%rsp)
 vpunpcklqdq %xmm1,%xmm2,%xmm1
 vpunpckhqdq %xmm3,%xmm4,%xmm2
-movdqa %xmm2,96(%rsp)
+vmovdqa %xmm2,96(%rsp)
 vpunpcklqdq %xmm3,%xmm4,%xmm2
 vpunpckhqdq %xmm5,%xmm6,%xmm3
-movdqa %xmm3,112(%rsp)
+vmovdqa %xmm3,112(%rsp)
 vpunpcklqdq %xmm5,%xmm6,%xmm3
 vpunpckhqdq %xmm7,%xmm8,%xmm4
-movdqa %xmm4,128(%rsp)
+vmovdqa %xmm4,128(%rsp)
 vpunpcklqdq %xmm7,%xmm8,%xmm4
 vpunpckhqdq %xmm0,%xmm9,%xmm5
-movdqa %xmm5,144(%rsp)
+vmovdqa %xmm5,144(%rsp)
 vpunpcklqdq %xmm0,%xmm9,%xmm0
-movdqa 176(%rsp),%xmm5
-paddq %xmm5,%xmm1
+vmovdqa 176(%rsp),%xmm5
+vpaddq %xmm5,%xmm1,%xmm1
 vpunpcklqdq %xmm1,%xmm5,%xmm6
 vpunpckhqdq %xmm1,%xmm5,%xmm1
 vpmuludq 224(%rsp),%xmm6,%xmm5
 vpmuludq 192(%rsp),%xmm1,%xmm7
-paddq %xmm7,%xmm5
+vpaddq %xmm7,%xmm5,%xmm5
 vpmuludq 272(%rsp),%xmm6,%xmm7
 vpmuludq 240(%rsp),%xmm1,%xmm8
-paddq %xmm8,%xmm7
+vpaddq %xmm8,%xmm7,%xmm7
 vpmuludq 288(%rsp),%xmm6,%xmm8
 vpmuludq 272(%rsp),%xmm1,%xmm9
-paddq %xmm9,%xmm8
+vpaddq %xmm9,%xmm8,%xmm8
 vpmuludq 336(%rsp),%xmm6,%xmm9
 vpmuludq 304(%rsp),%xmm1,%xmm10
-paddq %xmm10,%xmm9
+vpaddq %xmm10,%xmm9,%xmm9
 vpmuludq 352(%rsp),%xmm6,%xmm10
 vpmuludq 336(%rsp),%xmm1,%xmm11
-paddq %xmm11,%xmm10
+vpaddq %xmm11,%xmm10,%xmm10
 vpmuludq 400(%rsp),%xmm6,%xmm11
 vpmuludq 368(%rsp),%xmm1,%xmm12
-paddq %xmm12,%xmm11
+vpaddq %xmm12,%xmm11,%xmm11
 vpmuludq 416(%rsp),%xmm6,%xmm12
 vpmuludq 400(%rsp),%xmm1,%xmm13
-paddq %xmm13,%xmm12
+vpaddq %xmm13,%xmm12,%xmm12
 vpmuludq 448(%rsp),%xmm6,%xmm13
 vpmuludq 432(%rsp),%xmm1,%xmm14
-paddq %xmm14,%xmm13
+vpaddq %xmm14,%xmm13,%xmm13
 vpmuludq 464(%rsp),%xmm6,%xmm14
 vpmuludq 448(%rsp),%xmm1,%xmm15
-paddq %xmm15,%xmm14
+vpaddq %xmm15,%xmm14,%xmm14
 vpmuludq 192(%rsp),%xmm6,%xmm6
-pmuludq v19_19(%rip),%xmm1
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 480(%rsp),%xmm1,%xmm1
-paddq %xmm1,%xmm6
-movdqa 256(%rsp),%xmm1
-paddq %xmm1,%xmm2
+vpaddq %xmm1,%xmm6,%xmm6
+vmovdqa 256(%rsp),%xmm1
+vpaddq %xmm1,%xmm2,%xmm2
 vpunpcklqdq %xmm2,%xmm1,%xmm15
 vpunpckhqdq %xmm2,%xmm1,%xmm1
 vpmuludq 192(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 224(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 272(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 288(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 336(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 352(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 400(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 416(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm15
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm15,%xmm15
 vpmuludq 448(%rsp),%xmm15,%xmm2
-paddq %xmm2,%xmm6
-pmuludq 464(%rsp),%xmm15
-paddq %xmm15,%xmm5
+vpaddq %xmm2,%xmm6,%xmm6
+vpmuludq 464(%rsp),%xmm15,%xmm15
+vpaddq %xmm15,%xmm5,%xmm5
 vpmuludq 192(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 240(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 272(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 304(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 336(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 368(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 400(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 432(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 448(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
-pmuludq 480(%rsp),%xmm1
-paddq %xmm1,%xmm7
-movdqa 320(%rsp),%xmm1
-paddq %xmm1,%xmm3
+vpaddq %xmm2,%xmm5,%xmm5
+vpmuludq 480(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm7,%xmm7
+vmovdqa 320(%rsp),%xmm1
+vpaddq %xmm1,%xmm3,%xmm3
 vpunpcklqdq %xmm3,%xmm1,%xmm2
 vpunpckhqdq %xmm3,%xmm1,%xmm1
 vpmuludq 192(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm9
+vpaddq %xmm3,%xmm9,%xmm9
 vpmuludq 224(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm10
+vpaddq %xmm3,%xmm10,%xmm10
 vpmuludq 272(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 288(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm12
+vpaddq %xmm3,%xmm12,%xmm12
 vpmuludq 336(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 352(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm3,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 400(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 416(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 448(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm7
-pmuludq 464(%rsp),%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm3,%xmm7,%xmm7
+vpmuludq 464(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 192(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 240(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm11
+vpaddq %xmm2,%xmm11,%xmm11
 vpmuludq 272(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 304(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 336(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 368(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 400(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq 432(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 448(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
-pmuludq 480(%rsp),%xmm1
-paddq %xmm1,%xmm9
-movdqa 384(%rsp),%xmm1
-paddq %xmm1,%xmm4
+vpaddq %xmm2,%xmm8,%xmm8
+vpmuludq 480(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm9,%xmm9
+vmovdqa 384(%rsp),%xmm1
+vpaddq %xmm1,%xmm4,%xmm4
 vpunpcklqdq %xmm4,%xmm1,%xmm2
 vpunpckhqdq %xmm4,%xmm1,%xmm1
 vpmuludq 192(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm11
+vpaddq %xmm3,%xmm11,%xmm11
 vpmuludq 224(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm12
+vpaddq %xmm3,%xmm12,%xmm12
 vpmuludq 272(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm13
+vpaddq %xmm3,%xmm13,%xmm13
 vpmuludq 288(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm3,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 336(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm6
+vpaddq %xmm3,%xmm6,%xmm6
 vpmuludq 352(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm5
+vpaddq %xmm3,%xmm5,%xmm5
 vpmuludq 400(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm7
+vpaddq %xmm3,%xmm7,%xmm7
 vpmuludq 416(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm8
+vpaddq %xmm3,%xmm8,%xmm8
 vpmuludq 448(%rsp),%xmm2,%xmm3
-paddq %xmm3,%xmm9
-pmuludq 464(%rsp),%xmm2
-paddq %xmm2,%xmm10
+vpaddq %xmm3,%xmm9,%xmm9
+vpmuludq 464(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm10,%xmm10
 vpmuludq 192(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 240(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm13
+vpaddq %xmm2,%xmm13,%xmm13
 vpmuludq 272(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm14
-pmuludq v19_19(%rip),%xmm1
+vpaddq %xmm2,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm1,%xmm1
 vpmuludq 304(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm6
+vpaddq %xmm2,%xmm6,%xmm6
 vpmuludq 336(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm5
+vpaddq %xmm2,%xmm5,%xmm5
 vpmuludq 368(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm7
+vpaddq %xmm2,%xmm7,%xmm7
 vpmuludq 400(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm8
+vpaddq %xmm2,%xmm8,%xmm8
 vpmuludq 432(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm9
+vpaddq %xmm2,%xmm9,%xmm9
 vpmuludq 448(%rsp),%xmm1,%xmm2
-paddq %xmm2,%xmm10
-pmuludq 480(%rsp),%xmm1
-paddq %xmm1,%xmm11
-movdqa 160(%rsp),%xmm1
-paddq %xmm1,%xmm0
+vpaddq %xmm2,%xmm10,%xmm10
+vpmuludq 480(%rsp),%xmm1,%xmm1
+vpaddq %xmm1,%xmm11,%xmm11
+vmovdqa 160(%rsp),%xmm1
+vpaddq %xmm1,%xmm0,%xmm0
 vpunpcklqdq %xmm0,%xmm1,%xmm2
 vpunpckhqdq %xmm0,%xmm1,%xmm0
 vpmuludq 192(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm13
+vpaddq %xmm1,%xmm13,%xmm13
 vpmuludq 224(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm14
-pmuludq v19_19(%rip),%xmm2
+vpaddq %xmm1,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm2,%xmm2
 vpmuludq 272(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm6
+vpaddq %xmm1,%xmm6,%xmm6
 vpmuludq 288(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm5
+vpaddq %xmm1,%xmm5,%xmm5
 vpmuludq 336(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm7
+vpaddq %xmm1,%xmm7,%xmm7
 vpmuludq 352(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm8
+vpaddq %xmm1,%xmm8,%xmm8
 vpmuludq 400(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm9
+vpaddq %xmm1,%xmm9,%xmm9
 vpmuludq 416(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm10
+vpaddq %xmm1,%xmm10,%xmm10
 vpmuludq 448(%rsp),%xmm2,%xmm1
-paddq %xmm1,%xmm11
-pmuludq 464(%rsp),%xmm2
-paddq %xmm2,%xmm12
+vpaddq %xmm1,%xmm11,%xmm11
+vpmuludq 464(%rsp),%xmm2,%xmm2
+vpaddq %xmm2,%xmm12,%xmm12
 vpmuludq 192(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm14
-pmuludq v19_19(%rip),%xmm0
+vpaddq %xmm1,%xmm14,%xmm14
+vpmuludq v19_19(%rip),%xmm0,%xmm0
 vpmuludq 240(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm6
+vpaddq %xmm1,%xmm6,%xmm6
 vpmuludq 272(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm5
+vpaddq %xmm1,%xmm5,%xmm5
 vpmuludq 304(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm7
+vpaddq %xmm1,%xmm7,%xmm7
 vpmuludq 336(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm8
+vpaddq %xmm1,%xmm8,%xmm8
 vpmuludq 368(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm9
+vpaddq %xmm1,%xmm9,%xmm9
 vpmuludq 400(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm10
+vpaddq %xmm1,%xmm10,%xmm10
 vpmuludq 432(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm11
+vpaddq %xmm1,%xmm11,%xmm11
 vpmuludq 448(%rsp),%xmm0,%xmm1
-paddq %xmm1,%xmm12
-pmuludq 480(%rsp),%xmm0
-paddq %xmm0,%xmm13
+vpaddq %xmm1,%xmm12,%xmm12
+vpmuludq 480(%rsp),%xmm0,%xmm0
+vpaddq %xmm0,%xmm13,%xmm13
 vpsrlq $26,%xmm6,%xmm0
-paddq %xmm0,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm0,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpsrlq $25,%xmm10,%xmm0
-paddq %xmm0,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm0,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $25,%xmm5,%xmm0
-paddq %xmm0,%xmm7
-pand m25(%rip),%xmm5
+vpaddq %xmm0,%xmm7,%xmm7
+vpand m25(%rip),%xmm5,%xmm5
 vpsrlq $26,%xmm11,%xmm0
-paddq %xmm0,%xmm12
-pand m26(%rip),%xmm11
+vpaddq %xmm0,%xmm12,%xmm12
+vpand m26(%rip),%xmm11,%xmm11
 vpsrlq $26,%xmm7,%xmm0
-paddq %xmm0,%xmm8
-pand m26(%rip),%xmm7
+vpaddq %xmm0,%xmm8,%xmm8
+vpand m26(%rip),%xmm7,%xmm7
 vpsrlq $25,%xmm12,%xmm0
-paddq %xmm0,%xmm13
-pand m25(%rip),%xmm12
+vpaddq %xmm0,%xmm13,%xmm13
+vpand m25(%rip),%xmm12,%xmm12
 vpsrlq $25,%xmm8,%xmm0
-paddq %xmm0,%xmm9
-pand m25(%rip),%xmm8
+vpaddq %xmm0,%xmm9,%xmm9
+vpand m25(%rip),%xmm8,%xmm8
 vpsrlq $26,%xmm13,%xmm0
-paddq %xmm0,%xmm14
-pand m26(%rip),%xmm13
+vpaddq %xmm0,%xmm14,%xmm14
+vpand m26(%rip),%xmm13,%xmm13
 vpsrlq $26,%xmm9,%xmm0
-paddq %xmm0,%xmm10
-pand m26(%rip),%xmm9
+vpaddq %xmm0,%xmm10,%xmm10
+vpand m26(%rip),%xmm9,%xmm9
 vpsrlq $25,%xmm14,%xmm0
 vpsllq $4,%xmm0,%xmm1
-paddq %xmm0,%xmm6
-psllq $1,%xmm0
-paddq %xmm0,%xmm1
-paddq %xmm1,%xmm6
-pand m25(%rip),%xmm14
+vpaddq %xmm0,%xmm6,%xmm6
+vpsllq $1,%xmm0,%xmm0
+vpaddq %xmm0,%xmm1,%xmm1
+vpaddq %xmm1,%xmm6,%xmm6
+vpand m25(%rip),%xmm14,%xmm14
 vpsrlq $25,%xmm10,%xmm0
-paddq %xmm0,%xmm11
-pand m25(%rip),%xmm10
+vpaddq %xmm0,%xmm11,%xmm11
+vpand m25(%rip),%xmm10,%xmm10
 vpsrlq $26,%xmm6,%xmm0
-paddq %xmm0,%xmm5
-pand m26(%rip),%xmm6
+vpaddq %xmm0,%xmm5,%xmm5
+vpand m26(%rip),%xmm6,%xmm6
 vpunpckhqdq %xmm5,%xmm6,%xmm1
 vpunpcklqdq %xmm5,%xmm6,%xmm0
 vpunpckhqdq %xmm8,%xmm7,%xmm3
@@ -2679,16 +2689,16 @@ vpunpckhqdq %xmm14,%xmm13,%xmm9
 vpunpcklqdq %xmm14,%xmm13,%xmm8
 cmp  $0,%rdx
 jne ._ladder_base_loop
-movdqu   %xmm1,80(%rdi)
-movdqu   %xmm0,0(%rdi)
-movdqu   %xmm3,96(%rdi)
-movdqu   %xmm2,16(%rdi)
-movdqu   %xmm5,112(%rdi)
-movdqu   %xmm4,32(%rdi)
-movdqu   %xmm7,128(%rdi)
-movdqu   %xmm6,48(%rdi)
-movdqu   %xmm9,144(%rdi)
-movdqu   %xmm8,64(%rdi)
+vmovdqu %xmm1,80(%rdi)
+vmovdqu %xmm0,0(%rdi)
+vmovdqu %xmm3,96(%rdi)
+vmovdqu %xmm2,16(%rdi)
+vmovdqu %xmm5,112(%rdi)
+vmovdqu %xmm4,32(%rdi)
+vmovdqu %xmm7,128(%rdi)
+vmovdqu %xmm6,48(%rdi)
+vmovdqu %xmm9,144(%rdi)
+vmovdqu %xmm8,64(%rdi)
 movq 1536(%rsp),%r11
 movq 1544(%rsp),%r12
 movq 1552(%rsp),%r13
@@ -2714,6 +2724,8 @@ movq   32(%rsi),%rsi
 movq REDMASK51(%rip),%rax
 lea  -18(%rax),%r10
 mov  $3,%r11
+
+.p2align 4
 ._reduceloop:
 mov  %rdx,%r12
 shr  $51,%r12
@@ -2738,6 +2750,7 @@ imulq  $19, %r12,%r12
 add  %r12,%rdx
 sub  $1,%r11
 ja ._reduceloop
+
 mov  $1,%r12
 cmp  %r10,%rdx
 cmovl %r11,%r12
@@ -3102,7 +3115,9 @@ movq   %r9,16(%rdi)
 movq   %rax,24(%rdi)
 movq   %rsi,32(%rdi)
 mov  %rdx,%rsi
-._loop_nsquare:
+
+.p2align 4
+._loop:
 sub  $1,%rsi
 mov  %rcx,%rax
 mul  %rcx
@@ -3214,7 +3229,8 @@ lea  (%rax,%r9),%rcx
 and  %rdx,%r10
 movq   %r10,32(%rdi)
 cmp  $0,%rsi
-jne ._loop_nsquare
+jne ._loop
+
 movq   %rcx,0(%rdi)
 movq   %r8,8(%rdi)
 movq 0(%rsp),%r11
index ed6fd52e59d01b60b38fe5fe104907431184162b..27cbf4601f63fbec41daad4f867b1cb58a839346 100644 (file)
@@ -61,7 +61,7 @@ fe_frombytes (fe h, const unsigned char *s)
        guint64 h6 = load_3 (s + 20) << 7;
        guint64 h7 = load_3 (s + 23) << 5;
        guint64 h8 = load_3 (s + 26) << 4;
-       guint64 h9 = load_3 (s + 29) << 2;
+       guint64 h9 = (load_3(s + 29) & 8388607) << 2;
        guint64 carry0;
        guint64 carry1;
        guint64 carry2;
index 1f39c2dc7ec5f51a8ce0a183c4c1a9eb10733285..c8e048c3ff9bcc7ea8d8b275a9de3bc12a37bd5a 100644 (file)
@@ -1,20 +1,4 @@
-SECTION_RODATA
-
-.globl v0_0
-.globl v1_0
-.globl v2_1
-.globl v19_19
-.globl v38_1
-.globl v38_38
-.globl v121666_121666
-.globl m25
-.globl m26
-.globl subc0
-.globl subc2
-.globl v9_0
-.globl v9_9
-.globl base64_table_dec
-.globl REDMASK51
+.data
 
 .p2align 4