blake3_avx512_x86-64_unix.S source code [llvm_projects/llvm/lib/Support/BLAKE3/blake3_avx512_x86-64_unix.S]

1	#if defined(__x86_64__)
2
3	#include "llvm_blake3_prefix.h"
4
5	#if defined(__ELF__) && !(defined(__sun__) && defined(__svr4__))
6	.section .note.GNU-stack,"",%progbits
7	#endif
8
9	#if defined(__ELF__) && defined(__CET__) && defined(__has_include)
10	#if __has_include(<cet.h>)
11	#include <cet.h>
12	#endif
13	#endif
14
15	#if !defined(_CET_ENDBR)
16	#define _CET_ENDBR
17	#endif
18
19	#ifdef __APPLE__
20	#define HIDDEN .private_extern
21	#else
22	#define HIDDEN .hidden
23	#endif
24
25	.intel_syntax noprefix
26	HIDDEN _blake3_hash_many_avx512
27	HIDDEN blake3_hash_many_avx512
28	HIDDEN blake3_compress_in_place_avx512
29	HIDDEN _blake3_compress_in_place_avx512
30	HIDDEN blake3_compress_xof_avx512
31	HIDDEN _blake3_compress_xof_avx512
32	.global _blake3_hash_many_avx512
33	.global blake3_hash_many_avx512
34	.global blake3_compress_in_place_avx512
35	.global _blake3_compress_in_place_avx512
36	.global blake3_compress_xof_avx512
37	.global _blake3_compress_xof_avx512
38
39	#ifdef __APPLE__
40	.text
41	#else
42	.section .text
43	#endif
44	.p2align `6`
45	_blake3_hash_many_avx512:
46	blake3_hash_many_avx512:
47	_CET_ENDBR
48	push r15
49	push r14
50	push r13
51	push r12
52	push rbx
53	push rbp
54	mov rbp, rsp
55	sub rsp, `144`
56	and rsp, `0xFFFFFFFFFFFFFFC0`
57	neg r9
58	kmovw k1, r9d
59	vmovd xmm0, r8d
60	vpbroadcastd ymm0, xmm0
61	shr r8, `32`
62	vmovd xmm1, r8d
63	vpbroadcastd ymm1, xmm1
64	vmovdqa ymm4, ymm1
65	vmovdqa ymm5, ymm1
66	vpaddd ymm2, ymm0, ymmword ptr [ADD0+rip]
67	vpaddd ymm3, ymm0, ymmword ptr [ADD0+`32`+rip]
68	vpcmpltud k2, ymm2, ymm0
69	vpcmpltud k3, ymm3, ymm0
70	vpaddd ymm4 {k2}, ymm4, dword ptr [ADD1+rip] {`1to8`}
71	vpaddd ymm5 {k3}, ymm5, dword ptr [ADD1+rip] {`1to8`}
72	knotw k2, k1
73	vmovdqa32 ymm2 {k2}, ymm0
74	vmovdqa32 ymm3 {k2}, ymm0
75	vmovdqa32 ymm4 {k2}, ymm1
76	vmovdqa32 ymm5 {k2}, ymm1
77	vmovdqa ymmword ptr [rsp], ymm2
78	vmovdqa ymmword ptr [rsp+`0x1`*`0x20`], ymm3
79	vmovdqa ymmword ptr [rsp+`0x2`*`0x20`], ymm4
80	vmovdqa ymmword ptr [rsp+`0x3`*`0x20`], ymm5
81	shl rdx, `6`
82	mov qword ptr [rsp+`0x80`], rdx
83	cmp rsi, `16`
84	jc `3f`
85	`2`:
86	vpbroadcastd zmm0, dword ptr [rcx]
87	vpbroadcastd zmm1, dword ptr [rcx+`0x1`*`0x4`]
88	vpbroadcastd zmm2, dword ptr [rcx+`0x2`*`0x4`]
89	vpbroadcastd zmm3, dword ptr [rcx+`0x3`*`0x4`]
90	vpbroadcastd zmm4, dword ptr [rcx+`0x4`*`0x4`]
91	vpbroadcastd zmm5, dword ptr [rcx+`0x5`*`0x4`]
92	vpbroadcastd zmm6, dword ptr [rcx+`0x6`*`0x4`]
93	vpbroadcastd zmm7, dword ptr [rcx+`0x7`*`0x4`]
94	movzx eax, byte ptr [rbp+`0x38`]
95	movzx ebx, byte ptr [rbp+`0x40`]
96	or eax, ebx
97	xor edx, edx
98	.p2align `5`
99	`9`:
100	movzx ebx, byte ptr [rbp+`0x48`]
101	or ebx, eax
102	add rdx, `64`
103	cmp rdx, qword ptr [rsp+`0x80`]
104	cmove eax, ebx
105	mov dword ptr [rsp+`0x88`], eax
106	mov r8, qword ptr [rdi]
107	mov r9, qword ptr [rdi+`0x8`]
108	mov r10, qword ptr [rdi+`0x10`]
109	mov r11, qword ptr [rdi+`0x18`]
110	mov r12, qword ptr [rdi+`0x40`]
111	mov r13, qword ptr [rdi+`0x48`]
112	mov r14, qword ptr [rdi+`0x50`]
113	mov r15, qword ptr [rdi+`0x58`]
114	vmovdqu32 ymm16, ymmword ptr [rdx+r8-`0x2`*`0x20`]
115	vinserti64x4 zmm16, zmm16, ymmword ptr [rdx+r12-`0x2`*`0x20`], `0x01`
116	vmovdqu32 ymm17, ymmword ptr [rdx+r9-`0x2`*`0x20`]
117	vinserti64x4 zmm17, zmm17, ymmword ptr [rdx+r13-`0x2`*`0x20`], `0x01`
118	vpunpcklqdq zmm8, zmm16, zmm17
119	vpunpckhqdq zmm9, zmm16, zmm17
120	vmovdqu32 ymm18, ymmword ptr [rdx+r10-`0x2`*`0x20`]
121	vinserti64x4 zmm18, zmm18, ymmword ptr [rdx+r14-`0x2`*`0x20`], `0x01`
122	vmovdqu32 ymm19, ymmword ptr [rdx+r11-`0x2`*`0x20`]
123	vinserti64x4 zmm19, zmm19, ymmword ptr [rdx+r15-`0x2`*`0x20`], `0x01`
124	vpunpcklqdq zmm10, zmm18, zmm19
125	vpunpckhqdq zmm11, zmm18, zmm19
126	mov r8, qword ptr [rdi+`0x20`]
127	mov r9, qword ptr [rdi+`0x28`]
128	mov r10, qword ptr [rdi+`0x30`]
129	mov r11, qword ptr [rdi+`0x38`]
130	mov r12, qword ptr [rdi+`0x60`]
131	mov r13, qword ptr [rdi+`0x68`]
132	mov r14, qword ptr [rdi+`0x70`]
133	mov r15, qword ptr [rdi+`0x78`]
134	vmovdqu32 ymm16, ymmword ptr [rdx+r8-`0x2`*`0x20`]
135	vinserti64x4 zmm16, zmm16, ymmword ptr [rdx+r12-`0x2`*`0x20`], `0x01`
136	vmovdqu32 ymm17, ymmword ptr [rdx+r9-`0x2`*`0x20`]
137	vinserti64x4 zmm17, zmm17, ymmword ptr [rdx+r13-`0x2`*`0x20`], `0x01`
138	vpunpcklqdq zmm12, zmm16, zmm17
139	vpunpckhqdq zmm13, zmm16, zmm17
140	vmovdqu32 ymm18, ymmword ptr [rdx+r10-`0x2`*`0x20`]
141	vinserti64x4 zmm18, zmm18, ymmword ptr [rdx+r14-`0x2`*`0x20`], `0x01`
142	vmovdqu32 ymm19, ymmword ptr [rdx+r11-`0x2`*`0x20`]
143	vinserti64x4 zmm19, zmm19, ymmword ptr [rdx+r15-`0x2`*`0x20`], `0x01`
144	vpunpcklqdq zmm14, zmm18, zmm19
145	vpunpckhqdq zmm15, zmm18, zmm19
146	vmovdqa32 zmm27, zmmword ptr [INDEX0+rip]
147	vmovdqa32 zmm31, zmmword ptr [INDEX1+rip]
148	vshufps zmm16, zmm8, zmm10, `136`
149	vshufps zmm17, zmm12, zmm14, `136`
150	vmovdqa32 zmm20, zmm16
151	vpermt2d zmm16, zmm27, zmm17
152	vpermt2d zmm20, zmm31, zmm17
153	vshufps zmm17, zmm8, zmm10, `221`
154	vshufps zmm30, zmm12, zmm14, `221`
155	vmovdqa32 zmm21, zmm17
156	vpermt2d zmm17, zmm27, zmm30
157	vpermt2d zmm21, zmm31, zmm30
158	vshufps zmm18, zmm9, zmm11, `136`
159	vshufps zmm8, zmm13, zmm15, `136`
160	vmovdqa32 zmm22, zmm18
161	vpermt2d zmm18, zmm27, zmm8
162	vpermt2d zmm22, zmm31, zmm8
163	vshufps zmm19, zmm9, zmm11, `221`
164	vshufps zmm8, zmm13, zmm15, `221`
165	vmovdqa32 zmm23, zmm19
166	vpermt2d zmm19, zmm27, zmm8
167	vpermt2d zmm23, zmm31, zmm8
168	mov r8, qword ptr [rdi]
169	mov r9, qword ptr [rdi+`0x8`]
170	mov r10, qword ptr [rdi+`0x10`]
171	mov r11, qword ptr [rdi+`0x18`]
172	mov r12, qword ptr [rdi+`0x40`]
173	mov r13, qword ptr [rdi+`0x48`]
174	mov r14, qword ptr [rdi+`0x50`]
175	mov r15, qword ptr [rdi+`0x58`]
176	vmovdqu32 ymm24, ymmword ptr [r8+rdx-`0x1`*`0x20`]
177	vinserti64x4 zmm24, zmm24, ymmword ptr [r12+rdx-`0x1`*`0x20`], `0x01`
178	vmovdqu32 ymm25, ymmword ptr [r9+rdx-`0x1`*`0x20`]
179	vinserti64x4 zmm25, zmm25, ymmword ptr [r13+rdx-`0x1`*`0x20`], `0x01`
180	vpunpcklqdq zmm8, zmm24, zmm25
181	vpunpckhqdq zmm9, zmm24, zmm25
182	vmovdqu32 ymm24, ymmword ptr [r10+rdx-`0x1`*`0x20`]
183	vinserti64x4 zmm24, zmm24, ymmword ptr [r14+rdx-`0x1`*`0x20`], `0x01`
184	vmovdqu32 ymm25, ymmword ptr [r11+rdx-`0x1`*`0x20`]
185	vinserti64x4 zmm25, zmm25, ymmword ptr [r15+rdx-`0x1`*`0x20`], `0x01`
186	vpunpcklqdq zmm10, zmm24, zmm25
187	vpunpckhqdq zmm11, zmm24, zmm25
188	prefetcht0 [r8+rdx+`0x80`]
189	prefetcht0 [r12+rdx+`0x80`]
190	prefetcht0 [r9+rdx+`0x80`]
191	prefetcht0 [r13+rdx+`0x80`]
192	prefetcht0 [r10+rdx+`0x80`]
193	prefetcht0 [r14+rdx+`0x80`]
194	prefetcht0 [r11+rdx+`0x80`]
195	prefetcht0 [r15+rdx+`0x80`]
196	mov r8, qword ptr [rdi+`0x20`]
197	mov r9, qword ptr [rdi+`0x28`]
198	mov r10, qword ptr [rdi+`0x30`]
199	mov r11, qword ptr [rdi+`0x38`]
200	mov r12, qword ptr [rdi+`0x60`]
201	mov r13, qword ptr [rdi+`0x68`]
202	mov r14, qword ptr [rdi+`0x70`]
203	mov r15, qword ptr [rdi+`0x78`]
204	vmovdqu32 ymm24, ymmword ptr [r8+rdx-`0x1`*`0x20`]
205	vinserti64x4 zmm24, zmm24, ymmword ptr [r12+rdx-`0x1`*`0x20`], `0x01`
206	vmovdqu32 ymm25, ymmword ptr [r9+rdx-`0x1`*`0x20`]
207	vinserti64x4 zmm25, zmm25, ymmword ptr [r13+rdx-`0x1`*`0x20`], `0x01`
208	vpunpcklqdq zmm12, zmm24, zmm25
209	vpunpckhqdq zmm13, zmm24, zmm25
210	vmovdqu32 ymm24, ymmword ptr [r10+rdx-`0x1`*`0x20`]
211	vinserti64x4 zmm24, zmm24, ymmword ptr [r14+rdx-`0x1`*`0x20`], `0x01`
212	vmovdqu32 ymm25, ymmword ptr [r11+rdx-`0x1`*`0x20`]
213	vinserti64x4 zmm25, zmm25, ymmword ptr [r15+rdx-`0x1`*`0x20`], `0x01`
214	vpunpcklqdq zmm14, zmm24, zmm25
215	vpunpckhqdq zmm15, zmm24, zmm25
216	prefetcht0 [r8+rdx+`0x80`]
217	prefetcht0 [r12+rdx+`0x80`]
218	prefetcht0 [r9+rdx+`0x80`]
219	prefetcht0 [r13+rdx+`0x80`]
220	prefetcht0 [r10+rdx+`0x80`]
221	prefetcht0 [r14+rdx+`0x80`]
222	prefetcht0 [r11+rdx+`0x80`]
223	prefetcht0 [r15+rdx+`0x80`]
224	vshufps zmm24, zmm8, zmm10, `136`
225	vshufps zmm30, zmm12, zmm14, `136`
226	vmovdqa32 zmm28, zmm24
227	vpermt2d zmm24, zmm27, zmm30
228	vpermt2d zmm28, zmm31, zmm30
229	vshufps zmm25, zmm8, zmm10, `221`
230	vshufps zmm30, zmm12, zmm14, `221`
231	vmovdqa32 zmm29, zmm25
232	vpermt2d zmm25, zmm27, zmm30
233	vpermt2d zmm29, zmm31, zmm30
234	vshufps zmm26, zmm9, zmm11, `136`
235	vshufps zmm8, zmm13, zmm15, `136`
236	vmovdqa32 zmm30, zmm26
237	vpermt2d zmm26, zmm27, zmm8
238	vpermt2d zmm30, zmm31, zmm8
239	vshufps zmm8, zmm9, zmm11, `221`
240	vshufps zmm10, zmm13, zmm15, `221`
241	vpermi2d zmm27, zmm8, zmm10
242	vpermi2d zmm31, zmm8, zmm10
243	vpbroadcastd zmm8, dword ptr [BLAKE3_IV_0+rip]
244	vpbroadcastd zmm9, dword ptr [BLAKE3_IV_1+rip]
245	vpbroadcastd zmm10, dword ptr [BLAKE3_IV_2+rip]
246	vpbroadcastd zmm11, dword ptr [BLAKE3_IV_3+rip]
247	vmovdqa32 zmm12, zmmword ptr [rsp]
248	vmovdqa32 zmm13, zmmword ptr [rsp+`0x1`*`0x40`]
249	vpbroadcastd zmm14, dword ptr [BLAKE3_BLOCK_LEN+rip]
250	vpbroadcastd zmm15, dword ptr [rsp+`0x22`*`0x4`]
251	vpaddd zmm0, zmm0, zmm16
252	vpaddd zmm1, zmm1, zmm18
253	vpaddd zmm2, zmm2, zmm20
254	vpaddd zmm3, zmm3, zmm22
255	vpaddd zmm0, zmm0, zmm4
256	vpaddd zmm1, zmm1, zmm5
257	vpaddd zmm2, zmm2, zmm6
258	vpaddd zmm3, zmm3, zmm7
259	vpxord zmm12, zmm12, zmm0
260	vpxord zmm13, zmm13, zmm1
261	vpxord zmm14, zmm14, zmm2
262	vpxord zmm15, zmm15, zmm3
263	vprord zmm12, zmm12, `16`
264	vprord zmm13, zmm13, `16`
265	vprord zmm14, zmm14, `16`
266	vprord zmm15, zmm15, `16`
267	vpaddd zmm8, zmm8, zmm12
268	vpaddd zmm9, zmm9, zmm13
269	vpaddd zmm10, zmm10, zmm14
270	vpaddd zmm11, zmm11, zmm15
271	vpxord zmm4, zmm4, zmm8
272	vpxord zmm5, zmm5, zmm9
273	vpxord zmm6, zmm6, zmm10
274	vpxord zmm7, zmm7, zmm11
275	vprord zmm4, zmm4, `12`
276	vprord zmm5, zmm5, `12`
277	vprord zmm6, zmm6, `12`
278	vprord zmm7, zmm7, `12`
279	vpaddd zmm0, zmm0, zmm17
280	vpaddd zmm1, zmm1, zmm19
281	vpaddd zmm2, zmm2, zmm21
282	vpaddd zmm3, zmm3, zmm23
283	vpaddd zmm0, zmm0, zmm4
284	vpaddd zmm1, zmm1, zmm5
285	vpaddd zmm2, zmm2, zmm6
286	vpaddd zmm3, zmm3, zmm7
287	vpxord zmm12, zmm12, zmm0
288	vpxord zmm13, zmm13, zmm1
289	vpxord zmm14, zmm14, zmm2
290	vpxord zmm15, zmm15, zmm3
291	vprord zmm12, zmm12, `8`
292	vprord zmm13, zmm13, `8`
293	vprord zmm14, zmm14, `8`
294	vprord zmm15, zmm15, `8`
295	vpaddd zmm8, zmm8, zmm12
296	vpaddd zmm9, zmm9, zmm13
297	vpaddd zmm10, zmm10, zmm14
298	vpaddd zmm11, zmm11, zmm15
299	vpxord zmm4, zmm4, zmm8
300	vpxord zmm5, zmm5, zmm9
301	vpxord zmm6, zmm6, zmm10
302	vpxord zmm7, zmm7, zmm11
303	vprord zmm4, zmm4, `7`
304	vprord zmm5, zmm5, `7`
305	vprord zmm6, zmm6, `7`
306	vprord zmm7, zmm7, `7`
307	vpaddd zmm0, zmm0, zmm24
308	vpaddd zmm1, zmm1, zmm26
309	vpaddd zmm2, zmm2, zmm28
310	vpaddd zmm3, zmm3, zmm30
311	vpaddd zmm0, zmm0, zmm5
312	vpaddd zmm1, zmm1, zmm6
313	vpaddd zmm2, zmm2, zmm7
314	vpaddd zmm3, zmm3, zmm4
315	vpxord zmm15, zmm15, zmm0
316	vpxord zmm12, zmm12, zmm1
317	vpxord zmm13, zmm13, zmm2
318	vpxord zmm14, zmm14, zmm3
319	vprord zmm15, zmm15, `16`
320	vprord zmm12, zmm12, `16`
321	vprord zmm13, zmm13, `16`
322	vprord zmm14, zmm14, `16`
323	vpaddd zmm10, zmm10, zmm15
324	vpaddd zmm11, zmm11, zmm12
325	vpaddd zmm8, zmm8, zmm13
326	vpaddd zmm9, zmm9, zmm14
327	vpxord zmm5, zmm5, zmm10
328	vpxord zmm6, zmm6, zmm11
329	vpxord zmm7, zmm7, zmm8
330	vpxord zmm4, zmm4, zmm9
331	vprord zmm5, zmm5, `12`
332	vprord zmm6, zmm6, `12`
333	vprord zmm7, zmm7, `12`
334	vprord zmm4, zmm4, `12`
335	vpaddd zmm0, zmm0, zmm25
336	vpaddd zmm1, zmm1, zmm27
337	vpaddd zmm2, zmm2, zmm29
338	vpaddd zmm3, zmm3, zmm31
339	vpaddd zmm0, zmm0, zmm5
340	vpaddd zmm1, zmm1, zmm6
341	vpaddd zmm2, zmm2, zmm7
342	vpaddd zmm3, zmm3, zmm4
343	vpxord zmm15, zmm15, zmm0
344	vpxord zmm12, zmm12, zmm1
345	vpxord zmm13, zmm13, zmm2
346	vpxord zmm14, zmm14, zmm3
347	vprord zmm15, zmm15, `8`
348	vprord zmm12, zmm12, `8`
349	vprord zmm13, zmm13, `8`
350	vprord zmm14, zmm14, `8`
351	vpaddd zmm10, zmm10, zmm15
352	vpaddd zmm11, zmm11, zmm12
353	vpaddd zmm8, zmm8, zmm13
354	vpaddd zmm9, zmm9, zmm14
355	vpxord zmm5, zmm5, zmm10
356	vpxord zmm6, zmm6, zmm11
357	vpxord zmm7, zmm7, zmm8
358	vpxord zmm4, zmm4, zmm9
359	vprord zmm5, zmm5, `7`
360	vprord zmm6, zmm6, `7`
361	vprord zmm7, zmm7, `7`
362	vprord zmm4, zmm4, `7`
363	vpaddd zmm0, zmm0, zmm18
364	vpaddd zmm1, zmm1, zmm19
365	vpaddd zmm2, zmm2, zmm23
366	vpaddd zmm3, zmm3, zmm20
367	vpaddd zmm0, zmm0, zmm4
368	vpaddd zmm1, zmm1, zmm5
369	vpaddd zmm2, zmm2, zmm6
370	vpaddd zmm3, zmm3, zmm7
371	vpxord zmm12, zmm12, zmm0
372	vpxord zmm13, zmm13, zmm1
373	vpxord zmm14, zmm14, zmm2
374	vpxord zmm15, zmm15, zmm3
375	vprord zmm12, zmm12, `16`
376	vprord zmm13, zmm13, `16`
377	vprord zmm14, zmm14, `16`
378	vprord zmm15, zmm15, `16`
379	vpaddd zmm8, zmm8, zmm12
380	vpaddd zmm9, zmm9, zmm13
381	vpaddd zmm10, zmm10, zmm14
382	vpaddd zmm11, zmm11, zmm15
383	vpxord zmm4, zmm4, zmm8
384	vpxord zmm5, zmm5, zmm9
385	vpxord zmm6, zmm6, zmm10
386	vpxord zmm7, zmm7, zmm11
387	vprord zmm4, zmm4, `12`
388	vprord zmm5, zmm5, `12`
389	vprord zmm6, zmm6, `12`
390	vprord zmm7, zmm7, `12`
391	vpaddd zmm0, zmm0, zmm22
392	vpaddd zmm1, zmm1, zmm26
393	vpaddd zmm2, zmm2, zmm16
394	vpaddd zmm3, zmm3, zmm29
395	vpaddd zmm0, zmm0, zmm4
396	vpaddd zmm1, zmm1, zmm5
397	vpaddd zmm2, zmm2, zmm6
398	vpaddd zmm3, zmm3, zmm7
399	vpxord zmm12, zmm12, zmm0
400	vpxord zmm13, zmm13, zmm1
401	vpxord zmm14, zmm14, zmm2
402	vpxord zmm15, zmm15, zmm3
403	vprord zmm12, zmm12, `8`
404	vprord zmm13, zmm13, `8`
405	vprord zmm14, zmm14, `8`
406	vprord zmm15, zmm15, `8`
407	vpaddd zmm8, zmm8, zmm12
408	vpaddd zmm9, zmm9, zmm13
409	vpaddd zmm10, zmm10, zmm14
410	vpaddd zmm11, zmm11, zmm15
411	vpxord zmm4, zmm4, zmm8
412	vpxord zmm5, zmm5, zmm9
413	vpxord zmm6, zmm6, zmm10
414	vpxord zmm7, zmm7, zmm11
415	vprord zmm4, zmm4, `7`
416	vprord zmm5, zmm5, `7`
417	vprord zmm6, zmm6, `7`
418	vprord zmm7, zmm7, `7`
419	vpaddd zmm0, zmm0, zmm17
420	vpaddd zmm1, zmm1, zmm28
421	vpaddd zmm2, zmm2, zmm25
422	vpaddd zmm3, zmm3, zmm31
423	vpaddd zmm0, zmm0, zmm5
424	vpaddd zmm1, zmm1, zmm6
425	vpaddd zmm2, zmm2, zmm7
426	vpaddd zmm3, zmm3, zmm4
427	vpxord zmm15, zmm15, zmm0
428	vpxord zmm12, zmm12, zmm1
429	vpxord zmm13, zmm13, zmm2
430	vpxord zmm14, zmm14, zmm3
431	vprord zmm15, zmm15, `16`
432	vprord zmm12, zmm12, `16`
433	vprord zmm13, zmm13, `16`
434	vprord zmm14, zmm14, `16`
435	vpaddd zmm10, zmm10, zmm15
436	vpaddd zmm11, zmm11, zmm12
437	vpaddd zmm8, zmm8, zmm13
438	vpaddd zmm9, zmm9, zmm14
439	vpxord zmm5, zmm5, zmm10
440	vpxord zmm6, zmm6, zmm11
441	vpxord zmm7, zmm7, zmm8
442	vpxord zmm4, zmm4, zmm9
443	vprord zmm5, zmm5, `12`
444	vprord zmm6, zmm6, `12`
445	vprord zmm7, zmm7, `12`
446	vprord zmm4, zmm4, `12`
447	vpaddd zmm0, zmm0, zmm27
448	vpaddd zmm1, zmm1, zmm21
449	vpaddd zmm2, zmm2, zmm30
450	vpaddd zmm3, zmm3, zmm24
451	vpaddd zmm0, zmm0, zmm5
452	vpaddd zmm1, zmm1, zmm6
453	vpaddd zmm2, zmm2, zmm7
454	vpaddd zmm3, zmm3, zmm4
455	vpxord zmm15, zmm15, zmm0
456	vpxord zmm12, zmm12, zmm1
457	vpxord zmm13, zmm13, zmm2
458	vpxord zmm14, zmm14, zmm3
459	vprord zmm15, zmm15, `8`
460	vprord zmm12, zmm12, `8`
461	vprord zmm13, zmm13, `8`
462	vprord zmm14, zmm14, `8`
463	vpaddd zmm10, zmm10, zmm15
464	vpaddd zmm11, zmm11, zmm12
465	vpaddd zmm8, zmm8, zmm13
466	vpaddd zmm9, zmm9, zmm14
467	vpxord zmm5, zmm5, zmm10
468	vpxord zmm6, zmm6, zmm11
469	vpxord zmm7, zmm7, zmm8
470	vpxord zmm4, zmm4, zmm9
471	vprord zmm5, zmm5, `7`
472	vprord zmm6, zmm6, `7`
473	vprord zmm7, zmm7, `7`
474	vprord zmm4, zmm4, `7`
475	vpaddd zmm0, zmm0, zmm19
476	vpaddd zmm1, zmm1, zmm26
477	vpaddd zmm2, zmm2, zmm29
478	vpaddd zmm3, zmm3, zmm23
479	vpaddd zmm0, zmm0, zmm4
480	vpaddd zmm1, zmm1, zmm5
481	vpaddd zmm2, zmm2, zmm6
482	vpaddd zmm3, zmm3, zmm7
483	vpxord zmm12, zmm12, zmm0
484	vpxord zmm13, zmm13, zmm1
485	vpxord zmm14, zmm14, zmm2
486	vpxord zmm15, zmm15, zmm3
487	vprord zmm12, zmm12, `16`
488	vprord zmm13, zmm13, `16`
489	vprord zmm14, zmm14, `16`
490	vprord zmm15, zmm15, `16`
491	vpaddd zmm8, zmm8, zmm12
492	vpaddd zmm9, zmm9, zmm13
493	vpaddd zmm10, zmm10, zmm14
494	vpaddd zmm11, zmm11, zmm15
495	vpxord zmm4, zmm4, zmm8
496	vpxord zmm5, zmm5, zmm9
497	vpxord zmm6, zmm6, zmm10
498	vpxord zmm7, zmm7, zmm11
499	vprord zmm4, zmm4, `12`
500	vprord zmm5, zmm5, `12`
501	vprord zmm6, zmm6, `12`
502	vprord zmm7, zmm7, `12`
503	vpaddd zmm0, zmm0, zmm20
504	vpaddd zmm1, zmm1, zmm28
505	vpaddd zmm2, zmm2, zmm18
506	vpaddd zmm3, zmm3, zmm30
507	vpaddd zmm0, zmm0, zmm4
508	vpaddd zmm1, zmm1, zmm5
509	vpaddd zmm2, zmm2, zmm6
510	vpaddd zmm3, zmm3, zmm7
511	vpxord zmm12, zmm12, zmm0
512	vpxord zmm13, zmm13, zmm1
513	vpxord zmm14, zmm14, zmm2
514	vpxord zmm15, zmm15, zmm3
515	vprord zmm12, zmm12, `8`
516	vprord zmm13, zmm13, `8`
517	vprord zmm14, zmm14, `8`
518	vprord zmm15, zmm15, `8`
519	vpaddd zmm8, zmm8, zmm12
520	vpaddd zmm9, zmm9, zmm13
521	vpaddd zmm10, zmm10, zmm14
522	vpaddd zmm11, zmm11, zmm15
523	vpxord zmm4, zmm4, zmm8
524	vpxord zmm5, zmm5, zmm9
525	vpxord zmm6, zmm6, zmm10
526	vpxord zmm7, zmm7, zmm11
527	vprord zmm4, zmm4, `7`
528	vprord zmm5, zmm5, `7`
529	vprord zmm6, zmm6, `7`
530	vprord zmm7, zmm7, `7`
531	vpaddd zmm0, zmm0, zmm22
532	vpaddd zmm1, zmm1, zmm25
533	vpaddd zmm2, zmm2, zmm27
534	vpaddd zmm3, zmm3, zmm24
535	vpaddd zmm0, zmm0, zmm5
536	vpaddd zmm1, zmm1, zmm6
537	vpaddd zmm2, zmm2, zmm7
538	vpaddd zmm3, zmm3, zmm4
539	vpxord zmm15, zmm15, zmm0
540	vpxord zmm12, zmm12, zmm1
541	vpxord zmm13, zmm13, zmm2
542	vpxord zmm14, zmm14, zmm3
543	vprord zmm15, zmm15, `16`
544	vprord zmm12, zmm12, `16`
545	vprord zmm13, zmm13, `16`
546	vprord zmm14, zmm14, `16`
547	vpaddd zmm10, zmm10, zmm15
548	vpaddd zmm11, zmm11, zmm12
549	vpaddd zmm8, zmm8, zmm13
550	vpaddd zmm9, zmm9, zmm14
551	vpxord zmm5, zmm5, zmm10
552	vpxord zmm6, zmm6, zmm11
553	vpxord zmm7, zmm7, zmm8
554	vpxord zmm4, zmm4, zmm9
555	vprord zmm5, zmm5, `12`
556	vprord zmm6, zmm6, `12`
557	vprord zmm7, zmm7, `12`
558	vprord zmm4, zmm4, `12`
559	vpaddd zmm0, zmm0, zmm21
560	vpaddd zmm1, zmm1, zmm16
561	vpaddd zmm2, zmm2, zmm31
562	vpaddd zmm3, zmm3, zmm17
563	vpaddd zmm0, zmm0, zmm5
564	vpaddd zmm1, zmm1, zmm6
565	vpaddd zmm2, zmm2, zmm7
566	vpaddd zmm3, zmm3, zmm4
567	vpxord zmm15, zmm15, zmm0
568	vpxord zmm12, zmm12, zmm1
569	vpxord zmm13, zmm13, zmm2
570	vpxord zmm14, zmm14, zmm3
571	vprord zmm15, zmm15, `8`
572	vprord zmm12, zmm12, `8`
573	vprord zmm13, zmm13, `8`
574	vprord zmm14, zmm14, `8`
575	vpaddd zmm10, zmm10, zmm15
576	vpaddd zmm11, zmm11, zmm12
577	vpaddd zmm8, zmm8, zmm13
578	vpaddd zmm9, zmm9, zmm14
579	vpxord zmm5, zmm5, zmm10
580	vpxord zmm6, zmm6, zmm11
581	vpxord zmm7, zmm7, zmm8
582	vpxord zmm4, zmm4, zmm9
583	vprord zmm5, zmm5, `7`
584	vprord zmm6, zmm6, `7`
585	vprord zmm7, zmm7, `7`
586	vprord zmm4, zmm4, `7`
587	vpaddd zmm0, zmm0, zmm26
588	vpaddd zmm1, zmm1, zmm28
589	vpaddd zmm2, zmm2, zmm30
590	vpaddd zmm3, zmm3, zmm29
591	vpaddd zmm0, zmm0, zmm4
592	vpaddd zmm1, zmm1, zmm5
593	vpaddd zmm2, zmm2, zmm6
594	vpaddd zmm3, zmm3, zmm7
595	vpxord zmm12, zmm12, zmm0
596	vpxord zmm13, zmm13, zmm1
597	vpxord zmm14, zmm14, zmm2
598	vpxord zmm15, zmm15, zmm3
599	vprord zmm12, zmm12, `16`
600	vprord zmm13, zmm13, `16`
601	vprord zmm14, zmm14, `16`
602	vprord zmm15, zmm15, `16`
603	vpaddd zmm8, zmm8, zmm12
604	vpaddd zmm9, zmm9, zmm13
605	vpaddd zmm10, zmm10, zmm14
606	vpaddd zmm11, zmm11, zmm15
607	vpxord zmm4, zmm4, zmm8
608	vpxord zmm5, zmm5, zmm9
609	vpxord zmm6, zmm6, zmm10
610	vpxord zmm7, zmm7, zmm11
611	vprord zmm4, zmm4, `12`
612	vprord zmm5, zmm5, `12`
613	vprord zmm6, zmm6, `12`
614	vprord zmm7, zmm7, `12`
615	vpaddd zmm0, zmm0, zmm23
616	vpaddd zmm1, zmm1, zmm25
617	vpaddd zmm2, zmm2, zmm19
618	vpaddd zmm3, zmm3, zmm31
619	vpaddd zmm0, zmm0, zmm4
620	vpaddd zmm1, zmm1, zmm5
621	vpaddd zmm2, zmm2, zmm6
622	vpaddd zmm3, zmm3, zmm7
623	vpxord zmm12, zmm12, zmm0
624	vpxord zmm13, zmm13, zmm1
625	vpxord zmm14, zmm14, zmm2
626	vpxord zmm15, zmm15, zmm3
627	vprord zmm12, zmm12, `8`
628	vprord zmm13, zmm13, `8`
629	vprord zmm14, zmm14, `8`
630	vprord zmm15, zmm15, `8`
631	vpaddd zmm8, zmm8, zmm12
632	vpaddd zmm9, zmm9, zmm13
633	vpaddd zmm10, zmm10, zmm14
634	vpaddd zmm11, zmm11, zmm15
635	vpxord zmm4, zmm4, zmm8
636	vpxord zmm5, zmm5, zmm9
637	vpxord zmm6, zmm6, zmm10
638	vpxord zmm7, zmm7, zmm11
639	vprord zmm4, zmm4, `7`
640	vprord zmm5, zmm5, `7`
641	vprord zmm6, zmm6, `7`
642	vprord zmm7, zmm7, `7`
643	vpaddd zmm0, zmm0, zmm20
644	vpaddd zmm1, zmm1, zmm27
645	vpaddd zmm2, zmm2, zmm21
646	vpaddd zmm3, zmm3, zmm17
647	vpaddd zmm0, zmm0, zmm5
648	vpaddd zmm1, zmm1, zmm6
649	vpaddd zmm2, zmm2, zmm7
650	vpaddd zmm3, zmm3, zmm4
651	vpxord zmm15, zmm15, zmm0
652	vpxord zmm12, zmm12, zmm1
653	vpxord zmm13, zmm13, zmm2
654	vpxord zmm14, zmm14, zmm3
655	vprord zmm15, zmm15, `16`
656	vprord zmm12, zmm12, `16`
657	vprord zmm13, zmm13, `16`
658	vprord zmm14, zmm14, `16`
659	vpaddd zmm10, zmm10, zmm15
660	vpaddd zmm11, zmm11, zmm12
661	vpaddd zmm8, zmm8, zmm13
662	vpaddd zmm9, zmm9, zmm14
663	vpxord zmm5, zmm5, zmm10
664	vpxord zmm6, zmm6, zmm11
665	vpxord zmm7, zmm7, zmm8
666	vpxord zmm4, zmm4, zmm9
667	vprord zmm5, zmm5, `12`
668	vprord zmm6, zmm6, `12`
669	vprord zmm7, zmm7, `12`
670	vprord zmm4, zmm4, `12`
671	vpaddd zmm0, zmm0, zmm16
672	vpaddd zmm1, zmm1, zmm18
673	vpaddd zmm2, zmm2, zmm24
674	vpaddd zmm3, zmm3, zmm22
675	vpaddd zmm0, zmm0, zmm5
676	vpaddd zmm1, zmm1, zmm6
677	vpaddd zmm2, zmm2, zmm7
678	vpaddd zmm3, zmm3, zmm4
679	vpxord zmm15, zmm15, zmm0
680	vpxord zmm12, zmm12, zmm1
681	vpxord zmm13, zmm13, zmm2
682	vpxord zmm14, zmm14, zmm3
683	vprord zmm15, zmm15, `8`
684	vprord zmm12, zmm12, `8`
685	vprord zmm13, zmm13, `8`
686	vprord zmm14, zmm14, `8`
687	vpaddd zmm10, zmm10, zmm15
688	vpaddd zmm11, zmm11, zmm12
689	vpaddd zmm8, zmm8, zmm13
690	vpaddd zmm9, zmm9, zmm14
691	vpxord zmm5, zmm5, zmm10
692	vpxord zmm6, zmm6, zmm11
693	vpxord zmm7, zmm7, zmm8
694	vpxord zmm4, zmm4, zmm9
695	vprord zmm5, zmm5, `7`
696	vprord zmm6, zmm6, `7`
697	vprord zmm7, zmm7, `7`
698	vprord zmm4, zmm4, `7`
699	vpaddd zmm0, zmm0, zmm28
700	vpaddd zmm1, zmm1, zmm25
701	vpaddd zmm2, zmm2, zmm31
702	vpaddd zmm3, zmm3, zmm30
703	vpaddd zmm0, zmm0, zmm4
704	vpaddd zmm1, zmm1, zmm5
705	vpaddd zmm2, zmm2, zmm6
706	vpaddd zmm3, zmm3, zmm7
707	vpxord zmm12, zmm12, zmm0
708	vpxord zmm13, zmm13, zmm1
709	vpxord zmm14, zmm14, zmm2
710	vpxord zmm15, zmm15, zmm3
711	vprord zmm12, zmm12, `16`
712	vprord zmm13, zmm13, `16`
713	vprord zmm14, zmm14, `16`
714	vprord zmm15, zmm15, `16`
715	vpaddd zmm8, zmm8, zmm12
716	vpaddd zmm9, zmm9, zmm13
717	vpaddd zmm10, zmm10, zmm14
718	vpaddd zmm11, zmm11, zmm15
719	vpxord zmm4, zmm4, zmm8
720	vpxord zmm5, zmm5, zmm9
721	vpxord zmm6, zmm6, zmm10
722	vpxord zmm7, zmm7, zmm11
723	vprord zmm4, zmm4, `12`
724	vprord zmm5, zmm5, `12`
725	vprord zmm6, zmm6, `12`
726	vprord zmm7, zmm7, `12`
727	vpaddd zmm0, zmm0, zmm29
728	vpaddd zmm1, zmm1, zmm27
729	vpaddd zmm2, zmm2, zmm26
730	vpaddd zmm3, zmm3, zmm24
731	vpaddd zmm0, zmm0, zmm4
732	vpaddd zmm1, zmm1, zmm5
733	vpaddd zmm2, zmm2, zmm6
734	vpaddd zmm3, zmm3, zmm7
735	vpxord zmm12, zmm12, zmm0
736	vpxord zmm13, zmm13, zmm1
737	vpxord zmm14, zmm14, zmm2
738	vpxord zmm15, zmm15, zmm3
739	vprord zmm12, zmm12, `8`
740	vprord zmm13, zmm13, `8`
741	vprord zmm14, zmm14, `8`
742	vprord zmm15, zmm15, `8`
743	vpaddd zmm8, zmm8, zmm12
744	vpaddd zmm9, zmm9, zmm13
745	vpaddd zmm10, zmm10, zmm14
746	vpaddd zmm11, zmm11, zmm15
747	vpxord zmm4, zmm4, zmm8
748	vpxord zmm5, zmm5, zmm9
749	vpxord zmm6, zmm6, zmm10
750	vpxord zmm7, zmm7, zmm11
751	vprord zmm4, zmm4, `7`
752	vprord zmm5, zmm5, `7`
753	vprord zmm6, zmm6, `7`
754	vprord zmm7, zmm7, `7`
755	vpaddd zmm0, zmm0, zmm23
756	vpaddd zmm1, zmm1, zmm21
757	vpaddd zmm2, zmm2, zmm16
758	vpaddd zmm3, zmm3, zmm22
759	vpaddd zmm0, zmm0, zmm5
760	vpaddd zmm1, zmm1, zmm6
761	vpaddd zmm2, zmm2, zmm7
762	vpaddd zmm3, zmm3, zmm4
763	vpxord zmm15, zmm15, zmm0
764	vpxord zmm12, zmm12, zmm1
765	vpxord zmm13, zmm13, zmm2
766	vpxord zmm14, zmm14, zmm3
767	vprord zmm15, zmm15, `16`
768	vprord zmm12, zmm12, `16`
769	vprord zmm13, zmm13, `16`
770	vprord zmm14, zmm14, `16`
771	vpaddd zmm10, zmm10, zmm15
772	vpaddd zmm11, zmm11, zmm12
773	vpaddd zmm8, zmm8, zmm13
774	vpaddd zmm9, zmm9, zmm14
775	vpxord zmm5, zmm5, zmm10
776	vpxord zmm6, zmm6, zmm11
777	vpxord zmm7, zmm7, zmm8
778	vpxord zmm4, zmm4, zmm9
779	vprord zmm5, zmm5, `12`
780	vprord zmm6, zmm6, `12`
781	vprord zmm7, zmm7, `12`
782	vprord zmm4, zmm4, `12`
783	vpaddd zmm0, zmm0, zmm18
784	vpaddd zmm1, zmm1, zmm19
785	vpaddd zmm2, zmm2, zmm17
786	vpaddd zmm3, zmm3, zmm20
787	vpaddd zmm0, zmm0, zmm5
788	vpaddd zmm1, zmm1, zmm6
789	vpaddd zmm2, zmm2, zmm7
790	vpaddd zmm3, zmm3, zmm4
791	vpxord zmm15, zmm15, zmm0
792	vpxord zmm12, zmm12, zmm1
793	vpxord zmm13, zmm13, zmm2
794	vpxord zmm14, zmm14, zmm3
795	vprord zmm15, zmm15, `8`
796	vprord zmm12, zmm12, `8`
797	vprord zmm13, zmm13, `8`
798	vprord zmm14, zmm14, `8`
799	vpaddd zmm10, zmm10, zmm15
800	vpaddd zmm11, zmm11, zmm12
801	vpaddd zmm8, zmm8, zmm13
802	vpaddd zmm9, zmm9, zmm14
803	vpxord zmm5, zmm5, zmm10
804	vpxord zmm6, zmm6, zmm11
805	vpxord zmm7, zmm7, zmm8
806	vpxord zmm4, zmm4, zmm9
807	vprord zmm5, zmm5, `7`
808	vprord zmm6, zmm6, `7`
809	vprord zmm7, zmm7, `7`
810	vprord zmm4, zmm4, `7`
811	vpaddd zmm0, zmm0, zmm25
812	vpaddd zmm1, zmm1, zmm27
813	vpaddd zmm2, zmm2, zmm24
814	vpaddd zmm3, zmm3, zmm31
815	vpaddd zmm0, zmm0, zmm4
816	vpaddd zmm1, zmm1, zmm5
817	vpaddd zmm2, zmm2, zmm6
818	vpaddd zmm3, zmm3, zmm7
819	vpxord zmm12, zmm12, zmm0
820	vpxord zmm13, zmm13, zmm1
821	vpxord zmm14, zmm14, zmm2
822	vpxord zmm15, zmm15, zmm3
823	vprord zmm12, zmm12, `16`
824	vprord zmm13, zmm13, `16`
825	vprord zmm14, zmm14, `16`
826	vprord zmm15, zmm15, `16`
827	vpaddd zmm8, zmm8, zmm12
828	vpaddd zmm9, zmm9, zmm13
829	vpaddd zmm10, zmm10, zmm14
830	vpaddd zmm11, zmm11, zmm15
831	vpxord zmm4, zmm4, zmm8
832	vpxord zmm5, zmm5, zmm9
833	vpxord zmm6, zmm6, zmm10
834	vpxord zmm7, zmm7, zmm11
835	vprord zmm4, zmm4, `12`
836	vprord zmm5, zmm5, `12`
837	vprord zmm6, zmm6, `12`
838	vprord zmm7, zmm7, `12`
839	vpaddd zmm0, zmm0, zmm30
840	vpaddd zmm1, zmm1, zmm21
841	vpaddd zmm2, zmm2, zmm28
842	vpaddd zmm3, zmm3, zmm17
843	vpaddd zmm0, zmm0, zmm4
844	vpaddd zmm1, zmm1, zmm5
845	vpaddd zmm2, zmm2, zmm6
846	vpaddd zmm3, zmm3, zmm7
847	vpxord zmm12, zmm12, zmm0
848	vpxord zmm13, zmm13, zmm1
849	vpxord zmm14, zmm14, zmm2
850	vpxord zmm15, zmm15, zmm3
851	vprord zmm12, zmm12, `8`
852	vprord zmm13, zmm13, `8`
853	vprord zmm14, zmm14, `8`
854	vprord zmm15, zmm15, `8`
855	vpaddd zmm8, zmm8, zmm12
856	vpaddd zmm9, zmm9, zmm13
857	vpaddd zmm10, zmm10, zmm14
858	vpaddd zmm11, zmm11, zmm15
859	vpxord zmm4, zmm4, zmm8
860	vpxord zmm5, zmm5, zmm9
861	vpxord zmm6, zmm6, zmm10
862	vpxord zmm7, zmm7, zmm11
863	vprord zmm4, zmm4, `7`
864	vprord zmm5, zmm5, `7`
865	vprord zmm6, zmm6, `7`
866	vprord zmm7, zmm7, `7`
867	vpaddd zmm0, zmm0, zmm29
868	vpaddd zmm1, zmm1, zmm16
869	vpaddd zmm2, zmm2, zmm18
870	vpaddd zmm3, zmm3, zmm20
871	vpaddd zmm0, zmm0, zmm5
872	vpaddd zmm1, zmm1, zmm6
873	vpaddd zmm2, zmm2, zmm7
874	vpaddd zmm3, zmm3, zmm4
875	vpxord zmm15, zmm15, zmm0
876	vpxord zmm12, zmm12, zmm1
877	vpxord zmm13, zmm13, zmm2
878	vpxord zmm14, zmm14, zmm3
879	vprord zmm15, zmm15, `16`
880	vprord zmm12, zmm12, `16`
881	vprord zmm13, zmm13, `16`
882	vprord zmm14, zmm14, `16`
883	vpaddd zmm10, zmm10, zmm15
884	vpaddd zmm11, zmm11, zmm12
885	vpaddd zmm8, zmm8, zmm13
886	vpaddd zmm9, zmm9, zmm14
887	vpxord zmm5, zmm5, zmm10
888	vpxord zmm6, zmm6, zmm11
889	vpxord zmm7, zmm7, zmm8
890	vpxord zmm4, zmm4, zmm9
891	vprord zmm5, zmm5, `12`
892	vprord zmm6, zmm6, `12`
893	vprord zmm7, zmm7, `12`
894	vprord zmm4, zmm4, `12`
895	vpaddd zmm0, zmm0, zmm19
896	vpaddd zmm1, zmm1, zmm26
897	vpaddd zmm2, zmm2, zmm22
898	vpaddd zmm3, zmm3, zmm23
899	vpaddd zmm0, zmm0, zmm5
900	vpaddd zmm1, zmm1, zmm6
901	vpaddd zmm2, zmm2, zmm7
902	vpaddd zmm3, zmm3, zmm4
903	vpxord zmm15, zmm15, zmm0
904	vpxord zmm12, zmm12, zmm1
905	vpxord zmm13, zmm13, zmm2
906	vpxord zmm14, zmm14, zmm3
907	vprord zmm15, zmm15, `8`
908	vprord zmm12, zmm12, `8`
909	vprord zmm13, zmm13, `8`
910	vprord zmm14, zmm14, `8`
911	vpaddd zmm10, zmm10, zmm15
912	vpaddd zmm11, zmm11, zmm12
913	vpaddd zmm8, zmm8, zmm13
914	vpaddd zmm9, zmm9, zmm14
915	vpxord zmm5, zmm5, zmm10
916	vpxord zmm6, zmm6, zmm11
917	vpxord zmm7, zmm7, zmm8
918	vpxord zmm4, zmm4, zmm9
919	vprord zmm5, zmm5, `7`
920	vprord zmm6, zmm6, `7`
921	vprord zmm7, zmm7, `7`
922	vprord zmm4, zmm4, `7`
923	vpaddd zmm0, zmm0, zmm27
924	vpaddd zmm1, zmm1, zmm21
925	vpaddd zmm2, zmm2, zmm17
926	vpaddd zmm3, zmm3, zmm24
927	vpaddd zmm0, zmm0, zmm4
928	vpaddd zmm1, zmm1, zmm5
929	vpaddd zmm2, zmm2, zmm6
930	vpaddd zmm3, zmm3, zmm7
931	vpxord zmm12, zmm12, zmm0
932	vpxord zmm13, zmm13, zmm1
933	vpxord zmm14, zmm14, zmm2
934	vpxord zmm15, zmm15, zmm3
935	vprord zmm12, zmm12, `16`
936	vprord zmm13, zmm13, `16`
937	vprord zmm14, zmm14, `16`
938	vprord zmm15, zmm15, `16`
939	vpaddd zmm8, zmm8, zmm12
940	vpaddd zmm9, zmm9, zmm13
941	vpaddd zmm10, zmm10, zmm14
942	vpaddd zmm11, zmm11, zmm15
943	vpxord zmm4, zmm4, zmm8
944	vpxord zmm5, zmm5, zmm9
945	vpxord zmm6, zmm6, zmm10
946	vpxord zmm7, zmm7, zmm11
947	vprord zmm4, zmm4, `12`
948	vprord zmm5, zmm5, `12`
949	vprord zmm6, zmm6, `12`
950	vprord zmm7, zmm7, `12`
951	vpaddd zmm0, zmm0, zmm31
952	vpaddd zmm1, zmm1, zmm16
953	vpaddd zmm2, zmm2, zmm25
954	vpaddd zmm3, zmm3, zmm22
955	vpaddd zmm0, zmm0, zmm4
956	vpaddd zmm1, zmm1, zmm5
957	vpaddd zmm2, zmm2, zmm6
958	vpaddd zmm3, zmm3, zmm7
959	vpxord zmm12, zmm12, zmm0
960	vpxord zmm13, zmm13, zmm1
961	vpxord zmm14, zmm14, zmm2
962	vpxord zmm15, zmm15, zmm3
963	vprord zmm12, zmm12, `8`
964	vprord zmm13, zmm13, `8`
965	vprord zmm14, zmm14, `8`
966	vprord zmm15, zmm15, `8`
967	vpaddd zmm8, zmm8, zmm12
968	vpaddd zmm9, zmm9, zmm13
969	vpaddd zmm10, zmm10, zmm14
970	vpaddd zmm11, zmm11, zmm15
971	vpxord zmm4, zmm4, zmm8
972	vpxord zmm5, zmm5, zmm9
973	vpxord zmm6, zmm6, zmm10
974	vpxord zmm7, zmm7, zmm11
975	vprord zmm4, zmm4, `7`
976	vprord zmm5, zmm5, `7`
977	vprord zmm6, zmm6, `7`
978	vprord zmm7, zmm7, `7`
979	vpaddd zmm0, zmm0, zmm30
980	vpaddd zmm1, zmm1, zmm18
981	vpaddd zmm2, zmm2, zmm19
982	vpaddd zmm3, zmm3, zmm23
983	vpaddd zmm0, zmm0, zmm5
984	vpaddd zmm1, zmm1, zmm6
985	vpaddd zmm2, zmm2, zmm7
986	vpaddd zmm3, zmm3, zmm4
987	vpxord zmm15, zmm15, zmm0
988	vpxord zmm12, zmm12, zmm1
989	vpxord zmm13, zmm13, zmm2
990	vpxord zmm14, zmm14, zmm3
991	vprord zmm15, zmm15, `16`
992	vprord zmm12, zmm12, `16`
993	vprord zmm13, zmm13, `16`
994	vprord zmm14, zmm14, `16`
995	vpaddd zmm10, zmm10, zmm15
996	vpaddd zmm11, zmm11, zmm12
997	vpaddd zmm8, zmm8, zmm13
998	vpaddd zmm9, zmm9, zmm14
999	vpxord zmm5, zmm5, zmm10
1000	vpxord zmm6, zmm6, zmm11
1001	vpxord zmm7, zmm7, zmm8
1002	vpxord zmm4, zmm4, zmm9
1003	vprord zmm5, zmm5, `12`
1004	vprord zmm6, zmm6, `12`
1005	vprord zmm7, zmm7, `12`
1006	vprord zmm4, zmm4, `12`
1007	vpaddd zmm0, zmm0, zmm26
1008	vpaddd zmm1, zmm1, zmm28
1009	vpaddd zmm2, zmm2, zmm20
1010	vpaddd zmm3, zmm3, zmm29
1011	vpaddd zmm0, zmm0, zmm5
1012	vpaddd zmm1, zmm1, zmm6
1013	vpaddd zmm2, zmm2, zmm7
1014	vpaddd zmm3, zmm3, zmm4
1015	vpxord zmm15, zmm15, zmm0
1016	vpxord zmm12, zmm12, zmm1
1017	vpxord zmm13, zmm13, zmm2
1018	vpxord zmm14, zmm14, zmm3
1019	vprord zmm15, zmm15, `8`
1020	vprord zmm12, zmm12, `8`
1021	vprord zmm13, zmm13, `8`
1022	vprord zmm14, zmm14, `8`
1023	vpaddd zmm10, zmm10, zmm15
1024	vpaddd zmm11, zmm11, zmm12
1025	vpaddd zmm8, zmm8, zmm13
1026	vpaddd zmm9, zmm9, zmm14
1027	vpxord zmm5, zmm5, zmm10
1028	vpxord zmm6, zmm6, zmm11
1029	vpxord zmm7, zmm7, zmm8
1030	vpxord zmm4, zmm4, zmm9
1031	vprord zmm5, zmm5, `7`
1032	vprord zmm6, zmm6, `7`
1033	vprord zmm7, zmm7, `7`
1034	vprord zmm4, zmm4, `7`
1035	vpxord zmm0, zmm0, zmm8
1036	vpxord zmm1, zmm1, zmm9
1037	vpxord zmm2, zmm2, zmm10
1038	vpxord zmm3, zmm3, zmm11
1039	vpxord zmm4, zmm4, zmm12
1040	vpxord zmm5, zmm5, zmm13
1041	vpxord zmm6, zmm6, zmm14
1042	vpxord zmm7, zmm7, zmm15
1043	movzx eax, byte ptr [rbp+`0x38`]
1044	jne `9b`
1045	mov rbx, qword ptr [rbp+`0x50`]
1046	vpunpckldq zmm16, zmm0, zmm1
1047	vpunpckhdq zmm17, zmm0, zmm1
1048	vpunpckldq zmm18, zmm2, zmm3
1049	vpunpckhdq zmm19, zmm2, zmm3
1050	vpunpckldq zmm20, zmm4, zmm5
1051	vpunpckhdq zmm21, zmm4, zmm5
1052	vpunpckldq zmm22, zmm6, zmm7
1053	vpunpckhdq zmm23, zmm6, zmm7
1054	vpunpcklqdq zmm0, zmm16, zmm18
1055	vpunpckhqdq zmm1, zmm16, zmm18
1056	vpunpcklqdq zmm2, zmm17, zmm19
1057	vpunpckhqdq zmm3, zmm17, zmm19
1058	vpunpcklqdq zmm4, zmm20, zmm22
1059	vpunpckhqdq zmm5, zmm20, zmm22
1060	vpunpcklqdq zmm6, zmm21, zmm23
1061	vpunpckhqdq zmm7, zmm21, zmm23
1062	vshufi32x4 zmm16, zmm0, zmm4, `0x88`
1063	vshufi32x4 zmm17, zmm1, zmm5, `0x88`
1064	vshufi32x4 zmm18, zmm2, zmm6, `0x88`
1065	vshufi32x4 zmm19, zmm3, zmm7, `0x88`
1066	vshufi32x4 zmm20, zmm0, zmm4, `0xDD`
1067	vshufi32x4 zmm21, zmm1, zmm5, `0xDD`
1068	vshufi32x4 zmm22, zmm2, zmm6, `0xDD`
1069	vshufi32x4 zmm23, zmm3, zmm7, `0xDD`
1070	vshufi32x4 zmm0, zmm16, zmm17, `0x88`
1071	vshufi32x4 zmm1, zmm18, zmm19, `0x88`
1072	vshufi32x4 zmm2, zmm20, zmm21, `0x88`
1073	vshufi32x4 zmm3, zmm22, zmm23, `0x88`
1074	vshufi32x4 zmm4, zmm16, zmm17, `0xDD`
1075	vshufi32x4 zmm5, zmm18, zmm19, `0xDD`
1076	vshufi32x4 zmm6, zmm20, zmm21, `0xDD`
1077	vshufi32x4 zmm7, zmm22, zmm23, `0xDD`
1078	vmovdqu32 zmmword ptr [rbx], zmm0
1079	vmovdqu32 zmmword ptr [rbx+`0x1`*`0x40`], zmm1
1080	vmovdqu32 zmmword ptr [rbx+`0x2`*`0x40`], zmm2
1081	vmovdqu32 zmmword ptr [rbx+`0x3`*`0x40`], zmm3
1082	vmovdqu32 zmmword ptr [rbx+`0x4`*`0x40`], zmm4
1083	vmovdqu32 zmmword ptr [rbx+`0x5`*`0x40`], zmm5
1084	vmovdqu32 zmmword ptr [rbx+`0x6`*`0x40`], zmm6
1085	vmovdqu32 zmmword ptr [rbx+`0x7`*`0x40`], zmm7
1086	vmovdqa32 zmm0, zmmword ptr [rsp]
1087	vmovdqa32 zmm1, zmmword ptr [rsp+`0x1`*`0x40`]
1088	vmovdqa32 zmm2, zmm0
1089	vpaddd zmm2{k1}, zmm0, dword ptr [ADD16+rip] {`1to16`}
1090	vpcmpltud k2, zmm2, zmm0
1091	vpaddd zmm1 {k2}, zmm1, dword ptr [ADD1+rip] {`1to16`}
1092	vmovdqa32 zmmword ptr [rsp], zmm2
1093	vmovdqa32 zmmword ptr [rsp+`0x1`*`0x40`], zmm1
1094	add rdi, `128`
1095	add rbx, `512`
1096	mov qword ptr [rbp+`0x50`], rbx
1097	sub rsi, `16`
1098	cmp rsi, `16`
1099	jnc `2b`
1100	test rsi, rsi
1101	jnz `3f`
1102	`4`:
1103	vzeroupper
1104	mov rsp, rbp
1105	pop rbp
1106	pop rbx
1107	pop r12
1108	pop r13
1109	pop r14
1110	pop r15
1111	ret
1112	.p2align `6`
1113	`3`:
1114	test esi, `0x8`
1115	je `3f`
1116	vpbroadcastd ymm0, dword ptr [rcx]
1117	vpbroadcastd ymm1, dword ptr [rcx+`0x4`]
1118	vpbroadcastd ymm2, dword ptr [rcx+`0x8`]
1119	vpbroadcastd ymm3, dword ptr [rcx+`0xC`]
1120	vpbroadcastd ymm4, dword ptr [rcx+`0x10`]
1121	vpbroadcastd ymm5, dword ptr [rcx+`0x14`]
1122	vpbroadcastd ymm6, dword ptr [rcx+`0x18`]
1123	vpbroadcastd ymm7, dword ptr [rcx+`0x1C`]
1124	mov r8, qword ptr [rdi]
1125	mov r9, qword ptr [rdi+`0x8`]
1126	mov r10, qword ptr [rdi+`0x10`]
1127	mov r11, qword ptr [rdi+`0x18`]
1128	mov r12, qword ptr [rdi+`0x20`]
1129	mov r13, qword ptr [rdi+`0x28`]
1130	mov r14, qword ptr [rdi+`0x30`]
1131	mov r15, qword ptr [rdi+`0x38`]
1132	movzx eax, byte ptr [rbp+`0x38`]
1133	movzx ebx, byte ptr [rbp+`0x40`]
1134	or eax, ebx
1135	xor edx, edx
1136	`2`:
1137	movzx ebx, byte ptr [rbp+`0x48`]
1138	or ebx, eax
1139	add rdx, `64`
1140	cmp rdx, qword ptr [rsp+`0x80`]
1141	cmove eax, ebx
1142	mov dword ptr [rsp+`0x88`], eax
1143	vmovups xmm8, xmmword ptr [r8+rdx-`0x40`]
1144	vinsertf128 ymm8, ymm8, xmmword ptr [r12+rdx-`0x40`], `0x01`
1145	vmovups xmm9, xmmword ptr [r9+rdx-`0x40`]
1146	vinsertf128 ymm9, ymm9, xmmword ptr [r13+rdx-`0x40`], `0x01`
1147	vunpcklpd ymm12, ymm8, ymm9
1148	vunpckhpd ymm13, ymm8, ymm9
1149	vmovups xmm10, xmmword ptr [r10+rdx-`0x40`]
1150	vinsertf128 ymm10, ymm10, xmmword ptr [r14+rdx-`0x40`], `0x01`
1151	vmovups xmm11, xmmword ptr [r11+rdx-`0x40`]
1152	vinsertf128 ymm11, ymm11, xmmword ptr [r15+rdx-`0x40`], `0x01`
1153	vunpcklpd ymm14, ymm10, ymm11
1154	vunpckhpd ymm15, ymm10, ymm11
1155	vshufps ymm16, ymm12, ymm14, `136`
1156	vshufps ymm17, ymm12, ymm14, `221`
1157	vshufps ymm18, ymm13, ymm15, `136`
1158	vshufps ymm19, ymm13, ymm15, `221`
1159	vmovups xmm8, xmmword ptr [r8+rdx-`0x30`]
1160	vinsertf128 ymm8, ymm8, xmmword ptr [r12+rdx-`0x30`], `0x01`
1161	vmovups xmm9, xmmword ptr [r9+rdx-`0x30`]
1162	vinsertf128 ymm9, ymm9, xmmword ptr [r13+rdx-`0x30`], `0x01`
1163	vunpcklpd ymm12, ymm8, ymm9
1164	vunpckhpd ymm13, ymm8, ymm9
1165	vmovups xmm10, xmmword ptr [r10+rdx-`0x30`]
1166	vinsertf128 ymm10, ymm10, xmmword ptr [r14+rdx-`0x30`], `0x01`
1167	vmovups xmm11, xmmword ptr [r11+rdx-`0x30`]
1168	vinsertf128 ymm11, ymm11, xmmword ptr [r15+rdx-`0x30`], `0x01`
1169	vunpcklpd ymm14, ymm10, ymm11
1170	vunpckhpd ymm15, ymm10, ymm11
1171	vshufps ymm20, ymm12, ymm14, `136`
1172	vshufps ymm21, ymm12, ymm14, `221`
1173	vshufps ymm22, ymm13, ymm15, `136`
1174	vshufps ymm23, ymm13, ymm15, `221`
1175	vmovups xmm8, xmmword ptr [r8+rdx-`0x20`]
1176	vinsertf128 ymm8, ymm8, xmmword ptr [r12+rdx-`0x20`], `0x01`
1177	vmovups xmm9, xmmword ptr [r9+rdx-`0x20`]
1178	vinsertf128 ymm9, ymm9, xmmword ptr [r13+rdx-`0x20`], `0x01`
1179	vunpcklpd ymm12, ymm8, ymm9
1180	vunpckhpd ymm13, ymm8, ymm9
1181	vmovups xmm10, xmmword ptr [r10+rdx-`0x20`]
1182	vinsertf128 ymm10, ymm10, xmmword ptr [r14+rdx-`0x20`], `0x01`
1183	vmovups xmm11, xmmword ptr [r11+rdx-`0x20`]
1184	vinsertf128 ymm11, ymm11, xmmword ptr [r15+rdx-`0x20`], `0x01`
1185	vunpcklpd ymm14, ymm10, ymm11
1186	vunpckhpd ymm15, ymm10, ymm11
1187	vshufps ymm24, ymm12, ymm14, `136`
1188	vshufps ymm25, ymm12, ymm14, `221`
1189	vshufps ymm26, ymm13, ymm15, `136`
1190	vshufps ymm27, ymm13, ymm15, `221`
1191	vmovups xmm8, xmmword ptr [r8+rdx-`0x10`]
1192	vinsertf128 ymm8, ymm8, xmmword ptr [r12+rdx-`0x10`], `0x01`
1193	vmovups xmm9, xmmword ptr [r9+rdx-`0x10`]
1194	vinsertf128 ymm9, ymm9, xmmword ptr [r13+rdx-`0x10`], `0x01`
1195	vunpcklpd ymm12, ymm8, ymm9
1196	vunpckhpd ymm13, ymm8, ymm9
1197	vmovups xmm10, xmmword ptr [r10+rdx-`0x10`]
1198	vinsertf128 ymm10, ymm10, xmmword ptr [r14+rdx-`0x10`], `0x01`
1199	vmovups xmm11, xmmword ptr [r11+rdx-`0x10`]
1200	vinsertf128 ymm11, ymm11, xmmword ptr [r15+rdx-`0x10`], `0x01`
1201	vunpcklpd ymm14, ymm10, ymm11
1202	vunpckhpd ymm15, ymm10, ymm11
1203	vshufps ymm28, ymm12, ymm14, `136`
1204	vshufps ymm29, ymm12, ymm14, `221`
1205	vshufps ymm30, ymm13, ymm15, `136`
1206	vshufps ymm31, ymm13, ymm15, `221`
1207	vpbroadcastd ymm8, dword ptr [BLAKE3_IV_0+rip]
1208	vpbroadcastd ymm9, dword ptr [BLAKE3_IV_1+rip]
1209	vpbroadcastd ymm10, dword ptr [BLAKE3_IV_2+rip]
1210	vpbroadcastd ymm11, dword ptr [BLAKE3_IV_3+rip]
1211	vmovdqa ymm12, ymmword ptr [rsp]
1212	vmovdqa ymm13, ymmword ptr [rsp+`0x40`]
1213	vpbroadcastd ymm14, dword ptr [BLAKE3_BLOCK_LEN+rip]
1214	vpbroadcastd ymm15, dword ptr [rsp+`0x88`]
1215	vpaddd ymm0, ymm0, ymm16
1216	vpaddd ymm1, ymm1, ymm18
1217	vpaddd ymm2, ymm2, ymm20
1218	vpaddd ymm3, ymm3, ymm22
1219	vpaddd ymm0, ymm0, ymm4
1220	vpaddd ymm1, ymm1, ymm5
1221	vpaddd ymm2, ymm2, ymm6
1222	vpaddd ymm3, ymm3, ymm7
1223	vpxord ymm12, ymm12, ymm0
1224	vpxord ymm13, ymm13, ymm1
1225	vpxord ymm14, ymm14, ymm2
1226	vpxord ymm15, ymm15, ymm3
1227	vprord ymm12, ymm12, `16`
1228	vprord ymm13, ymm13, `16`
1229	vprord ymm14, ymm14, `16`
1230	vprord ymm15, ymm15, `16`
1231	vpaddd ymm8, ymm8, ymm12
1232	vpaddd ymm9, ymm9, ymm13
1233	vpaddd ymm10, ymm10, ymm14
1234	vpaddd ymm11, ymm11, ymm15
1235	vpxord ymm4, ymm4, ymm8
1236	vpxord ymm5, ymm5, ymm9
1237	vpxord ymm6, ymm6, ymm10
1238	vpxord ymm7, ymm7, ymm11
1239	vprord ymm4, ymm4, `12`
1240	vprord ymm5, ymm5, `12`
1241	vprord ymm6, ymm6, `12`
1242	vprord ymm7, ymm7, `12`
1243	vpaddd ymm0, ymm0, ymm17
1244	vpaddd ymm1, ymm1, ymm19
1245	vpaddd ymm2, ymm2, ymm21
1246	vpaddd ymm3, ymm3, ymm23
1247	vpaddd ymm0, ymm0, ymm4
1248	vpaddd ymm1, ymm1, ymm5
1249	vpaddd ymm2, ymm2, ymm6
1250	vpaddd ymm3, ymm3, ymm7
1251	vpxord ymm12, ymm12, ymm0
1252	vpxord ymm13, ymm13, ymm1
1253	vpxord ymm14, ymm14, ymm2
1254	vpxord ymm15, ymm15, ymm3
1255	vprord ymm12, ymm12, `8`
1256	vprord ymm13, ymm13, `8`
1257	vprord ymm14, ymm14, `8`
1258	vprord ymm15, ymm15, `8`
1259	vpaddd ymm8, ymm8, ymm12
1260	vpaddd ymm9, ymm9, ymm13
1261	vpaddd ymm10, ymm10, ymm14
1262	vpaddd ymm11, ymm11, ymm15
1263	vpxord ymm4, ymm4, ymm8
1264	vpxord ymm5, ymm5, ymm9
1265	vpxord ymm6, ymm6, ymm10
1266	vpxord ymm7, ymm7, ymm11
1267	vprord ymm4, ymm4, `7`
1268	vprord ymm5, ymm5, `7`
1269	vprord ymm6, ymm6, `7`
1270	vprord ymm7, ymm7, `7`
1271	vpaddd ymm0, ymm0, ymm24
1272	vpaddd ymm1, ymm1, ymm26
1273	vpaddd ymm2, ymm2, ymm28
1274	vpaddd ymm3, ymm3, ymm30
1275	vpaddd ymm0, ymm0, ymm5
1276	vpaddd ymm1, ymm1, ymm6
1277	vpaddd ymm2, ymm2, ymm7
1278	vpaddd ymm3, ymm3, ymm4
1279	vpxord ymm15, ymm15, ymm0
1280	vpxord ymm12, ymm12, ymm1
1281	vpxord ymm13, ymm13, ymm2
1282	vpxord ymm14, ymm14, ymm3
1283	vprord ymm15, ymm15, `16`
1284	vprord ymm12, ymm12, `16`
1285	vprord ymm13, ymm13, `16`
1286	vprord ymm14, ymm14, `16`
1287	vpaddd ymm10, ymm10, ymm15
1288	vpaddd ymm11, ymm11, ymm12
1289	vpaddd ymm8, ymm8, ymm13
1290	vpaddd ymm9, ymm9, ymm14
1291	vpxord ymm5, ymm5, ymm10
1292	vpxord ymm6, ymm6, ymm11
1293	vpxord ymm7, ymm7, ymm8
1294	vpxord ymm4, ymm4, ymm9
1295	vprord ymm5, ymm5, `12`
1296	vprord ymm6, ymm6, `12`
1297	vprord ymm7, ymm7, `12`
1298	vprord ymm4, ymm4, `12`
1299	vpaddd ymm0, ymm0, ymm25
1300	vpaddd ymm1, ymm1, ymm27
1301	vpaddd ymm2, ymm2, ymm29
1302	vpaddd ymm3, ymm3, ymm31
1303	vpaddd ymm0, ymm0, ymm5
1304	vpaddd ymm1, ymm1, ymm6
1305	vpaddd ymm2, ymm2, ymm7
1306	vpaddd ymm3, ymm3, ymm4
1307	vpxord ymm15, ymm15, ymm0
1308	vpxord ymm12, ymm12, ymm1
1309	vpxord ymm13, ymm13, ymm2
1310	vpxord ymm14, ymm14, ymm3
1311	vprord ymm15, ymm15, `8`
1312	vprord ymm12, ymm12, `8`
1313	vprord ymm13, ymm13, `8`
1314	vprord ymm14, ymm14, `8`
1315	vpaddd ymm10, ymm10, ymm15
1316	vpaddd ymm11, ymm11, ymm12
1317	vpaddd ymm8, ymm8, ymm13
1318	vpaddd ymm9, ymm9, ymm14
1319	vpxord ymm5, ymm5, ymm10
1320	vpxord ymm6, ymm6, ymm11
1321	vpxord ymm7, ymm7, ymm8
1322	vpxord ymm4, ymm4, ymm9
1323	vprord ymm5, ymm5, `7`
1324	vprord ymm6, ymm6, `7`
1325	vprord ymm7, ymm7, `7`
1326	vprord ymm4, ymm4, `7`
1327	vpaddd ymm0, ymm0, ymm18
1328	vpaddd ymm1, ymm1, ymm19
1329	vpaddd ymm2, ymm2, ymm23
1330	vpaddd ymm3, ymm3, ymm20
1331	vpaddd ymm0, ymm0, ymm4
1332	vpaddd ymm1, ymm1, ymm5
1333	vpaddd ymm2, ymm2, ymm6
1334	vpaddd ymm3, ymm3, ymm7
1335	vpxord ymm12, ymm12, ymm0
1336	vpxord ymm13, ymm13, ymm1
1337	vpxord ymm14, ymm14, ymm2
1338	vpxord ymm15, ymm15, ymm3
1339	vprord ymm12, ymm12, `16`
1340	vprord ymm13, ymm13, `16`
1341	vprord ymm14, ymm14, `16`
1342	vprord ymm15, ymm15, `16`
1343	vpaddd ymm8, ymm8, ymm12
1344	vpaddd ymm9, ymm9, ymm13
1345	vpaddd ymm10, ymm10, ymm14
1346	vpaddd ymm11, ymm11, ymm15
1347	vpxord ymm4, ymm4, ymm8
1348	vpxord ymm5, ymm5, ymm9
1349	vpxord ymm6, ymm6, ymm10
1350	vpxord ymm7, ymm7, ymm11
1351	vprord ymm4, ymm4, `12`
1352	vprord ymm5, ymm5, `12`
1353	vprord ymm6, ymm6, `12`
1354	vprord ymm7, ymm7, `12`
1355	vpaddd ymm0, ymm0, ymm22
1356	vpaddd ymm1, ymm1, ymm26
1357	vpaddd ymm2, ymm2, ymm16
1358	vpaddd ymm3, ymm3, ymm29
1359	vpaddd ymm0, ymm0, ymm4
1360	vpaddd ymm1, ymm1, ymm5
1361	vpaddd ymm2, ymm2, ymm6
1362	vpaddd ymm3, ymm3, ymm7
1363	vpxord ymm12, ymm12, ymm0
1364	vpxord ymm13, ymm13, ymm1
1365	vpxord ymm14, ymm14, ymm2
1366	vpxord ymm15, ymm15, ymm3
1367	vprord ymm12, ymm12, `8`
1368	vprord ymm13, ymm13, `8`
1369	vprord ymm14, ymm14, `8`
1370	vprord ymm15, ymm15, `8`
1371	vpaddd ymm8, ymm8, ymm12
1372	vpaddd ymm9, ymm9, ymm13
1373	vpaddd ymm10, ymm10, ymm14
1374	vpaddd ymm11, ymm11, ymm15
1375	vpxord ymm4, ymm4, ymm8
1376	vpxord ymm5, ymm5, ymm9
1377	vpxord ymm6, ymm6, ymm10
1378	vpxord ymm7, ymm7, ymm11
1379	vprord ymm4, ymm4, `7`
1380	vprord ymm5, ymm5, `7`
1381	vprord ymm6, ymm6, `7`
1382	vprord ymm7, ymm7, `7`
1383	vpaddd ymm0, ymm0, ymm17
1384	vpaddd ymm1, ymm1, ymm28
1385	vpaddd ymm2, ymm2, ymm25
1386	vpaddd ymm3, ymm3, ymm31
1387	vpaddd ymm0, ymm0, ymm5
1388	vpaddd ymm1, ymm1, ymm6
1389	vpaddd ymm2, ymm2, ymm7
1390	vpaddd ymm3, ymm3, ymm4
1391	vpxord ymm15, ymm15, ymm0
1392	vpxord ymm12, ymm12, ymm1
1393	vpxord ymm13, ymm13, ymm2
1394	vpxord ymm14, ymm14, ymm3
1395	vprord ymm15, ymm15, `16`
1396	vprord ymm12, ymm12, `16`
1397	vprord ymm13, ymm13, `16`
1398	vprord ymm14, ymm14, `16`
1399	vpaddd ymm10, ymm10, ymm15
1400	vpaddd ymm11, ymm11, ymm12
1401	vpaddd ymm8, ymm8, ymm13
1402	vpaddd ymm9, ymm9, ymm14
1403	vpxord ymm5, ymm5, ymm10
1404	vpxord ymm6, ymm6, ymm11
1405	vpxord ymm7, ymm7, ymm8
1406	vpxord ymm4, ymm4, ymm9
1407	vprord ymm5, ymm5, `12`
1408	vprord ymm6, ymm6, `12`
1409	vprord ymm7, ymm7, `12`
1410	vprord ymm4, ymm4, `12`
1411	vpaddd ymm0, ymm0, ymm27
1412	vpaddd ymm1, ymm1, ymm21
1413	vpaddd ymm2, ymm2, ymm30
1414	vpaddd ymm3, ymm3, ymm24
1415	vpaddd ymm0, ymm0, ymm5
1416	vpaddd ymm1, ymm1, ymm6
1417	vpaddd ymm2, ymm2, ymm7
1418	vpaddd ymm3, ymm3, ymm4
1419	vpxord ymm15, ymm15, ymm0
1420	vpxord ymm12, ymm12, ymm1
1421	vpxord ymm13, ymm13, ymm2
1422	vpxord ymm14, ymm14, ymm3
1423	vprord ymm15, ymm15, `8`
1424	vprord ymm12, ymm12, `8`
1425	vprord ymm13, ymm13, `8`
1426	vprord ymm14, ymm14, `8`
1427	vpaddd ymm10, ymm10, ymm15
1428	vpaddd ymm11, ymm11, ymm12
1429	vpaddd ymm8, ymm8, ymm13
1430	vpaddd ymm9, ymm9, ymm14
1431	vpxord ymm5, ymm5, ymm10
1432	vpxord ymm6, ymm6, ymm11
1433	vpxord ymm7, ymm7, ymm8
1434	vpxord ymm4, ymm4, ymm9
1435	vprord ymm5, ymm5, `7`
1436	vprord ymm6, ymm6, `7`
1437	vprord ymm7, ymm7, `7`
1438	vprord ymm4, ymm4, `7`
1439	vpaddd ymm0, ymm0, ymm19
1440	vpaddd ymm1, ymm1, ymm26
1441	vpaddd ymm2, ymm2, ymm29
1442	vpaddd ymm3, ymm3, ymm23
1443	vpaddd ymm0, ymm0, ymm4
1444	vpaddd ymm1, ymm1, ymm5
1445	vpaddd ymm2, ymm2, ymm6
1446	vpaddd ymm3, ymm3, ymm7
1447	vpxord ymm12, ymm12, ymm0
1448	vpxord ymm13, ymm13, ymm1
1449	vpxord ymm14, ymm14, ymm2
1450	vpxord ymm15, ymm15, ymm3
1451	vprord ymm12, ymm12, `16`
1452	vprord ymm13, ymm13, `16`
1453	vprord ymm14, ymm14, `16`
1454	vprord ymm15, ymm15, `16`
1455	vpaddd ymm8, ymm8, ymm12
1456	vpaddd ymm9, ymm9, ymm13
1457	vpaddd ymm10, ymm10, ymm14
1458	vpaddd ymm11, ymm11, ymm15
1459	vpxord ymm4, ymm4, ymm8
1460	vpxord ymm5, ymm5, ymm9
1461	vpxord ymm6, ymm6, ymm10
1462	vpxord ymm7, ymm7, ymm11
1463	vprord ymm4, ymm4, `12`
1464	vprord ymm5, ymm5, `12`
1465	vprord ymm6, ymm6, `12`
1466	vprord ymm7, ymm7, `12`
1467	vpaddd ymm0, ymm0, ymm20
1468	vpaddd ymm1, ymm1, ymm28
1469	vpaddd ymm2, ymm2, ymm18
1470	vpaddd ymm3, ymm3, ymm30
1471	vpaddd ymm0, ymm0, ymm4
1472	vpaddd ymm1, ymm1, ymm5
1473	vpaddd ymm2, ymm2, ymm6
1474	vpaddd ymm3, ymm3, ymm7
1475	vpxord ymm12, ymm12, ymm0
1476	vpxord ymm13, ymm13, ymm1
1477	vpxord ymm14, ymm14, ymm2
1478	vpxord ymm15, ymm15, ymm3
1479	vprord ymm12, ymm12, `8`
1480	vprord ymm13, ymm13, `8`
1481	vprord ymm14, ymm14, `8`
1482	vprord ymm15, ymm15, `8`
1483	vpaddd ymm8, ymm8, ymm12
1484	vpaddd ymm9, ymm9, ymm13
1485	vpaddd ymm10, ymm10, ymm14
1486	vpaddd ymm11, ymm11, ymm15
1487	vpxord ymm4, ymm4, ymm8
1488	vpxord ymm5, ymm5, ymm9
1489	vpxord ymm6, ymm6, ymm10
1490	vpxord ymm7, ymm7, ymm11
1491	vprord ymm4, ymm4, `7`
1492	vprord ymm5, ymm5, `7`
1493	vprord ymm6, ymm6, `7`
1494	vprord ymm7, ymm7, `7`
1495	vpaddd ymm0, ymm0, ymm22
1496	vpaddd ymm1, ymm1, ymm25
1497	vpaddd ymm2, ymm2, ymm27
1498	vpaddd ymm3, ymm3, ymm24
1499	vpaddd ymm0, ymm0, ymm5
1500	vpaddd ymm1, ymm1, ymm6
1501	vpaddd ymm2, ymm2, ymm7
1502	vpaddd ymm3, ymm3, ymm4
1503	vpxord ymm15, ymm15, ymm0
1504	vpxord ymm12, ymm12, ymm1
1505	vpxord ymm13, ymm13, ymm2
1506	vpxord ymm14, ymm14, ymm3
1507	vprord ymm15, ymm15, `16`
1508	vprord ymm12, ymm12, `16`
1509	vprord ymm13, ymm13, `16`
1510	vprord ymm14, ymm14, `16`
1511	vpaddd ymm10, ymm10, ymm15
1512	vpaddd ymm11, ymm11, ymm12
1513	vpaddd ymm8, ymm8, ymm13
1514	vpaddd ymm9, ymm9, ymm14
1515	vpxord ymm5, ymm5, ymm10
1516	vpxord ymm6, ymm6, ymm11
1517	vpxord ymm7, ymm7, ymm8
1518	vpxord ymm4, ymm4, ymm9
1519	vprord ymm5, ymm5, `12`
1520	vprord ymm6, ymm6, `12`
1521	vprord ymm7, ymm7, `12`
1522	vprord ymm4, ymm4, `12`
1523	vpaddd ymm0, ymm0, ymm21
1524	vpaddd ymm1, ymm1, ymm16
1525	vpaddd ymm2, ymm2, ymm31
1526	vpaddd ymm3, ymm3, ymm17
1527	vpaddd ymm0, ymm0, ymm5
1528	vpaddd ymm1, ymm1, ymm6
1529	vpaddd ymm2, ymm2, ymm7
1530	vpaddd ymm3, ymm3, ymm4
1531	vpxord ymm15, ymm15, ymm0
1532	vpxord ymm12, ymm12, ymm1
1533	vpxord ymm13, ymm13, ymm2
1534	vpxord ymm14, ymm14, ymm3
1535	vprord ymm15, ymm15, `8`
1536	vprord ymm12, ymm12, `8`
1537	vprord ymm13, ymm13, `8`
1538	vprord ymm14, ymm14, `8`
1539	vpaddd ymm10, ymm10, ymm15
1540	vpaddd ymm11, ymm11, ymm12
1541	vpaddd ymm8, ymm8, ymm13
1542	vpaddd ymm9, ymm9, ymm14
1543	vpxord ymm5, ymm5, ymm10
1544	vpxord ymm6, ymm6, ymm11
1545	vpxord ymm7, ymm7, ymm8
1546	vpxord ymm4, ymm4, ymm9
1547	vprord ymm5, ymm5, `7`
1548	vprord ymm6, ymm6, `7`
1549	vprord ymm7, ymm7, `7`
1550	vprord ymm4, ymm4, `7`
1551	vpaddd ymm0, ymm0, ymm26
1552	vpaddd ymm1, ymm1, ymm28
1553	vpaddd ymm2, ymm2, ymm30
1554	vpaddd ymm3, ymm3, ymm29
1555	vpaddd ymm0, ymm0, ymm4
1556	vpaddd ymm1, ymm1, ymm5
1557	vpaddd ymm2, ymm2, ymm6
1558	vpaddd ymm3, ymm3, ymm7
1559	vpxord ymm12, ymm12, ymm0
1560	vpxord ymm13, ymm13, ymm1
1561	vpxord ymm14, ymm14, ymm2
1562	vpxord ymm15, ymm15, ymm3
1563	vprord ymm12, ymm12, `16`
1564	vprord ymm13, ymm13, `16`
1565	vprord ymm14, ymm14, `16`
1566	vprord ymm15, ymm15, `16`
1567	vpaddd ymm8, ymm8, ymm12
1568	vpaddd ymm9, ymm9, ymm13
1569	vpaddd ymm10, ymm10, ymm14
1570	vpaddd ymm11, ymm11, ymm15
1571	vpxord ymm4, ymm4, ymm8
1572	vpxord ymm5, ymm5, ymm9
1573	vpxord ymm6, ymm6, ymm10
1574	vpxord ymm7, ymm7, ymm11
1575	vprord ymm4, ymm4, `12`
1576	vprord ymm5, ymm5, `12`
1577	vprord ymm6, ymm6, `12`
1578	vprord ymm7, ymm7, `12`
1579	vpaddd ymm0, ymm0, ymm23
1580	vpaddd ymm1, ymm1, ymm25
1581	vpaddd ymm2, ymm2, ymm19
1582	vpaddd ymm3, ymm3, ymm31
1583	vpaddd ymm0, ymm0, ymm4
1584	vpaddd ymm1, ymm1, ymm5
1585	vpaddd ymm2, ymm2, ymm6
1586	vpaddd ymm3, ymm3, ymm7
1587	vpxord ymm12, ymm12, ymm0
1588	vpxord ymm13, ymm13, ymm1
1589	vpxord ymm14, ymm14, ymm2
1590	vpxord ymm15, ymm15, ymm3
1591	vprord ymm12, ymm12, `8`
1592	vprord ymm13, ymm13, `8`
1593	vprord ymm14, ymm14, `8`
1594	vprord ymm15, ymm15, `8`
1595	vpaddd ymm8, ymm8, ymm12
1596	vpaddd ymm9, ymm9, ymm13
1597	vpaddd ymm10, ymm10, ymm14
1598	vpaddd ymm11, ymm11, ymm15
1599	vpxord ymm4, ymm4, ymm8
1600	vpxord ymm5, ymm5, ymm9
1601	vpxord ymm6, ymm6, ymm10
1602	vpxord ymm7, ymm7, ymm11
1603	vprord ymm4, ymm4, `7`
1604	vprord ymm5, ymm5, `7`
1605	vprord ymm6, ymm6, `7`
1606	vprord ymm7, ymm7, `7`
1607	vpaddd ymm0, ymm0, ymm20
1608	vpaddd ymm1, ymm1, ymm27
1609	vpaddd ymm2, ymm2, ymm21
1610	vpaddd ymm3, ymm3, ymm17
1611	vpaddd ymm0, ymm0, ymm5
1612	vpaddd ymm1, ymm1, ymm6
1613	vpaddd ymm2, ymm2, ymm7
1614	vpaddd ymm3, ymm3, ymm4
1615	vpxord ymm15, ymm15, ymm0
1616	vpxord ymm12, ymm12, ymm1
1617	vpxord ymm13, ymm13, ymm2
1618	vpxord ymm14, ymm14, ymm3
1619	vprord ymm15, ymm15, `16`
1620	vprord ymm12, ymm12, `16`
1621	vprord ymm13, ymm13, `16`
1622	vprord ymm14, ymm14, `16`
1623	vpaddd ymm10, ymm10, ymm15
1624	vpaddd ymm11, ymm11, ymm12
1625	vpaddd ymm8, ymm8, ymm13
1626	vpaddd ymm9, ymm9, ymm14
1627	vpxord ymm5, ymm5, ymm10
1628	vpxord ymm6, ymm6, ymm11
1629	vpxord ymm7, ymm7, ymm8
1630	vpxord ymm4, ymm4, ymm9
1631	vprord ymm5, ymm5, `12`
1632	vprord ymm6, ymm6, `12`
1633	vprord ymm7, ymm7, `12`
1634	vprord ymm4, ymm4, `12`
1635	vpaddd ymm0, ymm0, ymm16
1636	vpaddd ymm1, ymm1, ymm18
1637	vpaddd ymm2, ymm2, ymm24
1638	vpaddd ymm3, ymm3, ymm22
1639	vpaddd ymm0, ymm0, ymm5
1640	vpaddd ymm1, ymm1, ymm6
1641	vpaddd ymm2, ymm2, ymm7
1642	vpaddd ymm3, ymm3, ymm4
1643	vpxord ymm15, ymm15, ymm0
1644	vpxord ymm12, ymm12, ymm1
1645	vpxord ymm13, ymm13, ymm2
1646	vpxord ymm14, ymm14, ymm3
1647	vprord ymm15, ymm15, `8`
1648	vprord ymm12, ymm12, `8`
1649	vprord ymm13, ymm13, `8`
1650	vprord ymm14, ymm14, `8`
1651	vpaddd ymm10, ymm10, ymm15
1652	vpaddd ymm11, ymm11, ymm12
1653	vpaddd ymm8, ymm8, ymm13
1654	vpaddd ymm9, ymm9, ymm14
1655	vpxord ymm5, ymm5, ymm10
1656	vpxord ymm6, ymm6, ymm11
1657	vpxord ymm7, ymm7, ymm8
1658	vpxord ymm4, ymm4, ymm9
1659	vprord ymm5, ymm5, `7`
1660	vprord ymm6, ymm6, `7`
1661	vprord ymm7, ymm7, `7`
1662	vprord ymm4, ymm4, `7`
1663	vpaddd ymm0, ymm0, ymm28
1664	vpaddd ymm1, ymm1, ymm25
1665	vpaddd ymm2, ymm2, ymm31
1666	vpaddd ymm3, ymm3, ymm30
1667	vpaddd ymm0, ymm0, ymm4
1668	vpaddd ymm1, ymm1, ymm5
1669	vpaddd ymm2, ymm2, ymm6
1670	vpaddd ymm3, ymm3, ymm7
1671	vpxord ymm12, ymm12, ymm0
1672	vpxord ymm13, ymm13, ymm1
1673	vpxord ymm14, ymm14, ymm2
1674	vpxord ymm15, ymm15, ymm3
1675	vprord ymm12, ymm12, `16`
1676	vprord ymm13, ymm13, `16`
1677	vprord ymm14, ymm14, `16`
1678	vprord ymm15, ymm15, `16`
1679	vpaddd ymm8, ymm8, ymm12
1680	vpaddd ymm9, ymm9, ymm13
1681	vpaddd ymm10, ymm10, ymm14
1682	vpaddd ymm11, ymm11, ymm15
1683	vpxord ymm4, ymm4, ymm8
1684	vpxord ymm5, ymm5, ymm9
1685	vpxord ymm6, ymm6, ymm10
1686	vpxord ymm7, ymm7, ymm11
1687	vprord ymm4, ymm4, `12`
1688	vprord ymm5, ymm5, `12`
1689	vprord ymm6, ymm6, `12`
1690	vprord ymm7, ymm7, `12`
1691	vpaddd ymm0, ymm0, ymm29
1692	vpaddd ymm1, ymm1, ymm27
1693	vpaddd ymm2, ymm2, ymm26
1694	vpaddd ymm3, ymm3, ymm24
1695	vpaddd ymm0, ymm0, ymm4
1696	vpaddd ymm1, ymm1, ymm5
1697	vpaddd ymm2, ymm2, ymm6
1698	vpaddd ymm3, ymm3, ymm7
1699	vpxord ymm12, ymm12, ymm0
1700	vpxord ymm13, ymm13, ymm1
1701	vpxord ymm14, ymm14, ymm2
1702	vpxord ymm15, ymm15, ymm3
1703	vprord ymm12, ymm12, `8`
1704	vprord ymm13, ymm13, `8`
1705	vprord ymm14, ymm14, `8`
1706	vprord ymm15, ymm15, `8`
1707	vpaddd ymm8, ymm8, ymm12
1708	vpaddd ymm9, ymm9, ymm13
1709	vpaddd ymm10, ymm10, ymm14
1710	vpaddd ymm11, ymm11, ymm15
1711	vpxord ymm4, ymm4, ymm8
1712	vpxord ymm5, ymm5, ymm9
1713	vpxord ymm6, ymm6, ymm10
1714	vpxord ymm7, ymm7, ymm11
1715	vprord ymm4, ymm4, `7`
1716	vprord ymm5, ymm5, `7`
1717	vprord ymm6, ymm6, `7`
1718	vprord ymm7, ymm7, `7`
1719	vpaddd ymm0, ymm0, ymm23
1720	vpaddd ymm1, ymm1, ymm21
1721	vpaddd ymm2, ymm2, ymm16
1722	vpaddd ymm3, ymm3, ymm22
1723	vpaddd ymm0, ymm0, ymm5
1724	vpaddd ymm1, ymm1, ymm6
1725	vpaddd ymm2, ymm2, ymm7
1726	vpaddd ymm3, ymm3, ymm4
1727	vpxord ymm15, ymm15, ymm0
1728	vpxord ymm12, ymm12, ymm1
1729	vpxord ymm13, ymm13, ymm2
1730	vpxord ymm14, ymm14, ymm3
1731	vprord ymm15, ymm15, `16`
1732	vprord ymm12, ymm12, `16`
1733	vprord ymm13, ymm13, `16`
1734	vprord ymm14, ymm14, `16`
1735	vpaddd ymm10, ymm10, ymm15
1736	vpaddd ymm11, ymm11, ymm12
1737	vpaddd ymm8, ymm8, ymm13
1738	vpaddd ymm9, ymm9, ymm14
1739	vpxord ymm5, ymm5, ymm10
1740	vpxord ymm6, ymm6, ymm11
1741	vpxord ymm7, ymm7, ymm8
1742	vpxord ymm4, ymm4, ymm9
1743	vprord ymm5, ymm5, `12`
1744	vprord ymm6, ymm6, `12`
1745	vprord ymm7, ymm7, `12`
1746	vprord ymm4, ymm4, `12`
1747	vpaddd ymm0, ymm0, ymm18
1748	vpaddd ymm1, ymm1, ymm19
1749	vpaddd ymm2, ymm2, ymm17
1750	vpaddd ymm3, ymm3, ymm20
1751	vpaddd ymm0, ymm0, ymm5
1752	vpaddd ymm1, ymm1, ymm6
1753	vpaddd ymm2, ymm2, ymm7
1754	vpaddd ymm3, ymm3, ymm4
1755	vpxord ymm15, ymm15, ymm0
1756	vpxord ymm12, ymm12, ymm1
1757	vpxord ymm13, ymm13, ymm2
1758	vpxord ymm14, ymm14, ymm3
1759	vprord ymm15, ymm15, `8`
1760	vprord ymm12, ymm12, `8`
1761	vprord ymm13, ymm13, `8`
1762	vprord ymm14, ymm14, `8`
1763	vpaddd ymm10, ymm10, ymm15
1764	vpaddd ymm11, ymm11, ymm12
1765	vpaddd ymm8, ymm8, ymm13
1766	vpaddd ymm9, ymm9, ymm14
1767	vpxord ymm5, ymm5, ymm10
1768	vpxord ymm6, ymm6, ymm11
1769	vpxord ymm7, ymm7, ymm8
1770	vpxord ymm4, ymm4, ymm9
1771	vprord ymm5, ymm5, `7`
1772	vprord ymm6, ymm6, `7`
1773	vprord ymm7, ymm7, `7`
1774	vprord ymm4, ymm4, `7`
1775	vpaddd ymm0, ymm0, ymm25
1776	vpaddd ymm1, ymm1, ymm27
1777	vpaddd ymm2, ymm2, ymm24
1778	vpaddd ymm3, ymm3, ymm31
1779	vpaddd ymm0, ymm0, ymm4
1780	vpaddd ymm1, ymm1, ymm5
1781	vpaddd ymm2, ymm2, ymm6
1782	vpaddd ymm3, ymm3, ymm7
1783	vpxord ymm12, ymm12, ymm0
1784	vpxord ymm13, ymm13, ymm1
1785	vpxord ymm14, ymm14, ymm2
1786	vpxord ymm15, ymm15, ymm3
1787	vprord ymm12, ymm12, `16`
1788	vprord ymm13, ymm13, `16`
1789	vprord ymm14, ymm14, `16`
1790	vprord ymm15, ymm15, `16`
1791	vpaddd ymm8, ymm8, ymm12
1792	vpaddd ymm9, ymm9, ymm13
1793	vpaddd ymm10, ymm10, ymm14
1794	vpaddd ymm11, ymm11, ymm15
1795	vpxord ymm4, ymm4, ymm8
1796	vpxord ymm5, ymm5, ymm9
1797	vpxord ymm6, ymm6, ymm10
1798	vpxord ymm7, ymm7, ymm11
1799	vprord ymm4, ymm4, `12`
1800	vprord ymm5, ymm5, `12`
1801	vprord ymm6, ymm6, `12`
1802	vprord ymm7, ymm7, `12`
1803	vpaddd ymm0, ymm0, ymm30
1804	vpaddd ymm1, ymm1, ymm21
1805	vpaddd ymm2, ymm2, ymm28
1806	vpaddd ymm3, ymm3, ymm17
1807	vpaddd ymm0, ymm0, ymm4
1808	vpaddd ymm1, ymm1, ymm5
1809	vpaddd ymm2, ymm2, ymm6
1810	vpaddd ymm3, ymm3, ymm7
1811	vpxord ymm12, ymm12, ymm0
1812	vpxord ymm13, ymm13, ymm1
1813	vpxord ymm14, ymm14, ymm2
1814	vpxord ymm15, ymm15, ymm3
1815	vprord ymm12, ymm12, `8`
1816	vprord ymm13, ymm13, `8`
1817	vprord ymm14, ymm14, `8`
1818	vprord ymm15, ymm15, `8`
1819	vpaddd ymm8, ymm8, ymm12
1820	vpaddd ymm9, ymm9, ymm13
1821	vpaddd ymm10, ymm10, ymm14
1822	vpaddd ymm11, ymm11, ymm15
1823	vpxord ymm4, ymm4, ymm8
1824	vpxord ymm5, ymm5, ymm9
1825	vpxord ymm6, ymm6, ymm10
1826	vpxord ymm7, ymm7, ymm11
1827	vprord ymm4, ymm4, `7`
1828	vprord ymm5, ymm5, `7`
1829	vprord ymm6, ymm6, `7`
1830	vprord ymm7, ymm7, `7`
1831	vpaddd ymm0, ymm0, ymm29
1832	vpaddd ymm1, ymm1, ymm16
1833	vpaddd ymm2, ymm2, ymm18
1834	vpaddd ymm3, ymm3, ymm20
1835	vpaddd ymm0, ymm0, ymm5
1836	vpaddd ymm1, ymm1, ymm6
1837	vpaddd ymm2, ymm2, ymm7
1838	vpaddd ymm3, ymm3, ymm4
1839	vpxord ymm15, ymm15, ymm0
1840	vpxord ymm12, ymm12, ymm1
1841	vpxord ymm13, ymm13, ymm2
1842	vpxord ymm14, ymm14, ymm3
1843	vprord ymm15, ymm15, `16`
1844	vprord ymm12, ymm12, `16`
1845	vprord ymm13, ymm13, `16`
1846	vprord ymm14, ymm14, `16`
1847	vpaddd ymm10, ymm10, ymm15
1848	vpaddd ymm11, ymm11, ymm12
1849	vpaddd ymm8, ymm8, ymm13
1850	vpaddd ymm9, ymm9, ymm14
1851	vpxord ymm5, ymm5, ymm10
1852	vpxord ymm6, ymm6, ymm11
1853	vpxord ymm7, ymm7, ymm8
1854	vpxord ymm4, ymm4, ymm9
1855	vprord ymm5, ymm5, `12`
1856	vprord ymm6, ymm6, `12`
1857	vprord ymm7, ymm7, `12`
1858	vprord ymm4, ymm4, `12`
1859	vpaddd ymm0, ymm0, ymm19
1860	vpaddd ymm1, ymm1, ymm26
1861	vpaddd ymm2, ymm2, ymm22
1862	vpaddd ymm3, ymm3, ymm23
1863	vpaddd ymm0, ymm0, ymm5
1864	vpaddd ymm1, ymm1, ymm6
1865	vpaddd ymm2, ymm2, ymm7
1866	vpaddd ymm3, ymm3, ymm4
1867	vpxord ymm15, ymm15, ymm0
1868	vpxord ymm12, ymm12, ymm1
1869	vpxord ymm13, ymm13, ymm2
1870	vpxord ymm14, ymm14, ymm3
1871	vprord ymm15, ymm15, `8`
1872	vprord ymm12, ymm12, `8`
1873	vprord ymm13, ymm13, `8`
1874	vprord ymm14, ymm14, `8`
1875	vpaddd ymm10, ymm10, ymm15
1876	vpaddd ymm11, ymm11, ymm12
1877	vpaddd ymm8, ymm8, ymm13
1878	vpaddd ymm9, ymm9, ymm14
1879	vpxord ymm5, ymm5, ymm10
1880	vpxord ymm6, ymm6, ymm11
1881	vpxord ymm7, ymm7, ymm8
1882	vpxord ymm4, ymm4, ymm9
1883	vprord ymm5, ymm5, `7`
1884	vprord ymm6, ymm6, `7`
1885	vprord ymm7, ymm7, `7`
1886	vprord ymm4, ymm4, `7`
1887	vpaddd ymm0, ymm0, ymm27
1888	vpaddd ymm1, ymm1, ymm21
1889	vpaddd ymm2, ymm2, ymm17
1890	vpaddd ymm3, ymm3, ymm24
1891	vpaddd ymm0, ymm0, ymm4
1892	vpaddd ymm1, ymm1, ymm5
1893	vpaddd ymm2, ymm2, ymm6
1894	vpaddd ymm3, ymm3, ymm7
1895	vpxord ymm12, ymm12, ymm0
1896	vpxord ymm13, ymm13, ymm1
1897	vpxord ymm14, ymm14, ymm2
1898	vpxord ymm15, ymm15, ymm3
1899	vprord ymm12, ymm12, `16`
1900	vprord ymm13, ymm13, `16`
1901	vprord ymm14, ymm14, `16`
1902	vprord ymm15, ymm15, `16`
1903	vpaddd ymm8, ymm8, ymm12
1904	vpaddd ymm9, ymm9, ymm13
1905	vpaddd ymm10, ymm10, ymm14
1906	vpaddd ymm11, ymm11, ymm15
1907	vpxord ymm4, ymm4, ymm8
1908	vpxord ymm5, ymm5, ymm9
1909	vpxord ymm6, ymm6, ymm10
1910	vpxord ymm7, ymm7, ymm11
1911	vprord ymm4, ymm4, `12`
1912	vprord ymm5, ymm5, `12`
1913	vprord ymm6, ymm6, `12`
1914	vprord ymm7, ymm7, `12`
1915	vpaddd ymm0, ymm0, ymm31
1916	vpaddd ymm1, ymm1, ymm16
1917	vpaddd ymm2, ymm2, ymm25
1918	vpaddd ymm3, ymm3, ymm22
1919	vpaddd ymm0, ymm0, ymm4
1920	vpaddd ymm1, ymm1, ymm5
1921	vpaddd ymm2, ymm2, ymm6
1922	vpaddd ymm3, ymm3, ymm7
1923	vpxord ymm12, ymm12, ymm0
1924	vpxord ymm13, ymm13, ymm1
1925	vpxord ymm14, ymm14, ymm2
1926	vpxord ymm15, ymm15, ymm3
1927	vprord ymm12, ymm12, `8`
1928	vprord ymm13, ymm13, `8`
1929	vprord ymm14, ymm14, `8`
1930	vprord ymm15, ymm15, `8`
1931	vpaddd ymm8, ymm8, ymm12
1932	vpaddd ymm9, ymm9, ymm13
1933	vpaddd ymm10, ymm10, ymm14
1934	vpaddd ymm11, ymm11, ymm15
1935	vpxord ymm4, ymm4, ymm8
1936	vpxord ymm5, ymm5, ymm9
1937	vpxord ymm6, ymm6, ymm10
1938	vpxord ymm7, ymm7, ymm11
1939	vprord ymm4, ymm4, `7`
1940	vprord ymm5, ymm5, `7`
1941	vprord ymm6, ymm6, `7`
1942	vprord ymm7, ymm7, `7`
1943	vpaddd ymm0, ymm0, ymm30
1944	vpaddd ymm1, ymm1, ymm18
1945	vpaddd ymm2, ymm2, ymm19
1946	vpaddd ymm3, ymm3, ymm23
1947	vpaddd ymm0, ymm0, ymm5
1948	vpaddd ymm1, ymm1, ymm6
1949	vpaddd ymm2, ymm2, ymm7
1950	vpaddd ymm3, ymm3, ymm4
1951	vpxord ymm15, ymm15, ymm0
1952	vpxord ymm12, ymm12, ymm1
1953	vpxord ymm13, ymm13, ymm2
1954	vpxord ymm14, ymm14, ymm3
1955	vprord ymm15, ymm15, `16`
1956	vprord ymm12, ymm12, `16`
1957	vprord ymm13, ymm13, `16`
1958	vprord ymm14, ymm14, `16`
1959	vpaddd ymm10, ymm10, ymm15
1960	vpaddd ymm11, ymm11, ymm12
1961	vpaddd ymm8, ymm8, ymm13
1962	vpaddd ymm9, ymm9, ymm14
1963	vpxord ymm5, ymm5, ymm10
1964	vpxord ymm6, ymm6, ymm11
1965	vpxord ymm7, ymm7, ymm8
1966	vpxord ymm4, ymm4, ymm9
1967	vprord ymm5, ymm5, `12`
1968	vprord ymm6, ymm6, `12`
1969	vprord ymm7, ymm7, `12`
1970	vprord ymm4, ymm4, `12`
1971	vpaddd ymm0, ymm0, ymm26
1972	vpaddd ymm1, ymm1, ymm28
1973	vpaddd ymm2, ymm2, ymm20
1974	vpaddd ymm3, ymm3, ymm29
1975	vpaddd ymm0, ymm0, ymm5
1976	vpaddd ymm1, ymm1, ymm6
1977	vpaddd ymm2, ymm2, ymm7
1978	vpaddd ymm3, ymm3, ymm4
1979	vpxord ymm15, ymm15, ymm0
1980	vpxord ymm12, ymm12, ymm1
1981	vpxord ymm13, ymm13, ymm2
1982	vpxord ymm14, ymm14, ymm3
1983	vprord ymm15, ymm15, `8`
1984	vprord ymm12, ymm12, `8`
1985	vprord ymm13, ymm13, `8`
1986	vprord ymm14, ymm14, `8`
1987	vpaddd ymm10, ymm10, ymm15
1988	vpaddd ymm11, ymm11, ymm12
1989	vpaddd ymm8, ymm8, ymm13
1990	vpaddd ymm9, ymm9, ymm14
1991	vpxord ymm5, ymm5, ymm10
1992	vpxord ymm6, ymm6, ymm11
1993	vpxord ymm7, ymm7, ymm8
1994	vpxord ymm4, ymm4, ymm9
1995	vprord ymm5, ymm5, `7`
1996	vprord ymm6, ymm6, `7`
1997	vprord ymm7, ymm7, `7`
1998	vprord ymm4, ymm4, `7`
1999	vpxor ymm0, ymm0, ymm8
2000	vpxor ymm1, ymm1, ymm9
2001	vpxor ymm2, ymm2, ymm10
2002	vpxor ymm3, ymm3, ymm11
2003	vpxor ymm4, ymm4, ymm12
2004	vpxor ymm5, ymm5, ymm13
2005	vpxor ymm6, ymm6, ymm14
2006	vpxor ymm7, ymm7, ymm15
2007	movzx eax, byte ptr [rbp+`0x38`]
2008	jne `2b`
2009	mov rbx, qword ptr [rbp+`0x50`]
2010	vunpcklps ymm8, ymm0, ymm1
2011	vunpcklps ymm9, ymm2, ymm3
2012	vunpckhps ymm10, ymm0, ymm1
2013	vunpcklps ymm11, ymm4, ymm5
2014	vunpcklps ymm0, ymm6, ymm7
2015	vshufps ymm12, ymm8, ymm9, `78`
2016	vblendps ymm1, ymm8, ymm12, `0xCC`
2017	vshufps ymm8, ymm11, ymm0, `78`
2018	vunpckhps ymm13, ymm2, ymm3
2019	vblendps ymm2, ymm11, ymm8, `0xCC`
2020	vblendps ymm3, ymm12, ymm9, `0xCC`
2021	vperm2f128 ymm12, ymm1, ymm2, `0x20`
2022	vmovups ymmword ptr [rbx], ymm12
2023	vunpckhps ymm14, ymm4, ymm5
2024	vblendps ymm4, ymm8, ymm0, `0xCC`
2025	vunpckhps ymm15, ymm6, ymm7
2026	vperm2f128 ymm7, ymm3, ymm4, `0x20`
2027	vmovups ymmword ptr [rbx+`0x20`], ymm7
2028	vshufps ymm5, ymm10, ymm13, `78`
2029	vblendps ymm6, ymm5, ymm13, `0xCC`
2030	vshufps ymm13, ymm14, ymm15, `78`
2031	vblendps ymm10, ymm10, ymm5, `0xCC`
2032	vblendps ymm14, ymm14, ymm13, `0xCC`
2033	vperm2f128 ymm8, ymm10, ymm14, `0x20`
2034	vmovups ymmword ptr [rbx+`0x40`], ymm8
2035	vblendps ymm15, ymm13, ymm15, `0xCC`
2036	vperm2f128 ymm13, ymm6, ymm15, `0x20`
2037	vmovups ymmword ptr [rbx+`0x60`], ymm13
2038	vperm2f128 ymm9, ymm1, ymm2, `0x31`
2039	vperm2f128 ymm11, ymm3, ymm4, `0x31`
2040	vmovups ymmword ptr [rbx+`0x80`], ymm9
2041	vperm2f128 ymm14, ymm10, ymm14, `0x31`
2042	vperm2f128 ymm15, ymm6, ymm15, `0x31`
2043	vmovups ymmword ptr [rbx+`0xA0`], ymm11
2044	vmovups ymmword ptr [rbx+`0xC0`], ymm14
2045	vmovups ymmword ptr [rbx+`0xE0`], ymm15
2046	vmovdqa ymm0, ymmword ptr [rsp]
2047	vmovdqa ymm2, ymmword ptr [rsp+`0x2`*`0x20`]
2048	vmovdqa32 ymm0 {k1}, ymmword ptr [rsp+`0x1`*`0x20`]
2049	vmovdqa32 ymm2 {k1}, ymmword ptr [rsp+`0x3`*`0x20`]
2050	vmovdqa ymmword ptr [rsp], ymm0
2051	vmovdqa ymmword ptr [rsp+`0x2`*`0x20`], ymm2
2052	add rbx, `256`
2053	mov qword ptr [rbp+`0x50`], rbx
2054	add rdi, `64`
2055	sub rsi, `8`
2056	`3`:
2057	mov rbx, qword ptr [rbp+`0x50`]
2058	mov r15, qword ptr [rsp+`0x80`]
2059	movzx r13, byte ptr [rbp+`0x38`]
2060	movzx r12, byte ptr [rbp+`0x48`]
2061	test esi, `0x4`
2062	je `3f`
2063	vbroadcasti32x4 zmm0, xmmword ptr [rcx]
2064	vbroadcasti32x4 zmm1, xmmword ptr [rcx+`0x1`*`0x10`]
2065	vmovdqa xmm12, xmmword ptr [rsp]
2066	vmovdqa xmm13, xmmword ptr [rsp+`0x4`*`0x10`]
2067	vpunpckldq xmm14, xmm12, xmm13
2068	vpunpckhdq xmm15, xmm12, xmm13
2069	vpermq ymm14, ymm14, `0xDC`
2070	vpermq ymm15, ymm15, `0xDC`
2071	vpbroadcastd zmm12, dword ptr [BLAKE3_BLOCK_LEN+rip]
2072	vinserti64x4 zmm13, zmm14, ymm15, `0x01`
2073	mov eax, `17476`
2074	kmovw k2, eax
2075	vpblendmd zmm13 {k2}, zmm13, zmm12
2076	vbroadcasti32x4 zmm15, xmmword ptr [BLAKE3_IV+rip]
2077	mov r8, qword ptr [rdi]
2078	mov r9, qword ptr [rdi+`0x8`]
2079	mov r10, qword ptr [rdi+`0x10`]
2080	mov r11, qword ptr [rdi+`0x18`]
2081	mov eax, `43690`
2082	kmovw k3, eax
2083	mov eax, `34952`
2084	kmovw k4, eax
2085	movzx eax, byte ptr [rbp+`0x40`]
2086	or eax, r13d
2087	xor edx, edx
2088	.p2align `5`
2089	`2`:
2090	mov r14d, eax
2091	or eax, r12d
2092	add rdx, `64`
2093	cmp rdx, r15
2094	cmovne eax, r14d
2095	mov dword ptr [rsp+`0x88`], eax
2096	vmovdqa32 zmm2, zmm15
2097	vpbroadcastd zmm8, dword ptr [rsp+`0x22`*`0x4`]
2098	vpblendmd zmm3 {k4}, zmm13, zmm8
2099	vmovups zmm8, zmmword ptr [r8+rdx-`0x1`*`0x40`]
2100	vinserti32x4 zmm8, zmm8, xmmword ptr [r9+rdx-`0x4`*`0x10`], `0x01`
2101	vinserti32x4 zmm8, zmm8, xmmword ptr [r10+rdx-`0x4`*`0x10`], `0x02`
2102	vinserti32x4 zmm8, zmm8, xmmword ptr [r11+rdx-`0x4`*`0x10`], `0x03`
2103	vmovups zmm9, zmmword ptr [r8+rdx-`0x30`]
2104	vinserti32x4 zmm9, zmm9, xmmword ptr [r9+rdx-`0x3`*`0x10`], `0x01`
2105	vinserti32x4 zmm9, zmm9, xmmword ptr [r10+rdx-`0x3`*`0x10`], `0x02`
2106	vinserti32x4 zmm9, zmm9, xmmword ptr [r11+rdx-`0x3`*`0x10`], `0x03`
2107	vshufps zmm4, zmm8, zmm9, `136`
2108	vshufps zmm5, zmm8, zmm9, `221`
2109	vmovups zmm8, zmmword ptr [r8+rdx-`0x20`]
2110	vinserti32x4 zmm8, zmm8, xmmword ptr [r9+rdx-`0x2`*`0x10`], `0x01`
2111	vinserti32x4 zmm8, zmm8, xmmword ptr [r10+rdx-`0x2`*`0x10`], `0x02`
2112	vinserti32x4 zmm8, zmm8, xmmword ptr [r11+rdx-`0x2`*`0x10`], `0x03`
2113	vmovups zmm9, zmmword ptr [r8+rdx-`0x10`]
2114	vinserti32x4 zmm9, zmm9, xmmword ptr [r9+rdx-`0x1`*`0x10`], `0x01`
2115	vinserti32x4 zmm9, zmm9, xmmword ptr [r10+rdx-`0x1`*`0x10`], `0x02`
2116	vinserti32x4 zmm9, zmm9, xmmword ptr [r11+rdx-`0x1`*`0x10`], `0x03`
2117	vshufps zmm6, zmm8, zmm9, `136`
2118	vshufps zmm7, zmm8, zmm9, `221`
2119	vpshufd zmm6, zmm6, `0x93`
2120	vpshufd zmm7, zmm7, `0x93`
2121	mov al, `7`
2122	`9`:
2123	vpaddd zmm0, zmm0, zmm4
2124	vpaddd zmm0, zmm0, zmm1
2125	vpxord zmm3, zmm3, zmm0
2126	vprord zmm3, zmm3, `16`
2127	vpaddd zmm2, zmm2, zmm3
2128	vpxord zmm1, zmm1, zmm2
2129	vprord zmm1, zmm1, `12`
2130	vpaddd zmm0, zmm0, zmm5
2131	vpaddd zmm0, zmm0, zmm1
2132	vpxord zmm3, zmm3, zmm0
2133	vprord zmm3, zmm3, `8`
2134	vpaddd zmm2, zmm2, zmm3
2135	vpxord zmm1, zmm1, zmm2
2136	vprord zmm1, zmm1, `7`
2137	vpshufd zmm0, zmm0, `0x93`
2138	vpshufd zmm3, zmm3, `0x4E`
2139	vpshufd zmm2, zmm2, `0x39`
2140	vpaddd zmm0, zmm0, zmm6
2141	vpaddd zmm0, zmm0, zmm1
2142	vpxord zmm3, zmm3, zmm0
2143	vprord zmm3, zmm3, `16`
2144	vpaddd zmm2, zmm2, zmm3
2145	vpxord zmm1, zmm1, zmm2
2146	vprord zmm1, zmm1, `12`
2147	vpaddd zmm0, zmm0, zmm7
2148	vpaddd zmm0, zmm0, zmm1
2149	vpxord zmm3, zmm3, zmm0
2150	vprord zmm3, zmm3, `8`
2151	vpaddd zmm2, zmm2, zmm3
2152	vpxord zmm1, zmm1, zmm2
2153	vprord zmm1, zmm1, `7`
2154	vpshufd zmm0, zmm0, `0x39`
2155	vpshufd zmm3, zmm3, `0x4E`
2156	vpshufd zmm2, zmm2, `0x93`
2157	dec al
2158	jz `9f`
2159	vshufps zmm8, zmm4, zmm5, `214`
2160	vpshufd zmm9, zmm4, `0x0F`
2161	vpshufd zmm4, zmm8, `0x39`
2162	vshufps zmm8, zmm6, zmm7, `250`
2163	vpblendmd zmm9 {k3}, zmm9, zmm8
2164	vpunpcklqdq zmm8, zmm7, zmm5
2165	vpblendmd zmm8 {k4}, zmm8, zmm6
2166	vpshufd zmm8, zmm8, `0x78`
2167	vpunpckhdq zmm5, zmm5, zmm7
2168	vpunpckldq zmm6, zmm6, zmm5
2169	vpshufd zmm7, zmm6, `0x1E`
2170	vmovdqa32 zmm5, zmm9
2171	vmovdqa32 zmm6, zmm8
2172	jmp `9b`
2173	`9`:
2174	vpxord zmm0, zmm0, zmm2
2175	vpxord zmm1, zmm1, zmm3
2176	mov eax, r13d
2177	cmp rdx, r15
2178	jne `2b`
2179	vmovdqu xmmword ptr [rbx], xmm0
2180	vmovdqu xmmword ptr [rbx+`0x10`], xmm1
2181	vextracti128 xmmword ptr [rbx+`0x20`], ymm0, `0x01`
2182	vextracti128 xmmword ptr [rbx+`0x30`], ymm1, `0x01`
2183	vextracti32x4 xmmword ptr [rbx+`0x4`*`0x10`], zmm0, `0x02`
2184	vextracti32x4 xmmword ptr [rbx+`0x5`*`0x10`], zmm1, `0x02`
2185	vextracti32x4 xmmword ptr [rbx+`0x6`*`0x10`], zmm0, `0x03`
2186	vextracti32x4 xmmword ptr [rbx+`0x7`*`0x10`], zmm1, `0x03`
2187	vmovdqa xmm0, xmmword ptr [rsp]
2188	vmovdqa xmm2, xmmword ptr [rsp+`0x40`]
2189	vmovdqa32 xmm0 {k1}, xmmword ptr [rsp+`0x1`*`0x10`]
2190	vmovdqa32 xmm2 {k1}, xmmword ptr [rsp+`0x5`*`0x10`]
2191	vmovdqa xmmword ptr [rsp], xmm0
2192	vmovdqa xmmword ptr [rsp+`0x40`], xmm2
2193	add rbx, `128`
2194	add rdi, `32`
2195	sub rsi, `4`
2196	`3`:
2197	test esi, `0x2`
2198	je `3f`
2199	vbroadcasti128 ymm0, xmmword ptr [rcx]
2200	vbroadcasti128 ymm1, xmmword ptr [rcx+`0x10`]
2201	vmovd xmm13, dword ptr [rsp]
2202	vpinsrd xmm13, xmm13, dword ptr [rsp+`0x40`], `1`
2203	vpinsrd xmm13, xmm13, dword ptr [BLAKE3_BLOCK_LEN+rip], `2`
2204	vmovd xmm14, dword ptr [rsp+`0x4`]
2205	vpinsrd xmm14, xmm14, dword ptr [rsp+`0x44`], `1`
2206	vpinsrd xmm14, xmm14, dword ptr [BLAKE3_BLOCK_LEN+rip], `2`
2207	vinserti128 ymm13, ymm13, xmm14, `0x01`
2208	mov r8, qword ptr [rdi]
2209	mov r9, qword ptr [rdi+`0x8`]
2210	movzx eax, byte ptr [rbp+`0x40`]
2211	or eax, r13d
2212	xor edx, edx
2213	.p2align `5`
2214	`2`:
2215	mov r14d, eax
2216	or eax, r12d
2217	add rdx, `64`
2218	cmp rdx, r15
2219	cmovne eax, r14d
2220	mov dword ptr [rsp+`0x88`], eax
2221	vbroadcasti128 ymm2, xmmword ptr [BLAKE3_IV+rip]
2222	vpbroadcastd ymm8, dword ptr [rsp+`0x88`]
2223	vpblendd ymm3, ymm13, ymm8, `0x88`
2224	vmovups ymm8, ymmword ptr [r8+rdx-`0x40`]
2225	vinsertf128 ymm8, ymm8, xmmword ptr [r9+rdx-`0x40`], `0x01`
2226	vmovups ymm9, ymmword ptr [r8+rdx-`0x30`]
2227	vinsertf128 ymm9, ymm9, xmmword ptr [r9+rdx-`0x30`], `0x01`
2228	vshufps ymm4, ymm8, ymm9, `136`
2229	vshufps ymm5, ymm8, ymm9, `221`
2230	vmovups ymm8, ymmword ptr [r8+rdx-`0x20`]
2231	vinsertf128 ymm8, ymm8, xmmword ptr [r9+rdx-`0x20`], `0x01`
2232	vmovups ymm9, ymmword ptr [r8+rdx-`0x10`]
2233	vinsertf128 ymm9, ymm9, xmmword ptr [r9+rdx-`0x10`], `0x01`
2234	vshufps ymm6, ymm8, ymm9, `136`
2235	vshufps ymm7, ymm8, ymm9, `221`
2236	vpshufd ymm6, ymm6, `0x93`
2237	vpshufd ymm7, ymm7, `0x93`
2238	mov al, `7`
2239	`9`:
2240	vpaddd ymm0, ymm0, ymm4
2241	vpaddd ymm0, ymm0, ymm1
2242	vpxord ymm3, ymm3, ymm0
2243	vprord ymm3, ymm3, `16`
2244	vpaddd ymm2, ymm2, ymm3
2245	vpxord ymm1, ymm1, ymm2
2246	vprord ymm1, ymm1, `12`
2247	vpaddd ymm0, ymm0, ymm5
2248	vpaddd ymm0, ymm0, ymm1
2249	vpxord ymm3, ymm3, ymm0
2250	vprord ymm3, ymm3, `8`
2251	vpaddd ymm2, ymm2, ymm3
2252	vpxord ymm1, ymm1, ymm2
2253	vprord ymm1, ymm1, `7`
2254	vpshufd ymm0, ymm0, `0x93`
2255	vpshufd ymm3, ymm3, `0x4E`
2256	vpshufd ymm2, ymm2, `0x39`
2257	vpaddd ymm0, ymm0, ymm6
2258	vpaddd ymm0, ymm0, ymm1
2259	vpxord ymm3, ymm3, ymm0
2260	vprord ymm3, ymm3, `16`
2261	vpaddd ymm2, ymm2, ymm3
2262	vpxord ymm1, ymm1, ymm2
2263	vprord ymm1, ymm1, `12`
2264	vpaddd ymm0, ymm0, ymm7
2265	vpaddd ymm0, ymm0, ymm1
2266	vpxord ymm3, ymm3, ymm0
2267	vprord ymm3, ymm3, `8`
2268	vpaddd ymm2, ymm2, ymm3
2269	vpxord ymm1, ymm1, ymm2
2270	vprord ymm1, ymm1, `7`
2271	vpshufd ymm0, ymm0, `0x39`
2272	vpshufd ymm3, ymm3, `0x4E`
2273	vpshufd ymm2, ymm2, `0x93`
2274	dec al
2275	jz `9f`
2276	vshufps ymm8, ymm4, ymm5, `214`
2277	vpshufd ymm9, ymm4, `0x0F`
2278	vpshufd ymm4, ymm8, `0x39`
2279	vshufps ymm8, ymm6, ymm7, `250`
2280	vpblendd ymm9, ymm9, ymm8, `0xAA`
2281	vpunpcklqdq ymm8, ymm7, ymm5
2282	vpblendd ymm8, ymm8, ymm6, `0x88`
2283	vpshufd ymm8, ymm8, `0x78`
2284	vpunpckhdq ymm5, ymm5, ymm7
2285	vpunpckldq ymm6, ymm6, ymm5
2286	vpshufd ymm7, ymm6, `0x1E`
2287	vmovdqa ymm5, ymm9
2288	vmovdqa ymm6, ymm8
2289	jmp `9b`
2290	`9`:
2291	vpxor ymm0, ymm0, ymm2
2292	vpxor ymm1, ymm1, ymm3
2293	mov eax, r13d
2294	cmp rdx, r15
2295	jne `2b`
2296	vmovdqu xmmword ptr [rbx], xmm0
2297	vmovdqu xmmword ptr [rbx+`0x10`], xmm1
2298	vextracti128 xmmword ptr [rbx+`0x20`], ymm0, `0x01`
2299	vextracti128 xmmword ptr [rbx+`0x30`], ymm1, `0x01`
2300	vmovdqa xmm0, xmmword ptr [rsp]
2301	vmovdqa xmm2, xmmword ptr [rsp+`0x4`*`0x10`]
2302	vmovdqu32 xmm0 {k1}, xmmword ptr [rsp+`0x8`]
2303	vmovdqu32 xmm2 {k1}, xmmword ptr [rsp+`0x48`]
2304	vmovdqa xmmword ptr [rsp], xmm0
2305	vmovdqa xmmword ptr [rsp+`0x4`*`0x10`], xmm2
2306	add rbx, `64`
2307	add rdi, `16`
2308	sub rsi, `2`
2309	`3`:
2310	test esi, `0x1`
2311	je `4b`
2312	vmovdqu xmm0, xmmword ptr [rcx]
2313	vmovdqu xmm1, xmmword ptr [rcx+`0x10`]
2314	vmovd xmm14, dword ptr [rsp]
2315	vpinsrd xmm14, xmm14, dword ptr [rsp+`0x40`], `1`
2316	vpinsrd xmm14, xmm14, dword ptr [BLAKE3_BLOCK_LEN+rip], `2`
2317	vmovdqa xmm15, xmmword ptr [BLAKE3_IV+rip]
2318	mov r8, qword ptr [rdi]
2319	movzx eax, byte ptr [rbp+`0x40`]
2320	or eax, r13d
2321	xor edx, edx
2322	.p2align `5`
2323	`2`:
2324	mov r14d, eax
2325	or eax, r12d
2326	add rdx, `64`
2327	cmp rdx, r15
2328	cmovne eax, r14d
2329	vpinsrd xmm3, xmm14, eax, `3`
2330	vmovdqa xmm2, xmm15
2331	vmovups xmm8, xmmword ptr [r8+rdx-`0x40`]
2332	vmovups xmm9, xmmword ptr [r8+rdx-`0x30`]
2333	vshufps xmm4, xmm8, xmm9, `136`
2334	vshufps xmm5, xmm8, xmm9, `221`
2335	vmovups xmm8, xmmword ptr [r8+rdx-`0x20`]
2336	vmovups xmm9, xmmword ptr [r8+rdx-`0x10`]
2337	vshufps xmm6, xmm8, xmm9, `136`
2338	vshufps xmm7, xmm8, xmm9, `221`
2339	vpshufd xmm6, xmm6, `0x93`
2340	vpshufd xmm7, xmm7, `0x93`
2341	mov al, `7`
2342	`9`:
2343	vpaddd xmm0, xmm0, xmm4
2344	vpaddd xmm0, xmm0, xmm1
2345	vpxord xmm3, xmm3, xmm0
2346	vprord xmm3, xmm3, `16`
2347	vpaddd xmm2, xmm2, xmm3
2348	vpxord xmm1, xmm1, xmm2
2349	vprord xmm1, xmm1, `12`
2350	vpaddd xmm0, xmm0, xmm5
2351	vpaddd xmm0, xmm0, xmm1
2352	vpxord xmm3, xmm3, xmm0
2353	vprord xmm3, xmm3, `8`
2354	vpaddd xmm2, xmm2, xmm3
2355	vpxord xmm1, xmm1, xmm2
2356	vprord xmm1, xmm1, `7`
2357	vpshufd xmm0, xmm0, `0x93`
2358	vpshufd xmm3, xmm3, `0x4E`
2359	vpshufd xmm2, xmm2, `0x39`
2360	vpaddd xmm0, xmm0, xmm6
2361	vpaddd xmm0, xmm0, xmm1
2362	vpxord xmm3, xmm3, xmm0
2363	vprord xmm3, xmm3, `16`
2364	vpaddd xmm2, xmm2, xmm3
2365	vpxord xmm1, xmm1, xmm2
2366	vprord xmm1, xmm1, `12`
2367	vpaddd xmm0, xmm0, xmm7
2368	vpaddd xmm0, xmm0, xmm1
2369	vpxord xmm3, xmm3, xmm0
2370	vprord xmm3, xmm3, `8`
2371	vpaddd xmm2, xmm2, xmm3
2372	vpxord xmm1, xmm1, xmm2
2373	vprord xmm1, xmm1, `7`
2374	vpshufd xmm0, xmm0, `0x39`
2375	vpshufd xmm3, xmm3, `0x4E`
2376	vpshufd xmm2, xmm2, `0x93`
2377	dec al
2378	jz `9f`
2379	vshufps xmm8, xmm4, xmm5, `214`
2380	vpshufd xmm9, xmm4, `0x0F`
2381	vpshufd xmm4, xmm8, `0x39`
2382	vshufps xmm8, xmm6, xmm7, `250`
2383	vpblendd xmm9, xmm9, xmm8, `0xAA`
2384	vpunpcklqdq xmm8, xmm7, xmm5
2385	vpblendd xmm8, xmm8, xmm6, `0x88`
2386	vpshufd xmm8, xmm8, `0x78`
2387	vpunpckhdq xmm5, xmm5, xmm7
2388	vpunpckldq xmm6, xmm6, xmm5
2389	vpshufd xmm7, xmm6, `0x1E`
2390	vmovdqa xmm5, xmm9
2391	vmovdqa xmm6, xmm8
2392	jmp `9b`
2393	`9`:
2394	vpxor xmm0, xmm0, xmm2
2395	vpxor xmm1, xmm1, xmm3
2396	mov eax, r13d
2397	cmp rdx, r15
2398	jne `2b`
2399	vmovdqu xmmword ptr [rbx], xmm0
2400	vmovdqu xmmword ptr [rbx+`0x10`], xmm1
2401	jmp `4b`
2402	.p2align `6`
2403	_blake3_compress_in_place_avx512:
2404	blake3_compress_in_place_avx512:
2405	_CET_ENDBR
2406	vmovdqu xmm0, xmmword ptr [rdi]
2407	vmovdqu xmm1, xmmword ptr [rdi+`0x10`]
2408	movzx eax, r8b
2409	movzx edx, dl
2410	shl rax, `32`
2411	add rdx, rax
2412	vmovq xmm3, rcx
2413	vmovq xmm4, rdx
2414	vpunpcklqdq xmm3, xmm3, xmm4
2415	vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip]
2416	vmovups xmm8, xmmword ptr [rsi]
2417	vmovups xmm9, xmmword ptr [rsi+`0x10`]
2418	vshufps xmm4, xmm8, xmm9, `136`
2419	vshufps xmm5, xmm8, xmm9, `221`
2420	vmovups xmm8, xmmword ptr [rsi+`0x20`]
2421	vmovups xmm9, xmmword ptr [rsi+`0x30`]
2422	vshufps xmm6, xmm8, xmm9, `136`
2423	vshufps xmm7, xmm8, xmm9, `221`
2424	vpshufd xmm6, xmm6, `0x93`
2425	vpshufd xmm7, xmm7, `0x93`
2426	mov al, `7`
2427	`9`:
2428	vpaddd xmm0, xmm0, xmm4
2429	vpaddd xmm0, xmm0, xmm1
2430	vpxord xmm3, xmm3, xmm0
2431	vprord xmm3, xmm3, `16`
2432	vpaddd xmm2, xmm2, xmm3
2433	vpxord xmm1, xmm1, xmm2
2434	vprord xmm1, xmm1, `12`
2435	vpaddd xmm0, xmm0, xmm5
2436	vpaddd xmm0, xmm0, xmm1
2437	vpxord xmm3, xmm3, xmm0
2438	vprord xmm3, xmm3, `8`
2439	vpaddd xmm2, xmm2, xmm3
2440	vpxord xmm1, xmm1, xmm2
2441	vprord xmm1, xmm1, `7`
2442	vpshufd xmm0, xmm0, `0x93`
2443	vpshufd xmm3, xmm3, `0x4E`
2444	vpshufd xmm2, xmm2, `0x39`
2445	vpaddd xmm0, xmm0, xmm6
2446	vpaddd xmm0, xmm0, xmm1
2447	vpxord xmm3, xmm3, xmm0
2448	vprord xmm3, xmm3, `16`
2449	vpaddd xmm2, xmm2, xmm3
2450	vpxord xmm1, xmm1, xmm2
2451	vprord xmm1, xmm1, `12`
2452	vpaddd xmm0, xmm0, xmm7
2453	vpaddd xmm0, xmm0, xmm1
2454	vpxord xmm3, xmm3, xmm0
2455	vprord xmm3, xmm3, `8`
2456	vpaddd xmm2, xmm2, xmm3
2457	vpxord xmm1, xmm1, xmm2
2458	vprord xmm1, xmm1, `7`
2459	vpshufd xmm0, xmm0, `0x39`
2460	vpshufd xmm3, xmm3, `0x4E`
2461	vpshufd xmm2, xmm2, `0x93`
2462	dec al
2463	jz `9f`
2464	vshufps xmm8, xmm4, xmm5, `214`
2465	vpshufd xmm9, xmm4, `0x0F`
2466	vpshufd xmm4, xmm8, `0x39`
2467	vshufps xmm8, xmm6, xmm7, `250`
2468	vpblendd xmm9, xmm9, xmm8, `0xAA`
2469	vpunpcklqdq xmm8, xmm7, xmm5
2470	vpblendd xmm8, xmm8, xmm6, `0x88`
2471	vpshufd xmm8, xmm8, `0x78`
2472	vpunpckhdq xmm5, xmm5, xmm7
2473	vpunpckldq xmm6, xmm6, xmm5
2474	vpshufd xmm7, xmm6, `0x1E`
2475	vmovdqa xmm5, xmm9
2476	vmovdqa xmm6, xmm8
2477	jmp `9b`
2478	`9`:
2479	vpxor xmm0, xmm0, xmm2
2480	vpxor xmm1, xmm1, xmm3
2481	vmovdqu xmmword ptr [rdi], xmm0
2482	vmovdqu xmmword ptr [rdi+`0x10`], xmm1
2483	ret
2484
2485	.p2align `6`
2486	_blake3_compress_xof_avx512:
2487	blake3_compress_xof_avx512:
2488	_CET_ENDBR
2489	vmovdqu xmm0, xmmword ptr [rdi]
2490	vmovdqu xmm1, xmmword ptr [rdi+`0x10`]
2491	movzx eax, r8b
2492	movzx edx, dl
2493	shl rax, `32`
2494	add rdx, rax
2495	vmovq xmm3, rcx
2496	vmovq xmm4, rdx
2497	vpunpcklqdq xmm3, xmm3, xmm4
2498	vmovaps xmm2, xmmword ptr [BLAKE3_IV+rip]
2499	vmovups xmm8, xmmword ptr [rsi]
2500	vmovups xmm9, xmmword ptr [rsi+`0x10`]
2501	vshufps xmm4, xmm8, xmm9, `136`
2502	vshufps xmm5, xmm8, xmm9, `221`
2503	vmovups xmm8, xmmword ptr [rsi+`0x20`]
2504	vmovups xmm9, xmmword ptr [rsi+`0x30`]
2505	vshufps xmm6, xmm8, xmm9, `136`
2506	vshufps xmm7, xmm8, xmm9, `221`
2507	vpshufd xmm6, xmm6, `0x93`
2508	vpshufd xmm7, xmm7, `0x93`
2509	mov al, `7`
2510	`9`:
2511	vpaddd xmm0, xmm0, xmm4
2512	vpaddd xmm0, xmm0, xmm1
2513	vpxord xmm3, xmm3, xmm0
2514	vprord xmm3, xmm3, `16`
2515	vpaddd xmm2, xmm2, xmm3
2516	vpxord xmm1, xmm1, xmm2
2517	vprord xmm1, xmm1, `12`
2518	vpaddd xmm0, xmm0, xmm5
2519	vpaddd xmm0, xmm0, xmm1
2520	vpxord xmm3, xmm3, xmm0
2521	vprord xmm3, xmm3, `8`
2522	vpaddd xmm2, xmm2, xmm3
2523	vpxord xmm1, xmm1, xmm2
2524	vprord xmm1, xmm1, `7`
2525	vpshufd xmm0, xmm0, `0x93`
2526	vpshufd xmm3, xmm3, `0x4E`
2527	vpshufd xmm2, xmm2, `0x39`
2528	vpaddd xmm0, xmm0, xmm6
2529	vpaddd xmm0, xmm0, xmm1
2530	vpxord xmm3, xmm3, xmm0
2531	vprord xmm3, xmm3, `16`
2532	vpaddd xmm2, xmm2, xmm3
2533	vpxord xmm1, xmm1, xmm2
2534	vprord xmm1, xmm1, `12`
2535	vpaddd xmm0, xmm0, xmm7
2536	vpaddd xmm0, xmm0, xmm1
2537	vpxord xmm3, xmm3, xmm0
2538	vprord xmm3, xmm3, `8`
2539	vpaddd xmm2, xmm2, xmm3
2540	vpxord xmm1, xmm1, xmm2
2541	vprord xmm1, xmm1, `7`
2542	vpshufd xmm0, xmm0, `0x39`
2543	vpshufd xmm3, xmm3, `0x4E`
2544	vpshufd xmm2, xmm2, `0x93`
2545	dec al
2546	jz `9f`
2547	vshufps xmm8, xmm4, xmm5, `214`
2548	vpshufd xmm9, xmm4, `0x0F`
2549	vpshufd xmm4, xmm8, `0x39`
2550	vshufps xmm8, xmm6, xmm7, `250`
2551	vpblendd xmm9, xmm9, xmm8, `0xAA`
2552	vpunpcklqdq xmm8, xmm7, xmm5
2553	vpblendd xmm8, xmm8, xmm6, `0x88`
2554	vpshufd xmm8, xmm8, `0x78`
2555	vpunpckhdq xmm5, xmm5, xmm7
2556	vpunpckldq xmm6, xmm6, xmm5
2557	vpshufd xmm7, xmm6, `0x1E`
2558	vmovdqa xmm5, xmm9
2559	vmovdqa xmm6, xmm8
2560	jmp `9b`
2561	`9`:
2562	vpxor xmm0, xmm0, xmm2
2563	vpxor xmm1, xmm1, xmm3
2564	vpxor xmm2, xmm2, [rdi]
2565	vpxor xmm3, xmm3, [rdi+`0x10`]
2566	vmovdqu xmmword ptr [r9], xmm0
2567	vmovdqu xmmword ptr [r9+`0x10`], xmm1
2568	vmovdqu xmmword ptr [r9+`0x20`], xmm2
2569	vmovdqu xmmword ptr [r9+`0x30`], xmm3
2570	ret
2571
2572	#ifdef __APPLE__
2573	.static_data
2574	#else
2575	.section .rodata
2576	#endif
2577	.p2align `6`
2578	INDEX0:
2579	.long `0`, `1`, `2`, `3`, `16`, `17`, `18`, `19`
2580	.long `8`, `9`, `10`, `11`, `24`, `25`, `26`, `27`
2581	INDEX1:
2582	.long `4`, `5`, `6`, `7`, `20`, `21`, `22`, `23`
2583	.long `12`, `13`, `14`, `15`, `28`, `29`, `30`, `31`
2584	ADD0:
2585	.long `0`, `1`, `2`, `3`, `4`, `5`, `6`, `7`
2586	.long `8`, `9`, `10`, `11`, `12`, `13`, `14`, `15`
2587	ADD1: .long `1`
2588
2589	ADD16: .long `16`
2590	BLAKE3_BLOCK_LEN:
2591	.long `64`
2592	.p2align `6`
2593	BLAKE3_IV:
2594	BLAKE3_IV_0:
2595	.long `0x6A09E667`
2596	BLAKE3_IV_1:
2597	.long `0xBB67AE85`
2598	BLAKE3_IV_2:
2599	.long `0x3C6EF372`
2600	BLAKE3_IV_3:
2601	.long `0xA54FF53A`
2602
2603	#endif
2604

Browse the source code of llvm_projects/llvm/lib/Support/BLAKE3/blake3_avx512_x86-64_unix.S