Line data Source code
1 : /*
2 : * Copyright (c) 2017, Alliance for Open Media. All rights reserved
3 : *
4 : * This source code is subject to the terms of the BSD 2 Clause License and
5 : * the Alliance for Open Media Patent License 1.0. If the BSD 2 Clause License
6 : * was not distributed with this source code in the LICENSE file, you can
7 : * obtain it at www.aomedia.org/license/software. If the Alliance for Open
8 : * Media Patent License 1.0 was not distributed with this source code in the
9 : * PATENTS file, you can obtain it at www.aomedia.org/license/patent.
10 : */
11 :
12 : #include <immintrin.h>
13 :
14 : #include "./aom_dsp_rtcd.h"
15 : #include "aom_dsp/inv_txfm.h"
16 : #include "aom_dsp/x86/inv_txfm_common_avx2.h"
17 : #include "aom_dsp/x86/txfm_common_avx2.h"
18 :
19 0 : void aom_idct16x16_256_add_avx2(const tran_low_t *input, uint8_t *dest,
20 : int stride) {
21 : __m256i in[16];
22 0 : load_buffer_16x16(input, in);
23 0 : mm256_transpose_16x16(in, in);
24 0 : av1_idct16_avx2(in);
25 0 : mm256_transpose_16x16(in, in);
26 0 : av1_idct16_avx2(in);
27 0 : store_buffer_16xN(in, stride, dest, 16);
28 0 : }
29 :
30 0 : static INLINE void transpose_col_to_row_nz4x4(__m256i *in /*in[4]*/) {
31 0 : const __m256i u0 = _mm256_unpacklo_epi16(in[0], in[1]);
32 0 : const __m256i u1 = _mm256_unpacklo_epi16(in[2], in[3]);
33 0 : const __m256i v0 = _mm256_unpacklo_epi32(u0, u1);
34 0 : const __m256i v1 = _mm256_unpackhi_epi32(u0, u1);
35 0 : in[0] = _mm256_permute4x64_epi64(v0, 0xA8);
36 0 : in[1] = _mm256_permute4x64_epi64(v0, 0xA9);
37 0 : in[2] = _mm256_permute4x64_epi64(v1, 0xA8);
38 0 : in[3] = _mm256_permute4x64_epi64(v1, 0xA9);
39 0 : }
40 :
41 : #define MM256_SHUFFLE_EPI64(x0, x1, imm8) \
42 : _mm256_castpd_si256(_mm256_shuffle_pd(_mm256_castsi256_pd(x0), \
43 : _mm256_castsi256_pd(x1), imm8))
44 :
45 0 : static INLINE void transpose_col_to_row_nz4x16(__m256i *in /*in[16]*/) {
46 : int i;
47 0 : for (i = 0; i < 16; i += 4) {
48 0 : transpose_col_to_row_nz4x4(&in[i]);
49 : }
50 :
51 0 : for (i = 0; i < 4; ++i) {
52 0 : in[i] = MM256_SHUFFLE_EPI64(in[i], in[i + 4], 0);
53 0 : in[i + 8] = MM256_SHUFFLE_EPI64(in[i + 8], in[i + 12], 0);
54 : }
55 :
56 0 : for (i = 0; i < 4; ++i) {
57 0 : in[i] = _mm256_permute2x128_si256(in[i], in[i + 8], 0x20);
58 : }
59 0 : }
60 :
61 : // Coefficients 0-7 before the final butterfly
62 0 : static INLINE void idct16_10_first_half(const __m256i *in, __m256i *out) {
63 0 : const __m256i c2p28 = pair256_set_epi16(2 * cospi_28_64, 2 * cospi_28_64);
64 0 : const __m256i c2p04 = pair256_set_epi16(2 * cospi_4_64, 2 * cospi_4_64);
65 0 : const __m256i v4 = _mm256_mulhrs_epi16(in[2], c2p28);
66 0 : const __m256i v7 = _mm256_mulhrs_epi16(in[2], c2p04);
67 :
68 0 : const __m256i c2p16 = pair256_set_epi16(2 * cospi_16_64, 2 * cospi_16_64);
69 0 : const __m256i v0 = _mm256_mulhrs_epi16(in[0], c2p16);
70 0 : const __m256i v1 = v0;
71 :
72 0 : const __m256i cospi_p16_p16 = _mm256_set1_epi16((int16_t)cospi_16_64);
73 0 : const __m256i cospi_p16_m16 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
74 : __m256i v5, v6;
75 0 : unpack_butter_fly(&v7, &v4, &cospi_p16_m16, &cospi_p16_p16, &v5, &v6);
76 :
77 0 : out[0] = _mm256_add_epi16(v0, v7);
78 0 : out[1] = _mm256_add_epi16(v1, v6);
79 0 : out[2] = _mm256_add_epi16(v1, v5);
80 0 : out[3] = _mm256_add_epi16(v0, v4);
81 0 : out[4] = _mm256_sub_epi16(v0, v4);
82 0 : out[5] = _mm256_sub_epi16(v1, v5);
83 0 : out[6] = _mm256_sub_epi16(v1, v6);
84 0 : out[7] = _mm256_sub_epi16(v0, v7);
85 0 : }
86 :
87 : // Coefficients 8-15 before the final butterfly
88 0 : static INLINE void idct16_10_second_half(const __m256i *in, __m256i *out) {
89 0 : const __m256i c2p30 = pair256_set_epi16(2 * cospi_30_64, 2 * cospi_30_64);
90 0 : const __m256i c2p02 = pair256_set_epi16(2 * cospi_2_64, 2 * cospi_2_64);
91 0 : const __m256i t0 = _mm256_mulhrs_epi16(in[1], c2p30);
92 0 : const __m256i t7 = _mm256_mulhrs_epi16(in[1], c2p02);
93 :
94 0 : const __m256i c2m26 = pair256_set_epi16(-2 * cospi_26_64, -2 * cospi_26_64);
95 0 : const __m256i c2p06 = pair256_set_epi16(2 * cospi_6_64, 2 * cospi_6_64);
96 0 : const __m256i t3 = _mm256_mulhrs_epi16(in[3], c2m26);
97 0 : const __m256i t4 = _mm256_mulhrs_epi16(in[3], c2p06);
98 :
99 0 : const __m256i cospi_m08_p24 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
100 0 : const __m256i cospi_p24_p08 = pair256_set_epi16(cospi_24_64, cospi_8_64);
101 0 : const __m256i cospi_m24_m08 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
102 :
103 : __m256i t1, t2, t5, t6;
104 0 : unpack_butter_fly(&t0, &t7, &cospi_m08_p24, &cospi_p24_p08, &t1, &t6);
105 0 : unpack_butter_fly(&t3, &t4, &cospi_m24_m08, &cospi_m08_p24, &t2, &t5);
106 :
107 0 : out[0] = _mm256_add_epi16(t0, t3);
108 0 : out[1] = _mm256_add_epi16(t1, t2);
109 0 : out[6] = _mm256_add_epi16(t6, t5);
110 0 : out[7] = _mm256_add_epi16(t7, t4);
111 :
112 0 : const __m256i v2 = _mm256_sub_epi16(t1, t2);
113 0 : const __m256i v3 = _mm256_sub_epi16(t0, t3);
114 0 : const __m256i v4 = _mm256_sub_epi16(t7, t4);
115 0 : const __m256i v5 = _mm256_sub_epi16(t6, t5);
116 0 : const __m256i cospi_p16_p16 = _mm256_set1_epi16((int16_t)cospi_16_64);
117 0 : const __m256i cospi_p16_m16 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
118 0 : unpack_butter_fly(&v5, &v2, &cospi_p16_m16, &cospi_p16_p16, &out[2], &out[5]);
119 0 : unpack_butter_fly(&v4, &v3, &cospi_p16_m16, &cospi_p16_p16, &out[3], &out[4]);
120 0 : }
121 :
122 0 : static INLINE void add_sub_butterfly(const __m256i *in, __m256i *out,
123 : int size) {
124 0 : int i = 0;
125 0 : const int num = size >> 1;
126 0 : const int bound = size - 1;
127 0 : while (i < num) {
128 0 : out[i] = _mm256_add_epi16(in[i], in[bound - i]);
129 0 : out[bound - i] = _mm256_sub_epi16(in[i], in[bound - i]);
130 0 : i++;
131 : }
132 0 : }
133 :
134 0 : static INLINE void idct16_10(__m256i *in /*in[16]*/) {
135 : __m256i out[16];
136 0 : idct16_10_first_half(in, out);
137 0 : idct16_10_second_half(in, &out[8]);
138 0 : add_sub_butterfly(out, in, 16);
139 0 : }
140 :
141 0 : void aom_idct16x16_10_add_avx2(const tran_low_t *input, uint8_t *dest,
142 : int stride) {
143 : __m256i in[16];
144 :
145 0 : load_coeff(input, &in[0]);
146 0 : load_coeff(input + 16, &in[1]);
147 0 : load_coeff(input + 32, &in[2]);
148 0 : load_coeff(input + 48, &in[3]);
149 :
150 0 : transpose_col_to_row_nz4x4(in);
151 0 : idct16_10(in);
152 :
153 0 : transpose_col_to_row_nz4x16(in);
154 0 : idct16_10(in);
155 :
156 0 : store_buffer_16xN(in, stride, dest, 16);
157 0 : }
158 :
159 : // Note:
160 : // For 16x16 int16_t matrix
161 : // transpose first 8 columns into first 8 rows.
162 : // Since only upper-left 8x8 are non-zero, the input are first 8 rows (in[8]).
163 : // After transposing, the 8 row vectors are in in[8].
164 0 : void transpose_col_to_row_nz8x8(__m256i *in /*in[8]*/) {
165 0 : __m256i u0 = _mm256_unpacklo_epi16(in[0], in[1]);
166 0 : __m256i u1 = _mm256_unpackhi_epi16(in[0], in[1]);
167 0 : __m256i u2 = _mm256_unpacklo_epi16(in[2], in[3]);
168 0 : __m256i u3 = _mm256_unpackhi_epi16(in[2], in[3]);
169 :
170 0 : const __m256i v0 = _mm256_unpacklo_epi32(u0, u2);
171 0 : const __m256i v1 = _mm256_unpackhi_epi32(u0, u2);
172 0 : const __m256i v2 = _mm256_unpacklo_epi32(u1, u3);
173 0 : const __m256i v3 = _mm256_unpackhi_epi32(u1, u3);
174 :
175 0 : u0 = _mm256_unpacklo_epi16(in[4], in[5]);
176 0 : u1 = _mm256_unpackhi_epi16(in[4], in[5]);
177 0 : u2 = _mm256_unpacklo_epi16(in[6], in[7]);
178 0 : u3 = _mm256_unpackhi_epi16(in[6], in[7]);
179 :
180 0 : const __m256i v4 = _mm256_unpacklo_epi32(u0, u2);
181 0 : const __m256i v5 = _mm256_unpackhi_epi32(u0, u2);
182 0 : const __m256i v6 = _mm256_unpacklo_epi32(u1, u3);
183 0 : const __m256i v7 = _mm256_unpackhi_epi32(u1, u3);
184 :
185 0 : in[0] = MM256_SHUFFLE_EPI64(v0, v4, 0);
186 0 : in[1] = MM256_SHUFFLE_EPI64(v0, v4, 3);
187 0 : in[2] = MM256_SHUFFLE_EPI64(v1, v5, 0);
188 0 : in[3] = MM256_SHUFFLE_EPI64(v1, v5, 3);
189 0 : in[4] = MM256_SHUFFLE_EPI64(v2, v6, 0);
190 0 : in[5] = MM256_SHUFFLE_EPI64(v2, v6, 3);
191 0 : in[6] = MM256_SHUFFLE_EPI64(v3, v7, 0);
192 0 : in[7] = MM256_SHUFFLE_EPI64(v3, v7, 3);
193 0 : }
194 :
195 : // Note:
196 : // For 16x16 int16_t matrix
197 : // transpose first 8 columns into first 8 rows.
198 : // Since only matrix left 8x16 are non-zero, the input are total 16 rows
199 : // (in[16]).
200 : // After transposing, the 8 row vectors are in in[8]. All else are zero.
201 0 : static INLINE void transpose_col_to_row_nz8x16(__m256i *in /*in[16]*/) {
202 0 : transpose_col_to_row_nz8x8(in);
203 0 : transpose_col_to_row_nz8x8(&in[8]);
204 :
205 : int i;
206 0 : for (i = 0; i < 8; ++i) {
207 0 : in[i] = _mm256_permute2x128_si256(in[i], in[i + 8], 0x20);
208 : }
209 0 : }
210 :
211 0 : static INLINE void idct16_38_first_half(const __m256i *in, __m256i *out) {
212 0 : const __m256i c2p28 = pair256_set_epi16(2 * cospi_28_64, 2 * cospi_28_64);
213 0 : const __m256i c2p04 = pair256_set_epi16(2 * cospi_4_64, 2 * cospi_4_64);
214 0 : __m256i t4 = _mm256_mulhrs_epi16(in[2], c2p28);
215 0 : __m256i t7 = _mm256_mulhrs_epi16(in[2], c2p04);
216 :
217 0 : const __m256i c2m20 = pair256_set_epi16(-2 * cospi_20_64, -2 * cospi_20_64);
218 0 : const __m256i c2p12 = pair256_set_epi16(2 * cospi_12_64, 2 * cospi_12_64);
219 0 : __m256i t5 = _mm256_mulhrs_epi16(in[6], c2m20);
220 0 : __m256i t6 = _mm256_mulhrs_epi16(in[6], c2p12);
221 :
222 0 : const __m256i c2p16 = pair256_set_epi16(2 * cospi_16_64, 2 * cospi_16_64);
223 0 : const __m256i c2p24 = pair256_set_epi16(2 * cospi_24_64, 2 * cospi_24_64);
224 0 : const __m256i c2p08 = pair256_set_epi16(2 * cospi_8_64, 2 * cospi_8_64);
225 0 : const __m256i u0 = _mm256_mulhrs_epi16(in[0], c2p16);
226 0 : const __m256i u1 = _mm256_mulhrs_epi16(in[0], c2p16);
227 0 : const __m256i u2 = _mm256_mulhrs_epi16(in[4], c2p24);
228 0 : const __m256i u3 = _mm256_mulhrs_epi16(in[4], c2p08);
229 :
230 0 : const __m256i u4 = _mm256_add_epi16(t4, t5);
231 0 : const __m256i u5 = _mm256_sub_epi16(t4, t5);
232 0 : const __m256i u6 = _mm256_sub_epi16(t7, t6);
233 0 : const __m256i u7 = _mm256_add_epi16(t7, t6);
234 :
235 0 : const __m256i t0 = _mm256_add_epi16(u0, u3);
236 0 : const __m256i t1 = _mm256_add_epi16(u1, u2);
237 0 : const __m256i t2 = _mm256_sub_epi16(u1, u2);
238 0 : const __m256i t3 = _mm256_sub_epi16(u0, u3);
239 :
240 0 : t4 = u4;
241 0 : t7 = u7;
242 :
243 0 : const __m256i cospi_p16_p16 = _mm256_set1_epi16((int16_t)cospi_16_64);
244 0 : const __m256i cospi_p16_m16 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
245 0 : unpack_butter_fly(&u6, &u5, &cospi_p16_m16, &cospi_p16_p16, &t5, &t6);
246 :
247 0 : out[0] = _mm256_add_epi16(t0, t7);
248 0 : out[1] = _mm256_add_epi16(t1, t6);
249 0 : out[2] = _mm256_add_epi16(t2, t5);
250 0 : out[3] = _mm256_add_epi16(t3, t4);
251 0 : out[4] = _mm256_sub_epi16(t3, t4);
252 0 : out[5] = _mm256_sub_epi16(t2, t5);
253 0 : out[6] = _mm256_sub_epi16(t1, t6);
254 0 : out[7] = _mm256_sub_epi16(t0, t7);
255 0 : }
256 :
257 0 : static INLINE void idct16_38_second_half(const __m256i *in, __m256i *out) {
258 0 : const __m256i c2p30 = pair256_set_epi16(2 * cospi_30_64, 2 * cospi_30_64);
259 0 : const __m256i c2p02 = pair256_set_epi16(2 * cospi_2_64, 2 * cospi_2_64);
260 0 : __m256i t0 = _mm256_mulhrs_epi16(in[1], c2p30);
261 0 : __m256i t7 = _mm256_mulhrs_epi16(in[1], c2p02);
262 :
263 0 : const __m256i c2m18 = pair256_set_epi16(-2 * cospi_18_64, -2 * cospi_18_64);
264 0 : const __m256i c2p14 = pair256_set_epi16(2 * cospi_14_64, 2 * cospi_14_64);
265 0 : __m256i t1 = _mm256_mulhrs_epi16(in[7], c2m18);
266 0 : __m256i t6 = _mm256_mulhrs_epi16(in[7], c2p14);
267 :
268 0 : const __m256i c2p22 = pair256_set_epi16(2 * cospi_22_64, 2 * cospi_22_64);
269 0 : const __m256i c2p10 = pair256_set_epi16(2 * cospi_10_64, 2 * cospi_10_64);
270 0 : __m256i t2 = _mm256_mulhrs_epi16(in[5], c2p22);
271 0 : __m256i t5 = _mm256_mulhrs_epi16(in[5], c2p10);
272 :
273 0 : const __m256i c2m26 = pair256_set_epi16(-2 * cospi_26_64, -2 * cospi_26_64);
274 0 : const __m256i c2p06 = pair256_set_epi16(2 * cospi_6_64, 2 * cospi_6_64);
275 0 : __m256i t3 = _mm256_mulhrs_epi16(in[3], c2m26);
276 0 : __m256i t4 = _mm256_mulhrs_epi16(in[3], c2p06);
277 :
278 : __m256i v0, v1, v2, v3, v4, v5, v6, v7;
279 0 : v0 = _mm256_add_epi16(t0, t1);
280 0 : v1 = _mm256_sub_epi16(t0, t1);
281 0 : v2 = _mm256_sub_epi16(t3, t2);
282 0 : v3 = _mm256_add_epi16(t2, t3);
283 0 : v4 = _mm256_add_epi16(t4, t5);
284 0 : v5 = _mm256_sub_epi16(t4, t5);
285 0 : v6 = _mm256_sub_epi16(t7, t6);
286 0 : v7 = _mm256_add_epi16(t6, t7);
287 :
288 0 : t0 = v0;
289 0 : t7 = v7;
290 0 : t3 = v3;
291 0 : t4 = v4;
292 0 : const __m256i cospi_m08_p24 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
293 0 : const __m256i cospi_p24_p08 = pair256_set_epi16(cospi_24_64, cospi_8_64);
294 0 : const __m256i cospi_m24_m08 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
295 0 : unpack_butter_fly(&v1, &v6, &cospi_m08_p24, &cospi_p24_p08, &t1, &t6);
296 0 : unpack_butter_fly(&v2, &v5, &cospi_m24_m08, &cospi_m08_p24, &t2, &t5);
297 :
298 0 : v0 = _mm256_add_epi16(t0, t3);
299 0 : v1 = _mm256_add_epi16(t1, t2);
300 0 : v2 = _mm256_sub_epi16(t1, t2);
301 0 : v3 = _mm256_sub_epi16(t0, t3);
302 0 : v4 = _mm256_sub_epi16(t7, t4);
303 0 : v5 = _mm256_sub_epi16(t6, t5);
304 0 : v6 = _mm256_add_epi16(t6, t5);
305 0 : v7 = _mm256_add_epi16(t7, t4);
306 :
307 : // stage 6, (8-15)
308 0 : out[0] = v0;
309 0 : out[1] = v1;
310 0 : out[6] = v6;
311 0 : out[7] = v7;
312 0 : const __m256i cospi_p16_p16 = _mm256_set1_epi16((int16_t)cospi_16_64);
313 0 : const __m256i cospi_p16_m16 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
314 0 : unpack_butter_fly(&v5, &v2, &cospi_p16_m16, &cospi_p16_p16, &out[2], &out[5]);
315 0 : unpack_butter_fly(&v4, &v3, &cospi_p16_m16, &cospi_p16_p16, &out[3], &out[4]);
316 0 : }
317 :
318 0 : static INLINE void idct16_38(__m256i *in /*in[16]*/) {
319 : __m256i out[16];
320 0 : idct16_38_first_half(in, out);
321 0 : idct16_38_second_half(in, &out[8]);
322 0 : add_sub_butterfly(out, in, 16);
323 0 : }
324 :
325 0 : void aom_idct16x16_38_add_avx2(const tran_low_t *input, uint8_t *dest,
326 : int stride) {
327 : __m256i in[16];
328 :
329 : int i;
330 0 : for (i = 0; i < 8; ++i) {
331 0 : load_coeff(input + (i << 4), &in[i]);
332 : }
333 :
334 0 : transpose_col_to_row_nz8x8(in);
335 0 : idct16_38(in);
336 :
337 0 : transpose_col_to_row_nz8x16(in);
338 0 : idct16_38(in);
339 :
340 0 : store_buffer_16xN(in, stride, dest, 16);
341 0 : }
342 :
343 0 : static INLINE int calculate_dc(const tran_low_t *input) {
344 0 : int dc = (int)dct_const_round_shift(input[0] * cospi_16_64);
345 0 : dc = (int)dct_const_round_shift(dc * cospi_16_64);
346 0 : dc = ROUND_POWER_OF_TWO(dc, IDCT_ROUNDING_POS);
347 0 : return dc;
348 : }
349 :
350 0 : void aom_idct16x16_1_add_avx2(const tran_low_t *input, uint8_t *dest,
351 : int stride) {
352 0 : const int dc = calculate_dc(input);
353 0 : if (dc == 0) return;
354 :
355 0 : const __m256i dc_value = _mm256_set1_epi16(dc);
356 :
357 : int i;
358 0 : for (i = 0; i < 16; ++i) {
359 0 : recon_and_store(&dc_value, dest);
360 0 : dest += stride;
361 : }
362 : }
363 :
364 : // -----------------------------------------------------------------------------
365 : // 32x32 partial IDCT
366 :
367 0 : void aom_idct32x32_1_add_avx2(const tran_low_t *input, uint8_t *dest,
368 : int stride) {
369 0 : const int dc = calculate_dc(input);
370 0 : if (dc == 0) return;
371 :
372 0 : const __m256i dc_value = _mm256_set1_epi16(dc);
373 :
374 : int i;
375 0 : for (i = 0; i < 32; ++i) {
376 0 : recon_and_store(&dc_value, dest);
377 0 : recon_and_store(&dc_value, dest + 16);
378 0 : dest += stride;
379 : }
380 : }
381 :
382 0 : static void load_buffer_32x16(const tran_low_t *input, __m256i *in /*in[32]*/) {
383 : int i;
384 0 : for (i = 0; i < 16; ++i) {
385 0 : load_coeff(input, &in[i]);
386 0 : load_coeff(input + 16, &in[i + 16]);
387 0 : input += 32;
388 : }
389 0 : }
390 :
391 : // Note:
392 : // We extend SSSE3 operations to AVX2. Instead of operating on __m128i, we
393 : // operate coefficients on __m256i. Our operation capacity doubles for each
394 : // instruction.
395 : #define BUTTERFLY_PAIR(x0, x1, co0, co1) \
396 : do { \
397 : tmp0 = _mm256_madd_epi16(x0, co0); \
398 : tmp1 = _mm256_madd_epi16(x1, co0); \
399 : tmp2 = _mm256_madd_epi16(x0, co1); \
400 : tmp3 = _mm256_madd_epi16(x1, co1); \
401 : tmp0 = _mm256_add_epi32(tmp0, rounding); \
402 : tmp1 = _mm256_add_epi32(tmp1, rounding); \
403 : tmp2 = _mm256_add_epi32(tmp2, rounding); \
404 : tmp3 = _mm256_add_epi32(tmp3, rounding); \
405 : tmp0 = _mm256_srai_epi32(tmp0, DCT_CONST_BITS); \
406 : tmp1 = _mm256_srai_epi32(tmp1, DCT_CONST_BITS); \
407 : tmp2 = _mm256_srai_epi32(tmp2, DCT_CONST_BITS); \
408 : tmp3 = _mm256_srai_epi32(tmp3, DCT_CONST_BITS); \
409 : } while (0)
410 :
411 0 : static INLINE void butterfly(const __m256i *x0, const __m256i *x1,
412 : const __m256i *c0, const __m256i *c1, __m256i *y0,
413 : __m256i *y1) {
414 : __m256i tmp0, tmp1, tmp2, tmp3, u0, u1;
415 0 : const __m256i rounding = _mm256_set1_epi32(DCT_CONST_ROUNDING);
416 :
417 0 : u0 = _mm256_unpacklo_epi16(*x0, *x1);
418 0 : u1 = _mm256_unpackhi_epi16(*x0, *x1);
419 0 : BUTTERFLY_PAIR(u0, u1, *c0, *c1);
420 0 : *y0 = _mm256_packs_epi32(tmp0, tmp1);
421 0 : *y1 = _mm256_packs_epi32(tmp2, tmp3);
422 0 : }
423 :
424 0 : static INLINE void butterfly_self(__m256i *x0, __m256i *x1, const __m256i *c0,
425 : const __m256i *c1) {
426 : __m256i tmp0, tmp1, tmp2, tmp3, u0, u1;
427 0 : const __m256i rounding = _mm256_set1_epi32(DCT_CONST_ROUNDING);
428 :
429 0 : u0 = _mm256_unpacklo_epi16(*x0, *x1);
430 0 : u1 = _mm256_unpackhi_epi16(*x0, *x1);
431 0 : BUTTERFLY_PAIR(u0, u1, *c0, *c1);
432 0 : *x0 = _mm256_packs_epi32(tmp0, tmp1);
433 0 : *x1 = _mm256_packs_epi32(tmp2, tmp3);
434 0 : }
435 :
436 : // For each 16x32 block __m256i in[32],
437 : // Input with index, 2, 6, 10, 14, 18, 22, 26, 30
438 : // output pixels: 8-15 in __m256i in[32]
439 0 : static void idct32_full_16x32_quarter_2(const __m256i *in /*in[32]*/,
440 : __m256i *out /*out[16]*/) {
441 : __m256i u8, u9, u10, u11, u12, u13, u14, u15; // stp2_
442 : __m256i v8, v9, v10, v11, v12, v13, v14, v15; // stp1_
443 :
444 : {
445 0 : const __m256i stg2_0 = pair256_set_epi16(cospi_30_64, -cospi_2_64);
446 0 : const __m256i stg2_1 = pair256_set_epi16(cospi_2_64, cospi_30_64);
447 0 : const __m256i stg2_2 = pair256_set_epi16(cospi_14_64, -cospi_18_64);
448 0 : const __m256i stg2_3 = pair256_set_epi16(cospi_18_64, cospi_14_64);
449 0 : butterfly(&in[2], &in[30], &stg2_0, &stg2_1, &u8, &u15);
450 0 : butterfly(&in[18], &in[14], &stg2_2, &stg2_3, &u9, &u14);
451 : }
452 :
453 0 : v8 = _mm256_add_epi16(u8, u9);
454 0 : v9 = _mm256_sub_epi16(u8, u9);
455 0 : v14 = _mm256_sub_epi16(u15, u14);
456 0 : v15 = _mm256_add_epi16(u15, u14);
457 :
458 : {
459 0 : const __m256i stg2_4 = pair256_set_epi16(cospi_22_64, -cospi_10_64);
460 0 : const __m256i stg2_5 = pair256_set_epi16(cospi_10_64, cospi_22_64);
461 0 : const __m256i stg2_6 = pair256_set_epi16(cospi_6_64, -cospi_26_64);
462 0 : const __m256i stg2_7 = pair256_set_epi16(cospi_26_64, cospi_6_64);
463 0 : butterfly(&in[10], &in[22], &stg2_4, &stg2_5, &u10, &u13);
464 0 : butterfly(&in[26], &in[6], &stg2_6, &stg2_7, &u11, &u12);
465 : }
466 :
467 0 : v10 = _mm256_sub_epi16(u11, u10);
468 0 : v11 = _mm256_add_epi16(u11, u10);
469 0 : v12 = _mm256_add_epi16(u12, u13);
470 0 : v13 = _mm256_sub_epi16(u12, u13);
471 :
472 : {
473 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
474 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
475 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
476 0 : butterfly_self(&v9, &v14, &stg4_4, &stg4_5);
477 0 : butterfly_self(&v10, &v13, &stg4_6, &stg4_4);
478 : }
479 :
480 0 : out[0] = _mm256_add_epi16(v8, v11);
481 0 : out[1] = _mm256_add_epi16(v9, v10);
482 0 : out[6] = _mm256_add_epi16(v14, v13);
483 0 : out[7] = _mm256_add_epi16(v15, v12);
484 :
485 0 : out[2] = _mm256_sub_epi16(v9, v10);
486 0 : out[3] = _mm256_sub_epi16(v8, v11);
487 0 : out[4] = _mm256_sub_epi16(v15, v12);
488 0 : out[5] = _mm256_sub_epi16(v14, v13);
489 :
490 : {
491 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
492 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
493 0 : butterfly_self(&out[2], &out[5], &stg6_0, &stg4_0);
494 0 : butterfly_self(&out[3], &out[4], &stg6_0, &stg4_0);
495 : }
496 0 : }
497 :
498 : // For each 8x32 block __m256i in[32],
499 : // Input with index, 0, 4, 8, 12, 16, 20, 24, 28
500 : // output pixels: 0-7 in __m256i in[32]
501 0 : static void idct32_full_16x32_quarter_1(const __m256i *in /*in[32]*/,
502 : __m256i *out /*out[8]*/) {
503 : __m256i u0, u1, u2, u3, u4, u5, u6, u7; // stp1_
504 : __m256i v0, v1, v2, v3, v4, v5, v6, v7; // stp2_
505 :
506 : {
507 0 : const __m256i stg3_0 = pair256_set_epi16(cospi_28_64, -cospi_4_64);
508 0 : const __m256i stg3_1 = pair256_set_epi16(cospi_4_64, cospi_28_64);
509 0 : const __m256i stg3_2 = pair256_set_epi16(cospi_12_64, -cospi_20_64);
510 0 : const __m256i stg3_3 = pair256_set_epi16(cospi_20_64, cospi_12_64);
511 0 : butterfly(&in[4], &in[28], &stg3_0, &stg3_1, &u4, &u7);
512 0 : butterfly(&in[20], &in[12], &stg3_2, &stg3_3, &u5, &u6);
513 : }
514 :
515 0 : v4 = _mm256_add_epi16(u4, u5);
516 0 : v5 = _mm256_sub_epi16(u4, u5);
517 0 : v6 = _mm256_sub_epi16(u7, u6);
518 0 : v7 = _mm256_add_epi16(u7, u6);
519 :
520 : {
521 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
522 0 : const __m256i stg4_1 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
523 0 : const __m256i stg4_2 = pair256_set_epi16(cospi_24_64, -cospi_8_64);
524 0 : const __m256i stg4_3 = pair256_set_epi16(cospi_8_64, cospi_24_64);
525 0 : butterfly(&v6, &v5, &stg4_1, &stg4_0, &v5, &v6);
526 :
527 0 : butterfly(&in[0], &in[16], &stg4_0, &stg4_1, &u0, &u1);
528 0 : butterfly(&in[8], &in[24], &stg4_2, &stg4_3, &u2, &u3);
529 : }
530 :
531 0 : v0 = _mm256_add_epi16(u0, u3);
532 0 : v1 = _mm256_add_epi16(u1, u2);
533 0 : v2 = _mm256_sub_epi16(u1, u2);
534 0 : v3 = _mm256_sub_epi16(u0, u3);
535 :
536 0 : out[0] = _mm256_add_epi16(v0, v7);
537 0 : out[1] = _mm256_add_epi16(v1, v6);
538 0 : out[2] = _mm256_add_epi16(v2, v5);
539 0 : out[3] = _mm256_add_epi16(v3, v4);
540 0 : out[4] = _mm256_sub_epi16(v3, v4);
541 0 : out[5] = _mm256_sub_epi16(v2, v5);
542 0 : out[6] = _mm256_sub_epi16(v1, v6);
543 0 : out[7] = _mm256_sub_epi16(v0, v7);
544 0 : }
545 :
546 : // For each 8x32 block __m256i in[32],
547 : // Input with odd index,
548 : // 1, 3, 5, 7, 9, 11, 13, 15, 17, 19, 21, 23, 25, 27, 29, 31
549 : // output pixels: 16-23, 24-31 in __m256i in[32]
550 : // We avoid hide an offset, 16, inside this function. So we output 0-15 into
551 : // array out[16]
552 0 : static void idct32_full_16x32_quarter_3_4(const __m256i *in /*in[32]*/,
553 : __m256i *out /*out[16]*/) {
554 : __m256i v16, v17, v18, v19, v20, v21, v22, v23;
555 : __m256i v24, v25, v26, v27, v28, v29, v30, v31;
556 : __m256i u16, u17, u18, u19, u20, u21, u22, u23;
557 : __m256i u24, u25, u26, u27, u28, u29, u30, u31;
558 :
559 : {
560 0 : const __m256i stg1_0 = pair256_set_epi16(cospi_31_64, -cospi_1_64);
561 0 : const __m256i stg1_1 = pair256_set_epi16(cospi_1_64, cospi_31_64);
562 0 : const __m256i stg1_2 = pair256_set_epi16(cospi_15_64, -cospi_17_64);
563 0 : const __m256i stg1_3 = pair256_set_epi16(cospi_17_64, cospi_15_64);
564 0 : const __m256i stg1_4 = pair256_set_epi16(cospi_23_64, -cospi_9_64);
565 0 : const __m256i stg1_5 = pair256_set_epi16(cospi_9_64, cospi_23_64);
566 0 : const __m256i stg1_6 = pair256_set_epi16(cospi_7_64, -cospi_25_64);
567 0 : const __m256i stg1_7 = pair256_set_epi16(cospi_25_64, cospi_7_64);
568 0 : const __m256i stg1_8 = pair256_set_epi16(cospi_27_64, -cospi_5_64);
569 0 : const __m256i stg1_9 = pair256_set_epi16(cospi_5_64, cospi_27_64);
570 0 : const __m256i stg1_10 = pair256_set_epi16(cospi_11_64, -cospi_21_64);
571 0 : const __m256i stg1_11 = pair256_set_epi16(cospi_21_64, cospi_11_64);
572 0 : const __m256i stg1_12 = pair256_set_epi16(cospi_19_64, -cospi_13_64);
573 0 : const __m256i stg1_13 = pair256_set_epi16(cospi_13_64, cospi_19_64);
574 0 : const __m256i stg1_14 = pair256_set_epi16(cospi_3_64, -cospi_29_64);
575 0 : const __m256i stg1_15 = pair256_set_epi16(cospi_29_64, cospi_3_64);
576 0 : butterfly(&in[1], &in[31], &stg1_0, &stg1_1, &u16, &u31);
577 0 : butterfly(&in[17], &in[15], &stg1_2, &stg1_3, &u17, &u30);
578 0 : butterfly(&in[9], &in[23], &stg1_4, &stg1_5, &u18, &u29);
579 0 : butterfly(&in[25], &in[7], &stg1_6, &stg1_7, &u19, &u28);
580 :
581 0 : butterfly(&in[5], &in[27], &stg1_8, &stg1_9, &u20, &u27);
582 0 : butterfly(&in[21], &in[11], &stg1_10, &stg1_11, &u21, &u26);
583 :
584 0 : butterfly(&in[13], &in[19], &stg1_12, &stg1_13, &u22, &u25);
585 0 : butterfly(&in[29], &in[3], &stg1_14, &stg1_15, &u23, &u24);
586 : }
587 :
588 0 : v16 = _mm256_add_epi16(u16, u17);
589 0 : v17 = _mm256_sub_epi16(u16, u17);
590 0 : v18 = _mm256_sub_epi16(u19, u18);
591 0 : v19 = _mm256_add_epi16(u19, u18);
592 :
593 0 : v20 = _mm256_add_epi16(u20, u21);
594 0 : v21 = _mm256_sub_epi16(u20, u21);
595 0 : v22 = _mm256_sub_epi16(u23, u22);
596 0 : v23 = _mm256_add_epi16(u23, u22);
597 :
598 0 : v24 = _mm256_add_epi16(u24, u25);
599 0 : v25 = _mm256_sub_epi16(u24, u25);
600 0 : v26 = _mm256_sub_epi16(u27, u26);
601 0 : v27 = _mm256_add_epi16(u27, u26);
602 :
603 0 : v28 = _mm256_add_epi16(u28, u29);
604 0 : v29 = _mm256_sub_epi16(u28, u29);
605 0 : v30 = _mm256_sub_epi16(u31, u30);
606 0 : v31 = _mm256_add_epi16(u31, u30);
607 :
608 : {
609 0 : const __m256i stg3_4 = pair256_set_epi16(-cospi_4_64, cospi_28_64);
610 0 : const __m256i stg3_5 = pair256_set_epi16(cospi_28_64, cospi_4_64);
611 0 : const __m256i stg3_6 = pair256_set_epi16(-cospi_28_64, -cospi_4_64);
612 0 : const __m256i stg3_8 = pair256_set_epi16(-cospi_20_64, cospi_12_64);
613 0 : const __m256i stg3_9 = pair256_set_epi16(cospi_12_64, cospi_20_64);
614 0 : const __m256i stg3_10 = pair256_set_epi16(-cospi_12_64, -cospi_20_64);
615 0 : butterfly_self(&v17, &v30, &stg3_4, &stg3_5);
616 0 : butterfly_self(&v18, &v29, &stg3_6, &stg3_4);
617 0 : butterfly_self(&v21, &v26, &stg3_8, &stg3_9);
618 0 : butterfly_self(&v22, &v25, &stg3_10, &stg3_8);
619 : }
620 :
621 0 : u16 = _mm256_add_epi16(v16, v19);
622 0 : u17 = _mm256_add_epi16(v17, v18);
623 0 : u18 = _mm256_sub_epi16(v17, v18);
624 0 : u19 = _mm256_sub_epi16(v16, v19);
625 0 : u20 = _mm256_sub_epi16(v23, v20);
626 0 : u21 = _mm256_sub_epi16(v22, v21);
627 0 : u22 = _mm256_add_epi16(v22, v21);
628 0 : u23 = _mm256_add_epi16(v23, v20);
629 :
630 0 : u24 = _mm256_add_epi16(v24, v27);
631 0 : u25 = _mm256_add_epi16(v25, v26);
632 0 : u26 = _mm256_sub_epi16(v25, v26);
633 0 : u27 = _mm256_sub_epi16(v24, v27);
634 :
635 0 : u28 = _mm256_sub_epi16(v31, v28);
636 0 : u29 = _mm256_sub_epi16(v30, v29);
637 0 : u30 = _mm256_add_epi16(v29, v30);
638 0 : u31 = _mm256_add_epi16(v28, v31);
639 :
640 : {
641 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
642 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
643 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
644 0 : butterfly_self(&u18, &u29, &stg4_4, &stg4_5);
645 0 : butterfly_self(&u19, &u28, &stg4_4, &stg4_5);
646 0 : butterfly_self(&u20, &u27, &stg4_6, &stg4_4);
647 0 : butterfly_self(&u21, &u26, &stg4_6, &stg4_4);
648 : }
649 :
650 0 : out[0] = _mm256_add_epi16(u16, u23);
651 0 : out[1] = _mm256_add_epi16(u17, u22);
652 0 : out[2] = _mm256_add_epi16(u18, u21);
653 0 : out[3] = _mm256_add_epi16(u19, u20);
654 0 : out[4] = _mm256_sub_epi16(u19, u20);
655 0 : out[5] = _mm256_sub_epi16(u18, u21);
656 0 : out[6] = _mm256_sub_epi16(u17, u22);
657 0 : out[7] = _mm256_sub_epi16(u16, u23);
658 :
659 0 : out[8] = _mm256_sub_epi16(u31, u24);
660 0 : out[9] = _mm256_sub_epi16(u30, u25);
661 0 : out[10] = _mm256_sub_epi16(u29, u26);
662 0 : out[11] = _mm256_sub_epi16(u28, u27);
663 0 : out[12] = _mm256_add_epi16(u27, u28);
664 0 : out[13] = _mm256_add_epi16(u26, u29);
665 0 : out[14] = _mm256_add_epi16(u25, u30);
666 0 : out[15] = _mm256_add_epi16(u24, u31);
667 :
668 : {
669 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
670 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
671 0 : butterfly_self(&out[4], &out[11], &stg6_0, &stg4_0);
672 0 : butterfly_self(&out[5], &out[10], &stg6_0, &stg4_0);
673 0 : butterfly_self(&out[6], &out[9], &stg6_0, &stg4_0);
674 0 : butterfly_self(&out[7], &out[8], &stg6_0, &stg4_0);
675 : }
676 0 : }
677 :
678 0 : static void idct32_full_16x32_quarter_1_2(const __m256i *in /*in[32]*/,
679 : __m256i *out /*out[32]*/) {
680 : __m256i temp[16];
681 0 : idct32_full_16x32_quarter_1(in, temp);
682 0 : idct32_full_16x32_quarter_2(in, &temp[8]);
683 0 : add_sub_butterfly(temp, out, 16);
684 0 : }
685 :
686 0 : static void idct32_16x32(const __m256i *in /*in[32]*/,
687 : __m256i *out /*out[32]*/) {
688 : __m256i temp[32];
689 0 : idct32_full_16x32_quarter_1_2(in, temp);
690 0 : idct32_full_16x32_quarter_3_4(in, &temp[16]);
691 0 : add_sub_butterfly(temp, out, 32);
692 0 : }
693 :
694 0 : void aom_idct32x32_1024_add_avx2(const tran_low_t *input, uint8_t *dest,
695 : int stride) {
696 : __m256i col[64], in[32];
697 : int i;
698 :
699 0 : for (i = 0; i < 2; ++i) {
700 0 : load_buffer_32x16(input, in);
701 0 : input += 32 << 4;
702 :
703 0 : mm256_transpose_16x16(in, in);
704 0 : mm256_transpose_16x16(&in[16], &in[16]);
705 0 : idct32_16x32(in, col + (i << 5));
706 : }
707 :
708 0 : for (i = 0; i < 2; ++i) {
709 0 : int j = i << 4;
710 0 : mm256_transpose_16x16(col + j, in);
711 0 : mm256_transpose_16x16(col + j + 32, &in[16]);
712 0 : idct32_16x32(in, in);
713 0 : store_buffer_16xN(in, stride, dest, 32);
714 0 : dest += 16;
715 : }
716 0 : }
717 :
718 : // Group the coefficient calculation into smaller functions
719 : // to prevent stack spillover:
720 : // quarter_1: 0-7
721 : // quarter_2: 8-15
722 : // quarter_3_4: 16-23, 24-31
723 0 : static void idct32_16x32_135_quarter_1(const __m256i *in /*in[16]*/,
724 : __m256i *out /*out[8]*/) {
725 : __m256i u0, u1, u2, u3, u4, u5, u6, u7;
726 : __m256i v0, v1, v2, v3, v4, v5, v6, v7;
727 :
728 : {
729 0 : const __m256i stk4_0 = pair256_set_epi16(2 * cospi_16_64, 2 * cospi_16_64);
730 0 : const __m256i stk4_2 = pair256_set_epi16(2 * cospi_24_64, 2 * cospi_24_64);
731 0 : const __m256i stk4_3 = pair256_set_epi16(2 * cospi_8_64, 2 * cospi_8_64);
732 0 : u0 = _mm256_mulhrs_epi16(in[0], stk4_0);
733 0 : u2 = _mm256_mulhrs_epi16(in[8], stk4_2);
734 0 : u3 = _mm256_mulhrs_epi16(in[8], stk4_3);
735 0 : u1 = u0;
736 : }
737 :
738 0 : v0 = _mm256_add_epi16(u0, u3);
739 0 : v1 = _mm256_add_epi16(u1, u2);
740 0 : v2 = _mm256_sub_epi16(u1, u2);
741 0 : v3 = _mm256_sub_epi16(u0, u3);
742 :
743 : {
744 0 : const __m256i stk3_0 = pair256_set_epi16(2 * cospi_28_64, 2 * cospi_28_64);
745 0 : const __m256i stk3_1 = pair256_set_epi16(2 * cospi_4_64, 2 * cospi_4_64);
746 0 : const __m256i stk3_2 =
747 0 : pair256_set_epi16(-2 * cospi_20_64, -2 * cospi_20_64);
748 0 : const __m256i stk3_3 = pair256_set_epi16(2 * cospi_12_64, 2 * cospi_12_64);
749 0 : u4 = _mm256_mulhrs_epi16(in[4], stk3_0);
750 0 : u7 = _mm256_mulhrs_epi16(in[4], stk3_1);
751 0 : u5 = _mm256_mulhrs_epi16(in[12], stk3_2);
752 0 : u6 = _mm256_mulhrs_epi16(in[12], stk3_3);
753 : }
754 :
755 0 : v4 = _mm256_add_epi16(u4, u5);
756 0 : v5 = _mm256_sub_epi16(u4, u5);
757 0 : v6 = _mm256_sub_epi16(u7, u6);
758 0 : v7 = _mm256_add_epi16(u7, u6);
759 :
760 : {
761 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
762 0 : const __m256i stg4_1 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
763 0 : butterfly(&v6, &v5, &stg4_1, &stg4_0, &v5, &v6);
764 : }
765 :
766 0 : out[0] = _mm256_add_epi16(v0, v7);
767 0 : out[1] = _mm256_add_epi16(v1, v6);
768 0 : out[2] = _mm256_add_epi16(v2, v5);
769 0 : out[3] = _mm256_add_epi16(v3, v4);
770 0 : out[4] = _mm256_sub_epi16(v3, v4);
771 0 : out[5] = _mm256_sub_epi16(v2, v5);
772 0 : out[6] = _mm256_sub_epi16(v1, v6);
773 0 : out[7] = _mm256_sub_epi16(v0, v7);
774 0 : }
775 :
776 0 : static void idct32_16x32_135_quarter_2(const __m256i *in /*in[16]*/,
777 : __m256i *out /*out[8]*/) {
778 : __m256i u8, u9, u10, u11, u12, u13, u14, u15;
779 : __m256i v8, v9, v10, v11, v12, v13, v14, v15;
780 :
781 : {
782 0 : const __m256i stk2_0 = pair256_set_epi16(2 * cospi_30_64, 2 * cospi_30_64);
783 0 : const __m256i stk2_1 = pair256_set_epi16(2 * cospi_2_64, 2 * cospi_2_64);
784 0 : const __m256i stk2_2 =
785 0 : pair256_set_epi16(-2 * cospi_18_64, -2 * cospi_18_64);
786 0 : const __m256i stk2_3 = pair256_set_epi16(2 * cospi_14_64, 2 * cospi_14_64);
787 0 : const __m256i stk2_4 = pair256_set_epi16(2 * cospi_22_64, 2 * cospi_22_64);
788 0 : const __m256i stk2_5 = pair256_set_epi16(2 * cospi_10_64, 2 * cospi_10_64);
789 0 : const __m256i stk2_6 =
790 0 : pair256_set_epi16(-2 * cospi_26_64, -2 * cospi_26_64);
791 0 : const __m256i stk2_7 = pair256_set_epi16(2 * cospi_6_64, 2 * cospi_6_64);
792 0 : u8 = _mm256_mulhrs_epi16(in[2], stk2_0);
793 0 : u15 = _mm256_mulhrs_epi16(in[2], stk2_1);
794 0 : u9 = _mm256_mulhrs_epi16(in[14], stk2_2);
795 0 : u14 = _mm256_mulhrs_epi16(in[14], stk2_3);
796 0 : u10 = _mm256_mulhrs_epi16(in[10], stk2_4);
797 0 : u13 = _mm256_mulhrs_epi16(in[10], stk2_5);
798 0 : u11 = _mm256_mulhrs_epi16(in[6], stk2_6);
799 0 : u12 = _mm256_mulhrs_epi16(in[6], stk2_7);
800 : }
801 :
802 0 : v8 = _mm256_add_epi16(u8, u9);
803 0 : v9 = _mm256_sub_epi16(u8, u9);
804 0 : v10 = _mm256_sub_epi16(u11, u10);
805 0 : v11 = _mm256_add_epi16(u11, u10);
806 0 : v12 = _mm256_add_epi16(u12, u13);
807 0 : v13 = _mm256_sub_epi16(u12, u13);
808 0 : v14 = _mm256_sub_epi16(u15, u14);
809 0 : v15 = _mm256_add_epi16(u15, u14);
810 :
811 : {
812 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
813 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
814 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
815 0 : butterfly_self(&v9, &v14, &stg4_4, &stg4_5);
816 0 : butterfly_self(&v10, &v13, &stg4_6, &stg4_4);
817 : }
818 :
819 0 : out[0] = _mm256_add_epi16(v8, v11);
820 0 : out[1] = _mm256_add_epi16(v9, v10);
821 0 : out[2] = _mm256_sub_epi16(v9, v10);
822 0 : out[3] = _mm256_sub_epi16(v8, v11);
823 0 : out[4] = _mm256_sub_epi16(v15, v12);
824 0 : out[5] = _mm256_sub_epi16(v14, v13);
825 0 : out[6] = _mm256_add_epi16(v14, v13);
826 0 : out[7] = _mm256_add_epi16(v15, v12);
827 :
828 : {
829 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
830 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
831 0 : butterfly_self(&out[2], &out[5], &stg6_0, &stg4_0);
832 0 : butterfly_self(&out[3], &out[4], &stg6_0, &stg4_0);
833 : }
834 0 : }
835 :
836 : // 8x32 block even indexed 8 inputs of in[16],
837 : // output first half 16 to out[32]
838 0 : static void idct32_16x32_quarter_1_2(const __m256i *in /*in[16]*/,
839 : __m256i *out /*out[32]*/) {
840 : __m256i temp[16];
841 0 : idct32_16x32_135_quarter_1(in, temp);
842 0 : idct32_16x32_135_quarter_2(in, &temp[8]);
843 0 : add_sub_butterfly(temp, out, 16);
844 0 : }
845 :
846 : // 8x32 block odd indexed 8 inputs of in[16],
847 : // output second half 16 to out[32]
848 0 : static void idct32_16x32_quarter_3_4(const __m256i *in /*in[16]*/,
849 : __m256i *out /*out[32]*/) {
850 : __m256i v16, v17, v18, v19, v20, v21, v22, v23;
851 : __m256i v24, v25, v26, v27, v28, v29, v30, v31;
852 : __m256i u16, u17, u18, u19, u20, u21, u22, u23;
853 : __m256i u24, u25, u26, u27, u28, u29, u30, u31;
854 :
855 : {
856 0 : const __m256i stk1_0 = pair256_set_epi16(2 * cospi_31_64, 2 * cospi_31_64);
857 0 : const __m256i stk1_1 = pair256_set_epi16(2 * cospi_1_64, 2 * cospi_1_64);
858 0 : const __m256i stk1_2 =
859 0 : pair256_set_epi16(-2 * cospi_17_64, -2 * cospi_17_64);
860 0 : const __m256i stk1_3 = pair256_set_epi16(2 * cospi_15_64, 2 * cospi_15_64);
861 :
862 0 : const __m256i stk1_4 = pair256_set_epi16(2 * cospi_23_64, 2 * cospi_23_64);
863 0 : const __m256i stk1_5 = pair256_set_epi16(2 * cospi_9_64, 2 * cospi_9_64);
864 0 : const __m256i stk1_6 =
865 0 : pair256_set_epi16(-2 * cospi_25_64, -2 * cospi_25_64);
866 0 : const __m256i stk1_7 = pair256_set_epi16(2 * cospi_7_64, 2 * cospi_7_64);
867 0 : const __m256i stk1_8 = pair256_set_epi16(2 * cospi_27_64, 2 * cospi_27_64);
868 0 : const __m256i stk1_9 = pair256_set_epi16(2 * cospi_5_64, 2 * cospi_5_64);
869 0 : const __m256i stk1_10 =
870 0 : pair256_set_epi16(-2 * cospi_21_64, -2 * cospi_21_64);
871 0 : const __m256i stk1_11 = pair256_set_epi16(2 * cospi_11_64, 2 * cospi_11_64);
872 :
873 0 : const __m256i stk1_12 = pair256_set_epi16(2 * cospi_19_64, 2 * cospi_19_64);
874 0 : const __m256i stk1_13 = pair256_set_epi16(2 * cospi_13_64, 2 * cospi_13_64);
875 0 : const __m256i stk1_14 =
876 0 : pair256_set_epi16(-2 * cospi_29_64, -2 * cospi_29_64);
877 0 : const __m256i stk1_15 = pair256_set_epi16(2 * cospi_3_64, 2 * cospi_3_64);
878 0 : u16 = _mm256_mulhrs_epi16(in[1], stk1_0);
879 0 : u31 = _mm256_mulhrs_epi16(in[1], stk1_1);
880 0 : u17 = _mm256_mulhrs_epi16(in[15], stk1_2);
881 0 : u30 = _mm256_mulhrs_epi16(in[15], stk1_3);
882 :
883 0 : u18 = _mm256_mulhrs_epi16(in[9], stk1_4);
884 0 : u29 = _mm256_mulhrs_epi16(in[9], stk1_5);
885 0 : u19 = _mm256_mulhrs_epi16(in[7], stk1_6);
886 0 : u28 = _mm256_mulhrs_epi16(in[7], stk1_7);
887 :
888 0 : u20 = _mm256_mulhrs_epi16(in[5], stk1_8);
889 0 : u27 = _mm256_mulhrs_epi16(in[5], stk1_9);
890 0 : u21 = _mm256_mulhrs_epi16(in[11], stk1_10);
891 0 : u26 = _mm256_mulhrs_epi16(in[11], stk1_11);
892 :
893 0 : u22 = _mm256_mulhrs_epi16(in[13], stk1_12);
894 0 : u25 = _mm256_mulhrs_epi16(in[13], stk1_13);
895 0 : u23 = _mm256_mulhrs_epi16(in[3], stk1_14);
896 0 : u24 = _mm256_mulhrs_epi16(in[3], stk1_15);
897 : }
898 :
899 0 : v16 = _mm256_add_epi16(u16, u17);
900 0 : v17 = _mm256_sub_epi16(u16, u17);
901 0 : v18 = _mm256_sub_epi16(u19, u18);
902 0 : v19 = _mm256_add_epi16(u19, u18);
903 :
904 0 : v20 = _mm256_add_epi16(u20, u21);
905 0 : v21 = _mm256_sub_epi16(u20, u21);
906 0 : v22 = _mm256_sub_epi16(u23, u22);
907 0 : v23 = _mm256_add_epi16(u23, u22);
908 :
909 0 : v24 = _mm256_add_epi16(u24, u25);
910 0 : v25 = _mm256_sub_epi16(u24, u25);
911 0 : v26 = _mm256_sub_epi16(u27, u26);
912 0 : v27 = _mm256_add_epi16(u27, u26);
913 :
914 0 : v28 = _mm256_add_epi16(u28, u29);
915 0 : v29 = _mm256_sub_epi16(u28, u29);
916 0 : v30 = _mm256_sub_epi16(u31, u30);
917 0 : v31 = _mm256_add_epi16(u31, u30);
918 :
919 : {
920 0 : const __m256i stg3_4 = pair256_set_epi16(-cospi_4_64, cospi_28_64);
921 0 : const __m256i stg3_5 = pair256_set_epi16(cospi_28_64, cospi_4_64);
922 0 : const __m256i stg3_6 = pair256_set_epi16(-cospi_28_64, -cospi_4_64);
923 0 : const __m256i stg3_8 = pair256_set_epi16(-cospi_20_64, cospi_12_64);
924 0 : const __m256i stg3_9 = pair256_set_epi16(cospi_12_64, cospi_20_64);
925 0 : const __m256i stg3_10 = pair256_set_epi16(-cospi_12_64, -cospi_20_64);
926 :
927 0 : butterfly_self(&v17, &v30, &stg3_4, &stg3_5);
928 0 : butterfly_self(&v18, &v29, &stg3_6, &stg3_4);
929 0 : butterfly_self(&v21, &v26, &stg3_8, &stg3_9);
930 0 : butterfly_self(&v22, &v25, &stg3_10, &stg3_8);
931 : }
932 :
933 0 : u16 = _mm256_add_epi16(v16, v19);
934 0 : u17 = _mm256_add_epi16(v17, v18);
935 0 : u18 = _mm256_sub_epi16(v17, v18);
936 0 : u19 = _mm256_sub_epi16(v16, v19);
937 0 : u20 = _mm256_sub_epi16(v23, v20);
938 0 : u21 = _mm256_sub_epi16(v22, v21);
939 0 : u22 = _mm256_add_epi16(v22, v21);
940 0 : u23 = _mm256_add_epi16(v23, v20);
941 :
942 0 : u24 = _mm256_add_epi16(v24, v27);
943 0 : u25 = _mm256_add_epi16(v25, v26);
944 0 : u26 = _mm256_sub_epi16(v25, v26);
945 0 : u27 = _mm256_sub_epi16(v24, v27);
946 0 : u28 = _mm256_sub_epi16(v31, v28);
947 0 : u29 = _mm256_sub_epi16(v30, v29);
948 0 : u30 = _mm256_add_epi16(v29, v30);
949 0 : u31 = _mm256_add_epi16(v28, v31);
950 :
951 : {
952 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
953 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
954 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
955 0 : butterfly_self(&u18, &u29, &stg4_4, &stg4_5);
956 0 : butterfly_self(&u19, &u28, &stg4_4, &stg4_5);
957 0 : butterfly_self(&u20, &u27, &stg4_6, &stg4_4);
958 0 : butterfly_self(&u21, &u26, &stg4_6, &stg4_4);
959 : }
960 :
961 0 : out[0] = _mm256_add_epi16(u16, u23);
962 0 : out[1] = _mm256_add_epi16(u17, u22);
963 0 : out[2] = _mm256_add_epi16(u18, u21);
964 0 : out[3] = _mm256_add_epi16(u19, u20);
965 0 : v20 = _mm256_sub_epi16(u19, u20);
966 0 : v21 = _mm256_sub_epi16(u18, u21);
967 0 : v22 = _mm256_sub_epi16(u17, u22);
968 0 : v23 = _mm256_sub_epi16(u16, u23);
969 :
970 0 : v24 = _mm256_sub_epi16(u31, u24);
971 0 : v25 = _mm256_sub_epi16(u30, u25);
972 0 : v26 = _mm256_sub_epi16(u29, u26);
973 0 : v27 = _mm256_sub_epi16(u28, u27);
974 0 : out[12] = _mm256_add_epi16(u27, u28);
975 0 : out[13] = _mm256_add_epi16(u26, u29);
976 0 : out[14] = _mm256_add_epi16(u25, u30);
977 0 : out[15] = _mm256_add_epi16(u24, u31);
978 :
979 : {
980 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
981 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
982 0 : butterfly(&v20, &v27, &stg6_0, &stg4_0, &out[4], &out[11]);
983 0 : butterfly(&v21, &v26, &stg6_0, &stg4_0, &out[5], &out[10]);
984 0 : butterfly(&v22, &v25, &stg6_0, &stg4_0, &out[6], &out[9]);
985 0 : butterfly(&v23, &v24, &stg6_0, &stg4_0, &out[7], &out[8]);
986 : }
987 0 : }
988 :
989 : // 16x16 block input __m256i in[32], output 16x32 __m256i in[32]
990 0 : static void idct32_16x32_135(__m256i *in /*in[32]*/) {
991 : __m256i out[32];
992 0 : idct32_16x32_quarter_1_2(in, out);
993 0 : idct32_16x32_quarter_3_4(in, &out[16]);
994 0 : add_sub_butterfly(out, in, 32);
995 0 : }
996 :
997 0 : static INLINE void load_buffer_from_32x32(const tran_low_t *coeff, __m256i *in,
998 : int size) {
999 0 : int i = 0;
1000 0 : while (i < size) {
1001 0 : load_coeff(coeff + (i << 5), &in[i]);
1002 0 : i += 1;
1003 : }
1004 0 : }
1005 :
1006 0 : static INLINE void zero_buffer(__m256i *in, int num) {
1007 : int i;
1008 0 : for (i = 0; i < num; ++i) {
1009 0 : in[i] = _mm256_setzero_si256();
1010 : }
1011 0 : }
1012 :
1013 : // Only upper-left 16x16 has non-zero coeff
1014 0 : void aom_idct32x32_135_add_avx2(const tran_low_t *input, uint8_t *dest,
1015 : int stride) {
1016 : __m256i in[32];
1017 0 : zero_buffer(in, 32);
1018 0 : load_buffer_from_32x32(input, in, 16);
1019 0 : mm256_transpose_16x16(in, in);
1020 0 : idct32_16x32_135(in);
1021 :
1022 : __m256i out[32];
1023 0 : mm256_transpose_16x16(in, out);
1024 0 : idct32_16x32_135(out);
1025 0 : store_buffer_16xN(out, stride, dest, 32);
1026 0 : mm256_transpose_16x16(&in[16], in);
1027 0 : idct32_16x32_135(in);
1028 0 : store_buffer_16xN(in, stride, dest + 16, 32);
1029 0 : }
1030 :
1031 0 : static void idct32_34_first_half(const __m256i *in, __m256i *stp1) {
1032 0 : const __m256i stk2_0 = pair256_set_epi16(2 * cospi_30_64, 2 * cospi_30_64);
1033 0 : const __m256i stk2_1 = pair256_set_epi16(2 * cospi_2_64, 2 * cospi_2_64);
1034 0 : const __m256i stk2_6 = pair256_set_epi16(-2 * cospi_26_64, -2 * cospi_26_64);
1035 0 : const __m256i stk2_7 = pair256_set_epi16(2 * cospi_6_64, 2 * cospi_6_64);
1036 :
1037 0 : const __m256i stk3_0 = pair256_set_epi16(2 * cospi_28_64, 2 * cospi_28_64);
1038 0 : const __m256i stk3_1 = pair256_set_epi16(2 * cospi_4_64, 2 * cospi_4_64);
1039 :
1040 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
1041 0 : const __m256i stk4_0 = pair256_set_epi16(2 * cospi_16_64, 2 * cospi_16_64);
1042 0 : const __m256i stg4_1 = pair256_set_epi16(cospi_16_64, -cospi_16_64);
1043 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
1044 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
1045 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
1046 :
1047 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
1048 : __m256i u0, u1, u2, u3, u4, u5, u6, u7;
1049 : __m256i x0, x1, x4, x5, x6, x7;
1050 : __m256i v0, v1, v2, v3, v4, v5, v6, v7, v8, v9, v10, v11, v12, v13, v14, v15;
1051 :
1052 : // phase 1
1053 :
1054 : // 0, 15
1055 0 : u2 = _mm256_mulhrs_epi16(in[2], stk2_1); // stp2_15
1056 0 : u3 = _mm256_mulhrs_epi16(in[6], stk2_7); // stp2_12
1057 0 : v15 = _mm256_add_epi16(u2, u3);
1058 : // in[0], in[4]
1059 0 : x0 = _mm256_mulhrs_epi16(in[0], stk4_0); // stp1[0]
1060 0 : x7 = _mm256_mulhrs_epi16(in[4], stk3_1); // stp1[7]
1061 0 : v0 = _mm256_add_epi16(x0, x7); // stp2_0
1062 0 : stp1[0] = _mm256_add_epi16(v0, v15);
1063 0 : stp1[15] = _mm256_sub_epi16(v0, v15);
1064 :
1065 : // in[2], in[6]
1066 0 : u0 = _mm256_mulhrs_epi16(in[2], stk2_0); // stp2_8
1067 0 : u1 = _mm256_mulhrs_epi16(in[6], stk2_6); // stp2_11
1068 0 : butterfly(&u0, &u2, &stg4_4, &stg4_5, &u4, &u5); // stp2_9, stp2_14
1069 0 : butterfly(&u1, &u3, &stg4_6, &stg4_4, &u6, &u7); // stp2_10, stp2_13
1070 :
1071 0 : v8 = _mm256_add_epi16(u0, u1);
1072 0 : v9 = _mm256_add_epi16(u4, u6);
1073 0 : v10 = _mm256_sub_epi16(u4, u6);
1074 0 : v11 = _mm256_sub_epi16(u0, u1);
1075 0 : v12 = _mm256_sub_epi16(u2, u3);
1076 0 : v13 = _mm256_sub_epi16(u5, u7);
1077 0 : v14 = _mm256_add_epi16(u5, u7);
1078 :
1079 0 : butterfly_self(&v10, &v13, &stg6_0, &stg4_0);
1080 0 : butterfly_self(&v11, &v12, &stg6_0, &stg4_0);
1081 :
1082 : // 1, 14
1083 0 : x1 = _mm256_mulhrs_epi16(in[0], stk4_0); // stp1[1], stk4_1 = stk4_0
1084 : // stp1[2] = stp1[0], stp1[3] = stp1[1]
1085 0 : x4 = _mm256_mulhrs_epi16(in[4], stk3_0); // stp1[4]
1086 0 : butterfly(&x7, &x4, &stg4_1, &stg4_0, &x5, &x6);
1087 0 : v1 = _mm256_add_epi16(x1, x6); // stp2_1
1088 0 : v2 = _mm256_add_epi16(x0, x5); // stp2_2
1089 0 : stp1[1] = _mm256_add_epi16(v1, v14);
1090 0 : stp1[14] = _mm256_sub_epi16(v1, v14);
1091 :
1092 0 : stp1[2] = _mm256_add_epi16(v2, v13);
1093 0 : stp1[13] = _mm256_sub_epi16(v2, v13);
1094 :
1095 0 : v3 = _mm256_add_epi16(x1, x4); // stp2_3
1096 0 : v4 = _mm256_sub_epi16(x1, x4); // stp2_4
1097 :
1098 0 : v5 = _mm256_sub_epi16(x0, x5); // stp2_5
1099 :
1100 0 : v6 = _mm256_sub_epi16(x1, x6); // stp2_6
1101 0 : v7 = _mm256_sub_epi16(x0, x7); // stp2_7
1102 0 : stp1[3] = _mm256_add_epi16(v3, v12);
1103 0 : stp1[12] = _mm256_sub_epi16(v3, v12);
1104 :
1105 0 : stp1[6] = _mm256_add_epi16(v6, v9);
1106 0 : stp1[9] = _mm256_sub_epi16(v6, v9);
1107 :
1108 0 : stp1[7] = _mm256_add_epi16(v7, v8);
1109 0 : stp1[8] = _mm256_sub_epi16(v7, v8);
1110 :
1111 0 : stp1[4] = _mm256_add_epi16(v4, v11);
1112 0 : stp1[11] = _mm256_sub_epi16(v4, v11);
1113 :
1114 0 : stp1[5] = _mm256_add_epi16(v5, v10);
1115 0 : stp1[10] = _mm256_sub_epi16(v5, v10);
1116 0 : }
1117 :
1118 0 : static void idct32_34_second_half(const __m256i *in, __m256i *stp1) {
1119 0 : const __m256i stk1_0 = pair256_set_epi16(2 * cospi_31_64, 2 * cospi_31_64);
1120 0 : const __m256i stk1_1 = pair256_set_epi16(2 * cospi_1_64, 2 * cospi_1_64);
1121 0 : const __m256i stk1_6 = pair256_set_epi16(-2 * cospi_25_64, -2 * cospi_25_64);
1122 0 : const __m256i stk1_7 = pair256_set_epi16(2 * cospi_7_64, 2 * cospi_7_64);
1123 0 : const __m256i stk1_8 = pair256_set_epi16(2 * cospi_27_64, 2 * cospi_27_64);
1124 0 : const __m256i stk1_9 = pair256_set_epi16(2 * cospi_5_64, 2 * cospi_5_64);
1125 0 : const __m256i stk1_14 = pair256_set_epi16(-2 * cospi_29_64, -2 * cospi_29_64);
1126 0 : const __m256i stk1_15 = pair256_set_epi16(2 * cospi_3_64, 2 * cospi_3_64);
1127 0 : const __m256i stg3_4 = pair256_set_epi16(-cospi_4_64, cospi_28_64);
1128 0 : const __m256i stg3_5 = pair256_set_epi16(cospi_28_64, cospi_4_64);
1129 0 : const __m256i stg3_6 = pair256_set_epi16(-cospi_28_64, -cospi_4_64);
1130 0 : const __m256i stg3_8 = pair256_set_epi16(-cospi_20_64, cospi_12_64);
1131 0 : const __m256i stg3_9 = pair256_set_epi16(cospi_12_64, cospi_20_64);
1132 0 : const __m256i stg3_10 = pair256_set_epi16(-cospi_12_64, -cospi_20_64);
1133 :
1134 0 : const __m256i stg4_0 = pair256_set_epi16(cospi_16_64, cospi_16_64);
1135 0 : const __m256i stg4_4 = pair256_set_epi16(-cospi_8_64, cospi_24_64);
1136 0 : const __m256i stg4_5 = pair256_set_epi16(cospi_24_64, cospi_8_64);
1137 0 : const __m256i stg4_6 = pair256_set_epi16(-cospi_24_64, -cospi_8_64);
1138 :
1139 0 : const __m256i stg6_0 = pair256_set_epi16(-cospi_16_64, cospi_16_64);
1140 : __m256i v16, v17, v18, v19, v20, v21, v22, v23;
1141 : __m256i v24, v25, v26, v27, v28, v29, v30, v31;
1142 : __m256i u16, u17, u18, u19, u20, u21, u22, u23;
1143 : __m256i u24, u25, u26, u27, u28, u29, u30, u31;
1144 :
1145 0 : v16 = _mm256_mulhrs_epi16(in[1], stk1_0);
1146 0 : v31 = _mm256_mulhrs_epi16(in[1], stk1_1);
1147 :
1148 0 : v19 = _mm256_mulhrs_epi16(in[7], stk1_6);
1149 0 : v28 = _mm256_mulhrs_epi16(in[7], stk1_7);
1150 :
1151 0 : v20 = _mm256_mulhrs_epi16(in[5], stk1_8);
1152 0 : v27 = _mm256_mulhrs_epi16(in[5], stk1_9);
1153 :
1154 0 : v23 = _mm256_mulhrs_epi16(in[3], stk1_14);
1155 0 : v24 = _mm256_mulhrs_epi16(in[3], stk1_15);
1156 :
1157 0 : butterfly(&v16, &v31, &stg3_4, &stg3_5, &v17, &v30);
1158 0 : butterfly(&v19, &v28, &stg3_6, &stg3_4, &v18, &v29);
1159 0 : butterfly(&v20, &v27, &stg3_8, &stg3_9, &v21, &v26);
1160 0 : butterfly(&v23, &v24, &stg3_10, &stg3_8, &v22, &v25);
1161 :
1162 0 : u16 = _mm256_add_epi16(v16, v19);
1163 0 : u17 = _mm256_add_epi16(v17, v18);
1164 0 : u18 = _mm256_sub_epi16(v17, v18);
1165 0 : u19 = _mm256_sub_epi16(v16, v19);
1166 0 : u20 = _mm256_sub_epi16(v23, v20);
1167 0 : u21 = _mm256_sub_epi16(v22, v21);
1168 0 : u22 = _mm256_add_epi16(v22, v21);
1169 0 : u23 = _mm256_add_epi16(v23, v20);
1170 0 : u24 = _mm256_add_epi16(v24, v27);
1171 0 : u27 = _mm256_sub_epi16(v24, v27);
1172 0 : u25 = _mm256_add_epi16(v25, v26);
1173 0 : u26 = _mm256_sub_epi16(v25, v26);
1174 0 : u28 = _mm256_sub_epi16(v31, v28);
1175 0 : u31 = _mm256_add_epi16(v28, v31);
1176 0 : u29 = _mm256_sub_epi16(v30, v29);
1177 0 : u30 = _mm256_add_epi16(v29, v30);
1178 :
1179 0 : butterfly_self(&u18, &u29, &stg4_4, &stg4_5);
1180 0 : butterfly_self(&u19, &u28, &stg4_4, &stg4_5);
1181 0 : butterfly_self(&u20, &u27, &stg4_6, &stg4_4);
1182 0 : butterfly_self(&u21, &u26, &stg4_6, &stg4_4);
1183 :
1184 0 : stp1[0] = _mm256_add_epi16(u16, u23);
1185 0 : stp1[7] = _mm256_sub_epi16(u16, u23);
1186 :
1187 0 : stp1[1] = _mm256_add_epi16(u17, u22);
1188 0 : stp1[6] = _mm256_sub_epi16(u17, u22);
1189 :
1190 0 : stp1[2] = _mm256_add_epi16(u18, u21);
1191 0 : stp1[5] = _mm256_sub_epi16(u18, u21);
1192 :
1193 0 : stp1[3] = _mm256_add_epi16(u19, u20);
1194 0 : stp1[4] = _mm256_sub_epi16(u19, u20);
1195 :
1196 0 : stp1[8] = _mm256_sub_epi16(u31, u24);
1197 0 : stp1[15] = _mm256_add_epi16(u24, u31);
1198 :
1199 0 : stp1[9] = _mm256_sub_epi16(u30, u25);
1200 0 : stp1[14] = _mm256_add_epi16(u25, u30);
1201 :
1202 0 : stp1[10] = _mm256_sub_epi16(u29, u26);
1203 0 : stp1[13] = _mm256_add_epi16(u26, u29);
1204 :
1205 0 : stp1[11] = _mm256_sub_epi16(u28, u27);
1206 0 : stp1[12] = _mm256_add_epi16(u27, u28);
1207 :
1208 0 : butterfly_self(&stp1[4], &stp1[11], &stg6_0, &stg4_0);
1209 0 : butterfly_self(&stp1[5], &stp1[10], &stg6_0, &stg4_0);
1210 0 : butterfly_self(&stp1[6], &stp1[9], &stg6_0, &stg4_0);
1211 0 : butterfly_self(&stp1[7], &stp1[8], &stg6_0, &stg4_0);
1212 0 : }
1213 :
1214 : // 16x16 block input __m256i in[32], output 16x32 __m256i in[32]
1215 0 : static void idct32_16x32_34(__m256i *in /*in[32]*/) {
1216 : __m256i out[32];
1217 0 : idct32_34_first_half(in, out);
1218 0 : idct32_34_second_half(in, &out[16]);
1219 0 : add_sub_butterfly(out, in, 32);
1220 0 : }
1221 :
1222 : // Only upper-left 8x8 has non-zero coeff
1223 0 : void aom_idct32x32_34_add_avx2(const tran_low_t *input, uint8_t *dest,
1224 : int stride) {
1225 : __m256i in[32];
1226 0 : zero_buffer(in, 32);
1227 0 : load_buffer_from_32x32(input, in, 8);
1228 0 : mm256_transpose_16x16(in, in);
1229 0 : idct32_16x32_34(in);
1230 :
1231 : __m256i out[32];
1232 0 : mm256_transpose_16x16(in, out);
1233 0 : idct32_16x32_34(out);
1234 0 : store_buffer_16xN(out, stride, dest, 32);
1235 0 : mm256_transpose_16x16(&in[16], in);
1236 0 : idct32_16x32_34(in);
1237 0 : store_buffer_16xN(in, stride, dest + 16, 32);
1238 0 : }
|
