Move zig-zagging from quantization into the fDCT.
[theora.git] / lib / x86 / x86zigzag.h
1 /********************************************************************
2  *                                                                  *
3  * THIS FILE IS PART OF THE OggTheora SOFTWARE CODEC SOURCE CODE.   *
4  * USE, DISTRIBUTION AND REPRODUCTION OF THIS LIBRARY SOURCE IS     *
5  * GOVERNED BY A BSD-STYLE SOURCE LICENSE INCLUDED WITH THIS SOURCE *
6  * IN 'COPYING'. PLEASE READ THESE TERMS BEFORE DISTRIBUTING.       *
7  *                                                                  *
8  * THE Theora SOURCE CODE IS COPYRIGHT (C) 2002-2009                *
9  * by the Xiph.Org Foundation and contributors http://www.xiph.org/ *
10  *                                                                  *
11  ********************************************************************
12
13   function:
14     last mod: $Id: sse2trans.h 15675 2009-02-06 09:43:27Z tterribe $
15
16  ********************************************************************/
17
18 #if !defined(_x86_x86zigzag_H)
19 # define _x86_x86zigzag_H (1)
20 # include "x86enc.h"
21
22
23 /*Converts DCT coefficients from transposed order into zig-zag scan order and
24    stores them in %[y].
25   This relies on two macros to load the contents of each row:
26    OC_ZZ_LOAD_ROW_LO(row,reg) and OC_ZZ_LOAD_ROW_HI(row,reg), which load the
27    first four and second four entries of each row into the specified register,
28    respectively.
29   OC_ZZ_LOAD_ROW_LO must be called before OC_ZZ_LOAD_ROW_HI for the same row
30    (because when the rows are already in SSE2 registers, loading the high half
31    destructively modifies the register).
32   The index of each output element in the original 64-element array should wind
33    up in the following 8x8 matrix (the letters indicate the order we compute
34    each 4-tuple below):
35     A  0  8  1  2   9 16 24 17 B
36     C 10  3  4 11  18 25 32 40 E
37     F 33 26 19 12   5  6 13 20 D
38     G 27 34 41 48  56 49 42 35 I
39     L 28 21 14  7  15 22 29 36 M
40     H 43 50 57 58  51 44 37 30 O
41     N 23 31 38 45  52 59 60 53 J
42     P 46 39 47 54  61 62 55 63 K
43   The order of the coefficients within each tuple is reversed in the comments
44    below to reflect the usual MSB to LSB notation.*/
45 #define OC_TRANSPOSE_ZIG_ZAG_MMXEXT \
46   OC_ZZ_LOAD_ROW_LO("0","%%mm0") /*mm0=03 02 01 00*/ \
47   OC_ZZ_LOAD_ROW_LO("1","%%mm1") /*mm1=11 10 09 08*/ \
48   OC_ZZ_LOAD_ROW_LO("2","%%mm2") /*mm2=19 18 17 16*/ \
49   OC_ZZ_LOAD_ROW_LO("3","%%mm3") /*mm3=27 26 25 24*/ \
50   OC_ZZ_LOAD_ROW_HI("0","%%mm4") /*mm4=07 06 05 04*/ \
51   OC_ZZ_LOAD_ROW_HI("1","%%mm5") /*mm5=15 14 13 12*/ \
52   OC_ZZ_LOAD_ROW_HI("2","%%mm6") /*mm6=23 22 21 20*/ \
53   "movq %%mm0,%%mm7\n\t"         /*mm7=03 02 01 00*/ \
54   "punpckhdq %%mm1,%%mm0\n\t"    /*mm0=11 10 03 02*/ \
55   "pshufw $0x39,%%mm4,%%mm4\n\t" /*mm4=04 07 06 05*/ \
56   "punpcklwd %%mm0,%%mm1\n\t"    /*mm1=03 09 02 08*/ \
57   "pshufw $0x39,%%mm5,%%mm5\n\t" /*mm5=12 15 14 13*/ \
58   "punpcklwd %%mm1,%%mm7\n\t"    /*mm7=02 01 08 00 *A*/ \
59   "movq %%mm7,0x00(%[y])\n\t" \
60   "punpckhwd %%mm4,%%mm1\n\t"    /*mm1=04 03 07 09*/ \
61   "movq %%mm2,%%mm7\n\t"         /*mm7=19 18 17 16*/ \
62   "punpckhdq %%mm1,%%mm0\n\t"    /*mm0=04 03 11 10*/ \
63   "punpckhwd %%mm5,%%mm7\n\t"    /*mm7=12 19 15 18*/ \
64   "punpcklwd %%mm3,%%mm1\n\t"    /*mm1=25 07 24 09*/ \
65   "punpcklwd %%mm6,%%mm5\n\t"    /*mm5=21 14 20 13*/ \
66   "punpcklwd %%mm2,%%mm1\n\t"    /*mm1=17 24 16 09 *B*/ \
67   OC_ZZ_LOAD_ROW_LO("4","%%mm2") /*mm2=35 34 33 32*/ \
68   "movq %%mm1,0x08(%[y])\n\t" \
69   OC_ZZ_LOAD_ROW_LO("5","%%mm1") /*mm1=43 42 41 40*/ \
70   "pshufw $0x78,%%mm0,%%mm0\n\t" /*mm0=11 04 03 10 *C*/ \
71   "movq %%mm0,0x10(%[y])\n\t" \
72   "punpckhdq %%mm4,%%mm6\n\t"    /*mm6=?? 07 23 22*/ \
73   "punpckldq %%mm5,%%mm4\n\t"    /*mm4=20 13 06 05 *D*/ \
74   "movq %%mm4,0x28(%[y])\n\t" \
75   "psrlq $16,%%mm3\n\t"          /*mm3=.. 27 26 25*/ \
76   "pshufw $0x0E,%%mm2,%%mm0\n\t" /*mm0=?? ?? 35 34*/ \
77   "movq %%mm7,%%mm4\n\t"         /*mm4=12 19 15 18*/ \
78   "punpcklwd %%mm3,%%mm2\n\t"    /*mm2=26 33 25 32*/ \
79   "punpcklwd %%mm1,%%mm4\n\t"    /*mm4=41 15 40 18*/ \
80   "punpckhwd %%mm1,%%mm3\n\t"    /*mm3=43 .. 42 27*/ \
81   "punpckldq %%mm2,%%mm4\n\t"    /*mm4=25 32 40 18*/ \
82   "punpcklwd %%mm0,%%mm3\n\t"    /*mm3=35 42 34 27*/ \
83   OC_ZZ_LOAD_ROW_LO("6","%%mm0") /*mm0=51 50 49 48*/ \
84   "pshufw $0x6C,%%mm4,%%mm4\n\t" /*mm4=40 32 25 18 *E*/ \
85   "movq %%mm4,0x18(%[y])\n\t" \
86   OC_ZZ_LOAD_ROW_LO("7","%%mm4") /*mm4=59 58 57 56*/ \
87   "punpckhdq %%mm7,%%mm2\n\t"    /*mm2=12 19 26 33 *F*/ \
88   "movq %%mm2,0x20(%[y])\n\t" \
89   "pshufw $0xD0,%%mm1,%%mm1\n\t" /*mm1=43 41 ?? ??*/ \
90   "pshufw $0x87,%%mm0,%%mm0\n\t" /*mm0=50 48 49 51*/ \
91   "movq %%mm3,%%mm2\n\t"         /*mm2=35 42 34 27*/ \
92   "punpckhwd %%mm0,%%mm1\n\t"    /*mm1=50 43 48 41*/ \
93   "pshufw $0x93,%%mm4,%%mm4\n\t" /*mm4=58 57 56 59*/ \
94   "punpckldq %%mm1,%%mm3\n\t"    /*mm3=48 41 34 27 *G*/ \
95   "movq %%mm3,0x30(%[y])\n\t" \
96   "punpckhdq %%mm4,%%mm1\n\t"    /*mm1=58 57 50 43 *H*/ \
97   "movq %%mm1,0x50(%[y])\n\t" \
98   OC_ZZ_LOAD_ROW_HI("7","%%mm1") /*mm1=63 62 61 60*/ \
99   "punpcklwd %%mm0,%%mm4\n\t"    /*mm4=49 56 51 59*/ \
100   OC_ZZ_LOAD_ROW_HI("6","%%mm0") /*mm0=55 54 53 52*/ \
101   "psllq $16,%%mm6\n\t"          /*mm6=07 23 22 ..*/ \
102   "movq %%mm4,%%mm3\n\t"         /*mm3=49 56 51 59*/ \
103   "punpckhdq %%mm2,%%mm4\n\t"    /*mm4=35 42 49 56 *I*/ \
104   OC_ZZ_LOAD_ROW_HI("3","%%mm2") /*mm2=31 30 29 28*/ \
105   "movq %%mm4,0x38(%[y])\n\t" \
106   "punpcklwd %%mm1,%%mm3\n\t"    /*mm3=61 51 60 59*/ \
107   "punpcklwd %%mm6,%%mm7\n\t"    /*mm7=22 15 .. ??*/ \
108   "movq %%mm3,%%mm4\n\t"         /*mm4=61 51 60 59*/ \
109   "punpcklwd %%mm0,%%mm3\n\t"    /*mm3=53 60 52 59*/ \
110   "punpckhwd %%mm0,%%mm4\n\t"    /*mm4=55 61 54 51*/ \
111   OC_ZZ_LOAD_ROW_HI("4","%%mm0") /*mm0=39 38 37 36*/ \
112   "pshufw $0xE1,%%mm3,%%mm3\n\t" /*mm3=53 60 59 52 *J*/ \
113   "movq %%mm3,0x68(%[y])\n\t" \
114   "movq %%mm4,%%mm3\n\t"         /*mm3=?? ?? 54 51*/ \
115   "pshufw $0x39,%%mm2,%%mm2\n\t" /*mm2=28 31 30 29*/ \
116   "punpckhwd %%mm1,%%mm4\n\t"    /*mm4=63 55 62 61 *K*/ \
117   OC_ZZ_LOAD_ROW_HI("5","%%mm1") /*mm1=47 46 45 44*/ \
118   "movq %%mm4,0x78(%[y])\n\t" \
119   "punpckhwd %%mm2,%%mm6\n\t"    /*mm6=28 07 31 23*/ \
120   "punpcklwd %%mm0,%%mm2\n\t"    /*mm2=37 30 36 29*/ \
121   "punpckhdq %%mm6,%%mm5\n\t"    /*mm5=28 07 21 14*/ \
122   "pshufw $0x4B,%%mm2,%%mm2\n\t" /*mm2=36 29 30 37*/ \
123   "pshufw $0x87,%%mm5,%%mm5\n\t" /*mm5=07 14 21 28 *L*/ \
124   "movq %%mm5,0x40(%[y])\n\t" \
125   "punpckhdq %%mm2,%%mm7\n\t"    /*mm7=36 29 22 15 *M*/ \
126   "movq %%mm7,0x48(%[y])\n\t" \
127   "pshufw $0x9C,%%mm1,%%mm1\n\t" /*mm1=46 45 47 44*/ \
128   "punpckhwd %%mm1,%%mm0\n\t"    /*mm0=46 39 45 38*/ \
129   "punpcklwd %%mm1,%%mm3\n\t"    /*mm3=47 54 44 51*/ \
130   "punpckldq %%mm0,%%mm6\n\t"    /*mm6=45 38 31 23 *N*/ \
131   "movq %%mm6,0x60(%[y])\n\t" \
132   "punpckhdq %%mm3,%%mm0\n\t"    /*mm0=47 54 46 39*/ \
133   "punpckldq %%mm2,%%mm3\n\t"    /*mm3=30 37 44 51 *O*/ \
134   "movq %%mm3,0x58(%[y])\n\t" \
135   "pshufw $0xB1,%%mm0,%%mm0\n\t" /*mm0=54 47 39 46 *P*/ \
136   "movq %%mm0,0x70(%[y])\n\t" \
137
138 /*Converts DCT coefficients in %[dct] from natural order into zig-zag scan
139    order and stores them in %[qdct].
140   The index of each output element in the original 64-element array should wind
141    up in the following 8x8 matrix (the letters indicate the order we compute
142    each 4-tuple below):
143     A  0  1  8 16   9  2  3 10 B
144     C 17 24 32 25  18 11  4  5 D
145     E 12 19 26 33  40 48 41 34 I
146     H 27 20 13  6   7 14 21 28 G
147     K 35 42 49 56  57 50 43 36 J
148     F 29 22 15 23  30 37 44 51 M
149     P 58 59 52 45  38 31 39 46 L
150     N 53 60 61 54  47 55 62 63 O
151   The order of the coefficients within each tuple is reversed in the comments
152    below to reflect the usual MSB to LSB notation.*/
153 #define OC_ZIG_ZAG_MMXEXT \
154   "movq 0x00(%[dct]),%%mm0\n\t"  /*mm0=03 02 01 00*/ \
155   "movq 0x08(%[dct]),%%mm1\n\t"  /*mm1=07 06 05 04*/ \
156   "movq 0x10(%[dct]),%%mm2\n\t"  /*mm2=11 10 09 08*/ \
157   "movq 0x20(%[dct]),%%mm3\n\t"  /*mm3=19 18 17 16*/ \
158   "movq 0x30(%[dct]),%%mm4\n\t"  /*mm4=27 26 25 24*/ \
159   "movq 0x40(%[dct]),%%mm5\n\t"  /*mm5=35 34 33 32*/ \
160   "movq %%mm2,%%mm7\n\t"         /*mm7=11 10 09 08*/ \
161   "punpcklwd %%mm3,%%mm2\n\t"    /*mm2=17 09 16 08*/ \
162   "movq %%mm0,%%mm6\n\t"         /*mm6=03 02 01 00*/ \
163   "punpckldq %%mm2,%%mm0\n\t"    /*mm0=16 08 01 00 *A*/ \
164   "movq %%mm0,0x00(%[qdct])\n\t" \
165   "movq 0x18(%[dct]),%%mm0\n\t"  /*mm0=15 14 13 12*/ \
166   "punpckhdq %%mm6,%%mm6\n\t"    /*mm6=03 02 03 02*/ \
167   "psrlq $16,%%mm7\n\t"          /*mm7=.. 11 10 09*/ \
168   "punpckldq %%mm7,%%mm6\n\t"    /*mm6=10 09 03 02*/ \
169   "punpckhwd %%mm7,%%mm3\n\t"    /*mm3=.. 19 11 18*/ \
170   "pshufw $0xD2,%%mm6,%%mm6\n\t" /*mm6=10 03 02 09 *B*/ \
171   "movq %%mm6,0x08(%[qdct])\n\t" \
172   "psrlq $48,%%mm2\n\t"          /*mm2=.. .. .. 17*/ \
173   "movq %%mm1,%%mm6\n\t"         /*mm6=07 06 05 04*/ \
174   "punpcklwd %%mm5,%%mm2\n\t"    /*mm2=33 .. 32 17*/ \
175   "movq %%mm3,%%mm7\n\t"         /*mm7=.. 19 11 18*/ \
176   "punpckldq %%mm1,%%mm3\n\t"    /*mm3=05 04 11 18 *C*/ \
177   "por %%mm2,%%mm7\n\t"          /*mm7=33 19 ?? ??*/ \
178   "punpcklwd %%mm4,%%mm2\n\t"    /*mm2=25 32 24 17 *D**/ \
179   "movq %%mm2,0x10(%[qdct])\n\t" \
180   "movq %%mm3,0x18(%[qdct])\n\t" \
181   "movq 0x28(%[dct]),%%mm2\n\t"  /*mm2=23 22 21 20*/ \
182   "movq 0x38(%[dct]),%%mm1\n\t"  /*mm1=31 30 29 28*/ \
183   "pshufw $0x9C,%%mm0,%%mm3\n\t" /*mm3=14 13 15 12*/ \
184   "punpckhdq %%mm7,%%mm7\n\t"    /*mm7=33 19 33 19*/ \
185   "punpckhwd %%mm3,%%mm6\n\t"    /*mm6=14 07 13 06*/ \
186   "punpckldq %%mm0,%%mm0\n\t"    /*mm0=13 12 13 12*/ \
187   "punpcklwd %%mm1,%%mm3\n\t"    /*mm3=29 15 28 12*/ \
188   "punpckhwd %%mm4,%%mm0\n\t"    /*mm0=27 13 26 12*/ \
189   "pshufw $0xB4,%%mm3,%%mm3\n\t" /*mm3=15 29 28 12*/ \
190   "psrlq $48,%%mm4\n\t"          /*mm4=.. .. .. 27*/ \
191   "punpcklwd %%mm7,%%mm0\n\t"    /*mm0=33 26 19 12 *E*/ \
192   "punpcklwd %%mm1,%%mm4\n\t"    /*mm4=29 .. 28 27*/ \
193   "punpckhwd %%mm2,%%mm3\n\t"    /*mm3=23 15 22 29 *F*/ \
194   "movq %%mm0,0x20(%[qdct])\n\t" \
195   "movq %%mm3,0x50(%[qdct])\n\t" \
196   "movq 0x60(%[dct]),%%mm3\n\t"  /*mm3=51 50 49 48*/ \
197   "movq 0x70(%[dct]),%%mm7\n\t"  /*mm7=59 58 57 56*/ \
198   "movq 0x50(%[dct]),%%mm0\n\t"  /*mm0=43 42 41 40*/ \
199   "punpcklwd %%mm4,%%mm2\n\t"    /*mm2=28 21 27 20*/ \
200   "psrlq $32,%%mm5\n\t"          /*mm5=.. .. 35 34*/ \
201   "movq %%mm2,%%mm4\n\t"         /*mm4=28 21 27 20*/ \
202   "punpckldq %%mm6,%%mm2\n\t"    /*mm2=13 06 27 20*/ \
203   "punpckhdq %%mm4,%%mm6\n\t"    /*mm6=28 21 14 07 *G*/ \
204   "movq %%mm3,%%mm4\n\t"         /*mm4=51 50 49 48*/ \
205   "pshufw $0xB1,%%mm2,%%mm2\n\t" /*mm2=06 13 20 27 *H*/ \
206   "movq %%mm2,0x30(%[qdct])\n\t" \
207   "movq %%mm6,0x38(%[qdct])\n\t" \
208   "movq 0x48(%[dct]),%%mm2\n\t"  /*mm2=39 38 37 36*/ \
209   "punpcklwd %%mm5,%%mm4\n\t"    /*mm4=35 49 34 48*/ \
210   "movq 0x58(%[dct]),%%mm5\n\t"  /*mm5=47 46 45 44*/ \
211   "punpckldq %%mm7,%%mm6\n\t"    /*mm6=57 56 14 07*/ \
212   "psrlq $32,%%mm3\n\t"          /*mm3=.. .. 51 50*/ \
213   "punpckhwd %%mm0,%%mm6\n\t"    /*mm6=43 57 42 56*/ \
214   "punpcklwd %%mm4,%%mm0\n\t"    /*mm0=34 41 48 40 *I*/ \
215   "pshufw $0x4E,%%mm6,%%mm6\n\t" /*mm6=42 56 43 57*/ \
216   "movq %%mm0,0x28(%[qdct])\n\t" \
217   "punpcklwd %%mm2,%%mm3\n\t"    /*mm3=37 51 36 50*/ \
218   "punpckhwd %%mm6,%%mm4\n\t"    /*mm4=42 35 56 49*/ \
219   "punpcklwd %%mm3,%%mm6\n\t"    /*mm6=36 43 50 57 *J*/ \
220   "pshufw $0x4E,%%mm4,%%mm4\n\t" /*mm4=56 49 42 35 *K*/ \
221   "movq %%mm4,0x40(%[qdct])\n\t" \
222   "movq %%mm6,0x48(%[qdct])\n\t" \
223   "movq 0x68(%[dct]),%%mm6\n\t"  /*mm6=55 54 53 52*/ \
224   "movq 0x78(%[dct]),%%mm0\n\t"  /*mm0=63 62 61 60*/ \
225   "psrlq $32,%%mm1\n\t"          /*mm1=.. .. 31 30*/ \
226   "pshufw $0xD8,%%mm5,%%mm5\n\t" /*mm5=47 45 46 44*/ \
227   "pshufw $0x0B,%%mm3,%%mm3\n\t" /*mm3=50 50 51 37*/ \
228   "punpcklwd %%mm5,%%mm1\n\t"    /*mm1=46 31 44 30*/ \
229   "pshufw $0xC9,%%mm6,%%mm6\n\t" /*mm6=55 52 54 53*/ \
230   "punpckhwd %%mm1,%%mm2\n\t"    /*mm2=46 39 31 38 *L*/ \
231   "punpcklwd %%mm3,%%mm1\n\t"    /*mm1=51 44 37 30 *M*/ \
232   "movq %%mm2,0x68(%[qdct])\n\t" \
233   "movq %%mm1,0x58(%[qdct])\n\t" \
234   "punpckhwd %%mm6,%%mm5\n\t"    /*mm5=55 47 52 45*/ \
235   "punpckldq %%mm0,%%mm6\n\t"    /*mm6=61 60 54 53*/ \
236   "pshufw $0x10,%%mm5,%%mm4\n\t" /*mm4=45 52 45 45*/ \
237   "pshufw $0x78,%%mm6,%%mm6\n\t" /*mm6=53 60 61 54 *N*/ \
238   "punpckhdq %%mm0,%%mm5\n\t"    /*mm5=63 62 55 47 *O*/ \
239   "punpckhdq %%mm4,%%mm7\n\t"    /*mm7=45 52 59 58 *P*/ \
240   "movq %%mm6,0x70(%[qdct])\n\t" \
241   "movq %%mm5,0x78(%[qdct])\n\t" \
242   "movq %%mm7,0x60(%[qdct])\n\t" \
243
244 #endif