Moved the windowing from compute_inv_mdcts() to mdct_backward()
[opus.git] / libcelt / mdct.c
1 /* (C) 2008 Jean-Marc Valin, CSIRO
2 */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7    
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10    
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14    
15    - Neither the name of the Xiph.org Foundation nor the names of its
16    contributors may be used to endorse or promote products derived from
17    this software without specific prior written permission.
18    
19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30 */
31
32 /* This is a simple MDCT implementation that uses a N/4 complex FFT
33    to do most of the work. It should be relatively straightforward to
34    plug in pretty much and FFT here.
35    
36    This replaces the Vorbis FFT (and uses the exact same API), which 
37    was a bit too messy and that was ending up duplicating code 
38    (might as well use the same FFT everywhere).
39    
40    The algorithm is similar to (and inspired from) Fabrice Bellard's
41    MDCT implementation in FFMPEG, but has differences in signs, ordering
42    and scaling in many places. 
43 */
44
45 #ifdef HAVE_CONFIG_H
46 #include "config.h"
47 #endif
48
49 #include "mdct.h"
50 #include "kfft_double.h"
51 #include <math.h>
52 #include "os_support.h"
53 #include "mathops.h"
54 #include "stack_alloc.h"
55
56 #ifndef M_PI
57 #define M_PI 3.141592653
58 #endif
59
60 void mdct_init(mdct_lookup *l,int N)
61 {
62    int i;
63    int N2;
64    l->n = N;
65    N2 = N>>1;
66    l->kfft = cpx32_fft_alloc(N>>2);
67    l->trig = (kiss_twiddle_scalar*)celt_alloc(N2*sizeof(kiss_twiddle_scalar));
68    /* We have enough points that sine isn't necessary */
69 #if defined(FIXED_POINT)
70 #if defined(DOUBLE_PRECISION) & !defined(MIXED_PRECISION)
71    for (i=0;i<N2;i++)
72       l->trig[i] = SAMP_MAX*cos(2*M_PI*(i+1./8.)/N);
73 #else
74    for (i=0;i<N2;i++)
75       l->trig[i] = TRIG_UPSCALE*celt_cos_norm(DIV32(ADD32(SHL32(EXTEND32(i),17),16386),N));
76 #endif
77 #else
78    for (i=0;i<N2;i++)
79       l->trig[i] = cos(2*M_PI*(i+1./8.)/N);
80 #endif
81 }
82
83 void mdct_clear(mdct_lookup *l)
84 {
85    cpx32_fft_free(l->kfft);
86    celt_free(l->trig);
87 }
88
89 /* Only divide by half if float. In fixed-point, it's included in the shift */
90 #ifdef FIXED_POINT
91 #define FL_HALF(x) (x)
92 #else
93 #define FL_HALF(x) (.5f*(x))
94 #endif
95
96 void mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out, const celt_word16_t *window, int overlap)
97 {
98    int i;
99    int N, N2, N4;
100    VARDECL(kiss_fft_scalar, f);
101    SAVE_STACK;
102    N = l->n;
103    N2 = N>>1;
104    N4 = N>>2;
105    ALLOC(f, N2, kiss_fft_scalar);
106    
107    /* Consider the input to be compused of four blocks: [a, b, c, d] */
108    /* Window, shuffle, fold */
109    {
110       /* Temp pointers to make it really clear to the compiler what we're doing */
111       const kiss_fft_scalar * restrict xp1 = in+(overlap>>1);
112       const kiss_fft_scalar * restrict xp2 = in+N2-1+(overlap>>1);
113       kiss_fft_scalar * restrict yp = out;
114       const celt_word16_t * restrict wp1 = window+(overlap>>1);
115       const celt_word16_t * restrict wp2 = window+(overlap>>1)-1;
116       for(i=0;i<(overlap>>2);i++)
117       {
118          /* Real part arranged as -d-cR, Imag part arranged as -b+aR*/
119          *yp++ = -FL_HALF(MULT16_32_Q16(*wp2, xp1[N2]) + MULT16_32_Q16(*wp1,*xp2));
120          *yp++ = -FL_HALF(MULT16_32_Q16(*wp1, *xp1)    - MULT16_32_Q16(*wp2, xp2[-N2]));
121          xp1+=2;
122          xp2-=2;
123          wp1+=2;
124          wp2-=2;
125       }
126       wp1 = window;
127       wp2 = window+overlap-1;
128       for(;i<N4-(overlap>>2);i++)
129       {
130          /* Real part arranged as a-bR, Imag part arranged as -c-dR */
131          *yp++ = -HALF32(*xp2);
132          *yp++ = -HALF32(*xp1);
133          xp1+=2;
134          xp2-=2;
135       }
136       for(;i<N4;i++)
137       {
138          /* Real part arranged as a-bR, Imag part arranged as -c-dR */
139          *yp++ =  FL_HALF(MULT16_32_Q16(*wp1, xp1[-N2]) - MULT16_32_Q16(*wp2, *xp2));
140          *yp++ = -FL_HALF(MULT16_32_Q16(*wp2, *xp1)     + MULT16_32_Q16(*wp1, xp2[N2]));
141          xp1+=2;
142          xp2-=2;
143          wp1+=2;
144          wp2-=2;
145       }
146    }
147    /* Pre-rotation */
148    {
149       kiss_fft_scalar * restrict yp = out;
150       kiss_fft_scalar *t = &l->trig[0];
151       for(i=0;i<N4;i++)
152       {
153          kiss_fft_scalar re, im;
154          re = yp[0];
155          im = yp[1];
156          *yp++ = S_MUL(re,t[0])  -  S_MUL(im,t[N4]);
157          *yp++ = S_MUL(im,t[0])  +  S_MUL(re,t[N4]);
158          t++;
159       }
160    }
161
162    /* N/4 complex FFT, which should normally down-scale by 4/N (but doesn't now) */
163    cpx32_fft(l->kfft, out, f, N4);
164
165    /* Post-rotate and apply the scaling if the FFT doesn't to it itself */
166    {
167       /* Temp pointers to make it really clear to the compiler what we're doing */
168       const kiss_fft_scalar * restrict fp = f;
169       kiss_fft_scalar * restrict yp1 = out;
170       kiss_fft_scalar * restrict yp2 = out+N2-1;
171       kiss_fft_scalar *t = &l->trig[0];
172       /* Temp pointers to make it really clear to the compiler what we're doing */
173       for(i=0;i<N4;i++)
174       {
175          *yp1 = -S_MUL(fp[1],t[N4]) + S_MUL(fp[0],t[0]);
176          *yp2 = -S_MUL(fp[0],t[N4]) - S_MUL(fp[1],t[0]);
177          fp += 2;
178          yp1 += 2;
179          yp2 -= 2;
180          t++;
181       }
182    }
183    RESTORE_STACK;
184 }
185
186
187 void mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out, const celt_word16_t * restrict window, int overlap)
188 {
189    int i;
190    int N, N2, N4;
191    VARDECL(kiss_fft_scalar, f);
192    SAVE_STACK;
193    N = l->n;
194    N2 = N>>1;
195    N4 = N>>2;
196    ALLOC(f, N2, kiss_fft_scalar);
197    
198    /* Pre-rotate */
199    {
200       /* Temp pointers to make it really clear to the compiler what we're doing */
201       const kiss_fft_scalar * restrict xp1 = in;
202       const kiss_fft_scalar * restrict xp2 = in+N2-1;
203       kiss_fft_scalar * restrict yp = out;
204       kiss_fft_scalar *t = &l->trig[0];
205       for(i=0;i<N4;i++) 
206       {
207          *yp++ = -S_MUL(*xp2, t[0])  - S_MUL(*xp1,t[N4]);
208          *yp++ =  S_MUL(*xp2, t[N4]) - S_MUL(*xp1,t[0]);
209          xp1+=2;
210          xp2-=2;
211          t++;
212       }
213    }
214
215    /* Inverse N/4 complex FFT. This one should *not* downscale even in fixed-point */
216    cpx32_ifft(l->kfft, out, f, N4);
217    
218    /* Post-rotate */
219    {
220       kiss_fft_scalar * restrict fp = f;
221       kiss_fft_scalar *t = &l->trig[0];
222
223       for(i=0;i<N4;i++)
224       {
225          kiss_fft_scalar re, im;
226          re = fp[0];
227          im = fp[1];
228          /* We'd scale up by 2 here, but instead it's done when mixing the windows */
229          *fp++ = S_MUL(re,*t) + S_MUL(im,t[N4]);
230          *fp++ = S_MUL(im,*t) - S_MUL(re,t[N4]);
231          t++;
232       }
233    }
234    /* De-shuffle the components for the middle of the window only */
235    {
236       const kiss_fft_scalar * restrict fp1 = f;
237       const kiss_fft_scalar * restrict fp2 = f+N2-1;
238       kiss_fft_scalar * restrict yp = out+N4;
239       for(i = 0; i < N4; i++)
240       {
241          *yp++ =-*fp1*2;
242          *yp++ = *fp2*2;
243          fp1 += 2;
244          fp2 -= 2;
245       }
246    }
247
248    /* Mirror on both sides for TDAC */
249    {
250       kiss_fft_scalar * restrict xp1 = out+N2-1;
251       kiss_fft_scalar * restrict xp2 = out+N2;
252       kiss_fft_scalar * restrict yp1 = out+N4-overlap/2;
253       kiss_fft_scalar * restrict yp2 = out+N-1-(N4-overlap/2);
254       const celt_word16_t * restrict wp1 = window;
255       const celt_word16_t * restrict wp2 = window+overlap-1;
256       for(i = 0; i< N4-overlap/2; i++)
257       {
258          *xp1 = *xp1;
259          *xp2 = *xp2;
260          xp1--;
261          xp2++;
262       }
263       for(; i < N4; i++)
264       {
265          kiss_fft_scalar x1, x2;
266          x1 = *xp1;
267          x2 = *xp2;
268          *yp1++ =-MULT16_32_Q15(*wp1, x1);
269          *yp2-- = MULT16_32_Q15(*wp1, x2);
270          *xp1-- = MULT16_32_Q15(*wp2, x1);
271          *xp2++ = MULT16_32_Q15(*wp2, x2);
272          wp1++;
273          wp2--;
274       }
275    }
276    RESTORE_STACK;
277 }
278
279