Further simplifications to the forward mdct
[opus.git] / libcelt / mdct.c
1 /* (C) 2008 Jean-Marc Valin, CSIRO
2 */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7    
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10    
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14    
15    - Neither the name of the Xiph.org Foundation nor the names of its
16    contributors may be used to endorse or promote products derived from
17    this software without specific prior written permission.
18    
19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30 */
31
32 /* This is a simple MDCT implementation that uses a N/4 complex FFT
33    to do most of the work. It should be relatively straightforward to
34    plug in pretty much and FFT here.
35    
36    This replaces the Vorbis FFT (and uses the exact same API), which 
37    was a bit too messy and that was ending up duplicating code 
38    (might as well use the same FFT everywhere).
39    
40    The algorithm is similar to (and inspired from) Fabrice Bellard's
41    MDCT implementation in FFMPEG, but has differences in signs, ordering
42    and scaling in many places. 
43 */
44
45 #ifdef HAVE_CONFIG_H
46 #include "config.h"
47 #endif
48
49 #include "mdct.h"
50 #include "kfft_double.h"
51 #include <math.h>
52 #include "os_support.h"
53 #include "mathops.h"
54 #include "stack_alloc.h"
55
56 #ifndef M_PI
57 #define M_PI 3.141592653
58 #endif
59
60 void mdct_init(mdct_lookup *l,int N)
61 {
62    int i;
63    int N2;
64    l->n = N;
65    N2 = N>>1;
66    l->kfft = cpx32_fft_alloc(N>>2);
67    l->trig = (kiss_twiddle_scalar*)celt_alloc(N2*sizeof(kiss_twiddle_scalar));
68    /* We have enough points that sine isn't necessary */
69 #if defined(FIXED_POINT)
70 #if defined(DOUBLE_PRECISION) & !defined(MIXED_PRECISION)
71    for (i=0;i<N2;i++)
72       l->trig[i] = SAMP_MAX*cos(2*M_PI*(i+1./8.)/N);
73 #else
74    for (i=0;i<N2;i++)
75       l->trig[i] = TRIG_UPSCALE*celt_cos_norm(DIV32(ADD32(SHL32(EXTEND32(i),17),16386),N));
76 #endif
77 #else
78    for (i=0;i<N2;i++)
79       l->trig[i] = cos(2*M_PI*(i+1./8.)/N);
80 #endif
81 }
82
83 void mdct_clear(mdct_lookup *l)
84 {
85    cpx32_fft_free(l->kfft);
86    celt_free(l->trig);
87 }
88
89 void mdct_forward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out, const celt_word16_t *window, int overlap)
90 {
91    int i;
92    int N, N2, N4;
93    VARDECL(kiss_fft_scalar, f);
94    SAVE_STACK;
95    N = l->n;
96    N2 = N>>1;
97    N4 = N>>2;
98    ALLOC(f, N2, kiss_fft_scalar);
99    
100    /* Consider the input to be compused of four blocks: [a, b, c, d] */
101    /* Shuffle, fold, pre-rotate (part 1) */
102    {
103       /* Temp pointers to make it really clear to the compiler what we're doing */
104       const kiss_fft_scalar * restrict xp1 = in+overlap/2;
105       const kiss_fft_scalar * restrict xp2 = in+N2-1+overlap/2;
106       kiss_fft_scalar * restrict yp = out;
107       kiss_fft_scalar *t = &l->trig[0];
108       const celt_word16_t * restrict wp1 = window+overlap/2;
109       const celt_word16_t * restrict wp2 = window+overlap/2-1;
110       for(i=0;i<overlap/4;i++)
111       {
112          kiss_fft_scalar re, im;
113          /* Real part arranged as -d-cR, Imag part arranged as -b+aR*/
114          re = -(MULT16_32_Q16(*wp2, xp1[N2]) + MULT16_32_Q16(*wp1,*xp2));
115          im = -(MULT16_32_Q16(*wp1, *xp1)    - MULT16_32_Q16(*wp2, xp2[-N2]));
116 #ifndef FIXED_POINT
117          re *= .5; im *= .5;
118 #endif
119          xp1+=2;
120          xp2-=2;
121          wp1+=2;
122          wp2-=2;
123          /* We could remove the HALF32 above and just use MULT16_32_Q16 below
124          (MIXED_PRECISION only) */
125          *yp++ = S_MUL(re,t[0])  -  S_MUL(im,t[N4]);
126          *yp++ = S_MUL(im,t[0])  +  S_MUL(re,t[N4]);
127          t++;
128       }
129       wp1 = window;
130       wp2 = window+overlap-1;
131       for(;i<N4-overlap/4;i++)
132       {
133          kiss_fft_scalar re, im;
134          /* Real part arranged as a-bR, Imag part arranged as -c-dR */
135          re = -HALF32(*xp2);
136          im = -HALF32(*xp1);
137          xp1+=2;
138          xp2-=2;
139          /* We could remove the HALF32 above and just use MULT16_32_Q16 below
140             (MIXED_PRECISION only) */
141          *yp++ = S_MUL(re,t[0])  -  S_MUL(im,t[N4]);
142          *yp++ = S_MUL(im,t[0])  +  S_MUL(re,t[N4]);
143          t++;
144       }
145       for(;i<N4;i++)
146       {
147          kiss_fft_scalar re, im;
148          /* Real part arranged as a-bR, Imag part arranged as -c-dR */
149          re =  (MULT16_32_Q16(*wp1, xp1[-N2]) - MULT16_32_Q16(*wp2, *xp2));
150          im = -(MULT16_32_Q16(*wp2, *xp1)     + MULT16_32_Q16(*wp1, xp2[N2]));
151 #ifndef FIXED_POINT
152          re *= .5; im *= .5;
153 #endif
154          xp1+=2;
155          xp2-=2;
156          wp1+=2;
157          wp2-=2;
158          /* We could remove the HALF32 above and just use MULT16_32_Q16 below
159          (MIXED_PRECISION only) */
160          *yp++ = S_MUL(re,t[0])  -  S_MUL(im,t[N4]);
161          *yp++ = S_MUL(im,t[0])  +  S_MUL(re,t[N4]);
162          t++;
163       }
164    }
165
166    /* N/4 complex FFT, which should normally down-scale by 4/N (but doesn't now) */
167    cpx32_fft(l->kfft, out, f, N4);
168
169    /* Post-rotate and apply the scaling if the FFT doesn't to it itself */
170    {
171       /* Temp pointers to make it really clear to the compiler what we're doing */
172       const kiss_fft_scalar * restrict fp = f;
173       kiss_fft_scalar * restrict yp1 = out;
174       kiss_fft_scalar * restrict yp2 = out+N2-1;
175       kiss_fft_scalar *t = &l->trig[0];
176       /* Temp pointers to make it really clear to the compiler what we're doing */
177       for(i=0;i<N4;i++)
178       {
179          *yp1 = -S_MUL(fp[1],t[N4]) + S_MUL(fp[0],t[0]);
180          *yp2 = -S_MUL(fp[0],t[N4]) - S_MUL(fp[1],t[0]);
181          fp += 2;
182          yp1 += 2;
183          yp2 -= 2;
184          t++;
185       }
186    }
187    RESTORE_STACK;
188 }
189
190
191 void mdct_backward(const mdct_lookup *l, kiss_fft_scalar *in, kiss_fft_scalar * restrict out)
192 {
193    int i;
194    int N, N2, N4;
195    VARDECL(kiss_fft_scalar, f);
196    SAVE_STACK;
197    N = l->n;
198    N2 = N>>1;
199    N4 = N>>2;
200    ALLOC(f, N2, kiss_fft_scalar);
201    
202    /* Pre-rotate */
203    {
204       /* Temp pointers to make it really clear to the compiler what we're doing */
205       const kiss_fft_scalar * restrict xp1 = in;
206       const kiss_fft_scalar * restrict xp2 = in+N2-1;
207       kiss_fft_scalar * restrict yp = out;
208       kiss_fft_scalar *t = &l->trig[0];
209       for(i=0;i<N4;i++) 
210       {
211          *yp++ = -S_MUL(*xp2, t[0])  - S_MUL(*xp1,t[N4]);
212          *yp++ =  S_MUL(*xp2, t[N4]) - S_MUL(*xp1,t[0]);
213          xp1+=2;
214          xp2-=2;
215          t++;
216       }
217    }
218
219    /* Inverse N/4 complex FFT. This one should *not* downscale even in fixed-point */
220    cpx32_ifft(l->kfft, out, f, N4);
221    
222    /* Post-rotate */
223    {
224       kiss_fft_scalar * restrict fp = f;
225       kiss_fft_scalar *t = &l->trig[0];
226
227       for(i=0;i<N4;i++)
228       {
229          kiss_fft_scalar re, im;
230          re = fp[0];
231          im = fp[1];
232          /* We'd scale up by 2 here, but instead it's done when mixing the windows */
233          *fp++ = S_MUL(re,*t) + S_MUL(im,t[N4]);
234          *fp++ = S_MUL(im,*t) - S_MUL(re,t[N4]);
235          t++;
236       }
237    }
238    /* De-shuffle the components for the middle of the window only */
239    {
240       const kiss_fft_scalar * restrict fp1 = f;
241       const kiss_fft_scalar * restrict fp2 = f+N2-1;
242       kiss_fft_scalar * restrict yp = out+N4;
243       for(i = 0; i < N4; i++)
244       {
245          *yp++ =-*fp1;
246          *yp++ = *fp2;
247          fp1 += 2;
248          fp2 -= 2;
249       }
250    }
251
252    /* Mirror on both sides for TDAC */
253    {
254       const kiss_fft_scalar * restrict xp1 = out+N2-1;
255       const kiss_fft_scalar * restrict xp2 = out+N2;
256       kiss_fft_scalar * restrict yp1 = out;
257       kiss_fft_scalar * restrict yp2 = out+N-1;
258       for(i = 0; i < N4; i++)
259       {
260          *yp1++ =-*xp1--;
261          *yp2-- = *xp2++;
262       }
263    }
264    RESTORE_STACK;
265 }
266
267