Real FFT cleanup, plus some testcases
[opus.git] / libcelt / kiss_fftr.c
1 /*
2 Original version:
3 Copyright (c) 2003-2004, Mark Borgerding
4 Followed by heavy modifications:
5 Copyright (c) 2007-2008, Jean-Marc Valin
6
7
8 All rights reserved.
9
10 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
11
12     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
13     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
14     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
15
16 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
17 */
18
19 #ifdef HAVE_CONFIG_H
20 #include "config.h"
21 #endif
22
23 #include "os_support.h"
24 #include "kiss_fftr.h"
25 #include "_kiss_fft_guts.h"
26
27 struct kiss_fftr_state{
28     kiss_fft_cfg substate;
29     kiss_fft_cpx * tmpbuf;
30     kiss_fft_cpx * super_twiddles;
31 #ifdef USE_SIMD    
32     long pad;
33 #endif    
34 };
35
36 kiss_fftr_cfg kiss_fftr_alloc(int nfft,int inverse_fft,void * mem,size_t * lenmem)
37 {
38     int i;
39     kiss_fftr_cfg st = NULL;
40     size_t subsize, memneeded;
41
42     if (nfft & 1) {
43         celt_warning("Real FFT optimization must be even.\n");
44         return NULL;
45     }
46     nfft >>= 1;
47
48     kiss_fft_alloc (nfft, inverse_fft, NULL, &subsize);
49     memneeded = sizeof(struct kiss_fftr_state) + subsize + sizeof(kiss_fft_cpx) * ( nfft * 2);
50
51     if (lenmem == NULL) {
52         st = (kiss_fftr_cfg) KISS_FFT_MALLOC (memneeded);
53     } else {
54         if (*lenmem >= memneeded)
55             st = (kiss_fftr_cfg) mem;
56         *lenmem = memneeded;
57     }
58     if (!st)
59         return NULL;
60
61     st->substate = (kiss_fft_cfg) (st + 1); /*just beyond kiss_fftr_state struct */
62     st->tmpbuf = (kiss_fft_cpx *) (((char *) st->substate) + subsize);
63     st->super_twiddles = st->tmpbuf + nfft;
64     kiss_fft_alloc(nfft, inverse_fft, st->substate, &subsize);
65
66 #ifdef FIXED_POINT
67     for (i=0;i<nfft;++i) {
68        celt_word32_t phase = i+(nfft>>1);
69        kf_cexp2(st->super_twiddles+i, DIV32(SHL32(phase,16),nfft));
70     }
71 #else
72     for (i=0;i<nfft;++i) {
73        const double pi=3.14159265358979323846264338327;
74        double phase = pi*(((double)i) /nfft + .5);
75        kf_cexp(st->super_twiddles+i, phase );
76     }
77 #endif
78     return st;
79 }
80
81 void kiss_fftr(kiss_fftr_cfg st,const kiss_fft_scalar *timedata,kiss_fft_scalar *freqdata)
82 {
83    /* input buffer timedata is stored row-wise */
84    int k,ncfft;
85    kiss_fft_cpx f2k,tdc;
86    celt_word32_t f1kr, f1ki, twr, twi;
87
88    if ( st->substate->inverse) {
89       celt_fatal("kiss fft usage error: improper alloc\n");
90    }
91
92    ncfft = st->substate->nfft;
93
94    /*perform the parallel fft of two real signals packed in real,imag*/
95    kiss_fft( st->substate , (const kiss_fft_cpx*)timedata, st->tmpbuf );
96     /* The real part of the DC element of the frequency spectrum in st->tmpbuf
97    * contains the sum of the even-numbered elements of the input time sequence
98    * The imag part is the sum of the odd-numbered elements
99    *
100    * The sum of tdc.r and tdc.i is the sum of the input time sequence. 
101    *      yielding DC of input time sequence
102    * The difference of tdc.r - tdc.i is the sum of the input (dot product) [1,-1,1,-1... 
103    *      yielding Nyquist bin of input time sequence
104     */
105  
106    tdc.r = st->tmpbuf[0].r;
107    tdc.i = st->tmpbuf[0].i;
108    C_FIXDIV(tdc,2);
109    CHECK_OVERFLOW_OP(tdc.r ,+, tdc.i);
110    CHECK_OVERFLOW_OP(tdc.r ,-, tdc.i);
111    freqdata[0] = tdc.r + tdc.i;
112    freqdata[2*ncfft-1] = tdc.r - tdc.i;
113
114    for ( k=1;k <= ncfft/2 ; ++k )
115    {
116       f2k.r = SHR32(SUB32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),1);
117       f2k.i = PSHR32(ADD32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),1);
118       
119       f1kr = SHL32(ADD32(EXTEND32(st->tmpbuf[k].r), EXTEND32(st->tmpbuf[ncfft-k].r)),13);
120       f1ki = SHL32(SUB32(EXTEND32(st->tmpbuf[k].i), EXTEND32(st->tmpbuf[ncfft-k].i)),13);
121       
122       twr = SHR32(ADD32(MULT16_16(f2k.r,st->super_twiddles[k].r),MULT16_16(f2k.i,st->super_twiddles[k].i)), 1);
123       twi = SHR32(SUB32(MULT16_16(f2k.i,st->super_twiddles[k].r),MULT16_16(f2k.r,st->super_twiddles[k].i)), 1);
124       
125 #ifdef FIXED_POINT
126       freqdata[2*k-1] = PSHR32(f1kr + twr, 15);
127       freqdata[2*k] = PSHR32(f1ki + twi, 15);
128       freqdata[2*(ncfft-k)-1] = PSHR32(f1kr - twr, 15);
129       freqdata[2*(ncfft-k)] = PSHR32(twi - f1ki, 15);
130 #else
131       freqdata[2*k-1] = .5f*(f1kr + twr);
132       freqdata[2*k] = .5f*(f1ki + twi);
133       freqdata[2*(ncfft-k)-1] = .5f*(f1kr - twr);
134       freqdata[2*(ncfft-k)] = .5f*(twi - f1ki);
135       
136 #endif
137    }
138 }
139
140 void kiss_fftri(kiss_fftr_cfg st,const kiss_fft_scalar *freqdata,kiss_fft_scalar *timedata)
141 {
142    /* input buffer timedata is stored row-wise */
143    int k, ncfft;
144
145    if (st->substate->inverse == 0) {
146       celt_fatal ("kiss fft usage error: improper alloc\n");
147    }
148
149    ncfft = st->substate->nfft;
150
151    st->tmpbuf[0].r = freqdata[0] + freqdata[2*ncfft-1];
152    st->tmpbuf[0].i = freqdata[0] - freqdata[2*ncfft-1];
153
154    for (k = 1; k <= ncfft / 2; ++k) {
155       kiss_fft_cpx fk, fnkc, fek, fok, tmp;
156       fk.r = freqdata[2*k-1];
157       fk.i = freqdata[2*k];
158       fnkc.r = freqdata[2*(ncfft - k)-1];
159       fnkc.i = -freqdata[2*(ncfft - k)];
160
161       C_ADD (fek, fk, fnkc);
162       C_SUB (tmp, fk, fnkc);
163       C_MUL (fok, tmp, st->super_twiddles[k]);
164       C_ADD (st->tmpbuf[k],     fek, fok);
165       C_SUB (st->tmpbuf[ncfft - k], fek, fok);
166 #ifdef USE_SIMD        
167       st->tmpbuf[ncfft - k].i *= _mm_set1_ps(-1.0);
168 #else
169       st->tmpbuf[ncfft - k].i *= -1;
170 #endif
171    }
172    kiss_fft (st->substate, st->tmpbuf, (kiss_fft_cpx *) timedata);
173 }