Saved 4 kB of stack usage in find_spectral_pitch() by doing the FFT in-place
[opus.git] / libcelt / kiss_fftr.c
1 /*
2 Original version:
3 Copyright (c) 2003-2004, Mark Borgerding
4 Followed by heavy modifications:
5 Copyright (c) 2007-2008, Jean-Marc Valin
6
7
8 All rights reserved.
9
10 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
11
12     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
13     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
14     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
15
16 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
17 */
18
19 #ifdef HAVE_CONFIG_H
20 #include "config.h"
21 #endif
22
23 #include "os_support.h"
24 #include "kiss_fftr.h"
25 #include "_kiss_fft_guts.h"
26
27
28 kiss_fftr_cfg kiss_fftr_alloc(int nfft,void * mem,size_t * lenmem)
29 {
30     int i;
31     int twiddle_size;
32     kiss_fftr_cfg st = NULL;
33     size_t subsize, memneeded;
34
35     if (nfft & 1) {
36         celt_warning("Real FFT optimization must be even.\n");
37         return NULL;
38     }
39     nfft >>= 1;
40     twiddle_size = nfft/2+1;
41     kiss_fft_alloc (nfft, NULL, &subsize);
42     memneeded = sizeof(struct kiss_fftr_state) + subsize + sizeof(kiss_twiddle_cpx)*twiddle_size;
43
44     if (lenmem == NULL) {
45         st = (kiss_fftr_cfg) KISS_FFT_MALLOC (memneeded);
46     } else {
47         if (*lenmem >= memneeded)
48             st = (kiss_fftr_cfg) mem;
49         *lenmem = memneeded;
50     }
51     if (!st)
52         return NULL;
53
54     st->substate = (kiss_fft_cfg) (st + 1); /*just beyond kiss_fftr_state struct */
55     st->super_twiddles = (kiss_twiddle_cpx*) (((char *) st->substate) + subsize);
56     kiss_fft_alloc(nfft, st->substate, &subsize);
57 #ifndef FIXED_POINT
58     st->substate->scale *= .5;
59 #endif
60
61 #if defined (FIXED_POINT) && !defined(DOUBLE_PRECISION)
62     for (i=0;i<twiddle_size;++i) {
63        celt_word32_t phase = i+(nfft>>1);
64        kf_cexp2(st->super_twiddles+i, DIV32(SHL32(phase,16),nfft));
65     }
66 #else
67     for (i=0;i<twiddle_size;++i) {
68        const double pi=3.14159265358979323846264338327;
69        double phase = pi*(((double)i) /nfft + .5);
70        kf_cexp(st->super_twiddles+i, phase );
71     }
72 #endif
73     return st;
74 }
75
76 void kiss_fftr_twiddles(kiss_fftr_cfg st,kiss_fft_scalar *freqdata)
77 {
78    /* input buffer timedata is stored row-wise */
79    int k,ncfft;
80    kiss_fft_cpx f2k,f1k,tdc,tw;
81
82    ncfft = st->substate->nfft;
83
84     /* The real part of the DC element of the frequency spectrum in st->tmpbuf
85    * contains the sum of the even-numbered elements of the input time sequence
86    * The imag part is the sum of the odd-numbered elements
87    *
88    * The sum of tdc.r and tdc.i is the sum of the input time sequence. 
89    *      yielding DC of input time sequence
90    * The difference of tdc.r - tdc.i is the sum of the input (dot product) [1,-1,1,-1... 
91    *      yielding Nyquist bin of input time sequence
92     */
93  
94    tdc.r = freqdata[0];
95    tdc.i = freqdata[1];
96    C_FIXDIV(tdc,2);
97    CHECK_OVERFLOW_OP(tdc.r ,+, tdc.i);
98    CHECK_OVERFLOW_OP(tdc.r ,-, tdc.i);
99    freqdata[0] = tdc.r + tdc.i;
100    freqdata[1] = tdc.r - tdc.i;
101
102    for ( k=1;k <= ncfft/2 ; ++k )
103    {
104       f2k.r = SHR32(SUB32(EXT32(freqdata[2*k]), EXT32(freqdata[2*(ncfft-k)])),1);
105       f2k.i = PSHR32(ADD32(EXT32(freqdata[2*k+1]), EXT32(freqdata[2*(ncfft-k)+1])),1);
106       
107       f1k.r = SHR32(ADD32(EXT32(freqdata[2*k]), EXT32(freqdata[2*(ncfft-k)])),1);
108       f1k.i = SHR32(SUB32(EXT32(freqdata[2*k+1]), EXT32(freqdata[2*(ncfft-k)+1])),1);
109       
110       C_MULC( tw , f2k , st->super_twiddles[k]);
111       
112       freqdata[2*k] = HALF_OF(f1k.r + tw.r);
113       freqdata[2*k+1] = HALF_OF(f1k.i + tw.i);
114       freqdata[2*(ncfft-k)] = HALF_OF(f1k.r - tw.r);
115       freqdata[2*(ncfft-k)+1] = HALF_OF(tw.i - f1k.i);
116
117    }
118 }
119
120 void kiss_fftr(kiss_fftr_cfg st,const kiss_fft_scalar *timedata,kiss_fft_scalar *freqdata)
121 {
122    /*perform the parallel fft of two real signals packed in real,imag*/
123    kiss_fft( st->substate , (const kiss_fft_cpx*)timedata, (kiss_fft_cpx *)freqdata );
124
125    kiss_fftr_twiddles(st,freqdata);
126 }
127
128 void kiss_fftri(kiss_fftr_cfg st,const kiss_fft_scalar *freqdata,kiss_fft_scalar *timedata)
129 {
130    /* input buffer timedata is stored row-wise */
131    int k, ncfft;
132
133    ncfft = st->substate->nfft;
134
135    timedata[2*st->substate->bitrev[0]] = freqdata[0] + freqdata[1];
136    timedata[2*st->substate->bitrev[0]+1] = freqdata[0] - freqdata[1];
137    for (k = 1; k <= ncfft / 2; ++k) {
138       kiss_fft_cpx fk, fnkc, fek, fok, tmp;
139       int k1, k2;
140       k1 = st->substate->bitrev[k];
141       k2 = st->substate->bitrev[ncfft-k];
142       fk.r = freqdata[2*k];
143       fk.i = freqdata[2*k+1];
144       fnkc.r = freqdata[2*(ncfft-k)];
145       fnkc.i = -freqdata[2*(ncfft-k)+1];
146
147       C_ADD (fek, fk, fnkc);
148       C_SUB (tmp, fk, fnkc);
149       C_MUL (fok, tmp, st->super_twiddles[k]);
150       timedata[2*k1] = fek.r + fok.r;
151       timedata[2*k1+1] = fek.i + fok.i;
152       timedata[2*k2] = fek.r - fok.r;
153       timedata[2*k2+1] = fok.i - fek.i;
154    }
155    ki_work((kiss_fft_cpx*)timedata, NULL, 1,1, st->substate->factors,st->substate, 1, 1, 1);
156 }