Fixed stuff that got broken during the forward-backward split of the FFT
[opus.git] / libcelt / _kiss_fft_guts.h
1 /*
2 Copyright (c) 2003-2004, Mark Borgerding
3
4 All rights reserved.
5
6 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
7
8     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
9     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
10     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
11
12 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
13 */
14
15 #define MIN(a,b) ((a)<(b) ? (a):(b))
16 #define MAX(a,b) ((a)>(b) ? (a):(b))
17
18 /* kiss_fft.h
19    defines kiss_fft_scalar as either short or a float type
20    and defines
21    typedef struct { kiss_fft_scalar r; kiss_fft_scalar i; }kiss_fft_cpx; */
22 #include "kiss_fft.h"
23
24 #define MAXFACTORS 32
25 /* e.g. an fft of length 128 has 4 factors 
26  as far as kissfft is concerned
27  4*4*4*2
28  */
29
30 struct kiss_fft_state{
31     int nfft;
32     int factors[2*MAXFACTORS];
33     int *bitrev;
34     kiss_fft_cpx twiddles[1];
35 };
36
37 /*
38   Explanation of macros dealing with complex math:
39
40    C_MUL(m,a,b)         : m = a*b
41    C_FIXDIV( c , div )  : if a fixed point impl., c /= div. noop otherwise
42    C_SUB( res, a,b)     : res = a - b
43    C_SUBFROM( res , a)  : res -= a
44    C_ADDTO( res , a)    : res += a
45  * */
46 #ifdef FIXED_POINT
47 #include "arch.h"
48 # define FRACBITS 15
49 # define SAMPPROD celt_int32_t 
50 #define SAMP_MAX 32767
51
52 #define SAMP_MIN -SAMP_MAX
53
54 #if defined(CHECK_OVERFLOW)
55 #  define CHECK_OVERFLOW_OP(a,op,b)  \
56         if ( (SAMPPROD)(a) op (SAMPPROD)(b) > SAMP_MAX || (SAMPPROD)(a) op (SAMPPROD)(b) < SAMP_MIN ) { \
57                 fprintf(stderr,"WARNING:overflow @ " __FILE__ "(%d): (%d " #op" %d) = %ld\n",__LINE__,(a),(b),(SAMPPROD)(a) op (SAMPPROD)(b) );  }
58 #endif
59
60
61 #   define smul(a,b) ( (SAMPPROD)(a)*(b) )
62 #   define sround( x )  (kiss_fft_scalar)( ( (x) + (1<<(FRACBITS-1)) ) >> FRACBITS )
63
64 #   define S_MUL(a,b) sround( smul(a,b) )
65
66 #   define C_MUL(m,a,b) \
67       do{ (m).r = sround( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
68           (m).i = sround( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
69 #   define C_MULC(m,a,b) \
70       do{ (m).r = sround( smul((a).r,(b).r) + smul((a).i,(b).i) ); \
71           (m).i = sround( smul((a).i,(b).r) - smul((a).r,(b).i) ); }while(0)
72
73 #   define C_MUL4(m,a,b) \
74                do{ (m).r = PSHR32( smul((a).r,(b).r) - smul((a).i,(b).i),17 ); \
75                (m).i = PSHR32( smul((a).r,(b).i) + smul((a).i,(b).r),17 ); }while(0)
76
77 #   define DIVSCALAR(x,k) \
78         (x) = sround( smul(  x, SAMP_MAX/k ) )
79
80 #   define C_FIXDIV(c,div) \
81         do {    DIVSCALAR( (c).r , div);  \
82                 DIVSCALAR( (c).i  , div); }while (0)
83
84 #   define C_MULBYSCALAR( c, s ) \
85     do{ (c).r =  sround( smul( (c).r , s ) ) ;\
86         (c).i =  sround( smul( (c).i , s ) ) ; }while(0)
87
88                
89 #define L1 32767
90 #define L2 -7651
91 #define L3 8277
92 #define L4 -626
93
94 static inline celt_word16_t _celt_cos_pi_2(celt_word16_t x)
95 {
96    celt_word16_t x2;
97    
98    x2 = MULT16_16_P15(x,x);
99    return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2
100                                                                                 ))))))));
101 }
102
103 static inline celt_word16_t celt_cos_norm(celt_word32_t x)
104 {
105    x = x&0x0001ffff;
106    if (x>SHL32(EXTEND32(1), 16))
107       x = SUB32(SHL32(EXTEND32(1), 17),x);
108    if (x&0x00007fff)
109    {
110       if (x<SHL32(EXTEND32(1), 15))
111       {
112          return _celt_cos_pi_2(EXTRACT16(x));
113       } else {
114          return NEG32(_celt_cos_pi_2(EXTRACT16(65536-x)));
115       }
116    } else {
117       if (x&0x0000ffff)
118          return 0;
119       else if (x&0x0001ffff)
120          return -32767;
121       else
122          return 32767;
123    }
124 }
125
126 #else  /* not FIXED_POINT*/
127
128 #   define S_MUL(a,b) ( (a)*(b) )
129 #define C_MUL(m,a,b) \
130     do{ (m).r = (a).r*(b).r - (a).i*(b).i;\
131         (m).i = (a).r*(b).i + (a).i*(b).r; }while(0)
132 #define C_MULC(m,a,b) \
133     do{ (m).r = (a).r*(b).r + (a).i*(b).i;\
134         (m).i = (a).i*(b).r - (a).r*(b).i; }while(0)
135
136 #define C_MUL4(m,a,b) C_MUL(m,a,b)
137
138 #   define C_FIXDIV(c,div) /* NOOP */
139 #   define C_MULBYSCALAR( c, s ) \
140     do{ (c).r *= (s);\
141         (c).i *= (s); }while(0)
142 #endif
143
144 #ifndef CHECK_OVERFLOW_OP
145 #  define CHECK_OVERFLOW_OP(a,op,b) /* noop */
146 #endif
147
148 #define  C_ADD( res, a,b)\
149     do { \
150             CHECK_OVERFLOW_OP((a).r,+,(b).r)\
151             CHECK_OVERFLOW_OP((a).i,+,(b).i)\
152             (res).r=(a).r+(b).r;  (res).i=(a).i+(b).i; \
153     }while(0)
154 #define  C_SUB( res, a,b)\
155     do { \
156             CHECK_OVERFLOW_OP((a).r,-,(b).r)\
157             CHECK_OVERFLOW_OP((a).i,-,(b).i)\
158             (res).r=(a).r-(b).r;  (res).i=(a).i-(b).i; \
159     }while(0)
160 #define C_ADDTO( res , a)\
161     do { \
162             CHECK_OVERFLOW_OP((res).r,+,(a).r)\
163             CHECK_OVERFLOW_OP((res).i,+,(a).i)\
164             (res).r += (a).r;  (res).i += (a).i;\
165     }while(0)
166
167 #define C_SUBFROM( res , a)\
168     do {\
169             CHECK_OVERFLOW_OP((res).r,-,(a).r)\
170             CHECK_OVERFLOW_OP((res).i,-,(a).i)\
171             (res).r -= (a).r;  (res).i -= (a).i; \
172     }while(0)
173
174
175 #ifdef FIXED_POINT
176 #  define KISS_FFT_COS(phase)  floor(MIN(32767,MAX(-32767,.5+32768 * cos (phase))))
177 #  define KISS_FFT_SIN(phase)  floor(MIN(32767,MAX(-32767,.5+32768 * sin (phase))))
178 #  define HALF_OF(x) ((x)>>1)
179 #elif defined(USE_SIMD)
180 #  define KISS_FFT_COS(phase) _mm_set1_ps( cos(phase) )
181 #  define KISS_FFT_SIN(phase) _mm_set1_ps( sin(phase) )
182 #  define HALF_OF(x) ((x)*_mm_set1_ps(.5))
183 #else
184 #  define KISS_FFT_COS(phase) (kiss_fft_scalar) cos(phase)
185 #  define KISS_FFT_SIN(phase) (kiss_fft_scalar) sin(phase)
186 #  define HALF_OF(x) ((x)*.5)
187 #endif
188
189 #define  kf_cexp(x,phase) \
190         do{ \
191                 (x)->r = KISS_FFT_COS(phase);\
192                 (x)->i = KISS_FFT_SIN(phase);\
193         }while(0)
194 #define  kf_cexp2(x,phase) \
195                do{ \
196                (x)->r = celt_cos_norm((phase));\
197                (x)->i = celt_cos_norm((phase)-32768);\
198 }while(0)
199
200
201 /* a debugging function */
202 #define pcpx(c)\
203     fprintf(stderr,"%g + %gi\n",(double)((c)->r),(double)((c)->i) )