minor tweak to FFT
[opus.git] / libcelt / _kiss_fft_guts.h
1 /*
2 Copyright (c) 2003-2004, Mark Borgerding
3
4 All rights reserved.
5
6 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
7
8     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
9     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
10     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
11
12 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
13 */
14
15 #define MIN(a,b) ((a)<(b) ? (a):(b))
16 #define MAX(a,b) ((a)>(b) ? (a):(b))
17
18 /* kiss_fft.h
19    defines kiss_fft_scalar as either short or a float type
20    and defines
21    typedef struct { kiss_fft_scalar r; kiss_fft_scalar i; }kiss_fft_cpx; */
22 #include "kiss_fft.h"
23
24 #define MAXFACTORS 32
25 /* e.g. an fft of length 128 has 4 factors 
26  as far as kissfft is concerned
27  4*4*4*2
28  */
29
30 struct kiss_fft_state{
31     int nfft;
32     int factors[2*MAXFACTORS];
33     int *bitrev;
34     kiss_twiddle_cpx twiddles[1];
35 };
36
37 /*
38   Explanation of macros dealing with complex math:
39
40    C_MUL(m,a,b)         : m = a*b
41    C_FIXDIV( c , div )  : if a fixed point impl., c /= div. noop otherwise
42    C_SUB( res, a,b)     : res = a - b
43    C_SUBFROM( res , a)  : res -= a
44    C_ADDTO( res , a)    : res += a
45  * */
46 #ifdef FIXED_POINT
47 #include "arch.h"
48
49 #ifdef DOUBLE_PRECISION
50
51 # define FRACBITS 31
52 # define SAMPPROD celt_int64_t 
53 #define SAMP_MAX 2147483647
54 #ifdef MIXED_PRECISION
55 #define TWID_MAX 32767
56 #define TRIG_UPSCALE 1
57 #else
58 #define TRIG_UPSCALE 65536
59 #define TWID_MAX 2147483647
60 #endif
61 #else /* DOUBLE_PRECISION */
62
63 # define FRACBITS 15
64 # define SAMPPROD celt_int32_t 
65 #define SAMP_MAX 32767
66 #define TRIG_UPSCALE 1
67
68 #endif /* !DOUBLE_PRECISION */
69
70 #define SAMP_MIN -SAMP_MAX
71
72 #if defined(CHECK_OVERFLOW)
73 #  define CHECK_OVERFLOW_OP(a,op,b)  \
74         if ( (SAMPPROD)(a) op (SAMPPROD)(b) > SAMP_MAX || (SAMPPROD)(a) op (SAMPPROD)(b) < SAMP_MIN ) { \
75                 fprintf(stderr,"WARNING:overflow @ " __FILE__ "(%d): (%d " #op" %d) = %ld\n",__LINE__,(a),(b),(SAMPPROD)(a) op (SAMPPROD)(b) );  }
76 #endif
77
78 #   define smul(a,b) ( (SAMPPROD)(a)*(b) )
79 #   define sround( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> FRACBITS )
80
81 #if MIXED_PRECISION
82
83 #undef MULT16_32_Q15
84 #define MULT16_16SU(a,b) ((celt_word32_t)(celt_word16_t)(a)*(celt_word32_t)(celt_uint16_t)(b))
85 //#define MULT16_32_Q15(a,b) ADD32(MULT16_16((a),SHR((b),15)), SHR(MULT16_16((a),((b)&0x00007fff)),15))
86 #define MULT16_32_Q15(a,b) ADD32(SHL(MULT16_16((a),SHR((b),16)),1), SHR(MULT16_16SU((a),((b)&0x0000ffff)),15))
87
88 #   define S_MUL(a,b) MULT16_32_Q15(b, a)
89
90 #   define C_MUL(m,a,b) \
91       do{ (m).r = S_MUL((a).r,(b).r) - S_MUL((a).i,(b).i); \
92           (m).i = S_MUL((a).r,(b).i) + S_MUL((a).i,(b).r); }while(0)
93
94 #   define C_MULC(m,a,b) \
95       do{ (m).r = S_MUL((a).r,(b).r) + S_MUL((a).i,(b).i); \
96           (m).i = S_MUL((a).i,(b).r) - S_MUL((a).r,(b).i); }while(0)
97
98 #   define C_MUL4(m,a,b) \
99       do{ (m).r = SHR(S_MUL((a).r,(b).r) - S_MUL((a).i,(b).i),2); \
100           (m).i = SHR(S_MUL((a).r,(b).i) + S_MUL((a).i,(b).r),2); }while(0)
101
102 #   define C_MULBYSCALAR( c, s ) \
103       do{ (c).r =  S_MUL( (c).r , s ) ;\
104           (c).i =  S_MUL( (c).i , s ) ; }while(0)
105
106 #   define DIVSCALAR(x,k) \
107         (x) = S_MUL(  x, (TWID_MAX-((k)>>1))/(k)+1 )
108
109 #   define C_FIXDIV(c,div) \
110         do {    DIVSCALAR( (c).r , div);  \
111                 DIVSCALAR( (c).i  , div); }while (0)
112
113 #else /* MIXED_PRECISION */
114 #   define sround4( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> (FRACBITS+2) )
115
116 #   define S_MUL(a,b) sround( smul(a,b) )
117
118 #   define C_MUL(m,a,b) \
119       do{ (m).r = sround( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
120           (m).i = sround( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
121 #   define C_MULC(m,a,b) \
122       do{ (m).r = sround( smul((a).r,(b).r) + smul((a).i,(b).i) ); \
123           (m).i = sround( smul((a).i,(b).r) - smul((a).r,(b).i) ); }while(0)
124
125 #   define C_MUL4(m,a,b) \
126                do{ (m).r = sround4( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
127                (m).i = sround4( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
128
129 #   define C_MULBYSCALAR( c, s ) \
130                do{ (c).r =  sround( smul( (c).r , s ) ) ;\
131                (c).i =  sround( smul( (c).i , s ) ) ; }while(0)
132
133 #   define DIVSCALAR(x,k) \
134         (x) = sround( smul(  x, SAMP_MAX/k ) )
135
136 #   define C_FIXDIV(c,div) \
137         do {    DIVSCALAR( (c).r , div);  \
138                 DIVSCALAR( (c).i  , div); }while (0)
139
140 #endif /* !MIXED_PRECISION */
141
142
143                
144 #define L1 32767
145 #define L2 -7651
146 #define L3 8277
147 #define L4 -626
148
149 static inline celt_word16_t _celt_cos_pi_2(celt_word16_t x)
150 {
151    celt_word16_t x2;
152    
153    x2 = MULT16_16_P15(x,x);
154    return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2
155                                                                                 ))))))));
156 }
157
158 static inline celt_word16_t celt_cos_norm(celt_word32_t x)
159 {
160    x = x&0x0001ffff;
161    if (x>SHL32(EXTEND32(1), 16))
162       x = SUB32(SHL32(EXTEND32(1), 17),x);
163    if (x&0x00007fff)
164    {
165       if (x<SHL32(EXTEND32(1), 15))
166       {
167          return _celt_cos_pi_2(EXTRACT16(x));
168       } else {
169          return NEG32(_celt_cos_pi_2(EXTRACT16(65536-x)));
170       }
171    } else {
172       if (x&0x0000ffff)
173          return 0;
174       else if (x&0x0001ffff)
175          return -32767;
176       else
177          return 32767;
178    }
179 }
180
181 #else  /* not FIXED_POINT*/
182
183 #   define S_MUL(a,b) ( (a)*(b) )
184 #define C_MUL(m,a,b) \
185     do{ (m).r = (a).r*(b).r - (a).i*(b).i;\
186         (m).i = (a).r*(b).i + (a).i*(b).r; }while(0)
187 #define C_MULC(m,a,b) \
188     do{ (m).r = (a).r*(b).r + (a).i*(b).i;\
189         (m).i = (a).i*(b).r - (a).r*(b).i; }while(0)
190
191 #define C_MUL4(m,a,b) C_MUL(m,a,b)
192
193 #   define C_FIXDIV(c,div) /* NOOP */
194 #   define C_MULBYSCALAR( c, s ) \
195     do{ (c).r *= (s);\
196         (c).i *= (s); }while(0)
197 #endif
198
199 #ifndef CHECK_OVERFLOW_OP
200 #  define CHECK_OVERFLOW_OP(a,op,b) /* noop */
201 #endif
202
203 #define  C_ADD( res, a,b)\
204     do { \
205             CHECK_OVERFLOW_OP((a).r,+,(b).r)\
206             CHECK_OVERFLOW_OP((a).i,+,(b).i)\
207             (res).r=(a).r+(b).r;  (res).i=(a).i+(b).i; \
208     }while(0)
209 #define  C_SUB( res, a,b)\
210     do { \
211             CHECK_OVERFLOW_OP((a).r,-,(b).r)\
212             CHECK_OVERFLOW_OP((a).i,-,(b).i)\
213             (res).r=(a).r-(b).r;  (res).i=(a).i-(b).i; \
214     }while(0)
215 #define C_ADDTO( res , a)\
216     do { \
217             CHECK_OVERFLOW_OP((res).r,+,(a).r)\
218             CHECK_OVERFLOW_OP((res).i,+,(a).i)\
219             (res).r += (a).r;  (res).i += (a).i;\
220     }while(0)
221
222 #define C_SUBFROM( res , a)\
223     do {\
224             CHECK_OVERFLOW_OP((res).r,-,(a).r)\
225             CHECK_OVERFLOW_OP((res).i,-,(a).i)\
226             (res).r -= (a).r;  (res).i -= (a).i; \
227     }while(0)
228
229
230 #ifdef FIXED_POINT
231 /*#  define KISS_FFT_COS(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * cos (phase))))
232 #  define KISS_FFT_SIN(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * sin (phase))))*/
233 #  define KISS_FFT_COS(phase)  floor(.5+TWID_MAX*cos (phase))
234 #  define KISS_FFT_SIN(phase)  floor(.5+TWID_MAX*sin (phase))
235 #  define HALF_OF(x) ((x)>>1)
236 #elif defined(USE_SIMD)
237 #  define KISS_FFT_COS(phase) _mm_set1_ps( cos(phase) )
238 #  define KISS_FFT_SIN(phase) _mm_set1_ps( sin(phase) )
239 #  define HALF_OF(x) ((x)*_mm_set1_ps(.5))
240 #else
241 #  define KISS_FFT_COS(phase) (kiss_fft_scalar) cos(phase)
242 #  define KISS_FFT_SIN(phase) (kiss_fft_scalar) sin(phase)
243 #  define HALF_OF(x) ((x)*.5)
244 #endif
245
246 #define  kf_cexp(x,phase) \
247         do{ \
248                 (x)->r = KISS_FFT_COS(phase);\
249                 (x)->i = KISS_FFT_SIN(phase);\
250         }while(0)
251    
252 #define  kf_cexp2(x,phase) \
253    do{ \
254       (x)->r = TRIG_UPSCALE*celt_cos_norm((phase));\
255       (x)->i = TRIG_UPSCALE*celt_cos_norm((phase)-32768);\
256 }while(0)
257
258 /* a debugging function */
259 #define pcpx(c)\
260     fprintf(stderr,"%g + %gi\n",(double)((c)->r),(double)((c)->i) )