Fixed the FFT for higher precision
[opus.git] / libcelt / _kiss_fft_guts.h
1 /*
2 Copyright (c) 2003-2004, Mark Borgerding
3
4 All rights reserved.
5
6 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
7
8     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
9     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
10     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
11
12 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
13 */
14
15 #define MIN(a,b) ((a)<(b) ? (a):(b))
16 #define MAX(a,b) ((a)>(b) ? (a):(b))
17
18 /* kiss_fft.h
19    defines kiss_fft_scalar as either short or a float type
20    and defines
21    typedef struct { kiss_fft_scalar r; kiss_fft_scalar i; }kiss_fft_cpx; */
22 #include "kiss_fft.h"
23
24 #define MAXFACTORS 32
25 /* e.g. an fft of length 128 has 4 factors 
26  as far as kissfft is concerned
27  4*4*4*2
28  */
29
30 struct kiss_fft_state{
31     int nfft;
32     int factors[2*MAXFACTORS];
33     int *bitrev;
34     kiss_fft_cpx twiddles[1];
35 };
36
37 /*
38   Explanation of macros dealing with complex math:
39
40    C_MUL(m,a,b)         : m = a*b
41    C_FIXDIV( c , div )  : if a fixed point impl., c /= div. noop otherwise
42    C_SUB( res, a,b)     : res = a - b
43    C_SUBFROM( res , a)  : res -= a
44    C_ADDTO( res , a)    : res += a
45  * */
46 #ifdef FIXED_POINT
47 #include "arch.h"
48
49 #ifdef DOUBLE_PRECISION
50
51 # define FRACBITS 31
52 # define SAMPPROD celt_int64_t 
53 #define SAMP_MAX 2147483647
54 #define TRIG_UPSCALE 65536
55
56 #else /* DOUBLE_PRECISION */
57
58 # define FRACBITS 15
59 # define SAMPPROD celt_int32_t 
60 #define SAMP_MAX 32767
61 #define TRIG_UPSCALE 1
62
63 #endif /* !DOUBLE_PRECISION */
64
65 #define SAMP_MIN -SAMP_MAX
66
67 #if defined(CHECK_OVERFLOW)
68 #  define CHECK_OVERFLOW_OP(a,op,b)  \
69         if ( (SAMPPROD)(a) op (SAMPPROD)(b) > SAMP_MAX || (SAMPPROD)(a) op (SAMPPROD)(b) < SAMP_MIN ) { \
70                 fprintf(stderr,"WARNING:overflow @ " __FILE__ "(%d): (%d " #op" %d) = %ld\n",__LINE__,(a),(b),(SAMPPROD)(a) op (SAMPPROD)(b) );  }
71 #endif
72
73
74 #   define smul(a,b) ( (SAMPPROD)(a)*(b) )
75 #   define sround( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> FRACBITS )
76 #   define sround4( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> (FRACBITS+2) )
77
78 #   define S_MUL(a,b) sround( smul(a,b) )
79
80 #   define C_MUL(m,a,b) \
81       do{ (m).r = sround( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
82           (m).i = sround( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
83 #   define C_MULC(m,a,b) \
84       do{ (m).r = sround( smul((a).r,(b).r) + smul((a).i,(b).i) ); \
85           (m).i = sround( smul((a).i,(b).r) - smul((a).r,(b).i) ); }while(0)
86
87 #   define C_MUL4(m,a,b) \
88                do{ (m).r = sround4( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
89                (m).i = sround4( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
90
91 #   define DIVSCALAR(x,k) \
92         (x) = sround( smul(  x, SAMP_MAX/k ) )
93
94 #   define C_FIXDIV(c,div) \
95         do {    DIVSCALAR( (c).r , div);  \
96                 DIVSCALAR( (c).i  , div); }while (0)
97
98 #   define C_MULBYSCALAR( c, s ) \
99     do{ (c).r =  sround( smul( (c).r , s ) ) ;\
100         (c).i =  sround( smul( (c).i , s ) ) ; }while(0)
101
102                
103 #define L1 32767
104 #define L2 -7651
105 #define L3 8277
106 #define L4 -626
107
108 static inline celt_word16_t _celt_cos_pi_2(celt_word16_t x)
109 {
110    celt_word16_t x2;
111    
112    x2 = MULT16_16_P15(x,x);
113    return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2
114                                                                                 ))))))));
115 }
116
117 static inline celt_word16_t celt_cos_norm(celt_word32_t x)
118 {
119    x = x&0x0001ffff;
120    if (x>SHL32(EXTEND32(1), 16))
121       x = SUB32(SHL32(EXTEND32(1), 17),x);
122    if (x&0x00007fff)
123    {
124       if (x<SHL32(EXTEND32(1), 15))
125       {
126          return _celt_cos_pi_2(EXTRACT16(x));
127       } else {
128          return NEG32(_celt_cos_pi_2(EXTRACT16(65536-x)));
129       }
130    } else {
131       if (x&0x0000ffff)
132          return 0;
133       else if (x&0x0001ffff)
134          return -32767;
135       else
136          return 32767;
137    }
138 }
139
140 #else  /* not FIXED_POINT*/
141
142 #   define S_MUL(a,b) ( (a)*(b) )
143 #define C_MUL(m,a,b) \
144     do{ (m).r = (a).r*(b).r - (a).i*(b).i;\
145         (m).i = (a).r*(b).i + (a).i*(b).r; }while(0)
146 #define C_MULC(m,a,b) \
147     do{ (m).r = (a).r*(b).r + (a).i*(b).i;\
148         (m).i = (a).i*(b).r - (a).r*(b).i; }while(0)
149
150 #define C_MUL4(m,a,b) C_MUL(m,a,b)
151
152 #   define C_FIXDIV(c,div) /* NOOP */
153 #   define C_MULBYSCALAR( c, s ) \
154     do{ (c).r *= (s);\
155         (c).i *= (s); }while(0)
156 #endif
157
158 #ifndef CHECK_OVERFLOW_OP
159 #  define CHECK_OVERFLOW_OP(a,op,b) /* noop */
160 #endif
161
162 #define  C_ADD( res, a,b)\
163     do { \
164             CHECK_OVERFLOW_OP((a).r,+,(b).r)\
165             CHECK_OVERFLOW_OP((a).i,+,(b).i)\
166             (res).r=(a).r+(b).r;  (res).i=(a).i+(b).i; \
167     }while(0)
168 #define  C_SUB( res, a,b)\
169     do { \
170             CHECK_OVERFLOW_OP((a).r,-,(b).r)\
171             CHECK_OVERFLOW_OP((a).i,-,(b).i)\
172             (res).r=(a).r-(b).r;  (res).i=(a).i-(b).i; \
173     }while(0)
174 #define C_ADDTO( res , a)\
175     do { \
176             CHECK_OVERFLOW_OP((res).r,+,(a).r)\
177             CHECK_OVERFLOW_OP((res).i,+,(a).i)\
178             (res).r += (a).r;  (res).i += (a).i;\
179     }while(0)
180
181 #define C_SUBFROM( res , a)\
182     do {\
183             CHECK_OVERFLOW_OP((res).r,-,(a).r)\
184             CHECK_OVERFLOW_OP((res).i,-,(a).i)\
185             (res).r -= (a).r;  (res).i -= (a).i; \
186     }while(0)
187
188
189 #ifdef FIXED_POINT
190 /*#  define KISS_FFT_COS(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * cos (phase))))
191 #  define KISS_FFT_SIN(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * sin (phase))))*/
192 #  define KISS_FFT_COS(phase)  SAMP_MAX*cos (phase)
193 #  define KISS_FFT_SIN(phase)  SAMP_MAX*sin (phase)
194 #  define HALF_OF(x) ((x)>>1)
195 #elif defined(USE_SIMD)
196 #  define KISS_FFT_COS(phase) _mm_set1_ps( cos(phase) )
197 #  define KISS_FFT_SIN(phase) _mm_set1_ps( sin(phase) )
198 #  define HALF_OF(x) ((x)*_mm_set1_ps(.5))
199 #else
200 #  define KISS_FFT_COS(phase) (kiss_fft_scalar) cos(phase)
201 #  define KISS_FFT_SIN(phase) (kiss_fft_scalar) sin(phase)
202 #  define HALF_OF(x) ((x)*.5)
203 #endif
204
205 #define  kf_cexp(x,phase) \
206         do{ \
207                 (x)->r = KISS_FFT_COS(phase);\
208                 (x)->i = KISS_FFT_SIN(phase);\
209         }while(0)
210    
211 #define  kf_cexp2(x,phase) \
212    do{ \
213       (x)->r = TRIG_UPSCALE*celt_cos_norm((phase));\
214       (x)->i = TRIG_UPSCALE*celt_cos_norm((phase)-32768);\
215 }while(0)
216
217 /* a debugging function */
218 #define pcpx(c)\
219     fprintf(stderr,"%g + %gi\n",(double)((c)->r),(double)((c)->i) )