Added a mixed-precision version of the FFT with 32-bit data and 16-bit twiddles.
[opus.git] / libcelt / _kiss_fft_guts.h
1 /*
2 Copyright (c) 2003-2004, Mark Borgerding
3
4 All rights reserved.
5
6 Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met:
7
8     * Redistributions of source code must retain the above copyright notice, this list of conditions and the following disclaimer.
9     * Redistributions in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution.
10     * Neither the author nor the names of any contributors may be used to endorse or promote products derived from this software without specific prior written permission.
11
12 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
13 */
14
15 #define MIN(a,b) ((a)<(b) ? (a):(b))
16 #define MAX(a,b) ((a)>(b) ? (a):(b))
17
18 /* kiss_fft.h
19    defines kiss_fft_scalar as either short or a float type
20    and defines
21    typedef struct { kiss_fft_scalar r; kiss_fft_scalar i; }kiss_fft_cpx; */
22 #include "kiss_fft.h"
23
24 #define MAXFACTORS 32
25 /* e.g. an fft of length 128 has 4 factors 
26  as far as kissfft is concerned
27  4*4*4*2
28  */
29
30 struct kiss_fft_state{
31     int nfft;
32     int factors[2*MAXFACTORS];
33     int *bitrev;
34     kiss_twiddle_cpx twiddles[1];
35 };
36
37 /*
38   Explanation of macros dealing with complex math:
39
40    C_MUL(m,a,b)         : m = a*b
41    C_FIXDIV( c , div )  : if a fixed point impl., c /= div. noop otherwise
42    C_SUB( res, a,b)     : res = a - b
43    C_SUBFROM( res , a)  : res -= a
44    C_ADDTO( res , a)    : res += a
45  * */
46 #ifdef FIXED_POINT
47 #include "arch.h"
48
49 #ifdef DOUBLE_PRECISION
50
51 # define FRACBITS 31
52 # define SAMPPROD celt_int64_t 
53 #define SAMP_MAX 2147483647
54 #ifdef MIXED_PRECISION
55 #define TWID_MAX 32767
56 #define TRIG_UPSCALE 1
57 #else
58 #define TRIG_UPSCALE 65536
59 #define TWID_MAX 2147483647
60 #endif
61 #else /* DOUBLE_PRECISION */
62
63 # define FRACBITS 15
64 # define SAMPPROD celt_int32_t 
65 #define SAMP_MAX 32767
66 #define TRIG_UPSCALE 1
67
68 #endif /* !DOUBLE_PRECISION */
69
70 #define SAMP_MIN -SAMP_MAX
71
72 #if defined(CHECK_OVERFLOW)
73 #  define CHECK_OVERFLOW_OP(a,op,b)  \
74         if ( (SAMPPROD)(a) op (SAMPPROD)(b) > SAMP_MAX || (SAMPPROD)(a) op (SAMPPROD)(b) < SAMP_MIN ) { \
75                 fprintf(stderr,"WARNING:overflow @ " __FILE__ "(%d): (%d " #op" %d) = %ld\n",__LINE__,(a),(b),(SAMPPROD)(a) op (SAMPPROD)(b) );  }
76 #endif
77
78 #   define smul(a,b) ( (SAMPPROD)(a)*(b) )
79 #   define sround( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> FRACBITS )
80
81 #if MIXED_PRECISION
82
83 #undef MULT16_32_Q15
84 #define MULT16_16SU(a,b) ((celt_word32_t)(celt_word16_t)(a)*(celt_word32_t)(celt_uint16_t)(b))
85 //#define MULT16_32_Q15(a,b) ADD32(MULT16_16((a),SHR((b),15)), SHR(MULT16_16((a),((b)&0x00007fff)),15))
86 #define MULT16_32_Q15(a,b) ADD32(SHL(MULT16_16((a),SHR((b),16)),1), SHR(MULT16_16SU((a),((b)&0x0000ffff)),15))
87
88 #   define S_MUL(a,b) MULT16_32_Q15(b, a)
89
90 #   define C_MUL(m,a,b) \
91       do{ (m).r = S_MUL((a).r,(b).r) - S_MUL((a).i,(b).i); \
92           (m).i = S_MUL((a).r,(b).i) + S_MUL((a).i,(b).r); }while(0)
93
94 #   define C_MULC(m,a,b) \
95       do{ (m).r = S_MUL((a).r,(b).r) + S_MUL((a).i,(b).i); \
96           (m).i = S_MUL((a).i,(b).r) - S_MUL((a).r,(b).i); }while(0)
97
98 #   define C_MUL4(m,a,b) \
99       do{ (m).r = SHR(S_MUL((a).r,(b).r) - S_MUL((a).i,(b).i),2); \
100           (m).i = SHR(S_MUL((a).r,(b).i) + S_MUL((a).i,(b).r),2); }while(0)
101
102 #   define C_MULBYSCALAR( c, s ) \
103       do{ (c).r =  S_MUL( (c).r , s ) ;\
104           (c).i =  S_MUL( (c).i , s ) ; }while(0)
105
106 #else /* MIXED_PRECISION */
107 #   define sround4( x )  (kiss_fft_scalar)( ( (x) + ((SAMPPROD)1<<(FRACBITS-1)) ) >> (FRACBITS+2) )
108
109 #   define S_MUL(a,b) sround( smul(a,b) )
110
111 #   define C_MUL(m,a,b) \
112       do{ (m).r = sround( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
113           (m).i = sround( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
114 #   define C_MULC(m,a,b) \
115       do{ (m).r = sround( smul((a).r,(b).r) + smul((a).i,(b).i) ); \
116           (m).i = sround( smul((a).i,(b).r) - smul((a).r,(b).i) ); }while(0)
117
118 #   define C_MUL4(m,a,b) \
119                do{ (m).r = sround4( smul((a).r,(b).r) - smul((a).i,(b).i) ); \
120                (m).i = sround4( smul((a).r,(b).i) + smul((a).i,(b).r) ); }while(0)
121
122 #   define C_MULBYSCALAR( c, s ) \
123                do{ (c).r =  sround( smul( (c).r , s ) ) ;\
124                (c).i =  sround( smul( (c).i , s ) ) ; }while(0)
125
126 #endif /* !MIXED_PRECISION */
127
128 #   define DIVSCALAR(x,k) \
129         (x) = sround( smul(  x, SAMP_MAX/k ) )
130
131 #   define C_FIXDIV(c,div) \
132         do {    DIVSCALAR( (c).r , div);  \
133                 DIVSCALAR( (c).i  , div); }while (0)
134
135
136                
137 #define L1 32767
138 #define L2 -7651
139 #define L3 8277
140 #define L4 -626
141
142 static inline celt_word16_t _celt_cos_pi_2(celt_word16_t x)
143 {
144    celt_word16_t x2;
145    
146    x2 = MULT16_16_P15(x,x);
147    return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2
148                                                                                 ))))))));
149 }
150
151 static inline celt_word16_t celt_cos_norm(celt_word32_t x)
152 {
153    x = x&0x0001ffff;
154    if (x>SHL32(EXTEND32(1), 16))
155       x = SUB32(SHL32(EXTEND32(1), 17),x);
156    if (x&0x00007fff)
157    {
158       if (x<SHL32(EXTEND32(1), 15))
159       {
160          return _celt_cos_pi_2(EXTRACT16(x));
161       } else {
162          return NEG32(_celt_cos_pi_2(EXTRACT16(65536-x)));
163       }
164    } else {
165       if (x&0x0000ffff)
166          return 0;
167       else if (x&0x0001ffff)
168          return -32767;
169       else
170          return 32767;
171    }
172 }
173
174 #else  /* not FIXED_POINT*/
175
176 #   define S_MUL(a,b) ( (a)*(b) )
177 #define C_MUL(m,a,b) \
178     do{ (m).r = (a).r*(b).r - (a).i*(b).i;\
179         (m).i = (a).r*(b).i + (a).i*(b).r; }while(0)
180 #define C_MULC(m,a,b) \
181     do{ (m).r = (a).r*(b).r + (a).i*(b).i;\
182         (m).i = (a).i*(b).r - (a).r*(b).i; }while(0)
183
184 #define C_MUL4(m,a,b) C_MUL(m,a,b)
185
186 #   define C_FIXDIV(c,div) /* NOOP */
187 #   define C_MULBYSCALAR( c, s ) \
188     do{ (c).r *= (s);\
189         (c).i *= (s); }while(0)
190 #endif
191
192 #ifndef CHECK_OVERFLOW_OP
193 #  define CHECK_OVERFLOW_OP(a,op,b) /* noop */
194 #endif
195
196 #define  C_ADD( res, a,b)\
197     do { \
198             CHECK_OVERFLOW_OP((a).r,+,(b).r)\
199             CHECK_OVERFLOW_OP((a).i,+,(b).i)\
200             (res).r=(a).r+(b).r;  (res).i=(a).i+(b).i; \
201     }while(0)
202 #define  C_SUB( res, a,b)\
203     do { \
204             CHECK_OVERFLOW_OP((a).r,-,(b).r)\
205             CHECK_OVERFLOW_OP((a).i,-,(b).i)\
206             (res).r=(a).r-(b).r;  (res).i=(a).i-(b).i; \
207     }while(0)
208 #define C_ADDTO( res , a)\
209     do { \
210             CHECK_OVERFLOW_OP((res).r,+,(a).r)\
211             CHECK_OVERFLOW_OP((res).i,+,(a).i)\
212             (res).r += (a).r;  (res).i += (a).i;\
213     }while(0)
214
215 #define C_SUBFROM( res , a)\
216     do {\
217             CHECK_OVERFLOW_OP((res).r,-,(a).r)\
218             CHECK_OVERFLOW_OP((res).i,-,(a).i)\
219             (res).r -= (a).r;  (res).i -= (a).i; \
220     }while(0)
221
222
223 #ifdef FIXED_POINT
224 /*#  define KISS_FFT_COS(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * cos (phase))))
225 #  define KISS_FFT_SIN(phase)  TRIG_UPSCALE*floor(MIN(32767,MAX(-32767,.5+32768 * sin (phase))))*/
226 #  define KISS_FFT_COS(phase)  floor(.5+TWID_MAX*cos (phase))
227 #  define KISS_FFT_SIN(phase)  floor(.5+TWID_MAX*sin (phase))
228 #  define HALF_OF(x) ((x)>>1)
229 #elif defined(USE_SIMD)
230 #  define KISS_FFT_COS(phase) _mm_set1_ps( cos(phase) )
231 #  define KISS_FFT_SIN(phase) _mm_set1_ps( sin(phase) )
232 #  define HALF_OF(x) ((x)*_mm_set1_ps(.5))
233 #else
234 #  define KISS_FFT_COS(phase) (kiss_fft_scalar) cos(phase)
235 #  define KISS_FFT_SIN(phase) (kiss_fft_scalar) sin(phase)
236 #  define HALF_OF(x) ((x)*.5)
237 #endif
238
239 #define  kf_cexp(x,phase) \
240         do{ \
241                 (x)->r = KISS_FFT_COS(phase);\
242                 (x)->i = KISS_FFT_SIN(phase);\
243         }while(0)
244    
245 #define  kf_cexp2(x,phase) \
246    do{ \
247       (x)->r = TRIG_UPSCALE*celt_cos_norm((phase));\
248       (x)->i = TRIG_UPSCALE*celt_cos_norm((phase)-32768);\
249 }while(0)
250
251 /* a debugging function */
252 #define pcpx(c)\
253     fprintf(stderr,"%g + %gi\n",(double)((c)->r),(double)((c)->i) )