optimisation: giving more hints to the compiler about the sizes in
[opus.git] / libcelt / pitch.c
1 /* (C) 2007-2008 Jean-Marc Valin, CSIRO
2 */
3 /**
4    @file pitch.c
5    @brief Pitch analysis
6  */
7
8 /*
9    Redistribution and use in source and binary forms, with or without
10    modification, are permitted provided that the following conditions
11    are met:
12    
13    - Redistributions of source code must retain the above copyright
14    notice, this list of conditions and the following disclaimer.
15    
16    - Redistributions in binary form must reproduce the above copyright
17    notice, this list of conditions and the following disclaimer in the
18    documentation and/or other materials provided with the distribution.
19    
20    - Neither the name of the Xiph.org Foundation nor the names of its
21    contributors may be used to endorse or promote products derived from
22    this software without specific prior written permission.
23    
24    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
25    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
26    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
27    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
28    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
29    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
30    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
31    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
32    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
33    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
34    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
35 */
36
37
38 #ifdef HAVE_CONFIG_H
39 #include "config.h"
40 #endif
41
42 /*#include "_kiss_fft_guts.h"
43 #include "kiss_fftr.h"*/
44 #include "kfft_single.h"
45
46 #include "pitch.h"
47 #include "psy.h"
48 #include "os_support.h"
49 #include "mathops.h"
50 #include "modes.h"
51 #include "stack_alloc.h"
52
53 kiss_fftr_cfg pitch_state_alloc(int max_lag)
54 {
55    return real16_fft_alloc(max_lag);
56 }
57
58 void pitch_state_free(kiss_fftr_cfg st)
59 {
60    real16_fft_free(st);
61 }
62
63 #ifdef FIXED_POINT
64 static void normalise16(celt_word16_t *x, int len, celt_word16_t val)
65 {
66    int i;
67    celt_word16_t maxabs;
68    maxabs = celt_maxabs16(x,len);
69    if (maxabs > val)
70    {
71       int shift = 0;
72       while (maxabs > val)
73       {
74          maxabs >>= 1;
75          shift++;
76       }
77       if (shift==0)
78          return;
79       i=0;
80       do{
81          x[i] = SHR16(x[i], shift);
82       } while (++i<len);
83    } else {
84       int shift=0;
85       if (maxabs == 0)
86          return;
87       val >>= 1;
88       while (maxabs < val)
89       {
90          val >>= 1;
91          shift++;
92       }
93       if (shift==0)
94          return;
95       i=0;
96       do{
97          x[i] = SHL16(x[i], shift);
98       } while (++i<len);
99    }
100 }
101 #else
102 #define normalise16(x,len,val)
103 #endif
104
105 #define INPUT_SHIFT 15
106
107 void find_spectral_pitch(const CELTMode *m, kiss_fftr_cfg fft, const struct PsyDecay *decay, const celt_sig_t * restrict x, const celt_sig_t * restrict y, const celt_word16_t * restrict window, int len, int *pitch)
108 {
109    int c, i;
110    VARDECL(celt_word16_t, _X);
111    VARDECL(celt_word16_t, _Y);
112    VARDECL(celt_mask_t, curve);
113    celt_word16_t * restrict X, * restrict Y;
114    int n2;
115    int L2;
116    const int C = CHANNELS(m);
117    const int overlap = OVERLAP(m);
118    const int lag = MAX_PERIOD;
119    SAVE_STACK;
120    n2 = lag>>1;
121    L2 = len>>1;
122    ALLOC(_X, lag, celt_word16_t);
123    X = _X;
124    ALLOC(curve, n2, celt_mask_t);
125
126    CELT_MEMSET(X,0,lag);
127    /* Sum all channels of the current frame and copy into X in bit-reverse order */
128    for (c=0;c<C;c++)
129    {
130       for (i=0;i<L2;i++)
131       {
132          X[2*BITREV(fft,i)] += SHR32(x[C*(2*i)+c],INPUT_SHIFT);
133          X[2*BITREV(fft,i)+1] += SHR32(x[C*(2*i+1)+c],INPUT_SHIFT);
134       }
135    }
136    /* Applying the window in the bit-reverse domain. It's a bit weird, but it
137       can help save memory */
138    for (i=0;i<overlap>>1;i++)
139    {
140       X[2*BITREV(fft,i)] = MULT16_16_Q15(window[2*i], X[2*BITREV(fft,i)]);
141       X[2*BITREV(fft,i)+1] = MULT16_16_Q15(window[2*i+1], X[2*BITREV(fft,i)+1]);
142       X[2*BITREV(fft,L2-i-1)] = MULT16_16_Q15(window[2*i+1], X[2*BITREV(fft,L2-i-1)]);
143       X[2*BITREV(fft,L2-i-1)+1] = MULT16_16_Q15(window[2*i], X[2*BITREV(fft,L2-i-1)+1]);
144    }
145    normalise16(X, lag, 8192);
146    /*for (i=0;i<lag;i++) printf ("%d ", X[i]);printf ("\n");*/
147    /* Forward real FFT (in-place) */
148    real16_fft_inplace(fft, X, lag);
149
150    compute_masking(decay, X, curve, lag);
151
152    /* Deferred allocation to reduce peak stack usage */
153    ALLOC(_Y, lag, celt_word16_t);
154    Y = _Y;
155    CELT_MEMSET(Y,0,lag);
156    /* Sum all channels of the past audio and copy into Y in bit-reverse order */
157    for (c=0;c<C;c++)
158    {
159       for (i=0;i<n2;i++)
160       {
161          Y[2*BITREV(fft,i)] += SHR32(y[C*(2*i)+c],INPUT_SHIFT);
162          Y[2*BITREV(fft,i)+1] += SHR32(y[C*(2*i+1)+c],INPUT_SHIFT);
163       }
164    }
165    normalise16(Y, lag, 8192);
166    /* Forward real FFT (in-place) */
167    real16_fft_inplace(fft, Y, lag);
168
169    /* Compute cross-spectrum using the inverse masking curve as weighting */
170    for (i=1;i<n2;i++)
171    {
172       celt_word16_t Xr, Xi, n;
173       /* weight = 1/sqrt(curve) */
174       n = celt_rsqrt(EPSILON+curve[i]);
175       /*n = SHR32(32767,(celt_ilog2(EPSILON+curve[i])>>1));*/
176       /* Pre-multiply X by n, so we can keep everything in 16 bits */
177       Xr = EXTRACT16(SHR32(MULT16_16(n, X[2*i  ]),3));
178       Xi = EXTRACT16(SHR32(MULT16_16(n, X[2*i+1]),3));
179       /* Cross-spectrum between X and conj(Y) */
180       X[2*i]   = ADD16(MULT16_16_Q15(Xr, Y[2*i  ]), MULT16_16_Q15(Xi,Y[2*i+1]));
181       X[2*i+1] = SUB16(MULT16_16_Q15(Xr, Y[2*i+1]), MULT16_16_Q15(Xi,Y[2*i  ]));
182    }
183    /*printf ("\n");*/
184    X[0] = X[1] = 0;
185    /*for (i=0;i<lag;i++) printf ("%d ", X[i]);printf ("\n");*/
186    normalise16(X, lag, 50);
187    /* Inverse half-complex to real FFT gives us the correlation */
188    real16_ifft(fft, X, Y, lag);
189    
190    /* The peak in the correlation gives us the pitch */
191    *pitch = find_max16(Y, lag-len);
192    RESTORE_STACK;
193 }