optimisation: defined a reciprocal square root (celt_rsqrt) for use in
[opus.git] / libcelt / pitch.c
1 /* (C) 2007-2008 Jean-Marc Valin, CSIRO
2 */
3 /**
4    @file pitch.c
5    @brief Pitch analysis
6  */
7
8 /*
9    Redistribution and use in source and binary forms, with or without
10    modification, are permitted provided that the following conditions
11    are met:
12    
13    - Redistributions of source code must retain the above copyright
14    notice, this list of conditions and the following disclaimer.
15    
16    - Redistributions in binary form must reproduce the above copyright
17    notice, this list of conditions and the following disclaimer in the
18    documentation and/or other materials provided with the distribution.
19    
20    - Neither the name of the Xiph.org Foundation nor the names of its
21    contributors may be used to endorse or promote products derived from
22    this software without specific prior written permission.
23    
24    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
25    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
26    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
27    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
28    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
29    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
30    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
31    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
32    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
33    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
34    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
35 */
36
37
38 #ifdef HAVE_CONFIG_H
39 #include "config.h"
40 #endif
41
42 /*#include "_kiss_fft_guts.h"
43 #include "kiss_fftr.h"*/
44 #include "kfft_single.h"
45
46 #include "pitch.h"
47 #include "psy.h"
48 #include "os_support.h"
49 #include "mathops.h"
50 #include "stack_alloc.h"
51
52 kiss_fftr_cfg pitch_state_alloc(int max_lag)
53 {
54    return real16_fft_alloc(max_lag);
55 }
56
57 void pitch_state_free(kiss_fftr_cfg st)
58 {
59    real16_fft_free(st);
60 }
61
62 #ifdef FIXED_POINT
63 static void normalise16(celt_word16_t *x, int len, celt_word16_t val)
64 {
65    int i;
66    celt_word16_t maxabs;
67    maxabs = celt_maxabs16(x,len);
68    if (maxabs > val)
69    {
70       int shift = 0;
71       while (maxabs > val)
72       {
73          maxabs >>= 1;
74          shift++;
75       }
76       if (shift==0)
77          return;
78       for (i=0;i<len;i++)
79          x[i] = SHR16(x[i], shift);
80    } else {
81       int shift=0;
82       if (maxabs == 0)
83          return;
84       val >>= 1;
85       while (maxabs < val)
86       {
87          val >>= 1;
88          shift++;
89       }
90       if (shift==0)
91          return;
92       for (i=0;i<len;i++)
93          x[i] = SHL16(x[i], shift);
94    }
95 }
96 #else
97 #define normalise16(x,len,val)
98 #endif
99
100 #define INPUT_SHIFT 15
101
102 void find_spectral_pitch(kiss_fftr_cfg fft, const struct PsyDecay *decay, const celt_sig_t * restrict x, const celt_sig_t * restrict y, const celt_word16_t * restrict window, int overlap, int lag, int len, int C, int *pitch)
103 {
104    int c, i;
105    VARDECL(celt_word16_t, _X);
106    VARDECL(celt_word16_t, _Y);
107    VARDECL(celt_mask_t, curve);
108    celt_word16_t * restrict X, * restrict Y;
109    int n2;
110    int L2;
111    SAVE_STACK;
112    n2 = lag>>1;
113    L2 = len>>1;
114    ALLOC(_X, lag, celt_word16_t);
115    X = _X;
116    ALLOC(curve, n2, celt_mask_t);
117
118    for (i=0;i<lag;i++)
119       X[i] = 0;
120    /* Sum all channels of the current frame and copy into X in bit-reverse order */
121    for (c=0;c<C;c++)
122    {
123       for (i=0;i<L2;i++)
124       {
125          X[2*BITREV(fft,i)] += SHR32(x[C*(2*i)+c],INPUT_SHIFT);
126          X[2*BITREV(fft,i)+1] += SHR32(x[C*(2*i+1)+c],INPUT_SHIFT);
127       }
128    }
129    /* Applying the window in the bit-reverse domain. It's a bit weird, but it
130       can help save memory */
131    for (i=0;i<overlap>>1;i++)
132    {
133       X[2*BITREV(fft,i)] = MULT16_16_Q15(window[2*i], X[2*BITREV(fft,i)]);
134       X[2*BITREV(fft,i)+1] = MULT16_16_Q15(window[2*i+1], X[2*BITREV(fft,i)+1]);
135       X[2*BITREV(fft,L2-i-1)] = MULT16_16_Q15(window[2*i+1], X[2*BITREV(fft,L2-i-1)]);
136       X[2*BITREV(fft,L2-i-1)+1] = MULT16_16_Q15(window[2*i], X[2*BITREV(fft,L2-i-1)+1]);
137    }
138    normalise16(X, lag, 8192);
139    /*for (i=0;i<lag;i++) printf ("%d ", X[i]);printf ("\n");*/
140    /* Forward real FFT (in-place) */
141    real16_fft_inplace(fft, X, lag);
142
143    compute_masking(decay, X, curve, lag);
144
145    /* Deferred allocation to reduce peak stack usage */
146    ALLOC(_Y, lag, celt_word16_t);
147    Y = _Y;
148    for (i=0;i<lag;i++)
149       Y[i] = 0;
150    /* Sum all channels of the past audio and copy into Y in bit-reverse order */
151    for (c=0;c<C;c++)
152    {
153       for (i=0;i<n2;i++)
154       {
155          Y[2*BITREV(fft,i)] += SHR32(y[C*(2*i)+c],INPUT_SHIFT);
156          Y[2*BITREV(fft,i)+1] += SHR32(y[C*(2*i+1)+c],INPUT_SHIFT);
157       }
158    }
159    normalise16(Y, lag, 8192);
160    /* Forward real FFT (in-place) */
161    real16_fft_inplace(fft, Y, lag);
162
163    /* Compute cross-spectrum using the inverse masking curve as weighting */
164    for (i=1;i<n2;i++)
165    {
166       celt_word16_t n;
167       celt_word32_t tmp;
168       /*printf ("%d %d ", X[2*i]*X[2*i]+X[2*i+1]*X[2*i+1], Y[2*i]*Y[2*i]+Y[2*i+1]*Y[2*i+1]);*/
169       /*n = DIV32_16(Q15ONE,celt_sqrt(EPSILON+curve[i]));*/
170       /*n = ROUND16(celt_rcp(celt_sqrt(EPSILON+curve[i])),16);*/
171       n = celt_rsqrt(EPSILON+curve[i]);
172       /*printf ("%f ", n);*/
173       tmp = X[2*i];
174       X[2*i] = MULT16_32_Q15(n, ADD32(MULT16_16(X[2*i  ],Y[2*i  ]), MULT16_16(X[2*i+1],Y[2*i+1])));
175       X[2*i+1] = MULT16_32_Q15(n, SUB32(MULT16_16(tmp,Y[2*i+1]), MULT16_16(X[2*i+1],Y[2*i  ])));
176    }
177    /*printf ("\n");*/
178    X[0] = X[1] = 0;
179    /*for (i=0;i<lag;i++) printf ("%d ", X[i]);printf ("\n");*/
180    normalise16(X, lag, 50);
181    /* Inverse half-complex to real FFT gives us the correlation */
182    real16_ifft(fft, X, Y, lag);
183    
184    /* The peak in the correlation gives us the pitch */
185    *pitch = find_max16(Y, lag-len);
186    RESTORE_STACK;
187 }