Convert all CRLF in the SILK code, tabs to spaces, and trailing
[opus.git] / silk / float / silk_noise_shape_analysis_FLP.c
1 /***********************************************************************
2 Copyright (c) 2006-2011, Skype Limited. All rights reserved.
3 Redistribution and use in source and binary forms, with or without
4 modification, (subject to the limitations in the disclaimer below)
5 are permitted provided that the following conditions are met:
6 - Redistributions of source code must retain the above copyright notice,
7 this list of conditions and the following disclaimer.
8 - Redistributions in binary form must reproduce the above copyright
9 notice, this list of conditions and the following disclaimer in the
10 documentation and/or other materials provided with the distribution.
11 - Neither the name of Skype Limited, nor the names of specific
12 contributors, may be used to endorse or promote products derived from
13 this software without specific prior written permission.
14 NO EXPRESS OR IMPLIED LICENSES TO ANY PARTY'S PATENT RIGHTS ARE GRANTED
15 BY THIS LICENSE. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND
16 CONTRIBUTORS ''AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING,
17 BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND
18 FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE
19 COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT,
20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
22 USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON
23 ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
25 OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 ***********************************************************************/
27
28 #include "silk_main_FLP.h"
29 #include "silk_tuning_parameters.h"
30
31 /* Compute gain to make warped filter coefficients have a zero mean log frequency response on a     */
32 /* non-warped frequency scale. (So that it can be implemented with a minimum-phase monic filter.)   */
33 SKP_INLINE SKP_float warped_gain(
34     const SKP_float     *coefs,
35     SKP_float           lambda,
36     opus_int             order
37 ) {
38     opus_int   i;
39     SKP_float gain;
40
41     lambda = -lambda;
42     gain = coefs[ order - 1 ];
43     for( i = order - 2; i >= 0; i-- ) {
44         gain = lambda * gain + coefs[ i ];
45     }
46     return (SKP_float)( 1.0f / ( 1.0f - lambda * gain ) );
47 }
48
49 /* Convert warped filter coefficients to monic pseudo-warped coefficients and limit maximum     */
50 /* amplitude of monic warped coefficients by using bandwidth expansion on the true coefficients */
51 SKP_INLINE void warped_true2monic_coefs(
52     SKP_float           *coefs_syn,
53     SKP_float           *coefs_ana,
54     SKP_float           lambda,
55     SKP_float           limit,
56     opus_int             order
57 ) {
58     opus_int   i, iter, ind = 0;
59     SKP_float tmp, maxabs, chirp, gain_syn, gain_ana;
60
61     /* Convert to monic coefficients */
62     for( i = order - 1; i > 0; i-- ) {
63         coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];
64         coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];
65     }
66     gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );
67     gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );
68     for( i = 0; i < order; i++ ) {
69         coefs_syn[ i ] *= gain_syn;
70         coefs_ana[ i ] *= gain_ana;
71     }
72
73     /* Limit */
74     for( iter = 0; iter < 10; iter++ ) {
75         /* Find maximum absolute value */
76         maxabs = -1.0f;
77         for( i = 0; i < order; i++ ) {
78             tmp = SKP_max( SKP_abs_float( coefs_syn[ i ] ), SKP_abs_float( coefs_ana[ i ] ) );
79             if( tmp > maxabs ) {
80                 maxabs = tmp;
81                 ind = i;
82             }
83         }
84         if( maxabs <= limit ) {
85             /* Coefficients are within range - done */
86             return;
87         }
88
89         /* Convert back to true warped coefficients */
90         for( i = 1; i < order; i++ ) {
91             coefs_syn[ i - 1 ] += lambda * coefs_syn[ i ];
92             coefs_ana[ i - 1 ] += lambda * coefs_ana[ i ];
93         }
94         gain_syn = 1.0f / gain_syn;
95         gain_ana = 1.0f / gain_ana;
96         for( i = 0; i < order; i++ ) {
97             coefs_syn[ i ] *= gain_syn;
98             coefs_ana[ i ] *= gain_ana;
99         }
100
101         /* Apply bandwidth expansion */
102         chirp = 0.99f - ( 0.8f + 0.1f * iter ) * ( maxabs - limit ) / ( maxabs * ( ind + 1 ) );
103         silk_bwexpander_FLP( coefs_syn, order, chirp );
104         silk_bwexpander_FLP( coefs_ana, order, chirp );
105
106         /* Convert to monic warped coefficients */
107         for( i = order - 1; i > 0; i-- ) {
108             coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];
109             coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];
110         }
111         gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );
112         gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );
113         for( i = 0; i < order; i++ ) {
114             coefs_syn[ i ] *= gain_syn;
115             coefs_ana[ i ] *= gain_ana;
116         }
117     }
118     SKP_assert( 0 );
119 }
120
121 /* Compute noise shaping coefficients and initial gain values */
122 void silk_noise_shape_analysis_FLP(
123     silk_encoder_state_FLP          *psEnc,             /* I/O  Encoder state FLP                       */
124     silk_encoder_control_FLP        *psEncCtrl,         /* I/O  Encoder control FLP                     */
125     const SKP_float                 *pitch_res,         /* I    LPC residual from pitch analysis        */
126     const SKP_float                 *x                  /* I    Input signal [frame_length + la_shape]  */
127 )
128 {
129     silk_shape_state_FLP *psShapeSt = &psEnc->sShape;
130     opus_int     k, nSamples;
131     SKP_float   SNR_adj_dB, HarmBoost, HarmShapeGain, Tilt;
132     SKP_float   nrg, pre_nrg, log_energy, log_energy_prev, energy_variation;
133     SKP_float   delta, BWExp1, BWExp2, gain_mult, gain_add, strength, b, warping;
134     SKP_float   x_windowed[ SHAPE_LPC_WIN_MAX ];
135     SKP_float   auto_corr[ MAX_SHAPE_LPC_ORDER + 1 ];
136     const SKP_float *x_ptr, *pitch_res_ptr;
137
138     /* Point to start of first LPC analysis block */
139     x_ptr = x - psEnc->sCmn.la_shape;
140
141     /****************/
142     /* GAIN CONTROL */
143     /****************/
144     SNR_adj_dB = psEnc->sCmn.SNR_dB_Q7 * ( 1 / 128.0f );
145
146     /* Input quality is the average of the quality in the lowest two VAD bands */
147     psEncCtrl->input_quality = 0.5f * ( psEnc->sCmn.input_quality_bands_Q15[ 0 ] + psEnc->sCmn.input_quality_bands_Q15[ 1 ] ) * ( 1.0f / 32768.0f );
148
149     /* Coding quality level, between 0.0 and 1.0 */
150     psEncCtrl->coding_quality = SKP_sigmoid( 0.25f * ( SNR_adj_dB - 18.0f ) );
151
152     if( psEnc->sCmn.useCBR == 0 ) {
153         /* Reduce coding SNR during low speech activity */
154         b = 1.0f - psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );
155         SNR_adj_dB -= BG_SNR_DECR_dB * psEncCtrl->coding_quality * ( 0.5f + 0.5f * psEncCtrl->input_quality ) * b * b;
156     }
157
158     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {
159         /* Reduce gains for periodic signals */
160         SNR_adj_dB += HARM_SNR_INCR_dB * psEnc->LTPCorr;
161     } else {
162         /* For unvoiced signals and low-quality input, adjust the quality slower than SNR_dB setting */
163         SNR_adj_dB += ( -0.4f * psEnc->sCmn.SNR_dB_Q7 * ( 1 / 128.0f ) + 6.0f ) * ( 1.0f - psEncCtrl->input_quality );
164     }
165
166     /*************************/
167     /* SPARSENESS PROCESSING */
168     /*************************/
169     /* Set quantizer offset */
170     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {
171         /* Initally set to 0; may be overruled in process_gains(..) */
172         psEnc->sCmn.indices.quantOffsetType = 0;
173         psEncCtrl->sparseness = 0.0f;
174     } else {
175         /* Sparseness measure, based on relative fluctuations of energy per 2 milliseconds */
176         nSamples = 2 * psEnc->sCmn.fs_kHz;
177         energy_variation = 0.0f;
178         log_energy_prev  = 0.0f;
179         pitch_res_ptr = pitch_res;
180         for( k = 0; k < SKP_SMULBB( SUB_FRAME_LENGTH_MS, psEnc->sCmn.nb_subfr ) / 2; k++ ) {
181             nrg = ( SKP_float )nSamples + ( SKP_float )silk_energy_FLP( pitch_res_ptr, nSamples );
182             log_energy = silk_log2( nrg );
183             if( k > 0 ) {
184                 energy_variation += SKP_abs_float( log_energy - log_energy_prev );
185             }
186             log_energy_prev = log_energy;
187             pitch_res_ptr += nSamples;
188         }
189         psEncCtrl->sparseness = SKP_sigmoid( 0.4f * ( energy_variation - 5.0f ) );
190
191         /* Set quantization offset depending on sparseness measure */
192         if( psEncCtrl->sparseness > SPARSENESS_THRESHOLD_QNT_OFFSET ) {
193             psEnc->sCmn.indices.quantOffsetType = 0;
194         } else {
195             psEnc->sCmn.indices.quantOffsetType = 1;
196         }
197
198         /* Increase coding SNR for sparse signals */
199         SNR_adj_dB += SPARSE_SNR_INCR_dB * ( psEncCtrl->sparseness - 0.5f );
200     }
201
202     /*******************************/
203     /* Control bandwidth expansion */
204     /*******************************/
205     /* More BWE for signals with high prediction gain */
206     strength = FIND_PITCH_WHITE_NOISE_FRACTION * psEncCtrl->predGain;           /* between 0.0 and 1.0 */
207     BWExp1 = BWExp2 = BANDWIDTH_EXPANSION / ( 1.0f + strength * strength );
208     delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA * ( 1.0f - 0.75f * psEncCtrl->coding_quality );
209     BWExp1 -= delta;
210     BWExp2 += delta;
211     /* BWExp1 will be applied after BWExp2, so make it relative */
212     BWExp1 /= BWExp2;
213
214     if( psEnc->sCmn.warping_Q16 > 0 ) {
215         /* Slightly more warping in analysis will move quantization noise up in frequency, where it's better masked */
216         warping = (SKP_float)psEnc->sCmn.warping_Q16 / 65536.0f + 0.01f * psEncCtrl->coding_quality;
217     } else {
218         warping = 0.0f;
219     }
220
221     /********************************************/
222     /* Compute noise shaping AR coefs and gains */
223     /********************************************/
224     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {
225         /* Apply window: sine slope followed by flat part followed by cosine slope */
226         opus_int shift, slope_part, flat_part;
227         flat_part = psEnc->sCmn.fs_kHz * 3;
228         slope_part = ( psEnc->sCmn.shapeWinLength - flat_part ) / 2;
229
230         silk_apply_sine_window_FLP( x_windowed, x_ptr, 1, slope_part );
231         shift = slope_part;
232         SKP_memcpy( x_windowed + shift, x_ptr + shift, flat_part * sizeof(SKP_float) );
233         shift += flat_part;
234         silk_apply_sine_window_FLP( x_windowed + shift, x_ptr + shift, 2, slope_part );
235
236         /* Update pointer: next LPC analysis block */
237         x_ptr += psEnc->sCmn.subfr_length;
238
239         if( psEnc->sCmn.warping_Q16 > 0 ) {
240             /* Calculate warped auto correlation */
241             silk_warped_autocorrelation_FLP( auto_corr, x_windowed, warping,
242                 psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder );
243         } else {
244             /* Calculate regular auto correlation */
245             silk_autocorrelation_FLP( auto_corr, x_windowed, psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder + 1 );
246         }
247
248         /* Add white noise, as a fraction of energy */
249         auto_corr[ 0 ] += auto_corr[ 0 ] * SHAPE_WHITE_NOISE_FRACTION;
250
251         /* Convert correlations to prediction coefficients, and compute residual energy */
252         nrg = silk_levinsondurbin_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], auto_corr, psEnc->sCmn.shapingLPCOrder );
253         psEncCtrl->Gains[ k ] = ( SKP_float )sqrt( nrg );
254
255         if( psEnc->sCmn.warping_Q16 > 0 ) {
256             /* Adjust gain for warping */
257             psEncCtrl->Gains[ k ] *= warped_gain( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], warping, psEnc->sCmn.shapingLPCOrder );
258         }
259
260         /* Bandwidth expansion for synthesis filter shaping */
261         silk_bwexpander_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp2 );
262
263         /* Compute noise shaping filter coefficients */
264         SKP_memcpy(
265             &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ],
266             &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ],
267             psEnc->sCmn.shapingLPCOrder * sizeof( SKP_float ) );
268
269         /* Bandwidth expansion for analysis filter shaping */
270         silk_bwexpander_FLP( &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp1 );
271
272         /* Ratio of prediction gains, in energy domain */
273         silk_LPC_inverse_pred_gain_FLP( &pre_nrg, &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );
274         silk_LPC_inverse_pred_gain_FLP( &nrg,     &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );
275         psEncCtrl->GainsPre[ k ] = 1.0f - 0.7f * ( 1.0f - pre_nrg / nrg );
276
277         /* Convert to monic warped prediction coefficients and limit absolute values */
278         warped_true2monic_coefs( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ],
279             warping, 3.999f, psEnc->sCmn.shapingLPCOrder );
280     }
281
282     /*****************/
283     /* Gain tweaking */
284     /*****************/
285     /* Increase gains during low speech activity */
286     gain_mult = (SKP_float)pow( 2.0f, -0.16f * SNR_adj_dB );
287     gain_add  = (SKP_float)pow( 2.0f,  0.16f * MIN_QGAIN_DB );
288     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {
289         psEncCtrl->Gains[ k ] *= gain_mult;
290         psEncCtrl->Gains[ k ] += gain_add;
291     }
292
293     gain_mult = 1.0f + INPUT_TILT + psEncCtrl->coding_quality * HIGH_RATE_INPUT_TILT;
294     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {
295         psEncCtrl->GainsPre[ k ] *= gain_mult;
296     }
297
298     /************************************************/
299     /* Control low-frequency shaping and noise tilt */
300     /************************************************/
301     /* Less low frequency shaping for noisy inputs */
302     strength = LOW_FREQ_SHAPING * ( 1.0f + LOW_QUALITY_LOW_FREQ_SHAPING_DECR * ( psEnc->sCmn.input_quality_bands_Q15[ 0 ] * ( 1.0f / 32768.0f ) - 1.0f ) );
303     strength *= psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );
304     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {
305         /* Reduce low frequencies quantization noise for periodic signals, depending on pitch lag */
306         /*f = 400; freqz([1, -0.98 + 2e-4 * f], [1, -0.97 + 7e-4 * f], 2^12, Fs); axis([0, 1000, -10, 1])*/
307         for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {
308             b = 0.2f / psEnc->sCmn.fs_kHz + 3.0f / psEncCtrl->pitchL[ k ];
309             psEncCtrl->LF_MA_shp[ k ] = -1.0f + b;
310             psEncCtrl->LF_AR_shp[ k ] =  1.0f - b - b * strength;
311         }
312         Tilt = - HP_NOISE_COEF -
313             (1 - HP_NOISE_COEF) * HARM_HP_NOISE_COEF * psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );
314     } else {
315         b = 1.3f / psEnc->sCmn.fs_kHz;
316         psEncCtrl->LF_MA_shp[ 0 ] = -1.0f + b;
317         psEncCtrl->LF_AR_shp[ 0 ] =  1.0f - b - b * strength * 0.6f;
318         for( k = 1; k < psEnc->sCmn.nb_subfr; k++ ) {
319             psEncCtrl->LF_MA_shp[ k ] = psEncCtrl->LF_MA_shp[ 0 ];
320             psEncCtrl->LF_AR_shp[ k ] = psEncCtrl->LF_AR_shp[ 0 ];
321         }
322         Tilt = -HP_NOISE_COEF;
323     }
324
325     /****************************/
326     /* HARMONIC SHAPING CONTROL */
327     /****************************/
328     /* Control boosting of harmonic frequencies */
329     HarmBoost = LOW_RATE_HARMONIC_BOOST * ( 1.0f - psEncCtrl->coding_quality ) * psEnc->LTPCorr;
330
331     /* More harmonic boost for noisy input signals */
332     HarmBoost += LOW_INPUT_QUALITY_HARMONIC_BOOST * ( 1.0f - psEncCtrl->input_quality );
333
334     if( USE_HARM_SHAPING && psEnc->sCmn.indices.signalType == TYPE_VOICED ) {
335         /* Harmonic noise shaping */
336         HarmShapeGain = HARMONIC_SHAPING;
337
338         /* More harmonic noise shaping for high bitrates or noisy input */
339         HarmShapeGain += HIGH_RATE_OR_LOW_QUALITY_HARMONIC_SHAPING *
340             ( 1.0f - ( 1.0f - psEncCtrl->coding_quality ) * psEncCtrl->input_quality );
341
342         /* Less harmonic noise shaping for less periodic signals */
343         HarmShapeGain *= ( SKP_float )sqrt( psEnc->LTPCorr );
344     } else {
345         HarmShapeGain = 0.0f;
346     }
347
348     /*************************/
349     /* Smooth over subframes */
350     /*************************/
351     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {
352         psShapeSt->HarmBoost_smth     += SUBFR_SMTH_COEF * ( HarmBoost - psShapeSt->HarmBoost_smth );
353         psEncCtrl->HarmBoost[ k ]      = psShapeSt->HarmBoost_smth;
354         psShapeSt->HarmShapeGain_smth += SUBFR_SMTH_COEF * ( HarmShapeGain - psShapeSt->HarmShapeGain_smth );
355         psEncCtrl->HarmShapeGain[ k ]  = psShapeSt->HarmShapeGain_smth;
356         psShapeSt->Tilt_smth          += SUBFR_SMTH_COEF * ( Tilt - psShapeSt->Tilt_smth );
357         psEncCtrl->Tilt[ k ]           = psShapeSt->Tilt_smth;
358     }
359 }