Merge commit 'silk-repo/master'
[opus.git] / src_FLP / SKP_Silk_noise_shape_analysis_FLP.c
1 /***********************************************************************\r
2 Copyright (c) 2006-2011, Skype Limited. All rights reserved. \r
3 Redistribution and use in source and binary forms, with or without \r
4 modification, (subject to the limitations in the disclaimer below) \r
5 are permitted provided that the following conditions are met:\r
6 - Redistributions of source code must retain the above copyright notice,\r
7 this list of conditions and the following disclaimer.\r
8 - Redistributions in binary form must reproduce the above copyright \r
9 notice, this list of conditions and the following disclaimer in the \r
10 documentation and/or other materials provided with the distribution.\r
11 - Neither the name of Skype Limited, nor the names of specific \r
12 contributors, may be used to endorse or promote products derived from \r
13 this software without specific prior written permission.\r
14 NO EXPRESS OR IMPLIED LICENSES TO ANY PARTY'S PATENT RIGHTS ARE GRANTED \r
15 BY THIS LICENSE. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND \r
16 CONTRIBUTORS ''AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING,\r
17 BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND \r
18 FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE \r
19 COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, \r
20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT\r
21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF \r
22 USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON \r
23 ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT \r
24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE \r
25 OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.\r
26 ***********************************************************************/\r
27 \r
28 #include "SKP_Silk_main_FLP.h"\r
29 #include "SKP_Silk_tuning_parameters.h"\r
30 \r
31 /* Compute gain to make warped filter coefficients have a zero mean log frequency response on a     */\r
32 /* non-warped frequency scale. (So that it can be implemented with a minimum-phase monic filter.)   */\r
33 SKP_INLINE SKP_float warped_gain( \r
34     const SKP_float     *coefs, \r
35     SKP_float           lambda, \r
36     SKP_int             order \r
37 ) {\r
38     SKP_int   i;\r
39     SKP_float gain;\r
40 \r
41     lambda = -lambda;\r
42     gain = coefs[ order - 1 ];\r
43     for( i = order - 2; i >= 0; i-- ) {\r
44         gain = lambda * gain + coefs[ i ];\r
45     }\r
46     return (SKP_float)( 1.0f / ( 1.0f - lambda * gain ) );\r
47 }\r
48 \r
49 /* Convert warped filter coefficients to monic pseudo-warped coefficients and limit maximum     */\r
50 /* amplitude of monic warped coefficients by using bandwidth expansion on the true coefficients */\r
51 SKP_INLINE void warped_true2monic_coefs( \r
52     SKP_float           *coefs_syn,\r
53     SKP_float           *coefs_ana,\r
54     SKP_float           lambda,\r
55     SKP_float           limit,\r
56     SKP_int             order\r
57 ) {\r
58     SKP_int   i, iter, ind = 0;\r
59     SKP_float tmp, maxabs, chirp, gain_syn, gain_ana;\r
60 \r
61     /* Convert to monic coefficients */\r
62     for( i = order - 1; i > 0; i-- ) {\r
63         coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
64         coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
65     } \r
66     gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
67     gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
68     for( i = 0; i < order; i++ ) {\r
69         coefs_syn[ i ] *= gain_syn;\r
70         coefs_ana[ i ] *= gain_ana;\r
71     }\r
72 \r
73     /* Limit */\r
74     for( iter = 0; iter < 10; iter++ ) {\r
75         /* Find maximum absolute value */\r
76         maxabs = -1.0f;\r
77         for( i = 0; i < order; i++ ) {\r
78             tmp = SKP_max( SKP_abs_float( coefs_syn[ i ] ), SKP_abs_float( coefs_ana[ i ] ) );\r
79             if( tmp > maxabs ) {\r
80                 maxabs = tmp;\r
81                 ind = i;\r
82             }\r
83         }\r
84         if( maxabs <= limit ) {\r
85             /* Coefficients are within range - done */\r
86             return;\r
87         }\r
88 \r
89         /* Convert back to true warped coefficients */\r
90         for( i = 1; i < order; i++ ) {\r
91             coefs_syn[ i - 1 ] += lambda * coefs_syn[ i ];\r
92             coefs_ana[ i - 1 ] += lambda * coefs_ana[ i ];\r
93         }\r
94         gain_syn = 1.0f / gain_syn;\r
95         gain_ana = 1.0f / gain_ana;\r
96         for( i = 0; i < order; i++ ) {\r
97             coefs_syn[ i ] *= gain_syn;\r
98             coefs_ana[ i ] *= gain_ana;\r
99         }\r
100 \r
101         /* Apply bandwidth expansion */\r
102         chirp = 0.99f - ( 0.8f + 0.1f * iter ) * ( maxabs - limit ) / ( maxabs * ( ind + 1 ) );\r
103         SKP_Silk_bwexpander_FLP( coefs_syn, order, chirp );\r
104         SKP_Silk_bwexpander_FLP( coefs_ana, order, chirp );\r
105 \r
106         /* Convert to monic warped coefficients */\r
107         for( i = order - 1; i > 0; i-- ) {\r
108             coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
109             coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
110         }\r
111         gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
112         gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
113         for( i = 0; i < order; i++ ) {\r
114             coefs_syn[ i ] *= gain_syn;\r
115             coefs_ana[ i ] *= gain_ana;\r
116         }\r
117     }\r
118         SKP_assert( 0 );\r
119 }\r
120 \r
121 /* Compute noise shaping coefficients and initial gain values */\r
122 void SKP_Silk_noise_shape_analysis_FLP(\r
123     SKP_Silk_encoder_state_FLP      *psEnc,             /* I/O  Encoder state FLP                       */\r
124     SKP_Silk_encoder_control_FLP    *psEncCtrl,         /* I/O  Encoder control FLP                     */\r
125     const SKP_float                 *pitch_res,         /* I    LPC residual from pitch analysis        */\r
126     const SKP_float                 *x                  /* I    Input signal [frame_length + la_shape]  */\r
127 )\r
128 {\r
129     SKP_Silk_shape_state_FLP *psShapeSt = &psEnc->sShape;\r
130     SKP_int     k, nSamples;\r
131     SKP_float   SNR_adj_dB, HarmBoost, HarmShapeGain, Tilt;\r
132     SKP_float   nrg, pre_nrg, log_energy, log_energy_prev, energy_variation;\r
133     SKP_float   delta, BWExp1, BWExp2, gain_mult, gain_add, strength, b, warping;\r
134     SKP_float   x_windowed[ SHAPE_LPC_WIN_MAX ];\r
135     SKP_float   auto_corr[ MAX_SHAPE_LPC_ORDER + 1 ];\r
136     const SKP_float *x_ptr, *pitch_res_ptr;\r
137 \r
138     /* Point to start of first LPC analysis block */\r
139     x_ptr = x - psEnc->sCmn.la_shape;\r
140 \r
141     /****************/\r
142     /* GAIN CONTROL */\r
143     /****************/\r
144     SNR_adj_dB = psEnc->sCmn.SNR_dB_Q7 * ( 1 / 128.0f );\r
145 \r
146     /* Input quality is the average of the quality in the lowest two VAD bands */\r
147     psEncCtrl->input_quality = 0.5f * ( psEnc->sCmn.input_quality_bands_Q15[ 0 ] + psEnc->sCmn.input_quality_bands_Q15[ 1 ] ) * ( 1.0f / 32768.0f );\r
148 \r
149     /* Coding quality level, between 0.0 and 1.0 */\r
150     psEncCtrl->coding_quality = SKP_sigmoid( 0.25f * ( SNR_adj_dB - 18.0f ) );\r
151 \r
152     if( psEnc->sCmn.useCBR == 0 ) {\r
153         /* Reduce coding SNR during low speech activity */\r
154         b = 1.0f - psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );\r
155         SNR_adj_dB -= BG_SNR_DECR_dB * psEncCtrl->coding_quality * ( 0.5f + 0.5f * psEncCtrl->input_quality ) * b * b;\r
156     }\r
157 \r
158     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {\r
159         /* Reduce gains for periodic signals */\r
160         SNR_adj_dB += HARM_SNR_INCR_dB * psEnc->LTPCorr;\r
161     } else { \r
162         /* For unvoiced signals and low-quality input, adjust the quality slower than SNR_dB setting */\r
163         SNR_adj_dB += ( -0.4f * psEnc->sCmn.SNR_dB_Q7 * ( 1 / 128.0f ) + 6.0f ) * ( 1.0f - psEncCtrl->input_quality );\r
164     }\r
165 \r
166     /*************************/\r
167     /* SPARSENESS PROCESSING */\r
168     /*************************/\r
169     /* Set quantizer offset */\r
170     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {\r
171         /* Initally set to 0; may be overruled in process_gains(..) */\r
172         psEnc->sCmn.indices.quantOffsetType = 0;\r
173         psEncCtrl->sparseness = 0.0f;\r
174     } else {\r
175         /* Sparseness measure, based on relative fluctuations of energy per 2 milliseconds */\r
176         nSamples = 2 * psEnc->sCmn.fs_kHz;\r
177         energy_variation = 0.0f;\r
178         log_energy_prev  = 0.0f;\r
179         pitch_res_ptr = pitch_res;\r
180         for( k = 0; k < SKP_SMULBB( SUB_FRAME_LENGTH_MS, psEnc->sCmn.nb_subfr ) / 2; k++ ) {\r
181             nrg = ( SKP_float )nSamples + ( SKP_float )SKP_Silk_energy_FLP( pitch_res_ptr, nSamples );\r
182             log_energy = SKP_Silk_log2( nrg );\r
183             if( k > 0 ) {\r
184                 energy_variation += SKP_abs_float( log_energy - log_energy_prev );\r
185             }\r
186             log_energy_prev = log_energy;\r
187             pitch_res_ptr += nSamples;\r
188         }\r
189         psEncCtrl->sparseness = SKP_sigmoid( 0.4f * ( energy_variation - 5.0f ) );\r
190 \r
191         /* Set quantization offset depending on sparseness measure */\r
192         if( psEncCtrl->sparseness > SPARSENESS_THRESHOLD_QNT_OFFSET ) {\r
193             psEnc->sCmn.indices.quantOffsetType = 0;\r
194         } else {\r
195             psEnc->sCmn.indices.quantOffsetType = 1;\r
196         }\r
197         \r
198         /* Increase coding SNR for sparse signals */\r
199         SNR_adj_dB += SPARSE_SNR_INCR_dB * ( psEncCtrl->sparseness - 0.5f );\r
200     }\r
201 \r
202     /*******************************/\r
203     /* Control bandwidth expansion */\r
204     /*******************************/\r
205     /* More BWE for signals with high prediction gain */\r
206     strength = FIND_PITCH_WHITE_NOISE_FRACTION * psEncCtrl->predGain;           /* between 0.0 and 1.0 */\r
207     BWExp1 = BWExp2 = BANDWIDTH_EXPANSION / ( 1.0f + strength * strength );\r
208     delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA * ( 1.0f - 0.75f * psEncCtrl->coding_quality );\r
209     BWExp1 -= delta;\r
210     BWExp2 += delta;\r
211     /* BWExp1 will be applied after BWExp2, so make it relative */\r
212     BWExp1 /= BWExp2;\r
213 \r
214     if( psEnc->sCmn.warping_Q16 > 0 ) {\r
215         /* Slightly more warping in analysis will move quantization noise up in frequency, where it's better masked */\r
216         warping = (SKP_float)psEnc->sCmn.warping_Q16 / 65536.0f + 0.01f * psEncCtrl->coding_quality;\r
217     } else {\r
218         warping = 0.0f;\r
219     }\r
220 \r
221     /********************************************/\r
222     /* Compute noise shaping AR coefs and gains */\r
223     /********************************************/\r
224     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
225         /* Apply window: sine slope followed by flat part followed by cosine slope */\r
226         SKP_int shift, slope_part, flat_part;\r
227         flat_part = psEnc->sCmn.fs_kHz * 3;\r
228         slope_part = ( psEnc->sCmn.shapeWinLength - flat_part ) / 2;\r
229 \r
230         SKP_Silk_apply_sine_window_FLP( x_windowed, x_ptr, 1, slope_part );\r
231         shift = slope_part;\r
232         SKP_memcpy( x_windowed + shift, x_ptr + shift, flat_part * sizeof(SKP_float) );\r
233         shift += flat_part;\r
234         SKP_Silk_apply_sine_window_FLP( x_windowed + shift, x_ptr + shift, 2, slope_part );\r
235 \r
236         /* Update pointer: next LPC analysis block */\r
237         x_ptr += psEnc->sCmn.subfr_length;\r
238 \r
239         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
240             /* Calculate warped auto correlation */\r
241             SKP_Silk_warped_autocorrelation_FLP( auto_corr, x_windowed, warping, \r
242                 psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder );\r
243         } else {\r
244             /* Calculate regular auto correlation */\r
245             SKP_Silk_autocorrelation_FLP( auto_corr, x_windowed, psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder + 1 );\r
246         }\r
247 \r
248         /* Add white noise, as a fraction of energy */\r
249         auto_corr[ 0 ] += auto_corr[ 0 ] * SHAPE_WHITE_NOISE_FRACTION; \r
250 \r
251         /* Convert correlations to prediction coefficients, and compute residual energy */\r
252         nrg = SKP_Silk_levinsondurbin_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], auto_corr, psEnc->sCmn.shapingLPCOrder );\r
253         psEncCtrl->Gains[ k ] = ( SKP_float )sqrt( nrg );\r
254 \r
255         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
256             /* Adjust gain for warping */\r
257             psEncCtrl->Gains[ k ] *= warped_gain( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], warping, psEnc->sCmn.shapingLPCOrder );\r
258         }\r
259 \r
260         /* Bandwidth expansion for synthesis filter shaping */\r
261         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp2 );\r
262 \r
263         /* Compute noise shaping filter coefficients */\r
264         SKP_memcpy(\r
265             &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
266             &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], \r
267             psEnc->sCmn.shapingLPCOrder * sizeof( SKP_float ) );\r
268 \r
269         /* Bandwidth expansion for analysis filter shaping */\r
270         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp1 );\r
271 \r
272         /* Ratio of prediction gains, in energy domain */\r
273         SKP_Silk_LPC_inverse_pred_gain_FLP( &pre_nrg, &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
274         SKP_Silk_LPC_inverse_pred_gain_FLP( &nrg,     &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
275         psEncCtrl->GainsPre[ k ] = 1.0f - 0.7f * ( 1.0f - pre_nrg / nrg );\r
276 \r
277         /* Convert to monic warped prediction coefficients and limit absolute values */\r
278         warped_true2monic_coefs( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
279             warping, 3.999f, psEnc->sCmn.shapingLPCOrder );\r
280     }\r
281 \r
282     /*****************/\r
283     /* Gain tweaking */\r
284     /*****************/\r
285     /* Increase gains during low speech activity */\r
286     gain_mult = (SKP_float)pow( 2.0f, -0.16f * SNR_adj_dB );\r
287     gain_add  = (SKP_float)pow( 2.0f,  0.16f * MIN_QGAIN_DB );\r
288     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
289         psEncCtrl->Gains[ k ] *= gain_mult;\r
290         psEncCtrl->Gains[ k ] += gain_add;\r
291     }\r
292 \r
293     gain_mult = 1.0f + INPUT_TILT + psEncCtrl->coding_quality * HIGH_RATE_INPUT_TILT;\r
294     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
295         psEncCtrl->GainsPre[ k ] *= gain_mult;\r
296     }\r
297 \r
298     /************************************************/\r
299     /* Control low-frequency shaping and noise tilt */\r
300     /************************************************/\r
301     /* Less low frequency shaping for noisy inputs */\r
302     strength = LOW_FREQ_SHAPING * ( 1.0f + LOW_QUALITY_LOW_FREQ_SHAPING_DECR * ( psEnc->sCmn.input_quality_bands_Q15[ 0 ] * ( 1.0f / 32768.0f ) - 1.0f ) );\r
303     strength *= psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );\r
304     if( psEnc->sCmn.indices.signalType == TYPE_VOICED ) {\r
305         /* Reduce low frequencies quantization noise for periodic signals, depending on pitch lag */\r
306         /*f = 400; freqz([1, -0.98 + 2e-4 * f], [1, -0.97 + 7e-4 * f], 2^12, Fs); axis([0, 1000, -10, 1])*/\r
307         for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
308             b = 0.2f / psEnc->sCmn.fs_kHz + 3.0f / psEncCtrl->pitchL[ k ];\r
309             psEncCtrl->LF_MA_shp[ k ] = -1.0f + b;\r
310             psEncCtrl->LF_AR_shp[ k ] =  1.0f - b - b * strength;\r
311         }\r
312         Tilt = - HP_NOISE_COEF - \r
313             (1 - HP_NOISE_COEF) * HARM_HP_NOISE_COEF * psEnc->sCmn.speech_activity_Q8 * ( 1.0f /  256.0f );\r
314     } else {\r
315         b = 1.3f / psEnc->sCmn.fs_kHz;\r
316         psEncCtrl->LF_MA_shp[ 0 ] = -1.0f + b;\r
317         psEncCtrl->LF_AR_shp[ 0 ] =  1.0f - b - b * strength * 0.6f;\r
318         for( k = 1; k < psEnc->sCmn.nb_subfr; k++ ) {\r
319             psEncCtrl->LF_MA_shp[ k ] = psEncCtrl->LF_MA_shp[ 0 ];\r
320             psEncCtrl->LF_AR_shp[ k ] = psEncCtrl->LF_AR_shp[ 0 ];\r
321         }\r
322         Tilt = -HP_NOISE_COEF;\r
323     }\r
324 \r
325     /****************************/\r
326     /* HARMONIC SHAPING CONTROL */\r
327     /****************************/\r
328     /* Control boosting of harmonic frequencies */\r
329     HarmBoost = LOW_RATE_HARMONIC_BOOST * ( 1.0f - psEncCtrl->coding_quality ) * psEnc->LTPCorr;\r
330 \r
331     /* More harmonic boost for noisy input signals */\r
332     HarmBoost += LOW_INPUT_QUALITY_HARMONIC_BOOST * ( 1.0f - psEncCtrl->input_quality );\r
333 \r
334     if( USE_HARM_SHAPING && psEnc->sCmn.indices.signalType == TYPE_VOICED ) {\r
335         /* Harmonic noise shaping */\r
336         HarmShapeGain = HARMONIC_SHAPING;\r
337 \r
338         /* More harmonic noise shaping for high bitrates or noisy input */\r
339         HarmShapeGain += HIGH_RATE_OR_LOW_QUALITY_HARMONIC_SHAPING * \r
340             ( 1.0f - ( 1.0f - psEncCtrl->coding_quality ) * psEncCtrl->input_quality );\r
341 \r
342         /* Less harmonic noise shaping for less periodic signals */\r
343         HarmShapeGain *= ( SKP_float )sqrt( psEnc->LTPCorr );\r
344     } else {\r
345         HarmShapeGain = 0.0f;\r
346     }\r
347 \r
348     /*************************/\r
349     /* Smooth over subframes */\r
350     /*************************/\r
351     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
352         psShapeSt->HarmBoost_smth     += SUBFR_SMTH_COEF * ( HarmBoost - psShapeSt->HarmBoost_smth );\r
353         psEncCtrl->HarmBoost[ k ]      = psShapeSt->HarmBoost_smth;\r
354         psShapeSt->HarmShapeGain_smth += SUBFR_SMTH_COEF * ( HarmShapeGain - psShapeSt->HarmShapeGain_smth );\r
355         psEncCtrl->HarmShapeGain[ k ]  = psShapeSt->HarmShapeGain_smth;\r
356         psShapeSt->Tilt_smth          += SUBFR_SMTH_COEF * ( Tilt - psShapeSt->Tilt_smth );\r
357         psEncCtrl->Tilt[ k ]           = psShapeSt->Tilt_smth;\r
358     }\r
359 }\r