Big SILK update
[opus.git] / src_FLP / SKP_Silk_noise_shape_analysis_FLP.c
1 /***********************************************************************\r
2 Copyright (c) 2006-2010, Skype Limited. All rights reserved. \r
3 Redistribution and use in source and binary forms, with or without \r
4 modification, (subject to the limitations in the disclaimer below) \r
5 are permitted provided that the following conditions are met:\r
6 - Redistributions of source code must retain the above copyright notice,\r
7 this list of conditions and the following disclaimer.\r
8 - Redistributions in binary form must reproduce the above copyright \r
9 notice, this list of conditions and the following disclaimer in the \r
10 documentation and/or other materials provided with the distribution.\r
11 - Neither the name of Skype Limited, nor the names of specific \r
12 contributors, may be used to endorse or promote products derived from \r
13 this software without specific prior written permission.\r
14 NO EXPRESS OR IMPLIED LICENSES TO ANY PARTY'S PATENT RIGHTS ARE GRANTED \r
15 BY THIS LICENSE. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND \r
16 CONTRIBUTORS ''AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING,\r
17 BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND \r
18 FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE \r
19 COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, \r
20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT\r
21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF \r
22 USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON \r
23 ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT \r
24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE \r
25 OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.\r
26 ***********************************************************************/\r
27 \r
28 #include "SKP_Silk_main_FLP.h"\r
29 #include "SKP_Silk_tuning_parameters.h"\r
30 \r
31 /* Compute gain to make warped filter coefficients have a zero mean log frequency response on a     */\r
32 /* non-warped frequency scale. (So that it can be implemented with a minimum-phase monic filter.)   */\r
33 SKP_INLINE SKP_float warped_gain( \r
34     const SKP_float     *coefs, \r
35     SKP_float           lambda, \r
36     SKP_int             order \r
37 ) {\r
38     SKP_int   i;\r
39     SKP_float gain;\r
40 \r
41     lambda = -lambda;\r
42     gain = coefs[ order - 1 ];\r
43     for( i = order - 2; i >= 0; i-- ) {\r
44         gain = lambda * gain + coefs[ i ];\r
45     }\r
46     return (SKP_float)( 1.0f / ( 1.0f - lambda * gain ) );\r
47 }\r
48 \r
49 /* Convert warped filter coefficients to monic pseudo-warped coefficients and limit maximum     */\r
50 /* amplitude of monic warped coefficients by using bandwidth expansion on the true coefficients */\r
51 SKP_INLINE void warped_true2monic_coefs( \r
52     SKP_float           *coefs_syn,\r
53     SKP_float           *coefs_ana,\r
54     SKP_float           lambda,\r
55     SKP_float           limit,\r
56     SKP_int             order\r
57 ) {\r
58     SKP_int   i, iter, ind = 0;\r
59     SKP_float tmp, maxabs, chirp, gain_syn, gain_ana;\r
60 \r
61     /* Convert to monic coefficients */\r
62     for( i = order - 1; i > 0; i-- ) {\r
63         coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
64         coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
65     } \r
66     gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
67     gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
68     for( i = 0; i < order; i++ ) {\r
69         coefs_syn[ i ] *= gain_syn;\r
70         coefs_ana[ i ] *= gain_ana;\r
71     }\r
72 \r
73     /* Limit */\r
74     for( iter = 0; iter < 10; iter++ ) {\r
75         /* Find maximum absolute value */\r
76         maxabs = -1.0f;\r
77         for( i = 0; i < order; i++ ) {\r
78             tmp = SKP_max( SKP_abs_float( coefs_syn[ i ] ), SKP_abs_float( coefs_ana[ i ] ) );\r
79             if( tmp > maxabs ) {\r
80                 maxabs = tmp;\r
81                 ind = i;\r
82             }\r
83         }\r
84         if( maxabs <= limit ) {\r
85             /* Coefficients are within range - done */\r
86             return;\r
87         }\r
88 \r
89         /* Convert back to true warped coefficients */\r
90         for( i = 1; i < order; i++ ) {\r
91             coefs_syn[ i - 1 ] += lambda * coefs_syn[ i ];\r
92             coefs_ana[ i - 1 ] += lambda * coefs_ana[ i ];\r
93         }\r
94         gain_syn = 1.0f / gain_syn;\r
95         gain_ana = 1.0f / gain_ana;\r
96         for( i = 0; i < order; i++ ) {\r
97             coefs_syn[ i ] *= gain_syn;\r
98             coefs_ana[ i ] *= gain_ana;\r
99         }\r
100 \r
101         /* Apply bandwidth expansion */\r
102         chirp = 0.99f - ( 0.8f + 0.1f * iter ) * ( maxabs - limit ) / ( maxabs * ( ind + 1 ) );\r
103         SKP_Silk_bwexpander_FLP( coefs_syn, order, chirp );\r
104         SKP_Silk_bwexpander_FLP( coefs_ana, order, chirp );\r
105 \r
106         /* Convert to monic warped coefficients */\r
107         for( i = order - 1; i > 0; i-- ) {\r
108             coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
109             coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
110         }\r
111         gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
112         gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
113         for( i = 0; i < order; i++ ) {\r
114             coefs_syn[ i ] *= gain_syn;\r
115             coefs_ana[ i ] *= gain_ana;\r
116         }\r
117     }\r
118         SKP_assert( 0 );\r
119 }\r
120 \r
121 /* Compute noise shaping coefficients and initial gain values */\r
122 void SKP_Silk_noise_shape_analysis_FLP(\r
123     SKP_Silk_encoder_state_FLP      *psEnc,             /* I/O  Encoder state FLP                       */\r
124     SKP_Silk_encoder_control_FLP    *psEncCtrl,         /* I/O  Encoder control FLP                     */\r
125     const SKP_float                 *pitch_res,         /* I    LPC residual from pitch analysis        */\r
126     const SKP_float                 *x                  /* I    Input signal [frame_length + la_shape]  */\r
127 )\r
128 {\r
129     SKP_Silk_shape_state_FLP *psShapeSt = &psEnc->sShape;\r
130     SKP_int     k, nSamples;\r
131     SKP_float   SNR_adj_dB, HarmBoost, HarmShapeGain, Tilt;\r
132     SKP_float   nrg, pre_nrg, log_energy, log_energy_prev, energy_variation;\r
133     SKP_float   delta, BWExp1, BWExp2, gain_mult, gain_add, strength, b, warping;\r
134     SKP_float   x_windowed[ SHAPE_LPC_WIN_MAX ];\r
135     SKP_float   auto_corr[ MAX_SHAPE_LPC_ORDER + 1 ];\r
136     const SKP_float *x_ptr, *pitch_res_ptr;\r
137 \r
138     /* Point to start of first LPC analysis block */\r
139     x_ptr = x - psEnc->sCmn.la_shape;\r
140 \r
141     /****************/\r
142     /* CONTROL SNR  */\r
143     /****************/\r
144     /* Reduce SNR_dB values if recent bitstream has exceeded TargetRate */\r
145     psEncCtrl->current_SNR_dB = psEnc->SNR_dB - 0.1f * psEnc->BufferedInChannel_ms;\r
146 \r
147     /* Reduce SNR for 10 ms frames */\r
148     if( psEnc->sCmn.nb_subfr == 2 ) {\r
149         psEncCtrl->current_SNR_dB -= 1.5f;\r
150     }\r
151 \r
152     /* Reduce SNR_dB if inband FEC used */\r
153     if( psEnc->speech_activity > LBRR_SPEECH_ACTIVITY_THRES ) {\r
154         psEncCtrl->current_SNR_dB -= psEnc->inBandFEC_SNR_comp;\r
155     }\r
156 \r
157     /****************/\r
158     /* GAIN CONTROL */\r
159     /****************/\r
160     /* Input quality is the average of the quality in the lowest two VAD bands */\r
161     psEncCtrl->input_quality = 0.5f * ( psEncCtrl->input_quality_bands[ 0 ] + psEncCtrl->input_quality_bands[ 1 ] );\r
162 \r
163     /* Coding quality level, between 0.0 and 1.0 */\r
164     psEncCtrl->coding_quality = SKP_sigmoid( 0.25f * ( psEncCtrl->current_SNR_dB - 18.0f ) );\r
165 \r
166     SNR_adj_dB = psEncCtrl->current_SNR_dB;\r
167     if( psEnc->sCmn.useCBR == 0 ) {\r
168         /* Reduce coding SNR during low speech activity */\r
169         b = 1.0f - psEnc->speech_activity;\r
170         SNR_adj_dB -= BG_SNR_DECR_dB * psEncCtrl->coding_quality * ( 0.5f + 0.5f * psEncCtrl->input_quality ) * b * b;\r
171     }\r
172 \r
173     if( psEncCtrl->sCmn.sigtype == SIG_TYPE_VOICED ) {\r
174         /* Reduce gains for periodic signals */\r
175         SNR_adj_dB += HARM_SNR_INCR_dB * psEnc->LTPCorr;\r
176     } else { \r
177         /* For unvoiced signals and low-quality input, adjust the quality slower than SNR_dB setting */\r
178         SNR_adj_dB += ( -0.4f * psEncCtrl->current_SNR_dB + 6.0f ) * ( 1.0f - psEncCtrl->input_quality );\r
179     }\r
180 \r
181     /*************************/\r
182     /* SPARSENESS PROCESSING */\r
183     /*************************/\r
184     /* Set quantizer offset */\r
185     if( psEncCtrl->sCmn.sigtype == SIG_TYPE_VOICED ) {\r
186         /* Initally set to 0; may be overruled in process_gains(..) */\r
187         psEncCtrl->sCmn.QuantOffsetType = 0;\r
188         psEncCtrl->sparseness = 0.0f;\r
189     } else {\r
190         /* Sparseness measure, based on relative fluctuations of energy per 2 milliseconds */\r
191         nSamples = 2 * psEnc->sCmn.fs_kHz;\r
192         energy_variation = 0.0f;\r
193         log_energy_prev  = 0.0f;\r
194         pitch_res_ptr = pitch_res;\r
195         for( k = 0; k < SKP_SMULBB( SUB_FRAME_LENGTH_MS, psEnc->sCmn.nb_subfr ) / 2; k++ ) {\r
196             nrg = ( SKP_float )nSamples + ( SKP_float )SKP_Silk_energy_FLP( pitch_res_ptr, nSamples );\r
197             log_energy = SKP_Silk_log2( nrg );\r
198             if( k > 0 ) {\r
199                 energy_variation += SKP_abs_float( log_energy - log_energy_prev );\r
200             }\r
201             log_energy_prev = log_energy;\r
202             pitch_res_ptr += nSamples;\r
203         }\r
204         psEncCtrl->sparseness = SKP_sigmoid( 0.4f * ( energy_variation - 5.0f ) );\r
205 \r
206         /* Set quantization offset depending on sparseness measure */\r
207         if( psEncCtrl->sparseness > SPARSENESS_THRESHOLD_QNT_OFFSET ) {\r
208             psEncCtrl->sCmn.QuantOffsetType = 0;\r
209         } else {\r
210             psEncCtrl->sCmn.QuantOffsetType = 1;\r
211         }\r
212         \r
213         /* Increase coding SNR for sparse signals */\r
214         SNR_adj_dB += SPARSE_SNR_INCR_dB * ( psEncCtrl->sparseness - 0.5f );\r
215     }\r
216 \r
217     /*******************************/\r
218     /* Control bandwidth expansion */\r
219     /*******************************/\r
220     /* More BWE for signals with high prediction gain */\r
221     strength = FIND_PITCH_WHITE_NOISE_FRACTION * psEncCtrl->predGain;           /* between 0.0 and 1.0 */\r
222     BWExp1 = BWExp2 = BANDWIDTH_EXPANSION / ( 1.0f + strength * strength );\r
223     delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA * ( 1.0f - 0.75f * psEncCtrl->coding_quality );\r
224     BWExp1 -= delta;\r
225     BWExp2 += delta;\r
226     /* BWExp1 will be applied after BWExp2, so make it relative */\r
227     BWExp1 /= BWExp2;\r
228 \r
229     if( psEnc->sCmn.warping_Q16 > 0 ) {\r
230         /* Slightly more warping in analysis will move quantization noise up in frequency, where it's better masked */\r
231         warping = (SKP_float)psEnc->sCmn.warping_Q16 / 65536.0f + 0.01f * psEncCtrl->coding_quality;\r
232     } else {\r
233         warping = 0.0f;\r
234     }\r
235 \r
236     /********************************************/\r
237     /* Compute noise shaping AR coefs and gains */\r
238     /********************************************/\r
239     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
240         /* Apply window: sine slope followed by flat part followed by cosine slope */\r
241         SKP_int shift, slope_part, flat_part;\r
242         flat_part = psEnc->sCmn.fs_kHz * 3;\r
243         slope_part = ( psEnc->sCmn.shapeWinLength - flat_part ) / 2;\r
244 \r
245         SKP_Silk_apply_sine_window_FLP( x_windowed, x_ptr, 1, slope_part );\r
246         shift = slope_part;\r
247         SKP_memcpy( x_windowed + shift, x_ptr + shift, flat_part * sizeof(SKP_float) );\r
248         shift += flat_part;\r
249         SKP_Silk_apply_sine_window_FLP( x_windowed + shift, x_ptr + shift, 2, slope_part );\r
250 \r
251         /* Update pointer: next LPC analysis block */\r
252         x_ptr += psEnc->sCmn.subfr_length;\r
253 \r
254         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
255             /* Calculate warped auto correlation */\r
256             SKP_Silk_warped_autocorrelation_FLP( auto_corr, x_windowed, warping, \r
257                 psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder );\r
258         } else {\r
259             /* Calculate regular auto correlation */\r
260             SKP_Silk_autocorrelation_FLP( auto_corr, x_windowed, psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder + 1 );\r
261         }\r
262 \r
263         /* Add white noise, as a fraction of energy */\r
264         auto_corr[ 0 ] += auto_corr[ 0 ] * SHAPE_WHITE_NOISE_FRACTION; \r
265 \r
266         /* Convert correlations to prediction coefficients, and compute residual energy */\r
267         nrg = SKP_Silk_levinsondurbin_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], auto_corr, psEnc->sCmn.shapingLPCOrder );\r
268         psEncCtrl->Gains[ k ] = ( SKP_float )sqrt( nrg );\r
269 \r
270         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
271             /* Adjust gain for warping */\r
272             psEncCtrl->Gains[ k ] *= warped_gain( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], warping, psEnc->sCmn.shapingLPCOrder );\r
273         }\r
274 \r
275         /* Bandwidth expansion for synthesis filter shaping */\r
276         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp2 );\r
277 \r
278         /* Compute noise shaping filter coefficients */\r
279         SKP_memcpy(\r
280             &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
281             &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], \r
282             psEnc->sCmn.shapingLPCOrder * sizeof( SKP_float ) );\r
283 \r
284         /* Bandwidth expansion for analysis filter shaping */\r
285         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp1 );\r
286 \r
287         /* Ratio of prediction gains, in energy domain */\r
288         SKP_Silk_LPC_inverse_pred_gain_FLP( &pre_nrg, &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
289         SKP_Silk_LPC_inverse_pred_gain_FLP( &nrg,     &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
290         psEncCtrl->GainsPre[ k ] = 1.0f - 0.7f * ( 1.0f - pre_nrg / nrg );\r
291 \r
292         /* Convert to monic warped prediction coefficients and limit absolute values */\r
293         warped_true2monic_coefs( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
294             warping, 3.999f, psEnc->sCmn.shapingLPCOrder );\r
295     }\r
296 \r
297     /*****************/\r
298     /* Gain tweaking */\r
299     /*****************/\r
300     /* Increase gains during low speech activity */\r
301     gain_mult = (SKP_float)pow( 2.0f, -0.16f * SNR_adj_dB );\r
302     gain_add  = (SKP_float)pow( 2.0f,  0.16f * MIN_QGAIN_DB );\r
303     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
304         psEncCtrl->Gains[ k ] *= gain_mult;\r
305         psEncCtrl->Gains[ k ] += gain_add;\r
306     }\r
307 \r
308     gain_mult = 1.0f + INPUT_TILT + psEncCtrl->coding_quality * HIGH_RATE_INPUT_TILT;\r
309     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
310         psEncCtrl->GainsPre[ k ] *= gain_mult;\r
311     }\r
312 \r
313     /************************************************/\r
314     /* Control low-frequency shaping and noise tilt */\r
315     /************************************************/\r
316     /* Less low frequency shaping for noisy inputs */\r
317     strength = LOW_FREQ_SHAPING * ( 1.0f + LOW_QUALITY_LOW_FREQ_SHAPING_DECR * ( psEncCtrl->input_quality_bands[ 0 ] - 1.0f ) );\r
318     strength *= psEnc->speech_activity;\r
319     if( psEncCtrl->sCmn.sigtype == SIG_TYPE_VOICED ) {\r
320         /* Reduce low frequencies quantization noise for periodic signals, depending on pitch lag */\r
321         /*f = 400; freqz([1, -0.98 + 2e-4 * f], [1, -0.97 + 7e-4 * f], 2^12, Fs); axis([0, 1000, -10, 1])*/\r
322         for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
323             b = 0.2f / psEnc->sCmn.fs_kHz + 3.0f / psEncCtrl->sCmn.pitchL[ k ];\r
324             psEncCtrl->LF_MA_shp[ k ] = -1.0f + b;\r
325             psEncCtrl->LF_AR_shp[ k ] =  1.0f - b - b * strength;\r
326         }\r
327         Tilt = - HP_NOISE_COEF - \r
328             (1 - HP_NOISE_COEF) * HARM_HP_NOISE_COEF * psEnc->speech_activity;\r
329     } else {\r
330         b = 1.3f / psEnc->sCmn.fs_kHz;\r
331         psEncCtrl->LF_MA_shp[ 0 ] = -1.0f + b;\r
332         psEncCtrl->LF_AR_shp[ 0 ] =  1.0f - b - b * strength * 0.6f;\r
333         for( k = 1; k < psEnc->sCmn.nb_subfr; k++ ) {\r
334             psEncCtrl->LF_MA_shp[ k ] = psEncCtrl->LF_MA_shp[ 0 ];\r
335             psEncCtrl->LF_AR_shp[ k ] = psEncCtrl->LF_AR_shp[ 0 ];\r
336         }\r
337         Tilt = -HP_NOISE_COEF;\r
338     }\r
339 \r
340     /****************************/\r
341     /* HARMONIC SHAPING CONTROL */\r
342     /****************************/\r
343     /* Control boosting of harmonic frequencies */\r
344     HarmBoost = LOW_RATE_HARMONIC_BOOST * ( 1.0f - psEncCtrl->coding_quality ) * psEnc->LTPCorr;\r
345 \r
346     /* More harmonic boost for noisy input signals */\r
347     HarmBoost += LOW_INPUT_QUALITY_HARMONIC_BOOST * ( 1.0f - psEncCtrl->input_quality );\r
348 \r
349     if( USE_HARM_SHAPING && psEncCtrl->sCmn.sigtype == SIG_TYPE_VOICED ) {\r
350         /* Harmonic noise shaping */\r
351         HarmShapeGain = HARMONIC_SHAPING;\r
352 \r
353         /* More harmonic noise shaping for high bitrates or noisy input */\r
354         HarmShapeGain += HIGH_RATE_OR_LOW_QUALITY_HARMONIC_SHAPING * \r
355             ( 1.0f - ( 1.0f - psEncCtrl->coding_quality ) * psEncCtrl->input_quality );\r
356 \r
357         /* Less harmonic noise shaping for less periodic signals */\r
358         HarmShapeGain *= ( SKP_float )sqrt( psEnc->LTPCorr );\r
359     } else {\r
360         HarmShapeGain = 0.0f;\r
361     }\r
362 \r
363     /*************************/\r
364     /* Smooth over subframes */\r
365     /*************************/\r
366     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
367         psShapeSt->HarmBoost_smth     += SUBFR_SMTH_COEF * ( HarmBoost - psShapeSt->HarmBoost_smth );\r
368         psEncCtrl->HarmBoost[ k ]      = psShapeSt->HarmBoost_smth;\r
369         psShapeSt->HarmShapeGain_smth += SUBFR_SMTH_COEF * ( HarmShapeGain - psShapeSt->HarmShapeGain_smth );\r
370         psEncCtrl->HarmShapeGain[ k ]  = psShapeSt->HarmShapeGain_smth;\r
371         psShapeSt->Tilt_smth          += SUBFR_SMTH_COEF * ( Tilt - psShapeSt->Tilt_smth );\r
372         psEncCtrl->Tilt[ k ]           = psShapeSt->Tilt_smth;\r
373     }\r
374 }\r