57e09f7881b53d01cf625bc9aff73f18199ab157
[opus.git] / src_FLP / SKP_Silk_noise_shape_analysis_FLP.c
1 /***********************************************************************\r
2 Copyright (c) 2006-2010, Skype Limited. All rights reserved. \r
3 Redistribution and use in source and binary forms, with or without \r
4 modification, (subject to the limitations in the disclaimer below) \r
5 are permitted provided that the following conditions are met:\r
6 - Redistributions of source code must retain the above copyright notice,\r
7 this list of conditions and the following disclaimer.\r
8 - Redistributions in binary form must reproduce the above copyright \r
9 notice, this list of conditions and the following disclaimer in the \r
10 documentation and/or other materials provided with the distribution.\r
11 - Neither the name of Skype Limited, nor the names of specific \r
12 contributors, may be used to endorse or promote products derived from \r
13 this software without specific prior written permission.\r
14 NO EXPRESS OR IMPLIED LICENSES TO ANY PARTY'S PATENT RIGHTS ARE GRANTED \r
15 BY THIS LICENSE. THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND \r
16 CONTRIBUTORS ''AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING,\r
17 BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND \r
18 FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE \r
19 COPYRIGHT OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, \r
20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT\r
21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF \r
22 USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON \r
23 ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT \r
24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE \r
25 OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.\r
26 ***********************************************************************/\r
27 \r
28 #include "SKP_Silk_main_FLP.h"\r
29 #include "SKP_Silk_tuning_parameters.h"\r
30 \r
31 /* Compute gain to make warped filter coefficients have a zero mean log frequency response on a     */\r
32 /* non-warped frequency scale. (So that it can be implemented with a minimum-phase monic filter.)   */\r
33 SKP_INLINE SKP_float warped_gain( \r
34     const SKP_float     *coefs, \r
35     SKP_float           lambda, \r
36     SKP_int             order \r
37 ) {\r
38     SKP_int   i;\r
39     SKP_float gain;\r
40 \r
41     lambda = -lambda;\r
42     gain = coefs[ order - 1 ];\r
43     for( i = order - 2; i >= 0; i-- ) {\r
44         gain = lambda * gain + coefs[ i ];\r
45     }\r
46     return (SKP_float)( 1.0f / ( 1.0f - lambda * gain ) );\r
47 }\r
48 \r
49 /* Convert warped filter coefficients to monic pseudo-warped coefficients and limit maximum     */\r
50 /* amplitude of monic warped coefficients by using bandwidth expansion on the true coefficients */\r
51 SKP_INLINE void warped_true2monic_coefs( \r
52     SKP_float           *coefs_syn,\r
53     SKP_float           *coefs_ana,\r
54     SKP_float           lambda,\r
55     SKP_float           limit,\r
56     SKP_int             order\r
57 ) {\r
58     SKP_int   i, iter, ind = 0;\r
59     SKP_float tmp, maxabs, chirp, gain_syn, gain_ana;\r
60 \r
61     /* Convert to monic coefficients */\r
62     for( i = order - 1; i > 0; i-- ) {\r
63         coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
64         coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
65     } \r
66     gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
67     gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
68     for( i = 0; i < order; i++ ) {\r
69         coefs_syn[ i ] *= gain_syn;\r
70         coefs_ana[ i ] *= gain_ana;\r
71     }\r
72 \r
73     /* Limit */\r
74     for( iter = 0; iter < 10; iter++ ) {\r
75         /* Find maximum absolute value */\r
76         maxabs = -1.0f;\r
77         for( i = 0; i < order; i++ ) {\r
78             tmp = SKP_max( SKP_abs_float( coefs_syn[ i ] ), SKP_abs_float( coefs_ana[ i ] ) );\r
79             if( tmp > maxabs ) {\r
80                 maxabs = tmp;\r
81                 ind = i;\r
82             }\r
83         }\r
84         if( maxabs <= limit ) {\r
85             /* Coefficients are within range - done */\r
86             return;\r
87         }\r
88 \r
89         /* Convert back to true warped coefficients */\r
90         for( i = 1; i < order; i++ ) {\r
91             coefs_syn[ i - 1 ] += lambda * coefs_syn[ i ];\r
92             coefs_ana[ i - 1 ] += lambda * coefs_ana[ i ];\r
93         }\r
94         gain_syn = 1.0f / gain_syn;\r
95         gain_ana = 1.0f / gain_ana;\r
96         for( i = 0; i < order; i++ ) {\r
97             coefs_syn[ i ] *= gain_syn;\r
98             coefs_ana[ i ] *= gain_ana;\r
99         }\r
100 \r
101         /* Apply bandwidth expansion */\r
102         chirp = 0.99f - ( 0.8f + 0.1f * iter ) * ( maxabs - limit ) / ( maxabs * ( ind + 1 ) );\r
103         SKP_Silk_bwexpander_FLP( coefs_syn, order, chirp );\r
104         SKP_Silk_bwexpander_FLP( coefs_ana, order, chirp );\r
105 \r
106         /* Convert to monic warped coefficients */\r
107         for( i = order - 1; i > 0; i-- ) {\r
108             coefs_syn[ i - 1 ] -= lambda * coefs_syn[ i ];\r
109             coefs_ana[ i - 1 ] -= lambda * coefs_ana[ i ];\r
110         }\r
111         gain_syn = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_syn[ 0 ] );\r
112         gain_ana = ( 1.0f - lambda * lambda ) / ( 1.0f + lambda * coefs_ana[ 0 ] );\r
113         for( i = 0; i < order; i++ ) {\r
114             coefs_syn[ i ] *= gain_syn;\r
115             coefs_ana[ i ] *= gain_ana;\r
116         }\r
117     }\r
118         SKP_assert( 0 );\r
119 }\r
120 \r
121 /* Compute noise shaping coefficients and initial gain values */\r
122 void SKP_Silk_noise_shape_analysis_FLP(\r
123     SKP_Silk_encoder_state_FLP      *psEnc,             /* I/O  Encoder state FLP                       */\r
124     SKP_Silk_encoder_control_FLP    *psEncCtrl,         /* I/O  Encoder control FLP                     */\r
125     const SKP_float                 *pitch_res,         /* I    LPC residual from pitch analysis        */\r
126     const SKP_float                 *x                  /* I    Input signal [frame_length + la_shape]  */\r
127 )\r
128 {\r
129     SKP_Silk_shape_state_FLP *psShapeSt = &psEnc->sShape;\r
130     SKP_int     k, nSamples;\r
131     SKP_float   SNR_adj_dB, HarmBoost, HarmShapeGain, Tilt;\r
132     SKP_float   nrg, pre_nrg, log_energy, log_energy_prev, energy_variation;\r
133     SKP_float   delta, BWExp1, BWExp2, gain_mult, gain_add, strength, b, warping;\r
134     SKP_float   x_windowed[ SHAPE_LPC_WIN_MAX ];\r
135     SKP_float   auto_corr[ MAX_SHAPE_LPC_ORDER + 1 ];\r
136     const SKP_float *x_ptr, *pitch_res_ptr;\r
137 \r
138     /* Point to start of first LPC analysis block */\r
139     x_ptr = x - psEnc->sCmn.la_shape;\r
140 \r
141     /****************/\r
142     /* CONTROL SNR  */\r
143     /****************/\r
144     /* Reduce SNR_dB values if recent bitstream has exceeded TargetRate */\r
145     psEncCtrl->current_SNR_dB = psEnc->SNR_dB - 0.1f * psEnc->BufferedInChannel_ms;\r
146 \r
147     /* Reduce SNR_dB if inband FEC used */\r
148     if( psEnc->speech_activity > LBRR_SPEECH_ACTIVITY_THRES ) {\r
149         psEncCtrl->current_SNR_dB -= psEnc->inBandFEC_SNR_comp;\r
150     }\r
151 \r
152     /****************/\r
153     /* GAIN CONTROL */\r
154     /****************/\r
155     /* Input quality is the average of the quality in the lowest two VAD bands */\r
156     psEncCtrl->input_quality = 0.5f * ( psEncCtrl->input_quality_bands[ 0 ] + psEncCtrl->input_quality_bands[ 1 ] );\r
157 \r
158     /* Coding quality level, between 0.0 and 1.0 */\r
159     psEncCtrl->coding_quality = SKP_sigmoid( 0.25f * ( psEncCtrl->current_SNR_dB - 18.0f ) );\r
160 \r
161     SNR_adj_dB = psEncCtrl->current_SNR_dB;\r
162     if( psEnc->sCmn.useCBR == 0 ) {\r
163         /* Reduce coding SNR during low speech activity */\r
164         b = 1.0f - psEnc->speech_activity;\r
165         SNR_adj_dB -= BG_SNR_DECR_dB * psEncCtrl->coding_quality * ( 0.5f + 0.5f * psEncCtrl->input_quality ) * b * b;\r
166     }\r
167 \r
168     if( psEncCtrl->sCmn.signalType == TYPE_VOICED ) {\r
169         /* Reduce gains for periodic signals */\r
170         SNR_adj_dB += HARM_SNR_INCR_dB * psEnc->LTPCorr;\r
171     } else { \r
172         /* For unvoiced signals and low-quality input, adjust the quality slower than SNR_dB setting */\r
173         SNR_adj_dB += ( -0.4f * psEncCtrl->current_SNR_dB + 6.0f ) * ( 1.0f - psEncCtrl->input_quality );\r
174     }\r
175 \r
176     /*************************/\r
177     /* SPARSENESS PROCESSING */\r
178     /*************************/\r
179     /* Set quantizer offset */\r
180     if( psEncCtrl->sCmn.signalType == TYPE_VOICED ) {\r
181         /* Initally set to 0; may be overruled in process_gains(..) */\r
182         psEncCtrl->sCmn.quantOffsetType = 0;\r
183         psEncCtrl->sparseness = 0.0f;\r
184     } else {\r
185         /* Sparseness measure, based on relative fluctuations of energy per 2 milliseconds */\r
186         nSamples = 2 * psEnc->sCmn.fs_kHz;\r
187         energy_variation = 0.0f;\r
188         log_energy_prev  = 0.0f;\r
189         pitch_res_ptr = pitch_res;\r
190         for( k = 0; k < SKP_SMULBB( SUB_FRAME_LENGTH_MS, psEnc->sCmn.nb_subfr ) / 2; k++ ) {\r
191             nrg = ( SKP_float )nSamples + ( SKP_float )SKP_Silk_energy_FLP( pitch_res_ptr, nSamples );\r
192             log_energy = SKP_Silk_log2( nrg );\r
193             if( k > 0 ) {\r
194                 energy_variation += SKP_abs_float( log_energy - log_energy_prev );\r
195             }\r
196             log_energy_prev = log_energy;\r
197             pitch_res_ptr += nSamples;\r
198         }\r
199         psEncCtrl->sparseness = SKP_sigmoid( 0.4f * ( energy_variation - 5.0f ) );\r
200 \r
201         /* Set quantization offset depending on sparseness measure */\r
202         if( psEncCtrl->sparseness > SPARSENESS_THRESHOLD_QNT_OFFSET ) {\r
203             psEncCtrl->sCmn.quantOffsetType = 0;\r
204         } else {\r
205             psEncCtrl->sCmn.quantOffsetType = 1;\r
206         }\r
207         \r
208         /* Increase coding SNR for sparse signals */\r
209         SNR_adj_dB += SPARSE_SNR_INCR_dB * ( psEncCtrl->sparseness - 0.5f );\r
210     }\r
211 \r
212     /*******************************/\r
213     /* Control bandwidth expansion */\r
214     /*******************************/\r
215     /* More BWE for signals with high prediction gain */\r
216     strength = FIND_PITCH_WHITE_NOISE_FRACTION * psEncCtrl->predGain;           /* between 0.0 and 1.0 */\r
217     BWExp1 = BWExp2 = BANDWIDTH_EXPANSION / ( 1.0f + strength * strength );\r
218     delta  = LOW_RATE_BANDWIDTH_EXPANSION_DELTA * ( 1.0f - 0.75f * psEncCtrl->coding_quality );\r
219     BWExp1 -= delta;\r
220     BWExp2 += delta;\r
221     /* BWExp1 will be applied after BWExp2, so make it relative */\r
222     BWExp1 /= BWExp2;\r
223 \r
224     if( psEnc->sCmn.warping_Q16 > 0 ) {\r
225         /* Slightly more warping in analysis will move quantization noise up in frequency, where it's better masked */\r
226         warping = (SKP_float)psEnc->sCmn.warping_Q16 / 65536.0f + 0.01f * psEncCtrl->coding_quality;\r
227     } else {\r
228         warping = 0.0f;\r
229     }\r
230 \r
231     /********************************************/\r
232     /* Compute noise shaping AR coefs and gains */\r
233     /********************************************/\r
234     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
235         /* Apply window: sine slope followed by flat part followed by cosine slope */\r
236         SKP_int shift, slope_part, flat_part;\r
237         flat_part = psEnc->sCmn.fs_kHz * 3;\r
238         slope_part = ( psEnc->sCmn.shapeWinLength - flat_part ) / 2;\r
239 \r
240         SKP_Silk_apply_sine_window_FLP( x_windowed, x_ptr, 1, slope_part );\r
241         shift = slope_part;\r
242         SKP_memcpy( x_windowed + shift, x_ptr + shift, flat_part * sizeof(SKP_float) );\r
243         shift += flat_part;\r
244         SKP_Silk_apply_sine_window_FLP( x_windowed + shift, x_ptr + shift, 2, slope_part );\r
245 \r
246         /* Update pointer: next LPC analysis block */\r
247         x_ptr += psEnc->sCmn.subfr_length;\r
248 \r
249         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
250             /* Calculate warped auto correlation */\r
251             SKP_Silk_warped_autocorrelation_FLP( auto_corr, x_windowed, warping, \r
252                 psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder );\r
253         } else {\r
254             /* Calculate regular auto correlation */\r
255             SKP_Silk_autocorrelation_FLP( auto_corr, x_windowed, psEnc->sCmn.shapeWinLength, psEnc->sCmn.shapingLPCOrder + 1 );\r
256         }\r
257 \r
258         /* Add white noise, as a fraction of energy */\r
259         auto_corr[ 0 ] += auto_corr[ 0 ] * SHAPE_WHITE_NOISE_FRACTION; \r
260 \r
261         /* Convert correlations to prediction coefficients, and compute residual energy */\r
262         nrg = SKP_Silk_levinsondurbin_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], auto_corr, psEnc->sCmn.shapingLPCOrder );\r
263         psEncCtrl->Gains[ k ] = ( SKP_float )sqrt( nrg );\r
264 \r
265         if( psEnc->sCmn.warping_Q16 > 0 ) {\r
266             /* Adjust gain for warping */\r
267             psEncCtrl->Gains[ k ] *= warped_gain( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], warping, psEnc->sCmn.shapingLPCOrder );\r
268         }\r
269 \r
270         /* Bandwidth expansion for synthesis filter shaping */\r
271         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp2 );\r
272 \r
273         /* Compute noise shaping filter coefficients */\r
274         SKP_memcpy(\r
275             &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
276             &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], \r
277             psEnc->sCmn.shapingLPCOrder * sizeof( SKP_float ) );\r
278 \r
279         /* Bandwidth expansion for analysis filter shaping */\r
280         SKP_Silk_bwexpander_FLP( &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder, BWExp1 );\r
281 \r
282         /* Ratio of prediction gains, in energy domain */\r
283         SKP_Silk_LPC_inverse_pred_gain_FLP( &pre_nrg, &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
284         SKP_Silk_LPC_inverse_pred_gain_FLP( &nrg,     &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], psEnc->sCmn.shapingLPCOrder );\r
285         psEncCtrl->GainsPre[ k ] = 1.0f - 0.7f * ( 1.0f - pre_nrg / nrg );\r
286 \r
287         /* Convert to monic warped prediction coefficients and limit absolute values */\r
288         warped_true2monic_coefs( &psEncCtrl->AR2[ k * MAX_SHAPE_LPC_ORDER ], &psEncCtrl->AR1[ k * MAX_SHAPE_LPC_ORDER ], \r
289             warping, 3.999f, psEnc->sCmn.shapingLPCOrder );\r
290     }\r
291 \r
292     /*****************/\r
293     /* Gain tweaking */\r
294     /*****************/\r
295     /* Increase gains during low speech activity */\r
296     gain_mult = (SKP_float)pow( 2.0f, -0.16f * SNR_adj_dB );\r
297     gain_add  = (SKP_float)pow( 2.0f,  0.16f * MIN_QGAIN_DB );\r
298     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
299         psEncCtrl->Gains[ k ] *= gain_mult;\r
300         psEncCtrl->Gains[ k ] += gain_add;\r
301     }\r
302 \r
303     gain_mult = 1.0f + INPUT_TILT + psEncCtrl->coding_quality * HIGH_RATE_INPUT_TILT;\r
304     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
305         psEncCtrl->GainsPre[ k ] *= gain_mult;\r
306     }\r
307 \r
308     /************************************************/\r
309     /* Control low-frequency shaping and noise tilt */\r
310     /************************************************/\r
311     /* Less low frequency shaping for noisy inputs */\r
312     strength = LOW_FREQ_SHAPING * ( 1.0f + LOW_QUALITY_LOW_FREQ_SHAPING_DECR * ( psEncCtrl->input_quality_bands[ 0 ] - 1.0f ) );\r
313     strength *= psEnc->speech_activity;\r
314     if( psEncCtrl->sCmn.signalType == TYPE_VOICED ) {\r
315         /* Reduce low frequencies quantization noise for periodic signals, depending on pitch lag */\r
316         /*f = 400; freqz([1, -0.98 + 2e-4 * f], [1, -0.97 + 7e-4 * f], 2^12, Fs); axis([0, 1000, -10, 1])*/\r
317         for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
318             b = 0.2f / psEnc->sCmn.fs_kHz + 3.0f / psEncCtrl->sCmn.pitchL[ k ];\r
319             psEncCtrl->LF_MA_shp[ k ] = -1.0f + b;\r
320             psEncCtrl->LF_AR_shp[ k ] =  1.0f - b - b * strength;\r
321         }\r
322         Tilt = - HP_NOISE_COEF - \r
323             (1 - HP_NOISE_COEF) * HARM_HP_NOISE_COEF * psEnc->speech_activity;\r
324     } else {\r
325         b = 1.3f / psEnc->sCmn.fs_kHz;\r
326         psEncCtrl->LF_MA_shp[ 0 ] = -1.0f + b;\r
327         psEncCtrl->LF_AR_shp[ 0 ] =  1.0f - b - b * strength * 0.6f;\r
328         for( k = 1; k < psEnc->sCmn.nb_subfr; k++ ) {\r
329             psEncCtrl->LF_MA_shp[ k ] = psEncCtrl->LF_MA_shp[ 0 ];\r
330             psEncCtrl->LF_AR_shp[ k ] = psEncCtrl->LF_AR_shp[ 0 ];\r
331         }\r
332         Tilt = -HP_NOISE_COEF;\r
333     }\r
334 \r
335     /****************************/\r
336     /* HARMONIC SHAPING CONTROL */\r
337     /****************************/\r
338     /* Control boosting of harmonic frequencies */\r
339     HarmBoost = LOW_RATE_HARMONIC_BOOST * ( 1.0f - psEncCtrl->coding_quality ) * psEnc->LTPCorr;\r
340 \r
341     /* More harmonic boost for noisy input signals */\r
342     HarmBoost += LOW_INPUT_QUALITY_HARMONIC_BOOST * ( 1.0f - psEncCtrl->input_quality );\r
343 \r
344     if( USE_HARM_SHAPING && psEncCtrl->sCmn.signalType == TYPE_VOICED ) {\r
345         /* Harmonic noise shaping */\r
346         HarmShapeGain = HARMONIC_SHAPING;\r
347 \r
348         /* More harmonic noise shaping for high bitrates or noisy input */\r
349         HarmShapeGain += HIGH_RATE_OR_LOW_QUALITY_HARMONIC_SHAPING * \r
350             ( 1.0f - ( 1.0f - psEncCtrl->coding_quality ) * psEncCtrl->input_quality );\r
351 \r
352         /* Less harmonic noise shaping for less periodic signals */\r
353         HarmShapeGain *= ( SKP_float )sqrt( psEnc->LTPCorr );\r
354     } else {\r
355         HarmShapeGain = 0.0f;\r
356     }\r
357 \r
358     /*************************/\r
359     /* Smooth over subframes */\r
360     /*************************/\r
361     for( k = 0; k < psEnc->sCmn.nb_subfr; k++ ) {\r
362         psShapeSt->HarmBoost_smth     += SUBFR_SMTH_COEF * ( HarmBoost - psShapeSt->HarmBoost_smth );\r
363         psEncCtrl->HarmBoost[ k ]      = psShapeSt->HarmBoost_smth;\r
364         psShapeSt->HarmShapeGain_smth += SUBFR_SMTH_COEF * ( HarmShapeGain - psShapeSt->HarmShapeGain_smth );\r
365         psEncCtrl->HarmShapeGain[ k ]  = psShapeSt->HarmShapeGain_smth;\r
366         psShapeSt->Tilt_smth          += SUBFR_SMTH_COEF * ( Tilt - psShapeSt->Tilt_smth );\r
367         psEncCtrl->Tilt[ k ]           = psShapeSt->Tilt_smth;\r
368     }\r
369 }\r