Fixed a bunch of fixed-point overflows on insanely hot signals by changing
[opus.git] / libcelt / quant_bands.c
1 /* (C) 2007-2008 Jean-Marc Valin, CSIRO
2 */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7    
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10    
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14    
15    - Neither the name of the Xiph.org Foundation nor the names of its
16    contributors may be used to endorse or promote products derived from
17    this software without specific prior written permission.
18    
19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30 */
31
32 #ifdef HAVE_CONFIG_H
33 #include "config.h"
34 #endif
35
36 #include "quant_bands.h"
37 #include "laplace.h"
38 #include <math.h>
39 #include "os_support.h"
40 #include "arch.h"
41 #include "mathops.h"
42 #include "stack_alloc.h"
43
44 #ifdef FIXED_POINT
45 const celt_word16_t eMeans[24] = {11520, -2048, -3072, -640, 256, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0};
46 #else
47 const celt_word16_t eMeans[24] = {45.f, -8.f, -12.f, -2.5f, 1.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f, 0.f};
48 #endif
49
50
51 #ifdef FIXED_POINT
52 static inline celt_ener_t dB2Amp(celt_ener_t dB)
53 {
54    celt_ener_t amp;
55    if (dB>24659)
56       dB=24659;
57    amp = PSHR32(celt_exp2(MULT16_16_Q14(21771,dB)),2)-QCONST16(.3f, 14);
58    if (amp < 0)
59       amp = 0;
60    return PSHR32(amp,2);
61 }
62
63 #define DBofTWO 24661
64 static inline celt_word16_t amp2dB(celt_ener_t amp)
65 {
66    /* equivalent to return 6.0207*log2(.3+amp) */
67    return ROUND16(MULT16_16(24661,celt_log2(ADD32(QCONST32(.3f,14),SHL32(amp,2)))),12);
68    /* return DB_SCALING*20*log10(.3+ENER_SCALING_1*amp); */
69 }
70 #else
71 static inline celt_ener_t dB2Amp(celt_ener_t dB)
72 {
73    celt_ener_t amp;
74    amp = pow(10, .05*dB)-.3;
75    if (amp < 0)
76       amp = 0;
77    return amp;
78 }
79 static inline celt_word16_t amp2dB(celt_ener_t amp)
80 {
81    return 20*log10(.3+amp);
82 }
83 #endif
84
85 static const celt_word16_t base_resolution = QCONST16(6.f,8);
86
87 int *quant_prob_alloc(const CELTMode *m)
88 {
89    int i;
90    int *prob;
91    prob = celt_alloc(2*m->nbEBands*sizeof(int));
92    for (i=0;i<m->nbEBands;i++)
93    {
94       prob[2*i] = 6000-i*200;
95       prob[2*i+1] = ec_laplace_get_start_freq(prob[2*i]);
96    }
97    return prob;
98 }
99
100 void quant_prob_free(int *freq)
101 {
102    celt_free(freq);
103 }
104
105 static void quant_coarse_energy_mono(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, unsigned budget, int *prob, celt_word16_t *error, ec_enc *enc)
106 {
107    int i;
108    unsigned bits;
109    celt_word16_t prev = 0;
110    celt_word16_t coef = m->ePredCoef;
111    celt_word16_t beta;
112    /* The .7 is a heuristic */
113    beta = MULT16_16_Q15(QCONST16(.8f,15),coef);
114    
115    bits = ec_enc_tell(enc, 0);
116    /* Encode at a fixed coarse resolution */
117    for (i=0;i<m->nbEBands;i++)
118    {
119       int qi;
120       celt_word16_t q;   /* dB */
121       celt_word16_t x;   /* dB */
122       celt_word16_t f;   /* Q8 */
123       celt_word16_t mean = MULT16_16_Q15(Q15ONE-coef,eMeans[i]);
124       x = amp2dB(eBands[i]);
125       f = EXTRACT16(celt_div(SHL32(EXTEND32(x-mean-MULT16_16_Q15(coef,oldEBands[i])-prev),8),base_resolution));
126 #ifdef FIXED_POINT
127       /* Rounding to nearest integer here is really important! */
128       qi = (f+128)>>8;
129 #else
130       qi = (int)floor(.5+f);
131 #endif
132       /* If we don't have enough bits to encode all the energy, just assume something safe.
133          We allow slightly busting the budget here */
134       if (ec_enc_tell(enc, 0) - bits > budget)
135       {
136          qi = -1;
137          error[i] = 128;
138       } else {
139          ec_laplace_encode_start(enc, &qi, prob[2*i], prob[2*i+1]);
140          error[i] = f - SHL16(qi,8);
141       }
142       q = qi*base_resolution;
143       
144       oldEBands[i] = mean+MULT16_16_Q15(coef,oldEBands[i])+prev+q;
145       if (oldEBands[i] < -QCONST16(12.f,8))
146          oldEBands[i] = -QCONST16(12.f,8);
147       prev = mean+prev+MULT16_16_Q15(Q15ONE-beta,q);
148    }
149 }
150
151 static void quant_fine_energy_mono(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, celt_word16_t *error, int *fine_quant, ec_enc *enc)
152 {
153    int i;
154    /* Encode finer resolution */
155    for (i=0;i<m->nbEBands;i++)
156    {
157       int q2;
158       celt_int16_t frac = 1<<fine_quant[i];
159       celt_word16_t offset = (error[i]+QCONST16(.5f,8))*frac;
160       if (fine_quant[i] <= 0)
161          continue;
162 #ifdef FIXED_POINT
163       /* Has to be without rounding */
164       q2 = offset>>8;
165 #else
166       q2 = (int)floor(offset);
167 #endif
168       if (q2 > frac-1)
169          q2 = frac-1;
170       ec_enc_bits(enc, q2, fine_quant[i]);
171       offset = EXTRACT16(celt_div(SHL16(q2,8)+QCONST16(.5,8),frac)-QCONST16(.5f,8));
172       oldEBands[i] += PSHR32(MULT16_16(DB_SCALING*6,offset),8);
173       /*printf ("%f ", error[i] - offset);*/
174    }
175    for (i=0;i<m->nbEBands;i++)
176    {
177       eBands[i] = dB2Amp(oldEBands[i]);
178    }
179    /*printf ("%d\n", ec_enc_tell(enc, 0)-9);*/
180
181    /*printf ("\n");*/
182 }
183
184 static void unquant_coarse_energy_mono(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, unsigned budget, int *prob, ec_dec *dec)
185 {
186    int i;
187    unsigned bits;
188    celt_word16_t prev = 0;
189    celt_word16_t coef = m->ePredCoef;
190    /* The .7 is a heuristic */
191    celt_word16_t beta = MULT16_16_Q15(QCONST16(.8f,15),coef);
192    
193    bits = ec_dec_tell(dec, 0);
194    /* Decode at a fixed coarse resolution */
195    for (i=0;i<m->nbEBands;i++)
196    {
197       int qi;
198       celt_word16_t q;
199       celt_word16_t mean = MULT16_16_Q15(Q15ONE-coef,eMeans[i]);
200       /* If we didn't have enough bits to encode all the energy, just assume something safe.
201          We allow slightly busting the budget here */
202       if (ec_dec_tell(dec, 0) - bits > budget)
203          qi = -1;
204       else
205          qi = ec_laplace_decode_start(dec, prob[2*i], prob[2*i+1]);
206       q = qi*base_resolution;
207       
208       oldEBands[i] = mean+MULT16_16_Q15(coef,oldEBands[i])+prev+q;
209       if (oldEBands[i] < -QCONST16(12.f,8))
210          oldEBands[i] = -QCONST16(12.f,8);
211       
212       prev = mean+prev+MULT16_16_Q15(Q15ONE-beta,q);
213    }
214 }
215
216 static void unquant_fine_energy_mono(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, int *fine_quant, ec_dec *dec)
217 {
218    int i;
219    /* Decode finer resolution */
220    for (i=0;i<m->nbEBands;i++)
221    {
222       int q2;
223       celt_int16_t frac = 1<<fine_quant[i];
224       celt_word16_t offset;
225       if (fine_quant[i] <= 0)
226          continue;
227       q2 = ec_dec_bits(dec, fine_quant[i]);
228       offset = EXTRACT16(celt_div(SHL16(q2,8)+QCONST16(.5,8),frac)-QCONST16(.5f,8));
229       oldEBands[i] += PSHR32(MULT16_16(DB_SCALING*6,offset),8);
230    }
231    for (i=0;i<m->nbEBands;i++)
232    {
233       eBands[i] = dB2Amp(oldEBands[i]);
234    }
235    /*printf ("\n");*/
236 }
237
238
239
240 void quant_coarse_energy(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, int budget, int *prob, celt_word16_t *error, ec_enc *enc)
241 {
242    int C;
243    C = m->nbChannels;
244
245    if (C==1)
246    {
247       quant_coarse_energy_mono(m, eBands, oldEBands, budget, prob, error, enc);
248
249    } else {
250       int c;
251       for (c=0;c<C;c++)
252       {
253          int i;
254          VARDECL(celt_ener_t, E);
255          SAVE_STACK;
256          ALLOC(E, m->nbEBands, celt_ener_t);
257          for (i=0;i<m->nbEBands;i++)
258             E[i] = eBands[C*i+c];
259          quant_coarse_energy_mono(m, E, oldEBands+c*m->nbEBands, budget/C, prob, error+c*m->nbEBands, enc);
260       }
261       RESTORE_STACK;
262    }
263 }
264
265 void quant_fine_energy(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, celt_word16_t *error, int *fine_quant, ec_enc *enc)
266 {
267    int C;
268    C = m->nbChannels;
269
270    if (C==1)
271    {
272       quant_fine_energy_mono(m, eBands, oldEBands, error, fine_quant, enc);
273
274    } else {
275       int c;
276       VARDECL(celt_ener_t, E);
277       ALLOC(E, m->nbEBands, celt_ener_t);
278       for (c=0;c<C;c++)
279       {
280          int i;
281          SAVE_STACK;
282          quant_fine_energy_mono(m, E, oldEBands+c*m->nbEBands, error+c*m->nbEBands, fine_quant, enc);
283          for (i=0;i<m->nbEBands;i++)
284             eBands[C*i+c] = E[i];
285       }
286       RESTORE_STACK;
287    }
288 }
289
290
291 void unquant_coarse_energy(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, int budget, int *prob, ec_dec *dec)
292 {
293    int C;   
294
295    C = m->nbChannels;
296    if (C==1)
297    {
298       unquant_coarse_energy_mono(m, eBands, oldEBands, budget, prob, dec);
299    }
300    else {
301       int c;
302       VARDECL(celt_ener_t, E);
303       SAVE_STACK;
304       ALLOC(E, m->nbEBands, celt_ener_t);
305       for (c=0;c<C;c++)
306       {
307          unquant_coarse_energy_mono(m, E, oldEBands+c*m->nbEBands, budget/C, prob, dec);
308       }
309       RESTORE_STACK;
310    }
311 }
312
313 void unquant_fine_energy(const CELTMode *m, celt_ener_t *eBands, celt_word16_t *oldEBands, int *fine_quant, ec_dec *dec)
314 {
315    int C;   
316
317    C = m->nbChannels;
318
319    if (C==1)
320    {
321       unquant_fine_energy_mono(m, eBands, oldEBands, fine_quant, dec);
322    }
323    else {
324       int c;
325       VARDECL(celt_ener_t, E);
326       SAVE_STACK;
327       ALLOC(E, m->nbEBands, celt_ener_t);
328       for (c=0;c<C;c++)
329       {
330          int i;
331          unquant_fine_energy_mono(m, E, oldEBands+c*m->nbEBands, fine_quant, dec);
332          for (i=0;i<m->nbEBands;i++)
333             eBands[C*i+c] = E[i];
334       }
335       RESTORE_STACK;
336    }
337 }