prefilter/postfilter now forced off in Opus hybrid mode
[opus.git] / libcelt / quant_bands.c
1 /* Copyright (c) 2007-2008 CSIRO
2    Copyright (c) 2007-2009 Xiph.Org Foundation
3    Written by Jean-Marc Valin */
4 /*
5    Redistribution and use in source and binary forms, with or without
6    modification, are permitted provided that the following conditions
7    are met:
8    
9    - Redistributions of source code must retain the above copyright
10    notice, this list of conditions and the following disclaimer.
11    
12    - Redistributions in binary form must reproduce the above copyright
13    notice, this list of conditions and the following disclaimer in the
14    documentation and/or other materials provided with the distribution.
15    
16    - Neither the name of the Xiph.org Foundation nor the names of its
17    contributors may be used to endorse or promote products derived from
18    this software without specific prior written permission.
19    
20    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
23    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
24    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
25    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
26    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
27    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
28    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
29    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
30    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31 */
32
33 #ifdef HAVE_CONFIG_H
34 #include "config.h"
35 #endif
36
37 #include "quant_bands.h"
38 #include "laplace.h"
39 #include <math.h>
40 #include "os_support.h"
41 #include "arch.h"
42 #include "mathops.h"
43 #include "stack_alloc.h"
44 #include "rate.h"
45
46 #ifdef FIXED_POINT
47 /* Mean energy in each band quantized in Q6 */
48 static const signed char eMeans[25] = {
49       103,100, 92, 85, 81,
50        77, 72, 70, 78, 75,
51        73, 71, 78, 74, 69,
52        72, 70, 74, 76, 71,
53        60, 60, 60, 60, 60
54 };
55 #else
56 /* Mean energy in each band quantized in Q6 and converted back to float */
57 static const celt_word16 eMeans[25] = {
58       6.437500f, 6.250000f, 5.750000f, 5.312500f, 5.062500f,
59       4.812500f, 4.500000f, 4.375000f, 4.875000f, 4.687500f,
60       4.562500f, 4.437500f, 4.875000f, 4.625000f, 4.312500f,
61       4.500000f, 4.375000f, 4.625000f, 4.750000f, 4.437500f,
62       3.750000f, 3.750000f, 3.750000f, 3.750000f, 3.750000f
63 };
64 #endif
65 /* prediction coefficients: 0.9, 0.8, 0.65, 0.5 */
66 #ifdef FIXED_POINT
67 static const celt_word16 pred_coef[4] = {29440, 26112, 21248, 16384};
68 static const celt_word16 beta_coef[4] = {30147, 22282, 12124, 6554};
69 #else
70 static const celt_word16 pred_coef[4] = {29440/32768., 26112/32768., 21248/32768., 16384/32768.};
71 static const celt_word16 beta_coef[4] = {30147/32768., 22282/32768., 12124/32768., 6554/32768.};
72 #endif
73
74 /*Parameters of the Laplace-like probability models used for the coarse energy.
75   There is one pair of parameters for each frame size, prediction type
76    (inter/intra), and band number.
77   The first number of each pair is the probability of 0, and the second is the
78    decay rate, both in Q8 precision.*/
79 static const unsigned char e_prob_model[4][2][42] = {
80    /*120 sample frames.*/
81    {
82       /*Inter*/
83       {
84           72, 127,  65, 129,  66, 128,  65, 128,  64, 128,  62, 128,  64, 128,
85           64, 128,  92,  78,  92,  79,  92,  78,  90,  79, 116,  41, 115,  40,
86          114,  40, 132,  26, 132,  26, 145,  17, 161,  12, 176,  10, 177,  11
87       },
88       /*Intra*/
89       {
90           24, 179,  48, 138,  54, 135,  54, 132,  53, 134,  56, 133,  55, 132,
91           55, 132,  61, 114,  70,  96,  74,  88,  75,  88,  87,  74,  89,  66,
92           91,  67, 100,  59, 108,  50, 120,  40, 122,  37,  97,  43,  78,  50
93       }
94    },
95    /*240 sample frames.*/
96    {
97       /*Inter*/
98       {
99           83,  78,  84,  81,  88,  75,  86,  74,  87,  71,  90,  73,  93,  74,
100           93,  74, 109,  40, 114,  36, 117,  34, 117,  34, 143,  17, 145,  18,
101          146,  19, 162,  12, 165,  10, 178,   7, 189,   6, 190,   8, 177,   9
102       },
103       /*Intra*/
104       {
105           23, 178,  54, 115,  63, 102,  66,  98,  69,  99,  74,  89,  71,  91,
106           73,  91,  78,  89,  86,  80,  92,  66,  93,  64, 102,  59, 103,  60,
107          104,  60, 117,  52, 123,  44, 138,  35, 133,  31,  97,  38,  77,  45
108       }
109    },
110    /*480 sample frames.*/
111    {
112       /*Inter*/
113       {
114           61,  90,  93,  60, 105,  42, 107,  41, 110,  45, 116,  38, 113,  38,
115          112,  38, 124,  26, 132,  27, 136,  19, 140,  20, 155,  14, 159,  16,
116          158,  18, 170,  13, 177,  10, 187,   8, 192,   6, 175,   9, 159,  10
117       },
118       /*Intra*/
119       {
120           21, 178,  59, 110,  71,  86,  75,  85,  84,  83,  91,  66,  88,  73,
121           87,  72,  92,  75,  98,  72, 105,  58, 107,  54, 115,  52, 114,  55,
122          112,  56, 129,  51, 132,  40, 150,  33, 140,  29,  98,  35,  77,  42
123       }
124    },
125    /*960 sample frames.*/
126    {
127       /*Inter*/
128       {
129           42, 121,  96,  66, 108,  43, 111,  40, 117,  44, 123,  32, 120,  36,
130          119,  33, 127,  33, 134,  34, 139,  21, 147,  23, 152,  20, 158,  25,
131          154,  26, 166,  21, 173,  16, 184,  13, 184,  10, 150,  13, 139,  15
132       },
133       /*Intra*/
134       {
135           22, 178,  63, 114,  74,  82,  84,  83,  92,  82, 103,  62,  96,  72,
136           96,  67, 101,  73, 107,  72, 113,  55, 118,  52, 125,  52, 118,  52,
137          117,  55, 135,  49, 137,  39, 157,  32, 145,  29,  97,  33,  77,  40
138       }
139    }
140 };
141
142 static const unsigned char small_energy_icdf[3]={2,1,0};
143
144 static int intra_decision(const celt_word16 *eBands, celt_word16 *oldEBands, int start, int end, int len, int C)
145 {
146    int c, i;
147    celt_word32 dist = 0;
148    c=0; do {
149       for (i=start;i<end;i++)
150       {
151          celt_word16 d = SHR16(SUB16(eBands[i+c*len], oldEBands[i+c*len]),2);
152          dist = MAC16_16(dist, d,d);
153       }
154    } while (++c<C);
155    return SHR32(dist,2*DB_SHIFT-4) > 2*C*(end-start);
156 }
157
158 static int quant_coarse_energy_impl(const CELTMode *m, int start, int end,
159       const celt_word16 *eBands, celt_word16 *oldEBands,
160       ec_int32 budget, ec_int32 tell,
161       const unsigned char *prob_model, celt_word16 *error, ec_enc *enc,
162       int _C, int LM, int intra, celt_word16 max_decay)
163 {
164    const int C = CHANNELS(_C);
165    int i, c;
166    int badness = 0;
167    celt_word32 prev[2] = {0,0};
168    celt_word16 coef;
169    celt_word16 beta;
170
171    if (tell+3 <= budget)
172       ec_enc_bit_logp(enc, intra, 3);
173    if (intra)
174    {
175       coef = 0;
176       beta = QCONST16(.15f,15);
177    } else {
178       beta = beta_coef[LM];
179       coef = pred_coef[LM];
180    }
181
182    /* Encode at a fixed coarse resolution */
183    for (i=start;i<end;i++)
184    {
185       c=0;
186       do {
187          int bits_left;
188          int qi, qi0;
189          celt_word16 q;
190          celt_word16 x;
191          celt_word32 f;
192          x = eBands[i+c*m->nbEBands];
193 #ifdef FIXED_POINT
194          f = SHL32(EXTEND32(x),15) -MULT16_16(coef,oldEBands[i+c*m->nbEBands])-prev[c];
195          /* Rounding to nearest integer here is really important! */
196          qi = (f+QCONST32(.5,DB_SHIFT+15))>>(DB_SHIFT+15);
197 #else
198          f = x-coef*oldEBands[i+c*m->nbEBands]-prev[c];
199          /* Rounding to nearest integer here is really important! */
200          qi = (int)floor(.5f+f);
201 #endif
202          /* Prevent the energy from going down too quickly (e.g. for bands
203             that have just one bin) */
204          if (qi < 0 && x < oldEBands[i+c*m->nbEBands]-max_decay)
205          {
206             qi += (int)SHR16(oldEBands[i+c*m->nbEBands]-max_decay-x, DB_SHIFT);
207             if (qi > 0)
208                qi = 0;
209          }
210          qi0 = qi;
211          /* If we don't have enough bits to encode all the energy, just assume
212              something safe. */
213          tell = ec_enc_tell(enc, 0);
214          bits_left = budget-tell-3*C*(end-i);
215          if (i!=start && bits_left < 30)
216          {
217             if (bits_left < 24)
218                qi = IMIN(1, qi);
219             if (bits_left < 16)
220                qi = IMAX(-1, qi);
221          }
222          if (budget-tell >= 15)
223          {
224             int pi;
225             pi = 2*IMIN(i,20);
226             ec_laplace_encode(enc, &qi,
227                   prob_model[pi]<<7, prob_model[pi+1]<<6);
228          }
229          else if(budget-tell >= 2)
230          {
231             qi = IMAX(-1, IMIN(qi, 1));
232             ec_enc_icdf(enc, 2*qi^-(qi<0), small_energy_icdf, 2);
233          }
234          else if(budget-tell >= 1)
235          {
236             qi = IMIN(0, qi);
237             ec_enc_bit_logp(enc, -qi, 1);
238          }
239          else
240             qi = -1;
241          error[i+c*m->nbEBands] = PSHR32(f,15) - SHL16(qi,DB_SHIFT);
242          badness += abs(qi0-qi);
243          q = SHL16(qi,DB_SHIFT);
244          
245          oldEBands[i+c*m->nbEBands] = PSHR32(MULT16_16(coef,oldEBands[i+c*m->nbEBands]) + prev[c] + SHL32(EXTEND32(q),15), 15);
246          prev[c] = prev[c] + SHL32(EXTEND32(q),15) - MULT16_16(beta,q);
247       } while (++c < C);
248    }
249    return badness;
250 }
251
252 void quant_coarse_energy(const CELTMode *m, int start, int end, int effEnd,
253       const celt_word16 *eBands, celt_word16 *oldEBands, ec_uint32 budget,
254       celt_word16 *error, ec_enc *enc, int _C, int LM, int nbAvailableBytes,
255       int force_intra, int *delayedIntra, int two_pass)
256 {
257    const int C = CHANNELS(_C);
258    int intra;
259    celt_word16 max_decay;
260    VARDECL(celt_word16, oldEBands_intra);
261    VARDECL(celt_word16, error_intra);
262    ec_enc enc_start_state;
263    ec_byte_buffer buf_start_state;
264    ec_uint32 tell;
265    int badness1=0;
266    SAVE_STACK;
267
268    intra = force_intra || (*delayedIntra && nbAvailableBytes > end*C);
269    if (/*shortBlocks || */intra_decision(eBands, oldEBands, start, effEnd, m->nbEBands, C))
270       *delayedIntra = 1;
271    else
272       *delayedIntra = 0;
273
274    tell = ec_enc_tell(enc, 0);
275    if (tell+3 > budget)
276       two_pass = intra = 0;
277
278    /* Encode the global flags using a simple probability model
279       (first symbols in the stream) */
280
281 #ifdef FIXED_POINT
282       max_decay = MIN32(QCONST16(16,DB_SHIFT), SHL32(EXTEND32(nbAvailableBytes),DB_SHIFT-3));
283 #else
284    max_decay = MIN32(16.f, .125f*nbAvailableBytes);
285 #endif
286
287    enc_start_state = *enc;
288    buf_start_state = *(enc->buf);
289
290    ALLOC(oldEBands_intra, C*m->nbEBands, celt_word16);
291    ALLOC(error_intra, C*m->nbEBands, celt_word16);
292    CELT_COPY(oldEBands_intra, oldEBands, C*end);
293
294    if (two_pass || intra)
295    {
296       badness1 = quant_coarse_energy_impl(m, start, end, eBands, oldEBands_intra, budget,
297             tell, e_prob_model[LM][1], error_intra, enc, C, LM, 1, max_decay);
298    }
299
300    if (!intra)
301    {
302       ec_enc enc_intra_state;
303       ec_byte_buffer buf_intra_state;
304       int tell_intra;
305       ec_uint32 nstart_bytes;
306       ec_uint32 nintra_bytes;
307       int badness2;
308       VARDECL(unsigned char, intra_bits);
309
310       tell_intra = ec_enc_tell(enc, 3);
311
312       enc_intra_state = *enc;
313       buf_intra_state = *(enc->buf);
314
315       nstart_bytes = ec_byte_bytes(&buf_start_state);
316       nintra_bytes = ec_byte_bytes(&buf_intra_state);
317       ALLOC(intra_bits, nintra_bytes-nstart_bytes, unsigned char);
318       /* Copy bits from intra bit-stream */
319       CELT_COPY(intra_bits,
320             ec_byte_get_buffer(&buf_intra_state) + nstart_bytes,
321             nintra_bytes - nstart_bytes);
322
323       *enc = enc_start_state;
324       *(enc->buf) = buf_start_state;
325
326       badness2 = quant_coarse_energy_impl(m, start, end, eBands, oldEBands, budget,
327             tell, e_prob_model[LM][intra], error, enc, C, LM, 0, max_decay);
328
329       if (two_pass && (badness1 < badness2 || (badness1 == badness2 && ec_enc_tell(enc, 3) > tell_intra)))
330       {
331          *enc = enc_intra_state;
332          *(enc->buf) = buf_intra_state;
333          /* Copy intra bits to bit-stream */
334          CELT_COPY(ec_byte_get_buffer(&buf_intra_state) + nstart_bytes,
335                intra_bits, nintra_bytes - nstart_bytes);
336          CELT_COPY(oldEBands, oldEBands_intra, C*end);
337          CELT_COPY(error, error_intra, C*end);
338       }
339    } else {
340       CELT_COPY(oldEBands, oldEBands_intra, C*end);
341       CELT_COPY(error, error_intra, C*end);
342    }
343    RESTORE_STACK;
344 }
345
346 void quant_fine_energy(const CELTMode *m, int start, int end, celt_ener *eBands, celt_word16 *oldEBands, celt_word16 *error, int *fine_quant, ec_enc *enc, int _C)
347 {
348    int i, c;
349    const int C = CHANNELS(_C);
350
351    /* Encode finer resolution */
352    for (i=start;i<end;i++)
353    {
354       celt_int16 frac = 1<<fine_quant[i];
355       if (fine_quant[i] <= 0)
356          continue;
357       c=0;
358       do {
359          int q2;
360          celt_word16 offset;
361 #ifdef FIXED_POINT
362          /* Has to be without rounding */
363          q2 = (error[i+c*m->nbEBands]+QCONST16(.5f,DB_SHIFT))>>(DB_SHIFT-fine_quant[i]);
364 #else
365          q2 = (int)floor((error[i+c*m->nbEBands]+.5f)*frac);
366 #endif
367          if (q2 > frac-1)
368             q2 = frac-1;
369          if (q2<0)
370             q2 = 0;
371          ec_enc_bits(enc, q2, fine_quant[i]);
372 #ifdef FIXED_POINT
373          offset = SUB16(SHR32(SHL32(EXTEND32(q2),DB_SHIFT)+QCONST16(.5,DB_SHIFT),fine_quant[i]),QCONST16(.5f,DB_SHIFT));
374 #else
375          offset = (q2+.5f)*(1<<(14-fine_quant[i]))*(1.f/16384) - .5f;
376 #endif
377          oldEBands[i+c*m->nbEBands] += offset;
378          error[i+c*m->nbEBands] -= offset;
379          /*printf ("%f ", error[i] - offset);*/
380       } while (++c < C);
381    }
382 }
383
384 void quant_energy_finalise(const CELTMode *m, int start, int end, celt_ener *eBands, celt_word16 *oldEBands, celt_word16 *error, int *fine_quant, int *fine_priority, int bits_left, ec_enc *enc, int _C)
385 {
386    int i, prio, c;
387    const int C = CHANNELS(_C);
388
389    /* Use up the remaining bits */
390    for (prio=0;prio<2;prio++)
391    {
392       for (i=start;i<end && bits_left>=C ;i++)
393       {
394          if (fine_quant[i] >= MAX_FINE_BITS || fine_priority[i]!=prio)
395             continue;
396          c=0;
397          do {
398             int q2;
399             celt_word16 offset;
400             q2 = error[i+c*m->nbEBands]<0 ? 0 : 1;
401             ec_enc_bits(enc, q2, 1);
402 #ifdef FIXED_POINT
403             offset = SHR16(SHL16(q2,DB_SHIFT)-QCONST16(.5,DB_SHIFT),fine_quant[i]+1);
404 #else
405             offset = (q2-.5f)*(1<<(14-fine_quant[i]-1))*(1.f/16384);
406 #endif
407             oldEBands[i+c*m->nbEBands] += offset;
408             bits_left--;
409          } while (++c < C);
410       }
411    }
412 }
413
414 void unquant_coarse_energy(const CELTMode *m, int start, int end, celt_ener *eBands, celt_word16 *oldEBands, int intra, ec_dec *dec, int _C, int LM)
415 {
416    const unsigned char *prob_model = e_prob_model[LM][intra];
417    int i, c;
418    celt_word32 prev[2] = {0, 0};
419    celt_word16 coef;
420    celt_word16 beta;
421    const int C = CHANNELS(_C);
422    ec_int32 budget;
423    ec_int32 tell;
424
425
426    if (intra)
427    {
428       coef = 0;
429       beta = QCONST16(.15f,15);
430    } else {
431       beta = beta_coef[LM];
432       coef = pred_coef[LM];
433    }
434
435    budget = dec->buf->storage*8;
436
437    /* Decode at a fixed coarse resolution */
438    for (i=start;i<end;i++)
439    {
440       c=0;
441       do {
442          int qi;
443          celt_word16 q;
444          tell = ec_dec_tell(dec, 0);
445          if(budget-tell>=15)
446          {
447             int pi;
448             pi = 2*IMIN(i,20);
449             qi = ec_laplace_decode(dec,
450                   prob_model[pi]<<7, prob_model[pi+1]<<6);
451          }
452          else if(budget-tell>=2)
453          {
454             qi = ec_dec_icdf(dec, small_energy_icdf, 2);
455             qi = (qi>>1)^-(qi&1);
456          }
457          else if(budget-tell>=1)
458          {
459             qi = -ec_dec_bit_logp(dec, 1);
460          }
461          else
462             qi = -1;
463          q = SHL16(qi,DB_SHIFT);
464
465          oldEBands[i+c*m->nbEBands] = PSHR32(MULT16_16(coef,oldEBands[i+c*m->nbEBands]) + prev[c] + SHL32(EXTEND32(q),15), 15);
466          prev[c] = prev[c] + SHL32(EXTEND32(q),15) - MULT16_16(beta,q);
467       } while (++c < C);
468    }
469 }
470
471 void unquant_fine_energy(const CELTMode *m, int start, int end, celt_ener *eBands, celt_word16 *oldEBands, int *fine_quant, ec_dec *dec, int _C)
472 {
473    int i, c;
474    const int C = CHANNELS(_C);
475    /* Decode finer resolution */
476    for (i=start;i<end;i++)
477    {
478       if (fine_quant[i] <= 0)
479          continue;
480       c=0; 
481       do {
482          int q2;
483          celt_word16 offset;
484          q2 = ec_dec_bits(dec, fine_quant[i]);
485 #ifdef FIXED_POINT
486          offset = SUB16(SHR32(SHL32(EXTEND32(q2),DB_SHIFT)+QCONST16(.5,DB_SHIFT),fine_quant[i]),QCONST16(.5f,DB_SHIFT));
487 #else
488          offset = (q2+.5f)*(1<<(14-fine_quant[i]))*(1.f/16384) - .5f;
489 #endif
490          oldEBands[i+c*m->nbEBands] += offset;
491       } while (++c < C);
492    }
493 }
494
495 void unquant_energy_finalise(const CELTMode *m, int start, int end, celt_ener *eBands, celt_word16 *oldEBands, int *fine_quant,  int *fine_priority, int bits_left, ec_dec *dec, int _C)
496 {
497    int i, prio, c;
498    const int C = CHANNELS(_C);
499
500    /* Use up the remaining bits */
501    for (prio=0;prio<2;prio++)
502    {
503       for (i=start;i<end && bits_left>=C ;i++)
504       {
505          if (fine_quant[i] >= MAX_FINE_BITS || fine_priority[i]!=prio)
506             continue;
507          c=0;
508          do {
509             int q2;
510             celt_word16 offset;
511             q2 = ec_dec_bits(dec, 1);
512 #ifdef FIXED_POINT
513             offset = SHR16(SHL16(q2,DB_SHIFT)-QCONST16(.5,DB_SHIFT),fine_quant[i]+1);
514 #else
515             offset = (q2-.5f)*(1<<(14-fine_quant[i]-1))*(1.f/16384);
516 #endif
517             oldEBands[i+c*m->nbEBands] += offset;
518             bits_left--;
519          } while (++c < C);
520       }
521    }
522 }
523
524 void log2Amp(const CELTMode *m, int start, int end,
525       celt_ener *eBands, celt_word16 *oldEBands, int _C)
526 {
527    int c, i;
528    const int C = CHANNELS(_C);
529    c=0;
530    do {
531       for (i=start;i<m->nbEBands;i++)
532       {
533          celt_word16 lg = oldEBands[i+c*m->nbEBands]
534                         + SHL16((celt_word16)eMeans[i],6);
535          eBands[i+c*m->nbEBands] = PSHR32(celt_exp2(SHL16(lg,11-DB_SHIFT)),4);
536       }
537    } while (++c < C);
538 }
539
540 void amp2Log2(const CELTMode *m, int effEnd, int end,
541       celt_ener *bandE, celt_word16 *bandLogE, int _C)
542 {
543    int c, i;
544    const int C = CHANNELS(_C);
545    c=0;
546    do {
547       for (i=0;i<effEnd;i++)
548          bandLogE[i+c*m->nbEBands] =
549                celt_log2(SHL32(bandE[i+c*m->nbEBands],2))
550                - SHL16((celt_word16)eMeans[i],6);
551       for (i=effEnd;i<end;i++)
552          bandLogE[c*m->nbEBands+i] = -QCONST16(14.f,DB_SHIFT);
553    } while (++c < C);
554 }