Add run-time CPU detection and support for ARM architecture
[opus.git] / celt / celt_encoder.c
1 /* Copyright (c) 2007-2008 CSIRO
2    Copyright (c) 2007-2010 Xiph.Org Foundation
3    Copyright (c) 2008 Gregory Maxwell
4    Written by Jean-Marc Valin and Gregory Maxwell */
5 /*
6    Redistribution and use in source and binary forms, with or without
7    modification, are permitted provided that the following conditions
8    are met:
9
10    - Redistributions of source code must retain the above copyright
11    notice, this list of conditions and the following disclaimer.
12
13    - Redistributions in binary form must reproduce the above copyright
14    notice, this list of conditions and the following disclaimer in the
15    documentation and/or other materials provided with the distribution.
16
17    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20    A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER
21    OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
22    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
23    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
24    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
25    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
26    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
27    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28 */
29
30 #ifdef HAVE_CONFIG_H
31 #include "config.h"
32 #endif
33
34 #define CELT_ENCODER_C
35
36 #include "cpu_support.h"
37 #include "os_support.h"
38 #include "mdct.h"
39 #include <math.h>
40 #include "celt.h"
41 #include "pitch.h"
42 #include "bands.h"
43 #include "modes.h"
44 #include "entcode.h"
45 #include "quant_bands.h"
46 #include "rate.h"
47 #include "stack_alloc.h"
48 #include "mathops.h"
49 #include "float_cast.h"
50 #include <stdarg.h>
51 #include "celt_lpc.h"
52 #include "vq.h"
53
54
55 /** Encoder state
56  @brief Encoder state
57  */
58 struct OpusCustomEncoder {
59    const OpusCustomMode *mode;     /**< Mode used by the encoder */
60    int overlap;
61    int channels;
62    int stream_channels;
63
64    int force_intra;
65    int clip;
66    int disable_pf;
67    int complexity;
68    int upsample;
69    int start, end;
70
71    opus_int32 bitrate;
72    int vbr;
73    int signalling;
74    int constrained_vbr;      /* If zero, VBR can do whatever it likes with the rate */
75    int loss_rate;
76    int lsb_depth;
77    int variable_duration;
78    int lfe;
79    int arch;
80
81    /* Everything beyond this point gets cleared on a reset */
82 #define ENCODER_RESET_START rng
83
84    opus_uint32 rng;
85    int spread_decision;
86    opus_val32 delayedIntra;
87    int tonal_average;
88    int lastCodedBands;
89    int hf_average;
90    int tapset_decision;
91
92    int prefilter_period;
93    opus_val16 prefilter_gain;
94    int prefilter_tapset;
95 #ifdef RESYNTH
96    int prefilter_period_old;
97    opus_val16 prefilter_gain_old;
98    int prefilter_tapset_old;
99 #endif
100    int consec_transient;
101    AnalysisInfo analysis;
102
103    opus_val32 preemph_memE[2];
104    opus_val32 preemph_memD[2];
105
106    /* VBR-related parameters */
107    opus_int32 vbr_reservoir;
108    opus_int32 vbr_drift;
109    opus_int32 vbr_offset;
110    opus_int32 vbr_count;
111    opus_val32 overlap_max;
112    opus_val16 stereo_saving;
113    int intensity;
114    opus_val16 *energy_save;
115    opus_val16 *energy_mask;
116
117 #ifdef RESYNTH
118    /* +MAX_PERIOD/2 to make space for overlap */
119    celt_sig syn_mem[2][2*MAX_PERIOD+MAX_PERIOD/2];
120 #endif
121
122    celt_sig in_mem[1]; /* Size = channels*mode->overlap */
123    /* celt_sig prefilter_mem[],  Size = channels*COMBFILTER_MAXPERIOD */
124    /* opus_val16 oldBandE[],     Size = channels*mode->nbEBands */
125    /* opus_val16 oldLogE[],      Size = channels*mode->nbEBands */
126    /* opus_val16 oldLogE2[],     Size = channels*mode->nbEBands */
127 };
128
129 int celt_encoder_get_size(int channels)
130 {
131    CELTMode *mode = opus_custom_mode_create(48000, 960, NULL);
132    return opus_custom_encoder_get_size(mode, channels);
133 }
134
135 OPUS_CUSTOM_NOSTATIC int opus_custom_encoder_get_size(const CELTMode *mode, int channels)
136 {
137    int size = sizeof(struct CELTEncoder)
138          + (channels*mode->overlap-1)*sizeof(celt_sig)    /* celt_sig in_mem[channels*mode->overlap]; */
139          + channels*COMBFILTER_MAXPERIOD*sizeof(celt_sig) /* celt_sig prefilter_mem[channels*COMBFILTER_MAXPERIOD]; */
140          + 3*channels*mode->nbEBands*sizeof(opus_val16);  /* opus_val16 oldBandE[channels*mode->nbEBands]; */
141                                                           /* opus_val16 oldLogE[channels*mode->nbEBands]; */
142                                                           /* opus_val16 oldLogE2[channels*mode->nbEBands]; */
143    return size;
144 }
145
146 #ifdef CUSTOM_MODES
147 CELTEncoder *opus_custom_encoder_create(const CELTMode *mode, int channels, int *error)
148 {
149    int ret;
150    CELTEncoder *st = (CELTEncoder *)opus_alloc(opus_custom_encoder_get_size(mode, channels));
151    /* init will handle the NULL case */
152    ret = opus_custom_encoder_init(st, mode, channels);
153    if (ret != OPUS_OK)
154    {
155       opus_custom_encoder_destroy(st);
156       st = NULL;
157    }
158    if (error)
159       *error = ret;
160    return st;
161 }
162 #endif /* CUSTOM_MODES */
163
164 int celt_encoder_init(CELTEncoder *st, opus_int32 sampling_rate, int channels)
165 {
166    int ret;
167    ret = opus_custom_encoder_init(st, opus_custom_mode_create(48000, 960, NULL), channels);
168    if (ret != OPUS_OK)
169       return ret;
170    st->upsample = resampling_factor(sampling_rate);
171    return OPUS_OK;
172 }
173
174 OPUS_CUSTOM_NOSTATIC int opus_custom_encoder_init(CELTEncoder *st, const CELTMode *mode, int channels)
175 {
176    if (channels < 0 || channels > 2)
177       return OPUS_BAD_ARG;
178
179    if (st==NULL || mode==NULL)
180       return OPUS_ALLOC_FAIL;
181
182    OPUS_CLEAR((char*)st, opus_custom_encoder_get_size(mode, channels));
183
184    st->mode = mode;
185    st->overlap = mode->overlap;
186    st->stream_channels = st->channels = channels;
187
188    st->upsample = 1;
189    st->start = 0;
190    st->end = st->mode->effEBands;
191    st->signalling = 1;
192
193    st->arch = opus_select_arch();
194
195    st->constrained_vbr = 1;
196    st->clip = 1;
197
198    st->bitrate = OPUS_BITRATE_MAX;
199    st->vbr = 0;
200    st->force_intra  = 0;
201    st->complexity = 5;
202    st->lsb_depth=24;
203
204    opus_custom_encoder_ctl(st, OPUS_RESET_STATE);
205
206    return OPUS_OK;
207 }
208
209 #ifdef CUSTOM_MODES
210 void opus_custom_encoder_destroy(CELTEncoder *st)
211 {
212    opus_free(st);
213 }
214 #endif /* CUSTOM_MODES */
215
216
217 static int transient_analysis(const opus_val32 * OPUS_RESTRICT in, int len, int C,
218                               opus_val16 *tf_estimate, int *tf_chan)
219 {
220    int i;
221    VARDECL(opus_val16, tmp);
222    opus_val32 mem0,mem1;
223    int is_transient = 0;
224    opus_int32 mask_metric = 0;
225    int c;
226    opus_val16 tf_max;
227    int len2;
228    /* Table of 6*64/x, trained on real data to minimize the average error */
229    static const unsigned char inv_table[128] = {
230          255,255,156,110, 86, 70, 59, 51, 45, 40, 37, 33, 31, 28, 26, 25,
231           23, 22, 21, 20, 19, 18, 17, 16, 16, 15, 15, 14, 13, 13, 12, 12,
232           12, 12, 11, 11, 11, 10, 10, 10,  9,  9,  9,  9,  9,  9,  8,  8,
233            8,  8,  8,  7,  7,  7,  7,  7,  7,  6,  6,  6,  6,  6,  6,  6,
234            6,  6,  6,  6,  6,  6,  6,  6,  6,  5,  5,  5,  5,  5,  5,  5,
235            5,  5,  5,  5,  5,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,
236            4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  4,  3,  3,
237            3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  3,  2,
238    };
239    SAVE_STACK;
240    ALLOC(tmp, len, opus_val16);
241
242    len2=len/2;
243    tf_max = 0;
244    for (c=0;c<C;c++)
245    {
246       opus_val32 mean;
247       opus_int32 unmask=0;
248       opus_val32 norm;
249       opus_val16 maxE;
250       mem0=0;
251       mem1=0;
252       /* High-pass filter: (1 - 2*z^-1 + z^-2) / (1 - z^-1 + .5*z^-2) */
253       for (i=0;i<len;i++)
254       {
255          opus_val32 x,y;
256          x = SHR32(in[i+c*len],SIG_SHIFT);
257          y = ADD32(mem0, x);
258 #ifdef FIXED_POINT
259          mem0 = mem1 + y - SHL32(x,1);
260          mem1 = x - SHR32(y,1);
261 #else
262          mem0 = mem1 + y - 2*x;
263          mem1 = x - .5f*y;
264 #endif
265          tmp[i] = EXTRACT16(SHR32(y,2));
266          /*printf("%f ", tmp[i]);*/
267       }
268       /*printf("\n");*/
269       /* First few samples are bad because we don't propagate the memory */
270       for (i=0;i<12;i++)
271          tmp[i] = 0;
272
273 #ifdef FIXED_POINT
274       /* Normalize tmp to max range */
275       {
276          int shift=0;
277          shift = 14-celt_ilog2(1+celt_maxabs16(tmp, len));
278          if (shift!=0)
279          {
280             for (i=0;i<len;i++)
281                tmp[i] = SHL16(tmp[i], shift);
282          }
283       }
284 #endif
285
286       mean=0;
287       mem0=0;
288       /* Grouping by two to reduce complexity */
289       /* Forward pass to compute the post-echo threshold*/
290       for (i=0;i<len2;i++)
291       {
292          opus_val16 x2 = PSHR32(MULT16_16(tmp[2*i],tmp[2*i]) + MULT16_16(tmp[2*i+1],tmp[2*i+1]),16);
293          mean += x2;
294 #ifdef FIXED_POINT
295          /* FIXME: Use PSHR16() instead */
296          tmp[i] = mem0 + PSHR32(x2-mem0,4);
297 #else
298          tmp[i] = mem0 + MULT16_16_P15(QCONST16(.0625f,15),x2-mem0);
299 #endif
300          mem0 = tmp[i];
301       }
302
303       mem0=0;
304       maxE=0;
305       /* Backward pass to compute the pre-echo threshold */
306       for (i=len2-1;i>=0;i--)
307       {
308 #ifdef FIXED_POINT
309          /* FIXME: Use PSHR16() instead */
310          tmp[i] = mem0 + PSHR32(tmp[i]-mem0,3);
311 #else
312          tmp[i] = mem0 + MULT16_16_P15(QCONST16(0.125f,15),tmp[i]-mem0);
313 #endif
314          mem0 = tmp[i];
315          maxE = MAX16(maxE, mem0);
316       }
317       /*for (i=0;i<len2;i++)printf("%f ", tmp[i]/mean);printf("\n");*/
318
319       /* Compute the ratio of the "frame energy" over the harmonic mean of the energy.
320          This essentially corresponds to a bitrate-normalized temporal noise-to-mask
321          ratio */
322
323       /* As a compromise with the old transient detector, frame energy is the
324          geometric mean of the energy and half the max */
325 #ifdef FIXED_POINT
326       /* Costs two sqrt() to avoid overflows */
327       mean = MULT16_16(celt_sqrt(mean), celt_sqrt(MULT16_16(maxE,len2>>1)));
328 #else
329       mean = celt_sqrt(mean * maxE*.5*len2);
330 #endif
331       /* Inverse of the mean energy in Q15+6 */
332       norm = SHL32(EXTEND32(len2),6+14)/ADD32(EPSILON,SHR32(mean,1));
333       /* Compute harmonic mean discarding the unreliable boundaries
334          The data is smooth, so we only take 1/4th of the samples */
335       unmask=0;
336       for (i=12;i<len2-5;i+=4)
337       {
338          int id;
339 #ifdef FIXED_POINT
340          id = IMAX(0,IMIN(127,MULT16_32_Q15(tmp[i],norm))); /* Do not round to nearest */
341 #else
342          id = IMAX(0,IMIN(127,(int)floor(64*norm*tmp[i]))); /* Do not round to nearest */
343 #endif
344          unmask += inv_table[id];
345       }
346       /*printf("%d\n", unmask);*/
347       /* Normalize, compensate for the 1/4th of the sample and the factor of 6 in the inverse table */
348       unmask = 64*unmask*4/(6*(len2-17));
349       if (unmask>mask_metric)
350       {
351          *tf_chan = c;
352          mask_metric = unmask;
353       }
354    }
355    is_transient = mask_metric>200;
356
357    /* Arbitrary metric for VBR boost */
358    tf_max = MAX16(0,celt_sqrt(27*mask_metric)-42);
359    /* *tf_estimate = 1 + MIN16(1, sqrt(MAX16(0, tf_max-30))/20); */
360    *tf_estimate = celt_sqrt(MAX16(0, SHL32(MULT16_16(QCONST16(0.0069,14),MIN16(163,tf_max)),14)-QCONST32(0.139,28)));
361    /*printf("%d %f\n", tf_max, mask_metric);*/
362    RESTORE_STACK;
363 #ifdef FUZZING
364    is_transient = rand()&0x1;
365 #endif
366    /*printf("%d %f %d\n", is_transient, (float)*tf_estimate, tf_max);*/
367    return is_transient;
368 }
369
370 /* Looks for sudden increases of energy to decide whether we need to patch
371    the transient decision */
372 int patch_transient_decision(opus_val16 *new, opus_val16 *old, int nbEBands,
373       int end, int C)
374 {
375    int i, c;
376    opus_val32 mean_diff=0;
377    opus_val16 spread_old[26];
378    /* Apply an aggressive (-6 dB/Bark) spreading function to the old frame to
379       avoid false detection caused by irrelevant bands */
380    if (C==1)
381    {
382       spread_old[0] = old[0];
383       for (i=1;i<end;i++)
384          spread_old[i] = MAX16(spread_old[i-1]-QCONST16(1.0f, DB_SHIFT), old[i]);
385    } else {
386       spread_old[0] = MAX16(old[0],old[nbEBands]);
387       for (i=1;i<end;i++)
388          spread_old[i] = MAX16(spread_old[i-1]-QCONST16(1.0f, DB_SHIFT),
389                                MAX16(old[i],old[i+nbEBands]));
390    }
391    for (i=end-2;i>=0;i--)
392       spread_old[i] = MAX16(spread_old[i], spread_old[i+1]-QCONST16(1.0f, DB_SHIFT));
393    /* Compute mean increase */
394    c=0; do {
395       for (i=2;i<end-1;i++)
396       {
397          opus_val16 x1, x2;
398          x1 = MAX16(0, new[i]);
399          x2 = MAX16(0, spread_old[i]);
400          mean_diff = ADD32(mean_diff, EXTEND32(MAX16(0, SUB16(x1, x2))));
401       }
402    } while (++c<C);
403    mean_diff = DIV32(mean_diff, C*(end-3));
404    /*printf("%f %f %d\n", mean_diff, max_diff, count);*/
405    return mean_diff > QCONST16(1.f, DB_SHIFT);
406 }
407
408 /** Apply window and compute the MDCT for all sub-frames and
409     all channels in a frame */
410 static void compute_mdcts(const CELTMode *mode, int shortBlocks, celt_sig * OPUS_RESTRICT in,
411                           celt_sig * OPUS_RESTRICT out, int C, int CC, int LM, int upsample)
412 {
413    const int overlap = OVERLAP(mode);
414    int N;
415    int B;
416    int shift;
417    int i, b, c;
418    if (shortBlocks)
419    {
420       B = shortBlocks;
421       N = mode->shortMdctSize;
422       shift = mode->maxLM;
423    } else {
424       B = 1;
425       N = mode->shortMdctSize<<LM;
426       shift = mode->maxLM-LM;
427    }
428    c=0; do {
429       for (b=0;b<B;b++)
430       {
431          /* Interleaving the sub-frames while doing the MDCTs */
432          clt_mdct_forward(&mode->mdct, in+c*(B*N+overlap)+b*N, &out[b+c*N*B], mode->window, overlap, shift, B);
433       }
434    } while (++c<CC);
435    if (CC==2&&C==1)
436    {
437       for (i=0;i<B*N;i++)
438          out[i] = ADD32(HALF32(out[i]), HALF32(out[B*N+i]));
439    }
440    if (upsample != 1)
441    {
442       c=0; do
443       {
444          int bound = B*N/upsample;
445          for (i=0;i<bound;i++)
446             out[c*B*N+i] *= upsample;
447          for (;i<B*N;i++)
448             out[c*B*N+i] = 0;
449       } while (++c<C);
450    }
451 }
452
453
454 static void preemphasis(const opus_val16 * OPUS_RESTRICT pcmp, celt_sig * OPUS_RESTRICT inp,
455                         int N, int CC, int upsample, const opus_val16 *coef, celt_sig *mem, int clip)
456 {
457    int i;
458    opus_val16 coef0;
459    celt_sig m;
460    int Nu;
461
462    coef0 = coef[0];
463
464
465    Nu = N/upsample;
466    if (upsample!=1)
467    {
468       for (i=0;i<N;i++)
469          inp[i] = 0;
470    }
471    for (i=0;i<Nu;i++)
472    {
473       celt_sig x;
474
475       x = SCALEIN(pcmp[CC*i]);
476 #ifndef FIXED_POINT
477       /* Replace NaNs with zeros */
478       if (!(x==x))
479          x = 0;
480 #endif
481       inp[i*upsample] = x;
482    }
483
484 #ifndef FIXED_POINT
485    if (clip)
486    {
487       /* Clip input to avoid encoding non-portable files */
488       for (i=0;i<Nu;i++)
489          inp[i*upsample] = MAX32(-65536.f, MIN32(65536.f,inp[i*upsample]));
490    }
491 #endif
492    m = *mem;
493 #ifdef CUSTOM_MODES
494    if (coef[1] != 0)
495    {
496       opus_val16 coef1 = coef[1];
497       opus_val16 coef2 = coef[2];
498       for (i=0;i<N;i++)
499       {
500          opus_val16 x, tmp;
501          x = inp[i];
502          /* Apply pre-emphasis */
503          tmp = MULT16_16(coef2, x);
504          inp[i] = tmp + m;
505          m = MULT16_32_Q15(coef1, inp[i]) - MULT16_32_Q15(coef0, tmp);
506       }
507    } else
508 #endif
509    {
510       for (i=0;i<N;i++)
511       {
512          celt_sig x;
513          x = SHL32(inp[i], SIG_SHIFT);
514          /* Apply pre-emphasis */
515          inp[i] = x + m;
516          m = - MULT16_32_Q15(coef0, x);
517       }
518    }
519    *mem = m;
520 }
521
522
523
524 static opus_val32 l1_metric(const celt_norm *tmp, int N, int LM, opus_val16 bias)
525 {
526    int i;
527    opus_val32 L1;
528    L1 = 0;
529    for (i=0;i<N;i++)
530       L1 += EXTEND32(ABS16(tmp[i]));
531    /* When in doubt, prefer good freq resolution */
532    L1 = MAC16_32_Q15(L1, LM*bias, L1);
533    return L1;
534
535 }
536
537 static int tf_analysis(const CELTMode *m, int len, int isTransient,
538       int *tf_res, int lambda, celt_norm *X, int N0, int LM,
539       int *tf_sum, opus_val16 tf_estimate, int tf_chan)
540 {
541    int i;
542    VARDECL(int, metric);
543    int cost0;
544    int cost1;
545    VARDECL(int, path0);
546    VARDECL(int, path1);
547    VARDECL(celt_norm, tmp);
548    VARDECL(celt_norm, tmp_1);
549    int sel;
550    int selcost[2];
551    int tf_select=0;
552    opus_val16 bias;
553
554    SAVE_STACK;
555    bias = MULT16_16_Q14(QCONST16(.04f,15), MAX16(-QCONST16(.25f,14), QCONST16(.5f,14)-tf_estimate));
556    /*printf("%f ", bias);*/
557
558    ALLOC(metric, len, int);
559    ALLOC(tmp, (m->eBands[len]-m->eBands[len-1])<<LM, celt_norm);
560    ALLOC(tmp_1, (m->eBands[len]-m->eBands[len-1])<<LM, celt_norm);
561    ALLOC(path0, len, int);
562    ALLOC(path1, len, int);
563
564    *tf_sum = 0;
565    for (i=0;i<len;i++)
566    {
567       int j, k, N;
568       int narrow;
569       opus_val32 L1, best_L1;
570       int best_level=0;
571       N = (m->eBands[i+1]-m->eBands[i])<<LM;
572       /* band is too narrow to be split down to LM=-1 */
573       narrow = (m->eBands[i+1]-m->eBands[i])==1;
574       for (j=0;j<N;j++)
575          tmp[j] = X[tf_chan*N0 + j+(m->eBands[i]<<LM)];
576       /* Just add the right channel if we're in stereo */
577       /*if (C==2)
578          for (j=0;j<N;j++)
579             tmp[j] = ADD16(SHR16(tmp[j], 1),SHR16(X[N0+j+(m->eBands[i]<<LM)], 1));*/
580       L1 = l1_metric(tmp, N, isTransient ? LM : 0, bias);
581       best_L1 = L1;
582       /* Check the -1 case for transients */
583       if (isTransient && !narrow)
584       {
585          for (j=0;j<N;j++)
586             tmp_1[j] = tmp[j];
587          haar1(tmp_1, N>>LM, 1<<LM);
588          L1 = l1_metric(tmp_1, N, LM+1, bias);
589          if (L1<best_L1)
590          {
591             best_L1 = L1;
592             best_level = -1;
593          }
594       }
595       /*printf ("%f ", L1);*/
596       for (k=0;k<LM+!(isTransient||narrow);k++)
597       {
598          int B;
599
600          if (isTransient)
601             B = (LM-k-1);
602          else
603             B = k+1;
604
605          haar1(tmp, N>>k, 1<<k);
606
607          L1 = l1_metric(tmp, N, B, bias);
608
609          if (L1 < best_L1)
610          {
611             best_L1 = L1;
612             best_level = k+1;
613          }
614       }
615       /*printf ("%d ", isTransient ? LM-best_level : best_level);*/
616       /* metric is in Q1 to be able to select the mid-point (-0.5) for narrower bands */
617       if (isTransient)
618          metric[i] = 2*best_level;
619       else
620          metric[i] = -2*best_level;
621       *tf_sum += (isTransient ? LM : 0) - metric[i]/2;
622       /* For bands that can't be split to -1, set the metric to the half-way point to avoid
623          biasing the decision */
624       if (narrow && (metric[i]==0 || metric[i]==-2*LM))
625          metric[i]-=1;
626       /*printf("%d ", metric[i]);*/
627    }
628    /*printf("\n");*/
629    /* Search for the optimal tf resolution, including tf_select */
630    tf_select = 0;
631    for (sel=0;sel<2;sel++)
632    {
633       cost0 = 0;
634       cost1 = isTransient ? 0 : lambda;
635       for (i=1;i<len;i++)
636       {
637          int curr0, curr1;
638          curr0 = IMIN(cost0, cost1 + lambda);
639          curr1 = IMIN(cost0 + lambda, cost1);
640          cost0 = curr0 + abs(metric[i]-2*tf_select_table[LM][4*isTransient+2*sel+0]);
641          cost1 = curr1 + abs(metric[i]-2*tf_select_table[LM][4*isTransient+2*sel+1]);
642       }
643       cost0 = IMIN(cost0, cost1);
644       selcost[sel]=cost0;
645    }
646    /* For now, we're conservative and only allow tf_select=1 for transients.
647     * If tests confirm it's useful for non-transients, we could allow it. */
648    if (selcost[1]<selcost[0] && isTransient)
649       tf_select=1;
650    cost0 = 0;
651    cost1 = isTransient ? 0 : lambda;
652    /* Viterbi forward pass */
653    for (i=1;i<len;i++)
654    {
655       int curr0, curr1;
656       int from0, from1;
657
658       from0 = cost0;
659       from1 = cost1 + lambda;
660       if (from0 < from1)
661       {
662          curr0 = from0;
663          path0[i]= 0;
664       } else {
665          curr0 = from1;
666          path0[i]= 1;
667       }
668
669       from0 = cost0 + lambda;
670       from1 = cost1;
671       if (from0 < from1)
672       {
673          curr1 = from0;
674          path1[i]= 0;
675       } else {
676          curr1 = from1;
677          path1[i]= 1;
678       }
679       cost0 = curr0 + abs(metric[i]-2*tf_select_table[LM][4*isTransient+2*tf_select+0]);
680       cost1 = curr1 + abs(metric[i]-2*tf_select_table[LM][4*isTransient+2*tf_select+1]);
681    }
682    tf_res[len-1] = cost0 < cost1 ? 0 : 1;
683    /* Viterbi backward pass to check the decisions */
684    for (i=len-2;i>=0;i--)
685    {
686       if (tf_res[i+1] == 1)
687          tf_res[i] = path1[i+1];
688       else
689          tf_res[i] = path0[i+1];
690    }
691    /*printf("%d %f\n", *tf_sum, tf_estimate);*/
692    RESTORE_STACK;
693 #ifdef FUZZING
694    tf_select = rand()&0x1;
695    tf_res[0] = rand()&0x1;
696    for (i=1;i<len;i++)
697       tf_res[i] = tf_res[i-1] ^ ((rand()&0xF) == 0);
698 #endif
699    return tf_select;
700 }
701
702 static void tf_encode(int start, int end, int isTransient, int *tf_res, int LM, int tf_select, ec_enc *enc)
703 {
704    int curr, i;
705    int tf_select_rsv;
706    int tf_changed;
707    int logp;
708    opus_uint32 budget;
709    opus_uint32 tell;
710    budget = enc->storage*8;
711    tell = ec_tell(enc);
712    logp = isTransient ? 2 : 4;
713    /* Reserve space to code the tf_select decision. */
714    tf_select_rsv = LM>0 && tell+logp+1 <= budget;
715    budget -= tf_select_rsv;
716    curr = tf_changed = 0;
717    for (i=start;i<end;i++)
718    {
719       if (tell+logp<=budget)
720       {
721          ec_enc_bit_logp(enc, tf_res[i] ^ curr, logp);
722          tell = ec_tell(enc);
723          curr = tf_res[i];
724          tf_changed |= curr;
725       }
726       else
727          tf_res[i] = curr;
728       logp = isTransient ? 4 : 5;
729    }
730    /* Only code tf_select if it would actually make a difference. */
731    if (tf_select_rsv &&
732          tf_select_table[LM][4*isTransient+0+tf_changed]!=
733          tf_select_table[LM][4*isTransient+2+tf_changed])
734       ec_enc_bit_logp(enc, tf_select, 1);
735    else
736       tf_select = 0;
737    for (i=start;i<end;i++)
738       tf_res[i] = tf_select_table[LM][4*isTransient+2*tf_select+tf_res[i]];
739    /*for(i=0;i<end;i++)printf("%d ", isTransient ? tf_res[i] : LM+tf_res[i]);printf("\n");*/
740 }
741
742
743 static int alloc_trim_analysis(const CELTMode *m, const celt_norm *X,
744       const opus_val16 *bandLogE, int end, int LM, int C, int N0,
745       AnalysisInfo *analysis, opus_val16 *stereo_saving, opus_val16 tf_estimate,
746       int intensity)
747 {
748    int i;
749    opus_val32 diff=0;
750    int c;
751    int trim_index = 5;
752    opus_val16 trim = QCONST16(5.f, 8);
753    opus_val16 logXC, logXC2;
754    if (C==2)
755    {
756       opus_val16 sum = 0; /* Q10 */
757       opus_val16 minXC; /* Q10 */
758       /* Compute inter-channel correlation for low frequencies */
759       for (i=0;i<8;i++)
760       {
761          int j;
762          opus_val32 partial = 0;
763          for (j=m->eBands[i]<<LM;j<m->eBands[i+1]<<LM;j++)
764             partial = MAC16_16(partial, X[j], X[N0+j]);
765          sum = ADD16(sum, EXTRACT16(SHR32(partial, 18)));
766       }
767       sum = MULT16_16_Q15(QCONST16(1.f/8, 15), sum);
768       sum = MIN16(QCONST16(1.f, 10), ABS16(sum));
769       minXC = sum;
770       for (i=8;i<intensity;i++)
771       {
772          int j;
773          opus_val32 partial = 0;
774          for (j=m->eBands[i]<<LM;j<m->eBands[i+1]<<LM;j++)
775             partial = MAC16_16(partial, X[j], X[N0+j]);
776          minXC = MIN16(minXC, ABS16(EXTRACT16(SHR32(partial, 18))));
777       }
778       minXC = MIN16(QCONST16(1.f, 10), ABS16(minXC));
779       /*printf ("%f\n", sum);*/
780       if (sum > QCONST16(.995f,10))
781          trim_index-=4;
782       else if (sum > QCONST16(.92f,10))
783          trim_index-=3;
784       else if (sum > QCONST16(.85f,10))
785          trim_index-=2;
786       else if (sum > QCONST16(.8f,10))
787          trim_index-=1;
788       /* mid-side savings estimations based on the LF average*/
789       logXC = celt_log2(QCONST32(1.001f, 20)-MULT16_16(sum, sum));
790       /* mid-side savings estimations based on min correlation */
791       logXC2 = MAX16(HALF16(logXC), celt_log2(QCONST32(1.001f, 20)-MULT16_16(minXC, minXC)));
792 #ifdef FIXED_POINT
793       /* Compensate for Q20 vs Q14 input and convert output to Q8 */
794       logXC = PSHR32(logXC-QCONST16(6.f, DB_SHIFT),DB_SHIFT-8);
795       logXC2 = PSHR32(logXC2-QCONST16(6.f, DB_SHIFT),DB_SHIFT-8);
796 #endif
797
798       trim += MAX16(-QCONST16(4.f, 8), MULT16_16_Q15(QCONST16(.75f,15),logXC));
799       *stereo_saving = MIN16(*stereo_saving + QCONST16(0.25f, 8), -HALF16(logXC2));
800    }
801
802    /* Estimate spectral tilt */
803    c=0; do {
804       for (i=0;i<end-1;i++)
805       {
806          diff += bandLogE[i+c*m->nbEBands]*(opus_int32)(2+2*i-end);
807       }
808    } while (++c<C);
809    diff /= C*(end-1);
810    /*printf("%f\n", diff);*/
811    if (diff > QCONST16(2.f, DB_SHIFT))
812       trim_index--;
813    if (diff > QCONST16(8.f, DB_SHIFT))
814       trim_index--;
815    if (diff < -QCONST16(4.f, DB_SHIFT))
816       trim_index++;
817    if (diff < -QCONST16(10.f, DB_SHIFT))
818       trim_index++;
819    trim -= MAX16(-QCONST16(2.f, 8), MIN16(QCONST16(2.f, 8), SHR16(diff+QCONST16(1.f, DB_SHIFT),DB_SHIFT-8)/6 ));
820    trim -= 2*SHR16(tf_estimate, 14-8);
821 #ifndef FIXED_POINT
822    if (analysis->valid)
823    {
824       trim -= MAX16(-QCONST16(2.f, 8), MIN16(QCONST16(2.f, 8), 2*(analysis->tonality_slope+.05f)));
825    }
826 #endif
827
828 #ifdef FIXED_POINT
829    trim_index = PSHR32(trim, 8);
830 #else
831    trim_index = (int)floor(.5f+trim);
832 #endif
833    if (trim_index<0)
834       trim_index = 0;
835    if (trim_index>10)
836       trim_index = 10;
837    /*printf("%d\n", trim_index);*/
838 #ifdef FUZZING
839    trim_index = rand()%11;
840 #endif
841    return trim_index;
842 }
843
844 static int stereo_analysis(const CELTMode *m, const celt_norm *X,
845       int LM, int N0)
846 {
847    int i;
848    int thetas;
849    opus_val32 sumLR = EPSILON, sumMS = EPSILON;
850
851    /* Use the L1 norm to model the entropy of the L/R signal vs the M/S signal */
852    for (i=0;i<13;i++)
853    {
854       int j;
855       for (j=m->eBands[i]<<LM;j<m->eBands[i+1]<<LM;j++)
856       {
857          opus_val32 L, R, M, S;
858          /* We cast to 32-bit first because of the -32768 case */
859          L = EXTEND32(X[j]);
860          R = EXTEND32(X[N0+j]);
861          M = ADD32(L, R);
862          S = SUB32(L, R);
863          sumLR = ADD32(sumLR, ADD32(ABS32(L), ABS32(R)));
864          sumMS = ADD32(sumMS, ADD32(ABS32(M), ABS32(S)));
865       }
866    }
867    sumMS = MULT16_32_Q15(QCONST16(0.707107f, 15), sumMS);
868    thetas = 13;
869    /* We don't need thetas for lower bands with LM<=1 */
870    if (LM<=1)
871       thetas -= 8;
872    return MULT16_32_Q15((m->eBands[13]<<(LM+1))+thetas, sumMS)
873          > MULT16_32_Q15(m->eBands[13]<<(LM+1), sumLR);
874 }
875
876 static opus_val16 dynalloc_analysis(const opus_val16 *bandLogE, const opus_val16 *bandLogE2,
877       int nbEBands, int start, int end, int C, int *offsets, int lsb_depth, const opus_int16 *logN,
878       int isTransient, int vbr, int constrained_vbr, const opus_int16 *eBands, int LM,
879       int effectiveBytes, opus_int32 *tot_boost_, int lfe)
880 {
881    int i, c;
882    opus_int32 tot_boost=0;
883    opus_val16 maxDepth;
884    VARDECL(opus_val16, follower);
885    VARDECL(opus_val16, noise_floor);
886    SAVE_STACK;
887    ALLOC(follower, C*nbEBands, opus_val16);
888    ALLOC(noise_floor, C*nbEBands, opus_val16);
889    for (i=0;i<nbEBands;i++)
890       offsets[i] = 0;
891    /* Dynamic allocation code */
892    maxDepth=-QCONST16(32.f, DB_SHIFT);
893    for (i=0;i<end;i++)
894    {
895       /* Noise floor must take into account eMeans, the depth, the width of the bands
896          and the preemphasis filter (approx. square of bark band ID) */
897       noise_floor[i] = MULT16_16(QCONST16(0.0625f, DB_SHIFT),logN[i])
898             +QCONST16(.5f,DB_SHIFT)+SHL16(9-lsb_depth,DB_SHIFT)-SHL16(eMeans[i],6)
899             +MULT16_16(QCONST16(.0062,DB_SHIFT),(i+5)*(i+5));
900    }
901    c=0;do
902    {
903       for (i=0;i<end;i++)
904          maxDepth = MAX16(maxDepth, bandLogE[c*nbEBands+i]-noise_floor[i]);
905    } while (++c<C);
906    /* Make sure that dynamic allocation can't make us bust the budget */
907    if (effectiveBytes > 50 && LM>=1 && !lfe)
908    {
909       int last=0;
910       c=0;do
911       {
912          follower[c*nbEBands] = bandLogE2[c*nbEBands];
913          for (i=1;i<end;i++)
914          {
915             /* The last band to be at least 3 dB higher than the previous one
916                is the last we'll consider. Otherwise, we run into problems on
917                bandlimited signals. */
918             if (bandLogE2[c*nbEBands+i] > bandLogE2[c*nbEBands+i-1]+QCONST16(.5f,DB_SHIFT))
919                last=i;
920             follower[c*nbEBands+i] = MIN16(follower[c*nbEBands+i-1]+QCONST16(1.5f,DB_SHIFT), bandLogE2[c*nbEBands+i]);
921          }
922          for (i=last-1;i>=0;i--)
923             follower[c*nbEBands+i] = MIN16(follower[c*nbEBands+i], MIN16(follower[c*nbEBands+i+1]+QCONST16(2.f,DB_SHIFT), bandLogE2[c*nbEBands+i]));
924          for (i=0;i<end;i++)
925             follower[c*nbEBands+i] = MAX16(follower[c*nbEBands+i], noise_floor[i]);
926       } while (++c<C);
927       if (C==2)
928       {
929          for (i=start;i<end;i++)
930          {
931             /* Consider 24 dB "cross-talk" */
932             follower[nbEBands+i] = MAX16(follower[nbEBands+i], follower[         i]-QCONST16(4.f,DB_SHIFT));
933             follower[         i] = MAX16(follower[         i], follower[nbEBands+i]-QCONST16(4.f,DB_SHIFT));
934             follower[i] = HALF16(MAX16(0, bandLogE[i]-follower[i]) + MAX16(0, bandLogE[nbEBands+i]-follower[nbEBands+i]));
935          }
936       } else {
937          for (i=start;i<end;i++)
938          {
939             follower[i] = MAX16(0, bandLogE[i]-follower[i]);
940          }
941       }
942       /* For non-transient CBR/CVBR frames, halve the dynalloc contribution */
943       if ((!vbr || constrained_vbr)&&!isTransient)
944       {
945          for (i=start;i<end;i++)
946             follower[i] = HALF16(follower[i]);
947       }
948       for (i=start;i<end;i++)
949       {
950          int width;
951          int boost;
952          int boost_bits;
953
954          if (i<8)
955             follower[i] *= 2;
956          if (i>=12)
957             follower[i] = HALF16(follower[i]);
958          follower[i] = MIN16(follower[i], QCONST16(4, DB_SHIFT));
959
960          width = C*(eBands[i+1]-eBands[i])<<LM;
961          if (width<6)
962          {
963             boost = (int)SHR32(EXTEND32(follower[i]),DB_SHIFT);
964             boost_bits = boost*width<<BITRES;
965          } else if (width > 48) {
966             boost = (int)SHR32(EXTEND32(follower[i])*8,DB_SHIFT);
967             boost_bits = (boost*width<<BITRES)/8;
968          } else {
969             boost = (int)SHR32(EXTEND32(follower[i])*width/6,DB_SHIFT);
970             boost_bits = boost*6<<BITRES;
971          }
972          /* For CBR and non-transient CVBR frames, limit dynalloc to 1/4 of the bits */
973          if ((!vbr || (constrained_vbr&&!isTransient))
974                && (tot_boost+boost_bits)>>BITRES>>3 > effectiveBytes/4)
975          {
976             offsets[i] = 0;
977             break;
978          } else {
979             offsets[i] = boost;
980             tot_boost += boost_bits;
981          }
982       }
983    }
984    *tot_boost_ = tot_boost;
985    RESTORE_STACK;
986    return maxDepth;
987 }
988
989
990 static int run_prefilter(CELTEncoder *st, celt_sig *in, celt_sig *prefilter_mem, int CC, int N,
991       int prefilter_tapset, int *pitch, opus_val16 *gain, int *qgain, int enabled, int nbAvailableBytes)
992 {
993    int c;
994    VARDECL(celt_sig, _pre);
995    celt_sig *pre[2];
996    const CELTMode *mode;
997    int pitch_index;
998    opus_val16 gain1;
999    opus_val16 pf_threshold;
1000    int pf_on;
1001    int qg;
1002    SAVE_STACK;
1003
1004    mode = st->mode;
1005    ALLOC(_pre, CC*(N+COMBFILTER_MAXPERIOD), celt_sig);
1006
1007    pre[0] = _pre;
1008    pre[1] = _pre + (N+COMBFILTER_MAXPERIOD);
1009
1010
1011    c=0; do {
1012       OPUS_COPY(pre[c], prefilter_mem+c*COMBFILTER_MAXPERIOD, COMBFILTER_MAXPERIOD);
1013       OPUS_COPY(pre[c]+COMBFILTER_MAXPERIOD, in+c*(N+st->overlap)+st->overlap, N);
1014    } while (++c<CC);
1015
1016    if (enabled)
1017    {
1018       VARDECL(opus_val16, pitch_buf);
1019       ALLOC(pitch_buf, (COMBFILTER_MAXPERIOD+N)>>1, opus_val16);
1020
1021       pitch_downsample(pre, pitch_buf, COMBFILTER_MAXPERIOD+N, CC);
1022       /* Don't search for the fir last 1.5 octave of the range because
1023          there's too many false-positives due to short-term correlation */
1024       pitch_search(pitch_buf+(COMBFILTER_MAXPERIOD>>1), pitch_buf, N,
1025             COMBFILTER_MAXPERIOD-3*COMBFILTER_MINPERIOD, &pitch_index);
1026       pitch_index = COMBFILTER_MAXPERIOD-pitch_index;
1027
1028       gain1 = remove_doubling(pitch_buf, COMBFILTER_MAXPERIOD, COMBFILTER_MINPERIOD,
1029             N, &pitch_index, st->prefilter_period, st->prefilter_gain);
1030       if (pitch_index > COMBFILTER_MAXPERIOD-2)
1031          pitch_index = COMBFILTER_MAXPERIOD-2;
1032       gain1 = MULT16_16_Q15(QCONST16(.7f,15),gain1);
1033       /*printf("%d %d %f %f\n", pitch_change, pitch_index, gain1, st->analysis.tonality);*/
1034       if (st->loss_rate>2)
1035          gain1 = HALF32(gain1);
1036       if (st->loss_rate>4)
1037          gain1 = HALF32(gain1);
1038       if (st->loss_rate>8)
1039          gain1 = 0;
1040    } else {
1041       gain1 = 0;
1042       pitch_index = COMBFILTER_MINPERIOD;
1043    }
1044
1045    /* Gain threshold for enabling the prefilter/postfilter */
1046    pf_threshold = QCONST16(.2f,15);
1047
1048    /* Adjusting the threshold based on rate and continuity */
1049    if (abs(pitch_index-st->prefilter_period)*10>pitch_index)
1050       pf_threshold += QCONST16(.2f,15);
1051    if (nbAvailableBytes<25)
1052       pf_threshold += QCONST16(.1f,15);
1053    if (nbAvailableBytes<35)
1054       pf_threshold += QCONST16(.1f,15);
1055    if (st->prefilter_gain > QCONST16(.4f,15))
1056       pf_threshold -= QCONST16(.1f,15);
1057    if (st->prefilter_gain > QCONST16(.55f,15))
1058       pf_threshold -= QCONST16(.1f,15);
1059
1060    /* Hard threshold at 0.2 */
1061    pf_threshold = MAX16(pf_threshold, QCONST16(.2f,15));
1062    if (gain1<pf_threshold)
1063    {
1064       gain1 = 0;
1065       pf_on = 0;
1066       qg = 0;
1067    } else {
1068       /*This block is not gated by a total bits check only because
1069         of the nbAvailableBytes check above.*/
1070       if (ABS16(gain1-st->prefilter_gain)<QCONST16(.1f,15))
1071          gain1=st->prefilter_gain;
1072
1073 #ifdef FIXED_POINT
1074       qg = ((gain1+1536)>>10)/3-1;
1075 #else
1076       qg = (int)floor(.5f+gain1*32/3)-1;
1077 #endif
1078       qg = IMAX(0, IMIN(7, qg));
1079       gain1 = QCONST16(0.09375f,15)*(qg+1);
1080       pf_on = 1;
1081    }
1082    /*printf("%d %f\n", pitch_index, gain1);*/
1083
1084    c=0; do {
1085       int offset = mode->shortMdctSize-st->overlap;
1086       st->prefilter_period=IMAX(st->prefilter_period, COMBFILTER_MINPERIOD);
1087       OPUS_COPY(in+c*(N+st->overlap), st->in_mem+c*(st->overlap), st->overlap);
1088       if (offset)
1089          comb_filter(in+c*(N+st->overlap)+st->overlap, pre[c]+COMBFILTER_MAXPERIOD,
1090                st->prefilter_period, st->prefilter_period, offset, -st->prefilter_gain, -st->prefilter_gain,
1091                st->prefilter_tapset, st->prefilter_tapset, NULL, 0);
1092
1093       comb_filter(in+c*(N+st->overlap)+st->overlap+offset, pre[c]+COMBFILTER_MAXPERIOD+offset,
1094             st->prefilter_period, pitch_index, N-offset, -st->prefilter_gain, -gain1,
1095             st->prefilter_tapset, prefilter_tapset, mode->window, st->overlap);
1096       OPUS_COPY(st->in_mem+c*(st->overlap), in+c*(N+st->overlap)+N, st->overlap);
1097
1098       if (N>COMBFILTER_MAXPERIOD)
1099       {
1100          OPUS_MOVE(prefilter_mem+c*COMBFILTER_MAXPERIOD, pre[c]+N, COMBFILTER_MAXPERIOD);
1101       } else {
1102          OPUS_MOVE(prefilter_mem+c*COMBFILTER_MAXPERIOD, prefilter_mem+c*COMBFILTER_MAXPERIOD+N, COMBFILTER_MAXPERIOD-N);
1103          OPUS_MOVE(prefilter_mem+c*COMBFILTER_MAXPERIOD+COMBFILTER_MAXPERIOD-N, pre[c]+COMBFILTER_MAXPERIOD, N);
1104       }
1105    } while (++c<CC);
1106
1107    RESTORE_STACK;
1108    *gain = gain1;
1109    *pitch = pitch_index;
1110    *qgain = qg;
1111    return pf_on;
1112 }
1113
1114 int celt_encode_with_ec(CELTEncoder * OPUS_RESTRICT st, const opus_val16 * pcm, int frame_size, unsigned char *compressed, int nbCompressedBytes, ec_enc *enc)
1115 {
1116    int i, c, N;
1117    opus_int32 bits;
1118    ec_enc _enc;
1119    VARDECL(celt_sig, in);
1120    VARDECL(celt_sig, freq);
1121    VARDECL(celt_norm, X);
1122    VARDECL(celt_ener, bandE);
1123    VARDECL(opus_val16, bandLogE);
1124    VARDECL(opus_val16, bandLogE2);
1125    VARDECL(int, fine_quant);
1126    VARDECL(opus_val16, error);
1127    VARDECL(int, pulses);
1128    VARDECL(int, cap);
1129    VARDECL(int, offsets);
1130    VARDECL(int, fine_priority);
1131    VARDECL(int, tf_res);
1132    VARDECL(unsigned char, collapse_masks);
1133    celt_sig *prefilter_mem;
1134    opus_val16 *oldBandE, *oldLogE, *oldLogE2;
1135    int shortBlocks=0;
1136    int isTransient=0;
1137    const int CC = st->channels;
1138    const int C = st->stream_channels;
1139    int LM, M;
1140    int tf_select;
1141    int nbFilledBytes, nbAvailableBytes;
1142    int effEnd;
1143    int codedBands;
1144    int tf_sum;
1145    int alloc_trim;
1146    int pitch_index=COMBFILTER_MINPERIOD;
1147    opus_val16 gain1 = 0;
1148    int dual_stereo=0;
1149    int effectiveBytes;
1150    int dynalloc_logp;
1151    opus_int32 vbr_rate;
1152    opus_int32 total_bits;
1153    opus_int32 total_boost;
1154    opus_int32 balance;
1155    opus_int32 tell;
1156    int prefilter_tapset=0;
1157    int pf_on;
1158    int anti_collapse_rsv;
1159    int anti_collapse_on=0;
1160    int silence=0;
1161    int tf_chan = 0;
1162    opus_val16 tf_estimate;
1163    int pitch_change=0;
1164    opus_int32 tot_boost;
1165    opus_val32 sample_max;
1166    opus_val16 maxDepth;
1167    const OpusCustomMode *mode;
1168    int nbEBands;
1169    int overlap;
1170    const opus_int16 *eBands;
1171    int secondMdct;
1172    int signalBandwidth;
1173    int transient_got_disabled=0;
1174    opus_val16 surround_masking=0;
1175    ALLOC_STACK;
1176
1177    mode = st->mode;
1178    nbEBands = mode->nbEBands;
1179    overlap = mode->overlap;
1180    eBands = mode->eBands;
1181    tf_estimate = 0;
1182    if (nbCompressedBytes<2 || pcm==NULL)
1183      return OPUS_BAD_ARG;
1184
1185    frame_size *= st->upsample;
1186    for (LM=0;LM<=mode->maxLM;LM++)
1187       if (mode->shortMdctSize<<LM==frame_size)
1188          break;
1189    if (LM>mode->maxLM)
1190       return OPUS_BAD_ARG;
1191    M=1<<LM;
1192    N = M*mode->shortMdctSize;
1193
1194    prefilter_mem = st->in_mem+CC*(st->overlap);
1195    oldBandE = (opus_val16*)(st->in_mem+CC*(st->overlap+COMBFILTER_MAXPERIOD));
1196    oldLogE = oldBandE + CC*nbEBands;
1197    oldLogE2 = oldLogE + CC*nbEBands;
1198
1199    if (enc==NULL)
1200    {
1201       tell=1;
1202       nbFilledBytes=0;
1203    } else {
1204       tell=ec_tell(enc);
1205       nbFilledBytes=(tell+4)>>3;
1206    }
1207
1208 #ifdef CUSTOM_MODES
1209    if (st->signalling && enc==NULL)
1210    {
1211       int tmp = (mode->effEBands-st->end)>>1;
1212       st->end = IMAX(1, mode->effEBands-tmp);
1213       compressed[0] = tmp<<5;
1214       compressed[0] |= LM<<3;
1215       compressed[0] |= (C==2)<<2;
1216       /* Convert "standard mode" to Opus header */
1217       if (mode->Fs==48000 && mode->shortMdctSize==120)
1218       {
1219          int c0 = toOpus(compressed[0]);
1220          if (c0<0)
1221             return OPUS_BAD_ARG;
1222          compressed[0] = c0;
1223       }
1224       compressed++;
1225       nbCompressedBytes--;
1226    }
1227 #else
1228    celt_assert(st->signalling==0);
1229 #endif
1230
1231    /* Can't produce more than 1275 output bytes */
1232    nbCompressedBytes = IMIN(nbCompressedBytes,1275);
1233    nbAvailableBytes = nbCompressedBytes - nbFilledBytes;
1234
1235    if (st->vbr && st->bitrate!=OPUS_BITRATE_MAX)
1236    {
1237       opus_int32 den=mode->Fs>>BITRES;
1238       vbr_rate=(st->bitrate*frame_size+(den>>1))/den;
1239 #ifdef CUSTOM_MODES
1240       if (st->signalling)
1241          vbr_rate -= 8<<BITRES;
1242 #endif
1243       effectiveBytes = vbr_rate>>(3+BITRES);
1244    } else {
1245       opus_int32 tmp;
1246       vbr_rate = 0;
1247       tmp = st->bitrate*frame_size;
1248       if (tell>1)
1249          tmp += tell;
1250       if (st->bitrate!=OPUS_BITRATE_MAX)
1251          nbCompressedBytes = IMAX(2, IMIN(nbCompressedBytes,
1252                (tmp+4*mode->Fs)/(8*mode->Fs)-!!st->signalling));
1253       effectiveBytes = nbCompressedBytes;
1254    }
1255
1256    if (enc==NULL)
1257    {
1258       ec_enc_init(&_enc, compressed, nbCompressedBytes);
1259       enc = &_enc;
1260    }
1261
1262    if (vbr_rate>0)
1263    {
1264       /* Computes the max bit-rate allowed in VBR mode to avoid violating the
1265           target rate and buffering.
1266          We must do this up front so that bust-prevention logic triggers
1267           correctly if we don't have enough bits. */
1268       if (st->constrained_vbr)
1269       {
1270          opus_int32 vbr_bound;
1271          opus_int32 max_allowed;
1272          /* We could use any multiple of vbr_rate as bound (depending on the
1273              delay).
1274             This is clamped to ensure we use at least two bytes if the encoder
1275              was entirely empty, but to allow 0 in hybrid mode. */
1276          vbr_bound = vbr_rate;
1277          max_allowed = IMIN(IMAX(tell==1?2:0,
1278                (vbr_rate+vbr_bound-st->vbr_reservoir)>>(BITRES+3)),
1279                nbAvailableBytes);
1280          if(max_allowed < nbAvailableBytes)
1281          {
1282             nbCompressedBytes = nbFilledBytes+max_allowed;
1283             nbAvailableBytes = max_allowed;
1284             ec_enc_shrink(enc, nbCompressedBytes);
1285          }
1286       }
1287    }
1288    total_bits = nbCompressedBytes*8;
1289
1290    effEnd = st->end;
1291    if (effEnd > mode->effEBands)
1292       effEnd = mode->effEBands;
1293
1294    ALLOC(in, CC*(N+st->overlap), celt_sig);
1295
1296    sample_max=MAX32(st->overlap_max, celt_maxabs16(pcm, C*(N-overlap)/st->upsample));
1297    st->overlap_max=celt_maxabs16(pcm+C*(N-overlap)/st->upsample, C*overlap/st->upsample);
1298    sample_max=MAX32(sample_max, st->overlap_max);
1299 #ifdef FIXED_POINT
1300    silence = (sample_max==0);
1301 #else
1302    silence = (sample_max <= (opus_val16)1/(1<<st->lsb_depth));
1303 #endif
1304 #ifdef FUZZING
1305    if ((rand()&0x3F)==0)
1306       silence = 1;
1307 #endif
1308    if (tell==1)
1309       ec_enc_bit_logp(enc, silence, 15);
1310    else
1311       silence=0;
1312    if (silence)
1313    {
1314       /*In VBR mode there is no need to send more than the minimum. */
1315       if (vbr_rate>0)
1316       {
1317          effectiveBytes=nbCompressedBytes=IMIN(nbCompressedBytes, nbFilledBytes+2);
1318          total_bits=nbCompressedBytes*8;
1319          nbAvailableBytes=2;
1320          ec_enc_shrink(enc, nbCompressedBytes);
1321       }
1322       /* Pretend we've filled all the remaining bits with zeros
1323             (that's what the initialiser did anyway) */
1324       tell = nbCompressedBytes*8;
1325       enc->nbits_total+=tell-ec_tell(enc);
1326    }
1327    c=0; do {
1328       preemphasis(pcm+c, in+c*(N+st->overlap)+st->overlap, N, CC, st->upsample,
1329                   mode->preemph, st->preemph_memE+c, st->clip);
1330    } while (++c<CC);
1331
1332
1333
1334    /* Find pitch period and gain */
1335    {
1336       int enabled;
1337       int qg;
1338       enabled = (st->lfe || nbAvailableBytes>12*C) && st->start==0 && !silence && !st->disable_pf
1339             && st->complexity >= 5 && !(st->consec_transient && LM!=3 && st->variable_duration);
1340
1341       prefilter_tapset = st->tapset_decision;
1342       pf_on = run_prefilter(st, in, prefilter_mem, CC, N, prefilter_tapset, &pitch_index, &gain1, &qg, enabled, nbAvailableBytes);
1343       if ((gain1 > QCONST16(.4f,15) || st->prefilter_gain > QCONST16(.4f,15)) && (!st->analysis.valid || st->analysis.tonality > .3)
1344             && (pitch_index > 1.26*st->prefilter_period || pitch_index < .79*st->prefilter_period))
1345          pitch_change = 1;
1346       if (pf_on==0)
1347       {
1348          if(st->start==0 && tell+16<=total_bits)
1349             ec_enc_bit_logp(enc, 0, 1);
1350       } else {
1351          /*This block is not gated by a total bits check only because
1352            of the nbAvailableBytes check above.*/
1353          int octave;
1354          ec_enc_bit_logp(enc, 1, 1);
1355          pitch_index += 1;
1356          octave = EC_ILOG(pitch_index)-5;
1357          ec_enc_uint(enc, octave, 6);
1358          ec_enc_bits(enc, pitch_index-(16<<octave), 4+octave);
1359          pitch_index -= 1;
1360          ec_enc_bits(enc, qg, 3);
1361          ec_enc_icdf(enc, prefilter_tapset, tapset_icdf, 2);
1362       }
1363    }
1364
1365    isTransient = 0;
1366    shortBlocks = 0;
1367    if (st->complexity >= 1 && !st->lfe)
1368    {
1369       isTransient = transient_analysis(in, N+st->overlap, CC,
1370             &tf_estimate, &tf_chan);
1371    }
1372    if (LM>0 && ec_tell(enc)+3<=total_bits)
1373    {
1374       if (isTransient)
1375          shortBlocks = M;
1376    } else {
1377       isTransient = 0;
1378       transient_got_disabled=1;
1379    }
1380
1381    ALLOC(freq, CC*N, celt_sig); /**< Interleaved signal MDCTs */
1382    ALLOC(bandE,nbEBands*CC, celt_ener);
1383    ALLOC(bandLogE,nbEBands*CC, opus_val16);
1384
1385    secondMdct = shortBlocks && st->complexity>=8;
1386    ALLOC(bandLogE2, C*nbEBands, opus_val16);
1387    if (secondMdct)
1388    {
1389       compute_mdcts(mode, 0, in, freq, C, CC, LM, st->upsample);
1390       compute_band_energies(mode, freq, bandE, effEnd, C, M);
1391       amp2Log2(mode, effEnd, st->end, bandE, bandLogE2, C);
1392       for (i=0;i<C*nbEBands;i++)
1393          bandLogE2[i] += HALF16(SHL16(LM, DB_SHIFT));
1394    }
1395
1396    compute_mdcts(mode, shortBlocks, in, freq, C, CC, LM, st->upsample);
1397    if (CC==2&&C==1)
1398       tf_chan = 0;
1399    compute_band_energies(mode, freq, bandE, effEnd, C, M);
1400
1401    if (st->lfe)
1402    {
1403       for (i=2;i<st->end;i++)
1404          bandE[i] = IMIN(bandE[i], MULT16_32_Q15(QCONST16(1e-4f,15),bandE[0]));
1405    }
1406    amp2Log2(mode, effEnd, st->end, bandE, bandLogE, C);
1407    if (st->energy_save)
1408    {
1409       opus_val16 offset = shortBlocks?HALF16(SHL16(LM, DB_SHIFT)):0;
1410 #ifdef FIXED_POINT
1411       /* Compensate for the 1/8 gain we apply in the fixed-point downshift to avoid overflows. */
1412       offset -= QCONST16(3.0f, DB_SHIFT);
1413 #endif
1414       for(i=0;i<C*nbEBands;i++)
1415          st->energy_save[i]=bandLogE[i]-offset;
1416       st->energy_save=NULL;
1417    }
1418    /* This computes how much masking takes place between surround channels */
1419    if (st->energy_mask&&!st->lfe)
1420    {
1421       opus_val32 mask_avg=0;
1422       opus_val16 offset = shortBlocks?HALF16(SHL16(LM, DB_SHIFT)):0;
1423       for (c=0;c<C;c++)
1424       {
1425          opus_val16 followE, followMask;
1426          followE = followMask = -QCONST16(14.f, DB_SHIFT);
1427          for(i=0;i<st->end;i++)
1428          {
1429             /* We use a simple follower to approximate the masking spreading function. */
1430             followE = MAX16(followE-QCONST16(1.f, DB_SHIFT), bandLogE[nbEBands*c+i]-offset);
1431             followMask = MAX16(followMask-QCONST16(1.f, DB_SHIFT), st->energy_mask[nbEBands*c+i]);
1432             mask_avg += followE-followMask;
1433          }
1434       }
1435       surround_masking = DIV32_16(mask_avg,C*st->end) + QCONST16(.0f, DB_SHIFT);
1436       surround_masking = MIN16(MAX16(surround_masking,-QCONST16(1.5f, DB_SHIFT)), 0);
1437    }
1438    /*for (i=0;i<21;i++)
1439       printf("%f ", bandLogE[i]);
1440    printf("\n");*/
1441
1442    if (!secondMdct)
1443    {
1444       for (i=0;i<C*nbEBands;i++)
1445          bandLogE2[i] = bandLogE[i];
1446    }
1447
1448    /* Last chance to catch any transient we might have missed in the
1449       time-domain analysis */
1450    if (LM>0 && ec_tell(enc)+3<=total_bits && !isTransient && st->complexity>=5 && !st->lfe)
1451    {
1452       if (patch_transient_decision(bandLogE, oldBandE, nbEBands, st->end, C))
1453       {
1454          isTransient = 1;
1455          shortBlocks = M;
1456          compute_mdcts(mode, shortBlocks, in, freq, C, CC, LM, st->upsample);
1457          compute_band_energies(mode, freq, bandE, effEnd, C, M);
1458          amp2Log2(mode, effEnd, st->end, bandE, bandLogE, C);
1459          /* Compensate for the scaling of short vs long mdcts */
1460          for (i=0;i<C*nbEBands;i++)
1461             bandLogE2[i] += HALF16(SHL16(LM, DB_SHIFT));
1462          tf_estimate = QCONST16(.2,14);
1463       }
1464    }
1465
1466    if (LM>0 && ec_tell(enc)+3<=total_bits)
1467       ec_enc_bit_logp(enc, isTransient, 3);
1468
1469    ALLOC(X, C*N, celt_norm);         /**< Interleaved normalised MDCTs */
1470
1471    /* Band normalisation */
1472    normalise_bands(mode, freq, X, bandE, effEnd, C, M);
1473
1474    ALLOC(tf_res, nbEBands, int);
1475    /* Disable variable tf resolution for hybrid and at very low bitrate */
1476    if (effectiveBytes>=15*C && st->start==0 && st->complexity>=2 && !st->lfe)
1477    {
1478       int lambda;
1479       if (effectiveBytes<40)
1480          lambda = 12;
1481       else if (effectiveBytes<60)
1482          lambda = 6;
1483       else if (effectiveBytes<100)
1484          lambda = 4;
1485       else
1486          lambda = 3;
1487       lambda*=2;
1488       tf_select = tf_analysis(mode, effEnd, isTransient, tf_res, lambda, X, N, LM, &tf_sum, tf_estimate, tf_chan);
1489       for (i=effEnd;i<st->end;i++)
1490          tf_res[i] = tf_res[effEnd-1];
1491    } else {
1492       tf_sum = 0;
1493       for (i=0;i<st->end;i++)
1494          tf_res[i] = isTransient;
1495       tf_select=0;
1496    }
1497
1498    ALLOC(error, C*nbEBands, opus_val16);
1499    quant_coarse_energy(mode, st->start, st->end, effEnd, bandLogE,
1500          oldBandE, total_bits, error, enc,
1501          C, LM, nbAvailableBytes, st->force_intra,
1502          &st->delayedIntra, st->complexity >= 4, st->loss_rate, st->lfe);
1503
1504    tf_encode(st->start, st->end, isTransient, tf_res, LM, tf_select, enc);
1505
1506    if (ec_tell(enc)+4<=total_bits)
1507    {
1508       if (st->lfe)
1509       {
1510          st->tapset_decision = 0;
1511          st->spread_decision = SPREAD_NORMAL;
1512       } else if (shortBlocks || st->complexity < 3 || nbAvailableBytes < 10*C || st->start != 0)
1513       {
1514          if (st->complexity == 0)
1515             st->spread_decision = SPREAD_NONE;
1516          else
1517             st->spread_decision = SPREAD_NORMAL;
1518       } else {
1519          /* Disable new spreading+tapset estimator until we can show it works
1520             better than the old one. So far it seems like spreading_decision()
1521             works best. */
1522          if (0&&st->analysis.valid)
1523          {
1524             static const opus_val16 spread_thresholds[3] = {-QCONST16(.6f, 15), -QCONST16(.2f, 15), -QCONST16(.07f, 15)};
1525             static const opus_val16 spread_histeresis[3] = {QCONST16(.15f, 15), QCONST16(.07f, 15), QCONST16(.02f, 15)};
1526             static const opus_val16 tapset_thresholds[2] = {QCONST16(.0f, 15), QCONST16(.15f, 15)};
1527             static const opus_val16 tapset_histeresis[2] = {QCONST16(.1f, 15), QCONST16(.05f, 15)};
1528             st->spread_decision = hysteresis_decision(-st->analysis.tonality, spread_thresholds, spread_histeresis, 3, st->spread_decision);
1529             st->tapset_decision = hysteresis_decision(st->analysis.tonality_slope, tapset_thresholds, tapset_histeresis, 2, st->tapset_decision);
1530          } else {
1531             st->spread_decision = spreading_decision(mode, X,
1532                   &st->tonal_average, st->spread_decision, &st->hf_average,
1533                   &st->tapset_decision, pf_on&&!shortBlocks, effEnd, C, M);
1534          }
1535          /*printf("%d %d\n", st->tapset_decision, st->spread_decision);*/
1536          /*printf("%f %d %f %d\n\n", st->analysis.tonality, st->spread_decision, st->analysis.tonality_slope, st->tapset_decision);*/
1537       }
1538       ec_enc_icdf(enc, st->spread_decision, spread_icdf, 5);
1539    }
1540
1541    ALLOC(offsets, nbEBands, int);
1542
1543    maxDepth = dynalloc_analysis(bandLogE, bandLogE2, nbEBands, st->start, st->end, C, offsets,
1544          st->lsb_depth, mode->logN, isTransient, st->vbr, st->constrained_vbr,
1545          eBands, LM, effectiveBytes, &tot_boost, st->lfe);
1546    /* For LFE, everything interesting is in the first band */
1547    if (st->lfe)
1548       offsets[0] = IMIN(8, effectiveBytes/3);
1549    ALLOC(cap, nbEBands, int);
1550    init_caps(mode,cap,LM,C);
1551
1552    dynalloc_logp = 6;
1553    total_bits<<=BITRES;
1554    total_boost = 0;
1555    tell = ec_tell_frac(enc);
1556    for (i=st->start;i<st->end;i++)
1557    {
1558       int width, quanta;
1559       int dynalloc_loop_logp;
1560       int boost;
1561       int j;
1562       width = C*(eBands[i+1]-eBands[i])<<LM;
1563       /* quanta is 6 bits, but no more than 1 bit/sample
1564          and no less than 1/8 bit/sample */
1565       quanta = IMIN(width<<BITRES, IMAX(6<<BITRES, width));
1566       dynalloc_loop_logp = dynalloc_logp;
1567       boost = 0;
1568       for (j = 0; tell+(dynalloc_loop_logp<<BITRES) < total_bits-total_boost
1569             && boost < cap[i]; j++)
1570       {
1571          int flag;
1572          flag = j<offsets[i];
1573          ec_enc_bit_logp(enc, flag, dynalloc_loop_logp);
1574          tell = ec_tell_frac(enc);
1575          if (!flag)
1576             break;
1577          boost += quanta;
1578          total_boost += quanta;
1579          dynalloc_loop_logp = 1;
1580       }
1581       /* Making dynalloc more likely */
1582       if (j)
1583          dynalloc_logp = IMAX(2, dynalloc_logp-1);
1584       offsets[i] = boost;
1585    }
1586
1587    if (C==2)
1588    {
1589       int effectiveRate;
1590
1591       static const opus_val16 intensity_thresholds[21]=
1592       /* 0  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19  20  off*/
1593         { 16,21,23,25,27,29,31,33,35,38,42,46,50,54,58,63,68,75,84,102,130};
1594       static const opus_val16 intensity_histeresis[21]=
1595         {  2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 3, 4, 5, 6,  8, 12};
1596
1597       /* Always use MS for 2.5 ms frames until we can do a better analysis */
1598       if (LM!=0)
1599          dual_stereo = stereo_analysis(mode, X, LM, N);
1600
1601       /* Account for coarse energy */
1602       effectiveRate = (8*effectiveBytes - 80)>>LM;
1603
1604       /* effectiveRate in kb/s */
1605       effectiveRate = 2*effectiveRate/5;
1606
1607       st->intensity = hysteresis_decision((opus_val16)effectiveRate, intensity_thresholds, intensity_histeresis, 21, st->intensity);
1608       st->intensity = IMIN(st->end,IMAX(st->start, st->intensity));
1609    }
1610
1611    alloc_trim = 5;
1612    if (tell+(6<<BITRES) <= total_bits - total_boost)
1613    {
1614       if (st->lfe)
1615          alloc_trim = 5;
1616       else
1617          alloc_trim = alloc_trim_analysis(mode, X, bandLogE,
1618             st->end, LM, C, N, &st->analysis, &st->stereo_saving, tf_estimate, st->intensity);
1619       ec_enc_icdf(enc, alloc_trim, trim_icdf, 7);
1620       tell = ec_tell_frac(enc);
1621    }
1622
1623    /* Variable bitrate */
1624    if (vbr_rate>0)
1625    {
1626      opus_val16 alpha;
1627      opus_int32 delta;
1628      /* The target rate in 8th bits per frame */
1629      opus_int32 target, base_target;
1630      opus_int32 min_allowed;
1631      int coded_bins;
1632      int coded_bands;
1633      int tf_calibration;
1634      int lm_diff = mode->maxLM - LM;
1635      coded_bands = st->lastCodedBands ? st->lastCodedBands : nbEBands;
1636      coded_bins = eBands[coded_bands]<<LM;
1637      if (C==2)
1638         coded_bins += eBands[IMIN(st->intensity, coded_bands)]<<LM;
1639
1640      /* Don't attempt to use more than 510 kb/s, even for frames smaller than 20 ms.
1641         The CELT allocator will just not be able to use more than that anyway. */
1642      nbCompressedBytes = IMIN(nbCompressedBytes,1275>>(3-LM));
1643      target = vbr_rate - ((40*C+20)<<BITRES);
1644      base_target = target;
1645
1646      if (st->constrained_vbr)
1647         target += (st->vbr_offset>>lm_diff);
1648
1649      /*printf("%f %f %f %f %d %d ", st->analysis.activity, st->analysis.tonality, tf_estimate, st->stereo_saving, tot_boost, coded_bands);*/
1650 #ifndef FIXED_POINT
1651      if (st->analysis.valid && st->analysis.activity<.4)
1652         target -= (opus_int32)((coded_bins<<BITRES)*(.4f-st->analysis.activity));
1653 #endif
1654      /* Stereo savings */
1655      if (C==2)
1656      {
1657         int coded_stereo_bands;
1658         int coded_stereo_dof;
1659         opus_val16 max_frac;
1660         coded_stereo_bands = IMIN(st->intensity, coded_bands);
1661         coded_stereo_dof = (eBands[coded_stereo_bands]<<LM)-coded_stereo_bands;
1662         /* Maximum fraction of the bits we can save if the signal is mono. */
1663         max_frac = DIV32_16(MULT16_16(QCONST16(0.8f, 15), coded_stereo_dof), coded_bins);
1664         /*printf("%d %d %d ", coded_stereo_dof, coded_bins, tot_boost);*/
1665         target -= (opus_int32)MIN32(MULT16_32_Q15(max_frac,target),
1666                         SHR32(MULT16_16(st->stereo_saving-QCONST16(0.1f,8),(coded_stereo_dof<<BITRES)),8));
1667      }
1668      /* Boost the rate according to dynalloc (minus the dynalloc average for calibration). */
1669      target += tot_boost-(16<<LM);
1670      /* Apply transient boost, compensating for average boost. */
1671      tf_calibration = st->variable_duration ? QCONST16(0.02f,14) : QCONST16(0.04f,14);
1672      target += (opus_int32)SHL32(MULT16_32_Q15(tf_estimate-tf_calibration, target),1);
1673
1674 #ifndef FIXED_POINT
1675      /* Apply tonality boost */
1676      if (st->analysis.valid) {
1677         opus_int32 tonal_target;
1678         float tonal;
1679
1680         /* Tonality boost (compensating for the average). */
1681         tonal = MAX16(0.f,st->analysis.tonality-.15f)-0.09f;
1682         tonal_target = target + (opus_int32)((coded_bins<<BITRES)*1.2f*tonal);
1683         if (pitch_change)
1684            tonal_target +=  (opus_int32)((coded_bins<<BITRES)*.8f);
1685         /*printf("%f %f ", st->analysis.tonality, tonal);*/
1686         target = tonal_target;
1687      }
1688 #endif
1689
1690      if (st->energy_mask&&!st->lfe)
1691      {
1692         opus_int32 surround_target = target + SHR32(MULT16_16(surround_masking,coded_bins<<BITRES), DB_SHIFT);
1693         /*printf("%f %d %d %d %d %d %d ", surround_masking, coded_bins, st->end, st->intensity, surround_target, target, st->bitrate);*/
1694         target = IMAX(target/4, surround_target);
1695      }
1696
1697      {
1698         opus_int32 floor_depth;
1699         int bins;
1700         bins = eBands[nbEBands-2]<<LM;
1701         /*floor_depth = SHR32(MULT16_16((C*bins<<BITRES),celt_log2(SHL32(MAX16(1,sample_max),13))), DB_SHIFT);*/
1702         floor_depth = (opus_int32)SHR32(MULT16_16((C*bins<<BITRES),maxDepth), DB_SHIFT);
1703         floor_depth = IMAX(floor_depth, target>>2);
1704         target = IMIN(target, floor_depth);
1705         /*printf("%f %d\n", maxDepth, floor_depth);*/
1706      }
1707
1708      if ((!st->energy_mask||st->lfe) && (st->constrained_vbr || st->bitrate<64000))
1709      {
1710         opus_val16 rate_factor;
1711 #ifdef FIXED_POINT
1712         rate_factor = MAX16(0,(st->bitrate-32000));
1713 #else
1714         rate_factor = MAX16(0,(1.f/32768)*(st->bitrate-32000));
1715 #endif
1716         if (st->constrained_vbr)
1717            rate_factor = MIN16(rate_factor, QCONST16(0.67f, 15));
1718         target = base_target + (opus_int32)MULT16_32_Q15(rate_factor, target-base_target);
1719
1720      }
1721      /* Don't allow more than doubling the rate */
1722      target = IMIN(2*base_target, target);
1723
1724      /* The current offset is removed from the target and the space used
1725         so far is added*/
1726      target=target+tell;
1727      /* In VBR mode the frame size must not be reduced so much that it would
1728          result in the encoder running out of bits.
1729         The margin of 2 bytes ensures that none of the bust-prevention logic
1730          in the decoder will have triggered so far. */
1731      min_allowed = ((tell+total_boost+(1<<(BITRES+3))-1)>>(BITRES+3)) + 2 - nbFilledBytes;
1732
1733      nbAvailableBytes = (target+(1<<(BITRES+2)))>>(BITRES+3);
1734      nbAvailableBytes = IMAX(min_allowed,nbAvailableBytes);
1735      nbAvailableBytes = IMIN(nbCompressedBytes,nbAvailableBytes+nbFilledBytes) - nbFilledBytes;
1736
1737      /* By how much did we "miss" the target on that frame */
1738      delta = target - vbr_rate;
1739
1740      target=nbAvailableBytes<<(BITRES+3);
1741
1742      /*If the frame is silent we don't adjust our drift, otherwise
1743        the encoder will shoot to very high rates after hitting a
1744        span of silence, but we do allow the bitres to refill.
1745        This means that we'll undershoot our target in CVBR/VBR modes
1746        on files with lots of silence. */
1747      if(silence)
1748      {
1749        nbAvailableBytes = 2;
1750        target = 2*8<<BITRES;
1751        delta = 0;
1752      }
1753
1754      if (st->vbr_count < 970)
1755      {
1756         st->vbr_count++;
1757         alpha = celt_rcp(SHL32(EXTEND32(st->vbr_count+20),16));
1758      } else
1759         alpha = QCONST16(.001f,15);
1760      /* How many bits have we used in excess of what we're allowed */
1761      if (st->constrained_vbr)
1762         st->vbr_reservoir += target - vbr_rate;
1763      /*printf ("%d\n", st->vbr_reservoir);*/
1764
1765      /* Compute the offset we need to apply in order to reach the target */
1766      if (st->constrained_vbr)
1767      {
1768         st->vbr_drift += (opus_int32)MULT16_32_Q15(alpha,(delta*(1<<lm_diff))-st->vbr_offset-st->vbr_drift);
1769         st->vbr_offset = -st->vbr_drift;
1770      }
1771      /*printf ("%d\n", st->vbr_drift);*/
1772
1773      if (st->constrained_vbr && st->vbr_reservoir < 0)
1774      {
1775         /* We're under the min value -- increase rate */
1776         int adjust = (-st->vbr_reservoir)/(8<<BITRES);
1777         /* Unless we're just coding silence */
1778         nbAvailableBytes += silence?0:adjust;
1779         st->vbr_reservoir = 0;
1780         /*printf ("+%d\n", adjust);*/
1781      }
1782      nbCompressedBytes = IMIN(nbCompressedBytes,nbAvailableBytes+nbFilledBytes);
1783      /*printf("%d\n", nbCompressedBytes*50*8);*/
1784      /* This moves the raw bits to take into account the new compressed size */
1785      ec_enc_shrink(enc, nbCompressedBytes);
1786    }
1787
1788    /* Bit allocation */
1789    ALLOC(fine_quant, nbEBands, int);
1790    ALLOC(pulses, nbEBands, int);
1791    ALLOC(fine_priority, nbEBands, int);
1792
1793    /* bits =           packet size                    - where we are - safety*/
1794    bits = (((opus_int32)nbCompressedBytes*8)<<BITRES) - ec_tell_frac(enc) - 1;
1795    anti_collapse_rsv = isTransient&&LM>=2&&bits>=((LM+2)<<BITRES) ? (1<<BITRES) : 0;
1796    bits -= anti_collapse_rsv;
1797    signalBandwidth = st->end-1;
1798 #ifndef FIXED_POINT
1799    if (st->analysis.valid)
1800    {
1801       int min_bandwidth;
1802       if (st->bitrate < (opus_int32)32000*C)
1803          min_bandwidth = 13;
1804       else if (st->bitrate < (opus_int32)48000*C)
1805          min_bandwidth = 16;
1806       else if (st->bitrate < (opus_int32)60000*C)
1807          min_bandwidth = 18;
1808       else  if (st->bitrate < (opus_int32)80000*C)
1809          min_bandwidth = 19;
1810       else
1811          min_bandwidth = 20;
1812       signalBandwidth = IMAX(st->analysis.bandwidth, min_bandwidth);
1813    }
1814 #endif
1815    if (st->lfe)
1816       signalBandwidth = 1;
1817    codedBands = compute_allocation(mode, st->start, st->end, offsets, cap,
1818          alloc_trim, &st->intensity, &dual_stereo, bits, &balance, pulses,
1819          fine_quant, fine_priority, C, LM, enc, 1, st->lastCodedBands, signalBandwidth);
1820    if (st->lastCodedBands)
1821       st->lastCodedBands = IMIN(st->lastCodedBands+1,IMAX(st->lastCodedBands-1,codedBands));
1822    else
1823       st->lastCodedBands = codedBands;
1824
1825    quant_fine_energy(mode, st->start, st->end, oldBandE, error, fine_quant, enc, C);
1826
1827 #ifdef MEASURE_NORM_MSE
1828    float X0[3000];
1829    float bandE0[60];
1830    c=0; do
1831       for (i=0;i<N;i++)
1832          X0[i+c*N] = X[i+c*N];
1833    while (++c<C);
1834    for (i=0;i<C*nbEBands;i++)
1835       bandE0[i] = bandE[i];
1836 #endif
1837
1838    /* Residual quantisation */
1839    ALLOC(collapse_masks, C*nbEBands, unsigned char);
1840    quant_all_bands(1, mode, st->start, st->end, X, C==2 ? X+N : NULL, collapse_masks,
1841          bandE, pulses, shortBlocks, st->spread_decision, dual_stereo, st->intensity, tf_res,
1842          nbCompressedBytes*(8<<BITRES)-anti_collapse_rsv, balance, enc, LM, codedBands, &st->rng);
1843
1844    if (anti_collapse_rsv > 0)
1845    {
1846       anti_collapse_on = st->consec_transient<2;
1847 #ifdef FUZZING
1848       anti_collapse_on = rand()&0x1;
1849 #endif
1850       ec_enc_bits(enc, anti_collapse_on, 1);
1851    }
1852    quant_energy_finalise(mode, st->start, st->end, oldBandE, error, fine_quant, fine_priority, nbCompressedBytes*8-ec_tell(enc), enc, C);
1853
1854    if (silence)
1855    {
1856       for (i=0;i<C*nbEBands;i++)
1857          oldBandE[i] = -QCONST16(28.f,DB_SHIFT);
1858    }
1859
1860 #ifdef RESYNTH
1861    /* Re-synthesis of the coded audio if required */
1862    {
1863       celt_sig *out_mem[2];
1864
1865       log2Amp(mode, st->start, st->end, bandE, oldBandE, C);
1866       if (silence)
1867       {
1868          for (i=0;i<C*nbEBands;i++)
1869             bandE[i] = 0;
1870       }
1871
1872 #ifdef MEASURE_NORM_MSE
1873       measure_norm_mse(mode, X, X0, bandE, bandE0, M, N, C);
1874 #endif
1875       if (anti_collapse_on)
1876       {
1877          anti_collapse(mode, X, collapse_masks, LM, C, N,
1878                st->start, st->end, oldBandE, oldLogE, oldLogE2, pulses, st->rng);
1879       }
1880
1881       /* Synthesis */
1882       denormalise_bands(mode, X, freq, bandE, st->start, effEnd, C, M);
1883
1884       c=0; do {
1885          OPUS_MOVE(st->syn_mem[c], st->syn_mem[c]+N, 2*MAX_PERIOD-N+overlap/2);
1886       } while (++c<CC);
1887
1888       if (CC==2&&C==1)
1889       {
1890          for (i=0;i<N;i++)
1891             freq[N+i] = freq[i];
1892       }
1893
1894       c=0; do {
1895          out_mem[c] = st->syn_mem[c]+2*MAX_PERIOD-N;
1896       } while (++c<CC);
1897
1898       compute_inv_mdcts(mode, shortBlocks, freq, out_mem, CC, LM);
1899
1900       c=0; do {
1901          st->prefilter_period=IMAX(st->prefilter_period, COMBFILTER_MINPERIOD);
1902          st->prefilter_period_old=IMAX(st->prefilter_period_old, COMBFILTER_MINPERIOD);
1903          comb_filter(out_mem[c], out_mem[c], st->prefilter_period_old, st->prefilter_period, mode->shortMdctSize,
1904                st->prefilter_gain_old, st->prefilter_gain, st->prefilter_tapset_old, st->prefilter_tapset,
1905                mode->window, st->overlap);
1906          if (LM!=0)
1907             comb_filter(out_mem[c]+mode->shortMdctSize, out_mem[c]+mode->shortMdctSize, st->prefilter_period, pitch_index, N-mode->shortMdctSize,
1908                   st->prefilter_gain, gain1, st->prefilter_tapset, prefilter_tapset,
1909                   mode->window, overlap);
1910       } while (++c<CC);
1911
1912       /* We reuse freq[] as scratch space for the de-emphasis */
1913       deemphasis(out_mem, (opus_val16*)pcm, N, CC, st->upsample, mode->preemph, st->preemph_memD, freq);
1914       st->prefilter_period_old = st->prefilter_period;
1915       st->prefilter_gain_old = st->prefilter_gain;
1916       st->prefilter_tapset_old = st->prefilter_tapset;
1917    }
1918 #endif
1919
1920    st->prefilter_period = pitch_index;
1921    st->prefilter_gain = gain1;
1922    st->prefilter_tapset = prefilter_tapset;
1923 #ifdef RESYNTH
1924    if (LM!=0)
1925    {
1926       st->prefilter_period_old = st->prefilter_period;
1927       st->prefilter_gain_old = st->prefilter_gain;
1928       st->prefilter_tapset_old = st->prefilter_tapset;
1929    }
1930 #endif
1931
1932    if (CC==2&&C==1) {
1933       for (i=0;i<nbEBands;i++)
1934          oldBandE[nbEBands+i]=oldBandE[i];
1935    }
1936
1937    if (!isTransient)
1938    {
1939       for (i=0;i<CC*nbEBands;i++)
1940          oldLogE2[i] = oldLogE[i];
1941       for (i=0;i<CC*nbEBands;i++)
1942          oldLogE[i] = oldBandE[i];
1943    } else {
1944       for (i=0;i<CC*nbEBands;i++)
1945          oldLogE[i] = MIN16(oldLogE[i], oldBandE[i]);
1946    }
1947    /* In case start or end were to change */
1948    c=0; do
1949    {
1950       for (i=0;i<st->start;i++)
1951       {
1952          oldBandE[c*nbEBands+i]=0;
1953          oldLogE[c*nbEBands+i]=oldLogE2[c*nbEBands+i]=-QCONST16(28.f,DB_SHIFT);
1954       }
1955       for (i=st->end;i<nbEBands;i++)
1956       {
1957          oldBandE[c*nbEBands+i]=0;
1958          oldLogE[c*nbEBands+i]=oldLogE2[c*nbEBands+i]=-QCONST16(28.f,DB_SHIFT);
1959       }
1960    } while (++c<CC);
1961
1962    if (isTransient || transient_got_disabled)
1963       st->consec_transient++;
1964    else
1965       st->consec_transient=0;
1966    st->rng = enc->rng;
1967
1968    /* If there's any room left (can only happen for very high rates),
1969       it's already filled with zeros */
1970    ec_enc_done(enc);
1971
1972 #ifdef CUSTOM_MODES
1973    if (st->signalling)
1974       nbCompressedBytes++;
1975 #endif
1976
1977    RESTORE_STACK;
1978    if (ec_get_error(enc))
1979       return OPUS_INTERNAL_ERROR;
1980    else
1981       return nbCompressedBytes;
1982 }
1983
1984
1985 #ifdef CUSTOM_MODES
1986
1987 #ifdef FIXED_POINT
1988 int opus_custom_encode(CELTEncoder * OPUS_RESTRICT st, const opus_int16 * pcm, int frame_size, unsigned char *compressed, int nbCompressedBytes)
1989 {
1990    return celt_encode_with_ec(st, pcm, frame_size, compressed, nbCompressedBytes, NULL);
1991 }
1992
1993 #ifndef DISABLE_FLOAT_API
1994 int opus_custom_encode_float(CELTEncoder * OPUS_RESTRICT st, const float * pcm, int frame_size, unsigned char *compressed, int nbCompressedBytes)
1995 {
1996    int j, ret, C, N;
1997    VARDECL(opus_int16, in);
1998    ALLOC_STACK;
1999
2000    if (pcm==NULL)
2001       return OPUS_BAD_ARG;
2002
2003    C = st->channels;
2004    N = frame_size;
2005    ALLOC(in, C*N, opus_int16);
2006
2007    for (j=0;j<C*N;j++)
2008      in[j] = FLOAT2INT16(pcm[j]);
2009
2010    ret=celt_encode_with_ec(st,in,frame_size,compressed,nbCompressedBytes, NULL);
2011 #ifdef RESYNTH
2012    for (j=0;j<C*N;j++)
2013       ((float*)pcm)[j]=in[j]*(1.f/32768.f);
2014 #endif
2015    RESTORE_STACK;
2016    return ret;
2017 }
2018 #endif /* DISABLE_FLOAT_API */
2019 #else
2020
2021 int opus_custom_encode(CELTEncoder * OPUS_RESTRICT st, const opus_int16 * pcm, int frame_size, unsigned char *compressed, int nbCompressedBytes)
2022 {
2023    int j, ret, C, N;
2024    VARDECL(celt_sig, in);
2025    ALLOC_STACK;
2026
2027    if (pcm==NULL)
2028       return OPUS_BAD_ARG;
2029
2030    C=st->channels;
2031    N=frame_size;
2032    ALLOC(in, C*N, celt_sig);
2033    for (j=0;j<C*N;j++) {
2034      in[j] = SCALEOUT(pcm[j]);
2035    }
2036
2037    ret = celt_encode_with_ec(st,in,frame_size,compressed,nbCompressedBytes, NULL);
2038 #ifdef RESYNTH
2039    for (j=0;j<C*N;j++)
2040       ((opus_int16*)pcm)[j] = FLOAT2INT16(in[j]);
2041 #endif
2042    RESTORE_STACK;
2043    return ret;
2044 }
2045
2046 int opus_custom_encode_float(CELTEncoder * OPUS_RESTRICT st, const float * pcm, int frame_size, unsigned char *compressed, int nbCompressedBytes)
2047 {
2048    return celt_encode_with_ec(st, pcm, frame_size, compressed, nbCompressedBytes, NULL);
2049 }
2050
2051 #endif
2052
2053 #endif /* CUSTOM_MODES */
2054
2055 int opus_custom_encoder_ctl(CELTEncoder * OPUS_RESTRICT st, int request, ...)
2056 {
2057    va_list ap;
2058
2059    va_start(ap, request);
2060    switch (request)
2061    {
2062       case OPUS_SET_COMPLEXITY_REQUEST:
2063       {
2064          int value = va_arg(ap, opus_int32);
2065          if (value<0 || value>10)
2066             goto bad_arg;
2067          st->complexity = value;
2068       }
2069       break;
2070       case CELT_SET_START_BAND_REQUEST:
2071       {
2072          opus_int32 value = va_arg(ap, opus_int32);
2073          if (value<0 || value>=st->mode->nbEBands)
2074             goto bad_arg;
2075          st->start = value;
2076       }
2077       break;
2078       case CELT_SET_END_BAND_REQUEST:
2079       {
2080          opus_int32 value = va_arg(ap, opus_int32);
2081          if (value<1 || value>st->mode->nbEBands)
2082             goto bad_arg;
2083          st->end = value;
2084       }
2085       break;
2086       case CELT_SET_PREDICTION_REQUEST:
2087       {
2088          int value = va_arg(ap, opus_int32);
2089          if (value<0 || value>2)
2090             goto bad_arg;
2091          st->disable_pf = value<=1;
2092          st->force_intra = value==0;
2093       }
2094       break;
2095       case OPUS_SET_PACKET_LOSS_PERC_REQUEST:
2096       {
2097          int value = va_arg(ap, opus_int32);
2098          if (value<0 || value>100)
2099             goto bad_arg;
2100          st->loss_rate = value;
2101       }
2102       break;
2103       case OPUS_SET_VBR_CONSTRAINT_REQUEST:
2104       {
2105          opus_int32 value = va_arg(ap, opus_int32);
2106          st->constrained_vbr = value;
2107       }
2108       break;
2109       case OPUS_SET_VBR_REQUEST:
2110       {
2111          opus_int32 value = va_arg(ap, opus_int32);
2112          st->vbr = value;
2113       }
2114       break;
2115       case OPUS_SET_BITRATE_REQUEST:
2116       {
2117          opus_int32 value = va_arg(ap, opus_int32);
2118          if (value<=500 && value!=OPUS_BITRATE_MAX)
2119             goto bad_arg;
2120          value = IMIN(value, 260000*st->channels);
2121          st->bitrate = value;
2122       }
2123       break;
2124       case CELT_SET_CHANNELS_REQUEST:
2125       {
2126          opus_int32 value = va_arg(ap, opus_int32);
2127          if (value<1 || value>2)
2128             goto bad_arg;
2129          st->stream_channels = value;
2130       }
2131       break;
2132       case OPUS_SET_LSB_DEPTH_REQUEST:
2133       {
2134           opus_int32 value = va_arg(ap, opus_int32);
2135           if (value<8 || value>24)
2136              goto bad_arg;
2137           st->lsb_depth=value;
2138       }
2139       break;
2140       case OPUS_GET_LSB_DEPTH_REQUEST:
2141       {
2142           opus_int32 *value = va_arg(ap, opus_int32*);
2143           *value=st->lsb_depth;
2144       }
2145       break;
2146       case OPUS_SET_EXPERT_FRAME_DURATION_REQUEST:
2147       {
2148           opus_int32 value = va_arg(ap, opus_int32);
2149           st->variable_duration = value;
2150       }
2151       break;
2152       case OPUS_RESET_STATE:
2153       {
2154          int i;
2155          opus_val16 *oldBandE, *oldLogE, *oldLogE2;
2156          oldBandE = (opus_val16*)(st->in_mem+st->channels*(st->overlap+COMBFILTER_MAXPERIOD));
2157          oldLogE = oldBandE + st->channels*st->mode->nbEBands;
2158          oldLogE2 = oldLogE + st->channels*st->mode->nbEBands;
2159          OPUS_CLEAR((char*)&st->ENCODER_RESET_START,
2160                opus_custom_encoder_get_size(st->mode, st->channels)-
2161                ((char*)&st->ENCODER_RESET_START - (char*)st));
2162          for (i=0;i<st->channels*st->mode->nbEBands;i++)
2163             oldLogE[i]=oldLogE2[i]=-QCONST16(28.f,DB_SHIFT);
2164          st->vbr_offset = 0;
2165          st->delayedIntra = 1;
2166          st->spread_decision = SPREAD_NORMAL;
2167          st->tonal_average = 256;
2168          st->hf_average = 0;
2169          st->tapset_decision = 0;
2170       }
2171       break;
2172 #ifdef CUSTOM_MODES
2173       case CELT_SET_INPUT_CLIPPING_REQUEST:
2174       {
2175          opus_int32 value = va_arg(ap, opus_int32);
2176          st->clip = value;
2177       }
2178       break;
2179 #endif
2180       case CELT_SET_SIGNALLING_REQUEST:
2181       {
2182          opus_int32 value = va_arg(ap, opus_int32);
2183          st->signalling = value;
2184       }
2185       break;
2186       case CELT_SET_ANALYSIS_REQUEST:
2187       {
2188          AnalysisInfo *info = va_arg(ap, AnalysisInfo *);
2189          if (info)
2190             OPUS_COPY(&st->analysis, info, 1);
2191       }
2192       break;
2193       case CELT_GET_MODE_REQUEST:
2194       {
2195          const CELTMode ** value = va_arg(ap, const CELTMode**);
2196          if (value==0)
2197             goto bad_arg;
2198          *value=st->mode;
2199       }
2200       break;
2201       case OPUS_GET_FINAL_RANGE_REQUEST:
2202       {
2203          opus_uint32 * value = va_arg(ap, opus_uint32 *);
2204          if (value==0)
2205             goto bad_arg;
2206          *value=st->rng;
2207       }
2208       break;
2209       case OPUS_SET_LFE_REQUEST:
2210       {
2211           opus_int32 value = va_arg(ap, opus_int32);
2212           st->lfe = value;
2213       }
2214       break;
2215       case OPUS_SET_ENERGY_SAVE_REQUEST:
2216       {
2217           opus_val16 *value = va_arg(ap, opus_val16*);
2218           st->energy_save=value;
2219       }
2220       break;
2221       case OPUS_SET_ENERGY_MASK_REQUEST:
2222       {
2223           opus_val16 *value = va_arg(ap, opus_val16*);
2224           st->energy_mask = value;
2225       }
2226       break;
2227       default:
2228          goto bad_request;
2229    }
2230    va_end(ap);
2231    return OPUS_OK;
2232 bad_arg:
2233    va_end(ap);
2234    return OPUS_BAD_ARG;
2235 bad_request:
2236    va_end(ap);
2237    return OPUS_UNIMPLEMENTED;
2238 }