Making the band definition the same at all frame sizes.
[opus.git] / libcelt / bands.c
index c062101..bdb34d4 100644 (file)
@@ -1,5 +1,7 @@
-/* (C) 2007-2008 Jean-Marc Valin, CSIRO
-*/
+/* Copyright (c) 2007-2008 CSIRO
+   Copyright (c) 2007-2009 Xiph.Org Foundation
+   Copyright (c) 2008-2009 Gregory Maxwell 
+   Written by Jean-Marc Valin and Gregory Maxwell */
 /*
    Redistribution and use in source and binary forms, with or without
    modification, are permitted provided that the following conditions
 #include "stack_alloc.h"
 #include "os_support.h"
 #include "mathops.h"
+#include "rate.h"
 
-const celt_word16_t sqrtC_1[2] = {QCONST16(1.f, 14), QCONST16(1.414214f, 14)};
 
 #ifdef FIXED_POINT
 /* Compute the amplitude (sqrt energy) in each of the bands */
-void compute_band_energies(const CELTMode *m, const celt_sig_t *X, celt_ener_t *bank)
+void compute_band_energies(const CELTMode *m, const celt_sig *X, celt_ener *bank, int _C, int M)
 {
-   int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
    for (c=0;c<C;c++)
    {
       for (i=0;i<m->nbEBands;i++)
       {
          int j;
-         celt_word32_t maxval=0;
-         celt_word32_t sum = 0;
+         celt_word32 maxval=0;
+         celt_word32 sum = 0;
          
-         j=eBands[i]; do {
-            maxval = MAX32(maxval, X[j*C+c]);
-            maxval = MAX32(maxval, -X[j*C+c]);
-         } while (++j<eBands[i+1]);
+         j=M*eBands[i]; do {
+            maxval = MAX32(maxval, X[j+c*N]);
+            maxval = MAX32(maxval, -X[j+c*N]);
+         } while (++j<M*eBands[i+1]);
          
          if (maxval > 0)
          {
             int shift = celt_ilog2(maxval)-10;
-            j=eBands[i]; do {
-               sum += MULT16_16(EXTRACT16(VSHR32(X[j*C+c],shift)),
-                                EXTRACT16(VSHR32(X[j*C+c],shift)));
-            } while (++j<eBands[i+1]);
+            j=M*eBands[i]; do {
+               sum = MAC16_16(sum, EXTRACT16(VSHR32(X[j+c*N],shift)),
+                                   EXTRACT16(VSHR32(X[j+c*N],shift)));
+            } while (++j<M*eBands[i+1]);
             /* We're adding one here to make damn sure we never end up with a pitch vector that's
                larger than unity norm */
-            bank[i*C+c] = EPSILON+VSHR32(EXTEND32(celt_sqrt(sum)),-shift);
+            bank[i+c*m->nbEBands] = EPSILON+VSHR32(EXTEND32(celt_sqrt(sum)),-shift);
          } else {
-            bank[i*C+c] = EPSILON;
+            bank[i+c*m->nbEBands] = EPSILON;
          }
-         /*printf ("%f ", bank[i*C+c]);*/
+         /*printf ("%f ", bank[i+c*m->nbEBands]);*/
       }
    }
    /*printf ("\n");*/
 }
 
 /* Normalise each band such that the energy is one. */
-void normalise_bands(const CELTMode *m, const celt_sig_t * restrict freq, celt_norm_t * restrict X, const celt_ener_t *bank)
+void normalise_bands(const CELTMode *m, const celt_sig * restrict freq, celt_norm * restrict X, const celt_ener *bank, int _C, int M)
 {
-   int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
    for (c=0;c<C;c++)
    {
       i=0; do {
-         celt_word16_t g;
+         celt_word16 g;
          int j,shift;
-         celt_word16_t E;
-         shift = celt_zlog2(bank[i*C+c])-13;
-         E = VSHR32(bank[i*C+c], shift);
-         g = EXTRACT16(celt_rcp(SHR32(MULT16_16(E,sqrtC_1[C-1]),11)));
-         j=eBands[i]; do {
-            X[j*C+c] = MULT16_16_Q15(VSHR32(freq[j*C+c],shift-1),g);
-         } while (++j<eBands[i+1]);
+         celt_word16 E;
+         shift = celt_zlog2(bank[i+c*m->nbEBands])-13;
+         E = VSHR32(bank[i+c*m->nbEBands], shift);
+         g = EXTRACT16(celt_rcp(SHL32(E,3)));
+         j=M*eBands[i]; do {
+            X[j+c*N] = MULT16_16_Q15(VSHR32(freq[j+c*N],shift-1),g);
+         } while (++j<M*eBands[i+1]);
       } while (++i<m->nbEBands);
    }
 }
 
 #else /* FIXED_POINT */
 /* Compute the amplitude (sqrt energy) in each of the bands */
-void compute_band_energies(const CELTMode *m, const celt_sig_t *X, celt_ener_t *bank)
+void compute_band_energies(const CELTMode *m, const celt_sig *X, celt_ener *bank, int _C, int M)
 {
-   int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
    for (c=0;c<C;c++)
    {
       for (i=0;i<m->nbEBands;i++)
       {
          int j;
-         celt_word32_t sum = 1e-10;
-         for (j=eBands[i];j<eBands[i+1];j++)
-            sum += X[j*C+c]*X[j*C+c];
-         bank[i*C+c] = sqrt(sum);
-         /*printf ("%f ", bank[i*C+c]);*/
+         celt_word32 sum = 1e-10;
+         for (j=M*eBands[i];j<M*eBands[i+1];j++)
+            sum += X[j+c*N]*X[j+c*N];
+         bank[i+c*m->nbEBands] = sqrt(sum);
+         /*printf ("%f ", bank[i+c*m->nbEBands]);*/
       }
    }
    /*printf ("\n");*/
 }
 
+#ifdef EXP_PSY
+void compute_noise_energies(const CELTMode *m, const celt_sig *X, const celt_word16 *tonality, celt_ener *bank, int _C, int M)
+{
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
+   for (c=0;c<C;c++)
+   {
+      for (i=0;i<m->nbEBands;i++)
+      {
+         int j;
+         celt_word32 sum = 1e-10;
+         for (j=M*eBands[i];j<M*eBands[i+1];j++)
+            sum += X[j*C+c]*X[j+c*N]*tonality[j];
+         bank[i+c*m->nbEBands] = sqrt(sum);
+         /*printf ("%f ", bank[i+c*m->nbEBands]);*/
+      }
+   }
+   /*printf ("\n");*/
+}
+#endif
+
 /* Normalise each band such that the energy is one. */
-void normalise_bands(const CELTMode *m, const celt_sig_t * restrict freq, celt_norm_t * restrict X, const celt_ener_t *bank)
+void normalise_bands(const CELTMode *m, const celt_sig * restrict freq, celt_norm * restrict X, const celt_ener *bank, int _C, int M)
 {
-   int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
    for (c=0;c<C;c++)
    {
       for (i=0;i<m->nbEBands;i++)
       {
          int j;
-         celt_word16_t g = 1.f/(1e-10+bank[i*C+c]*sqrt(C));
-         for (j=eBands[i];j<eBands[i+1];j++)
-            X[j*C+c] = freq[j*C+c]*g;
+         celt_word16 g = 1.f/(1e-10f+bank[i+c*m->nbEBands]);
+         for (j=M*eBands[i];j<M*eBands[i+1];j++)
+            X[j+c*N] = freq[j+c*N]*g;
       }
    }
 }
 
 #endif /* FIXED_POINT */
 
-#ifndef DISABLE_STEREO
-void renormalise_bands(const CELTMode *m, celt_norm_t * restrict X)
+void renormalise_bands(const CELTMode *m, celt_norm * restrict X, int _C, int M)
 {
    int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
    for (c=0;c<C;c++)
    {
       i=0; do {
-         renormalise_vector(X+C*eBands[i]+c, QCONST16(0.70711f, 15), eBands[i+1]-eBands[i], C);
+         renormalise_vector(X+M*eBands[i]+c*M*eBands[m->nbEBands+1], Q15ONE, M*eBands[i+1]-M*eBands[i], 1);
       } while (++i<m->nbEBands);
    }
 }
-#endif /* DISABLE_STEREO */
 
 /* De-normalise the energy to produce the synthesis from the unit-energy bands */
-void denormalise_bands(const CELTMode *m, const celt_norm_t * restrict X, celt_sig_t * restrict freq, const celt_ener_t *bank)
+void denormalise_bands(const CELTMode *m, const celt_norm * restrict X, celt_sig * restrict freq, const celt_ener *bank, int _C, int M)
 {
-   int i, c;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N;
+   const celt_int16 *eBands = m->eBands;
+   const int C = CHANNELS(_C);
+   N = FRAMESIZE(m);
    if (C>2)
       celt_fatal("denormalise_bands() not implemented for >2 channels");
    for (c=0;c<C;c++)
    {
+      celt_sig * restrict f;
+      const celt_norm * restrict x;
+      f = freq+c*N;
+      x = X+c*N;
       for (i=0;i<m->nbEBands;i++)
       {
-         int j;
-         celt_word32_t g = MULT16_32_Q13(sqrtC_1[C-1],bank[i*C+c]);
-         j=eBands[i]; do {
-            freq[j*C+c] = MULT16_32_Q15(X[j*C+c], g);
-         } while (++j<eBands[i+1]);
+         int j, end;
+         celt_word32 g = SHR32(bank[i+c*m->nbEBands],1);
+         j=M*eBands[i];
+         end = M*eBands[i+1];
+         do {
+            *f++ = SHL32(MULT16_32_Q15(*x, g),2);
+            x++;
+         } while (++j<end);
       }
+      for (i=M*eBands[m->nbEBands];i<M*eBands[m->nbEBands+1];i++)
+         *f++ = 0;
    }
-   for (i=C*eBands[m->nbEBands];i<C*eBands[m->nbEBands+1];i++)
-      freq[i] = 0;
 }
 
-
-/* Compute the best gain for each "pitch band" */
-void compute_pitch_gain(const CELTMode *m, const celt_norm_t *X, const celt_norm_t *P, celt_pgain_t *gains)
+int compute_pitch_gain(const CELTMode *m, const celt_sig *X, const celt_sig *P, int norm_rate, int *gain_id, int _C, celt_word16 *gain_prod)
 {
-   int i;
-   const celt_int16_t *pBands = m->pBands;
-   const int C = CHANNELS(m);
+   int j, c;
+   celt_word16 g;
+   celt_word16 delta;
+   const int C = CHANNELS(_C);
+   celt_word32 Sxy=0, Sxx=0, Syy=0;
+   int len = m->pitchEnd;
+   const int N = FRAMESIZE(m);
+#ifdef FIXED_POINT
+   int shift = 0;
+   celt_word32 maxabs=0;
 
-   for (i=0;i<m->nbPBands;i++)
+   for (c=0;c<C;c++)
    {
-      celt_word32_t Sxy=0, Sxx=0;
-      int j;
-      /* We know we're not going to overflow because Sxx can't be more than 1 (Q28) */
-      for (j=C*pBands[i];j<C*pBands[i+1];j++)
+      for (j=0;j<len;j++)
       {
-         Sxy = MAC16_16(Sxy, X[j], P[j]);
-         Sxx = MAC16_16(Sxx, X[j], X[j]);
+         maxabs = MAX32(maxabs, ABS32(X[j+c*N]));
+         maxabs = MAX32(maxabs, ABS32(P[j+c*N]));
       }
-      /* No negative gain allowed */
-      if (Sxy < 0)
-         Sxy = 0;
-      /* Not sure how that would happen, just making sure */
-      if (Sxy > Sxx)
-         Sxy = Sxx;
-      /* We need to be a bit conservative (multiply gain by 0.9), otherwise the
-         residual doesn't quantise well */
-      Sxy = MULT16_32_Q15(QCONST16(.9f, 15), Sxy);
-      /* gain = Sxy/Sxx */
-      gains[i] = EXTRACT16(celt_div(Sxy,ADD32(SHR32(Sxx, PGAIN_SHIFT),EPSILON)));
-      /*printf ("%f ", 1-sqrt(1-gain*gain));*/
    }
-   /*if(rand()%10==0)
+   shift = celt_ilog2(maxabs)-12;
+   if (shift<0)
+      shift = 0;
+#endif
+   delta = PDIV32_16(Q15ONE, len);
+   for (c=0;c<C;c++)
    {
-      for (i=0;i<m->nbPBands;i++)
-         printf ("%f ", 1-sqrt(1-gains[i]*gains[i]));
-      printf ("\n");
-   }*/
-}
+      celt_word16 gg = Q15ONE;
+      for (j=0;j<len;j++)
+      {
+         celt_word16 Xj, Pj;
+         Xj = EXTRACT16(SHR32(X[j+c*N], shift));
+         Pj = MULT16_16_P15(gg,EXTRACT16(SHR32(P[j+c*N], shift)));
+         Sxy = MAC16_16(Sxy, Xj, Pj);
+         Sxx = MAC16_16(Sxx, Pj, Pj);
+         Syy = MAC16_16(Syy, Xj, Xj);
+         gg = SUB16(gg, delta);
+      }
+   }
+#ifdef FIXED_POINT
+   {
+      celt_word32 num, den;
+      celt_word16 fact;
+      fact = MULT16_16(QCONST16(.04f, 14), norm_rate);
+      if (fact < QCONST16(1.f, 14))
+         fact = QCONST16(1.f, 14);
+      num = Sxy;
+      den = EPSILON+Sxx+MULT16_32_Q15(QCONST16(.03f,15),Syy);
+      shift = celt_zlog2(Sxy)-16;
+      if (shift < 0)
+         shift = 0;
+      if (Sxy < MULT16_32_Q15(fact, MULT16_16(celt_sqrt(EPSILON+Sxx),celt_sqrt(EPSILON+Syy))))
+         g = 0;
+      else
+         g = DIV32(SHL32(SHR32(num,shift),14),ADD32(EPSILON,SHR32(den,shift)));
 
-/* Apply the (quantised) gain to each "pitch band" */
-void pitch_quant_bands(const CELTMode *m, celt_norm_t * restrict P, const celt_pgain_t * restrict gains)
-{
-   int i;
-   const celt_int16_t *pBands = m->pBands;
-   const int C = CHANNELS(m);
-   for (i=0;i<m->nbPBands;i++)
+      /* This MUST round down so that we don't over-estimate the gain */
+      *gain_id = EXTRACT16(SHR32(MULT16_16(20,(g-QCONST16(.5f,14))),14));
+   }
+#else
+   {
+      float fact = .04f*norm_rate;
+      if (fact < 1)
+         fact = 1;
+      g = Sxy/(.1f+Sxx+.03f*Syy);
+      if (Sxy < .5f*fact*celt_sqrt(1+Sxx*Syy))
+         g = 0;
+      /* This MUST round down so that we don't over-estimate the gain */
+      *gain_id = floor(20*(g-.5f));
+   }
+#endif
+   /* This prevents the pitch gain from being above 1.0 for too long by bounding the 
+      maximum error amplification factor to 2.0 */
+   g = ADD16(QCONST16(.5f,14), MULT16_16_16(QCONST16(.05f,14),*gain_id));
+   *gain_prod = MAX16(QCONST32(1.f, 13), MULT16_16_Q14(*gain_prod,g));
+   if (*gain_prod>QCONST32(2.f, 13))
    {
-      int j;
-      for (j=C*pBands[i];j<C*pBands[i+1];j++)
-         P[j] = MULT16_16_Q15(gains[i], P[j]);
-      /*printf ("%f ", gain);*/
+      *gain_id=9;
+      *gain_prod = QCONST32(2.f, 13);
+   }
+
+   if (*gain_id < 0)
+   {
+      *gain_id = 0;
+      return 0;
+   } else {
+      if (*gain_id > 15)
+         *gain_id = 15;
+      return 1;
    }
-   for (i=C*pBands[m->nbPBands];i<C*pBands[m->nbPBands+1];i++)
-      P[i] = 0;
 }
 
-static void intensity_band(celt_norm_t * restrict X, int len)
+void apply_pitch(const CELTMode *m, celt_sig *X, const celt_sig *P, int gain_id, int pred, int _C)
 {
-   int j;
-   celt_word32_t E = 1e-15;
-   celt_word32_t E2 = 1e-15;
-   for (j=0;j<len;j++)
+   int j, c, N;
+   celt_word16 gain;
+   celt_word16 delta;
+   const int C = CHANNELS(_C);
+   int len = m->pitchEnd;
+
+   N = FRAMESIZE(m);
+   gain = ADD16(QCONST16(.5f,14), MULT16_16_16(QCONST16(.05f,14),gain_id));
+   delta = PDIV32_16(gain, len);
+   if (pred)
+      gain = -gain;
+   else
+      delta = -delta;
+   for (c=0;c<C;c++)
    {
-      X[j] = X[2*j];
-      E += MULT16_16(X[j],X[j]);
-      E2 += MULT16_16(X[2*j+1],X[2*j+1]);
+      celt_word16 gg = gain;
+      for (j=0;j<len;j++)
+      {
+         X[j+c*N] += SHL32(MULT16_32_Q15(gg,P[j+c*N]),1);
+         gg = ADD16(gg, delta);
+      }
    }
-#ifndef FIXED_POINT
-   E  = celt_sqrt(E+E2)/celt_sqrt(E);
-   for (j=0;j<len;j++)
-      X[j] *= E;
-#endif
-   for (j=0;j<len;j++)
-      X[len+j] = 0;
-
 }
 
-static void dup_band(celt_norm_t * restrict X, int len)
+#ifndef DISABLE_STEREO
+
+static void stereo_band_mix(const CELTMode *m, celt_norm *X, celt_norm *Y, const celt_ener *bank, int stereo_mode, int bandID, int dir, int M)
 {
+   int i = bandID;
+   const celt_int16 *eBands = m->eBands;
    int j;
-   for (j=len-1;j>=0;j--)
+   celt_word16 a1, a2;
+   if (stereo_mode==0)
    {
-      X[2*j] = MULT16_16_Q15(QCONST16(.70711f,15),X[j]);
-      X[2*j+1] = MULT16_16_Q15(QCONST16(.70711f,15),X[j]);
+      /* Do mid-side when not doing intensity stereo */
+      a1 = QCONST16(.70711f,14);
+      a2 = dir*QCONST16(.70711f,14);
+   } else {
+      celt_word16 left, right;
+      celt_word16 norm;
+#ifdef FIXED_POINT
+      int shift = celt_zlog2(MAX32(bank[i], bank[i+m->nbEBands]))-13;
+#endif
+      left = VSHR32(bank[i],shift);
+      right = VSHR32(bank[i+m->nbEBands],shift);
+      norm = EPSILON + celt_sqrt(EPSILON+MULT16_16(left,left)+MULT16_16(right,right));
+      a1 = DIV32_16(SHL32(EXTEND32(left),14),norm);
+      a2 = dir*DIV32_16(SHL32(EXTEND32(right),14),norm);
+   }
+   for (j=0;j<M*eBands[i+1]-M*eBands[i];j++)
+   {
+      celt_norm r, l;
+      l = X[j];
+      r = Y[j];
+      X[j] = MULT16_16_Q14(a1,l) + MULT16_16_Q14(a2,r);
+      Y[j] = MULT16_16_Q14(a1,r) - MULT16_16_Q14(a2,l);
    }
 }
 
-static void stereo_band_mix(const CELTMode *m, celt_norm_t *X, const celt_ener_t *bank, const int *stereo_mode, int bandID, int dir)
+
+#endif /* DISABLE_STEREO */
+
+int folding_decision(const CELTMode *m, celt_norm *X, celt_word16 *average, int *last_decision, int _C, int M)
 {
-   int i = bandID;
-   const celt_int16_t *eBands = m->eBands;
-   const int C = CHANNELS(m);
+   int i, c, N0;
+   int NR=0;
+   celt_word32 ratio = EPSILON;
+   const int C = CHANNELS(_C);
+   const celt_int16 * restrict eBands = m->eBands;
+   
+   N0 = FRAMESIZE(m);
+
+   for (c=0;c<C;c++)
    {
-      int j;
-      if (stereo_mode[i] && dir <0)
+   for (i=0;i<m->nbEBands;i++)
+   {
+      int j, N;
+      int max_i=0;
+      celt_word16 max_val=EPSILON;
+      celt_word32 floor_ener=EPSILON;
+      celt_norm * restrict x = X+M*eBands[i]+c*N0;
+      N = M*eBands[i+1]-M*eBands[i];
+      for (j=0;j<N;j++)
       {
-         dup_band(X+C*eBands[i], eBands[i+1]-eBands[i]);
-      } else {
-         celt_word16_t a1, a2;
-         if (stereo_mode[i]==0)
-         {
-            /* Do mid-side when not doing intensity stereo */
-            a1 = QCONST16(.70711f,14);
-            a2 = dir*QCONST16(.70711f,14);
-         } else {
-            celt_word16_t left, right;
-            celt_word16_t norm;
-#ifdef FIXED_POINT
-            int shift = celt_zlog2(MAX32(bank[i*C], bank[i*C+1]))-13;
-#endif
-            left = VSHR32(bank[i*C],shift);
-            right = VSHR32(bank[i*C+1],shift);
-            norm = EPSILON + celt_sqrt(EPSILON+MULT16_16(left,left)+MULT16_16(right,right));
-            a1 = DIV32_16(SHL32(EXTEND32(left),14),norm);
-            a2 = dir*DIV32_16(SHL32(EXTEND32(right),14),norm);
-         }
-         for (j=eBands[i];j<eBands[i+1];j++)
+         if (ABS16(x[j])>max_val)
          {
-            celt_norm_t r, l;
-            l = X[j*C];
-            r = X[j*C+1];
-            X[j*C] = MULT16_16_Q14(a1,l) + MULT16_16_Q14(a2,r);
-            X[j*C+1] = MULT16_16_Q14(a1,r) - MULT16_16_Q14(a2,l);
+            max_val = ABS16(x[j]);
+            max_i = j;
          }
       }
-      if (stereo_mode[i] && dir>0)
+#if 0
+      for (j=0;j<N;j++)
+      {
+         if (abs(j-max_i)>2)
+            floor_ener += x[j]*x[j];
+      }
+#else
+      floor_ener = QCONST32(1.,28)-MULT16_16(max_val,max_val);
+      if (max_i < N-1)
+         floor_ener -= MULT16_16(x[(max_i+1)], x[(max_i+1)]);
+      if (max_i < N-2)
+         floor_ener -= MULT16_16(x[(max_i+2)], x[(max_i+2)]);
+      if (max_i > 0)
+         floor_ener -= MULT16_16(x[(max_i-1)], x[(max_i-1)]);
+      if (max_i > 1)
+         floor_ener -= MULT16_16(x[(max_i-2)], x[(max_i-2)]);
+      floor_ener = MAX32(floor_ener, EPSILON);
+#endif
+      if (N>7)
       {
-         intensity_band(X+C*eBands[i], eBands[i+1]-eBands[i]);
+         celt_word16 r;
+         celt_word16 den = celt_sqrt(floor_ener);
+         den = MAX32(QCONST16(.02f, 15), den);
+         r = DIV32_16(SHL32(EXTEND32(max_val),8),den);
+         ratio = ADD32(ratio, EXTEND32(r));
+         NR++;
       }
    }
+   }
+   if (NR>0)
+      ratio = DIV32_16(ratio, NR);
+   ratio = ADD32(HALF32(ratio), HALF32(*average));
+   if (!*last_decision)
+   {
+      *last_decision = (ratio < QCONST16(1.8f,8));
+   } else {
+      *last_decision = (ratio < QCONST16(3.f,8));
+   }
+   *average = EXTRACT16(ratio);
+   return *last_decision;
 }
 
-void stereo_decision(const CELTMode *m, celt_norm_t * restrict X, int *stereo_mode, int len)
-{
-   int i;
-   for (i=0;i<len-5;i++)
-      stereo_mode[i] = 0;
-   for (;i<len;i++)
-      stereo_mode[i] = 0;
-}
-
-
-
 /* Quantisation of the residual */
-void quant_bands(const CELTMode *m, celt_norm_t * restrict X, celt_norm_t *P, celt_mask_t *W, const celt_ener_t *bandE, const int *stereo_mode, int total_bits, int shortBlocks, ec_enc *enc)
+void quant_bands(const CELTMode *m, int start, celt_norm * restrict X, const celt_ener *bandE, int *pulses, int shortBlocks, int fold, int resynth, int total_bits, int encode, void *enc_dec, int M)
 {
-   int i, j, bits;
-   const celt_int16_t * restrict eBands = m->eBands;
-   celt_norm_t * restrict norm;
-   VARDECL(celt_norm_t, _norm);
-   VARDECL(int, pulses);
-   VARDECL(int, offsets);
-   const int C = CHANNELS(m);
+   int i, j, remaining_bits, balance;
+   const celt_int16 * restrict eBands = m->eBands;
+   celt_norm * restrict norm;
+   VARDECL(celt_norm, _norm);
    int B;
    SAVE_STACK;
 
    B = shortBlocks ? m->nbShortMdcts : 1;
-   ALLOC(_norm, C*eBands[m->nbEBands+1], celt_norm_t);
-   ALLOC(pulses, m->nbEBands, int);
-   ALLOC(offsets, m->nbEBands, int);
+   ALLOC(_norm, M*eBands[m->nbEBands+1], celt_norm);
    norm = _norm;
 
-   for (i=0;i<m->nbEBands;i++)
-      offsets[i] = 0;
-   /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
-   bits = total_bits - ec_enc_tell(enc, 0) - 1;
-   compute_allocation(m, offsets, stereo_mode, bits, pulses);
-   
-   /*printf("bits left: %d\n", bits);
-   for (i=0;i<m->nbEBands;i++)
-      printf ("%d ", pulses[i]);
-   printf ("\n");*/
-   /*printf ("%d %d\n", ec_enc_tell(enc, 0), compute_allocation(m, m->nbPulses));*/
-   for (i=0;i<m->nbEBands;i++)
+   balance = 0;
+   for (i=start;i<m->nbEBands;i++)
    {
+      int tell;
+      int N;
       int q;
-      celt_word16_t n;
-      q = pulses[i];
-      n = SHL16(celt_sqrt(C*(eBands[i+1]-eBands[i])),11);
+      const celt_int16 * const *BPbits;
+      
+      int curr_balance, curr_bits;
+      
+      N = M*eBands[i+1]-M*eBands[i];
+      BPbits = m->bits;
 
-      /* If pitch isn't available, use intra-frame prediction */
-      if (eBands[i] >= m->pitchEnd || q<=0)
+      if (encode)
+         tell = ec_enc_tell(enc_dec, BITRES);
+      else
+         tell = ec_dec_tell(enc_dec, BITRES);
+      if (i != start)
+         balance -= tell;
+      remaining_bits = (total_bits<<BITRES)-tell-1;
+      curr_balance = (m->nbEBands-i);
+      if (curr_balance > 3)
+         curr_balance = 3;
+      curr_balance = balance / curr_balance;
+      q = bits2pulses(m, BPbits[i], N, pulses[i]+curr_balance);
+      curr_bits = pulses2bits(BPbits[i], N, q);
+      remaining_bits -= curr_bits;
+      while (remaining_bits < 0 && q > 0)
       {
-         q -= 1;
-         if (q<0)
-            intra_fold(m, X+C*eBands[i], eBands[i+1]-eBands[i], norm, P+C*eBands[i], eBands[i], B);
-         else
-            intra_prediction(m, X+C*eBands[i], W+C*eBands[i], eBands[i+1]-eBands[i], q, norm, P+C*eBands[i], eBands[i], B, enc);
+         remaining_bits += curr_bits;
+         q--;
+         curr_bits = pulses2bits(BPbits[i], N, q);
+         remaining_bits -= curr_bits;
       }
+      balance += pulses[i] + tell;
       
+
       if (q > 0)
       {
-         int ch=C;
-         if (C==2 && stereo_mode[i]==1)
-            ch = 1;
-         if (C==2)
-         {
-            stereo_band_mix(m, X, bandE, stereo_mode, i, 1);
-            stereo_band_mix(m, P, bandE, stereo_mode, i, 1);
-         }
-         alg_quant(X+C*eBands[i], W+C*eBands[i], ch*(eBands[i+1]-eBands[i]), q, P+C*eBands[i], enc);
-         if (C==2)
-            stereo_band_mix(m, X, bandE, stereo_mode, i, -1);
+         int spread = fold ? B : 0;
+         if (encode)
+            alg_quant(X+M*eBands[i], N, q, spread, resynth, enc_dec);
+         else
+            alg_unquant(X+M*eBands[i], N, q, spread, enc_dec);
       } else {
-         for (j=C*eBands[i];j<C*eBands[i+1];j++)
-            X[j] = P[j];
+         if (resynth)
+            intra_fold(m, start, N, norm, X+M*eBands[i], M*eBands[i], B, M);
+      }
+      if (resynth)
+      {
+         celt_word16 n;
+         n = celt_sqrt(SHL32(EXTEND32(N),22));
+         for (j=M*eBands[i];j<M*eBands[i+1];j++)
+            norm[j] = MULT16_16_Q15(n,X[j]);
       }
-      for (j=C*eBands[i];j<C*eBands[i+1];j++)
-         norm[j] = MULT16_16_Q15(n,X[j]);
    }
    RESTORE_STACK;
 }
 
-/* Decoding of the residual */
-void unquant_bands(const CELTMode *m, celt_norm_t * restrict X, celt_norm_t *P, const celt_ener_t *bandE, const int *stereo_mode, int total_bits, int shortBlocks, ec_dec *dec)
+#ifndef DISABLE_STEREO
+
+void quant_bands_stereo(const CELTMode *m, int start, celt_norm *_X, const celt_ener *bandE, int *pulses, int shortBlocks, int fold, int resynth, int total_bits, ec_enc *enc, int M)
 {
-   int i, j, bits;
-   const celt_int16_t * restrict eBands = m->eBands;
-   celt_norm_t * restrict norm;
-   VARDECL(celt_norm_t, _norm);
-   VARDECL(int, pulses);
-   VARDECL(int, offsets);
-   const int C = CHANNELS(m);
+   int i, j, remaining_bits, balance;
+   const celt_int16 * restrict eBands = m->eBands;
+   celt_norm * restrict norm;
+   VARDECL(celt_norm, _norm);
    int B;
+   celt_word16 mid, side;
    SAVE_STACK;
 
    B = shortBlocks ? m->nbShortMdcts : 1;
-   ALLOC(_norm, C*eBands[m->nbEBands+1], celt_norm_t);
-   ALLOC(pulses, m->nbEBands, int);
-   ALLOC(offsets, m->nbEBands, int);
+   ALLOC(_norm, M*eBands[m->nbEBands+1], celt_norm);
    norm = _norm;
 
-   for (i=0;i<m->nbEBands;i++)
-      offsets[i] = 0;
-   /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
-   bits = total_bits - ec_dec_tell(dec, 0) - 1;
-   compute_allocation(m, offsets, stereo_mode, bits, pulses);
-
-   for (i=0;i<m->nbEBands;i++)
+   balance = 0;
+   for (i=start;i<m->nbEBands;i++)
    {
-      int q;
-      celt_word16_t n;
-      q = pulses[i];
-      n = SHL16(celt_sqrt(C*(eBands[i+1]-eBands[i])),11);
+      int tell;
+      int q1, q2;
+      const celt_int16 * const *BPbits;
+      int b, qb;
+      int N;
+      int curr_balance, curr_bits;
+      int imid, iside, itheta;
+      int mbits, sbits, delta;
+      int qalloc;
+      celt_norm * restrict X, * restrict Y;
+      
+      X = _X+M*eBands[i];
+      Y = X+M*eBands[m->nbEBands+1];
+      BPbits = m->bits;
+
+      N = M*eBands[i+1]-M*eBands[i];
+      tell = ec_enc_tell(enc, BITRES);
+      if (i != start)
+         balance -= tell;
+      remaining_bits = (total_bits<<BITRES)-tell-1;
+      curr_balance = (m->nbEBands-i);
+      if (curr_balance > 3)
+         curr_balance = 3;
+      curr_balance = balance / curr_balance;
+      b = IMIN(remaining_bits+1,pulses[i]+curr_balance);
+      if (b<0)
+         b = 0;
+
+      qb = (b-2*(N-1)*(QTHETA_OFFSET-log2_frac(N,BITRES)))/(32*(N-1));
+      if (qb > (b>>BITRES)-1)
+         qb = (b>>BITRES)-1;
+      if (qb<0)
+         qb = 0;
+      if (qb>14)
+         qb = 14;
 
-      /* If pitch isn't available, use intra-frame prediction */
-      if (eBands[i] >= m->pitchEnd || q<=0)
+      stereo_band_mix(m, X, Y, bandE, qb==0, i, 1, M);
+
+      mid = renormalise_vector(X, Q15ONE, N, 1);
+      side = renormalise_vector(Y, Q15ONE, N, 1);
+#ifdef FIXED_POINT
+      itheta = MULT16_16_Q15(QCONST16(0.63662f,15),celt_atan2p(side, mid));
+#else
+      itheta = floor(.5f+16384*0.63662f*atan2(side,mid));
+#endif
+      qalloc = log2_frac((1<<qb)+1,BITRES);
+      if (qb==0)
       {
-         q -= 1;
-         if (q<0)
-            intra_fold(m, X+C*eBands[i], eBands[i+1]-eBands[i], norm, P+C*eBands[i], eBands[i], B);
-         else
-            intra_unquant(m, X+C*eBands[i], eBands[i+1]-eBands[i], q, norm, P+C*eBands[i], eBands[i], B, dec);
+         itheta=0;
+      } else {
+         int shift;
+         shift = 14-qb;
+         itheta = (itheta+(1<<shift>>1))>>shift;
+         ec_enc_uint(enc, itheta, (1<<qb)+1);
+         itheta <<= shift;
+      }
+      if (itheta == 0)
+      {
+         imid = 32767;
+         iside = 0;
+         delta = -10000;
+      } else if (itheta == 16384)
+      {
+         imid = 0;
+         iside = 32767;
+         delta = 10000;
+      } else {
+         imid = bitexact_cos(itheta);
+         iside = bitexact_cos(16384-itheta);
+         delta = (N-1)*(log2_frac(iside,BITRES+2)-log2_frac(imid,BITRES+2))>>2;
+      }
+#if 1
+      if (N==2)
+      {
+         int c, c2;
+         int sign=1;
+         celt_norm v[2], w[2];
+         celt_norm *x2, *y2;
+         mbits = b-qalloc;
+         sbits = 0;
+         if (itheta != 0 && itheta != 16384)
+            sbits = 1<<BITRES;
+         mbits -= sbits;
+         c = itheta > 8192 ? 1 : 0;
+         c2 = 1-c;
+
+         x2 = X;
+         y2 = Y;
+         if (c==0)
+         {
+            v[0] = x2[0];
+            v[1] = x2[1];
+            w[0] = y2[0];
+            w[1] = y2[1];
+         } else {
+            v[0] = y2[0];
+            v[1] = y2[1];
+            w[0] = x2[0];
+            w[1] = x2[1];
+         }
+         q1 = bits2pulses(m, BPbits[i], N, mbits);
+         curr_bits = pulses2bits(BPbits[i], N, q1)+qalloc+sbits;
+         remaining_bits -= curr_bits;
+         while (remaining_bits < 0 && q1 > 0)
+         {
+            remaining_bits += curr_bits;
+            q1--;
+            curr_bits = pulses2bits(BPbits[i], N, q1)+qalloc;
+            remaining_bits -= curr_bits;
+         }
+
+         if (q1 > 0)
+         {
+            int spread = fold ? B : 0;
+            alg_quant(v, N, q1, spread, resynth, enc);
+         } else {
+            v[0] = QCONST16(1.f, 14);
+            v[1] = 0;
+         }
+         if (sbits)
+         {
+            if (v[0]*w[1] - v[1]*w[0] > 0)
+               sign = 1;
+            else
+               sign = -1;
+            ec_enc_bits(enc, sign==1, 1);
+         } else {
+            sign = 1;
+         }
+         w[0] = -sign*v[1];
+         w[1] = sign*v[0];
+         if (c==0)
+         {
+            x2[0] = v[0];
+            x2[1] = v[1];
+            y2[0] = w[0];
+            y2[1] = w[1];
+         } else {
+            x2[0] = w[0];
+            x2[1] = w[1];
+            y2[0] = v[0];
+            y2[1] = v[1];
+         }
+      } else 
+#endif
+      {
+         
+         mbits = (b-qalloc/2-delta)/2;
+         if (mbits > b-qalloc)
+            mbits = b-qalloc;
+         if (mbits<0)
+            mbits=0;
+         sbits = b-qalloc-mbits;
+         q1 = bits2pulses(m, BPbits[i], N, mbits);
+         q2 = bits2pulses(m, BPbits[i], N, sbits);
+         curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+         remaining_bits -= curr_bits;
+         while (remaining_bits < 0 && (q1 > 0 || q2 > 0))
+         {
+            remaining_bits += curr_bits;
+            if (q1>q2)
+            {
+               q1--;
+               curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+            } else {
+               q2--;
+               curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+            }
+            remaining_bits -= curr_bits;
+         }
+
+         if (q1 > 0) {
+            int spread = fold ? B : 0;
+            alg_quant(X, N, q1, spread, resynth, enc);
+         } else {
+            if (resynth)
+               intra_fold(m, start, N, norm, X, M*eBands[i], B, M);
+         }
+         if (q2 > 0) {
+            int spread = fold ? B : 0;
+            alg_quant(Y, N, q2, spread, resynth, enc);
+         } else
+            for (j=0;j<N;j++)
+               Y[j] = 0;
       }
       
-      if (q > 0)
+      balance += pulses[i] + tell;
+
+      if (resynth)
       {
-         int ch=C;
-         if (C==2 && stereo_mode[i]==1)
-            ch = 1;
-         if (C==2)
-            stereo_band_mix(m, P, bandE, stereo_mode, i, 1);
-         alg_unquant(X+C*eBands[i], ch*(eBands[i+1]-eBands[i]), q, P+C*eBands[i], dec);
-         if (C==2)
-            stereo_band_mix(m, X, bandE, stereo_mode, i, -1);
+         celt_word16 n;
+#ifdef FIXED_POINT
+         mid = imid;
+         side = iside;
+#else
+         mid = (1.f/32768)*imid;
+         side = (1.f/32768)*iside;
+#endif
+         n = celt_sqrt(SHL32(EXTEND32(N),22));
+         for (j=0;j<N;j++)
+            norm[M*eBands[i]+j] = MULT16_16_Q15(n,X[j]);
+
+         for (j=0;j<N;j++)
+            X[j] = MULT16_16_Q15(X[j], mid);
+         for (j=0;j<N;j++)
+            Y[j] = MULT16_16_Q15(Y[j], side);
+
+         stereo_band_mix(m, X, Y, bandE, 0, i, -1, M);
+         renormalise_vector(X, Q15ONE, N, 1);
+         renormalise_vector(Y, Q15ONE, N, 1);
+      }
+   }
+   RESTORE_STACK;
+}
+#endif /* DISABLE_STEREO */
+
+
+#ifndef DISABLE_STEREO
+
+void unquant_bands_stereo(const CELTMode *m, int start, celt_norm *_X, const celt_ener *bandE, int *pulses, int shortBlocks, int fold, int total_bits, ec_dec *dec, int M)
+{
+   int i, j, remaining_bits, balance;
+   const celt_int16 * restrict eBands = m->eBands;
+   celt_norm * restrict norm;
+   VARDECL(celt_norm, _norm);
+   int B;
+   celt_word16 mid, side;
+   SAVE_STACK;
+
+   B = shortBlocks ? m->nbShortMdcts : 1;
+   ALLOC(_norm, M*eBands[m->nbEBands+1], celt_norm);
+   norm = _norm;
+
+   balance = 0;
+   for (i=start;i<m->nbEBands;i++)
+   {
+      int tell;
+      int q1, q2;
+      celt_word16 n;
+      const celt_int16 * const *BPbits;
+      int b, qb;
+      int N;
+      int curr_balance, curr_bits;
+      int imid, iside, itheta;
+      int mbits, sbits, delta;
+      int qalloc;
+      celt_norm * restrict X, * restrict Y;
+      
+      X = _X+M*eBands[i];
+      Y = X+M*eBands[m->nbEBands+1];
+      BPbits = m->bits;
+
+      N = M*eBands[i+1]-M*eBands[i];
+      tell = ec_dec_tell(dec, BITRES);
+      if (i != start)
+         balance -= tell;
+      remaining_bits = (total_bits<<BITRES)-tell-1;
+      curr_balance = (m->nbEBands-i);
+      if (curr_balance > 3)
+         curr_balance = 3;
+      curr_balance = balance / curr_balance;
+      b = IMIN(remaining_bits+1,pulses[i]+curr_balance);
+      if (b<0)
+         b = 0;
+
+      qb = (b-2*(N-1)*(QTHETA_OFFSET-log2_frac(N,BITRES)))/(32*(N-1));
+      if (qb > (b>>BITRES)-1)
+         qb = (b>>BITRES)-1;
+      if (qb>14)
+         qb = 14;
+      if (qb<0)
+         qb = 0;
+      qalloc = log2_frac((1<<qb)+1,BITRES);
+      if (qb==0)
+      {
+         itheta=0;
+      } else {
+         int shift;
+         shift = 14-qb;
+         itheta = ec_dec_uint(dec, (1<<qb)+1);
+         itheta <<= shift;
+      }
+      if (itheta == 0)
+      {
+         imid = 32767;
+         iside = 0;
+         delta = -10000;
+      } else if (itheta == 16384)
+      {
+         imid = 0;
+         iside = 32767;
+         delta = 10000;
       } else {
-         for (j=C*eBands[i];j<C*eBands[i+1];j++)
-            X[j] = P[j];
+         imid = bitexact_cos(itheta);
+         iside = bitexact_cos(16384-itheta);
+         delta = (N-1)*(log2_frac(iside,BITRES+2)-log2_frac(imid,BITRES+2))>>2;
+      }
+      n = celt_sqrt(SHL32(EXTEND32(N),22));
+
+#if 1
+      if (N==2)
+      {
+         int c, c2;
+         int sign=1;
+         celt_norm v[2], w[2];
+         celt_norm *x2, *y2;
+         mbits = b-qalloc;
+         sbits = 0;
+         if (itheta != 0 && itheta != 16384)
+            sbits = 1<<BITRES;
+         mbits -= sbits;
+         c = itheta > 8192 ? 1 : 0;
+         c2 = 1-c;
+
+         x2 = X;
+         y2 = Y;
+         v[0] = x2[c];
+         v[1] = y2[c];
+         w[0] = x2[c2];
+         w[1] = y2[c2];
+         q1 = bits2pulses(m, BPbits[i], N, mbits);
+         curr_bits = pulses2bits(BPbits[i], N, q1)+qalloc+sbits;
+         remaining_bits -= curr_bits;
+         while (remaining_bits < 0 && q1 > 0)
+         {
+            remaining_bits += curr_bits;
+            q1--;
+            curr_bits = pulses2bits(BPbits[i], N, q1)+qalloc;
+            remaining_bits -= curr_bits;
+         }
+
+         if (q1 > 0)
+         {
+            int spread = fold ? B : 0;
+            alg_unquant(v, N, q1, spread, dec);
+         } else {
+            v[0] = QCONST16(1.f, 14);
+            v[1] = 0;
+         }
+         if (sbits)
+            sign = 2*ec_dec_bits(dec, 1)-1;
+         else
+            sign = 1;
+         w[0] = -sign*v[1];
+         w[1] = sign*v[0];
+         if (c==0)
+         {
+            x2[0] = v[0];
+            x2[1] = v[1];
+            y2[0] = w[0];
+            y2[1] = w[1];
+         } else {
+            x2[0] = w[0];
+            x2[1] = w[1];
+            y2[0] = v[0];
+            y2[1] = v[1];
+         }
+      } else
+#endif
+      {
+         mbits = (b-qalloc/2-delta)/2;
+         if (mbits > b-qalloc)
+            mbits = b-qalloc;
+         if (mbits<0)
+            mbits=0;
+         sbits = b-qalloc-mbits;
+         q1 = bits2pulses(m, BPbits[i], N, mbits);
+         q2 = bits2pulses(m, BPbits[i], N, sbits);
+         curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+         remaining_bits -= curr_bits;
+         while (remaining_bits < 0 && (q1 > 0 || q2 > 0))
+         {
+            remaining_bits += curr_bits;
+            if (q1>q2)
+            {
+               q1--;
+               curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+            } else {
+               q2--;
+               curr_bits = pulses2bits(BPbits[i], N, q1)+pulses2bits(BPbits[i], N, q2)+qalloc;
+            }
+            remaining_bits -= curr_bits;
+         }
+         
+         if (q1 > 0)
+         {
+            int spread = fold ? B : 0;
+            alg_unquant(X, N, q1, spread, dec);
+         } else
+            intra_fold(m, start, N, norm, X, M*eBands[i], B, M);
+         if (q2 > 0)
+         {
+            int spread = fold ? B : 0;
+            alg_unquant(Y, N, q2, spread, dec);
+         } else
+            for (j=0;j<N;j++)
+               Y[j] = 0;
+            /*orthogonalize(X+C*M*eBands[i], X+C*M*eBands[i]+N, N);*/
       }
-      for (j=C*eBands[i];j<C*eBands[i+1];j++)
-         norm[j] = MULT16_16_Q15(n,X[j]);
+      balance += pulses[i] + tell;
+      
+#ifdef FIXED_POINT
+      mid = imid;
+      side = iside;
+#else
+      mid = (1.f/32768)*imid;
+      side = (1.f/32768)*iside;
+#endif
+      for (j=0;j<N;j++)
+         norm[M*eBands[i]+j] = MULT16_16_Q15(n,X[j]);
+
+      for (j=0;j<N;j++)
+         X[j] = MULT16_16_Q15(X[j], mid);
+      for (j=0;j<N;j++)
+         Y[j] = MULT16_16_Q15(Y[j], side);
+
+      stereo_band_mix(m, X, Y, bandE, 0, i, -1, M);
+      renormalise_vector(X, Q15ONE, N, 1);
+      renormalise_vector(Y, Q15ONE, N, 1);
    }
    RESTORE_STACK;
 }
 
+#endif /* DISABLE_STEREO */