Reorders some operations in anti-collapse to reuse values
[opus.git] / libcelt / bands.c
index 09ff354..132c9d9 100644 (file)
 #include "mathops.h"
 #include "rate.h"
 
 #include "mathops.h"
 #include "rate.h"
 
+static celt_uint32 lcg_rand(celt_uint32 seed)
+{
+   return 1664525 * seed + 1013904223;
+}
+
 /* This is a cos() approximation designed to be bit-exact on any platform. Bit exactness
    with this approximation is important because it has an impact on the bit allocation */
 static celt_int16 bitexact_cos(celt_int16 x)
 /* This is a cos() approximation designed to be bit-exact on any platform. Bit exactness
    with this approximation is important because it has an impact on the bit allocation */
 static celt_int16 bitexact_cos(celt_int16 x)
@@ -61,6 +66,18 @@ static celt_int16 bitexact_cos(celt_int16 x)
    return 1+x2;
 }
 
    return 1+x2;
 }
 
+static int bitexact_log2tan(int isin,int icos)
+{
+   int lc;
+   int ls;
+   lc=EC_ILOG(icos);
+   ls=EC_ILOG(isin);
+   icos<<=15-lc;
+   isin<<=15-ls;
+   return (ls-lc<<11)
+         +FRAC_MUL16(isin, FRAC_MUL16(isin, -2597) + 7932)
+         -FRAC_MUL16(icos, FRAC_MUL16(icos, -2597) + 7932);
+}
 
 #ifdef FIXED_POINT
 /* Compute the amplitude (sqrt energy) in each of the bands */
 
 #ifdef FIXED_POINT
 /* Compute the amplitude (sqrt energy) in each of the bands */
@@ -194,6 +211,80 @@ void denormalise_bands(const CELTMode *m, const celt_norm * restrict X, celt_sig
    } while (++c<C);
 }
 
    } while (++c<C);
 }
 
+/* This prevents energy collapse for transients with multiple short MDCTs */
+void anti_collapse(const CELTMode *m, celt_norm *_X, unsigned char *collapse_masks, int LM, int C, int size,
+      int start, int end, celt_word16 *logE, celt_word16 *prev1logE,
+      celt_word16 *prev2logE, int *pulses, celt_uint32 seed)
+{
+   int c, i, j, k;
+   for (i=start;i<end;i++)
+   {
+      int N0;
+      celt_word16 thresh, sqrt_1;
+      int depth;
+#ifdef FIXED_POINT
+      int shift;
+#endif
+
+      N0 = m->eBands[i+1]-m->eBands[i];
+      depth = (1+(pulses[i]>>BITRES))/(m->eBands[i+1]-m->eBands[i]<<LM);
+
+#ifdef FIXED_POINT
+      thresh = MULT16_32_Q15(QCONST16(0.3f, 15), MIN32(32767,SHR32(celt_exp2(-SHL16(depth, 11)),1) ));
+      {
+         celt_word32 t;
+         t = N0<<LM;
+         shift = celt_ilog2(t)>>1;
+         t = SHL32(t, (7-shift)<<1);
+         sqrt_1 = celt_rsqrt_norm(t);
+      }
+#else
+      thresh = .3f*celt_exp2(-depth);
+      sqrt_1 = celt_rsqrt(N0<<LM);
+#endif
+
+      c=0; do
+      {
+         celt_norm *X;
+         celt_word16 Ediff;
+         celt_word16 r;
+         Ediff = logE[c*m->nbEBands+i]-MIN16(prev1logE[c*m->nbEBands+i],prev2logE[c*m->nbEBands+i]);
+         Ediff = MAX16(0, Ediff);
+
+#ifdef FIXED_POINT
+         if (Ediff < 16384)
+            r = 2*MIN16(16383,SHR32(celt_exp2(-SHL16(Ediff, 11-DB_SHIFT)),1));
+         else
+            r = 0;
+         r = SHR16(MIN16(thresh, r),1);
+         r = SHR32(MULT16_16_Q15(sqrt_1, r),shift);
+#else
+         r = 2.f*celt_exp2(-Ediff);
+         r = MIN16(thresh, r);
+         r = r*sqrt_1;
+#endif
+         X = _X+c*size+(m->eBands[i]<<LM);
+         for (k=0;k<1<<LM;k++)
+         {
+            /* Detect collapse */
+            if (!(collapse_masks[i*C+c]&1<<k))
+            {
+               /* Fill with noise */
+               for (j=0;j<N0;j++)
+               {
+                  seed = lcg_rand(seed);
+                  X[(j<<LM)+k] = (seed&0x8000 ? r : -r);
+               }
+            }
+         }
+         /* We just added some energy, so we need to renormalise */
+         renormalise_vector(X, N0<<LM, Q15ONE);
+      } while (++c<C);
+   }
+
+}
+
+
 static void intensity_stereo(const CELTMode *m, celt_norm *X, celt_norm *Y, const celt_ener *bank, int bandID, int N)
 {
    int i = bandID;
 static void intensity_stereo(const CELTMode *m, celt_norm *X, celt_norm *Y, const celt_ener *bank, int bandID, int N)
 {
    int i = bandID;
@@ -237,6 +328,7 @@ static void stereo_merge(celt_norm *X, celt_norm *Y, celt_word16 mid, int N)
    int j;
    celt_word32 xp=0, side=0;
    celt_word32 El, Er;
    int j;
    celt_word32 xp=0, side=0;
    celt_word32 El, Er;
+   celt_word16 mid2;
 #ifdef FIXED_POINT
    int kl, kr;
 #endif
 #ifdef FIXED_POINT
    int kl, kr;
 #endif
@@ -248,11 +340,12 @@ static void stereo_merge(celt_norm *X, celt_norm *Y, celt_word16 mid, int N)
       xp = MAC16_16(xp, X[j], Y[j]);
       side = MAC16_16(side, Y[j], Y[j]);
    }
       xp = MAC16_16(xp, X[j], Y[j]);
       side = MAC16_16(side, Y[j], Y[j]);
    }
+   /* Compensating for the mid normalization */
+   xp = MULT16_32_Q15(mid, xp);
    /* mid and side are in Q15, not Q14 like X and Y */
    /* mid and side are in Q15, not Q14 like X and Y */
-   mid = SHR32(mid, 1);
-   //side = SHR32(side, 1);
-   El = MULT16_16(mid, mid) + side - 2*xp;
-   Er = MULT16_16(mid, mid) + side + 2*xp;
+   mid2 = SHR32(mid, 1);
+   El = MULT16_16(mid2, mid2) + side - 2*xp;
+   Er = MULT16_16(mid2, mid2) + side + 2*xp;
    if (Er < EPSILON)
       Er = EPSILON;
    if (El < EPSILON)
    if (Er < EPSILON)
       Er = EPSILON;
    if (El < EPSILON)
@@ -277,7 +370,8 @@ static void stereo_merge(celt_norm *X, celt_norm *Y, celt_word16 mid, int N)
    for (j=0;j<N;j++)
    {
       celt_norm r, l;
    for (j=0;j<N;j++)
    {
       celt_norm r, l;
-      l = X[j];
+      /* Apply mid scaling (side is already scaled) */
+      l = MULT16_16_Q15(mid, X[j]);
       r = Y[j];
       X[j] = EXTRACT16(PSHR32(MULT16_16(lgain, SUB16(l,r)), kl+1));
       Y[j] = EXTRACT16(PSHR32(MULT16_16(rgain, ADD16(l,r)), kr+1));
       r = Y[j];
       X[j] = EXTRACT16(PSHR32(MULT16_16(lgain, SUB16(l,r)), kl+1));
       Y[j] = EXTRACT16(PSHR32(MULT16_16(rgain, ADD16(l,r)), kr+1));
@@ -285,13 +379,16 @@ static void stereo_merge(celt_norm *X, celt_norm *Y, celt_word16 mid, int N)
 }
 
 /* Decide whether we should spread the pulses in the current frame */
 }
 
 /* Decide whether we should spread the pulses in the current frame */
-int spreading_decision(const CELTMode *m, celt_norm *X, int *average, int last_decision, int end, int _C, int M)
+int spreading_decision(const CELTMode *m, celt_norm *X, int *average,
+      int last_decision, int *hf_average, int *tapset_decision, int update_hf,
+      int end, int _C, int M)
 {
    int i, c, N0;
    int sum = 0, nbBands=0;
    const int C = CHANNELS(_C);
    const celt_int16 * restrict eBands = m->eBands;
    int decision;
 {
    int i, c, N0;
    int sum = 0, nbBands=0;
    const int C = CHANNELS(_C);
    const celt_int16 * restrict eBands = m->eBands;
    int decision;
+   int hf_sum=0;
    
    N0 = M*m->shortMdctSize;
 
    
    N0 = M*m->shortMdctSize;
 
@@ -320,11 +417,33 @@ int spreading_decision(const CELTMode *m, celt_norm *X, int *average, int last_d
                tcount[2]++;
          }
 
                tcount[2]++;
          }
 
+         /* Only include four last bands (8 kHz and up) */
+         if (i>m->nbEBands-4)
+            hf_sum += 32*(tcount[1]+tcount[0])/N;
          tmp = (2*tcount[2] >= N) + (2*tcount[1] >= N) + (2*tcount[0] >= N);
          sum += tmp*256;
          nbBands++;
       }
    } while (++c<C);
          tmp = (2*tcount[2] >= N) + (2*tcount[1] >= N) + (2*tcount[0] >= N);
          sum += tmp*256;
          nbBands++;
       }
    } while (++c<C);
+
+   if (update_hf)
+   {
+      if (hf_sum)
+         hf_sum /= C*(4-m->nbEBands+end);
+      *hf_average = (*hf_average+hf_sum)>>1;
+      hf_sum = *hf_average;
+      if (*tapset_decision==2)
+         hf_sum += 4;
+      else if (*tapset_decision==0)
+         hf_sum -= 4;
+      if (hf_sum > 22)
+         *tapset_decision=2;
+      else if (hf_sum > 18)
+         *tapset_decision=1;
+      else
+         *tapset_decision=0;
+   }
+   /*printf("%d %d %d\n", hf_sum, *hf_average, *tapset_decision);*/
    sum /= nbBands;
    /* Recursive averaging */
    sum = (sum+*average)>>1;
    sum /= nbBands;
    /* Recursive averaging */
    sum = (sum+*average)>>1;
@@ -474,14 +593,9 @@ static int compute_qn(int N, int b, int offset, int stereo)
    int N2 = 2*N-1;
    if (stereo && N==2)
       N2--;
    int N2 = 2*N-1;
    if (stereo && N==2)
       N2--;
-   qb = (b+N2*offset)/N2;
-   if (qb > (b>>1)-(1<<BITRES))
-      qb = (b>>1)-(1<<BITRES);
+   qb = IMIN((b>>1)-(1<<BITRES), (b+N2*offset)/N2);
 
 
-   if (qb<0)
-       qb = 0;
-   if (qb>8<<BITRES)
-     qb = 8<<BITRES;
+   qb = IMAX(0, IMIN(8<<BITRES, qb));
 
    if (qb<(1<<BITRES>>1)) {
       qn = 1;
 
    if (qb<(1<<BITRES>>1)) {
       qn = 1;
@@ -493,19 +607,14 @@ static int compute_qn(int N, int b, int offset, int stereo)
    return qn;
 }
 
    return qn;
 }
 
-static celt_uint32 lcg_rand(celt_uint32 seed)
-{
-   return 1664525 * seed + 1013904223;
-}
-
 /* This function is responsible for encoding and decoding a band for both
    the mono and stereo case. Even in the mono case, it can split the band
    in two and transmit the energy difference with the two half-bands. It
    can be called recursively so bands can end up being split in 8 parts. */
 /* This function is responsible for encoding and decoding a band for both
    the mono and stereo case. Even in the mono case, it can split the band
    in two and transmit the energy difference with the two half-bands. It
    can be called recursively so bands can end up being split in 8 parts. */
-static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_norm *Y,
+static unsigned quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_norm *Y,
       int N, int b, int spread, int B, int intensity, int tf_change, celt_norm *lowband, int resynth, void *ec,
       celt_int32 *remaining_bits, int LM, celt_norm *lowband_out, const celt_ener *bandE, int level,
       int N, int b, int spread, int B, int intensity, int tf_change, celt_norm *lowband, int resynth, void *ec,
       celt_int32 *remaining_bits, int LM, celt_norm *lowband_out, const celt_ener *bandE, int level,
-      celt_int32 *seed, celt_word16 gain, celt_norm *lowband_scratch, int fill)
+      celt_uint32 *seed, celt_word16 gain, celt_norm *lowband_scratch, int fill)
 {
    int q;
    int curr_bits;
 {
    int q;
    int curr_bits;
@@ -520,6 +629,7 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
    int inv = 0;
    celt_word16 mid=0, side=0;
    int longBlocks;
    int inv = 0;
    celt_word16 mid=0, side=0;
    int longBlocks;
+   unsigned cm=0;
 
    longBlocks = B0==1;
 
 
    longBlocks = B0==1;
 
@@ -553,7 +663,7 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
       } while (++c<1+stereo);
       if (lowband_out)
          lowband_out[0] = SHR16(X[0],4);
       } while (++c<1+stereo);
       if (lowband_out)
          lowband_out[0] = SHR16(X[0],4);
-      return;
+      return 1;
    }
 
    if (!stereo && level == 0)
    }
 
    if (!stereo && level == 0)
@@ -573,13 +683,14 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
 
       for (k=0;k<recombine;k++)
       {
 
       for (k=0;k<recombine;k++)
       {
-         B>>=1;
-         N_B<<=1;
          if (encode)
          if (encode)
-            haar1(X, N_B, B);
+            haar1(X, N>>k, 1<<k);
          if (lowband)
          if (lowband)
-            haar1(lowband, N_B, B);
+            haar1(lowband, N>>k, 1<<k);
+         fill |= fill<<(1<<k);
       }
       }
+      B>>=recombine;
+      N_B<<=recombine;
 
       /* Increasing the time resolution */
       while ((N_B&1) == 0 && tf_change<0)
 
       /* Increasing the time resolution */
       while ((N_B&1) == 0 && tf_change<0)
@@ -588,6 +699,7 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
             haar1(X, N_B, B);
          if (lowband)
             haar1(lowband, N_B, B);
             haar1(X, N_B, B);
          if (lowband)
             haar1(lowband, N_B, B);
+         fill |= fill<<B;
          B <<= 1;
          N_B >>= 1;
          time_divide++;
          B <<= 1;
          N_B >>= 1;
          time_divide++;
@@ -600,9 +712,9 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
       if (B0>1)
       {
          if (encode)
       if (B0>1)
       {
          if (encode)
-            deinterleave_hadamard(X, N_B, B0, longBlocks);
+            deinterleave_hadamard(X, N_B>>recombine, B0<<recombine, longBlocks);
          if (lowband)
          if (lowband)
-            deinterleave_hadamard(lowband, N_B, B0, longBlocks);
+            deinterleave_hadamard(lowband, N_B>>recombine, B0<<recombine, longBlocks);
       }
    }
 
       }
    }
 
@@ -615,6 +727,8 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
          Y = X+N;
          split = 1;
          LM -= 1;
          Y = X+N;
          split = 1;
          LM -= 1;
+         if (B==1)
+            fill |= fill<<1;
          B = (B+1)>>1;
       }
    }
          B = (B+1)>>1;
       }
    }
@@ -626,11 +740,11 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
       int mbits, sbits, delta;
       int qalloc;
       int offset;
       int mbits, sbits, delta;
       int qalloc;
       int offset;
+      celt_int32 tell;
 
       /* Decide on the resolution to give to the split parameter theta */
       offset = ((m->logN[i]+(LM<<BITRES))>>1) - (stereo ? QTHETA_OFFSET_STEREO : QTHETA_OFFSET);
       qn = compute_qn(N, b, offset, stereo);
 
       /* Decide on the resolution to give to the split parameter theta */
       offset = ((m->logN[i]+(LM<<BITRES))>>1) - (stereo ? QTHETA_OFFSET_STEREO : QTHETA_OFFSET);
       qn = compute_qn(N, b, offset, stereo);
-      qalloc = 0;
       if (stereo && i>=intensity)
          qn = 1;
       if (encode)
       if (stereo && i>=intensity)
          qn = 1;
       if (encode)
@@ -641,20 +755,40 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
             2) they are orthogonal. */
          itheta = stereo_itheta(X, Y, stereo, N);
       }
             2) they are orthogonal. */
          itheta = stereo_itheta(X, Y, stereo, N);
       }
+      tell = encode ? ec_enc_tell(ec, BITRES) : ec_dec_tell(ec, BITRES);
       if (qn!=1)
       {
          if (encode)
             itheta = (itheta*qn+8192)>>14;
 
          /* Entropy coding of the angle. We use a uniform pdf for the
       if (qn!=1)
       {
          if (encode)
             itheta = (itheta*qn+8192)>>14;
 
          /* Entropy coding of the angle. We use a uniform pdf for the
-            first stereo split but a triangular one for the rest. */
-         if (stereo || B0>1)
+            time split, a step for stereo, and a triangular one for the rest. */
+         if (stereo && N>2)
          {
          {
+            int p0 = 3;
+            int x = itheta;
+            int x0 = qn/2;
+            int ft = p0*(x0+1) + x0;
+            /* Use a probability of p0 up to itheta=8192 and then use 1 after */
+            if (encode)
+            {
+               ec_encode((ec_enc*)ec,x<=x0?p0*x:(x-1-x0)+(x0+1)*p0,x<=x0?p0*(x+1):(x-x0)+(x0+1)*p0,ft);
+            } else {
+               int fs;
+               fs=ec_decode(ec,ft);
+               if (fs<(x0+1)*p0)
+                  x=fs/p0;
+               else
+                  x=x0+1+(fs-(x0+1)*p0);
+               ec_dec_update(ec,x<=x0?p0*x:(x-1-x0)+(x0+1)*p0,x<=x0?p0*(x+1):(x-x0)+(x0+1)*p0,ft);
+               itheta = x;
+            }
+         } else if (B0>1 || stereo) {
+            /* Uniform pdf */
             if (encode)
                ec_enc_uint((ec_enc*)ec, itheta, qn+1);
             else
                itheta = ec_dec_uint((ec_dec*)ec, qn+1);
             if (encode)
                ec_enc_uint((ec_enc*)ec, itheta, qn+1);
             else
                itheta = ec_dec_uint((ec_dec*)ec, qn+1);
-            qalloc = log2_frac(qn+1,BITRES);
          } else {
             int fs=1, ft;
             ft = ((qn>>1)+1)*((qn>>1)+1);
          } else {
             int fs=1, ft;
             ft = ((qn>>1)+1)*((qn>>1)+1);
@@ -668,6 +802,7 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
 
                ec_encode((ec_enc*)ec, fl, fl+fs, ft);
             } else {
 
                ec_encode((ec_enc*)ec, fl, fl+fs, ft);
             } else {
+               /* Triangular pdf */
                int fl=0;
                int fm;
                fm = ec_decode((ec_dec*)ec, ft);
                int fl=0;
                int fm;
                fm = ec_decode((ec_dec*)ec, ft);
@@ -688,11 +823,15 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
 
                ec_dec_update((ec_dec*)ec, fl, fl+fs, ft);
             }
 
                ec_dec_update((ec_dec*)ec, fl, fl+fs, ft);
             }
-            qalloc = log2_frac(ft,BITRES) - log2_frac(fs,BITRES) + 1;
          }
          itheta = (celt_int32)itheta*16384/qn;
          if (encode && stereo)
          }
          itheta = (celt_int32)itheta*16384/qn;
          if (encode && stereo)
-            stereo_split(X, Y, N);
+         {
+            if (itheta==0)
+               intensity_stereo(m, X, Y, bandE, i, N);
+            else
+               stereo_split(X, Y, N);
+         }
          /* TODO: Renormalising X and Y *may* help fixed-point a bit at very high rate.
                   Let's do that at higher complexity */
       } else if (stereo) {
          /* TODO: Renormalising X and Y *may* help fixed-point a bit at very high rate.
                   Let's do that at higher complexity */
       } else if (stereo) {
@@ -713,28 +852,32 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
                ec_enc_bit_logp(ec, inv, 2);
             else
                inv = ec_dec_bit_logp(ec, 2);
                ec_enc_bit_logp(ec, inv, 2);
             else
                inv = ec_dec_bit_logp(ec, 2);
-            qalloc = inv ? 16 : 4;
          } else
             inv = 0;
          itheta = 0;
       }
          } else
             inv = 0;
          itheta = 0;
       }
+      qalloc = (encode ? ec_enc_tell(ec, BITRES) : ec_dec_tell(ec, BITRES))
+               - tell;
+      b -= qalloc;
 
       if (itheta == 0)
       {
          imid = 32767;
          iside = 0;
 
       if (itheta == 0)
       {
          imid = 32767;
          iside = 0;
-         delta = -10000;
+         fill &= (1<<B)-1;
+         delta = -16384;
       } else if (itheta == 16384)
       {
          imid = 0;
          iside = 32767;
       } else if (itheta == 16384)
       {
          imid = 0;
          iside = 32767;
-         delta = 10000;
+         fill &= (1<<B)-1<<B;
+         delta = 16384;
       } else {
          imid = bitexact_cos(itheta);
          iside = bitexact_cos(16384-itheta);
          /* This is the mid vs side allocation that minimizes squared error
             in that band. */
       } else {
          imid = bitexact_cos(itheta);
          iside = bitexact_cos(16384-itheta);
          /* This is the mid vs side allocation that minimizes squared error
             in that band. */
-         delta = (N-1)*(log2_frac(iside,BITRES+2)-log2_frac(imid,BITRES+2))>>2;
+         delta = FRAC_MUL16(N-1<<7,bitexact_log2tan(iside,imid));
       }
 
 #ifdef FIXED_POINT
       }
 
 #ifdef FIXED_POINT
@@ -751,9 +894,9 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
       if (N==2 && stereo)
       {
          int c;
       if (N==2 && stereo)
       {
          int c;
-         int sign=1;
+         int sign=0;
          celt_norm *x2, *y2;
          celt_norm *x2, *y2;
-         mbits = b-qalloc;
+         mbits = b;
          sbits = 0;
          /* Only need one bit for the side */
          if (itheta != 0 && itheta != 16384)
          sbits = 0;
          /* Only need one bit for the side */
          if (itheta != 0 && itheta != 16384)
@@ -769,14 +912,16 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
             if (encode)
             {
                /* Here we only need to encode a sign for the side */
             if (encode)
             {
                /* Here we only need to encode a sign for the side */
-               sign = x2[0]*y2[1] - x2[1]*y2[0] > 0;
+               sign = x2[0]*y2[1] - x2[1]*y2[0] < 0;
                ec_enc_bits((ec_enc*)ec, sign, 1);
             } else {
                sign = ec_dec_bits((ec_dec*)ec, 1);
             }
          }
                ec_enc_bits((ec_enc*)ec, sign, 1);
             } else {
                sign = ec_dec_bits((ec_dec*)ec, 1);
             }
          }
-         sign = 2*sign - 1;
-         quant_band(encode, m, i, x2, NULL, N, mbits, spread, B, intensity, tf_change, lowband, resynth, ec, remaining_bits, LM, lowband_out, NULL, level, seed, gain, lowband_scratch, fill);
+         sign = 1-2*sign;
+         cm = quant_band(encode, m, i, x2, NULL, N, mbits, spread, B, intensity, tf_change, lowband, resynth, ec, remaining_bits, LM, lowband_out, NULL, level, seed, gain, lowband_scratch, fill);
+         /* We don't split N=2 bands, so cm is either 1 or 0 (for a fold-collapse),
+             and there's no need to worry about mixing with the other channel. */
          y2[0] = -sign*x2[1];
          y2[1] = sign*x2[0];
          if (resynth)
          y2[0] = -sign*x2[1];
          y2[1] = sign*x2[0];
          if (resynth)
@@ -809,12 +954,8 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
                /* Corresponds to a forward-masking slope of 1.5 dB per 10 ms */
                delta = IMIN(0, delta + (N<<BITRES>>(5-LM)));
          }
                /* Corresponds to a forward-masking slope of 1.5 dB per 10 ms */
                delta = IMIN(0, delta + (N<<BITRES>>(5-LM)));
          }
-         mbits = (b-qalloc-delta)/2;
-         if (mbits > b-qalloc)
-            mbits = b-qalloc;
-         if (mbits<0)
-            mbits=0;
-         sbits = b-qalloc-mbits;
+         mbits = IMAX(0, IMIN(b, (b-delta)/2));
+         sbits = b-mbits;
          *remaining_bits -= qalloc;
 
          if (lowband && !stereo)
          *remaining_bits -= qalloc;
 
          if (lowband && !stereo)
@@ -827,12 +968,16 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
          else
             next_level = level+1;
 
          else
             next_level = level+1;
 
-         quant_band(encode, m, i, X, NULL, N, mbits, spread, B, intensity, tf_change,
+         /* In stereo mode, we do not apply a scaling to the mid because we need the normalized
+            mid for folding later */
+         cm = quant_band(encode, m, i, X, NULL, N, mbits, spread, B, intensity, tf_change,
                lowband, resynth, ec, remaining_bits, LM, next_lowband_out1,
                lowband, resynth, ec, remaining_bits, LM, next_lowband_out1,
-               NULL, next_level, seed, MULT16_16_P15(gain,mid), lowband_scratch, fill);
-         quant_band(encode, m, i, Y, NULL, N, sbits, spread, B, intensity, tf_change,
+               NULL, next_level, seed, stereo ? Q15ONE : MULT16_16_P15(gain,mid), lowband_scratch, fill);
+         /* For a stereo split, the high bits of fill are always zero, so no
+             folding will be done to the side. */
+         cm |= quant_band(encode, m, i, Y, NULL, N, sbits, spread, B, intensity, tf_change,
                next_lowband2, resynth, ec, remaining_bits, LM, NULL,
                next_lowband2, resynth, ec, remaining_bits, LM, NULL,
-               NULL, next_level, seed, MULT16_16_P15(gain,side), NULL, fill && !stereo);
+               NULL, next_level, seed, MULT16_16_P15(gain,side), NULL, fill>>B)<<B;
       }
 
    } else {
       }
 
    } else {
@@ -856,9 +1001,9 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
 
          /* Finally do the actual quantization */
          if (encode)
 
          /* Finally do the actual quantization */
          if (encode)
-            alg_quant(X, N, K, spread, B, lowband, resynth, (ec_enc*)ec, seed, gain);
+            cm = alg_quant(X, N, K, spread, B, lowband, resynth, (ec_enc*)ec, gain);
          else
          else
-            alg_unquant(X, N, K, spread, B, lowband, (ec_dec*)ec, seed, gain);
+            cm = alg_unquant(X, N, K, spread, B, lowband, (ec_dec*)ec, gain);
       } else {
          /* If there's no pulse, fill the band anyway */
          int j;
       } else {
          /* If there's no pulse, fill the band anyway */
          int j;
@@ -875,12 +1020,14 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
                   for (j=0;j<N;j++)
                   {
                      *seed = lcg_rand(*seed);
                   for (j=0;j<N;j++)
                   {
                      *seed = lcg_rand(*seed);
-                     X[j] = (int)(*seed)>>20;
+                     X[j] = (celt_int32)(*seed)>>20;
                   }
                   }
+                  cm = (1<<B)-1;
                } else {
                   /* Folded spectrum */
                   for (j=0;j<N;j++)
                      X[j] = lowband[j];
                } else {
                   /* Folded spectrum */
                   for (j=0;j<N;j++)
                      X[j] = lowband[j];
+                  cm = fill;
                }
                renormalise_vector(X, N, gain);
             }
                }
                renormalise_vector(X, N, gain);
             }
@@ -894,7 +1041,10 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
       if (stereo)
       {
          if (N!=2)
       if (stereo)
       {
          if (N!=2)
+         {
+            cm |= cm>>B;
             stereo_merge(X, Y, mid, N);
             stereo_merge(X, Y, mid, N);
+         }
          if (inv)
          {
             int j;
          if (inv)
          {
             int j;
@@ -907,7 +1057,7 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
 
          /* Undo the sample reorganization going from time order to frequency order */
          if (B0>1)
 
          /* Undo the sample reorganization going from time order to frequency order */
          if (B0>1)
-            interleave_hadamard(X, N_B, B0, longBlocks);
+            interleave_hadamard(X, N_B>>recombine, B0<<recombine, longBlocks);
 
          /* Undo time-freq changes that we did earlier */
          N_B = N_B0;
 
          /* Undo time-freq changes that we did earlier */
          N_B = N_B0;
@@ -916,15 +1066,17 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
          {
             B >>= 1;
             N_B <<= 1;
          {
             B >>= 1;
             N_B <<= 1;
+            cm |= cm>>B;
             haar1(X, N_B, B);
          }
 
          for (k=0;k<recombine;k++)
          {
             haar1(X, N_B, B);
          }
 
          for (k=0;k<recombine;k++)
          {
-            haar1(X, N_B, B);
-            N_B>>=1;
-            B <<= 1;
+            cm |= cm<<(1<<k);
+            haar1(X, N0>>k, 1<<k);
          }
          }
+         B<<=recombine;
+         N_B>>=recombine;
 
          /* Scale output for later folding */
          if (lowband_out)
 
          /* Scale output for later folding */
          if (lowband_out)
@@ -937,14 +1089,16 @@ static void quant_band(int encode, const CELTMode *m, int i, celt_norm *X, celt_
          }
       }
    }
          }
       }
    }
+   return cm;
 }
 
 void quant_all_bands(int encode, const CELTMode *m, int start, int end,
 }
 
 void quant_all_bands(int encode, const CELTMode *m, int start, int end,
-      celt_norm *_X, celt_norm *_Y, const celt_ener *bandE, int *pulses,
+      celt_norm *_X, celt_norm *_Y, unsigned char *collapse_masks, const celt_ener *bandE, int *pulses,
       int shortBlocks, int spread, int dual_stereo, int intensity, int *tf_res, int resynth,
       int shortBlocks, int spread, int dual_stereo, int intensity, int *tf_res, int resynth,
-      int total_bits, void *ec, int LM, int codedBands)
+      int total_bits, void *ec, int LM, int codedBands, ec_uint32 *seed)
 {
 {
-   int i, balance;
+   int i;
+   celt_int32 balance;
    celt_int32 remaining_bits;
    const celt_int16 * restrict eBands = m->eBands;
    celt_norm * restrict norm, * restrict norm2;
    celt_int32 remaining_bits;
    const celt_int16 * restrict eBands = m->eBands;
    celt_norm * restrict norm, * restrict norm2;
@@ -952,7 +1106,6 @@ void quant_all_bands(int encode, const CELTMode *m, int start, int end,
    VARDECL(celt_norm, lowband_scratch);
    int B;
    int M;
    VARDECL(celt_norm, lowband_scratch);
    int B;
    int M;
-   celt_int32 seed;
    int lowband_offset;
    int update_lowband = 1;
    int C = _Y != NULL ? 2 : 1;
    int lowband_offset;
    int update_lowband = 1;
    int C = _Y != NULL ? 2 : 1;
@@ -964,48 +1117,21 @@ void quant_all_bands(int encode, const CELTMode *m, int start, int end,
    ALLOC(lowband_scratch, M*(eBands[m->nbEBands]-eBands[m->nbEBands-1]), celt_norm);
    norm = _norm;
    norm2 = norm + M*eBands[m->nbEBands];
    ALLOC(lowband_scratch, M*(eBands[m->nbEBands]-eBands[m->nbEBands-1]), celt_norm);
    norm = _norm;
    norm2 = norm + M*eBands[m->nbEBands];
-#if 0
-   if (C==2)
-   {
-      int j;
-      int left = 0;
-      for (j=intensity;j<codedBands;j++)
-      {
-         int tmp = pulses[j]/2;
-         left += tmp;
-         pulses[j] -= tmp;
-      }
-      if (codedBands) {
-         int perband;
-         perband = left/(m->eBands[codedBands]-m->eBands[start]);
-         for (j=start;j<codedBands;j++)
-            pulses[j] += perband*(m->eBands[j+1]-m->eBands[j]);
-         left = left-(m->eBands[codedBands]-m->eBands[start])*perband;
-         for (j=start;j<codedBands;j++)
-         {
-            int tmp = IMIN(left, m->eBands[j+1]-m->eBands[j]);
-            pulses[j] += tmp;
-            left -= tmp;
-         }
-      }
-   }
-#endif
-   if (encode)
-      seed = ((ec_enc*)ec)->rng;
-   else
-      seed = ((ec_dec*)ec)->rng;
+
    balance = 0;
    balance = 0;
-   lowband_offset = -1;
+   lowband_offset = 0;
    for (i=start;i<end;i++)
    {
    for (i=start;i<end;i++)
    {
-      int tell;
+      celt_int32 tell;
       int b;
       int N;
       int b;
       int N;
-      int curr_balance;
+      celt_int32 curr_balance;
       int effective_lowband=-1;
       celt_norm * restrict X, * restrict Y;
       int tf_change=0;
       int effective_lowband=-1;
       celt_norm * restrict X, * restrict Y;
       int tf_change=0;
-      
+      unsigned x_cm;
+      unsigned y_cm;
+
       X = _X+M*eBands[i];
       if (_Y!=NULL)
          Y = _Y+M*eBands[i];
       X = _X+M*eBands[i];
       if (_Y!=NULL)
          Y = _Y+M*eBands[i];
@@ -1020,22 +1146,17 @@ void quant_all_bands(int encode, const CELTMode *m, int start, int end,
       /* Compute how many bits we want to allocate to this band */
       if (i != start)
          balance -= tell;
       /* Compute how many bits we want to allocate to this band */
       if (i != start)
          balance -= tell;
-      remaining_bits = (total_bits<<BITRES)-tell-1;
+      remaining_bits = ((celt_int32)total_bits<<BITRES)-tell-1- (shortBlocks&&LM>=2 ? (1<<BITRES) : 0);
       if (i <= codedBands-1)
       {
       if (i <= codedBands-1)
       {
-         curr_balance = (codedBands-i);
-         if (curr_balance > 3)
-            curr_balance = 3;
-         curr_balance = balance / curr_balance;
-         b = IMIN(remaining_bits+1,pulses[i]+curr_balance);
-         if (b<0)
-            b = 0;
+         curr_balance = balance / IMIN(3, codedBands-i);
+         b = IMAX(0, IMIN(16384, IMIN(remaining_bits+1,pulses[i]+curr_balance)));
       } else {
          b = 0;
       }
 
       } else {
          b = 0;
       }
 
-      if (M*eBands[i]-N >= M*eBands[start] && (update_lowband || lowband_offset==-1))
-            lowband_offset = M*eBands[i];
+      if (M*eBands[i]-N >= M*eBands[start] && (update_lowband || lowband_offset==0))
+            lowband_offset = i;
 
       tf_change = tf_res[i];
       if (i>=m->effEBands)
 
       tf_change = tf_res[i];
       if (i>=m->effEBands)
@@ -1046,12 +1167,31 @@ void quant_all_bands(int encode, const CELTMode *m, int start, int end,
       }
 
       /* This ensures we never repeat spectral content within one band */
       }
 
       /* This ensures we never repeat spectral content within one band */
-      if (lowband_offset != -1)
+      if (lowband_offset != 0)
+         effective_lowband = IMAX(M*eBands[start], M*eBands[lowband_offset]-N);
+
+      /* Get a conservative estimate of the collapse_mask's for the bands we're
+          going to be folding from. */
+      if (lowband_offset != 0 && (spread!=SPREAD_AGGRESSIVE || B>1))
       {
       {
-         effective_lowband = lowband_offset-N;
-         if (effective_lowband < M*eBands[start])
-            effective_lowband = M*eBands[start];
+         int fold_start;
+         int fold_end;
+         int fold_i;
+         fold_start = lowband_offset;
+         while(M*eBands[--fold_start] > effective_lowband);
+         fold_end = lowband_offset-1;
+         while(M*eBands[++fold_end] < effective_lowband+N);
+         x_cm = y_cm = 0;
+         fold_i = fold_start; do {
+           x_cm |= collapse_masks[fold_i*C+0];
+           y_cm |= collapse_masks[fold_i*C+1];
+         } while (++fold_i<fold_end);
       }
       }
+      /* Otherwise, we'll be using the LCG to fold, so all blocks will (almost
+          always) be non-zero.*/
+      else
+         x_cm = y_cm = (1<<B)-1;
+
       if (dual_stereo && i==intensity)
       {
          int j;
       if (dual_stereo && i==intensity)
       {
          int j;
@@ -1063,16 +1203,19 @@ void quant_all_bands(int encode, const CELTMode *m, int start, int end,
       }
       if (dual_stereo)
       {
       }
       if (dual_stereo)
       {
-         quant_band(encode, m, i, X, NULL, N, b/2, spread, B, intensity, tf_change,
+         x_cm = quant_band(encode, m, i, X, NULL, N, b/2, spread, B, intensity, tf_change,
                effective_lowband != -1 ? norm+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
                effective_lowband != -1 ? norm+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
-               norm+M*eBands[i], bandE, 0, &seed, Q15ONE, lowband_scratch, 1);
-         quant_band(encode, m, i, Y, NULL, N, b/2, spread, B, intensity, tf_change,
+               norm+M*eBands[i], bandE, 0, seed, Q15ONE, lowband_scratch, x_cm);
+         y_cm = quant_band(encode, m, i, Y, NULL, N, b/2, spread, B, intensity, tf_change,
                effective_lowband != -1 ? norm2+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
                effective_lowband != -1 ? norm2+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
-               norm2+M*eBands[i], bandE, 0, &seed, Q15ONE, lowband_scratch, 1);
+               norm2+M*eBands[i], bandE, 0, seed, Q15ONE, lowband_scratch, y_cm);
+         collapse_masks[i*2+0] = (unsigned char)(x_cm&(1<<B)-1);
+         collapse_masks[i*2+1] = (unsigned char)(y_cm&(1<<B)-1);
       } else {
       } else {
-         quant_band(encode, m, i, X, Y, N, b, spread, B, intensity, tf_change,
+         x_cm = quant_band(encode, m, i, X, Y, N, b, spread, B, intensity, tf_change,
                effective_lowband != -1 ? norm+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
                effective_lowband != -1 ? norm+effective_lowband : NULL, resynth, ec, &remaining_bits, LM,
-               norm+M*eBands[i], bandE, 0, &seed, Q15ONE, lowband_scratch, 1);
+               norm+M*eBands[i], bandE, 0, seed, Q15ONE, lowband_scratch, x_cm|y_cm);
+         collapse_masks[i*C+1] = collapse_masks[i*C+0] = (unsigned char)(x_cm&(1<<B)-1);
       }
       balance += pulses[i] + tell;
 
       }
       balance += pulses[i] + tell;