New VQ search nearly fixed-point ready
[opus.git] / libcelt / vq.c
index feda715..51c9ab8 100644 (file)
@@ -1,4 +1,4 @@
-/* (C) 2007 Jean-Marc Valin, CSIRO
+/* (C) 2007-2008 Jean-Marc Valin, CSIRO
 */
 /*
    Redistribution and use in source and binary forms, with or without
 #include "config.h"
 #endif
 
-#include <math.h>
-#include <stdlib.h>
 #include "mathops.h"
 #include "cwrs.h"
 #include "vq.h"
 #include "arch.h"
 #include "os_support.h"
 
-/* Enable this or define your own implementation if you want to speed up the
-   VQ search (used in inner loop only) */
-#if 0
-#include <xmmintrin.h>
-static inline float approx_sqrt(float x)
-{
-   _mm_store_ss(&x, _mm_sqrt_ss(_mm_set_ss(x)));
-   return x;
-}
-static inline float approx_inv(float x)
-{
-   _mm_store_ss(&x, _mm_rcp_ss(_mm_set_ss(x)));
-   return x;
-}
-#else
-#define approx_sqrt(x) (sqrt(x))
-#define approx_inv(x) (1.f/(x))
-#endif
-
-#ifdef FIXED_POINT
-#else
-#define celt_sqrt sqrt
-#endif
-
-/** Takes the pitch vector and the decoded residual vector (non-compressed), 
-   applies the compression in the pitch direction, computes the gain that will
-   give ||p+g*y||=1 and mixes the residual with the pitch. */
-static void mix_pitch_and_residual(int *iy, celt_norm_t *X, int N, int K, celt_norm_t *P, celt_word16_t alpha)
+/** Takes the pitch vector and the decoded residual vector, computes the gain
+    that will give ||p+g*y||=1 and mixes the residual with the pitch. */
+static void mix_pitch_and_residual(int * restrict iy, celt_norm_t * restrict X, int N, int K, const celt_norm_t * restrict P)
 {
    int i;
    celt_word32_t Ryp, Ryy, Rpp;
+   celt_word16_t ryp, ryy, rpp;
    celt_word32_t g;
-   VARDECL(celt_norm_t *y);
+   VARDECL(celt_norm_ty);
 #ifdef FIXED_POINT
-   int yshift = 14-EC_ILOG(K);
+   int yshift;
+#endif
+   SAVE_STACK;
+#ifdef FIXED_POINT
+   yshift = 13-celt_ilog2(K);
 #endif
    ALLOC(y, N, celt_norm_t);
 
    /*for (i=0;i<N;i++)
    printf ("%d ", iy[i]);*/
    Rpp = 0;
-   for (i=0;i<N;i++)
+   i=0;
+   do {
       Rpp = MAC16_16(Rpp,P[i],P[i]);
+      y[i] = SHL16(iy[i],yshift);
+   } while (++i < N);
 
    Ryp = 0;
-   for (i=0;i<N;i++)
-      Ryp = MAC16_16(Ryp,SHL16(iy[i],yshift),P[i]);
-
-   /* Remove part of the pitch component to compute the real residual from
-      the encoded (int) one */
-   for (i=0;i<N;i++)
-      y[i] = SUB16(SHL16(iy[i],yshift),
-                   MULT16_16_Q15(alpha,MULT16_16_Q14(EXTRACT16(SHR32(Ryp,14)),P[i])));
-
-   /* Recompute after the projection (I think it's right) */
-   Ryp = 0;
-   for (i=0;i<N;i++)
-      Ryp = MAC16_16(Ryp,y[i],P[i]);
-
    Ryy = 0;
-   for (i=0;i<N;i++)
-      Ryy = MAC16_16(Ryy, y[i],y[i]);
-
+   /* If this doesn't generate a dual MAC (on supported archs), fire the compiler guy */
+   i=0;
+   do {
+      Ryp = MAC16_16(Ryp, y[i], P[i]);
+      Ryy = MAC16_16(Ryy, y[i], y[i]);
+   } while (++i < N);
+
+   ryp = ROUND16(Ryp,14);
+   ryy = ROUND16(Ryy,14);
+   rpp = ROUND16(Rpp,14);
    /* g = (sqrt(Ryp^2 + Ryy - Rpp*Ryy)-Ryp)/Ryy */
-   g = DIV32(SHL32(celt_sqrt(MULT16_16(PSHR32(Ryp,14),PSHR32(Ryp,14)) + Ryy - MULT16_16(PSHR32(Ryy,14),PSHR32(Rpp,14))) - PSHR32(Ryp,14),14),PSHR32(Ryy,14));
+   g = MULT16_32_Q15(celt_sqrt(MAC16_16(Ryy, ryp,ryp) - MULT16_16(ryy,rpp)) - ryp,
+                     celt_rcp(SHR32(Ryy,9)));
 
-   for (i=0;i<N;i++)
-      X[i] = P[i] + MULT16_32_Q14(y[i], g);
+   i=0;
+   do 
+      X[i] = ADD16(P[i], ROUND16(MULT16_16(y[i], g),11));
+   while (++i < N);
+
+   RESTORE_STACK;
 }
 
-/** All the info necessary to keep track of a hypothesis during the search */
-struct NBest {
-   float score;
-   float gain;
-   int sign;
-   int pos;
-   int orig;
-   float xy;
-   float yy;
-   float yp;
-};
-
-void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, celt_word16_t alpha, ec_enc *enc)
+
+void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, ec_enc *enc)
 {
-   int L = 3;
-   VARDECL(float *x);
-   VARDECL(float *p);
-   VARDECL(float *_y);
-   VARDECL(float *_ny);
-   VARDECL(int *_iy);
-   VARDECL(int *_iny);
-   VARDECL(float **y);
-   VARDECL(float **ny);
-   VARDECL(int **iy);
-   VARDECL(int **iny);
-   int i, j, k, m;
+   VARDECL(celt_norm_t, y);
+   VARDECL(int, iy);
+   VARDECL(celt_word16_t, signx);
+   int j, is;
+   celt_word16_t s;
    int pulsesLeft;
-   VARDECL(float *xy);
-   VARDECL(float *yy);
-   VARDECL(float *yp);
-   VARDECL(struct NBest *_nbest);
-   VARDECL(struct NBest **nbest);
-   float Rpp=0, Rxp=0;
-   int maxL = 1;
-   float _alpha = Q15_ONE_1*alpha;
-
-   ALLOC(x, N, float);
-   ALLOC(p, N, float);
-   ALLOC(_y, L*N, float);
-   ALLOC(_ny, L*N, float);
-   ALLOC(_iy, L*N, int);
-   ALLOC(_iny, L*N, int);
-   ALLOC(y, L*N, float*);
-   ALLOC(ny, L*N, float*);
-   ALLOC(iy, L*N, int*);
-   ALLOC(iny, L*N, int*);
-   
-   ALLOC(xy, L, float);
-   ALLOC(yy, L, float);
-   ALLOC(yp, L, float);
-   ALLOC(_nbest, L, struct NBest);
-   ALLOC(nbest, L, struct NBest *);
+   celt_word32_t sum;
+   celt_word32_t xy, yy, yp;
+   celt_word16_t Rpp;
+   int N_1; /* Inverse of N, in Q14 format (even for float) */
+#ifdef FIXED_POINT
+   int yshift;
+#endif
+   SAVE_STACK;
 
-   for (j=0;j<N;j++)
-   {
-      x[j] = X[j]*NORM_SCALING_1;
-      p[j] = P[j]*NORM_SCALING_1;
-   }
-   
-   for (m=0;m<L;m++)
-      nbest[m] = &_nbest[m];
-   
-   for (m=0;m<L;m++)
-   {
-      ny[m] = &_ny[m*N];
-      iny[m] = &_iny[m*N];
-      y[m] = &_y[m*N];
-      iy[m] = &_iy[m*N];
-   }
-   
-   for (j=0;j<N;j++)
-   {
-      Rpp += p[j]*p[j];
-      Rxp += x[j]*p[j];
-   }
-   if (Rpp>1)
-      celt_fatal("Rpp > 1");
+#ifdef FIXED_POINT
+   yshift = 13-celt_ilog2(K);
+#endif
 
-   /* We only need to initialise the zero because the first iteration only uses that */
-   for (i=0;i<N;i++)
-      y[0][i] = 0;
-   for (i=0;i<N;i++)
-      iy[0][i] = 0;
-   xy[0] = yy[0] = yp[0] = 0;
+   ALLOC(y, N, celt_norm_t);
+   ALLOC(iy, N, int);
+   ALLOC(signx, N, celt_word16_t);
+   N_1 = 512/N;
+
+   sum = 0;
+   j=0; do {
+      X[j] -= P[j];
+      if (X[j]>0)
+         signx[j]=1;
+      else {
+         signx[j]=-1;
+         X[j]=-X[j];
+         P[j]=-P[j];
+      }
+      iy[j] = 0;
+      y[j] = 0;
+      sum = MAC16_16(sum, P[j],P[j]);
+   } while (++j<N);
+   Rpp = ROUND16(sum, NORM_SHIFT);
+
+   celt_assert2(Rpp<=NORM_SCALING, "Rpp should never have a norm greater than unity");
+
+   xy = yy = yp = 0;
 
    pulsesLeft = K;
-   while (pulsesLeft > 0)
+#if 0
+   if (K > (N>>1))
+   {
+      celt_word32_t sum=0;
+      j=0; do {
+         sum += X[j];
+      }  while (++j<N);
+      sum = DIV32(SHL32(EXTEND32(K),15),EPSILON+sum);
+      j=0; do {
+#ifdef FIXED_POINT
+         iy[j] = MULT16_32_Q15(X[j],sum);
+#else
+         iy[j] = floor(sum*X[j]);
+#endif
+         y[j] = SHL16(iy[j],yshift);
+         yy = MAC16_16(yy, y[j],y[j]);
+         xy = MAC16_16(xy, X[j],y[j]);
+         yp += P[j]*y[j];
+         y[j] *= 2;
+         pulsesLeft -= iy[j];
+      }  while (++j<N);
+   }
+#endif
+   while (pulsesLeft > 1)
    {
       int pulsesAtOnce=1;
-      int Lupdate = L;
-      int L2 = L;
-      
-      /* Decide on complexity strategy */
-      pulsesAtOnce = pulsesLeft/N;
+      int best_id;
+      celt_word16_t magnitude;
+      celt_word32_t best_num = -VERY_LARGE16;
+      celt_word16_t best_den = 0;
+#ifdef FIXED_POINT
+      int rshift;
+#endif
+      /* Decide on how many pulses to find at once */
+      pulsesAtOnce = (pulsesLeft*N_1)>>9; /* pulsesLeft/N */
       if (pulsesAtOnce<1)
          pulsesAtOnce = 1;
-      if (pulsesLeft-pulsesAtOnce > 3 || N > 30)
-         Lupdate = 1;
-      /*printf ("%d %d %d/%d %d\n", Lupdate, pulsesAtOnce, pulsesLeft, K, N);*/
-      L2 = Lupdate;
-      if (L2>maxL)
-      {
-         L2 = maxL;
-         maxL *= N;
-      }
-
-      for (m=0;m<Lupdate;m++)
-         nbest[m]->score = -1e10f;
-
-      for (m=0;m<L2;m++)
-      {
-         for (j=0;j<N;j++)
+#ifdef FIXED_POINT
+      rshift = yshift+1+celt_ilog2(K-pulsesLeft+pulsesAtOnce);
+#endif
+      magnitude = SHL16(pulsesAtOnce, yshift);
+
+      best_id = 0;
+      /* The squared magnitude term gets added anyway, so we might as well 
+         add it outside the loop */
+      yy = MAC16_16(yy, magnitude,magnitude);
+      /* Choose between fast and accurate strategy depending on where we are in the search */
+         /* This should ensure that anything we can process will have a better score */
+      j=0;
+      do {
+         celt_word16_t Rxy, Ryy;
+         /* Select sign based on X[j] alone */
+         s = magnitude;
+         /* Temporary sums of the new pulse(s) */
+         Rxy = EXTRACT16(SHR32(MAC16_16(xy, s,X[j]),rshift));
+         /* We're multiplying y[j] by two so we don't have to do it here */
+         Ryy = EXTRACT16(SHR32(MAC16_16(yy, s,y[j]),rshift));
+            
+            /* Approximate score: we maximise Rxy/sqrt(Ryy) (we're guaranteed that 
+         Rxy is positive because the sign is pre-computed) */
+         Rxy = MULT16_16_Q15(Rxy,Rxy);
+            /* The idea is to check for num/den >= best_num/best_den, but that way
+         we can do it without any division */
+         /* OPT: Make sure to use conditional moves here */
+         if (MULT16_16(best_den, Rxy) > MULT16_16(Ryy, best_num))
          {
-            int sign;
-            /*if (x[j]>0) sign=1; else sign=-1;*/
-            for (sign=-1;sign<=1;sign+=2)
-            {
-               /*fprintf (stderr, "%d/%d %d/%d %d/%d\n", i, K, m, L2, j, N);*/
-               float tmp_xy, tmp_yy, tmp_yp;
-               float score;
-               float g;
-               float s = sign*pulsesAtOnce;
-               
-               /* All pulses at one location must have the same sign. */
-               if (iy[m][j]*sign < 0)
-                  continue;
-
-               /* Updating the sums of the new pulse(s) */
-               tmp_xy = xy[m] + s*x[j]               - _alpha*s*p[j]*Rxp;
-               tmp_yy = yy[m] + 2.f*s*y[m][j] + s*s      +s*s*_alpha*_alpha*p[j]*p[j]*Rpp - 2.f*_alpha*s*p[j]*yp[m] - 2.f*s*s*_alpha*p[j]*p[j];
-               tmp_yp = yp[m] + s*p[j]               *(1.f-_alpha*Rpp);
-               
-               /* Compute the gain such that ||p + g*y|| = 1 */
-               g = (approx_sqrt(tmp_yp*tmp_yp + tmp_yy - tmp_yy*Rpp) - tmp_yp)*approx_inv(tmp_yy);
-               /* Knowing that gain, what the error: (x-g*y)^2 
-                  (result is negated and we discard x^2 because it's constant) */
-               score = 2.f*g*tmp_xy - g*g*tmp_yy;
-
-               if (score>nbest[Lupdate-1]->score)
-               {
-                  int k;
-                  int id = Lupdate-1;
-                  struct NBest *tmp_best;
-
-                  /* Save some pointers that would be deleted and use them for the current entry*/
-                  tmp_best = nbest[Lupdate-1];
-                  while (id > 0 && score > nbest[id-1]->score)
-                     id--;
-               
-                  for (k=Lupdate-1;k>id;k--)
-                     nbest[k] = nbest[k-1];
-
-                  nbest[id] = tmp_best;
-                  nbest[id]->score = score;
-                  nbest[id]->pos = j;
-                  nbest[id]->orig = m;
-                  nbest[id]->sign = sign;
-                  nbest[id]->gain = g;
-                  nbest[id]->xy = tmp_xy;
-                  nbest[id]->yy = tmp_yy;
-                  nbest[id]->yp = tmp_yp;
-               }
-            }
+            best_den = Ryy;
+            best_num = Rxy;
+            best_id = j;
          }
-
-      }
+      } while (++j<N);
       
-      if (!(nbest[0]->score > -1e10f))
-         celt_fatal("Could not find any match in VQ codebook. Something got corrupted somewhere.");
-      /* Only now that we've made the final choice, update ny/iny and others */
-      for (k=0;k<Lupdate;k++)
-      {
-         int n;
-         int is;
-         float s;
-         is = nbest[k]->sign*pulsesAtOnce;
-         s = is;
-         for (n=0;n<N;n++)
-            ny[k][n] = y[nbest[k]->orig][n] - _alpha*s*p[nbest[k]->pos]*p[n];
-         ny[k][nbest[k]->pos] += s;
-
-         for (n=0;n<N;n++)
-            iny[k][n] = iy[nbest[k]->orig][n];
-         iny[k][nbest[k]->pos] += is;
-
-         xy[k] = nbest[k]->xy;
-         yy[k] = nbest[k]->yy;
-         yp[k] = nbest[k]->yp;
-      }
-      /* Swap ny/iny with y/iy */
-      for (k=0;k<Lupdate;k++)
-      {
-         float *tmp_ny;
-         int *tmp_iny;
-
-         tmp_ny = ny[k];
-         ny[k] = y[k];
-         y[k] = tmp_ny;
-         tmp_iny = iny[k];
-         iny[k] = iy[k];
-         iy[k] = tmp_iny;
-      }
+      j = best_id;
+      is = pulsesAtOnce;
+      s = SHL16(is, yshift);
+
+      /* Updating the sums of the new pulse(s) */
+      xy = xy + MULT16_16(s,X[j]);
+      /* We're multiplying y[j] by two so we don't have to do it here */
+      yy = yy + MULT16_16(s,y[j]);
+      yp = yp + MULT16_16(s, P[j]);
+
+      /* Only now that we've made the final choice, update y/iy */
+      /* Multiplying y[j] by 2 so we don't have to do it everywhere else */
+      y[j] += 2*s;
+      iy[j] += is;
       pulsesLeft -= pulsesAtOnce;
    }
    
-#if 0
-   if (0) {
-      float err=0;
-      for (i=0;i<N;i++)
-         err += (x[i]-nbest[0]->gain*y[0][i])*(x[i]-nbest[0]->gain*y[0][i]);
-      /*if (N<=10)
-        printf ("%f %d %d\n", err, K, N);*/
-   }
-   /* Sanity checks, don't bother */
-   if (0) {
-      for (i=0;i<N;i++)
-         x[i] = p[i]+nbest[0]->gain*y[0][i];
-      float E=1e-15;
-      int ABS = 0;
-      for (i=0;i<N;i++)
-         ABS += abs(iy[0][i]);
-      /*if (K != ABS)
-         printf ("%d %d\n", K, ABS);*/
-      for (i=0;i<N;i++)
-         E += x[i]*x[i];
-      /*printf ("%f\n", E);*/
-      E = 1/sqrt(E);
-      for (i=0;i<N;i++)
-         x[i] *= E;
-   }
+   {
+      celt_word16_t g;
+      celt_word16_t best_num = -VERY_LARGE16;
+      celt_word16_t best_den = 0;
+      int best_id = 0;
+      celt_word16_t magnitude = SHL16(1, yshift);
+
+      /* The squared magnitude term gets added anyway, so we might as well 
+      add it outside the loop */
+      yy = MAC16_16(yy, magnitude,magnitude);
+      j=0;
+      do {
+         celt_word16_t Rxy, Ryy, Ryp;
+         celt_word16_t num;
+         /* Select sign based on X[j] alone */
+         s = magnitude;
+         /* Temporary sums of the new pulse(s) */
+         Rxy = ROUND16(MAC16_16(xy, s,X[j]), 14);
+         /* We're multiplying y[j] by two so we don't have to do it here */
+         Ryy = ROUND16(MAC16_16(yy, s,y[j]), 14);
+         Ryp = ROUND16(MAC16_16(yp, s,P[j]), 14);
+
+            /* Compute the gain such that ||p + g*y|| = 1 
+         ...but instead, we compute g*Ryy to avoid dividing */
+         g = celt_psqrt(MULT16_16(Ryp,Ryp) + MULT16_16(Ryy,QCONST16(1.f,14)-Rpp)) - Ryp;
+            /* Knowing that gain, what's the error: (x-g*y)^2 
+         (result is negated and we discard x^2 because it's constant) */
+         /* score = 2*g*Rxy - g*g*Ryy;*/
+#ifdef FIXED_POINT
+         /* No need to multiply Rxy by 2 because we did it earlier */
+         num = MULT16_16_Q15(ADD16(SUB16(Rxy,g),Rxy),g);
+#else
+         num = g*(2*Rxy-g);
 #endif
-   
-   encode_pulses(iy[0], N, K, enc);
+         if (MULT16_16(best_den, num) > MULT16_16(Ryy, best_num))
+         {
+            best_den = Ryy;
+            best_num = num;
+            best_id = j;
+         }
+      } while (++j<N);
+      iy[best_id] += 1;
+   }
+   j=0;
+   do {
+      P[j] = MULT16_16(signx[j],P[j]);
+      X[j] = MULT16_16(signx[j],X[j]);
+      if (signx[j] < 0)
+         iy[j] = -iy[j];
+   } while (++j<N);
+   encode_pulses(iy, N, K, enc);
    
    /* Recompute the gain in one pass to reduce the encoder-decoder mismatch
-      due to the recursive computation used in quantisation.
-      Not quite sure whether we need that or not */
-   mix_pitch_and_residual(iy[0], X, N, K, P, alpha);
+   due to the recursive computation used in quantisation. */
+   mix_pitch_and_residual(iy, X, N, K, P);
+   RESTORE_STACK;
 }
 
+
 /** Decode pulse vector and combine the result with the pitch vector to produce
     the final normalised signal in the current band. */
-void alg_unquant(celt_norm_t *X, int N, int K, celt_norm_t *P, celt_word16_t alpha, ec_dec *dec)
+void alg_unquant(celt_norm_t *X, int N, int K, celt_norm_t *P, ec_dec *dec)
 {
-   VARDECL(int *iy);
+   VARDECL(int, iy);
+   SAVE_STACK;
    ALLOC(iy, N, int);
    decode_pulses(iy, N, K, dec);
-   mix_pitch_and_residual(iy, X, N, K, P, alpha);
+   mix_pitch_and_residual(iy, X, N, K, P);
+   RESTORE_STACK;
 }
 
-
-static const float pg[11] = {1.f, .75f, .65f, 0.6f, 0.6f, .6f, .55f, .55f, .5f, .5f, .5f};
-
-void intra_prediction(celt_norm_t *x, celt_mask_t *W, int N, int K, celt_norm_t *Y, celt_norm_t *P, int B, int N0, ec_enc *enc)
+void renormalise_vector(celt_norm_t *X, celt_word16_t value, int N, int stride)
 {
-   int i,j;
-   int best=0;
-   float best_score=0;
-   float s = 1;
-   int sign;
-   float E;
-   float pred_gain;
-   int max_pos = N0-N/B;
-   if (max_pos > 32)
-      max_pos = 32;
-
-   for (i=0;i<max_pos*B;i+=B)
-   {
-      int j;
-      float xy=0, yy=0;
-      float score;
-      for (j=0;j<N;j++)
-      {
-         xy += 1.f*x[j]*Y[i+N-j-1];
-         yy += 1.f*Y[i+N-j-1]*Y[i+N-j-1];
-      }
-      score = xy*xy/(.001+yy);
-      if (score > best_score)
-      {
-         best_score = score;
-         best = i;
-         if (xy>0)
-            s = 1;
-         else
-            s = -1;
-      }
-   }
-   if (s<0)
-      sign = 1;
-   else
-      sign = 0;
-   /*printf ("%d %d ", sign, best);*/
-   ec_enc_uint(enc,sign,2);
-   ec_enc_uint(enc,best/B,max_pos);
-   /*printf ("%d %f\n", best, best_score);*/
-   
-   if (K>10)
-      pred_gain = pg[10];
-   else
-      pred_gain = pg[K];
-   E = 1e-10;
-   for (j=0;j<N;j++)
+   int i;
+   celt_word32_t E = EPSILON;
+   celt_word16_t g;
+   celt_norm_t *xptr = X;
+   for (i=0;i<N;i++)
    {
-      P[j] = s*Y[best+N-j-1];
-      E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
+      E = MAC16_16(E, *xptr, *xptr);
+      xptr += stride;
    }
-   E = pred_gain/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   if (K>0)
+
+   g = MULT16_16_Q15(value,celt_rcp(SHL32(celt_sqrt(E),9)));
+   xptr = X;
+   for (i=0;i<N;i++)
    {
-      for (j=0;j<N;j++)
-         x[j] -= P[j];
-   } else {
-      for (j=0;j<N;j++)
-         x[j] = P[j];
+      *xptr = PSHR32(MULT16_16(g, *xptr),8);
+      xptr += stride;
    }
-   /*printf ("quant ");*/
-   /*for (j=0;j<N;j++) printf ("%f ", P[j]);*/
-
 }
 
-void intra_unquant(celt_norm_t *x, int N, int K, celt_norm_t *Y, celt_norm_t *P, int B, int N0, ec_dec *dec)
+static void fold(const CELTMode *m, int N, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int B)
 {
    int j;
-   int sign;
-   float s;
-   int best;
-   float E;
-   float pred_gain;
-   int max_pos = N0-N/B;
-   if (max_pos > 32)
-      max_pos = 32;
-   
-   sign = ec_dec_uint(dec, 2);
-   if (sign == 0)
-      s = 1;
+   const int C = CHANNELS(m);
+   int id = N0 % (C*B);
+   /* Here, we assume that id will never be greater than N0, i.e. that 
+      no band is wider than N0. In the unlikely case it happens, we set
+      everything to zero */
+   if (id+C*N>N0)
+      for (j=0;j<C*N;j++)
+         P[j] = 0;
    else
-      s = -1;
-   
-   best = B*ec_dec_uint(dec, max_pos);
-   /*printf ("%d %d ", sign, best);*/
-
-   if (K>10)
-      pred_gain = pg[10];
-   else
-      pred_gain = pg[K];
-   E = 1e-10;
-   for (j=0;j<N;j++)
-   {
-      P[j] = s*Y[best+N-j-1];
-      E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
-   }
-   E = pred_gain/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   if (K==0)
-   {
-      for (j=0;j<N;j++)
-         x[j] = P[j];
-   }
+      for (j=0;j<C*N;j++)
+         P[j] = Y[id++];
 }
 
-void intra_fold(celt_norm_t *x, int N, celt_norm_t *Y, celt_norm_t *P, int B, int N0, int Nmax)
+#define KGAIN 6
+
+void intra_fold(const CELTMode *m, celt_norm_t * restrict x, int N, int K, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int B)
 {
-   int i, j;
-   float E;
-   
-   E = 1e-10;
-   if (N0 >= Nmax/2)
-   {
-      for (i=0;i<B;i++)
-      {
-         for (j=0;j<N/B;j++)
-         {
-            P[j*B+i] = Y[(Nmax-N0-j-1)*B+i];
-            E += NORM_SCALING_1*NORM_SCALING_1*P[j*B+i]*P[j*B+i];
-         }
-      }
-   } else {
-      for (j=0;j<N;j++)
-      {
-         P[j] = Y[j];
-         E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
-      }
-   }
-   E = 1.f/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   for (j=0;j<N;j++)
-      x[j] = P[j];
+   celt_word16_t pred_gain;
+   const int C = CHANNELS(m);
+
+   if (K==0)
+      pred_gain = Q15ONE;
+   else
+      pred_gain = celt_div((celt_word32_t)MULT16_16(Q15_ONE,N),(celt_word32_t)(N+KGAIN*K));
+
+   fold(m, N, Y, P, N0, B);
+
+   renormalise_vector(P, pred_gain, C*N, 1);
 }