Move skip coding into interp_bits2pulses().
[opus.git] / libcelt / vq.c
index 673cbd2..b80b65c 100644 (file)
 #define M_PI 3.141592653
 #endif
 
-static void frac_hadamard1(celt_norm *X, int len, int stride, celt_word16 c, celt_word16 s)
+static void exp_rotation1(celt_norm *X, int len, int stride, celt_word16 c, celt_word16 s)
 {
-   int j;
-   celt_norm *x, *y;
-   celt_norm * end;
-
-   j = 0;
-   x = X;
-   y = X+stride;
-   end = X+len;
-   do
+   int i;
+   celt_norm *Xptr;
+   Xptr = X;
+   for (i=0;i<len-stride;i++)
    {
       celt_norm x1, x2;
-      x1 = *x;
-      x2 = *y;
-      *x++ = EXTRACT16(SHR32(MULT16_16(c,x1) + MULT16_16(s,x2),15));
-      *y++ = EXTRACT16(SHR32(MULT16_16(s,x1) - MULT16_16(c,x2),15));
-      j++;
-      if (j>=stride)
-      {
-         j=0;
-         x+=stride;
-         y+=stride;
-      }
-   } while (y<end);
-
-   /* Reverse samples so that the next level starts from the other end */
-   for (j=0;j<len>>1;j++)
+      x1 = Xptr[0];
+      x2 = Xptr[stride];
+      Xptr[stride] = EXTRACT16(SHR32(MULT16_16(c,x2) + MULT16_16(s,x1), 15));
+      *Xptr++      = EXTRACT16(SHR32(MULT16_16(c,x1) - MULT16_16(s,x2), 15));
+   }
+   Xptr = &X[len-2*stride-1];
+   for (i=len-2*stride-1;i>=0;i--)
    {
-      celt_norm tmp = X[j];
-      X[j] = X[len-j-1];
-      X[len-j-1] = tmp;
+      celt_norm x1, x2;
+      x1 = Xptr[0];
+      x2 = Xptr[stride];
+      Xptr[stride] = EXTRACT16(SHR32(MULT16_16(c,x2) + MULT16_16(s,x1), 15));
+      *Xptr--      = EXTRACT16(SHR32(MULT16_16(c,x1) - MULT16_16(s,x2), 15));
    }
 }
 
-#define MAX_LEVELS 8
-static void exp_rotation(celt_norm *X, int len, int dir, int stride, int K)
+static void exp_rotation(celt_norm *X, int len, int dir, int stride, int K, int spread)
 {
-   int i, N=0;
-   int transient;
+   int i;
+   celt_word16 c, s;
    celt_word16 gain, theta;
-   int istride[MAX_LEVELS];
-   celt_word16 c[MAX_LEVELS], s[MAX_LEVELS];
-
-   if (K >= len)
-      return;
-   transient = stride>1;
-   /*if (len>=30)
+   int stride2=0;
+   int factor;
+   /*int i;
+   if (len>=30)
    {
       for (i=0;i<len;i++)
          X[i] = 0;
-      X[30] = 1;
-      dir = -1;
-      transient = 1;
+      X[14] = 1;
+      K=5;
    }*/
-   gain = celt_div((celt_word32)MULT16_16(Q15_ONE,len),(celt_word32)(3+len+4*K));
+   if (2*K>=len || spread==0)
+      return;
+   if (spread==1)
+      factor=10;
+   else if (spread==2)
+      factor=5;
+   else
+      factor=15;
+
+   gain = celt_div((celt_word32)MULT16_16(Q15_ONE,len),(celt_word32)(len+factor*K));
    /* FIXME: Make that HALF16 instead of HALF32 */
    theta = HALF32(MULT16_16_Q15(gain,gain));
-   c[0] = celt_cos_norm(EXTEND32(theta));
-   s[0] = celt_cos_norm(EXTEND32(SUB16(Q15ONE,theta))); /*  sin(theta) */
 
-   do {
-      istride[N] = stride;
-      stride *= 2;
-      if (K==1)
-         theta = QCONST16(.25f,15);
-      c[N] = c[0];
-      s[N] = s[0];
-      N++;
-   } while (N<MAX_LEVELS && stride < len);
-
-   /* This should help a little bit with the transients */
-   if (transient)
-      c[0] = s[0] = QCONST16(.7071068f, 15);
-
-   /* Needs to be < 0 to prevent gaps on the side of the spreading */
-   if (dir < 0)
+   c = celt_cos_norm(EXTEND32(theta));
+   s = celt_cos_norm(EXTEND32(SUB16(Q15ONE,theta))); /*  sin(theta) */
+
+   if (len>=8*stride)
    {
-      for (i=0;i<N;i++)
-         frac_hadamard1(X, len, istride[i], c[i], s[i]);
-   } else {
-      for (i=N-1;i>=0;i--)
-         frac_hadamard1(X, len, istride[i], c[i], s[i]);
+      stride2 = 1;
+      /* This is just a simple way of computing sqrt(len/stride) with rounding.
+         It's basically incrementing long as (stride2+0.5)^2 < len/stride.
+         I _think_ it is bit-exact */
+      while ((stride2*stride2+stride2)*stride + (stride>>2) < len)
+         stride2++;
    }
-
-   /* Undo last reversal */
-   for (i=0;i<len>>1;i++)
+   len /= stride;
+   for (i=0;i<stride;i++)
    {
-      celt_norm tmp = X[i];
-      X[i] = X[len-i-1];
-      X[len-i-1] = tmp;
+      if (dir < 0)
+      {
+         if (stride2)
+            exp_rotation1(X+i*len, len, stride2, s, c);
+         exp_rotation1(X+i*len, len, 1, c, s);
+      } else {
+         exp_rotation1(X+i*len, len, 1, c, -s);
+         if (stride2)
+            exp_rotation1(X+i*len, len, stride2, s, -c);
+      }
    }
    /*if (len>=30)
    {
@@ -148,7 +134,8 @@ static void exp_rotation(celt_norm *X, int len, int dir, int stride, int K)
 
 /** Takes the pitch vector and the decoded residual vector, computes the gain
     that will give ||p+g*y||=1 and mixes the residual with the pitch. */
-static void normalise_residual(int * restrict iy, celt_norm * restrict X, int N, int K, celt_word32 Ryy)
+static void normalise_residual(int * restrict iy, celt_norm * restrict X,
+      int N, int K, celt_word32 Ryy, celt_word16 gain)
 {
    int i;
 #ifdef FIXED_POINT
@@ -161,7 +148,7 @@ static void normalise_residual(int * restrict iy, celt_norm * restrict X, int N,
    k = celt_ilog2(Ryy)>>1;
 #endif
    t = VSHR32(Ryy, (k-7)<<1);
-   g = celt_rsqrt_norm(t);
+   g = MULT16_16_P15(celt_rsqrt_norm(t),gain);
 
    i=0;
    do
@@ -169,35 +156,29 @@ static void normalise_residual(int * restrict iy, celt_norm * restrict X, int N,
    while (++i < N);
 }
 
-void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
+void alg_quant(celt_norm *X, int N, int K, int spread, int B, celt_norm *lowband,
+      int resynth, ec_enc *enc, celt_int32 *seed, celt_word16 gain)
 {
    VARDECL(celt_norm, y);
    VARDECL(int, iy);
    VARDECL(celt_word16, signx);
-   int j, is;
+   int i, j;
    celt_word16 s;
    int pulsesLeft;
    celt_word32 sum;
-   celt_word32 xy, yy;
-   int N_1; /* Inverse of N, in Q14 format (even for float) */
-#ifdef FIXED_POINT
-   int yshift;
-#endif
+   celt_word32 xy;
+   celt_word16 yy;
    SAVE_STACK;
 
-   K = get_pulses(K);
-#ifdef FIXED_POINT
-   yshift = 13-celt_ilog2(K);
-#endif
+   celt_assert2(K!=0, "alg_quant() needs at least one pulse");
 
    ALLOC(y, N, celt_norm);
    ALLOC(iy, N, int);
    ALLOC(signx, N, celt_word16);
-   N_1 = 512/N;
    
-   if (spread)
-      exp_rotation(X, N, 1, spread, K);
+   exp_rotation(X, N, 1, B, K, spread);
 
+   /* Get rid of the sign */
    sum = 0;
    j=0; do {
       if (X[j]>0)
@@ -222,6 +203,7 @@ void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
          sum += X[j];
       }  while (++j<N);
 
+      /* If X is too small, just replace it with a pulse at 0 */
 #ifdef FIXED_POINT
       if (sum <= K)
 #else
@@ -241,9 +223,9 @@ void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
          /* It's really important to round *towards zero* here */
          iy[j] = MULT16_16_Q15(X[j],rcp);
 #else
-         iy[j] = floor(rcp*X[j]);
+         iy[j] = (int)floor(rcp*X[j]);
 #endif
-         y[j] = SHL16(iy[j],yshift);
+         y[j] = iy[j];
          yy = MAC16_16(yy, y[j],y[j]);
          xy = MAC16_16(xy, X[j],y[j]);
          y[j] *= 2;
@@ -252,46 +234,49 @@ void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
    }
    celt_assert2(pulsesLeft>=1, "Allocated too many pulses in the quick pass");
 
-   while (pulsesLeft > 0)
+   /* This should never happen, but just in case it does (e.g. on silence)
+      we fill the first bin with pulses. */
+#ifdef FIXED_POINT_DEBUG
+   celt_assert2(pulsesLeft<=N+3, "Not enough pulses in the quick pass");
+#endif
+   if (pulsesLeft > N+3)
+   {
+      celt_word16 tmp = pulsesLeft;
+      yy = MAC16_16(yy, tmp, tmp);
+      yy = MAC16_16(yy, tmp, y[0]);
+      iy[0] += pulsesLeft;
+      pulsesLeft=0;
+   }
+
+   s = 1;
+   for (i=0;i<pulsesLeft;i++)
    {
-      int pulsesAtOnce=1;
       int best_id;
-      celt_word16 magnitude;
       celt_word32 best_num = -VERY_LARGE16;
       celt_word16 best_den = 0;
 #ifdef FIXED_POINT
       int rshift;
 #endif
-      /* Decide on how many pulses to find at once */
-      pulsesAtOnce = (pulsesLeft*N_1)>>9; /* pulsesLeft/N */
-      if (pulsesAtOnce<1)
-         pulsesAtOnce = 1;
 #ifdef FIXED_POINT
-      rshift = yshift+1+celt_ilog2(K-pulsesLeft+pulsesAtOnce);
+      rshift = 1+celt_ilog2(K-pulsesLeft+i+1);
 #endif
-      magnitude = SHL16(pulsesAtOnce, yshift);
-
       best_id = 0;
       /* The squared magnitude term gets added anyway, so we might as well 
          add it outside the loop */
-      yy = MAC16_16(yy, magnitude,magnitude);
-      /* Choose between fast and accurate strategy depending on where we are in the search */
-         /* This should ensure that anything we can process will have a better score */
+      yy = ADD32(yy, 1);
       j=0;
       do {
          celt_word16 Rxy, Ryy;
-         /* Select sign based on X[j] alone */
-         s = magnitude;
          /* Temporary sums of the new pulse(s) */
-         Rxy = EXTRACT16(SHR32(MAC16_16(xy, s,X[j]),rshift));
+         Rxy = EXTRACT16(SHR32(ADD32(xy, EXTEND32(X[j])),rshift));
          /* We're multiplying y[j] by two so we don't have to do it here */
-         Ryy = EXTRACT16(SHR32(MAC16_16(yy, s,y[j]),rshift));
-            
-            /* Approximate score: we maximise Rxy/sqrt(Ryy) (we're guaranteed that 
-         Rxy is positive because the sign is pre-computed) */
+         Ryy = ADD16(yy, y[j]);
+
+         /* Approximate score: we maximise Rxy/sqrt(Ryy) (we're guaranteed that
+            Rxy is positive because the sign is pre-computed) */
          Rxy = MULT16_16_Q15(Rxy,Rxy);
-            /* The idea is to check for num/den >= best_num/best_den, but that way
-         we can do it without any division */
+         /* The idea is to check for num/den >= best_num/best_den, but that way
+            we can do it without any division */
          /* OPT: Make sure to use conditional moves here */
          if (MULT16_16(best_den, Rxy) > MULT16_16(Ryy, best_num))
          {
@@ -301,21 +286,18 @@ void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
          }
       } while (++j<N);
       
-      j = best_id;
-      is = pulsesAtOnce;
-      s = SHL16(is, yshift);
-
       /* Updating the sums of the new pulse(s) */
-      xy = xy + MULT16_16(s,X[j]);
+      xy = ADD32(xy, EXTEND32(X[best_id]));
       /* We're multiplying y[j] by two so we don't have to do it here */
-      yy = yy + MULT16_16(s,y[j]);
+      yy = ADD16(yy, y[best_id]);
 
       /* Only now that we've made the final choice, update y/iy */
       /* Multiplying y[j] by 2 so we don't have to do it everywhere else */
-      y[j] += 2*s;
-      iy[j] += is;
-      pulsesLeft -= pulsesAtOnce;
+      y[best_id] += 2*s;
+      iy[best_id]++;
    }
+
+   /* Put the original sign back */
    j=0;
    do {
       X[j] = MULT16_16(signx[j],X[j]);
@@ -324,24 +306,26 @@ void alg_quant(celt_norm *X, int N, int K, int spread, ec_enc *enc)
    } while (++j<N);
    encode_pulses(iy, N, K, enc);
    
-   /* Recompute the gain in one pass to reduce the encoder-decoder mismatch
-   due to the recursive computation used in quantisation. */
-   normalise_residual(iy, X, N, K, EXTRACT16(SHR32(yy,2*yshift)));
-   if (spread)
-      exp_rotation(X, N, -1, spread, K);
+   if (resynth)
+   {
+      normalise_residual(iy, X, N, K, yy, gain);
+      exp_rotation(X, N, -1, B, K, spread);
+   }
    RESTORE_STACK;
 }
 
 
 /** Decode pulse vector and combine the result with the pitch vector to produce
     the final normalised signal in the current band. */
-void alg_unquant(celt_norm *X, int N, int K, int spread, ec_dec *dec)
+void alg_unquant(celt_norm *X, int N, int K, int spread, int B,
+      celt_norm *lowband, ec_dec *dec, celt_int32 *seed, celt_word16 gain)
 {
    int i;
    celt_word32 Ryy;
    VARDECL(int, iy);
    SAVE_STACK;
-   K = get_pulses(K);
+
+   celt_assert2(K!=0, "alg_unquant() needs at least one pulse");
    ALLOC(iy, N, int);
    decode_pulses(iy, N, K, dec);
    Ryy = 0;
@@ -349,15 +333,17 @@ void alg_unquant(celt_norm *X, int N, int K, int spread, ec_dec *dec)
    do {
       Ryy = MAC16_16(Ryy, iy[i], iy[i]);
    } while (++i < N);
-   normalise_residual(iy, X, N, K, Ryy);
-   if (spread)
-      exp_rotation(X, N, -1, spread, K);
+   normalise_residual(iy, X, N, K, Ryy, gain);
+   exp_rotation(X, N, -1, B, K, spread);
    RESTORE_STACK;
 }
 
-celt_word16 renormalise_vector(celt_norm *X, celt_word16 value, int N, int stride)
+void renormalise_vector(celt_norm *X, int N, celt_word16 gain)
 {
    int i;
+#ifdef FIXED_POINT
+   int k;
+#endif
    celt_word32 E = EPSILON;
    celt_word16 g;
    celt_word32 t;
@@ -365,53 +351,59 @@ celt_word16 renormalise_vector(celt_norm *X, celt_word16 value, int N, int strid
    for (i=0;i<N;i++)
    {
       E = MAC16_16(E, *xptr, *xptr);
-      xptr += stride;
+      xptr++;
    }
 #ifdef FIXED_POINT
-   int k = celt_ilog2(E)>>1;
+   k = celt_ilog2(E)>>1;
 #endif
    t = VSHR32(E, (k-7)<<1);
-   g = MULT16_16_Q15(value, celt_rsqrt_norm(t));
+   g = MULT16_16_P15(celt_rsqrt_norm(t),gain);
 
    xptr = X;
    for (i=0;i<N;i++)
    {
       *xptr = EXTRACT16(PSHR32(MULT16_16(g, *xptr), k+1));
-      xptr += stride;
+      xptr++;
    }
-   return celt_sqrt(E);
+   /*return celt_sqrt(E);*/
 }
 
-static void fold(const CELTMode *m, int start, int N, const celt_norm * restrict Y, celt_norm * restrict P, int N0, int B)
+int stereo_itheta(celt_norm *X, celt_norm *Y, int stereo, int N)
 {
-   int j;
-   int id = N0 % B;
-   while (id < m->eBands[start])
-      id += B;
-   /* Here, we assume that id will never be greater than N0, i.e. that 
-      no band is wider than N0. In the unlikely case it happens, we set
-      everything to zero */
-   /*{
-          int offset = (N0*C - (id+C*N))/2;
-          if (offset > C*N0/16)
-                  offset = C*N0/16;
-          offset -= offset % (C*B);
-          if (offset < 0)
-                  offset = 0;
-          //printf ("%d\n", offset);
-          id += offset;
-   }*/
-   if (id+N>N0)
-      for (j=0;j<N;j++)
-         P[j] = 0;
-   else
-      for (j=0;j<N;j++)
-         P[j] = Y[id++];
-}
+   int i;
+   int itheta;
+   celt_word16 mid, side;
+   celt_word32 Emid, Eside;
 
-void intra_fold(const CELTMode *m, int start, int N, const celt_norm * restrict Y, celt_norm * restrict P, int N0, int B)
-{
-   fold(m, start, N, Y, P, N0, B);
-   renormalise_vector(P, Q15ONE, N, 1);
-}
+   Emid = Eside = EPSILON;
+   if (stereo)
+   {
+      for (i=0;i<N;i++)
+      {
+         celt_norm m, s;
+         m = ADD16(SHR16(X[i],1),SHR16(Y[i],1));
+         s = SUB16(SHR16(X[i],1),SHR16(Y[i],1));
+         Emid = MAC16_16(Emid, m, m);
+         Eside = MAC16_16(Eside, s, s);
+      }
+   } else {
+      for (i=0;i<N;i++)
+      {
+         celt_norm m, s;
+         m = X[i];
+         s = Y[i];
+         Emid = MAC16_16(Emid, m, m);
+         Eside = MAC16_16(Eside, s, s);
+      }
+   }
+   mid = celt_sqrt(Emid);
+   side = celt_sqrt(Eside);
+#ifdef FIXED_POINT
+   /* 0.63662 = 2/pi */
+   itheta = MULT16_16_Q15(QCONST16(0.63662f,15),celt_atan2p(side, mid));
+#else
+   itheta = (int)floor(.5f+16384*0.63662f*atan2(side,mid));
+#endif
 
+   return itheta;
+}