New VQ search nearly fixed-point ready
[opus.git] / libcelt / vq.c
index 9426ff4..51c9ab8 100644 (file)
@@ -45,6 +45,7 @@ static void mix_pitch_and_residual(int * restrict iy, celt_norm_t * restrict X,
 {
    int i;
    celt_word32_t Ryp, Ryy, Rpp;
+   celt_word16_t ryp, ryy, rpp;
    celt_word32_t g;
    VARDECL(celt_norm_t, y);
 #ifdef FIXED_POINT
@@ -74,27 +75,27 @@ static void mix_pitch_and_residual(int * restrict iy, celt_norm_t * restrict X,
       Ryy = MAC16_16(Ryy, y[i], y[i]);
    } while (++i < N);
 
+   ryp = ROUND16(Ryp,14);
+   ryy = ROUND16(Ryy,14);
+   rpp = ROUND16(Rpp,14);
    /* g = (sqrt(Ryp^2 + Ryy - Rpp*Ryy)-Ryp)/Ryy */
-   g = MULT16_32_Q15(
-            celt_sqrt(MULT16_16(ROUND16(Ryp,14),ROUND16(Ryp,14)) + Ryy -
-                      MULT16_16(ROUND16(Ryy,14),ROUND16(Rpp,14)))
-            - ROUND16(Ryp,14),
-       celt_rcp(SHR32(Ryy,9)));
+   g = MULT16_32_Q15(celt_sqrt(MAC16_16(Ryy, ryp,ryp) - MULT16_16(ryy,rpp)) - ryp,
+                     celt_rcp(SHR32(Ryy,9)));
 
    i=0;
    do 
-      X[i] = P[i] + ROUND16(MULT16_16(y[i], g),11);
+      X[i] = ADD16(P[i], ROUND16(MULT16_16(y[i], g),11));
    while (++i < N);
 
    RESTORE_STACK;
 }
 
 
-void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *P, ec_enc *enc)
+void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, ec_enc *enc)
 {
    VARDECL(celt_norm_t, y);
    VARDECL(int, iy);
-   VARDECL(int, signx);
+   VARDECL(celt_word16_t, signx);
    int j, is;
    celt_word16_t s;
    int pulsesLeft;
@@ -113,7 +114,7 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *
 
    ALLOC(y, N, celt_norm_t);
    ALLOC(iy, N, int);
-   ALLOC(signx, N, int);
+   ALLOC(signx, N, celt_word16_t);
    N_1 = 512/N;
 
    sum = 0;
@@ -121,8 +122,11 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *
       X[j] -= P[j];
       if (X[j]>0)
          signx[j]=1;
-      else
+      else {
          signx[j]=-1;
+         X[j]=-X[j];
+         P[j]=-P[j];
+      }
       iy[j] = 0;
       y[j] = 0;
       sum = MAC16_16(sum, P[j],P[j]);
@@ -134,11 +138,36 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *
    xy = yy = yp = 0;
 
    pulsesLeft = K;
-   while (pulsesLeft > 0)
+#if 0
+   if (K > (N>>1))
+   {
+      celt_word32_t sum=0;
+      j=0; do {
+         sum += X[j];
+      }  while (++j<N);
+      sum = DIV32(SHL32(EXTEND32(K),15),EPSILON+sum);
+      j=0; do {
+#ifdef FIXED_POINT
+         iy[j] = MULT16_32_Q15(X[j],sum);
+#else
+         iy[j] = floor(sum*X[j]);
+#endif
+         y[j] = SHL16(iy[j],yshift);
+         yy = MAC16_16(yy, y[j],y[j]);
+         xy = MAC16_16(xy, X[j],y[j]);
+         yp += P[j]*y[j];
+         y[j] *= 2;
+         pulsesLeft -= iy[j];
+      }  while (++j<N);
+   }
+#endif
+   while (pulsesLeft > 1)
    {
       int pulsesAtOnce=1;
       int best_id;
       celt_word16_t magnitude;
+      celt_word32_t best_num = -VERY_LARGE16;
+      celt_word16_t best_den = 0;
 #ifdef FIXED_POINT
       int rshift;
 #endif
@@ -154,75 +183,35 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *
       best_id = 0;
       /* The squared magnitude term gets added anyway, so we might as well 
          add it outside the loop */
-      yy = ADD32(yy, MULT16_16(magnitude,magnitude));
+      yy = MAC16_16(yy, magnitude,magnitude);
       /* Choose between fast and accurate strategy depending on where we are in the search */
-      if (pulsesLeft>1)
-      {
          /* This should ensure that anything we can process will have a better score */
-         celt_word32_t best_num = -VERY_LARGE16;
-         celt_word16_t best_den = 0;
-         j=0;
-         do {
-            celt_word16_t Rxy, Ryy;
-            /* Select sign based on X[j] alone */
-            s = signx[j]*magnitude;
-            /* Temporary sums of the new pulse(s) */
-            Rxy = EXTRACT16(SHR32(xy + MULT16_16(s,X[j]),rshift));
-            /* We're multiplying y[j] by two so we don't have to do it here */
-            Ryy = EXTRACT16(SHR32(yy + MULT16_16(s,y[j]),rshift));
+      j=0;
+      do {
+         celt_word16_t Rxy, Ryy;
+         /* Select sign based on X[j] alone */
+         s = magnitude;
+         /* Temporary sums of the new pulse(s) */
+         Rxy = EXTRACT16(SHR32(MAC16_16(xy, s,X[j]),rshift));
+         /* We're multiplying y[j] by two so we don't have to do it here */
+         Ryy = EXTRACT16(SHR32(MAC16_16(yy, s,y[j]),rshift));
             
             /* Approximate score: we maximise Rxy/sqrt(Ryy) (we're guaranteed that 
-               Rxy is positive because the sign is pre-computed) */
-            Rxy = MULT16_16_Q15(Rxy,Rxy);
+         Rxy is positive because the sign is pre-computed) */
+         Rxy = MULT16_16_Q15(Rxy,Rxy);
             /* The idea is to check for num/den >= best_num/best_den, but that way
-               we can do it without any division */
-            /* OPT: Make sure to use conditional moves here */
-            if (MULT16_16(best_den, Rxy) > MULT16_16(Ryy, best_num))
-            {
-               best_den = Ryy;
-               best_num = Rxy;
-               best_id = j;
-            }
-         } while (++j<N);
-      } else {
-         celt_word16_t g;
-         celt_word16_t best_num = -VERY_LARGE16;
-         celt_word16_t best_den = 0;
-         j=0;
-         do {
-            celt_word16_t Rxy, Ryy, Ryp;
-            celt_word16_t num;
-            /* Select sign based on X[j] alone */
-            s = signx[j]*magnitude;
-            /* Temporary sums of the new pulse(s) */
-            Rxy = ROUND16(xy + MULT16_16(s,X[j]), 14);
-            /* We're multiplying y[j] by two so we don't have to do it here */
-            Ryy = ROUND16(yy + MULT16_16(s,y[j]), 14);
-            Ryp = ROUND16(yp + MULT16_16(s,P[j]), 14);
-
-            /* Compute the gain such that ||p + g*y|| = 1 
-               ...but instead, we compute g*Ryy to avoid dividing */
-            g = celt_psqrt(MULT16_16(Ryp,Ryp) + MULT16_16(Ryy,QCONST16(1.f,14)-Rpp)) - Ryp;
-            /* Knowing that gain, what's the error: (x-g*y)^2 
-               (result is negated and we discard x^2 because it's constant) */
-            /* score = 2*g*Rxy - g*g*Ryy;*/
-#ifdef FIXED_POINT
-            /* No need to multiply Rxy by 2 because we did it earlier */
-            num = MULT16_16_Q15(ADD16(SUB16(Rxy,g),Rxy),g);
-#else
-            num = g*(2*Rxy-g);
-#endif
-            if (MULT16_16(best_den, num) > MULT16_16(Ryy, best_num))
-            {
-               best_den = Ryy;
-               best_num = num;
-               best_id = j;
-            }
-         } while (++j<N);
-      }
+         we can do it without any division */
+         /* OPT: Make sure to use conditional moves here */
+         if (MULT16_16(best_den, Rxy) > MULT16_16(Ryy, best_num))
+         {
+            best_den = Ryy;
+            best_num = Rxy;
+            best_id = j;
+         }
+      } while (++j<N);
       
       j = best_id;
-      is = signx[j]*pulsesAtOnce;
+      is = pulsesAtOnce;
       s = SHL16(is, yshift);
 
       /* Updating the sums of the new pulse(s) */
@@ -238,6 +227,56 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *
       pulsesLeft -= pulsesAtOnce;
    }
    
+   {
+      celt_word16_t g;
+      celt_word16_t best_num = -VERY_LARGE16;
+      celt_word16_t best_den = 0;
+      int best_id = 0;
+      celt_word16_t magnitude = SHL16(1, yshift);
+
+      /* The squared magnitude term gets added anyway, so we might as well 
+      add it outside the loop */
+      yy = MAC16_16(yy, magnitude,magnitude);
+      j=0;
+      do {
+         celt_word16_t Rxy, Ryy, Ryp;
+         celt_word16_t num;
+         /* Select sign based on X[j] alone */
+         s = magnitude;
+         /* Temporary sums of the new pulse(s) */
+         Rxy = ROUND16(MAC16_16(xy, s,X[j]), 14);
+         /* We're multiplying y[j] by two so we don't have to do it here */
+         Ryy = ROUND16(MAC16_16(yy, s,y[j]), 14);
+         Ryp = ROUND16(MAC16_16(yp, s,P[j]), 14);
+
+            /* Compute the gain such that ||p + g*y|| = 1 
+         ...but instead, we compute g*Ryy to avoid dividing */
+         g = celt_psqrt(MULT16_16(Ryp,Ryp) + MULT16_16(Ryy,QCONST16(1.f,14)-Rpp)) - Ryp;
+            /* Knowing that gain, what's the error: (x-g*y)^2 
+         (result is negated and we discard x^2 because it's constant) */
+         /* score = 2*g*Rxy - g*g*Ryy;*/
+#ifdef FIXED_POINT
+         /* No need to multiply Rxy by 2 because we did it earlier */
+         num = MULT16_16_Q15(ADD16(SUB16(Rxy,g),Rxy),g);
+#else
+         num = g*(2*Rxy-g);
+#endif
+         if (MULT16_16(best_den, num) > MULT16_16(Ryy, best_num))
+         {
+            best_den = Ryy;
+            best_num = num;
+            best_id = j;
+         }
+      } while (++j<N);
+      iy[best_id] += 1;
+   }
+   j=0;
+   do {
+      P[j] = MULT16_16(signx[j],P[j]);
+      X[j] = MULT16_16(signx[j],X[j]);
+      if (signx[j] < 0)
+         iy[j] = -iy[j];
+   } while (++j<N);
    encode_pulses(iy, N, K, enc);
    
    /* Recompute the gain in one pass to reduce the encoder-decoder mismatch
@@ -259,122 +298,57 @@ void alg_unquant(celt_norm_t *X, int N, int K, celt_norm_t *P, ec_dec *dec)
    RESTORE_STACK;
 }
 
-
-#define KGAIN 6
-
-void intra_prediction(const CELTMode *m, celt_norm_t * restrict x, celt_mask_t *W, int N, int K, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int Nmax, ec_enc *enc)
+void renormalise_vector(celt_norm_t *X, celt_word16_t value, int N, int stride)
 {
-   int i,j;
-   celt_word16_t s = 1;
-   int sign;
-   celt_word32_t E;
-   celt_word16_t pred_gain;
-   celt_word32_t xy=0;
-   const int C = CHANNELS(m);
-   
-   pred_gain = celt_div((celt_word32_t)MULT16_16(Q15_ONE,N),(celt_word32_t)(N+KGAIN*K));
-   
-   E = EPSILON;
-   if (N0 >= (Nmax>>1))
+   int i;
+   celt_word32_t E = EPSILON;
+   celt_word16_t g;
+   celt_norm_t *xptr = X;
+   for (i=0;i<N;i++)
    {
-      for (i=0;i<C;i++)
-      {
-         for (j=0;j<N;j++)
-         {
-            P[j*C+i] = Y[(Nmax-N0-j-1)*C+i];
-            E += P[j*C+i]*P[j*C+i];
-         }
-      }
-   } else {
-      for (j=0;j<C*N;j++)
-      {
-         P[j] = Y[j];
-         E = MAC16_16(E, P[j],P[j]);
-      }
+      E = MAC16_16(E, *xptr, *xptr);
+      xptr += stride;
    }
-   for (j=0;j<C*N;j++)
-      xy = MAC16_16(xy, P[j], x[j]);
-   if (xy<0)
+
+   g = MULT16_16_Q15(value,celt_rcp(SHL32(celt_sqrt(E),9)));
+   xptr = X;
+   for (i=0;i<N;i++)
    {
-      s = -1;
-      sign = 1;
-   } else {
-      s = 1;
-      sign = 0;
+      *xptr = PSHR32(MULT16_16(g, *xptr),8);
+      xptr += stride;
    }
-   ec_enc_bits(enc,sign,1);
-
-   /*pred_gain = pred_gain/sqrt(E);*/
-   pred_gain = s*MULT16_16_Q15(pred_gain,celt_rcp(SHL32(celt_sqrt(E),9)));
-   for (j=0;j<C*N;j++)
-      P[j] = PSHR32(MULT16_16(pred_gain, P[j]),8);
 }
 
-void intra_unquant(const CELTMode *m, celt_norm_t *x, int N, int K, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int Nmax, ec_dec *dec)
+static void fold(const CELTMode *m, int N, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int B)
 {
-   int i, j;
-   celt_word16_t s;
-   celt_word32_t E;
-   celt_word16_t pred_gain;
+   int j;
    const int C = CHANNELS(m);
-      
-   if (ec_dec_bits(dec, 1) == 0)
-      s = 1;
+   int id = N0 % (C*B);
+   /* Here, we assume that id will never be greater than N0, i.e. that 
+      no band is wider than N0. In the unlikely case it happens, we set
+      everything to zero */
+   if (id+C*N>N0)
+      for (j=0;j<C*N;j++)
+         P[j] = 0;
    else
-      s = -1;
-   
-   pred_gain = celt_div((celt_word32_t)MULT16_16(Q15_ONE,N),(celt_word32_t)(N+KGAIN*K));
-   E = EPSILON;
-   if (N0 >= (Nmax>>1))
-   {
-      for (i=0;i<C;i++)
-      {
-         for (j=0;j<N;j++)
-         {
-            P[j*C+i] = Y[(Nmax-N0-j-1)*C+i];
-            E += P[j*C+i]*P[j*C+i];
-         }
-      }
-   } else {
       for (j=0;j<C*N;j++)
-      {
-         P[j] = Y[j];
-         E = MAC16_16(E, P[j],P[j]);
-      }
-   }
-   /*pred_gain = pred_gain/sqrt(E);*/
-   pred_gain = s*MULT16_16_Q15(pred_gain,celt_rcp(SHL32(celt_sqrt(E),9)));
-   for (j=0;j<C*N;j++)
-      P[j] = PSHR32(MULT16_16(pred_gain, P[j]),8);
+         P[j] = Y[id++];
 }
 
-void intra_fold(const CELTMode *m, celt_norm_t *x, int N, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int Nmax)
+#define KGAIN 6
+
+void intra_fold(const CELTMode *m, celt_norm_t * restrict x, int N, int K, celt_norm_t *Y, celt_norm_t * restrict P, int N0, int B)
 {
-   int i, j;
-   celt_word32_t E;
-   celt_word16_t g;
+   celt_word16_t pred_gain;
    const int C = CHANNELS(m);
 
-   E = EPSILON;
-   if (N0 >= (Nmax>>1))
-   {
-      for (i=0;i<C;i++)
-      {
-         for (j=0;j<N;j++)
-         {
-            P[j*C+i] = Y[(Nmax-N0-j-1)*C+i];
-            E += P[j*C+i]*P[j*C+i];
-         }
-      }
-   } else {
-      for (j=0;j<C*N;j++)
-      {
-         P[j] = Y[j];
-         E = MAC16_16(E, P[j],P[j]);
-      }
-   }
-   g = celt_rcp(SHL32(celt_sqrt(E),9));
-   for (j=0;j<C*N;j++)
-      P[j] = PSHR32(MULT16_16(g, P[j]),8);
+   if (K==0)
+      pred_gain = Q15ONE;
+   else
+      pred_gain = celt_div((celt_word32_t)MULT16_16(Q15_ONE,N),(celt_word32_t)(N+KGAIN*K));
+
+   fold(m, N, Y, P, N0, B);
+
+   renormalise_vector(P, pred_gain, C*N, 1);
 }