Folding code moved to quant_band() to prevent duplication.
[opus.git] / libcelt / vq.c
index 4518840..442347f 100644 (file)
@@ -1,5 +1,6 @@
-/* (C) 2007 Jean-Marc Valin, CSIRO
-*/
+/* Copyright (c) 2007-2008 CSIRO
+   Copyright (c) 2007-2009 Xiph.Org Foundation
+   Written by Jean-Marc Valin */
 /*
    Redistribution and use in source and binary forms, with or without
    modification, are permitted provided that the following conditions
    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
 */
 
-#include <math.h>
-#include <stdlib.h>
+#ifdef HAVE_CONFIG_H
+#include "config.h"
+#endif
+
+#include "mathops.h"
 #include "cwrs.h"
 #include "vq.h"
+#include "arch.h"
+#include "os_support.h"
+#include "rate.h"
 
+#ifndef M_PI
+#define M_PI 3.141592653
+#endif
 
-/* Improved algebraic pulse-base quantiser. The signal x is replaced by the sum of the pitch 
-   a combination of pulses such that its norm is still equal to 1. The only difference with 
-   the quantiser above is that the search is more complete. */
-void alg_quant(float *x, float *W, int N, int K, float *p, float alpha, ec_enc *enc)
+static void exp_rotation1(celt_norm *X, int len, int stride, celt_word16 c, celt_word16 s)
 {
-   int L = 3;
-   //float tata[200];
-   float y[L][N];
-   int iy[L][N];
-   //float tata2[200];
-   float ny[L][N];
-   int iny[L][N];
-   int i, j, m;
-   int pulsesLeft;
-   float xy[L], nxy[L];
-   float yy[L], nyy[L];
-   float yp[L], nyp[L];
-   float best_scores[L];
-   float Rpp=0, Rxp=0;
-   float gain[L];
-   int maxL = 1;
-   
-   for (j=0;j<N;j++)
-      Rpp += p[j]*p[j];
-   //if (Rpp>.01)
-   //   alpha = (1-sqrt(1-Rpp))/Rpp;
-   for (j=0;j<N;j++)
-      Rxp += x[j]*p[j];
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         y[m][i] = 0;
-      
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         ny[m][i] = 0;
-
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         iy[m][i] = iny[m][i] = 0;
-
-   for (m=0;m<L;m++)
-      xy[m] = yy[m] = yp[m] = gain[m] = 0;
-   
-   pulsesLeft = K;
-   while (pulsesLeft > 0)
+   int i;
+   celt_norm *Xptr;
+   Xptr = X;
+   for (i=0;i<len-stride;i++)
    {
-      int pulsesAtOnce=1;
-      int L2 = L;
-      if (L>maxL)
-      {
-         L2 = maxL;
-         maxL *= N;
-      }
-      if (pulsesLeft > 5)
-         L2 = 1;
-      
-      pulsesAtOnce = pulsesLeft/N;
-      if (pulsesAtOnce<1)
-         pulsesAtOnce = 1;
+      celt_norm x1, x2;
+      x1 = Xptr[0];
+      x2 = Xptr[stride];
+      Xptr[stride] = EXTRACT16(SHR32(MULT16_16(c,x2) + MULT16_16(s,x1), 15));
+      *Xptr++      = EXTRACT16(SHR32(MULT16_16(c,x1) - MULT16_16(s,x2), 15));
+   }
+   Xptr = &X[len-2*stride-1];
+   for (i=len-2*stride-1;i>=0;i--)
+   {
+      celt_norm x1, x2;
+      x1 = Xptr[0];
+      x2 = Xptr[stride];
+      Xptr[stride] = EXTRACT16(SHR32(MULT16_16(c,x2) + MULT16_16(s,x1), 15));
+      *Xptr--      = EXTRACT16(SHR32(MULT16_16(c,x1) - MULT16_16(s,x2), 15));
+   }
+}
 
-      for (m=0;m<L;m++)
-         best_scores[m] = -1e10;
+static void exp_rotation(celt_norm *X, int len, int dir, int stride, int K, int spread)
+{
+   int i;
+   celt_word16 c, s;
+   celt_word16 gain, theta;
+   int stride2=0;
+   int factor;
+   /*int i;
+   if (len>=30)
+   {
+      for (i=0;i<len;i++)
+         X[i] = 0;
+      X[14] = 1;
+      K=5;
+   }*/
+   if (2*K>=len || spread==0)
+      return;
+   if (spread==1)
+      factor=10;
+   else if (spread==2)
+      factor=5;
+   else
+      factor=15;
 
-      for (m=0;m<L2;m++)
-      {
-         for (j=0;j<N;j++)
-         {
-            int sign;
-            for (sign=-1;sign<=1;sign+=2)
-            {
-               if (iy[m][j]*sign < 0)
-                  continue;
-               //fprintf (stderr, "%d/%d %d/%d %d/%d\n", i, K, m, L2, j, N);
-               float tmp_xy, tmp_yy, tmp_yp;
-               float score;
-               float g;
-               float s = sign*pulsesAtOnce;
-               tmp_xy = xy[m] + s*x[j]               - alpha*s*p[j]*Rxp;
-               tmp_yy = yy[m] + 2*s*y[m][j] + s*s      +s*s*alpha*alpha*p[j]*p[j]*Rpp - 2*alpha*s*p[j]*yp[m] - 2*s*s*alpha*p[j]*p[j];
-               tmp_yp = yp[m] + s*p[j]               *(1-alpha*Rpp);
-               g = (sqrt(tmp_yp*tmp_yp + tmp_yy - tmp_yy*Rpp) - tmp_yp)/tmp_yy;
-               score = 2*g*tmp_xy - g*g*tmp_yy;
+   gain = celt_div((celt_word32)MULT16_16(Q15_ONE,len),(celt_word32)(len+factor*K));
+   /* FIXME: Make that HALF16 instead of HALF32 */
+   theta = HALF32(MULT16_16_Q15(gain,gain));
 
-               if (score>best_scores[L-1])
-               {
-                  int k, n;
-                  int id = L-1;
-                  while (id > 0 && score > best_scores[id-1])
-                     id--;
-               
-                  for (k=L-1;k>id;k--)
-                  {
-                     nxy[k] = nxy[k-1];
-                     nyy[k] = nyy[k-1];
-                     nyp[k] = nyp[k-1];
-                     //fprintf(stderr, "%d %d \n", N, k);
-                     for (n=0;n<N;n++)
-                        ny[k][n] = ny[k-1][n];
-                     for (n=0;n<N;n++)
-                        iny[k][n] = iny[k-1][n];
-                     gain[k] = gain[k-1];
-                     best_scores[k] = best_scores[k-1];
-                  }
+   c = celt_cos_norm(EXTEND32(theta));
+   s = celt_cos_norm(EXTEND32(SUB16(Q15ONE,theta))); /*  sin(theta) */
 
-                  nxy[id] = tmp_xy;
-                  nyy[id] = tmp_yy;
-                  nyp[id] = tmp_yp;
-                  gain[id] = g;
-                  for (n=0;n<N;n++)
-                     ny[id][n] = y[m][n];
-                  ny[id][j] += s;
-                  for (n=0;n<N;n++)
-                     ny[id][n] -= alpha*s*p[j]*p[n];
-               
-                  for (n=0;n<N;n++)
-                     iny[id][n] = iy[m][n];
-                  if (s>0)
-                     iny[id][j] += pulsesAtOnce;
-                  else
-                     iny[id][j] -= pulsesAtOnce;
-                  best_scores[id] = score;
-               }
-            }   
-         }
-         
-      }
-      int k,n;
-      /* FIXME: We could be swapping pointers instead */
-      for (k=0;k<L;k++)
+   if (len>=8*stride)
+   {
+      stride2 = 1;
+      /* This is just a simple way of computing sqrt(len/stride) with rounding.
+         It's basically incrementing long as (stride2+0.5)^2 < len/stride.
+         I _think_ it is bit-exact */
+      while ((stride2*stride2+stride2)*stride + (stride>>2) < len)
+         stride2++;
+   }
+   len /= stride;
+   for (i=0;i<stride;i++)
+   {
+      if (dir < 0)
       {
-         xy[k] = nxy[k];
-         yy[k] = nyy[k];
-         yp[k] = nyp[k];
-         for (n=0;n<N;n++)
-            y[k][n] = ny[k][n];
-         for (n=0;n<N;n++)
-            iy[k][n] = iny[k][n];
+         if (stride2)
+            exp_rotation1(X+i*len, len, stride2, s, c);
+         exp_rotation1(X+i*len, len, 1, c, s);
+      } else {
+         exp_rotation1(X+i*len, len, 1, c, -s);
+         if (stride2)
+            exp_rotation1(X+i*len, len, stride2, s, -c);
       }
-      pulsesLeft -= pulsesAtOnce;
-   }
-   
-   for (i=0;i<N;i++)
-      x[i] = p[i]+gain[0]*y[0][i];
-   if (0) {
-      float E=1e-15;
-      int ABS = 0;
-      for (i=0;i<N;i++)
-         ABS += abs(iy[0][i]);
-      //if (K != ABS)
-      //   printf ("%d %d\n", K, ABS);
-      for (i=0;i<N;i++)
-         E += x[i]*x[i];
-      //printf ("%f\n", E);
-      E = 1/sqrt(E);
-      for (i=0;i<N;i++)
-         x[i] *= E;
    }
-   int comb[K];
-   int signs[K];
-   //for (i=0;i<N;i++)
-   //   printf ("%d ", iy[0][i]);
-   pulse2comb(N, K, comb, signs, iy[0]); 
-   ec_enc_uint64(enc,icwrs64(N, K, comb, signs),ncwrs64(N, K));
-   //printf ("%llu ", icwrs64(N, K, comb, signs));
-   /* Recompute the gain in one pass to reduce the encoder-decoder mismatch
-      due to the recursive computation used in quantisation */
-   if (1) {
-      float Ryp=0;
-      float Rpp=0;
-      float Ryy=0;
-      float g=0;
-      for (i=0;i<N;i++)
-         Rpp += p[i]*p[i];
-      
-      for (i=0;i<N;i++)
-         Ryp += iy[0][i]*p[i];
-      
-      for (i=0;i<N;i++)
-         y[0][i] = iy[0][i] - alpha*Ryp*p[i];
-      
-      Ryp = 0;
-      for (i=0;i<N;i++)
-         Ryp += y[0][i]*p[i];
-      
-      for (i=0;i<N;i++)
-         Ryy += y[0][i]*y[0][i];
-      
-      g = (sqrt(Ryp*Ryp + Ryy - Ryy*Rpp) - Ryp)/Ryy;
-        
-      for (i=0;i<N;i++)
-         x[i] = p[i] + g*y[0][i];
-      
-   }
-
+   /*if (len>=30)
+   {
+      for (i=0;i<len;i++)
+         printf ("%f ", X[i]);
+      printf ("\n");
+      exit(0);
+   }*/
 }
 
-void alg_unquant(float *x, int N, int K, float *p, float alpha, ec_dec *dec)
+/** Takes the pitch vector and the decoded residual vector, computes the gain
+    that will give ||p+g*y||=1 and mixes the residual with the pitch. */
+static void normalise_residual(int * restrict iy, celt_norm * restrict X,
+      int N, int K, celt_word32 Ryy, celt_word16 gain)
 {
    int i;
-   celt_uint64_t id;
-   int comb[K];
-   int signs[K];
-   int iy[N];
-   float y[N];
-   float Rpp=0, Ryp=0, Ryy=0;
-   float g;
+#ifdef FIXED_POINT
+   int k;
+#endif
+   celt_word32 t;
+   celt_word16 g;
 
-   id = ec_dec_uint64(dec, ncwrs64(N, K));
-   //printf ("%llu ", id);
-   cwrsi64(N, K, id, comb, signs);
-   comb2pulse(N, K, iy, comb, signs);
-   //for (i=0;i<N;i++)
-   //   printf ("%d ", iy[i]);
-   for (i=0;i<N;i++)
-      Rpp += p[i]*p[i];
+#ifdef FIXED_POINT
+   k = celt_ilog2(Ryy)>>1;
+#endif
+   t = VSHR32(Ryy, (k-7)<<1);
+   g = MULT16_16_P15(celt_rsqrt_norm(t),gain);
 
-   for (i=0;i<N;i++)
-      Ryp += iy[i]*p[i];
-
-   for (i=0;i<N;i++)
-      y[i] = iy[i] - alpha*Ryp*p[i];
-
-   /* Recompute after the projection (I think it's right) */
-   Ryp = 0;
-   for (i=0;i<N;i++)
-      Ryp += y[i]*p[i];
+   i=0;
+   do
+      X[i] = EXTRACT16(PSHR32(MULT16_16(g, iy[i]), k+1));
+   while (++i < N);
+}
 
-   for (i=0;i<N;i++)
-      Ryy += y[i]*y[i];
+void alg_quant(celt_norm *X, int N, int K, int spread, int B, celt_norm *lowband,
+      int resynth, ec_enc *enc, celt_int32 *seed, celt_word16 gain)
+{
+   VARDECL(celt_norm, y);
+   VARDECL(int, iy);
+   VARDECL(celt_word16, signx);
+   int i, j;
+   celt_word16 s;
+   int pulsesLeft;
+   celt_word32 sum;
+   celt_word32 xy;
+   celt_word16 yy;
+   SAVE_STACK;
 
-   g = (sqrt(Ryp*Ryp + Ryy - Ryy*Rpp) - Ryp)/Ryy;
+   celt_assert2(K!=0, "alg_quant() needs at least one pulse");
 
-   for (i=0;i<N;i++)
-      x[i] = p[i] + g*y[i];
-}
+   ALLOC(y, N, celt_norm);
+   ALLOC(iy, N, int);
+   ALLOC(signx, N, celt_word16);
+   
+   exp_rotation(X, N, 1, B, K, spread);
 
+   /* Get rid of the sign */
+   sum = 0;
+   j=0; do {
+      if (X[j]>0)
+         signx[j]=1;
+      else {
+         signx[j]=-1;
+         X[j]=-X[j];
+      }
+      iy[j] = 0;
+      y[j] = 0;
+   } while (++j<N);
 
-static const float pg[11] = {1.f, .75f, .65f, 0.6f, 0.6f, .6f, .55f, .55f, .5f, .5f, .5f};
+   xy = yy = 0;
 
-void intra_prediction(float *x, float *W, int N, int K, float *Y, float *P, int B, int N0, ec_enc *enc)
-{
-   int i,j;
-   int best=0;
-   float best_score=0;
-   float s = 1;
-   int sign;
-   float E;
-   int max_pos = N0-N/B;
-   if (max_pos > 32)
-      max_pos = 32;
+   pulsesLeft = K;
 
-   for (i=0;i<max_pos*B;i+=B)
+   /* Do a pre-search by projecting on the pyramid */
+   if (K > (N>>1))
    {
-      int j;
-      float xy=0, yy=0;
-      float score;
-      for (j=0;j<N;j++)
-      {
-         xy += x[j]*Y[i+j];
-         yy += Y[i+j]*Y[i+j];
-      }
-      score = xy*xy/(.001+yy);
-      if (score > best_score)
+      celt_word16 rcp;
+      j=0; do {
+         sum += X[j];
+      }  while (++j<N);
+
+      /* If X is too small, just replace it with a pulse at 0 */
+#ifdef FIXED_POINT
+      if (sum <= K)
+#else
+      if (sum <= EPSILON)
+#endif
       {
-         best_score = score;
-         best = i;
-         if (xy>0)
-            s = 1;
-         else
-            s = -1;
+         X[0] = QCONST16(1.f,14);
+         j=1; do
+            X[j]=0;
+         while (++j<N);
+         sum = QCONST16(1.f,14);
       }
+      /* Do we have sufficient accuracy here? */
+      rcp = EXTRACT16(MULT16_32_Q16(K-1, celt_rcp(sum)));
+      j=0; do {
+#ifdef FIXED_POINT
+         /* It's really important to round *towards zero* here */
+         iy[j] = MULT16_16_Q15(X[j],rcp);
+#else
+         iy[j] = (int)floor(rcp*X[j]);
+#endif
+         y[j] = iy[j];
+         yy = MAC16_16(yy, y[j],y[j]);
+         xy = MAC16_16(xy, X[j],y[j]);
+         y[j] *= 2;
+         pulsesLeft -= iy[j];
+      }  while (++j<N);
    }
-   if (s<0)
-      sign = 1;
-   else
-      sign = 0;
-   //printf ("%d %d ", sign, best);
-   ec_enc_uint(enc,sign,2);
-   ec_enc_uint(enc,best/B,max_pos);
-   //printf ("%d %f\n", best, best_score);
-   
-   float pred_gain;
-   if (K>10)
-      pred_gain = pg[10];
-   else
-      pred_gain = pg[K];
-   E = 1e-10;
-   for (j=0;j<N;j++)
+   celt_assert2(pulsesLeft>=1, "Allocated too many pulses in the quick pass");
+
+   /* This should never happen, but just in case it does (e.g. on silence)
+      we fill the first bin with pulses. */
+#ifdef FIXED_POINT_DEBUG
+   celt_assert2(pulsesLeft<=N+3, "Not enough pulses in the quick pass");
+#endif
+   if (pulsesLeft > N+3)
    {
-      P[j] = s*Y[best+j];
-      E += P[j]*P[j];
+      celt_word16 tmp = pulsesLeft;
+      yy = MAC16_16(yy, tmp, tmp);
+      yy = MAC16_16(yy, tmp, y[0]);
+      iy[0] += pulsesLeft;
+      pulsesLeft=0;
    }
-   E = pred_gain/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   if (K>0)
+
+   s = 1;
+   for (i=0;i<pulsesLeft;i++)
    {
-      for (j=0;j<N;j++)
-         x[j] -= P[j];
-   } else {
-      for (j=0;j<N;j++)
-         x[j] = P[j];
+      int best_id;
+      celt_word32 best_num = -VERY_LARGE16;
+      celt_word16 best_den = 0;
+#ifdef FIXED_POINT
+      int rshift;
+#endif
+#ifdef FIXED_POINT
+      rshift = 1+celt_ilog2(K-pulsesLeft+i+1);
+#endif
+      best_id = 0;
+      /* The squared magnitude term gets added anyway, so we might as well 
+         add it outside the loop */
+      yy = ADD32(yy, 1);
+      j=0;
+      do {
+         celt_word16 Rxy, Ryy;
+         /* Temporary sums of the new pulse(s) */
+         Rxy = EXTRACT16(SHR32(ADD32(xy, EXTEND32(X[j])),rshift));
+         /* We're multiplying y[j] by two so we don't have to do it here */
+         Ryy = ADD16(yy, y[j]);
+
+         /* Approximate score: we maximise Rxy/sqrt(Ryy) (we're guaranteed that
+            Rxy is positive because the sign is pre-computed) */
+         Rxy = MULT16_16_Q15(Rxy,Rxy);
+         /* The idea is to check for num/den >= best_num/best_den, but that way
+            we can do it without any division */
+         /* OPT: Make sure to use conditional moves here */
+         if (MULT16_16(best_den, Rxy) > MULT16_16(Ryy, best_num))
+         {
+            best_den = Ryy;
+            best_num = Rxy;
+            best_id = j;
+         }
+      } while (++j<N);
+      
+      /* Updating the sums of the new pulse(s) */
+      xy = ADD32(xy, EXTEND32(X[best_id]));
+      /* We're multiplying y[j] by two so we don't have to do it here */
+      yy = ADD16(yy, y[best_id]);
+
+      /* Only now that we've made the final choice, update y/iy */
+      /* Multiplying y[j] by 2 so we don't have to do it everywhere else */
+      y[best_id] += 2*s;
+      iy[best_id]++;
    }
-   //printf ("quant ");
-   //for (j=0;j<N;j++) printf ("%f ", P[j]);
 
+   /* Put the original sign back */
+   j=0;
+   do {
+      X[j] = MULT16_16(signx[j],X[j]);
+      if (signx[j] < 0)
+         iy[j] = -iy[j];
+   } while (++j<N);
+   encode_pulses(iy, N, K, enc);
+   
+   if (resynth)
+   {
+      normalise_residual(iy, X, N, K, yy, gain);
+      exp_rotation(X, N, -1, B, K, spread);
+   }
+   RESTORE_STACK;
 }
 
-void intra_unquant(float *x, int N, int K, float *Y, float *P, int B, int N0, ec_dec *dec)
+
+/** Decode pulse vector and combine the result with the pitch vector to produce
+    the final normalised signal in the current band. */
+void alg_unquant(celt_norm *X, int N, int K, int spread, int B,
+      celt_norm *lowband, ec_dec *dec, celt_int32 *seed, celt_word16 gain)
 {
-   int j;
-   int sign;
-   float s;
-   int best;
-   float E;
-   int max_pos = N0-N/B;
-   if (max_pos > 32)
-      max_pos = 32;
-   
-   sign = ec_dec_uint(dec, 2);
-   if (sign == 0)
-      s = 1;
-   else
-      s = -1;
-   
-   best = B*ec_dec_uint(dec, max_pos);
-   //printf ("%d %d ", sign, best);
+   int i;
+   celt_word32 Ryy;
+   VARDECL(int, iy);
+   SAVE_STACK;
 
-   float pred_gain;
-   if (K>10)
-      pred_gain = pg[10];
-   else
-      pred_gain = pg[K];
-   E = 1e-10;
-   for (j=0;j<N;j++)
-   {
-      P[j] = s*Y[best+j];
-      E += P[j]*P[j];
-   }
-   E = pred_gain/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   if (K==0)
+   celt_assert2(K!=0, "alg_unquant() needs at least one pulse");
+   ALLOC(iy, N, int);
+   decode_pulses(iy, N, K, dec);
+   Ryy = 0;
+   i=0;
+   do {
+      Ryy = MAC16_16(Ryy, iy[i], iy[i]);
+   } while (++i < N);
+   normalise_residual(iy, X, N, K, Ryy, gain);
+   exp_rotation(X, N, -1, B, K, spread);
+   RESTORE_STACK;
+}
+
+celt_word16 vector_norm(const celt_norm *X, int N)
+{
+   int i;
+   celt_word32 E = EPSILON;
+   const celt_norm *xptr = X;
+   for (i=0;i<N;i++)
    {
-      for (j=0;j<N;j++)
-         x[j] = P[j];
+      E = MAC16_16(E, *xptr, *xptr);
+      xptr++;
    }
+   return celt_sqrt(E);
 }
 
-void intra_fold(float *x, int N, int K, float *Y, float *P, int B, int N0)
+void renormalise_vector(celt_norm *X, int N, celt_word16 gain)
 {
-   int j;
-   float E;
-   
-   E = 1e-10;
-   for (j=0;j<N;j++)
+   int i;
+#ifdef FIXED_POINT
+   int k;
+#endif
+   celt_word32 E = EPSILON;
+   celt_word16 g;
+   celt_word32 t;
+   celt_norm *xptr = X;
+   for (i=0;i<N;i++)
+   {
+      E = MAC16_16(E, *xptr, *xptr);
+      xptr++;
+   }
+#ifdef FIXED_POINT
+   k = celt_ilog2(E)>>1;
+#endif
+   t = VSHR32(E, (k-7)<<1);
+   g = MULT16_16_P15(celt_rsqrt_norm(t),gain);
+
+   xptr = X;
+   for (i=0;i<N;i++)
    {
-      P[j] = Y[j];
-      E += P[j]*P[j];
+      *xptr = EXTRACT16(PSHR32(MULT16_16(g, *xptr), k+1));
+      xptr++;
    }
-   E = 1.f/sqrt(E);
-   for (j=0;j<N;j++)
-      P[j] *= E;
-   for (j=0;j<N;j++)
-      x[j] = P[j];
+   /*return celt_sqrt(E);*/
 }