cwrs.c links to derf's article on pulse vector encoding.
[opus.git] / libcelt / vq.c
index f22e528..7403077 100644 (file)
 #include "cwrs.h"
 #include "vq.h"
 
+/* Enable this or define your own implementation if you want to speed up the
+   VQ search (used in inner loop only) */
+#if 0
+#include <xmmintrin.h>
+static inline float approx_sqrt(float x)
+{
+   _mm_store_ss(&x, _mm_sqrt_ss(_mm_set_ss(x)));
+   return x;
+}
+static inline float approx_inv(float x)
+{
+   _mm_store_ss(&x, _mm_rcp_ss(_mm_set_ss(x)));
+   return x;
+}
+#else
+#define approx_sqrt(x) (sqrt(x))
+#define approx_inv(x) (1.f/(x))
+#endif
+
+struct NBest {
+   float score;
+   float gain;
+   int sign;
+   int pos;
+   int orig;
+   float xy;
+   float yy;
+   float yp;
+};
 
 /* Improved algebraic pulse-base quantiser. The signal x is replaced by the sum of the pitch 
    a combination of pulses such that its norm is still equal to 1. The only difference with 
@@ -42,131 +71,173 @@ void alg_quant(float *x, float *W, int N, int K, float *p, float alpha, ec_enc *
 {
    int L = 3;
    //float tata[200];
-   float y[L][N];
-   int iy[L][N];
+   float _y[L][N];
+   int _iy[L][N];
    //float tata2[200];
-   float ny[L][N];
-   int iny[L][N];
-   int i, j, m;
-   float xy[L], nxy[L];
-   float yy[L], nyy[L];
-   float yp[L], nyp[L];
-   float best_scores[L];
+   float _ny[L][N];
+   int _iny[L][N];
+   float *(ny[L]), *(y[L]);
+   int *(iny[L]), *(iy[L]);
+   int i, j, k, m;
+   int pulsesLeft;
+   float xy[L];
+   float yy[L];
+   float yp[L];
+   struct NBest _nbest[L];
+   struct NBest *(nbest[L]);
    float Rpp=0, Rxp=0;
-   float gain[L];
    int maxL = 1;
    
+   for (m=0;m<L;m++)
+      nbest[m] = &_nbest[m];
+   
+   for (m=0;m<L;m++)
+   {
+      ny[m] = _ny[m];
+      iny[m] = _iny[m];
+      y[m] = _y[m];
+      iy[m] = _iy[m];
+   }
+   
    for (j=0;j<N;j++)
+   {
       Rpp += p[j]*p[j];
-   //if (Rpp>.01)
-   //   alpha = (1-sqrt(1-Rpp))/Rpp;
-   for (j=0;j<N;j++)
       Rxp += x[j]*p[j];
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         y[m][i] = 0;
-      
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         ny[m][i] = 0;
-
-   for (m=0;m<L;m++)
-      for (i=0;i<N;i++)
-         iy[m][i] = iny[m][i] = 0;
-
-   for (m=0;m<L;m++)
-      xy[m] = yy[m] = yp[m] = gain[m] = 0;
+   }
    
-   for (i=0;i<K;i++)
+   /* We only need to initialise the zero because the first iteration only uses that */
+   for (i=0;i<N;i++)
+      y[0][i] = 0;
+   for (i=0;i<N;i++)
+      iy[0][i] = 0;
+   xy[0] = yy[0] = yp[0] = 0;
+
+   pulsesLeft = K;
+   while (pulsesLeft > 0)
    {
+      int pulsesAtOnce=1;
+      int Lupdate = L;
       int L2 = L;
-      if (L>maxL)
+      
+      /* Decide on complexity strategy */
+      pulsesAtOnce = pulsesLeft/N;
+      if (pulsesAtOnce<1)
+         pulsesAtOnce = 1;
+      if (pulsesLeft-pulsesAtOnce > 3 || N > 30)
+         Lupdate = 1;
+      //printf ("%d %d %d/%d %d\n", Lupdate, pulsesAtOnce, pulsesLeft, K, N);
+      L2 = Lupdate;
+      if (L2>maxL)
       {
          L2 = maxL;
          maxL *= N;
       }
-      for (m=0;m<L;m++)
-         best_scores[m] = -1e10;
+
+      for (m=0;m<Lupdate;m++)
+         nbest[m]->score = -1e10f;
 
       for (m=0;m<L2;m++)
       {
          for (j=0;j<N;j++)
          {
             int sign;
+            /*if (x[j]>0) sign=1; else sign=-1;*/
             for (sign=-1;sign<=1;sign+=2)
             {
+               /* All pulses at one location must have the same sign. */
                if (iy[m][j]*sign < 0)
                   continue;
                //fprintf (stderr, "%d/%d %d/%d %d/%d\n", i, K, m, L2, j, N);
                float tmp_xy, tmp_yy, tmp_yp;
                float score;
                float g;
-               float s = sign;
+               float s = sign*pulsesAtOnce;
+               
+               /* Updating the sums of the new pulse(s) */
                tmp_xy = xy[m] + s*x[j]               - alpha*s*p[j]*Rxp;
-               tmp_yy = yy[m] + 2*s*y[m][j] + 1      +alpha*alpha*p[j]*p[j]*Rpp - 2*alpha*s*p[j]*yp[m] - 2*alpha*p[j]*p[j];
-               tmp_yp = yp[m] + s*p[j]               *(1-alpha*Rpp);
-               g = (sqrt(tmp_yp*tmp_yp + tmp_yy - tmp_yy*Rpp) - tmp_yp)/tmp_yy;
-               score = 2*g*tmp_xy - g*g*tmp_yy;
+               tmp_yy = yy[m] + 2.f*s*y[m][j] + s*s      +s*s*alpha*alpha*p[j]*p[j]*Rpp - 2.f*alpha*s*p[j]*yp[m] - 2.f*s*s*alpha*p[j]*p[j];
+               tmp_yp = yp[m] + s*p[j]               *(1.f-alpha*Rpp);
+               
+               /* Compute the gain such that ||p + g*y|| = 1 */
+               g = (approx_sqrt(tmp_yp*tmp_yp + tmp_yy - tmp_yy*Rpp) - tmp_yp)*approx_inv(tmp_yy);
+               /* Knowing that gain, what the error: (x-g*y)^2 
+                  (result is negated and we discard x^2 because it's constant) */
+               score = 2.f*g*tmp_xy - g*g*tmp_yy;
 
-               if (score>best_scores[L-1])
+               if (score>nbest[Lupdate-1]->score)
                {
                   int k, n;
-                  int id = L-1;
-                  while (id > 0 && score > best_scores[id-1])
+                  int id = Lupdate-1;
+                  struct NBest *tmp_best;
+
+                  /* Save some pointers that would be deleted and use them for the current entry*/
+                  tmp_best = nbest[Lupdate-1];
+                  while (id > 0 && score > nbest[id-1]->score)
                      id--;
                
-                  for (k=L-1;k>id;k--)
-                  {
-                     nxy[k] = nxy[k-1];
-                     nyy[k] = nyy[k-1];
-                     nyp[k] = nyp[k-1];
-                     //fprintf(stderr, "%d %d \n", N, k);
-                     for (n=0;n<N;n++)
-                        ny[k][n] = ny[k-1][n];
-                     for (n=0;n<N;n++)
-                        iny[k][n] = iny[k-1][n];
-                     gain[k] = gain[k-1];
-                     best_scores[k] = best_scores[k-1];
-                  }
-
-                  nxy[id] = tmp_xy;
-                  nyy[id] = tmp_yy;
-                  nyp[id] = tmp_yp;
-                  gain[id] = g;
-                  for (n=0;n<N;n++)
-                     ny[id][n] = y[m][n];
-                  ny[id][j] += s;
-                  for (n=0;n<N;n++)
-                     ny[id][n] -= alpha*s*p[j]*p[n];
-               
-                  for (n=0;n<N;n++)
-                     iny[id][n] = iy[m][n];
-                  if (s>0)
-                     iny[id][j] += 1;
-                  else
-                     iny[id][j] -= 1;
-                  best_scores[id] = score;
+                  for (k=Lupdate-1;k>id;k--)
+                     nbest[k] = nbest[k-1];
+
+                  nbest[id] = tmp_best;
+                  nbest[id]->score = score;
+                  nbest[id]->pos = j;
+                  nbest[id]->orig = m;
+                  nbest[id]->sign = sign;
+                  nbest[id]->gain = g;
+                  nbest[id]->xy = tmp_xy;
+                  nbest[id]->yy = tmp_yy;
+                  nbest[id]->yp = tmp_yp;
                }
-            }   
+            }
          }
-         
+
       }
-      int k,n;
-      for (k=0;k<L;k++)
+      /* Only now that we've made the final choice, update ny/iny and others */
+      for (k=0;k<Lupdate;k++)
       {
-         xy[k] = nxy[k];
-         yy[k] = nyy[k];
-         yp[k] = nyp[k];
+         int n;
+         int is;
+         float s;
+         is = nbest[k]->sign*pulsesAtOnce;
+         s = is;
          for (n=0;n<N;n++)
-            y[k][n] = ny[k][n];
+            ny[k][n] = y[nbest[k]->orig][n] - alpha*s*p[nbest[k]->pos]*p[n];
+         ny[k][nbest[k]->pos] += s;
+
          for (n=0;n<N;n++)
-            iy[k][n] = iny[k][n];
+            iny[k][n] = iy[nbest[k]->orig][n];
+         iny[k][nbest[k]->pos] += is;
+
+         xy[k] = nbest[k]->xy;
+         yy[k] = nbest[k]->yy;
+         yp[k] = nbest[k]->yp;
       }
+      /* Swap ny/iny with y/iy */
+      for (k=0;k<Lupdate;k++)
+      {
+         float *tmp_ny;
+         int *tmp_iny;
 
+         tmp_ny = ny[k];
+         ny[k] = y[k];
+         y[k] = tmp_ny;
+         tmp_iny = iny[k];
+         iny[k] = iy[k];
+         iy[k] = tmp_iny;
+      }
+      pulsesLeft -= pulsesAtOnce;
    }
    
+   if (0) {
+      float err=0;
+      for (i=0;i<N;i++)
+         err += (x[i]-nbest[0]->gain*y[0][i])*(x[i]-nbest[0]->gain*y[0][i]);
+      //if (N<=10)
+      //printf ("%f %d %d\n", err, K, N);
+   }
    for (i=0;i<N;i++)
-      x[i] = p[i]+gain[0]*y[0][i];
+      x[i] = p[i]+nbest[0]->gain*y[0][i];
+   /* Sanity checks, don't bother */
    if (0) {
       float E=1e-15;
       int ABS = 0;
@@ -181,22 +252,16 @@ void alg_quant(float *x, float *W, int N, int K, float *p, float alpha, ec_enc *
       for (i=0;i<N;i++)
          x[i] *= E;
    }
-   int comb[K];
-   int signs[K];
-   //for (i=0;i<N;i++)
-   //   printf ("%d ", iy[0][i]);
-   pulse2comb(N, K, comb, signs, iy[0]); 
-   ec_enc_uint64(enc,icwrs64(N, K, comb, signs),ncwrs64(N, K));
-   //printf ("%llu ", icwrs64(N, K, comb, signs));
+   
+   encode_pulses(iy[0], N, K, enc);
+   
    /* Recompute the gain in one pass to reduce the encoder-decoder mismatch
-      due to the recursive computation used in quantisation */
+      due to the recursive computation used in quantisation.
+      Not quite sure whether we need that or not */
    if (1) {
       float Ryp=0;
-      float Rpp=0;
       float Ryy=0;
       float g=0;
-      for (i=0;i<N;i++)
-         Rpp += p[i]*p[i];
       
       for (i=0;i<N;i++)
          Ryp += iy[0][i]*p[i];
@@ -223,18 +288,13 @@ void alg_quant(float *x, float *W, int N, int K, float *p, float alpha, ec_enc *
 void alg_unquant(float *x, int N, int K, float *p, float alpha, ec_dec *dec)
 {
    int i;
-   celt_uint64_t id;
-   int comb[K];
-   int signs[K];
    int iy[N];
    float y[N];
    float Rpp=0, Ryp=0, Ryy=0;
    float g;
 
-   id = ec_dec_uint64(dec, ncwrs64(N, K));
-   //printf ("%llu ", id);
-   cwrsi64(N, K, id, comb, signs);
-   comb2pulse(N, K, iy, comb, signs);
+   decode_pulses(iy, N, K, dec);
+
    //for (i=0;i<N;i++)
    //   printf ("%d ", iy[i]);
    for (i=0;i<N;i++)
@@ -373,16 +433,28 @@ void intra_unquant(float *x, int N, int K, float *Y, float *P, int B, int N0, ec
    }
 }
 
-void intra_fold(float *x, int N, int K, float *Y, float *P, int B, int N0)
+void intra_fold(float *x, int N, float *Y, float *P, int B, int N0, int Nmax)
 {
-   int j;
+   int i, j;
    float E;
    
    E = 1e-10;
-   for (j=0;j<N;j++)
+   if (N0 >= Nmax/2)
    {
-      P[j] = Y[j];
-      E += P[j]*P[j];
+      for (i=0;i<B;i++)
+      {
+         for (j=0;j<N/B;j++)
+         {
+            P[j*B+i] = Y[(Nmax-N0-j-1)*B+i];
+            E += P[j*B+i]*P[j*B+i];
+         }
+      }
+   } else {
+      for (j=0;j<N;j++)
+      {
+         P[j] = Y[j];
+         E += P[j]*P[j];
+      }
    }
    E = 1.f/sqrt(E);
    for (j=0;j<N;j++)