fixed-point: playing it safe. SHL32() now automatically casts input to 32-bit
[opus.git] / libcelt / vq.c
index af3d720..440da81 100644 (file)
 #include "config.h"
 #endif
 
-#include <math.h>
-#include <stdlib.h>
+#include "mathops.h"
 #include "cwrs.h"
 #include "vq.h"
 #include "arch.h"
 #include "os_support.h"
 
-/* Enable this or define your own implementation if you want to speed up the
-   VQ search (used in inner loop only) */
-#if 0
-#include <xmmintrin.h>
-static inline float approx_sqrt(float x)
-{
-   _mm_store_ss(&x, _mm_sqrt_ss(_mm_set_ss(x)));
-   return x;
-}
-static inline float approx_inv(float x)
-{
-   _mm_store_ss(&x, _mm_rcp_ss(_mm_set_ss(x)));
-   return x;
-}
-#else
-#define approx_sqrt(x) (sqrt(x))
-#define approx_inv(x) (1.f/(x))
-#endif
-
 /** Takes the pitch vector and the decoded residual vector (non-compressed), 
    applies the compression in the pitch direction, computes the gain that will
    give ||p+g*y||=1 and mixes the residual with the pitch. */
-static void mix_pitch_and_residual(int *iy, celt_norm_t *X, int N, int K, celt_norm_t *P, celt_word16_t alpha)
+static void mix_pitch_and_residual(int *iy, celt_norm_t *X, int N, int K, const celt_norm_t *P, celt_word16_t alpha)
 {
    int i;
-   float Rpp=0, Ryp=0, Ryy=0;
-   celt_word32_t Ryp2;
-   float g;
-   VARDECL(celt_norm_t *y);
-   VARDECL(float *x);
-   VARDECL(float *p);
-   float _alpha = Q15_ONE_1*alpha;
+   celt_word32_t Ryp, Ryy, Rpp;
+   celt_word32_t g;
+   VARDECL(celt_norm_t, y);
+#ifdef FIXED_POINT
+   int yshift;
+#endif
+   SAVE_STACK;
 #ifdef FIXED_POINT
-   int yshift = 15-EC_ILOG(K);
+   yshift = 14-EC_ILOG(K);
 #endif
    ALLOC(y, N, celt_norm_t);
-   ALLOC(x, N, float);
-   ALLOC(p, N, float);
-
-   for (i=0;i<N;i++)
-      p[i] = P[i]*NORM_SCALING_1;
 
    /*for (i=0;i<N;i++)
    printf ("%d ", iy[i]);*/
+   Rpp = 0;
    for (i=0;i<N;i++)
-      Rpp += p[i]*p[i];
+      Rpp = MAC16_16(Rpp,P[i],P[i]);
 
-   Ryp2 = 0;
+   Ryp = 0;
    for (i=0;i<N;i++)
-      Ryp2 += MULT16_16(SHL16(iy[i],yshift),P[i]);
+      Ryp = MAC16_16(Ryp,SHL16(iy[i],yshift),P[i]);
 
    /* Remove part of the pitch component to compute the real residual from
       the encoded (int) one */
    for (i=0;i<N;i++)
       y[i] = SUB16(SHL16(iy[i],yshift),
-                   MULT16_16_Q15(alpha,MULT16_16_Q14(EXTRACT16(SHR32(Ryp2,14)),P[i])));
+                   MULT16_16_Q15(alpha,MULT16_16_Q14(ROUND(Ryp,14),P[i])));
 
    /* Recompute after the projection (I think it's right) */
    Ryp = 0;
    for (i=0;i<N;i++)
-      Ryp += y[i]*p[i];
+      Ryp = MAC16_16(Ryp,y[i],P[i]);
 
+   Ryy = 0;
    for (i=0;i<N;i++)
-      Ryy += y[i]*y[i];
+      Ryy = MAC16_16(Ryy, y[i],y[i]);
 
-   g = (sqrt(Ryp*Ryp + Ryy - Ryy*Rpp) - Ryp)/Ryy;
+   /* g = (sqrt(Ryp^2 + Ryy - Rpp*Ryy)-Ryp)/Ryy */
+   g = MULT16_32_Q15(
+            celt_sqrt(MULT16_16(ROUND(Ryp,14),ROUND(Ryp,14)) + Ryy -
+                      MULT16_16(ROUND(Ryy,14),ROUND(Rpp,14)))
+            - ROUND(Ryp,14),
+       celt_rcp(SHR32(Ryy,9)));
 
    for (i=0;i<N;i++)
-      X[i] = P[i] + NORM_SCALING*g*y[i];
+      X[i] = P[i] + ROUND(MULT16_16(y[i], g),11);
+   RESTORE_STACK;
 }
 
 /** All the info necessary to keep track of a hypothesis during the search */
 struct NBest {
-   float score;
-   float gain;
+   celt_word32_t score;
    int sign;
    int pos;
    int orig;
-   float xy;
-   float yy;
-   float yp;
+   celt_word32_t xy;
+   celt_word32_t yy;
+   celt_word32_t yp;
 };
 
-void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, celt_word16_t alpha, ec_enc *enc)
+void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, const celt_norm_t *P, celt_word16_t alpha, ec_enc *enc)
 {
    int L = 3;
-   VARDECL(float *x);
-   VARDECL(float *p);
-   VARDECL(float *_y);
-   VARDECL(float *_ny);
-   VARDECL(int *_iy);
-   VARDECL(int *_iny);
-   VARDECL(float **y);
-   VARDECL(float **ny);
-   VARDECL(int **iy);
-   VARDECL(int **iny);
+   VARDECL(celt_norm_t, _y);
+   VARDECL(celt_norm_t, _ny);
+   VARDECL(int, _iy);
+   VARDECL(int, _iny);
+   VARDECL(celt_norm_t *, y);
+   VARDECL(celt_norm_t *, ny);
+   VARDECL(int *, iy);
+   VARDECL(int *, iny);
    int i, j, k, m;
    int pulsesLeft;
-   VARDECL(float *xy);
-   VARDECL(float *yy);
-   VARDECL(float *yp);
-   VARDECL(struct NBest *_nbest);
-   VARDECL(struct NBest **nbest);
-   float Rpp=0, Rxp=0;
+   VARDECL(celt_word32_t, xy);
+   VARDECL(celt_word32_t, yy);
+   VARDECL(celt_word32_t, yp);
+   VARDECL(struct NBest_nbest);
+   VARDECL(struct NBest *nbest);
+   celt_word32_t Rpp=0, Rxp=0;
    int maxL = 1;
-   float _alpha = Q15_ONE_1*alpha;
+#ifdef FIXED_POINT
+   int yshift;
+#endif
+   SAVE_STACK;
 
-   ALLOC(x, N, float);
-   ALLOC(p, N, float);
-   ALLOC(_y, L*N, float);
-   ALLOC(_ny, L*N, float);
+#ifdef FIXED_POINT
+   yshift = 14-EC_ILOG(K);
+#endif
+
+   ALLOC(_y, L*N, celt_norm_t);
+   ALLOC(_ny, L*N, celt_norm_t);
    ALLOC(_iy, L*N, int);
    ALLOC(_iny, L*N, int);
-   ALLOC(y, L*N, float*);
-   ALLOC(ny, L*N, float*);
-   ALLOC(iy, L*N, int*);
-   ALLOC(iny, L*N, int*);
+   ALLOC(y, L, celt_norm_t*);
+   ALLOC(ny, L, celt_norm_t*);
+   ALLOC(iy, L, int*);
+   ALLOC(iny, L, int*);
    
-   ALLOC(xy, L, float);
-   ALLOC(yy, L, float);
-   ALLOC(yp, L, float);
+   ALLOC(xy, L, celt_word32_t);
+   ALLOC(yy, L, celt_word32_t);
+   ALLOC(yp, L, celt_word32_t);
    ALLOC(_nbest, L, struct NBest);
    ALLOC(nbest, L, struct NBest *);
-
-   for (j=0;j<N;j++)
-   {
-      x[j] = X[j]*NORM_SCALING_1;
-      p[j] = P[j]*NORM_SCALING_1;
-   }
    
    for (m=0;m<L;m++)
       nbest[m] = &_nbest[m];
@@ -183,10 +162,12 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
    
    for (j=0;j<N;j++)
    {
-      Rpp += p[j]*p[j];
-      Rxp += x[j]*p[j];
+      Rpp = MAC16_16(Rpp, P[j],P[j]);
+      Rxp = MAC16_16(Rxp, X[j],P[j]);
    }
-   if (Rpp>1)
+   Rpp = ROUND(Rpp, NORM_SHIFT);
+   Rxp = ROUND(Rxp, NORM_SHIFT);
+   if (Rpp>NORM_SCALING)
       celt_fatal("Rpp > 1");
 
    /* We only need to initialise the zero because the first iteration only uses that */
@@ -218,7 +199,7 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
       }
 
       for (m=0;m<Lupdate;m++)
-         nbest[m]->score = -1e10f;
+         nbest[m]->score = -VERY_LARGE32;
 
       for (m=0;m<L2;m++)
       {
@@ -229,29 +210,37 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
             for (sign=-1;sign<=1;sign+=2)
             {
                /*fprintf (stderr, "%d/%d %d/%d %d/%d\n", i, K, m, L2, j, N);*/
-               float tmp_xy, tmp_yy, tmp_yp;
-               float score;
-               float g;
-               float s = sign*pulsesAtOnce;
+               celt_word32_t Rxy, Ryy, Ryp;
+               celt_word16_t spj, aspj; /* Intermediate results */
+               celt_word32_t score;
+               celt_word32_t g;
+               celt_word16_t s = SHL16(sign*pulsesAtOnce, yshift);
                
                /* All pulses at one location must have the same sign. */
                if (iy[m][j]*sign < 0)
                   continue;
 
+               spj = MULT16_16_Q14(s, P[j]);
+               aspj = MULT16_16_Q15(alpha, spj);
                /* Updating the sums of the new pulse(s) */
-               tmp_xy = xy[m] + s*x[j]               - _alpha*s*p[j]*Rxp;
-               tmp_yy = yy[m] + 2.f*s*y[m][j] + s*s      +s*s*_alpha*_alpha*p[j]*p[j]*Rpp - 2.f*_alpha*s*p[j]*yp[m] - 2.f*s*s*_alpha*p[j]*p[j];
-               tmp_yp = yp[m] + s*p[j]               *(1.f-_alpha*Rpp);
+               Rxy = xy[m] + MULT16_16(s,X[j])     - MULT16_16(MULT16_16_Q15(alpha,spj),Rxp);
+               Ryy = yy[m] + 2*MULT16_16(s,y[m][j]) + MULT16_16(s,s)   +MULT16_16(aspj,MULT16_16_Q14(aspj,Rpp)) - 2*MULT16_32_Q14(aspj,yp[m]) - 2*MULT16_16(s,MULT16_16_Q14(aspj,P[j]));
+               Ryp = yp[m] + MULT16_16(spj, SUB16(QCONST16(1.f,14),MULT16_16_Q15(alpha,Rpp)));
                
                /* Compute the gain such that ||p + g*y|| = 1 */
-               g = (approx_sqrt(tmp_yp*tmp_yp + tmp_yy - tmp_yy*Rpp) - tmp_yp)*approx_inv(tmp_yy);
-               /* Knowing that gain, what the error: (x-g*y)^2 
+               g = MULT16_32_Q15(
+                        celt_sqrt(MULT16_16(ROUND(Ryp,14),ROUND(Ryp,14)) + Ryy -
+                                  MULT16_16(ROUND(Ryy,14),Rpp))
+                        - ROUND(Ryp,14),
+                   celt_rcp(SHR32(Ryy,12)));
+               /* Knowing that gain, what's the error: (x-g*y)^2 
                   (result is negated and we discard x^2 because it's constant) */
-               score = 2.f*g*tmp_xy - g*g*tmp_yy;
+               /*score = 2.f*g*Rxy - 1.f*g*g*Ryy*NORM_SCALING_1;*/
+               score = 2*MULT16_32_Q14(ROUND(Rxy,14),g)
+                       - MULT16_32_Q14(EXTRACT16(MULT16_32_Q14(ROUND(Ryy,14),g)),g);
 
                if (score>nbest[Lupdate-1]->score)
                {
-                  int k;
                   int id = Lupdate-1;
                   struct NBest *tmp_best;
 
@@ -268,28 +257,27 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
                   nbest[id]->pos = j;
                   nbest[id]->orig = m;
                   nbest[id]->sign = sign;
-                  nbest[id]->gain = g;
-                  nbest[id]->xy = tmp_xy;
-                  nbest[id]->yy = tmp_yy;
-                  nbest[id]->yp = tmp_yp;
+                  nbest[id]->xy = Rxy;
+                  nbest[id]->yy = Ryy;
+                  nbest[id]->yp = Ryp;
                }
             }
          }
 
       }
       
-      if (!(nbest[0]->score > -1e10f))
+      if (!(nbest[0]->score > -VERY_LARGE32))
          celt_fatal("Could not find any match in VQ codebook. Something got corrupted somewhere.");
       /* Only now that we've made the final choice, update ny/iny and others */
       for (k=0;k<Lupdate;k++)
       {
          int n;
          int is;
-         float s;
+         celt_norm_t s;
          is = nbest[k]->sign*pulsesAtOnce;
-         s = is;
+         s = SHL16(is, yshift);
          for (n=0;n<N;n++)
-            ny[k][n] = y[nbest[k]->orig][n] - _alpha*s*p[nbest[k]->pos]*p[n];
+            ny[k][n] = y[nbest[k]->orig][n] - MULT16_16_Q15(alpha,MULT16_16_Q14(s,MULT16_16_Q14(P[nbest[k]->pos],P[n])));
          ny[k][nbest[k]->pos] += s;
 
          for (n=0;n<N;n++)
@@ -303,7 +291,7 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
       /* Swap ny/iny with y/iy */
       for (k=0;k<Lupdate;k++)
       {
-         float *tmp_ny;
+         celt_norm_t *tmp_ny;
          int *tmp_iny;
 
          tmp_ny = ny[k];
@@ -318,7 +306,7 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
    
 #if 0
    if (0) {
-      float err=0;
+      celt_word32_t err=0;
       for (i=0;i<N;i++)
          err += (x[i]-nbest[0]->gain*y[0][i])*(x[i]-nbest[0]->gain*y[0][i]);
       /*if (N<=10)
@@ -328,7 +316,7 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
    if (0) {
       for (i=0;i<N;i++)
          x[i] = p[i]+nbest[0]->gain*y[0][i];
-      float E=1e-15;
+      celt_word32_t E=1e-15;
       int ABS = 0;
       for (i=0;i<N;i++)
          ABS += abs(iy[0][i]);
@@ -349,45 +337,50 @@ void alg_quant(celt_norm_t *X, celt_mask_t *W, int N, int K, celt_norm_t *P, cel
       due to the recursive computation used in quantisation.
       Not quite sure whether we need that or not */
    mix_pitch_and_residual(iy[0], X, N, K, P, alpha);
+   RESTORE_STACK;
 }
 
 /** Decode pulse vector and combine the result with the pitch vector to produce
     the final normalised signal in the current band. */
 void alg_unquant(celt_norm_t *X, int N, int K, celt_norm_t *P, celt_word16_t alpha, ec_dec *dec)
 {
-   VARDECL(int *iy);
+   VARDECL(int, iy);
+   SAVE_STACK;
    ALLOC(iy, N, int);
    decode_pulses(iy, N, K, dec);
    mix_pitch_and_residual(iy, X, N, K, P, alpha);
+   RESTORE_STACK;
 }
 
-
-static const float pg[11] = {1.f, .75f, .65f, 0.6f, 0.6f, .6f, .55f, .55f, .5f, .5f, .5f};
+#ifdef FIXED_POINT
+static const celt_word16_t pg[11] = {32767, 24576, 21299, 19661, 19661, 19661, 18022, 18022, 16384, 16384, 16384};
+#else
+static const celt_word16_t pg[11] = {1.f, .75f, .65f, 0.6f, 0.6f, .6f, .55f, .55f, .5f, .5f, .5f};
+#endif
 
 void intra_prediction(celt_norm_t *x, celt_mask_t *W, int N, int K, celt_norm_t *Y, celt_norm_t *P, int B, int N0, ec_enc *enc)
 {
    int i,j;
    int best=0;
-   float best_score=0;
-   float s = 1;
+   celt_word32_t best_score=0;
+   celt_word16_t s = 1;
    int sign;
-   float E;
-   float pred_gain;
+   celt_word32_t E;
+   celt_word16_t pred_gain;
    int max_pos = N0-N/B;
    if (max_pos > 32)
       max_pos = 32;
 
    for (i=0;i<max_pos*B;i+=B)
    {
-      int j;
-      float xy=0, yy=0;
-      float score;
+      celt_word32_t xy=0, yy=0;
+      celt_word32_t score;
       for (j=0;j<N;j++)
       {
-         xy += 1.f*x[j]*Y[i+N-j-1];
-         yy += 1.f*Y[i+N-j-1]*Y[i+N-j-1];
+         xy = MAC16_16(xy, x[j], Y[i+N-j-1]);
+         yy = MAC16_16(yy, Y[i+N-j-1], Y[i+N-j-1]);
       }
-      score = xy*xy/(.001+yy);
+      score = DIV32(MULT16_16(ROUND(xy,14),ROUND(xy,14)), ROUND(yy,14));
       if (score > best_score)
       {
          best_score = score;
@@ -411,15 +404,16 @@ void intra_prediction(celt_norm_t *x, celt_mask_t *W, int N, int K, celt_norm_t
       pred_gain = pg[10];
    else
       pred_gain = pg[K];
-   E = 1e-10;
+   E = EPSILON;
    for (j=0;j<N;j++)
    {
       P[j] = s*Y[best+N-j-1];
-      E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
+      E = MAC16_16(E, P[j],P[j]);
    }
-   E = pred_gain/sqrt(E);
+   /*pred_gain = pred_gain/sqrt(E);*/
+   pred_gain = MULT16_16_Q15(pred_gain,DIV32_16(SHL32(EXTEND32(1),14+8),celt_sqrt(E)));
    for (j=0;j<N;j++)
-      P[j] *= E;
+      P[j] = PSHR32(MULT16_16(pred_gain, P[j]),8);
    if (K>0)
    {
       for (j=0;j<N;j++)
@@ -437,10 +431,10 @@ void intra_unquant(celt_norm_t *x, int N, int K, celt_norm_t *Y, celt_norm_t *P,
 {
    int j;
    int sign;
-   float s;
+   celt_word16_t s;
    int best;
-   float E;
-   float pred_gain;
+   celt_word32_t E;
+   celt_word16_t pred_gain;
    int max_pos = N0-N/B;
    if (max_pos > 32)
       max_pos = 32;
@@ -458,15 +452,16 @@ void intra_unquant(celt_norm_t *x, int N, int K, celt_norm_t *Y, celt_norm_t *P,
       pred_gain = pg[10];
    else
       pred_gain = pg[K];
-   E = 1e-10;
+   E = EPSILON;
    for (j=0;j<N;j++)
    {
       P[j] = s*Y[best+N-j-1];
-      E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
+      E = MAC16_16(E, P[j],P[j]);
    }
-   E = pred_gain/sqrt(E);
+   /*pred_gain = pred_gain/sqrt(E);*/
+   pred_gain = MULT16_16_Q15(pred_gain,DIV32_16(SHL32(EXTEND32(1),14+8),celt_sqrt(E)));
    for (j=0;j<N;j++)
-      P[j] *= E;
+      P[j] = PSHR32(MULT16_16(pred_gain, P[j]),8);
    if (K==0)
    {
       for (j=0;j<N;j++)
@@ -477,9 +472,10 @@ void intra_unquant(celt_norm_t *x, int N, int K, celt_norm_t *Y, celt_norm_t *P,
 void intra_fold(celt_norm_t *x, int N, celt_norm_t *Y, celt_norm_t *P, int B, int N0, int Nmax)
 {
    int i, j;
-   float E;
+   celt_word32_t E;
+   celt_word16_t g;
    
-   E = 1e-10;
+   E = EPSILON;
    if (N0 >= Nmax/2)
    {
       for (i=0;i<B;i++)
@@ -487,19 +483,19 @@ void intra_fold(celt_norm_t *x, int N, celt_norm_t *Y, celt_norm_t *P, int B, in
          for (j=0;j<N/B;j++)
          {
             P[j*B+i] = Y[(Nmax-N0-j-1)*B+i];
-            E += NORM_SCALING_1*NORM_SCALING_1*P[j*B+i]*P[j*B+i];
+            E += P[j*B+i]*P[j*B+i];
          }
       }
    } else {
       for (j=0;j<N;j++)
       {
          P[j] = Y[j];
-         E += NORM_SCALING_1*NORM_SCALING_1*P[j]*P[j];
+         E = MAC16_16(E, P[j],P[j]);
       }
    }
-   E = 1.f/sqrt(E);
+   g = DIV32_16(SHL32(EXTEND32(1),14+8),celt_sqrt(E));
    for (j=0;j<N;j++)
-      P[j] *= E;
+      P[j] = PSHR32(MULT16_16(g, P[j]),8);
    for (j=0;j<N;j++)
       x[j] = P[j];
 }