Squashed commit of the following:
[opus.git] / libcelt / rate.c
index ecfccde..9763b6f 100644 (file)
@@ -1,5 +1,6 @@
-/* (C) 2007-2008 Jean-Marc Valin, CSIRO
-*/
+/* Copyright (c) 2007-2008 CSIRO
+   Copyright (c) 2007-2009 Xiph.Org Foundation
+   Written by Jean-Marc Valin */
 /*
    Redistribution and use in source and binary forms, with or without
    modification, are permitted provided that the following conditions
 #include "entcode.h"
 #include "rate.h"
 
-#define BITRES 4
-#define BITROUND 8
-#define BITOVERFLOW 10000
 
 #ifndef STATIC_MODES
-static int log2_frac(ec_uint32 val, int frac)
+
+/*Determines if V(N,K) fits in a 32-bit unsigned integer.
+  N and K are themselves limited to 15 bits.*/
+static int fits_in32(int _n, int _k)
 {
-   int i;
-   /* EC_ILOG() actually returns log2()+1, go figure */
-   int L = EC_ILOG(val)-1;
-   /*printf ("in: %d %d ", val, L);*/
-   if (L>14)
-      val >>= L-14;
-   else if (L<14)
-      val <<= 14-L;
-   L <<= frac;
-   /*printf ("%d\n", val);*/
-   for (i=0;i<frac;i++)
+   static const celt_int16 maxN[15] = {
+      32767, 32767, 32767, 1476, 283, 109,  60,  40,
+       29,  24,  20,  18,  16,  14,  13};
+   static const celt_int16 maxK[15] = {
+      32767, 32767, 32767, 32767, 1172, 238,  95,  53,
+       36,  27,  22,  18,  16,  15,  13};
+   if (_n>=14)
    {
-      val = (val*val) >> 15;
-      /*printf ("%d\n", val);*/
-      if (val > 16384)
-         L |= (1<<(frac-i-1));
-      else   
-         val <<= 1;
+      if (_k>=14)
+         return 0;
+      else
+         return _n <= maxN[_k];
+   } else {
+      return _k <= maxK[_n];
    }
-   return L;
 }
 
-static int log2_frac64(ec_uint64 val, int frac)
+void compute_pulse_cache(CELTMode *m, int LM)
 {
    int i;
-   /* EC_ILOG64() actually returns log2()+1, go figure */
-   int L = EC_ILOG64(val)-1;
-   /*printf ("in: %d %d ", val, L);*/
-   if (L>14)
-      val >>= L-14;
-   else if (L<14)
-      val <<= 14-L;
-   L <<= frac;
-   /*printf ("%d\n", val);*/
-   for (i=0;i<frac;i++)
-   {
-      val = (val*val) >> 15;
-      /*printf ("%d\n", val);*/
-      if (val > 16384)
-         L |= (1<<(frac-i-1));
-      else   
-         val <<= 1;
-   }
-   return L;
-}
+   int curr=0;
+   int nbEntries=0;
+   int entryN[100], entryK[100], entryI[100];
+   const celt_int16 *eBands = m->eBands;
+   PulseCache *cache = &m->cache;
+   celt_int16 *cindex;
+   unsigned char *bits;
 
-void compute_alloc_cache(CELTMode *m)
-{
-   int i, prevN, BC;
-   celt_int16_t **bits;
-   const celt_int16_t *eBands = m->eBands;
+   cindex = celt_alloc(sizeof(cache->index[0])*m->nbEBands*(LM+2));
+   cache->index = cindex;
 
-   bits = celt_alloc(m->nbEBands*sizeof(celt_int16_t*));
-   
-   BC = m->nbChannels;
-   prevN = -1;
-   for (i=0;i<m->nbEBands;i++)
+   /* Scan for all unique band sizes */
+   for (i=0;i<=LM+1;i++)
    {
-      int N = BC*(eBands[i+1]-eBands[i]);
-      if (N == prevN && eBands[i] < m->pitchEnd)
+      int j;
+      for (j=0;j<m->nbEBands;j++)
       {
-         bits[i] = bits[i-1];
-      } else {
-         VARDECL(celt_uint64_t, u);
-         SAVE_STACK;
-         ALLOC(u, N, celt_uint64_t);
-         int j;
-         /* FIXME: We could save memory here */
-         bits[i] = celt_alloc(MAX_PULSES*sizeof(celt_int16_t));
-         for (j=0;j<MAX_PULSES;j++)
+         int k;
+         int N = (eBands[j+1]-eBands[j])<<i>>1;
+         cindex[i*m->nbEBands+j] = -1;
+         /* Find other bands that have the same size */
+         for (k=0;k<=i;k++)
          {
-            int done = 0;
-            int pulses = j;
-            /* For bands where there's no pitch, id 1 corresponds to intra prediction 
-            with no pulse. id 2 means intra prediction with one pulse, and so on.*/
-            if (eBands[i] >= m->pitchEnd)
-               pulses -= 1;
-            if (pulses < 0)
-               bits[i][j] = 0;
-            else {
-               celt_uint64_t nc;
-               nc=pulses?ncwrs_unext64(N, u):ncwrs_u64(N, 0, u);
-               bits[i][j] = log2_frac64(nc,BITRES);
-               /* FIXME: Could there be a better test for the max number of pulses that fit in 64 bits? */
-               if (bits[i][j] > (60<<BITRES))
-                  done = 1;
-               /* Add the intra-frame prediction bits */
-               if (eBands[i] >= m->pitchEnd)
+            int n;
+            for (n=0;n<m->nbEBands && (k!=i || n<j);n++)
+            {
+               if (N == (eBands[n+1]-eBands[n])<<k>>1)
                {
-                  int max_pos = 2*eBands[i]-eBands[i+1];
-                  if (max_pos > 32)
-                     max_pos = 32;
-                  bits[i][j] += (1<<BITRES) + log2_frac(max_pos,BITRES);
+                  cindex[i*m->nbEBands+j] = cindex[k*m->nbEBands+n];
+                  break;
                }
             }
-            if (done)
-               break;
          }
-         for (;j<MAX_PULSES;j++)
-            bits[i][j] = BITOVERFLOW;
-         prevN = N;
-         RESTORE_STACK;
+         if (cache->index[i*m->nbEBands+j] == -1 && N!=0)
+         {
+            int K;
+            entryN[nbEntries] = N;
+            K = 0;
+            while (fits_in32(N,get_pulses(K+1)) && K<MAX_PSEUDO)
+               K++;
+            entryK[nbEntries] = K;
+            cindex[i*m->nbEBands+j] = curr;
+            entryI[nbEntries] = curr;
+
+            curr += K+1;
+            nbEntries++;
+         }
       }
    }
-   m->bits = (const celt_int16_t * const *)bits;
-}
-
-#endif /* !STATIC_MODES */
-
-static inline int bits2pulses(const CELTMode *m, int band, int bits)
-{
-   int i;
-   int lo, hi;
-   lo = 0;
-   hi = MAX_PULSES-1;
-   
-   /* Instead of using the "bisection confition" we use a fixed number of 
-      iterations because it should be faster */
-   /*while (hi-lo != 1)*/
-   for (i=0;i<LOG_MAX_PULSES;i++)
+   bits = celt_alloc(sizeof(unsigned char)*curr);
+   cache->bits = bits;
+   cache->size = curr;
+   /* Compute the cache for all unique sizes */
+   for (i=0;i<nbEntries;i++)
    {
-      int mid = (lo+hi)>>1;
-      /* OPT: Make sure this is implemented with a conditional move */
-      if (m->bits[band][mid] >= bits)
-         hi = mid;
-      else
-         lo = mid;
+      int j;
+      unsigned char *ptr = bits+entryI[i];
+      celt_int16 tmp[MAX_PULSES+1];
+      get_required_bits(tmp, entryN[i], get_pulses(entryK[i]), BITRES);
+      for (j=1;j<=entryK[i];j++)
+         ptr[j] = tmp[get_pulses(j)]-1;
+      ptr[0] = entryK[i];
    }
-   if (bits-m->bits[band][lo] <= m->bits[band][hi]-bits)
-      return lo;
-   else
-      return hi;
 }
 
-static int vec_bits2pulses(const CELTMode *m, int *bits, int *pulses, int len)
-{
-   int i;
-   int sum=0;
+#endif /* !STATIC_MODES */
 
-   for (i=0;i<len;i++)
-   {
-      pulses[i] = bits2pulses(m, i, bits[i]);
-      sum += m->bits[i][pulses[i]];
-   }
-   /*printf ("sum = %d\n", sum);*/
-   return sum;
-}
 
-static int interp_bits2pulses(const CELTMode *m, int *bits1, int *bits2, int total, int *pulses, int len)
+#define ALLOC_STEPS 6
+
+static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int *bits1, int *bits2, int total, int *bits, int *ebits, int *fine_priority, int len, int _C, int LM)
 {
-   int lo, hi, out;
-   int j;
-   int firstpass;
-   VARDECL(int, bits);
+   int psum;
+   int lo, hi;
+   int i, j;
+   int logM;
+   const int C = CHANNELS(_C);
+   int codedBands=-1;
+   VARDECL(int, thresh);
    SAVE_STACK;
-   ALLOC(bits, len, int);
+
+   ALLOC(thresh, len, int);
+
+   /* Threshold: don't allow any band to go below 3/8 bit/sample */
+   for (j=start;j<end;j++)
+      thresh[j] = 3*(C*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>3;
+   logM = LM<<BITRES;
    lo = 0;
-   hi = 1<<BITRES;
-   while (hi-lo != 1)
+   hi = 1<<ALLOC_STEPS;
+   for (i=0;i<ALLOC_STEPS;i++)
    {
       int mid = (lo+hi)>>1;
-      for (j=0;j<len;j++)
-         bits[j] = ((1<<BITRES)-mid)*bits1[j] + mid*bits2[j];
-      if (vec_bits2pulses(m, bits, pulses, len) > total<<BITRES)
+      psum = 0;
+      for (j=start;j<end;j++)
+      {
+         int tmp = bits1[j] + (mid*bits2[j]>>ALLOC_STEPS);
+         if (tmp >= thresh[j])
+            psum += tmp;
+         else if (tmp >= 1<<BITRES)
+            psum += 1<<BITRES;
+      }
+      if (psum > (total<<BITRES))
          hi = mid;
       else
          lo = mid;
    }
+   psum = 0;
    /*printf ("interp bisection gave %d\n", lo);*/
-   for (j=0;j<len;j++)
-      bits[j] = ((1<<BITRES)-lo)*bits1[j] + lo*bits2[j];
-   out = vec_bits2pulses(m, bits, pulses, len);
-   /* Do some refinement to use up all bits. In the first pass, we can only add pulses to 
-      bands that are under their allocated budget. In the second pass, anything goes */
-   firstpass = 1;
-   while(1)
+   for (j=start;j<end;j++)
    {
-      int incremented = 0;
-      for (j=0;j<len;j++)
-      {
-         if ((!firstpass || m->bits[j][pulses[j]] < bits[j]) && pulses[j]<MAX_PULSES-1)
-         {
-            if (out+m->bits[j][pulses[j]+1]-m->bits[j][pulses[j]] <= total<<BITRES)
-            {
-               out = out+m->bits[j][pulses[j]+1]-m->bits[j][pulses[j]];
-               pulses[j] += 1;
-               incremented = 1;
-            }
-         }
-      }
-      if (!incremented)
+      int tmp = bits1[j] + (lo*bits2[j]>>ALLOC_STEPS);
+      if (tmp >= thresh[j])
       {
-         if (firstpass)
-            firstpass = 0;
-         else
-            break;
-      }
+         bits[j] = tmp;
+         codedBands = j;
+      } else if (tmp >= 1<<BITRES)
+         bits[j] = 1<<BITRES;
+      else
+         bits[j] = 0;
+      psum += bits[j];
+   }
+   codedBands++;
+   /* Allocate the remaining bits */
+   if (codedBands) {
+      int left, perband;
+      left = (total<<BITRES)-psum;
+      perband = left/(codedBands-start);
+      for (j=start;j<codedBands;j++)
+         bits[j] += perband;
+      left = left-codedBands*perband;
+      for (j=start;j<start+left;j++)
+         bits[j]++;
+   }
+   for (j=start;j<end;j++)
+   {
+      int N0, N, den;
+      int offset;
+      int NClogN;
+
+      N0 = m->eBands[j+1]-m->eBands[j];
+      N=N0<<LM;
+      NClogN = N*C*(m->logN[j] + logM);
+
+      /* Compensate for the extra DoF in stereo */
+      den=(C*N+ ((C==2 && N>2) ? 1 : 0));
+
+      /* Offset for the number of fine bits by log2(N)/2 + FINE_OFFSET
+         compared to their "fair share" of total/N */
+      offset = (NClogN>>1)-N*C*FINE_OFFSET;
+
+      /* N=2 is the only point that doesn't match the curve */
+      if (N==2)
+         offset += N*C<<BITRES>>2;
+
+      /* Changing the offset for allocating the second and third fine energy bit */
+      if (bits[j] + offset < den*2<<BITRES)
+         offset += NClogN>>2;
+      else if (bits[j] + offset < den*3<<BITRES)
+         offset += NClogN>>3;
+
+      /* Divide with rounding */
+      ebits[j] = (bits[j] + offset + (den<<(BITRES-1))) / (den<<BITRES);
+
+      /* If we rounded down, make it a candidate for final fine energy pass */
+      fine_priority[j] = ebits[j]*(den<<BITRES) >= bits[j]+offset;
+
+      /* For N=1, all bits go to fine energy except for a single sign bit */
+      if (N==1)
+         ebits[j] = (bits[j]/C >> BITRES)-1;
+      /* Make sure the first bit is spent on fine energy */
+      if (ebits[j] < 1)
+         ebits[j] = 1;
+
+      /* Make sure not to bust */
+      if (C*ebits[j] > (bits[j]>>BITRES))
+         ebits[j] = bits[j]/C >> BITRES;
+
+      /* More than that is useless because that's about as far as PVQ can go */
+      if (ebits[j]>7)
+         ebits[j]=7;
+
+      /* The other bits are assigned to PVQ */
+      bits[j] -= C*ebits[j]<<BITRES;
+      if (bits[j] < 0)
+         bits[j] = 0;
    }
    RESTORE_STACK;
-   return (out+BITROUND) >> BITRES;
+   return codedBands;
 }
 
-int compute_allocation(const CELTMode *m, int *offsets, int total, int *pulses)
+int compute_allocation(const CELTMode *m, int start, int end, int *offsets, int alloc_trim,
+      int total, int *pulses, int *ebits, int *fine_priority, int _C, int LM)
 {
-   int lo, hi, len, ret;
+   int lo, hi, len, j;
+   const int C = CHANNELS(_C);
+   int codedBands;
    VARDECL(int, bits1);
    VARDECL(int, bits2);
+   VARDECL(int, thresh);
+   VARDECL(int, trim_offset);
    SAVE_STACK;
    
    len = m->nbEBands;
    ALLOC(bits1, len, int);
    ALLOC(bits2, len, int);
+   ALLOC(thresh, len, int);
+   ALLOC(trim_offset, len, int);
+
+   /* Below this threshold, we don't allocate any PVQ bits */
+   for (j=start;j<end;j++)
+      thresh[j] = 3*(C*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>3;
+   /* Tilt of the allocation curve */
+   for (j=start;j<end;j++)
+      trim_offset[j] = C*(m->eBands[j+1]-m->eBands[j])*(2*alloc_trim-7)*(m->nbEBands-j-1)
+            <<(LM+BITRES)>>6;
+
    lo = 0;
    hi = m->nbAllocVectors - 1;
    while (hi-lo != 1)
    {
-      int j;
+      int psum = 0;
       int mid = (lo+hi) >> 1;
-      for (j=0;j<len;j++)
+      for (j=start;j<end;j++)
       {
-         bits1[j] = (m->allocVectors[mid*len+j] + offsets[j])<<BITRES;
+         int N = m->eBands[j+1]-m->eBands[j];
+         bits1[j] = C*N*m->allocVectors[mid*len+j]<<LM>>2;
+         if (bits1[j] > 0)
+            bits1[j] += trim_offset[j];
          if (bits1[j] < 0)
             bits1[j] = 0;
+         bits1[j] += offsets[j];
+         if (bits1[j] >= thresh[j])
+            psum += bits1[j];
+         else if (bits1[j] >= 1<<BITRES)
+            psum += 1<<BITRES;
+
          /*printf ("%d ", bits[j]);*/
       }
       /*printf ("\n");*/
-      if (vec_bits2pulses(m, bits1, pulses, len) > total<<BITRES)
+      if (psum > (total<<BITRES))
          hi = mid;
       else
          lo = mid;
       /*printf ("lo = %d, hi = %d\n", lo, hi);*/
    }
+   /*printf ("interp between %d and %d\n", lo, hi);*/
+   for (j=start;j<end;j++)
    {
-      int j;
-      for (j=0;j<len;j++)
-      {
-         bits1[j] = m->allocVectors[lo*len+j] + offsets[j];
-         bits2[j] = m->allocVectors[hi*len+j] + offsets[j];
-         if (bits1[j] < 0)
-            bits1[j] = 0;
-         if (bits2[j] < 0)
-            bits2[j] = 0;
-      }
-      ret = interp_bits2pulses(m, bits1, bits2, total, pulses, len);
-      RESTORE_STACK;
-      return ret;
+      int N = m->eBands[j+1]-m->eBands[j];
+      bits1[j] = (C*N*m->allocVectors[lo*len+j]<<LM>>2);
+      bits2[j] = (C*N*m->allocVectors[hi*len+j]<<LM>>2) - bits1[j];
+      if (bits1[j] > 0)
+         bits1[j] += trim_offset[j];
+      if (bits1[j] < 0)
+         bits1[j] = 0;
+      bits1[j] += offsets[j];
    }
+   codedBands = interp_bits2pulses(m, start, end, bits1, bits2, total, pulses, ebits, fine_priority, len, C, LM);
+   RESTORE_STACK;
+   return codedBands;
 }