Give the bit we reserved to end skipping back when we don't use it.
[opus.git] / libcelt / rate.c
index 3aea466..c711fb4 100644 (file)
@@ -1,5 +1,6 @@
-/* (C) 2007-2008 Jean-Marc Valin, CSIRO
-*/
+/* Copyright (c) 2007-2008 CSIRO
+   Copyright (c) 2007-2009 Xiph.Org Foundation
+   Written by Jean-Marc Valin */
 /*
    Redistribution and use in source and binary forms, with or without
    modification, are permitted provided that the following conditions
 #include "entcode.h"
 #include "rate.h"
 
-#define BITRES 4
-#define BITROUND 8
-#define BITOVERFLOW 30000
 
 #ifndef STATIC_MODES
 
-celt_int16_t **compute_alloc_cache(CELTMode *m, int C)
+/*Determines if V(N,K) fits in a 32-bit unsigned integer.
+  N and K are themselves limited to 15 bits.*/
+static int fits_in32(int _n, int _k)
 {
-   int i, prevN;
-   celt_int16_t **bits;
-   const celt_int16_t *eBands = m->eBands;
+   static const celt_int16 maxN[15] = {
+      32767, 32767, 32767, 1476, 283, 109,  60,  40,
+       29,  24,  20,  18,  16,  14,  13};
+   static const celt_int16 maxK[15] = {
+      32767, 32767, 32767, 32767, 1172, 238,  95,  53,
+       36,  27,  22,  18,  16,  15,  13};
+   if (_n>=14)
+   {
+      if (_k>=14)
+         return 0;
+      else
+         return _n <= maxN[_k];
+   } else {
+      return _k <= maxK[_n];
+   }
+}
 
-   bits = celt_alloc(m->nbEBands*sizeof(celt_int16_t*));
-   
-   prevN = -1;
-   for (i=0;i<m->nbEBands;i++)
+void compute_pulse_cache(CELTMode *m, int LM)
+{
+   int i;
+   int curr=0;
+   int nbEntries=0;
+   int entryN[100], entryK[100], entryI[100];
+   const celt_int16 *eBands = m->eBands;
+   PulseCache *cache = &m->cache;
+   celt_int16 *cindex;
+   unsigned char *bits;
+
+   cindex = celt_alloc(sizeof(cache->index[0])*m->nbEBands*(LM+2));
+   cache->index = cindex;
+
+   /* Scan for all unique band sizes */
+   for (i=0;i<=LM+1;i++)
    {
-      int N = C*(eBands[i+1]-eBands[i]);
-      if (N == prevN && eBands[i] < m->pitchEnd)
+      int j;
+      for (j=0;j<m->nbEBands;j++)
       {
-         bits[i] = bits[i-1];
-      } else {
-         int j;
-         /* FIXME: We could save memory here */
-         bits[i] = celt_alloc(MAX_PULSES*sizeof(celt_int16_t));
-         for (j=0;j<MAX_PULSES;j++)
+         int k;
+         int N = (eBands[j+1]-eBands[j])<<i>>1;
+         cindex[i*m->nbEBands+j] = -1;
+         /* Find other bands that have the same size */
+         for (k=0;k<=i;k++)
          {
-            int pulses = j;
-            /* For bands where there's no pitch, id 1 corresponds to intra prediction 
-            with no pulse. id 2 means intra prediction with one pulse, and so on.*/
-            if (eBands[i] >= m->pitchEnd)
-               pulses -= 1;
-            if (pulses < 0)
-               bits[i][j] = 0;
-            else {
-               bits[i][j] = get_required_bits(N, pulses, BITRES);
-               /* Add the intra-frame prediction sign bit */
-               if (eBands[i] >= m->pitchEnd)
-                  bits[i][j] += (1<<BITRES);
+            int n;
+            for (n=0;n<m->nbEBands && (k!=i || n<j);n++)
+            {
+               if (N == (eBands[n+1]-eBands[n])<<k>>1)
+               {
+                  cindex[i*m->nbEBands+j] = cindex[k*m->nbEBands+n];
+                  break;
+               }
             }
          }
-         for (;j<MAX_PULSES;j++)
-            bits[i][j] = BITOVERFLOW;
-         prevN = N;
+         if (cache->index[i*m->nbEBands+j] == -1 && N!=0)
+         {
+            int K;
+            entryN[nbEntries] = N;
+            K = 0;
+            while (fits_in32(N,get_pulses(K+1)) && K<MAX_PSEUDO)
+               K++;
+            entryK[nbEntries] = K;
+            cindex[i*m->nbEBands+j] = curr;
+            entryI[nbEntries] = curr;
+
+            curr += K+1;
+            nbEntries++;
+         }
       }
    }
-   return bits;
-}
-
-#endif /* !STATIC_MODES */
-
-static inline int bits2pulses(const CELTMode *m, const celt_int16_t *cache, int bits)
-{
-   int i;
-   int lo, hi;
-   lo = 0;
-   hi = MAX_PULSES-1;
-   
-   /* Instead of using the "bisection condition" we use a fixed number of 
-      iterations because it should be faster */
-   /*while (hi-lo != 1)*/
-   for (i=0;i<LOG_MAX_PULSES;i++)
+   bits = celt_alloc(sizeof(unsigned char)*curr);
+   cache->bits = bits;
+   cache->size = curr;
+   /* Compute the cache for all unique sizes */
+   for (i=0;i<nbEntries;i++)
    {
-      int mid = (lo+hi)>>1;
-      /* OPT: Make sure this is implemented with a conditional move */
-      if (cache[mid] >= bits)
-         hi = mid;
-      else
-         lo = mid;
+      int j;
+      unsigned char *ptr = bits+entryI[i];
+      celt_int16 tmp[MAX_PULSES+1];
+      get_required_bits(tmp, entryN[i], get_pulses(entryK[i]), BITRES);
+      for (j=1;j<=entryK[i];j++)
+         ptr[j] = tmp[get_pulses(j)]-1;
+      ptr[0] = entryK[i];
    }
-   if (bits-cache[lo] <= cache[hi]-bits)
-      return lo;
-   else
-      return hi;
 }
 
-static int vec_bits2pulses(const CELTMode *m, const celt_int16_t * const *cache, int *bits, int *pulses, int len)
-{
-   int i;
-   int sum=0;
+#endif /* !STATIC_MODES */
 
-   for (i=0;i<len;i++)
-   {
-      pulses[i] = bits2pulses(m, cache[i], bits[i]);
-      sum += cache[i][pulses[i]];
-   }
-   /*printf ("sum = %d\n", sum);*/
-   return sum;
-}
 
-static int interp_bits2pulses(const CELTMode *m, const celt_int16_t * const *cache, int *bits1, int *bits2, int total, int *pulses, int len)
+#define ALLOC_STEPS 6
+
+static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int skip_start,
+      const int *bits1, const int *bits2, const int *thresh, int total, int skip_rsv,int *bits,
+      int *ebits, int *fine_priority, int len, int _C, int LM, void *ec, int encode, int prev)
 {
-   int lo, hi, out;
-   int j;
-   VARDECL(int, bits);
+   int psum;
+   int lo, hi;
+   int i, j;
+   int logM;
+   const int C = CHANNELS(_C);
+   int codedBands=-1;
+   int alloc_floor;
+   int left, percoeff;
+   int done;
+   int balance;
    SAVE_STACK;
-   ALLOC(bits, len, int);
+
+   alloc_floor = C<<BITRES;
+
+   logM = LM<<BITRES;
    lo = 0;
-   hi = 1<<BITRES;
-   while (hi-lo != 1)
+   hi = 1<<ALLOC_STEPS;
+   for (i=0;i<ALLOC_STEPS;i++)
    {
       int mid = (lo+hi)>>1;
-      for (j=0;j<len;j++)
-         bits[j] = ((1<<BITRES)-mid)*bits1[j] + mid*bits2[j];
-      if (vec_bits2pulses(m, cache, bits, pulses, len) > total<<BITRES)
+      psum = 0;
+      done = 0;
+      for (j=end;j-->start;)
+      {
+         int tmp = bits1[j] + (mid*bits2[j]>>ALLOC_STEPS);
+         if (tmp >= thresh[j] || done)
+         {
+            done = 1;
+            /* Don't allocate more than we can actually use */
+            psum += IMIN(tmp, 64*C<<BITRES<<LM);
+         } else {
+            if (tmp >= alloc_floor)
+               psum += alloc_floor;
+         }
+      }
+      if (psum > total)
          hi = mid;
       else
          lo = mid;
    }
+   psum = 0;
    /*printf ("interp bisection gave %d\n", lo);*/
-   for (j=0;j<len;j++)
-      bits[j] = ((1<<BITRES)-lo)*bits1[j] + lo*bits2[j];
-   out = vec_bits2pulses(m, cache, bits, pulses, len);
-   /* Do some refinement to use up all bits. In the first pass, we can only add pulses to 
-      bands that are under their allocated budget. In the second pass, anything goes */
-   for (j=0;j<len;j++)
+   done = 0;
+   for (j=end;j-->start;)
+   {
+      int tmp = bits1[j] + (lo*bits2[j]>>ALLOC_STEPS);
+      if (tmp < thresh[j] && !done)
+      {
+         if (tmp >= alloc_floor)
+            tmp = alloc_floor;
+         else
+            tmp = 0;
+      } else
+         done = 1;
+      /* Don't allocate more than we can actually use */
+      tmp = IMIN(tmp, 64*C<<BITRES<<LM);
+      bits[j] = tmp;
+      psum += tmp;
+   }
+
+   /* Decide which bands to skip, working backwards from the end. */
+   for (codedBands=end;;codedBands--)
    {
-      if (cache[j][pulses[j]] < bits[j] && pulses[j]<MAX_PULSES-1)
+      int band_width;
+      int band_bits;
+      int rem;
+      j = codedBands-1;
+      /*Figure out how many left-over bits we would be adding to this band.
+        This can include bits we've stolen back from higher, skipped bands.*/
+      left = total-psum;
+      percoeff = left/(m->eBands[codedBands]-m->eBands[start]);
+      left -= (m->eBands[codedBands]-m->eBands[start])*percoeff;
+      /* Never skip the first band, nor a band that has been boosted by
+          dynalloc.
+         In the first case, we'd be coding a bit to signal we're going to waste
+          all the other bits.
+         In the second case, we'd be coding a bit to redistribute all the bits
+          we just signaled should be cocentrated in this band. */
+      if (j<=skip_start)
+      {
+         /* Give the bit we reserved to end skipping back to this band. */
+         bits[j] += skip_rsv;
+         break;
+      }
+      rem = IMAX(left-(m->eBands[j]-m->eBands[start]),0);
+      band_width = m->eBands[codedBands]-m->eBands[j];
+      band_bits = bits[j] + percoeff*band_width + rem;
+      /*Only code a skip decision if we're above the threshold for this band.
+        Otherwise it is force-skipped.
+        This ensures that we have enough bits to code the skip flag.*/
+      if (band_bits >= IMAX(thresh[j], alloc_floor+(1<<BITRES)))
       {
-         if (out+cache[j][pulses[j]+1]-cache[j][pulses[j]] <= total<<BITRES)
+         if (encode)
          {
-            out = out+cache[j][pulses[j]+1]-cache[j][pulses[j]];
-            pulses[j] += 1;
+            /*This if() block is the only part of the allocation function that
+               is not a mandatory part of the bitstream: any bands we choose to
+               skip here must be explicitly signaled.*/
+            /*Choose a threshold with some hysteresis to keep bands from
+               fluctuating in and out.*/
+            if (band_bits > ((j<prev?7:9)*band_width<<LM<<BITRES)>>4)
+            {
+               ec_enc_bit_prob((ec_enc *)ec, 1, 32768);
+               break;
+            }
+            ec_enc_bit_prob((ec_enc *)ec, 0, 32768);
+         } else if (ec_dec_bit_prob((ec_dec *)ec, 32768)) {
+            break;
          }
+         /*We used a bit to skip this band.*/
+         psum += 1<<BITRES;
+         band_bits -= 1<<BITRES;
+      }
+      /*Reclaim the bits originally allocated to this band.*/
+      psum -= bits[j];
+      if (band_bits >= alloc_floor)
+      {
+         /*If we have enough for a fine energy bit per channel, use it.*/
+         psum += alloc_floor;
+         bits[j] = alloc_floor;
+      } else {
+         /*Otherwise this band gets nothing at all.*/
+         bits[j] = 0;
+      }
+   }
+
+   /* Allocate the remaining bits */
+   if (codedBands>start) {
+      for (j=start;j<codedBands;j++)
+         bits[j] += percoeff*(m->eBands[j+1]-m->eBands[j]);
+      for (j=start;j<codedBands;j++)
+      {
+         int tmp = IMIN(left, m->eBands[j+1]-m->eBands[j]);
+         bits[j] += tmp;
+         left -= tmp;
       }
    }
-   while(1)
+   /*for (j=0;j<end;j++)printf("%d ", bits[j]);printf("\n");*/
+
+   balance = 0;
+   for (j=start;j<codedBands;j++)
    {
-      int incremented = 0;
-      for (j=0;j<len;j++)
+      int N0, N, den;
+      int offset;
+      int NClogN;
+
+      celt_assert(bits[j] >= 0);
+      N0 = m->eBands[j+1]-m->eBands[j];
+      N=N0<<LM;
+
+      if (N>1)
       {
-         if (pulses[j]<MAX_PULSES-1)
+         NClogN = N*C*(m->logN[j] + logM);
+
+         /* Compensate for the extra DoF in stereo */
+         den=(C*N+ ((C==2 && N>2) ? 1 : 0));
+
+         /* Offset for the number of fine bits by log2(N)/2 + FINE_OFFSET
+            compared to their "fair share" of total/N */
+         offset = (NClogN>>1)-N*C*FINE_OFFSET;
+
+         /* N=2 is the only point that doesn't match the curve */
+         if (N==2)
+            offset += N*C<<BITRES>>2;
+
+         /* Changing the offset for allocating the second and third
+             fine energy bit */
+         if (bits[j] + offset < den*2<<BITRES)
+            offset += NClogN>>2;
+         else if (bits[j] + offset < den*3<<BITRES)
+            offset += NClogN>>3;
+
+         /* Divide with rounding */
+         ebits[j] = IMAX(0, (bits[j] + offset + (den<<(BITRES-1))) / (den<<BITRES));
+
+         /* If we rounded down, make it a candidate for final
+             fine energy pass */
+         fine_priority[j] = ebits[j]*(den<<BITRES) >= bits[j]+offset;
+
+         /* Make sure not to bust */
+         if (C*ebits[j] > (bits[j]>>BITRES))
+            ebits[j] = bits[j]/C >> BITRES;
+
+         /* More than 7 is useless because that's about as far as PVQ can go */
+         if (ebits[j]>7)
+            ebits[j]=7;
+
+      } else {
+         /* For N=1, all bits go to fine energy except for a single sign bit */
+         ebits[j] = IMIN(IMAX(0,(bits[j]/C >> BITRES)-1),7);
+         fine_priority[j] = (ebits[j]+1)*C<<BITRES >= (bits[j]-balance);
+         /* N=1 bands can't take advantage of the re-balancing in
+             quant_all_bands() because they don't have shape, only fine energy.
+            Instead, do the re-balancing here.*/
+         balance = IMAX(0,bits[j] - ((ebits[j]+1)*C<<BITRES));
+         if (j+1<codedBands)
          {
-            if (out+cache[j][pulses[j]+1]-cache[j][pulses[j]] <= total<<BITRES)
-            {
-               out = out+cache[j][pulses[j]+1]-cache[j][pulses[j]];
-               pulses[j] += 1;
-               incremented = 1;
-            }
+            bits[j] -= balance;
+            bits[j+1] += balance;
          }
       }
-      if (!incremented)
-            break;
+
+      /* The other bits are assigned to PVQ */
+      bits[j] -= C*ebits[j]<<BITRES;
+      celt_assert(bits[j] >= 0);
+      celt_assert(ebits[j] >= 0);
+   }
+   /* The skipped bands use all their bits for fine energy. */
+   for (;j<end;j++)
+   {
+      ebits[j] = bits[j]/C >> BITRES;
+      celt_assert(C*ebits[j]<<BITRES == bits[j]);
+      bits[j] = 0;
+      fine_priority[j] = ebits[j]<1;
    }
    RESTORE_STACK;
-   return (out+BITROUND) >> BITRES;
+   return codedBands;
 }
 
-int compute_allocation(const CELTMode *m, int *offsets, const int *stereo_mode, int total, int *pulses)
+int compute_allocation(const CELTMode *m, int start, int end, const int *offsets, int alloc_trim,
+      int total, int *pulses, int *ebits, int *fine_priority, int _C, int LM, void *ec, int encode, int prev)
 {
-   int lo, hi, len, ret, i;
+   int lo, hi, len, j;
+   const int C = CHANNELS(_C);
+   int codedBands;
+   int skip_start;
+   int skip_rsv;
    VARDECL(int, bits1);
    VARDECL(int, bits2);
-   VARDECL(const celt_int16_t*, cache);
+   VARDECL(int, thresh);
+   VARDECL(int, trim_offset);
    SAVE_STACK;
    
+   total = IMAX(total, 0);
    len = m->nbEBands;
+   skip_start = start;
+   /* Reserve a bit to signal the end of manually skipped bands. */
+   skip_rsv = total >= 1<<BITRES ? 1<<BITRES : 0;
+   total -= skip_rsv;
    ALLOC(bits1, len, int);
    ALLOC(bits2, len, int);
-   ALLOC(cache, len, const celt_int16_t*);
-   
-   if (m->nbChannels==2)
-   {
-      for (i=0;i<len;i++)
-      {
-         if (stereo_mode[i]==0)
-            cache[i] = m->bits_stereo[i];
-         else
-            cache[i] = m->bits[i];
-      }
-   } else {
-      for (i=0;i<len;i++)
-         cache[i] = m->bits[i];
-   }
-   
+   ALLOC(thresh, len, int);
+   ALLOC(trim_offset, len, int);
+
+   /* Below this threshold, we're sure not to allocate any PVQ bits */
+   for (j=start;j<end;j++)
+      thresh[j] = IMAX((C)<<BITRES, (3*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>4);
+   /* Tilt of the allocation curve */
+   for (j=start;j<end;j++)
+      trim_offset[j] = C*(m->eBands[j+1]-m->eBands[j])*(alloc_trim-5-LM)*(m->nbEBands-j-1)
+            <<(LM+BITRES)>>6;
+
    lo = 0;
    hi = m->nbAllocVectors - 1;
    while (hi-lo != 1)
    {
-      int j;
+      int psum = 0;
       int mid = (lo+hi) >> 1;
-      for (j=0;j<len;j++)
+      for (j=start;j<end;j++)
       {
-         bits1[j] = (m->allocVectors[mid*len+j] + offsets[j])<<BITRES;
+         int N = m->eBands[j+1]-m->eBands[j];
+         bits1[j] = C*N*m->allocVectors[mid*len+j]<<LM>>2;
+         if (bits1[j] > 0)
+            bits1[j] += trim_offset[j];
          if (bits1[j] < 0)
             bits1[j] = 0;
+         bits1[j] += offsets[j];
+         if (bits1[j] >= thresh[j])
+            psum += bits1[j];
+         else if (bits1[j] >= C<<BITRES)
+            psum += C<<BITRES;
+
          /*printf ("%d ", bits[j]);*/
       }
       /*printf ("\n");*/
-      if (vec_bits2pulses(m, cache, bits1, pulses, len) > total<<BITRES)
+      if (psum > total)
          hi = mid;
       else
          lo = mid;
       /*printf ("lo = %d, hi = %d\n", lo, hi);*/
    }
+   /*printf ("interp between %d and %d\n", lo, hi);*/
+   for (j=start;j<end;j++)
    {
-      int j;
-      for (j=0;j<len;j++)
-      {
-         bits1[j] = m->allocVectors[lo*len+j] + offsets[j];
-         bits2[j] = m->allocVectors[hi*len+j] + offsets[j];
-         if (bits1[j] < 0)
-            bits1[j] = 0;
-         if (bits2[j] < 0)
-            bits2[j] = 0;
-      }
-      ret = interp_bits2pulses(m, cache, bits1, bits2, total, pulses, len);
-      RESTORE_STACK;
-      return ret;
+      int N = m->eBands[j+1]-m->eBands[j];
+      bits1[j] = (C*N*m->allocVectors[lo*len+j]<<LM>>2);
+      bits2[j] = (C*N*m->allocVectors[hi*len+j]<<LM>>2) - bits1[j];
+      if (bits1[j] > 0)
+         bits1[j] += trim_offset[j];
+      if (bits1[j] < 0)
+         bits1[j] = 0;
+      bits1[j] += offsets[j];
+      if (offsets[j]>0)
+         skip_start = j;
    }
+   codedBands = interp_bits2pulses(m, start, end, skip_start, bits1, bits2, thresh,
+         total, skip_rsv, pulses, ebits, fine_priority, len, C, LM, ec, encode, prev);
+   RESTORE_STACK;
+   return codedBands;
 }