The encoder would crash in the PVQ search if fed NaNs via the float interface. This...
[opus.git] / libcelt / rate.c
index 2235013..24037c0 100644 (file)
    notice, this list of conditions and the following disclaimer in the
    documentation and/or other materials provided with the distribution.
    
    notice, this list of conditions and the following disclaimer in the
    documentation and/or other materials provided with the distribution.
    
-   - Neither the name of the Xiph.org Foundation nor the names of its
-   contributors may be used to endorse or promote products derived from
-   this software without specific prior written permission.
-   
    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
@@ -150,8 +146,6 @@ void compute_pulse_cache(CELTMode *m, int LM)
    {
       for (C=1;C<=2;C++)
       {
    {
       for (C=1;C<=2;C++)
       {
-         int shift;
-         shift = C+i+BITRES-2;
          for (j=0;j<m->nbEBands;j++)
          {
             int N0;
          for (j=0;j<m->nbEBands;j++)
          {
             int N0;
@@ -212,7 +206,7 @@ void compute_pulse_cache(CELTMode *m, int LM)
                if (C==2)
                {
                   max_bits <<= 1;
                if (C==2)
                {
                   max_bits <<= 1;
-                  offset = (m->logN[j]+(i<<BITRES)>>1)-QTHETA_OFFSET_STEREO;
+                  offset = (m->logN[j]+(i<<BITRES)>>1)-(N==2?QTHETA_OFFSET_TWOPHASE:QTHETA_OFFSET);
                   ndof = 2*N-1-(N==2);
                   /* The average measured cost for theta with the step PDF is
                       0.95164 times qb, approximated here as 487/512. */
                   ndof = 2*N-1-(N==2);
                   /* The average measured cost for theta with the step PDF is
                       0.95164 times qb, approximated here as 487/512. */
@@ -239,8 +233,10 @@ void compute_pulse_cache(CELTMode *m, int LM)
                celt_assert(qb >= 0);
                max_bits += C*qb<<BITRES;
             }
                celt_assert(qb >= 0);
                max_bits += C*qb<<BITRES;
             }
-            celt_assert(max_bits>>shift < 256);
-            *cap++ = (unsigned char)(max_bits>>shift);
+            max_bits = (4*max_bits/(C*(m->eBands[j+1]-m->eBands[j]<<i)))-64;
+            celt_assert(max_bits >= 0);
+            celt_assert(max_bits < 256);
+            *cap++ = (unsigned char)max_bits;
          }
       }
    }
          }
       }
    }
@@ -252,11 +248,11 @@ void compute_pulse_cache(CELTMode *m, int LM)
 #define ALLOC_STEPS 6
 
 static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int skip_start,
 #define ALLOC_STEPS 6
 
 static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int skip_start,
-      const int *bits1, const int *bits2, const int *thresh, const int *cap, int total, celt_int32 *_balance,
+      const int *bits1, const int *bits2, const int *thresh, const int *cap, celt_int32 total, celt_int32 *_balance,
       int skip_rsv, int *intensity, int intensity_rsv, int *dual_stereo, int dual_stereo_rsv, int *bits,
       int skip_rsv, int *intensity, int intensity_rsv, int *dual_stereo, int dual_stereo_rsv, int *bits,
-      int *ebits, int *fine_priority, int _C, int LM, void *ec, int encode, int prev)
+      int *ebits, int *fine_priority, int _C, int LM, ec_ctx *ec, int encode, int prev)
 {
 {
-   int psum;
+   celt_int32 psum;
    int lo, hi;
    int i, j;
    int logM;
    int lo, hi;
    int i, j;
    int logM;
@@ -264,7 +260,7 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
    int stereo;
    int codedBands=-1;
    int alloc_floor;
    int stereo;
    int codedBands=-1;
    int alloc_floor;
-   int left, percoeff;
+   celt_int32 left, percoeff;
    int done;
    int balance;
    SAVE_STACK;
    int done;
    int balance;
    SAVE_STACK;
@@ -282,7 +278,7 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
       done = 0;
       for (j=end;j-->start;)
       {
       done = 0;
       for (j=end;j-->start;)
       {
-         int tmp = bits1[j] + (mid*bits2[j]>>ALLOC_STEPS);
+         int tmp = bits1[j] + (mid*(celt_int32)bits2[j]>>ALLOC_STEPS);
          if (tmp >= thresh[j] || done)
          {
             done = 1;
          if (tmp >= thresh[j] || done)
          {
             done = 1;
@@ -344,7 +340,7 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
       left -= (m->eBands[codedBands]-m->eBands[start])*percoeff;
       rem = IMAX(left-(m->eBands[j]-m->eBands[start]),0);
       band_width = m->eBands[codedBands]-m->eBands[j];
       left -= (m->eBands[codedBands]-m->eBands[start])*percoeff;
       rem = IMAX(left-(m->eBands[j]-m->eBands[start]),0);
       band_width = m->eBands[codedBands]-m->eBands[j];
-      band_bits = bits[j] + percoeff*band_width + rem;
+      band_bits = (int)(bits[j] + percoeff*band_width + rem);
       /*Only code a skip decision if we're above the threshold for this band.
         Otherwise it is force-skipped.
         This ensures that we have enough bits to code the skip flag.*/
       /*Only code a skip decision if we're above the threshold for this band.
         Otherwise it is force-skipped.
         This ensures that we have enough bits to code the skip flag.*/
@@ -359,11 +355,11 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
                fluctuating in and out.*/
             if (band_bits > ((j<prev?7:9)*band_width<<LM<<BITRES)>>4)
             {
                fluctuating in and out.*/
             if (band_bits > ((j<prev?7:9)*band_width<<LM<<BITRES)>>4)
             {
-               ec_enc_bit_logp((ec_enc *)ec, 1, 1);
+               ec_enc_bit_logp(ec, 1, 1);
                break;
             }
                break;
             }
-            ec_enc_bit_logp((ec_enc *)ec, 0, 1);
-         } else if (ec_dec_bit_logp((ec_dec *)ec, 1)) {
+            ec_enc_bit_logp(ec, 0, 1);
+         } else if (ec_dec_bit_logp(ec, 1)) {
             break;
          }
          /*We used a bit to skip this band.*/
             break;
          }
          /*We used a bit to skip this band.*/
@@ -393,10 +389,10 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
       if (encode)
       {
          *intensity = IMIN(*intensity, codedBands);
       if (encode)
       {
          *intensity = IMIN(*intensity, codedBands);
-         ec_enc_uint((ec_enc *)ec, *intensity-start, codedBands+1-start);
+         ec_enc_uint(ec, *intensity-start, codedBands+1-start);
       }
       else
       }
       else
-         *intensity = start+ec_dec_uint((ec_dec *)ec, codedBands+1-start);
+         *intensity = start+ec_dec_uint(ec, codedBands+1-start);
    }
    else
       *intensity = 0;
    }
    else
       *intensity = 0;
@@ -408,9 +404,9 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
    if (dual_stereo_rsv > 0)
    {
       if (encode)
    if (dual_stereo_rsv > 0)
    {
       if (encode)
-         ec_enc_bit_logp((ec_enc *)ec, *dual_stereo, 1);
+         ec_enc_bit_logp(ec, *dual_stereo, 1);
       else
       else
-         *dual_stereo = ec_dec_bit_logp((ec_dec *)ec, 1);
+         *dual_stereo = ec_dec_bit_logp(ec, 1);
    }
    else
       *dual_stereo = 0;
    }
    else
       *dual_stereo = 0;
@@ -420,10 +416,10 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
    percoeff = left/(m->eBands[codedBands]-m->eBands[start]);
    left -= (m->eBands[codedBands]-m->eBands[start])*percoeff;
    for (j=start;j<codedBands;j++)
    percoeff = left/(m->eBands[codedBands]-m->eBands[start]);
    left -= (m->eBands[codedBands]-m->eBands[start])*percoeff;
    for (j=start;j<codedBands;j++)
-      bits[j] += percoeff*(m->eBands[j+1]-m->eBands[j]);
+      bits[j] += ((int)percoeff*(m->eBands[j+1]-m->eBands[j]));
    for (j=start;j<codedBands;j++)
    {
    for (j=start;j<codedBands;j++)
    {
-      int tmp = IMIN(left, m->eBands[j+1]-m->eBands[j]);
+      int tmp = (int)IMIN(left, m->eBands[j+1]-m->eBands[j]);
       bits[j] += tmp;
       left -= tmp;
    }
       bits[j] += tmp;
       left -= tmp;
    }
@@ -448,7 +444,7 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
          bits[j] -= excess;
 
          /* Compensate for the extra DoF in stereo */
          bits[j] -= excess;
 
          /* Compensate for the extra DoF in stereo */
-         den=(C*N+ ((C==2 && N>2) ? 1 : 0));
+         den=(C*N+ ((C==2 && N>2 && !*dual_stereo && j<*intensity) ? 1 : 0));
 
          NClogN = den*(m->logN[j] + logM);
 
 
          NClogN = den*(m->logN[j] + logM);
 
@@ -527,7 +523,7 @@ static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int
 }
 
 int compute_allocation(const CELTMode *m, int start, int end, const int *offsets, const int *cap, int alloc_trim, int *intensity, int *dual_stereo,
 }
 
 int compute_allocation(const CELTMode *m, int start, int end, const int *offsets, const int *cap, int alloc_trim, int *intensity, int *dual_stereo,
-      int total, celt_int32 *balance, int *pulses, int *ebits, int *fine_priority, int _C, int LM, void *ec, int encode, int prev)
+      celt_int32 total, celt_int32 *balance, int *pulses, int *ebits, int *fine_priority, int _C, int LM, ec_ctx *ec, int encode, int prev)
 {
    int lo, hi, len, j;
    const int C = CHANNELS(_C);
 {
    int lo, hi, len, j;
    const int C = CHANNELS(_C);
@@ -572,7 +568,7 @@ int compute_allocation(const CELTMode *m, int start, int end, const int *offsets
       /* Below this threshold, we're sure not to allocate any PVQ bits */
       thresh[j] = IMAX((C)<<BITRES, (3*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>4);
       /* Tilt of the allocation curve */
       /* Below this threshold, we're sure not to allocate any PVQ bits */
       thresh[j] = IMAX((C)<<BITRES, (3*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>4);
       /* Tilt of the allocation curve */
-      trim_offset[j] = C*(m->eBands[j+1]-m->eBands[j])*(alloc_trim-5-LM)*(m->nbEBands-j-1)
+      trim_offset[j] = C*(m->eBands[j+1]-m->eBands[j])*(alloc_trim-5-LM)*(end-j-1)
             <<(LM+BITRES)>>6;
       /* Giving less resolution to single-coefficient bands because they get
          more benefit from having one coarse value per coefficient*/
             <<(LM+BITRES)>>6;
       /* Giving less resolution to single-coefficient bands because they get
          more benefit from having one coarse value per coefficient*/
@@ -580,7 +576,7 @@ int compute_allocation(const CELTMode *m, int start, int end, const int *offsets
          trim_offset[j] -= C<<BITRES;
    }
    lo = 1;
          trim_offset[j] -= C<<BITRES;
    }
    lo = 1;
-   hi = m->nbAllocVectors - 2;
+   hi = m->nbAllocVectors - 1;
    do
    {
       int done = 0;
    do
    {
       int done = 0;
@@ -588,18 +584,19 @@ int compute_allocation(const CELTMode *m, int start, int end, const int *offsets
       int mid = (lo+hi) >> 1;
       for (j=end;j-->start;)
       {
       int mid = (lo+hi) >> 1;
       for (j=end;j-->start;)
       {
+         int bitsj;
          int N = m->eBands[j+1]-m->eBands[j];
          int N = m->eBands[j+1]-m->eBands[j];
-         bits1[j] = C*N*m->allocVectors[mid*len+j]<<LM>>2;
-         if (bits1[j] > 0)
-            bits1[j] = IMAX(0, bits1[j] + trim_offset[j]);
-         bits1[j] += offsets[j];
-         if (bits1[j] >= thresh[j] || done)
+         bitsj = C*N*m->allocVectors[mid*len+j]<<LM>>2;
+         if (bitsj > 0)
+            bitsj = IMAX(0, bitsj + trim_offset[j]);
+         bitsj += offsets[j];
+         if (bitsj >= thresh[j] || done)
          {
             done = 1;
             /* Don't allocate more than we can actually use */
          {
             done = 1;
             /* Don't allocate more than we can actually use */
-            psum += IMIN(bits1[j], cap[j]);
+            psum += IMIN(bitsj, cap[j]);
          } else {
          } else {
-            if (bits1[j] >= C<<BITRES)
+            if (bitsj >= C<<BITRES)
                psum += C<<BITRES;
          }
       }
                psum += C<<BITRES;
          }
       }
@@ -614,19 +611,23 @@ int compute_allocation(const CELTMode *m, int start, int end, const int *offsets
    /*printf ("interp between %d and %d\n", lo, hi);*/
    for (j=start;j<end;j++)
    {
    /*printf ("interp between %d and %d\n", lo, hi);*/
    for (j=start;j<end;j++)
    {
+      int bits1j, bits2j;
       int N = m->eBands[j+1]-m->eBands[j];
       int N = m->eBands[j+1]-m->eBands[j];
-      bits1[j] = C*N*m->allocVectors[lo*len+j]<<LM>>2;
-      bits2[j] = C*N*m->allocVectors[hi*len+j]<<LM>>2;
-      if (bits1[j] > 0)
-         bits1[j] = IMAX(0, bits1[j] + trim_offset[j]);
-      if (bits2[j] > 0)
-         bits2[j] = IMAX(0, bits2[j] + trim_offset[j]);
+      bits1j = C*N*m->allocVectors[lo*len+j]<<LM>>2;
+      bits2j = hi>=m->nbAllocVectors ?
+            cap[j] : C*N*m->allocVectors[hi*len+j]<<LM>>2;
+      if (bits1j > 0)
+         bits1j = IMAX(0, bits1j + trim_offset[j]);
+      if (bits2j > 0)
+         bits2j = IMAX(0, bits2j + trim_offset[j]);
       if (lo > 0)
       if (lo > 0)
-         bits1[j] += offsets[j];
-      bits2[j] += offsets[j];
+         bits1j += offsets[j];
+      bits2j += offsets[j];
       if (offsets[j]>0)
          skip_start = j;
       if (offsets[j]>0)
          skip_start = j;
-      bits2[j] -= bits1[j];
+      bits2j = IMAX(0,bits2j-bits1j);
+      bits1[j] = bits1j;
+      bits2[j] = bits2j;
    }
    codedBands = interp_bits2pulses(m, start, end, skip_start, bits1, bits2, thresh, cap,
          total, balance, skip_rsv, intensity, intensity_rsv, dual_stereo, dual_stereo_rsv,
    }
    codedBands = interp_bits2pulses(m, start, end, skip_start, bits1, bits2, thresh, cap,
          total, balance, skip_rsv, intensity, intensity_rsv, dual_stereo, dual_stereo_rsv,