Take into accound the 32-bit limit in the VQ
[opus.git] / libcelt / rate.c
1 /* Copyright (c) 2007-2008 CSIRO
2    Copyright (c) 2007-2009 Xiph.Org Foundation
3    Written by Jean-Marc Valin */
4 /*
5    Redistribution and use in source and binary forms, with or without
6    modification, are permitted provided that the following conditions
7    are met:
8    
9    - Redistributions of source code must retain the above copyright
10    notice, this list of conditions and the following disclaimer.
11    
12    - Redistributions in binary form must reproduce the above copyright
13    notice, this list of conditions and the following disclaimer in the
14    documentation and/or other materials provided with the distribution.
15    
16    - Neither the name of the Xiph.org Foundation nor the names of its
17    contributors may be used to endorse or promote products derived from
18    this software without specific prior written permission.
19    
20    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
23    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
24    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
25    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
26    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
27    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
28    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
29    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
30    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31 */
32
33 #ifdef HAVE_CONFIG_H
34 #include "config.h"
35 #endif
36
37 #include <math.h>
38 #include "modes.h"
39 #include "cwrs.h"
40 #include "arch.h"
41 #include "os_support.h"
42
43 #include "entcode.h"
44 #include "rate.h"
45
46
47 #ifndef STATIC_MODES
48
49 /*Determines if V(N,K) fits in a 32-bit unsigned integer.
50   N and K are themselves limited to 15 bits.*/
51 static int fits_in32(int _n, int _k)
52 {
53    static const celt_int16 maxN[15] = {
54       32767, 32767, 32767, 1476, 283, 109,  60,  40,
55        29,  24,  20,  18,  16,  14,  13};
56    static const celt_int16 maxK[15] = {
57       32767, 32767, 32767, 32767, 1172, 238,  95,  53,
58        36,  27,  22,  18,  16,  15,  13};
59    if (_n>=14)
60    {
61       if (_k>=14)
62          return 0;
63       else
64          return _n <= maxN[_k];
65    } else {
66       return _k <= maxK[_n];
67    }
68 }
69
70 void compute_pulse_cache(CELTMode *m, int LM)
71 {
72    int i;
73    int curr=0;
74    int nbEntries=0;
75    int entryN[100], entryK[100], entryI[100];
76    const celt_int16 *eBands = m->eBands;
77    PulseCache *cache = &m->cache;
78    celt_int16 *cindex;
79    unsigned char *bits;
80
81    cindex = celt_alloc(sizeof(cache->index[0])*m->nbEBands*(LM+2));
82    cache->index = cindex;
83
84    /* Scan for all unique band sizes */
85    for (i=0;i<=LM+1;i++)
86    {
87       int j;
88       for (j=0;j<m->nbEBands;j++)
89       {
90          int k;
91          int N = (eBands[j+1]-eBands[j])<<i>>1;
92          cindex[i*m->nbEBands+j] = -1;
93          /* Find other bands that have the same size */
94          for (k=0;k<=i;k++)
95          {
96             int n;
97             for (n=0;n<m->nbEBands && (k!=i || n<j);n++)
98             {
99                if (N == (eBands[n+1]-eBands[n])<<k>>1)
100                {
101                   cindex[i*m->nbEBands+j] = cindex[k*m->nbEBands+n];
102                   break;
103                }
104             }
105          }
106          if (cache->index[i*m->nbEBands+j] == -1 && N!=0)
107          {
108             int K;
109             entryN[nbEntries] = N;
110             K = 0;
111             while (fits_in32(N,get_pulses(K+1)) && K<MAX_PSEUDO)
112                K++;
113             entryK[nbEntries] = K;
114             cindex[i*m->nbEBands+j] = curr;
115             entryI[nbEntries] = curr;
116
117             curr += K+1;
118             nbEntries++;
119          }
120       }
121    }
122    bits = celt_alloc(sizeof(unsigned char)*curr);
123    cache->bits = bits;
124    cache->size = curr;
125    /* Compute the cache for all unique sizes */
126    for (i=0;i<nbEntries;i++)
127    {
128       int j;
129       unsigned char *ptr = bits+entryI[i];
130       celt_int16 tmp[MAX_PULSES+1];
131       get_required_bits(tmp, entryN[i], get_pulses(entryK[i]), BITRES);
132       for (j=1;j<=entryK[i];j++)
133          ptr[j] = tmp[get_pulses(j)]-1;
134       ptr[0] = entryK[i];
135    }
136 }
137
138 #endif /* !STATIC_MODES */
139
140
141 #define ALLOC_STEPS 6
142
143 static inline int interp_bits2pulses(const CELTMode *m, int start, int end, int *bits1, int *bits2, int total, int *bits, int *ebits, int *fine_priority, int len, int _C, int LM)
144 {
145    int psum;
146    int lo, hi;
147    int i, j;
148    int logM;
149    const int C = CHANNELS(_C);
150    int codedBands=-1;
151    VARDECL(int, thresh);
152    SAVE_STACK;
153
154    ALLOC(thresh, len, int);
155
156    /* Below this threshold, we don't allocate any PVQ bits */
157    for (j=start;j<end;j++)
158       thresh[j] = 2*(C*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>3;
159    logM = LM<<BITRES;
160    lo = 0;
161    hi = 1<<ALLOC_STEPS;
162    for (i=0;i<ALLOC_STEPS;i++)
163    {
164       int mid = (lo+hi)>>1;
165       psum = 0;
166       for (j=start;j<end;j++)
167       {
168          int tmp = bits1[j] + (mid*bits2[j]>>ALLOC_STEPS);
169          /* Don't allocate more than we can actually use */
170          if (tmp > 64*C<<BITRES<<LM)
171             tmp = 64*C<<BITRES<<LM;
172          if (tmp >= thresh[j])
173             psum += tmp;
174          else if (tmp >= 1<<BITRES)
175             psum += 1<<BITRES;
176       }
177       if (psum > (total<<BITRES))
178          hi = mid;
179       else
180          lo = mid;
181    }
182    psum = 0;
183    /*printf ("interp bisection gave %d\n", lo);*/
184    for (j=start;j<end;j++)
185    {
186       int tmp = bits1[j] + (lo*bits2[j]>>ALLOC_STEPS);
187       if (tmp >= thresh[j])
188       {
189          bits[j] = tmp;
190          codedBands = j;
191       } else if (tmp >= 1<<BITRES)
192          bits[j] = 1<<BITRES;
193       else
194          bits[j] = 0;
195       /* Don't allocate more than we can actually use */
196       if (bits[j] > 64*C<<BITRES<<LM)
197          bits[j] = 64*C<<BITRES<<LM;
198       psum += bits[j];
199    }
200    codedBands++;
201    /* Allocate the remaining bits */
202    if (codedBands) {
203       int left, perband;
204       left = (total<<BITRES)-psum;
205       perband = left/(m->eBands[codedBands]-m->eBands[start]);
206       for (j=start;j<codedBands;j++)
207          bits[j] += perband*(m->eBands[j+1]-m->eBands[j]);
208       left = left-(m->eBands[codedBands]-m->eBands[start])*perband;
209       for (j=start;j<codedBands;j++)
210       {
211          int tmp = IMIN(left, m->eBands[j+1]-m->eBands[j]);
212          bits[j] += tmp;
213          left -= tmp;
214       }
215    }
216    /*for (j=0;j<end;j++)printf("%d ", bits[j]);printf("\n");*/
217    for (j=start;j<end;j++)
218    {
219       int N0, N, den;
220       int offset;
221       int NClogN;
222
223       N0 = m->eBands[j+1]-m->eBands[j];
224       N=N0<<LM;
225       NClogN = N*C*(m->logN[j] + logM);
226
227       /* Compensate for the extra DoF in stereo */
228       den=(C*N+ ((C==2 && N>2) ? 1 : 0));
229
230       /* Offset for the number of fine bits by log2(N)/2 + FINE_OFFSET
231          compared to their "fair share" of total/N */
232       offset = (NClogN>>1)-N*C*FINE_OFFSET;
233
234       /* N=2 is the only point that doesn't match the curve */
235       if (N==2)
236          offset += N*C<<BITRES>>2;
237
238       /* Changing the offset for allocating the second and third fine energy bit */
239       if (bits[j] + offset < den*2<<BITRES)
240          offset += NClogN>>2;
241       else if (bits[j] + offset < den*3<<BITRES)
242          offset += NClogN>>3;
243
244       /* Divide with rounding */
245       ebits[j] = (bits[j] + offset + (den<<(BITRES-1))) / (den<<BITRES);
246
247       /* If we rounded down, make it a candidate for final fine energy pass */
248       fine_priority[j] = ebits[j]*(den<<BITRES) >= bits[j]+offset;
249
250       /* Make sure the first bit is spent on fine energy */
251       if (ebits[j] < 1)
252          ebits[j] = 1;
253       /* For N=1, all bits go to fine energy except for a single sign bit
254          This takes precedence over giving the first bit to fine energy */
255       if (N==1)
256          ebits[j] = (bits[j]/C >> BITRES)-1;
257
258       /* Make sure not to bust */
259       if (C*ebits[j] > (bits[j]>>BITRES))
260          ebits[j] = bits[j]/C >> BITRES;
261
262       /* More than that is useless because that's about as far as PVQ can go */
263       if (ebits[j]>7)
264          ebits[j]=7;
265
266       /* The other bits are assigned to PVQ */
267       bits[j] -= C*ebits[j]<<BITRES;
268       if (bits[j] < 0)
269          bits[j] = 0;
270    }
271    RESTORE_STACK;
272    return codedBands;
273 }
274
275 int compute_allocation(const CELTMode *m, int start, int end, int *offsets, int alloc_trim,
276       int total, int *pulses, int *ebits, int *fine_priority, int _C, int LM)
277 {
278    int lo, hi, len, j;
279    const int C = CHANNELS(_C);
280    int codedBands;
281    VARDECL(int, bits1);
282    VARDECL(int, bits2);
283    VARDECL(int, thresh);
284    VARDECL(int, trim_offset);
285    SAVE_STACK;
286    
287    len = m->nbEBands;
288    ALLOC(bits1, len, int);
289    ALLOC(bits2, len, int);
290    ALLOC(thresh, len, int);
291    ALLOC(trim_offset, len, int);
292
293    /* Below this threshold, we don't allocate any PVQ bits */
294    for (j=start;j<end;j++)
295       thresh[j] = 2*(C*(m->eBands[j+1]-m->eBands[j])<<LM<<BITRES)>>3;
296    /* Tilt of the allocation curve */
297    for (j=start;j<end;j++)
298       trim_offset[j] = C*(m->eBands[j+1]-m->eBands[j])*(alloc_trim-5-LM)*(m->nbEBands-j-1)
299             <<(LM+BITRES)>>6;
300
301    lo = 0;
302    hi = m->nbAllocVectors - 1;
303    while (hi-lo != 1)
304    {
305       int psum = 0;
306       int mid = (lo+hi) >> 1;
307       for (j=start;j<end;j++)
308       {
309          int N = m->eBands[j+1]-m->eBands[j];
310          bits1[j] = C*N*m->allocVectors[mid*len+j]<<LM>>2;
311          if (bits1[j] > 0)
312             bits1[j] += trim_offset[j];
313          if (bits1[j] < 0)
314             bits1[j] = 0;
315          bits1[j] += offsets[j];
316          if (bits1[j] >= thresh[j])
317             psum += bits1[j];
318          else if (bits1[j] >= 1<<BITRES)
319             psum += 1<<BITRES;
320
321          /*printf ("%d ", bits[j]);*/
322       }
323       /*printf ("\n");*/
324       if (psum > (total<<BITRES))
325          hi = mid;
326       else
327          lo = mid;
328       /*printf ("lo = %d, hi = %d\n", lo, hi);*/
329    }
330    /*printf ("interp between %d and %d\n", lo, hi);*/
331    for (j=start;j<end;j++)
332    {
333       int N = m->eBands[j+1]-m->eBands[j];
334       bits1[j] = (C*N*m->allocVectors[lo*len+j]<<LM>>2);
335       bits2[j] = (C*N*m->allocVectors[hi*len+j]<<LM>>2) - bits1[j];
336       if (bits1[j] > 0)
337          bits1[j] += trim_offset[j];
338       if (bits1[j] < 0)
339          bits1[j] = 0;
340       bits1[j] += offsets[j];
341    }
342    codedBands = interp_bits2pulses(m, start, end, bits1, bits2, total, pulses, ebits, fine_priority, len, C, LM);
343    RESTORE_STACK;
344    return codedBands;
345 }
346