Merged the rate allocation atruct directly into the mode struct.
[opus.git] / libcelt / bands.c
1 /* (C) 2007 Jean-Marc Valin, CSIRO
2 */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7    
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10    
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14    
15    - Neither the name of the Xiph.org Foundation nor the names of its
16    contributors may be used to endorse or promote products derived from
17    this software without specific prior written permission.
18    
19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30 */
31
32 #include <math.h>
33 #include "bands.h"
34 #include "modes.h"
35 #include "vq.h"
36 #include "cwrs.h"
37
38 /* Applies a series of rotations so that pulses are spread like a two-sided
39 exponential. The effect of this is to reduce the tonal noise created by the
40 sparse spectrum resulting from the pulse codebook */
41 static void exp_rotation(float *X, int len, float theta, int dir, int stride, int iter)
42 {
43    int i, k;
44    float c, s;
45    c = cos(theta);
46    s = dir*sin(theta);
47    for (k=0;k<iter;k++)
48    {
49       for (i=0;i<len-stride;i++)
50       {
51          float x1, x2;
52          x1 = X[i];
53          x2 = X[i+stride];
54          X[i] = c*x1 - s*x2;
55          X[i+stride] = c*x2 + s*x1;
56       }
57       for (i=len-2*stride-1;i>=0;i--)
58       {
59          float x1, x2;
60          x1 = X[i];
61          x2 = X[i+stride];
62          X[i] = c*x1 - s*x2;
63          X[i+stride] = c*x2 + s*x1;
64       }
65    }
66 }
67
68 /* Compute the amplitude (sqrt energy) in each of the bands */
69 void compute_band_energies(const CELTMode *m, float *X, float *bank)
70 {
71    int i, c, B, C;
72    const int *eBands = m->eBands;
73    B = m->nbMdctBlocks;
74    C = m->nbChannels;
75    for (c=0;c<C;c++)
76    {
77       for (i=0;i<m->nbEBands;i++)
78       {
79          int j;
80          float sum = 1e-10;
81          for (j=B*eBands[i];j<B*eBands[i+1];j++)
82             sum += X[j*C+c]*X[j*C+c];
83          bank[i*C+c] = sqrt(C*sum);
84          //printf ("%f ", bank[i*C+c]);
85       }
86    }
87    //printf ("\n");
88 }
89
90 /* Normalise each band such that the energy is one. */
91 void normalise_bands(const CELTMode *m, float *X, float *bank)
92 {
93    int i, c, B, C;
94    const int *eBands = m->eBands;
95    B = m->nbMdctBlocks;
96    C = m->nbChannels;
97    for (c=0;c<C;c++)
98    {
99       for (i=0;i<m->nbEBands;i++)
100       {
101          int j;
102          float g = 1.f/(1e-10+bank[i*C+c]);
103          for (j=B*eBands[i];j<B*eBands[i+1];j++)
104             X[j*C+c] *= g;
105       }
106    }
107    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
108       X[i] = 0;
109 }
110
111 void renormalise_bands(const CELTMode *m, float *X)
112 {
113    float tmpE[m->nbEBands*m->nbChannels];
114    compute_band_energies(m, X, tmpE);
115    normalise_bands(m, X, tmpE);
116 }
117
118 /* De-normalise the energy to produce the synthesis from the unit-energy bands */
119 void denormalise_bands(const CELTMode *m, float *X, float *bank)
120 {
121    int i, c, B, C;
122    const int *eBands = m->eBands;
123    B = m->nbMdctBlocks;
124    C = m->nbChannels;
125    for (c=0;c<C;c++)
126    {
127       for (i=0;i<m->nbEBands;i++)
128       {
129          int j;
130          float g = bank[i*C+c];
131          for (j=B*eBands[i];j<B*eBands[i+1];j++)
132             X[j*C+c] *= g;
133       }
134    }
135    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
136       X[i] = 0;
137 }
138
139
140 /* Compute the best gain for each "pitch band" */
141 void compute_pitch_gain(const CELTMode *m, float *X, float *P, float *gains, float *bank)
142 {
143    int i, B;
144    const int *eBands = m->eBands;
145    const int *pBands = m->pBands;
146    B = m->nbMdctBlocks*m->nbChannels;
147    float w[B*eBands[m->nbEBands]];
148    for (i=0;i<m->nbEBands;i++)
149    {
150       int j;
151       for (j=B*eBands[i];j<B*eBands[i+1];j++)
152          w[j] = bank[i];
153    }
154
155    
156    for (i=0;i<m->nbPBands;i++)
157    {
158       float Sxy=0;
159       float Sxx = 0;
160       int j;
161       float gain;
162       for (j=B*pBands[i];j<B*pBands[i+1];j++)
163       {
164          Sxy += X[j]*P[j]*w[j];
165          Sxx += X[j]*X[j]*w[j];
166       }
167       gain = Sxy/(1e-10+Sxx);
168       //gain = Sxy/(2*(pbank[i+1]-pbank[i]));
169       //if (i<3)
170       //gain *= 1+.02*gain;
171       if (gain > 1.f)
172          gain = 1.f;
173       if (gain < 0.0f)
174          gain = 0.0f;
175       /* We need to be a bit conservative, otherwise residual doesn't quantise well */
176       gain *= .9f;
177       gains[i] = gain;
178       //printf ("%f ", 1-sqrt(1-gain*gain));
179    }
180    /*if(rand()%10==0)
181    {
182       for (i=0;i<m->nbPBands;i++)
183          printf ("%f ", 1-sqrt(1-gains[i]*gains[i]));
184       printf ("\n");
185    }*/
186    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
187       P[i] = 0;
188 }
189
190 /* Apply the (quantised) gain to each "pitch band" */
191 void pitch_quant_bands(const CELTMode *m, float *X, float *P, float *gains)
192 {
193    int i, B;
194    const int *pBands = m->pBands;
195    B = m->nbMdctBlocks*m->nbChannels;
196    for (i=0;i<m->nbPBands;i++)
197    {
198       int j;
199       for (j=B*pBands[i];j<B*pBands[i+1];j++)
200          P[j] *= gains[i];
201       //printf ("%f ", gain);
202    }
203    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
204       P[i] = 0;
205 }
206
207
208 /* Quantisation of the residual */
209 void quant_bands(const CELTMode *m, float *X, float *P, float *W, int total_bits, ec_enc *enc)
210 {
211    int i, j, B, bits;
212    const int *eBands = m->eBands;
213    B = m->nbMdctBlocks*m->nbChannels;
214    float norm[B*eBands[m->nbEBands+1]];
215    int pulses[m->nbEBands];
216    int offsets[m->nbEBands];
217    float alpha = .7;
218
219    for (i=0;i<m->nbEBands;i++)
220       offsets[i] = 0;
221    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
222    bits = total_bits - ec_enc_tell(enc, 0) - 1;
223    compute_allocation(m, offsets, bits, pulses);
224    
225    /*printf("bits left: %d\n", bits);
226    for (i=0;i<m->nbEBands;i++)
227       printf ("%d ", pulses[i]);
228    printf ("\n");*/
229    /*printf ("%d %d\n", ec_enc_tell(enc, 0), compute_allocation(m, m->nbPulses));*/
230    for (i=0;i<m->nbEBands;i++)
231    {
232       int q;
233       float theta, n;
234       q = pulses[i];
235       //q = m->nbPulses[i];
236       n = sqrt(B*(eBands[i+1]-eBands[i]));
237       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+abs(q));
238
239       /* If pitch isn't available, use intra-frame prediction */
240       if (eBands[i] >= m->pitchEnd || q<=0)
241       {
242          q -= 1;
243          alpha = 0;
244          if (q<0)
245             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
246          else
247             intra_prediction(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], enc);
248       } else {
249          alpha = .7;
250       }
251       
252       if (q > 0)
253       {
254          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
255          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
256          alg_quant(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, enc);
257          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
258       }
259       for (j=B*eBands[i];j<B*eBands[i+1];j++)
260          norm[j] = X[j] * n;
261       //printf ("%f ", log2(ncwrs64(B*(eBands[i+1]-eBands[i]), q))/(B*(eBands[i+1]-eBands[i])));
262       //printf ("%f ", log2(ncwrs64(B*(eBands[i+1]-eBands[i]), q)));
263    }
264    //printf ("\n");
265    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
266       X[i] = 0;
267 }
268
269 /* Decoding of the residual */
270 void unquant_bands(const CELTMode *m, float *X, float *P, int total_bits, ec_dec *dec)
271 {
272    int i, j, B, bits;
273    const int *eBands = m->eBands;
274    B = m->nbMdctBlocks*m->nbChannels;
275    float norm[B*eBands[m->nbEBands+1]];
276    int pulses[m->nbEBands];
277    int offsets[m->nbEBands];
278    float alpha = .7;
279
280    for (i=0;i<m->nbEBands;i++)
281       offsets[i] = 0;
282    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
283    bits = total_bits - ec_dec_tell(dec, 0) - 1;
284    compute_allocation(m, offsets, bits, pulses);
285
286    for (i=0;i<m->nbEBands;i++)
287    {
288       int q;
289       float theta, n;
290       q = pulses[i];
291       //q = m->nbPulses[i];
292       n = sqrt(B*(eBands[i+1]-eBands[i]));
293       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+abs(q));
294
295       /* If pitch isn't available, use intra-frame prediction */
296       if (eBands[i] >= m->pitchEnd || q<=0)
297       {
298          q -= 1;
299          alpha = 0;
300          if (q<0)
301             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
302          else
303             intra_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], dec);
304       } else {
305          alpha = .7;
306       }
307       
308       if (q > 0)
309       {
310          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
311          alg_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, dec);
312          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
313       }
314       for (j=B*eBands[i];j<B*eBands[i+1];j++)
315          norm[j] = X[j] * n;
316    }
317    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
318       X[i] = 0;
319 }
320
321 void stereo_mix(const CELTMode *m, float *X, float *bank, int dir)
322 {
323    int i, B, C;
324    const int *eBands = m->eBands;
325    B = m->nbMdctBlocks;
326    C = m->nbChannels;
327    for (i=0;i<m->nbEBands;i++)
328    {
329       int j;
330       float left, right;
331       float a1, a2;
332       left = bank[i*C];
333       right = bank[i*C+1];
334       a1 = left/sqrt(.01+left*left+right*right);
335       a2 = dir*right/sqrt(.01+left*left+right*right);
336       for (j=B*eBands[i];j<B*eBands[i+1];j++)
337       {
338          float r, l;
339          l = X[j*C];
340          r = X[j*C+1];         
341          X[j*C] = a1*l + a2*r;
342          X[j*C+1] = a1*r - a2*l;
343       }
344    }
345    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
346       X[i] = 0;
347
348 }