libcelt/bands.c

   1 /* (C) 2007 Jean-Marc Valin, CSIRO
   2 */
   3 /*
   4    Redistribution and use in source and binary forms, with or without
   5    modification, are permitted provided that the following conditions
   6    are met:
   7
   8    - Redistributions of source code must retain the above copyright
   9    notice, this list of conditions and the following disclaimer.
  10
  11    - Redistributions in binary form must reproduce the above copyright
  12    notice, this list of conditions and the following disclaimer in the
  13    documentation and/or other materials provided with the distribution.
  14
  15    - Neither the name of the Xiph.org Foundation nor the names of its
  16    contributors may be used to endorse or promote products derived from
  17    this software without specific prior written permission.
  18
  19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
  23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30 */
  31
  32 #include <math.h>
  33 #include "bands.h"
  34 #include "modes.h"
  35 #include "vq.h"
  36 #include "cwrs.h"
  37
  38 /* Applies a series of rotations so that pulses are spread like a two-sided
  39 exponential. The effect of this is to reduce the tonal noise created by the
  40 sparse spectrum resulting from the pulse codebook */
  41 static void exp_rotation(float *X, int len, float theta, int dir, int stride, int iter)
  42 {
  43    int i, k;
  44    float c, s;
  45    c = cos(theta);
  46    s = dir*sin(theta);
  47    for (k=0;k<iter;k++)
  48    {
  49       for (i=0;i<len-stride;i++)
  50       {
  51          float x1, x2;
  52          x1 = X[i];
  53          x2 = X[i+stride];
  54          X[i] = c*x1 - s*x2;
  55          X[i+stride] = c*x2 + s*x1;
  56       }
  57       for (i=len-2*stride-1;i>=0;i--)
  58       {
  59          float x1, x2;
  60          x1 = X[i];
  61          x2 = X[i+stride];
  62          X[i] = c*x1 - s*x2;
  63          X[i+stride] = c*x2 + s*x1;
  64       }
  65    }
  66 }
  67
  68 /* Compute the amplitude (sqrt energy) in each of the bands */
  69 void compute_band_energies(const CELTMode *m, float *X, float *bank)
  70 {
  71    int i, c, B, C;
  72    const int *eBands = m->eBands;
  73    B = m->nbMdctBlocks;
  74    C = m->nbChannels;
  75    for (c=0;c<C;c++)
  76    {
  77       for (i=0;i<m->nbEBands;i++)
  78       {
  79          int j;
  80          float sum = 1e-10;
  81          for (j=B*eBands[i];j<B*eBands[i+1];j++)
  82             sum += X[j*C+c]*X[j*C+c];
  83          bank[i*C+c] = sqrt(C*sum);
  84          //printf ("%f ", bank[i*C+c]);
  85       }
  86    }
  87    //printf ("\n");
  88 }
  89
  90 /* Normalise each band such that the energy is one. */
  91 void normalise_bands(const CELTMode *m, float *X, float *bank)
  92 {
  93    int i, c, B, C;
  94    const int *eBands = m->eBands;
  95    B = m->nbMdctBlocks;
  96    C = m->nbChannels;
  97    for (c=0;c<C;c++)
  98    {
  99       for (i=0;i<m->nbEBands;i++)
 100       {
 101          int j;
 102          float g = 1.f/(1e-10+bank[i*C+c]);
 103          for (j=B*eBands[i];j<B*eBands[i+1];j++)
 104             X[j*C+c] *= g;
 105       }
 106    }
 107    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 108       X[i] = 0;
 109 }
 110
 111 void renormalise_bands(const CELTMode *m, float *X)
 112 {
 113    float tmpE[m->nbEBands*m->nbChannels];
 114    compute_band_energies(m, X, tmpE);
 115    normalise_bands(m, X, tmpE);
 116 }
 117
 118 /* De-normalise the energy to produce the synthesis from the unit-energy bands */
 119 void denormalise_bands(const CELTMode *m, float *X, float *bank)
 120 {
 121    int i, c, B, C;
 122    const int *eBands = m->eBands;
 123    B = m->nbMdctBlocks;
 124    C = m->nbChannels;
 125    for (c=0;c<C;c++)
 126    {
 127       for (i=0;i<m->nbEBands;i++)
 128       {
 129          int j;
 130          float g = bank[i*C+c];
 131          for (j=B*eBands[i];j<B*eBands[i+1];j++)
 132             X[j*C+c] *= g;
 133       }
 134    }
 135    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 136       X[i] = 0;
 137 }
 138
 139
 140 /* Compute the best gain for each "pitch band" */
 141 void compute_pitch_gain(const CELTMode *m, float *X, float *P, float *gains, float *bank)
 142 {
 143    int i, B;
 144    const int *eBands = m->eBands;
 145    const int *pBands = m->pBands;
 146    B = m->nbMdctBlocks*m->nbChannels;
 147    float w[B*eBands[m->nbEBands]];
 148    for (i=0;i<m->nbEBands;i++)
 149    {
 150       int j;
 151       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 152          w[j] = bank[i];
 153    }
 154
 155
 156    for (i=0;i<m->nbPBands;i++)
 157    {
 158       float Sxy=0;
 159       float Sxx = 0;
 160       int j;
 161       float gain;
 162       for (j=B*pBands[i];j<B*pBands[i+1];j++)
 163       {
 164          Sxy += X[j]*P[j]*w[j];
 165          Sxx += X[j]*X[j]*w[j];
 166       }
 167       gain = Sxy/(1e-10+Sxx);
 168       //gain = Sxy/(2*(pbank[i+1]-pbank[i]));
 169       //if (i<3)
 170       //gain *= 1+.02*gain;
 171       if (gain > 1.f)
 172          gain = 1.f;
 173       if (gain < 0.0f)
 174          gain = 0.0f;
 175       /* We need to be a bit conservative, otherwise residual doesn't quantise well */
 176       gain *= .9f;
 177       gains[i] = gain;
 178       //printf ("%f ", 1-sqrt(1-gain*gain));
 179    }
 180    /*if(rand()%10==0)
 181    {
 182       for (i=0;i<m->nbPBands;i++)
 183          printf ("%f ", 1-sqrt(1-gains[i]*gains[i]));
 184       printf ("\n");
 185    }*/
 186    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
 187       P[i] = 0;
 188 }
 189
 190 /* Apply the (quantised) gain to each "pitch band" */
 191 void pitch_quant_bands(const CELTMode *m, float *X, float *P, float *gains)
 192 {
 193    int i, B;
 194    const int *pBands = m->pBands;
 195    B = m->nbMdctBlocks*m->nbChannels;
 196    for (i=0;i<m->nbPBands;i++)
 197    {
 198       int j;
 199       for (j=B*pBands[i];j<B*pBands[i+1];j++)
 200          P[j] *= gains[i];
 201       //printf ("%f ", gain);
 202    }
 203    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
 204       P[i] = 0;
 205 }
 206
 207
 208 /* Quantisation of the residual */
 209 void quant_bands(const CELTMode *m, float *X, float *P, float *W, int total_bits, ec_enc *enc)
 210 {
 211    int i, j, B, bits;
 212    const int *eBands = m->eBands;
 213    B = m->nbMdctBlocks*m->nbChannels;
 214    float norm[B*eBands[m->nbEBands+1]];
 215    int pulses[m->nbEBands];
 216    int offsets[m->nbEBands];
 217    float alpha = .7;
 218
 219    for (i=0;i<m->nbEBands;i++)
 220       offsets[i] = 0;
 221    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
 222    bits = total_bits - ec_enc_tell(enc, 0) - 1;
 223    compute_allocation(m, offsets, bits, pulses);
 224
 225    /*printf("bits left: %d\n", bits);
 226    for (i=0;i<m->nbEBands;i++)
 227       printf ("%d ", pulses[i]);
 228    printf ("\n");*/
 229    /*printf ("%d %d\n", ec_enc_tell(enc, 0), compute_allocation(m, m->nbPulses));*/
 230    for (i=0;i<m->nbEBands;i++)
 231    {
 232       int q;
 233       float theta, n;
 234       q = pulses[i];
 235       //q = m->nbPulses[i];
 236       n = sqrt(B*(eBands[i+1]-eBands[i]));
 237       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+q);
 238
 239       /* If pitch isn't available, use intra-frame prediction */
 240       if (eBands[i] >= m->pitchEnd || q<=0)
 241       {
 242          q -= 1;
 243          alpha = 0;
 244          if (q<0)
 245             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
 246          else
 247             intra_prediction(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], enc);
 248       } else {
 249          alpha = .7;
 250       }
 251
 252       if (q > 0)
 253       {
 254          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 255          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 256          alg_quant(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, enc);
 257          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
 258       }
 259       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 260          norm[j] = X[j] * n;
 261       //printf ("%f ", log2(ncwrs64(B*(eBands[i+1]-eBands[i]), q))/(B*(eBands[i+1]-eBands[i])));
 262       //printf ("%f ", log2(ncwrs64(B*(eBands[i+1]-eBands[i]), q)));
 263    }
 264    //printf ("\n");
 265    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
 266       X[i] = 0;
 267 }
 268
 269 /* Decoding of the residual */
 270 void unquant_bands(const CELTMode *m, float *X, float *P, int total_bits, ec_dec *dec)
 271 {
 272    int i, j, B, bits;
 273    const int *eBands = m->eBands;
 274    B = m->nbMdctBlocks*m->nbChannels;
 275    float norm[B*eBands[m->nbEBands+1]];
 276    int pulses[m->nbEBands];
 277    int offsets[m->nbEBands];
 278    float alpha = .7;
 279
 280    for (i=0;i<m->nbEBands;i++)
 281       offsets[i] = 0;
 282    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
 283    bits = total_bits - ec_dec_tell(dec, 0) - 1;
 284    compute_allocation(m, offsets, bits, pulses);
 285
 286    for (i=0;i<m->nbEBands;i++)
 287    {
 288       int q;
 289       float theta, n;
 290       q = pulses[i];
 291       //q = m->nbPulses[i];
 292       n = sqrt(B*(eBands[i+1]-eBands[i]));
 293       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+q);
 294
 295       /* If pitch isn't available, use intra-frame prediction */
 296       if (eBands[i] >= m->pitchEnd || q<=0)
 297       {
 298          q -= 1;
 299          alpha = 0;
 300          if (q<0)
 301             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
 302          else
 303             intra_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], dec);
 304       } else {
 305          alpha = .7;
 306       }
 307
 308       if (q > 0)
 309       {
 310          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 311          alg_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, dec);
 312          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
 313       }
 314       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 315          norm[j] = X[j] * n;
 316    }
 317    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
 318       X[i] = 0;
 319 }
 320
 321 void stereo_mix(const CELTMode *m, float *X, float *bank, int dir)
 322 {
 323    int i, B, C;
 324    const int *eBands = m->eBands;
 325    B = m->nbMdctBlocks;
 326    C = m->nbChannels;
 327    for (i=0;i<m->nbEBands;i++)
 328    {
 329       int j;
 330       float left, right;
 331       float a1, a2;
 332       left = bank[i*C];
 333       right = bank[i*C+1];
 334       a1 = left/sqrt(.01+left*left+right*right);
 335       a2 = dir*right/sqrt(.01+left*left+right*right);
 336       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 337       {
 338          float r, l;
 339          l = X[j*C];
 340          r = X[j*C+1];
 341          X[j*C] = a1*l + a2*r;
 342          X[j*C+1] = a1*r - a2*l;
 343       }
 344    }
 345    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 346       X[i] = 0;
 347
 348 }