libcelt/bands.c

   1 /* (C) 2007 Jean-Marc Valin, CSIRO
   2 */
   3 /*
   4    Redistribution and use in source and binary forms, with or without
   5    modification, are permitted provided that the following conditions
   6    are met:
   7
   8    - Redistributions of source code must retain the above copyright
   9    notice, this list of conditions and the following disclaimer.
  10
  11    - Redistributions in binary form must reproduce the above copyright
  12    notice, this list of conditions and the following disclaimer in the
  13    documentation and/or other materials provided with the distribution.
  14
  15    - Neither the name of the Xiph.org Foundation nor the names of its
  16    contributors may be used to endorse or promote products derived from
  17    this software without specific prior written permission.
  18
  19    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  20    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  21    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  22    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
  23    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  24    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  25    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  26    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  27    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  28    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  29    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30 */
  31
  32 #ifdef HAVE_CONFIG_H
  33 #include "config.h"
  34 #endif
  35
  36 #include <math.h>
  37 #include "bands.h"
  38 #include "modes.h"
  39 #include "vq.h"
  40 #include "cwrs.h"
  41
  42
  43 void exp_rotation(celt_norm_t *X, int len, float theta, int dir, int stride, int iter)
  44 {
  45    int i, k;
  46    celt_word16_t c, s;
  47    c = Q15ONE*cos(theta);
  48    s = dir*Q15ONE*sin(theta);
  49    for (k=0;k<iter;k++)
  50    {
  51       /* We could use MULT16_16_P15 instead of MULT16_16_Q15 for more accuracy,
  52          but at this point, I really don't think it's necessary */
  53       for (i=0;i<len-stride;i++)
  54       {
  55          celt_norm_t x1, x2;
  56          x1 = X[i];
  57          x2 = X[i+stride];
  58          X[i] = MULT16_16_Q15(c,x1) - MULT16_16_Q15(s,x2);
  59          X[i+stride] = MULT16_16_Q15(c,x2) + MULT16_16_Q15(s,x1);
  60       }
  61       for (i=len-2*stride-1;i>=0;i--)
  62       {
  63          celt_norm_t x1, x2;
  64          x1 = X[i];
  65          x2 = X[i+stride];
  66          X[i] = MULT16_16_Q15(c,x1) - MULT16_16_Q15(s,x2);
  67          X[i+stride] = MULT16_16_Q15(c,x2) + MULT16_16_Q15(s,x1);
  68       }
  69    }
  70 }
  71
  72 /* Compute the amplitude (sqrt energy) in each of the bands */
  73 void compute_band_energies(const CELTMode *m, celt_sig_t *X, celt_ener_t *bank)
  74 {
  75    int i, c, B, C;
  76    const int *eBands = m->eBands;
  77    B = m->nbMdctBlocks;
  78    C = m->nbChannels;
  79    for (c=0;c<C;c++)
  80    {
  81       for (i=0;i<m->nbEBands;i++)
  82       {
  83          int j;
  84          float sum = 1e-10;
  85          for (j=B*eBands[i];j<B*eBands[i+1];j++)
  86             sum += SIG_SCALING_1*SIG_SCALING_1*X[j*C+c]*X[j*C+c];
  87          bank[i*C+c] = ENER_SCALING*sqrt(sum);
  88          /*printf ("%f ", bank[i*C+c]);*/
  89       }
  90    }
  91    /*printf ("\n");*/
  92 }
  93
  94 /* Normalise each band such that the energy is one. */
  95 void normalise_bands(const CELTMode *m, celt_sig_t *freq, celt_norm_t *X, celt_ener_t *bank)
  96 {
  97    int i, c, B, C;
  98    const int *eBands = m->eBands;
  99    B = m->nbMdctBlocks;
 100    C = m->nbChannels;
 101    for (c=0;c<C;c++)
 102    {
 103       for (i=0;i<m->nbEBands;i++)
 104       {
 105          int j;
 106          float g = 1.f/(1e-10+ENER_SCALING_1*bank[i*C+c]*sqrt(C));
 107          for (j=B*eBands[i];j<B*eBands[i+1];j++)
 108             X[j*C+c] = NORM_SCALING*SIG_SCALING_1*freq[j*C+c]*g;
 109       }
 110    }
 111    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 112       X[i] = 0;
 113 }
 114
 115 #ifdef FIXED_POINT
 116 void renormalise_bands(const CELTMode *m, celt_norm_t *X)
 117 {
 118    int i;
 119    VARDECL(celt_ener_t *tmpE);
 120    VARDECL(celt_sig_t *freq);
 121    ALLOC(tmpE, m->nbEBands*m->nbChannels, celt_ener_t);
 122    ALLOC(freq, m->nbMdctBlocks*m->nbChannels*m->eBands[m->nbEBands+1], celt_sig_t);
 123    for (i=0;i<m->nbMdctBlocks*m->nbChannels*m->eBands[m->nbEBands+1];i++)
 124       freq[i] = SHL32(EXTEND32(X[i]), 10);
 125    compute_band_energies(m, freq, tmpE);
 126    normalise_bands(m, freq, X, tmpE);
 127 }
 128 #else
 129 void renormalise_bands(const CELTMode *m, celt_norm_t *X)
 130 {
 131    VARDECL(celt_ener_t *tmpE);
 132    ALLOC(tmpE, m->nbEBands*m->nbChannels, celt_ener_t);
 133    compute_band_energies(m, X, tmpE);
 134    normalise_bands(m, X, X, tmpE);
 135 }
 136 #endif
 137
 138 /* De-normalise the energy to produce the synthesis from the unit-energy bands */
 139 void denormalise_bands(const CELTMode *m, celt_norm_t *X, celt_sig_t *freq, celt_ener_t *bank)
 140 {
 141    int i, c, B, C;
 142    const int *eBands = m->eBands;
 143    B = m->nbMdctBlocks;
 144    C = m->nbChannels;
 145    for (c=0;c<C;c++)
 146    {
 147       for (i=0;i<m->nbEBands;i++)
 148       {
 149          int j;
 150          float g = ENER_SCALING_1*sqrt(C)*bank[i*C+c];
 151          for (j=B*eBands[i];j<B*eBands[i+1];j++)
 152             freq[j*C+c] = NORM_SCALING_1*SIG_SCALING*X[j*C+c] * g;
 153       }
 154    }
 155    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 156       freq[i] = 0;
 157 }
 158
 159
 160 /* Compute the best gain for each "pitch band" */
 161 void compute_pitch_gain(const CELTMode *m, celt_norm_t *X, celt_norm_t *P, celt_pgain_t *gains, celt_ener_t *bank)
 162 {
 163    int i, B;
 164    const int *eBands = m->eBands;
 165    const int *pBands = m->pBands;
 166    B = m->nbMdctBlocks*m->nbChannels;
 167
 168    for (i=0;i<m->nbPBands;i++)
 169    {
 170       celt_word32_t Sxy=0, Sxx=0;
 171       int j;
 172       /* We know we're not going to overflow because Sxx can't be more than 1 (Q28) */
 173       for (j=B*pBands[i];j<B*pBands[i+1];j++)
 174       {
 175          Sxy = MAC16_16(Sxy, X[j], P[j]);
 176          Sxx = MAC16_16(Sxx, X[j], X[j]);
 177       }
 178       /* No negative gain allowed */
 179       if (Sxy < 0)
 180          Sxy = 0;
 181       /* Not sure how that would happen, just making sure */
 182       if (Sxy > Sxx)
 183          Sxy = Sxx;
 184       /* We need to be a bit conservative (multiply gain by 0.9), otherwise the
 185          residual doesn't quantise well */
 186       Sxy = MULT16_32_Q15(QCONST16(.9f, 15), Sxy);
 187       /* gain = Sxy/Sxx */
 188       gains[i] = DIV32_16(Sxy,ADD32(SHR32(Sxx, PGAIN_SHIFT),EPSILON));
 189       /*printf ("%f ", 1-sqrt(1-gain*gain));*/
 190    }
 191    /*if(rand()%10==0)
 192    {
 193       for (i=0;i<m->nbPBands;i++)
 194          printf ("%f ", 1-sqrt(1-gains[i]*gains[i]));
 195       printf ("\n");
 196    }*/
 197    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
 198       P[i] = 0;
 199 }
 200
 201 /* Apply the (quantised) gain to each "pitch band" */
 202 void pitch_quant_bands(const CELTMode *m, celt_norm_t *X, celt_norm_t *P, celt_pgain_t *gains)
 203 {
 204    int i, B;
 205    const int *pBands = m->pBands;
 206    B = m->nbMdctBlocks*m->nbChannels;
 207    for (i=0;i<m->nbPBands;i++)
 208    {
 209       int j;
 210       for (j=B*pBands[i];j<B*pBands[i+1];j++)
 211          P[j] *= PGAIN_SCALING_1*gains[i];
 212       /*printf ("%f ", gain);*/
 213    }
 214    for (i=B*pBands[m->nbPBands];i<B*pBands[m->nbPBands+1];i++)
 215       P[i] = 0;
 216 }
 217
 218
 219 /* Quantisation of the residual */
 220 void quant_bands(const CELTMode *m, celt_norm_t *X, celt_norm_t *P, celt_mask_t *W, int total_bits, ec_enc *enc)
 221 {
 222    int i, j, B, bits;
 223    const int *eBands = m->eBands;
 224    float alpha = .7;
 225    VARDECL(celt_norm_t *norm);
 226    VARDECL(int *pulses);
 227    VARDECL(int *offsets);
 228
 229    B = m->nbMdctBlocks*m->nbChannels;
 230
 231    ALLOC(norm, B*eBands[m->nbEBands+1], celt_norm_t);
 232    ALLOC(pulses, m->nbEBands, int);
 233    ALLOC(offsets, m->nbEBands, int);
 234
 235    for (i=0;i<m->nbEBands;i++)
 236       offsets[i] = 0;
 237    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
 238    bits = total_bits - ec_enc_tell(enc, 0) - 1;
 239    compute_allocation(m, offsets, bits, pulses);
 240
 241    /*printf("bits left: %d\n", bits);
 242    for (i=0;i<m->nbEBands;i++)
 243       printf ("%d ", pulses[i]);
 244    printf ("\n");*/
 245    /*printf ("%d %d\n", ec_enc_tell(enc, 0), compute_allocation(m, m->nbPulses));*/
 246    for (i=0;i<m->nbEBands;i++)
 247    {
 248       int q;
 249       float theta, n;
 250       q = pulses[i];
 251       /*Scale factor of .0625f is just there to prevent overflows in fixed-point
 252        (has no effect on float)*/
 253       n = .0625f*sqrt(B*(eBands[i+1]-eBands[i]));
 254       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+q);
 255
 256       /* If pitch isn't available, use intra-frame prediction */
 257       if (eBands[i] >= m->pitchEnd || q<=0)
 258       {
 259          q -= 1;
 260          alpha = 0;
 261          if (q<0)
 262             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
 263          else
 264             intra_prediction(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], enc);
 265       } else {
 266          alpha = .7;
 267       }
 268
 269       if (q > 0)
 270       {
 271          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 272          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 273          alg_quant(X+B*eBands[i], W+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, enc);
 274          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
 275       }
 276       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 277          norm[j] = X[j] * n;
 278    }
 279    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
 280       X[i] = 0;
 281 }
 282
 283 /* Decoding of the residual */
 284 void unquant_bands(const CELTMode *m, celt_norm_t *X, celt_norm_t *P, int total_bits, ec_dec *dec)
 285 {
 286    int i, j, B, bits;
 287    const int *eBands = m->eBands;
 288    float alpha = .7;
 289    VARDECL(celt_norm_t *norm);
 290    VARDECL(int *pulses);
 291    VARDECL(int *offsets);
 292
 293    B = m->nbMdctBlocks*m->nbChannels;
 294
 295    ALLOC(norm, B*eBands[m->nbEBands+1], celt_norm_t);
 296    ALLOC(pulses, m->nbEBands, int);
 297    ALLOC(offsets, m->nbEBands, int);
 298
 299    for (i=0;i<m->nbEBands;i++)
 300       offsets[i] = 0;
 301    /* Use a single-bit margin to guard against overrunning (make sure it's enough) */
 302    bits = total_bits - ec_dec_tell(dec, 0) - 1;
 303    compute_allocation(m, offsets, bits, pulses);
 304
 305    for (i=0;i<m->nbEBands;i++)
 306    {
 307       int q;
 308       float theta, n;
 309       q = pulses[i];
 310       /*Scale factor of .0625f is just there to prevent overflows in fixed-point
 311       (has no effect on float)*/
 312       n = .0625f*sqrt(B*(eBands[i+1]-eBands[i]));
 313       theta = .007*(B*(eBands[i+1]-eBands[i]))/(.1f+q);
 314
 315       /* If pitch isn't available, use intra-frame prediction */
 316       if (eBands[i] >= m->pitchEnd || q<=0)
 317       {
 318          q -= 1;
 319          alpha = 0;
 320          if (q<0)
 321             intra_fold(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), norm, P+B*eBands[i], B, eBands[i], eBands[m->nbEBands+1]);
 322          else
 323             intra_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, norm, P+B*eBands[i], B, eBands[i], dec);
 324       } else {
 325          alpha = .7;
 326       }
 327
 328       if (q > 0)
 329       {
 330          exp_rotation(P+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, -1, B, 8);
 331          alg_unquant(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), q, P+B*eBands[i], alpha, dec);
 332          exp_rotation(X+B*eBands[i], B*(eBands[i+1]-eBands[i]), theta, 1, B, 8);
 333       }
 334       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 335          norm[j] = X[j] * n;
 336    }
 337    for (i=B*eBands[m->nbEBands];i<B*eBands[m->nbEBands+1];i++)
 338       X[i] = 0;
 339 }
 340
 341 void stereo_mix(const CELTMode *m, celt_norm_t *X, celt_ener_t *bank, int dir)
 342 {
 343    int i, B, C;
 344    const int *eBands = m->eBands;
 345    B = m->nbMdctBlocks;
 346    C = m->nbChannels;
 347    for (i=0;i<m->nbEBands;i++)
 348    {
 349       int j;
 350       float left, right;
 351       float a1, a2;
 352       left = bank[i*C];
 353       right = bank[i*C+1];
 354       a1 = left/sqrt(.01+left*left+right*right);
 355       a2 = dir*right/sqrt(.01+left*left+right*right);
 356       for (j=B*eBands[i];j<B*eBands[i+1];j++)
 357       {
 358          float r, l;
 359          l = X[j*C];
 360          r = X[j*C+1];
 361          X[j*C] = a1*l + a2*r;
 362          X[j*C+1] = a1*r - a2*l;
 363       }
 364    }
 365    for (i=B*C*eBands[m->nbEBands];i<B*C*eBands[m->nbEBands+1];i++)
 366       X[i] = 0;
 367
 368 }