src/opus_decoder.c

   1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
   2    Written by Jean-Marc Valin and Koen Vos */
   3 /*
   4    Redistribution and use in source and binary forms, with or without
   5    modification, are permitted provided that the following conditions
   6    are met:
   7
   8    - Redistributions of source code must retain the above copyright
   9    notice, this list of conditions and the following disclaimer.
  10
  11    - Redistributions in binary form must reproduce the above copyright
  12    notice, this list of conditions and the following disclaimer in the
  13    documentation and/or other materials provided with the distribution.
  14
  15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
  19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
  23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
  24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
  25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26 */
  27
  28 #ifdef HAVE_CONFIG_H
  29 #include "config.h"
  30 #endif
  31
  32 #include <stdlib.h>
  33 #include <stdio.h>
  34 #include <stdarg.h>
  35 #include "opus_decoder.h"
  36 #include "entdec.h"
  37 #include "modes.h"
  38 #include "SKP_Silk_SDK_API.h"
  39
  40
  41 OpusDecoder *opus_decoder_create(int Fs, int channels)
  42 {
  43     char *raw_state;
  44         int ret, silkDecSizeBytes, celtDecSizeBytes;
  45         OpusDecoder *st;
  46
  47         /* Initialize SILK encoder */
  48     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
  49     if( ret ) {
  50         /* Handle error */
  51     }
  52     celtDecSizeBytes = celt_decoder_get_size(channels);
  53     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
  54     st = (OpusDecoder*)raw_state;
  55     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
  56     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
  57     st->stream_channels = st->channels = channels;
  58
  59     st->Fs = Fs;
  60
  61     /* Reset decoder */
  62     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
  63     if( ret ) {
  64         /* Handle error */
  65     }
  66
  67         /* Initialize CELT decoder */
  68         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
  69
  70         st->prev_mode = 0;
  71         return st;
  72 }
  73
  74 int opus_decode(OpusDecoder *st, const unsigned char *data,
  75                 int len, short *pcm, int frame_size, int decode_fec)
  76 {
  77         int i, silk_ret=0, celt_ret=0;
  78         ec_dec dec;
  79     SKP_SILK_SDK_DecControlStruct DecControl;
  80     SKP_int32 silk_frame_size;
  81     short pcm_celt[960*2];
  82     short pcm_transition[960*2];
  83     int audiosize;
  84     int mode;
  85     int transition=0;
  86
  87     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
  88     if (len<=2)
  89         data = NULL;
  90
  91     if (data != NULL)
  92     {
  93         /* Decoding mode/bandwidth/framesize from first byte */
  94         if (data[0]&0x80)
  95         {
  96             mode = MODE_CELT_ONLY;
  97             st->bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
  98             if (st->bandwidth == BANDWIDTH_MEDIUMBAND)
  99                 st->bandwidth = BANDWIDTH_NARROWBAND;
 100             audiosize = ((data[0]>>3)&0x3);
 101             audiosize = (st->Fs<<audiosize)/400;
 102         } else if ((data[0]&0x60) == 0x60)
 103         {
 104             mode = MODE_HYBRID;
 105             st->bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
 106             audiosize = (data[0]&0x08) ? st->Fs/50 : st->Fs/100;
 107         } else {
 108
 109             mode = MODE_SILK_ONLY;
 110             st->bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
 111             audiosize = ((data[0]>>3)&0x3);
 112             if (audiosize == 3)
 113                 audiosize = st->Fs*60/1000;
 114             else
 115                 audiosize = (st->Fs<<audiosize)/100;
 116         }
 117         st->stream_channels = (data[0]&0x4) ? 2 : 1;
 118         /*printf ("%d %d %d\n", st->mode, st->bandwidth, audiosize);*/
 119
 120         len -= 1;
 121         data += 1;
 122         ec_dec_init(&dec,(unsigned char*)data,len);
 123     } else {
 124         audiosize = frame_size;
 125         mode = st->prev_mode;
 126     }
 127
 128     if (mode != st->prev_mode && st->prev_mode > 0
 129                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
 130                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
 131     {
 132         transition = 1;
 133         opus_decode(st, NULL, 0, pcm_transition, IMAX(480, audiosize), 0);
 134     }
 135     if (audiosize > frame_size)
 136     {
 137         fprintf(stderr, "PCM buffer too small");
 138         return -1;
 139     } else {
 140         frame_size = audiosize;
 141     }
 142
 143     /* SILK processing */
 144     if (mode != MODE_CELT_ONLY)
 145     {
 146         int lost_flag, decoded_samples;
 147         SKP_int16 *pcm_ptr = pcm;
 148
 149         if (st->prev_mode==MODE_CELT_ONLY)
 150                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
 151
 152         DecControl.API_sampleRate = st->Fs;
 153         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
 154         if( mode == MODE_SILK_ONLY ) {
 155             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
 156                 DecControl.internalSampleRate = 8000;
 157             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
 158                 DecControl.internalSampleRate = 12000;
 159             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
 160                 DecControl.internalSampleRate = 16000;
 161             } else {
 162                 SKP_assert( 0 );
 163             }
 164         } else {
 165             /* Hybrid mode */
 166             DecControl.internalSampleRate = 16000;
 167         }
 168
 169         lost_flag = data == NULL ? 1 : 2 * decode_fec;
 170         decoded_samples = 0;
 171         do {
 172             /* Call SILK decoder */
 173             int first_frame = decoded_samples == 0;
 174             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl,
 175                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
 176             if( silk_ret ) {
 177                 fprintf (stderr, "SILK decode error\n");
 178                 /* Handle error */
 179             }
 180             pcm_ptr += silk_frame_size;
 181             decoded_samples += silk_frame_size;
 182         } while( decoded_samples < frame_size );
 183     } else {
 184         for (i=0;i<frame_size*st->channels;i++)
 185             pcm[i] = 0;
 186     }
 187
 188     if (mode == MODE_HYBRID)
 189     {
 190         /* This should be adjusted based on the SILK bandwidth */
 191         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(17));
 192     } else {
 193         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
 194     }
 195
 196     if (mode != MODE_SILK_ONLY)
 197     {
 198         int endband;
 199
 200             switch(st->bandwidth)
 201             {
 202             case BANDWIDTH_NARROWBAND:
 203                 endband = 13;
 204                 break;
 205             case BANDWIDTH_WIDEBAND:
 206                 endband = 17;
 207                 break;
 208             case BANDWIDTH_SUPERWIDEBAND:
 209                 endband = 19;
 210                 break;
 211             case BANDWIDTH_FULLBAND:
 212                 endband = 21;
 213                 break;
 214             }
 215             celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
 216             celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
 217
 218             if (st->prev_mode == MODE_SILK_ONLY)
 219                 celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
 220         /* Decode CELT */
 221         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
 222         for (i=0;i<frame_size*st->channels;i++)
 223             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
 224     }
 225
 226     if (transition)
 227     {
 228         int plc_length, overlap;
 229         if (mode == MODE_CELT_ONLY)
 230                 plc_length = IMIN(audiosize, 10+st->Fs/200);
 231         else
 232                 plc_length = IMIN(audiosize, 10+st->Fs/400);
 233         for (i=0;i<plc_length;i++)
 234                 pcm[i] = pcm_transition[i];
 235
 236         overlap = IMIN(480, IMAX(0, audiosize-plc_length));
 237         for (i=0;i<overlap;i++)
 238                 pcm[plc_length+i] = (i*pcm[plc_length+i] + (overlap-i)*pcm_transition[plc_length+i])/overlap;
 239     }
 240 #if OPUS_TEST_RANGE_CODER_STATE
 241     st->rangeFinal = dec.rng;
 242 #endif
 243
 244     st->prev_mode = mode;
 245         return celt_ret<0 ? celt_ret : audiosize;
 246
 247 }
 248
 249 void opus_decoder_ctl(OpusDecoder *st, int request, ...)
 250 {
 251     va_list ap;
 252
 253     va_start(ap, request);
 254
 255     switch (request)
 256     {
 257         case OPUS_GET_MODE_REQUEST:
 258         {
 259             int *value = va_arg(ap, int*);
 260             *value = st->prev_mode;
 261         }
 262         break;
 263         case OPUS_SET_BANDWIDTH_REQUEST:
 264         {
 265             int value = va_arg(ap, int);
 266             st->bandwidth = value;
 267         }
 268         break;
 269         case OPUS_GET_BANDWIDTH_REQUEST:
 270         {
 271             int *value = va_arg(ap, int*);
 272             *value = st->bandwidth;
 273         }
 274         break;
 275         default:
 276             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
 277             break;
 278     }
 279
 280     va_end(ap);
 281 }
 282
 283 void opus_decoder_destroy(OpusDecoder *st)
 284 {
 285         free(st);
 286 }
 287
 288 #if OPUS_TEST_RANGE_CODER_STATE
 289 int opus_decoder_get_final_range(OpusDecoder *st)
 290 {
 291     return st->rangeFinal;
 292 }
 293 #endif