Support for glitchles mode switching
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "opus_decoder.h"
36 #include "entdec.h"
37 #include "modes.h"
38 #include "SKP_Silk_SDK_API.h"
39
40
41 OpusDecoder *opus_decoder_create(int Fs, int channels)
42 {
43     char *raw_state;
44         int ret, silkDecSizeBytes, celtDecSizeBytes;
45         OpusDecoder *st;
46
47         /* Initialize SILK encoder */
48     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
49     if( ret ) {
50         /* Handle error */
51     }
52     celtDecSizeBytes = celt_decoder_get_size(channels);
53     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
54     st = (OpusDecoder*)raw_state;
55     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
56     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
57     st->stream_channels = st->channels = channels;
58
59     st->Fs = Fs;
60
61     /* Reset decoder */
62     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
63     if( ret ) {
64         /* Handle error */
65     }
66
67         /* Initialize CELT decoder */
68         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
69
70         st->prev_mode = 0;
71         return st;
72 }
73
74 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
75 {
76         int i, c;
77         for (c=0;c<channels;c++)
78         {
79                 /* FIXME: Make this 16-bit safe, remove division */
80                 for (i=0;i<overlap;i++)
81                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
82         }
83 }
84
85 int opus_decode(OpusDecoder *st, const unsigned char *data,
86                 int len, short *pcm, int frame_size, int decode_fec)
87 {
88         int i, silk_ret=0, celt_ret=0;
89         ec_dec dec;
90     SKP_SILK_SDK_DecControlStruct DecControl;
91     SKP_int32 silk_frame_size;
92     short pcm_celt[960*2];
93     short pcm_transition[960*2];
94     int audiosize;
95     int mode;
96     int transition=0;
97     int start_band;
98     int redundancy=0;
99     int redundancy_bytes = 0;
100     int celt_to_silk=0;
101     short redundant_audio[240*2];
102     int c;
103
104     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
105     if (len<=2)
106         data = NULL;
107
108     if (data != NULL)
109     {
110         /* Decoding mode/bandwidth/framesize from first byte */
111         if (data[0]&0x80)
112         {
113             mode = MODE_CELT_ONLY;
114             st->bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
115             if (st->bandwidth == BANDWIDTH_MEDIUMBAND)
116                 st->bandwidth = BANDWIDTH_NARROWBAND;
117             audiosize = ((data[0]>>3)&0x3);
118             audiosize = (st->Fs<<audiosize)/400;
119         } else if ((data[0]&0x60) == 0x60)
120         {
121             mode = MODE_HYBRID;
122             st->bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
123             audiosize = (data[0]&0x08) ? st->Fs/50 : st->Fs/100;
124         } else {
125
126             mode = MODE_SILK_ONLY;
127             st->bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
128             audiosize = ((data[0]>>3)&0x3);
129             if (audiosize == 3)
130                 audiosize = st->Fs*60/1000;
131             else
132                 audiosize = (st->Fs<<audiosize)/100;
133         }
134         st->stream_channels = (data[0]&0x4) ? 2 : 1;
135         /*printf ("%d %d %d\n", st->mode, st->bandwidth, audiosize);*/
136
137         len -= 1;
138         data += 1;
139         ec_dec_init(&dec,(unsigned char*)data,len);
140     } else {
141         audiosize = frame_size;
142         mode = st->prev_mode;
143     }
144
145     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
146                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
147                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
148     {
149         transition = 1;
150         if (mode == MODE_CELT_ONLY)
151             opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
152     }
153     if (audiosize > frame_size)
154     {
155         fprintf(stderr, "PCM buffer too small");
156         return -1;
157     } else {
158         frame_size = audiosize;
159     }
160
161     /* SILK processing */
162     if (mode != MODE_CELT_ONLY)
163     {
164         int lost_flag, decoded_samples;
165         SKP_int16 *pcm_ptr = pcm;
166
167         if (st->prev_mode==MODE_CELT_ONLY)
168                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
169
170         DecControl.API_sampleRate = st->Fs;
171         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
172         if( mode == MODE_SILK_ONLY ) {
173             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
174                 DecControl.internalSampleRate = 8000;
175             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
176                 DecControl.internalSampleRate = 12000;
177             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
178                 DecControl.internalSampleRate = 16000;
179             } else {
180                 DecControl.internalSampleRate = 16000;
181                 SKP_assert( 0 );
182             }
183         } else {
184             /* Hybrid mode */
185             DecControl.internalSampleRate = 16000;
186         }
187
188         lost_flag = data == NULL ? 1 : 2 * decode_fec;
189         decoded_samples = 0;
190         do {
191             /* Call SILK decoder */
192             int first_frame = decoded_samples == 0;
193             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
194                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
195             if( silk_ret ) {
196                 fprintf (stderr, "SILK decode error\n");
197                 /* Handle error */
198             }
199             pcm_ptr += silk_frame_size;
200             decoded_samples += silk_frame_size;
201         } while( decoded_samples < frame_size );
202     } else {
203         for (i=0;i<frame_size*st->channels;i++)
204             pcm[i] = 0;
205     }
206
207     start_band = 0;
208     if (mode != MODE_CELT_ONLY && data != NULL)
209     {
210         /* Check if we have a redundant 0-8 kHz band */
211         redundancy = ec_dec_bit_logp(&dec, 12);
212         if (redundancy)
213         {
214             celt_to_silk = ec_dec_bit_logp(&dec, 1);
215             if (mode == MODE_HYBRID)
216                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
217             else
218                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
219             len -= redundancy_bytes;
220             /* Shrink decoder because of raw bits */
221             dec.storage -= redundancy_bytes;
222         }
223         start_band = 17;
224     }
225
226     if (mode != MODE_SILK_ONLY)
227     {
228         int endband=21;
229
230         switch(st->bandwidth)
231         {
232         case BANDWIDTH_NARROWBAND:
233             endband = 13;
234             break;
235         case BANDWIDTH_WIDEBAND:
236             endband = 17;
237             break;
238         case BANDWIDTH_SUPERWIDEBAND:
239             endband = 19;
240             break;
241         case BANDWIDTH_FULLBAND:
242             endband = 21;
243             break;
244         }
245         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
246         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
247     }
248
249     if (redundancy)
250         transition = 0;
251
252     if (transition && mode != MODE_CELT_ONLY)
253         opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
254
255     /* 5 ms redundant frame for CELT->SILK*/
256     if (redundancy && celt_to_silk)
257     {
258         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
259         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
260     }
261
262     /* MUST be after PLC */
263     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
264
265     if (transition)
266         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
267
268     if (mode != MODE_SILK_ONLY)
269     {
270         /* Decode CELT */
271         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
272         for (i=0;i<frame_size*st->channels;i++)
273             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
274     }
275
276     /* 5 ms redundant frame for SILK->CELT */
277     if (redundancy && !celt_to_silk)
278     {
279         int N2, N4;
280         N2 = st->Fs/200;
281         N4 = st->Fs/400;
282         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
283         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
284
285         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
286         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
287                         pcm+st->channels*(frame_size-N4), N4, st->channels);
288     }
289     if (redundancy && celt_to_silk)
290     {
291         int N2, N4;
292         N2 = st->Fs/200;
293         N4 = st->Fs/400;
294
295         for (c=0;c<st->channels;c++)
296         {
297             for (i=0;i<N4;i++)
298                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
299         }
300         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
301     }
302     if (transition)
303     {
304         int plc_length, overlap;
305         if (mode == MODE_CELT_ONLY)
306                 plc_length = IMIN(audiosize, 10+st->Fs/200);
307         else
308                 plc_length = IMIN(audiosize, 10+st->Fs/400);
309         for (i=0;i<plc_length;i++)
310                 pcm[i] = pcm_transition[i];
311
312         overlap = IMIN(st->Fs/100, IMAX(0, audiosize-plc_length));
313         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
314     }
315 #if OPUS_TEST_RANGE_CODER_STATE
316     st->rangeFinal = dec.rng;
317 #endif
318
319     st->prev_mode = mode;
320     st->prev_redundancy = redundancy;
321         return celt_ret<0 ? celt_ret : audiosize;
322
323 }
324
325 void opus_decoder_ctl(OpusDecoder *st, int request, ...)
326 {
327     va_list ap;
328
329     va_start(ap, request);
330
331     switch (request)
332     {
333         case OPUS_GET_MODE_REQUEST:
334         {
335             int *value = va_arg(ap, int*);
336             *value = st->prev_mode;
337         }
338         break;
339         case OPUS_SET_BANDWIDTH_REQUEST:
340         {
341             int value = va_arg(ap, int);
342             st->bandwidth = value;
343         }
344         break;
345         case OPUS_GET_BANDWIDTH_REQUEST:
346         {
347             int *value = va_arg(ap, int*);
348             *value = st->bandwidth;
349         }
350         break;
351         default:
352             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
353             break;
354     }
355
356     va_end(ap);
357 }
358
359 void opus_decoder_destroy(OpusDecoder *st)
360 {
361         free(st);
362 }
363
364 #if OPUS_TEST_RANGE_CODER_STATE
365 int opus_decoder_get_final_range(OpusDecoder *st)
366 {
367     return st->rangeFinal;
368 }
369 #endif