Disable newly introduced CELT signalling
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "celt.h"
36 #include "opus_decoder.h"
37 #include "entdec.h"
38 #include "modes.h"
39 #include "SKP_Silk_SDK_API.h"
40
41
42 OpusDecoder *opus_decoder_create(int Fs, int channels)
43 {
44     char *raw_state;
45         int ret, silkDecSizeBytes, celtDecSizeBytes;
46         OpusDecoder *st;
47
48         /* Initialize SILK encoder */
49     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
50     if( ret ) {
51         /* Handle error */
52     }
53     celtDecSizeBytes = celt_decoder_get_size(channels);
54     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
55     st = (OpusDecoder*)raw_state;
56     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
57     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
58     st->stream_channels = st->channels = channels;
59
60     st->Fs = Fs;
61
62     /* Reset decoder */
63     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
64     if( ret ) {
65         /* Handle error */
66     }
67
68         /* Initialize CELT decoder */
69         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
70     celt_decoder_ctl(st->celt_dec, CELT_SET_SIGNALLING(0));
71
72         st->prev_mode = 0;
73         return st;
74 }
75
76 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
77 {
78         int i, c;
79         for (c=0;c<channels;c++)
80         {
81                 /* FIXME: Make this 16-bit safe, remove division */
82                 for (i=0;i<overlap;i++)
83                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
84         }
85 }
86
87 int opus_decode(OpusDecoder *st, const unsigned char *data,
88                 int len, short *pcm, int frame_size, int decode_fec)
89 {
90         int i, silk_ret=0, celt_ret=0;
91         ec_dec dec;
92     SKP_SILK_SDK_DecControlStruct DecControl;
93     SKP_int32 silk_frame_size;
94     short pcm_celt[960*2];
95     short pcm_transition[960*2];
96     int audiosize;
97     int mode;
98     int transition=0;
99     int start_band;
100     int redundancy=0;
101     int redundancy_bytes = 0;
102     int celt_to_silk=0;
103     short redundant_audio[240*2];
104     int c;
105
106     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
107     if (len<=2)
108         data = NULL;
109
110     if (data != NULL)
111     {
112         /* Decoding mode/bandwidth/framesize from first byte */
113         if (data[0]&0x80)
114         {
115             mode = MODE_CELT_ONLY;
116             st->bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
117             if (st->bandwidth == BANDWIDTH_MEDIUMBAND)
118                 st->bandwidth = BANDWIDTH_NARROWBAND;
119             audiosize = ((data[0]>>3)&0x3);
120             audiosize = (st->Fs<<audiosize)/400;
121         } else if ((data[0]&0x60) == 0x60)
122         {
123             mode = MODE_HYBRID;
124             st->bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
125             audiosize = (data[0]&0x08) ? st->Fs/50 : st->Fs/100;
126         } else {
127
128             mode = MODE_SILK_ONLY;
129             st->bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
130             audiosize = ((data[0]>>3)&0x3);
131             if (audiosize == 3)
132                 audiosize = st->Fs*60/1000;
133             else
134                 audiosize = (st->Fs<<audiosize)/100;
135         }
136         st->stream_channels = (data[0]&0x4) ? 2 : 1;
137         /*printf ("%d %d %d\n", st->mode, st->bandwidth, audiosize);*/
138
139         len -= 1;
140         data += 1;
141         ec_dec_init(&dec,(unsigned char*)data,len);
142     } else {
143         audiosize = frame_size;
144         mode = st->prev_mode;
145     }
146
147     if (st->stream_channels > st->channels)
148         return OPUS_CORRUPTED_DATA;
149
150     if (st->stream_channels == 2 && mode != MODE_CELT_ONLY)
151         return OPUS_UNIMPLEMENTED;
152
153     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
154                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
155                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
156     {
157         transition = 1;
158         if (mode == MODE_CELT_ONLY)
159             opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
160     }
161     if (audiosize > frame_size)
162     {
163         fprintf(stderr, "PCM buffer too small: %d vs %d (mode = %d)\n", audiosize, frame_size, mode);
164         return -1;
165     } else {
166         frame_size = audiosize;
167     }
168
169     /* SILK processing */
170     if (mode != MODE_CELT_ONLY)
171     {
172         int lost_flag, decoded_samples;
173         SKP_int16 *pcm_ptr = pcm;
174
175         if (st->prev_mode==MODE_CELT_ONLY)
176                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
177
178         DecControl.API_sampleRate = st->Fs;
179         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
180         if( mode == MODE_SILK_ONLY ) {
181             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
182                 DecControl.internalSampleRate = 8000;
183             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
184                 DecControl.internalSampleRate = 12000;
185             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
186                 DecControl.internalSampleRate = 16000;
187             } else {
188                 DecControl.internalSampleRate = 16000;
189                 SKP_assert( 0 );
190             }
191         } else {
192             /* Hybrid mode */
193             DecControl.internalSampleRate = 16000;
194         }
195
196         lost_flag = data == NULL ? 1 : 2 * decode_fec;
197         decoded_samples = 0;
198         do {
199             /* Call SILK decoder */
200             int first_frame = decoded_samples == 0;
201             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
202                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
203             if( silk_ret ) {
204                 fprintf (stderr, "SILK decode error\n");
205                 /* Handle error */
206             }
207             pcm_ptr += silk_frame_size;
208             decoded_samples += silk_frame_size;
209         } while( decoded_samples < frame_size );
210     } else {
211         for (i=0;i<frame_size*st->channels;i++)
212             pcm[i] = 0;
213     }
214
215     start_band = 0;
216     if (mode != MODE_CELT_ONLY && data != NULL)
217     {
218         /* Check if we have a redundant 0-8 kHz band */
219         redundancy = ec_dec_bit_logp(&dec, 12);
220         if (redundancy)
221         {
222             celt_to_silk = ec_dec_bit_logp(&dec, 1);
223             if (mode == MODE_HYBRID)
224                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
225             else
226                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
227             len -= redundancy_bytes;
228             /* Shrink decoder because of raw bits */
229             dec.storage -= redundancy_bytes;
230         }
231         start_band = 17;
232     }
233
234     if (mode != MODE_SILK_ONLY)
235     {
236         int endband=21;
237
238         switch(st->bandwidth)
239         {
240         case BANDWIDTH_NARROWBAND:
241             endband = 13;
242             break;
243         case BANDWIDTH_WIDEBAND:
244             endband = 17;
245             break;
246         case BANDWIDTH_SUPERWIDEBAND:
247             endband = 19;
248             break;
249         case BANDWIDTH_FULLBAND:
250             endband = 21;
251             break;
252         }
253         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
254         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
255     }
256
257     if (redundancy)
258         transition = 0;
259
260     if (transition && mode != MODE_CELT_ONLY)
261         opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
262
263     /* 5 ms redundant frame for CELT->SILK*/
264     if (redundancy && celt_to_silk)
265     {
266         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
267         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
268     }
269
270     /* MUST be after PLC */
271     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
272
273     if (transition)
274         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
275
276     if (mode != MODE_SILK_ONLY)
277     {
278         /* Decode CELT */
279         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
280         for (i=0;i<frame_size*st->channels;i++)
281             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
282     }
283
284     /* 5 ms redundant frame for SILK->CELT */
285     if (redundancy && !celt_to_silk)
286     {
287         int N2, N4;
288         N2 = st->Fs/200;
289         N4 = st->Fs/400;
290         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
291         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
292
293         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
294         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
295                         pcm+st->channels*(frame_size-N4), N4, st->channels);
296     }
297     if (redundancy && celt_to_silk)
298     {
299         int N2, N4;
300         N2 = st->Fs/200;
301         N4 = st->Fs/400;
302
303         for (c=0;c<st->channels;c++)
304         {
305             for (i=0;i<N4;i++)
306                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
307         }
308         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
309     }
310     if (transition)
311     {
312         int plc_length, overlap;
313         plc_length = IMIN(audiosize, 10+st->Fs/400);
314         for (i=0;i<plc_length;i++)
315                 pcm[i] = pcm_transition[i];
316
317         overlap = IMIN(st->Fs/400, IMAX(0, audiosize-plc_length));
318         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
319     }
320 #if OPUS_TEST_RANGE_CODER_STATE
321     st->rangeFinal = dec.rng;
322 #endif
323
324     st->prev_mode = mode;
325     st->prev_redundancy = redundancy;
326         return celt_ret<0 ? celt_ret : audiosize;
327
328 }
329
330 int opus_decoder_ctl(OpusDecoder *st, int request, ...)
331 {
332     va_list ap;
333
334     va_start(ap, request);
335
336     switch (request)
337     {
338         case OPUS_GET_MODE_REQUEST:
339         {
340             int *value = va_arg(ap, int*);
341             *value = st->prev_mode;
342         }
343         break;
344         case OPUS_SET_BANDWIDTH_REQUEST:
345         {
346             int value = va_arg(ap, int);
347             st->bandwidth = value;
348         }
349         break;
350         case OPUS_GET_BANDWIDTH_REQUEST:
351         {
352             int *value = va_arg(ap, int*);
353             *value = st->bandwidth;
354         }
355         break;
356         default:
357             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
358             break;
359     }
360
361     va_end(ap);
362     return OPUS_OK;
363 }
364
365 void opus_decoder_destroy(OpusDecoder *st)
366 {
367         free(st);
368 }
369
370 #if OPUS_TEST_RANGE_CODER_STATE
371 int opus_decoder_get_final_range(OpusDecoder *st)
372 {
373     return st->rangeFinal;
374 }
375 #endif