More error handling
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "celt.h"
36 #include "opus_decoder.h"
37 #include "entdec.h"
38 #include "modes.h"
39 #include "SKP_Silk_SDK_API.h"
40
41
42 OpusDecoder *opus_decoder_create(int Fs, int channels)
43 {
44     char *raw_state;
45         int ret, silkDecSizeBytes, celtDecSizeBytes;
46         OpusDecoder *st;
47
48         /* Initialize SILK encoder */
49     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
50     if( ret ) {
51         /* Handle error */
52     }
53     celtDecSizeBytes = celt_decoder_get_size(channels);
54     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
55     st = (OpusDecoder*)raw_state;
56     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
57     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
58     st->stream_channels = st->channels = channels;
59
60     st->Fs = Fs;
61
62     /* Reset decoder */
63     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
64     if( ret ) {
65         /* Handle error */
66     }
67
68         /* Initialize CELT decoder */
69         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
70     celt_decoder_ctl(st->celt_dec, CELT_SET_SIGNALLING(0));
71
72         st->prev_mode = 0;
73         return st;
74 }
75
76 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
77 {
78         int i, c;
79         for (c=0;c<channels;c++)
80         {
81                 /* FIXME: Make this 16-bit safe, remove division */
82                 for (i=0;i<overlap;i++)
83                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
84         }
85 }
86
87 static int opus_packet_get_mode(const unsigned char *data)
88 {
89         int mode;
90     if (data[0]&0x80)
91     {
92         mode = MODE_CELT_ONLY;
93     } else if ((data[0]&0x60) == 0x60)
94     {
95         mode = MODE_HYBRID;
96     } else {
97
98         mode = MODE_SILK_ONLY;
99     }
100     return mode;
101 }
102
103 static int opus_decode_frame(OpusDecoder *st, const unsigned char *data,
104                 int len, short *pcm, int frame_size, int decode_fec)
105 {
106         int i, silk_ret=0, celt_ret=0;
107         ec_dec dec;
108     SKP_SILK_SDK_DecControlStruct DecControl;
109     SKP_int32 silk_frame_size;
110     short pcm_celt[960*2];
111     short pcm_transition[960*2];
112     int audiosize;
113     int mode;
114     int transition=0;
115     int start_band;
116     int redundancy=0;
117     int redundancy_bytes = 0;
118     int celt_to_silk=0;
119     short redundant_audio[240*2];
120     int c;
121
122     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
123     if (len<=1)
124         data = NULL;
125
126         audiosize = st->frame_size;
127     if (data != NULL)
128     {
129         mode = st->mode;
130         ec_dec_init(&dec,(unsigned char*)data,len);
131     } else {
132         mode = st->prev_mode;
133     }
134
135     if (st->stream_channels > st->channels)
136         return OPUS_CORRUPTED_DATA;
137
138     if (st->stream_channels == 2 && mode != MODE_CELT_ONLY)
139         return OPUS_UNIMPLEMENTED;
140
141     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
142                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
143                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
144     {
145         transition = 1;
146         if (mode == MODE_CELT_ONLY)
147             opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
148     }
149     if (audiosize > frame_size)
150     {
151         fprintf(stderr, "PCM buffer too small: %d vs %d (mode = %d)\n", audiosize, frame_size, mode);
152         return OPUS_BAD_ARG;
153     } else {
154         frame_size = audiosize;
155     }
156
157     /* SILK processing */
158     if (mode != MODE_CELT_ONLY)
159     {
160         int lost_flag, decoded_samples;
161         SKP_int16 *pcm_ptr = pcm;
162
163         if (st->prev_mode==MODE_CELT_ONLY)
164                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
165
166         DecControl.API_sampleRate = st->Fs;
167         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
168         if( mode == MODE_SILK_ONLY ) {
169             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
170                 DecControl.internalSampleRate = 8000;
171             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
172                 DecControl.internalSampleRate = 12000;
173             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
174                 DecControl.internalSampleRate = 16000;
175             } else {
176                 DecControl.internalSampleRate = 16000;
177                 SKP_assert( 0 );
178             }
179         } else {
180             /* Hybrid mode */
181             DecControl.internalSampleRate = 16000;
182         }
183
184         lost_flag = data == NULL ? 1 : 2 * decode_fec;
185         decoded_samples = 0;
186         do {
187             /* Call SILK decoder */
188             int first_frame = decoded_samples == 0;
189             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
190                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
191             if( silk_ret ) {
192                 fprintf (stderr, "SILK decode error\n");
193                 /* Handle error */
194             }
195             pcm_ptr += silk_frame_size;
196             decoded_samples += silk_frame_size;
197         } while( decoded_samples < frame_size );
198     } else {
199         for (i=0;i<frame_size*st->channels;i++)
200             pcm[i] = 0;
201     }
202
203     start_band = 0;
204     if (mode != MODE_CELT_ONLY && data != NULL)
205     {
206         /* Check if we have a redundant 0-8 kHz band */
207         redundancy = ec_dec_bit_logp(&dec, 12);
208         if (redundancy)
209         {
210             celt_to_silk = ec_dec_bit_logp(&dec, 1);
211             if (mode == MODE_HYBRID)
212                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
213             else
214                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
215             len -= redundancy_bytes;
216             /* Shrink decoder because of raw bits */
217             dec.storage -= redundancy_bytes;
218         }
219         start_band = 17;
220     }
221
222     if (mode != MODE_SILK_ONLY)
223     {
224         int endband=21;
225
226         switch(st->bandwidth)
227         {
228         case BANDWIDTH_NARROWBAND:
229             endband = 13;
230             break;
231         case BANDWIDTH_WIDEBAND:
232             endband = 17;
233             break;
234         case BANDWIDTH_SUPERWIDEBAND:
235             endband = 19;
236             break;
237         case BANDWIDTH_FULLBAND:
238             endband = 21;
239             break;
240         }
241         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
242         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
243     }
244
245     if (redundancy)
246         transition = 0;
247
248     if (transition && mode != MODE_CELT_ONLY)
249         opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
250
251     /* 5 ms redundant frame for CELT->SILK*/
252     if (redundancy && celt_to_silk)
253     {
254         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
255         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
256     }
257
258     /* MUST be after PLC */
259     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
260
261     if (transition)
262         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
263
264     if (mode != MODE_SILK_ONLY)
265     {
266         /* Decode CELT */
267         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
268         for (i=0;i<frame_size*st->channels;i++)
269             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
270     }
271
272     /* 5 ms redundant frame for SILK->CELT */
273     if (redundancy && !celt_to_silk)
274     {
275         int N2, N4;
276         N2 = st->Fs/200;
277         N4 = st->Fs/400;
278         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
279         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
280
281         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
282         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
283                         pcm+st->channels*(frame_size-N4), N4, st->channels);
284     }
285     if (redundancy && celt_to_silk)
286     {
287         int N2, N4;
288         N2 = st->Fs/200;
289         N4 = st->Fs/400;
290
291         for (c=0;c<st->channels;c++)
292         {
293             for (i=0;i<N4;i++)
294                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
295         }
296         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
297     }
298     if (transition)
299     {
300         int plc_length, overlap;
301         plc_length = IMIN(audiosize, 10+st->Fs/400);
302         for (i=0;i<plc_length;i++)
303                 pcm[i] = pcm_transition[i];
304
305         overlap = IMIN(st->Fs/400, IMAX(0, audiosize-plc_length));
306         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
307     }
308 #if OPUS_TEST_RANGE_CODER_STATE
309     st->rangeFinal = dec.rng;
310 #endif
311
312     st->prev_mode = mode;
313     st->prev_redundancy = redundancy;
314         return celt_ret<0 ? celt_ret : audiosize;
315
316 }
317
318 static int parse_size(const unsigned char *data, int len, short *size)
319 {
320         if (len<1)
321         {
322                 *size = -1;
323                 return -1;
324         } else if (data[0]<252)
325         {
326                 *size = data[0];
327                 return 1;
328         } else if (len<2)
329         {
330                 *size = -1;
331                 return -1;
332         } else {
333                 *size = 4*data[1] + data[0];
334                 return 2;
335         }
336 }
337
338 int opus_decode(OpusDecoder *st, const unsigned char *data,
339                 int len, short *pcm, int frame_size, int decode_fec)
340 {
341         int i, bytes, nb_samples;
342         int count;
343         unsigned char ch, toc;
344         /* 48 x 2.5 ms = 120 ms */
345         short size[48];
346         if (len<1)
347                 return CELT_BAD_ARG;
348         st->mode = opus_packet_get_mode(data);
349         st->bandwidth = opus_packet_get_bandwidth(data);
350         st->frame_size = opus_packet_get_samples_per_frame(data, st->Fs);
351         st->stream_channels = opus_packet_get_nb_channels(data);
352         toc = *data++;
353         len--;
354         switch (toc&0x3)
355         {
356         /* One frame */
357         case 0:
358                 count=1;
359                 size[0] = len;
360                 break;
361                 /* Two CBR frames */
362         case 1:
363                 count=2;
364                 if (len&0x1)
365                         return OPUS_CORRUPTED_DATA;
366                 size[0] = size[1] = len/2;
367                 break;
368                 /* Two VBR frames */
369         case 2:
370                 count = 2;
371                 bytes = parse_size(data, len, size);
372                 len -= bytes;
373                 if (size[0]<0 || size[0] > len)
374                         return OPUS_CORRUPTED_DATA;
375                 data += bytes;
376                 size[1] = len-size[0];
377                 break;
378                 /* Multiple CBR/VBR frames (from 0 to 120 ms) */
379         case 3:
380                 if (len<1)
381                         return OPUS_CORRUPTED_DATA;
382                 /* Number of frames encoded in bits 0 to 5 */
383                 ch = *data++;
384                 count = ch&0x3F;
385                 if (st->frame_size*count*25 > 3*st->Fs)
386                     return OPUS_CORRUPTED_DATA;
387                 len--;
388                 /* Bit 7 is VBR flag (bit 6 is ignored) */
389                 if (ch&0x80)
390                 {
391                         /* VBR case */
392                         int last_size=len;
393                         for (i=0;i<count-1;i++)
394                         {
395                                 bytes = parse_size(data, len, size+i);
396                                 len -= bytes;
397                                 if (size[i]<0 || size[i] > len)
398                                         return OPUS_CORRUPTED_DATA;
399                                 data += bytes;
400                                 last_size -= bytes+size[i];
401                         }
402                         if (last_size<0)
403                                 return OPUS_CORRUPTED_DATA;
404                         if (count)
405                                 size[count-1]=last_size;
406                 } else {
407                         /* CBR case */
408                         int sz = count != 0 ? len/count : 0;
409                         if (sz*count!=len)
410                                 return OPUS_CORRUPTED_DATA;
411                         for (i=0;i<count;i++)
412                                 size[i] = sz;
413                 }
414                 break;
415         }
416         if (count*st->frame_size > frame_size)
417                 return OPUS_BAD_ARG;
418         nb_samples=0;
419         for (i=0;i<count;i++)
420         {
421                 int ret;
422                 ret = opus_decode_frame(st, data, len, pcm, frame_size-nb_samples, decode_fec);
423                 if (ret<0)
424                         return ret;
425                 data += size[i];
426                 pcm += ret;
427                 nb_samples += ret;
428         }
429         return nb_samples;
430 }
431 int opus_decoder_ctl(OpusDecoder *st, int request, ...)
432 {
433     va_list ap;
434
435     va_start(ap, request);
436
437     switch (request)
438     {
439         case OPUS_GET_MODE_REQUEST:
440         {
441             int *value = va_arg(ap, int*);
442             *value = st->prev_mode;
443         }
444         break;
445         case OPUS_SET_BANDWIDTH_REQUEST:
446         {
447             int value = va_arg(ap, int);
448             st->bandwidth = value;
449         }
450         break;
451         case OPUS_GET_BANDWIDTH_REQUEST:
452         {
453             int *value = va_arg(ap, int*);
454             *value = st->bandwidth;
455         }
456         break;
457         default:
458             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
459             break;
460     }
461
462     va_end(ap);
463     return OPUS_OK;
464 }
465
466 void opus_decoder_destroy(OpusDecoder *st)
467 {
468         free(st);
469 }
470
471 #if OPUS_TEST_RANGE_CODER_STATE
472 int opus_decoder_get_final_range(OpusDecoder *st)
473 {
474     return st->rangeFinal;
475 }
476 #endif
477
478
479 int opus_packet_get_bandwidth(const unsigned char *data)
480 {
481         int bandwidth;
482     if (data[0]&0x80)
483     {
484         bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
485         if (bandwidth == BANDWIDTH_MEDIUMBAND)
486             bandwidth = BANDWIDTH_NARROWBAND;
487     } else if ((data[0]&0x60) == 0x60)
488     {
489         bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
490     } else {
491
492         bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
493     }
494     return bandwidth;
495 }
496
497 int opus_packet_get_samples_per_frame(const unsigned char *data, int Fs)
498 {
499         int audiosize;
500     if (data[0]&0x80)
501     {
502         audiosize = ((data[0]>>3)&0x3);
503         audiosize = (Fs<<audiosize)/400;
504     } else if ((data[0]&0x60) == 0x60)
505     {
506         audiosize = (data[0]&0x08) ? Fs/50 : Fs/100;
507     } else {
508
509         audiosize = ((data[0]>>3)&0x3);
510         if (audiosize == 3)
511             audiosize = Fs*60/1000;
512         else
513             audiosize = (Fs<<audiosize)/100;
514     }
515     return audiosize;
516 }
517
518 int opus_packet_get_nb_channels(const unsigned char *data)
519 {
520     return (data[0]&0x4) ? 2 : 1;
521 }
522
523 int opus_packet_get_nb_frames(const unsigned char packet[], int len)
524 {
525         int count;
526         if (len<1)
527                 return OPUS_BAD_ARG;
528         count = packet[0]&0x3;
529         if (count==0)
530                 return 1;
531         else if (count!=3)
532                 return 2;
533         else if (len<2)
534                 return OPUS_CORRUPTED_DATA;
535         else
536                 return packet[1]&0x3F;
537 }
538
539 int opus_decoder_get_nb_samples(const OpusDecoder *dec, const unsigned char packet[], int len)
540 {
541         int samples;
542         int count = opus_packet_get_nb_frames(packet, len);
543         samples = count*opus_packet_get_samples_per_frame(packet, dec->Fs);
544         /* Can't have more than 120 ms */
545         if (samples*25 > dec->Fs*3)
546                 return OPUS_CORRUPTED_DATA;
547         else
548                 return samples;
549 }
550