Minor redundant frame fixes
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "celt.h"
36 #include "opus_decoder.h"
37 #include "entdec.h"
38 #include "modes.h"
39 #include "SKP_Silk_SDK_API.h"
40
41
42 OpusDecoder *opus_decoder_create(int Fs, int channels)
43 {
44     char *raw_state;
45         int ret, silkDecSizeBytes, celtDecSizeBytes;
46         OpusDecoder *st;
47
48         /* Initialize SILK encoder */
49     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
50     if( ret ) {
51         /* Handle error */
52     }
53     celtDecSizeBytes = celt_decoder_get_size(channels);
54     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
55     st = (OpusDecoder*)raw_state;
56     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
57     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
58     st->stream_channels = st->channels = channels;
59
60     st->Fs = Fs;
61
62     /* Reset decoder */
63     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
64     if( ret ) {
65         /* Handle error */
66     }
67
68         /* Initialize CELT decoder */
69         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
70     celt_decoder_ctl(st->celt_dec, CELT_SET_SIGNALLING(0));
71
72         st->prev_mode = 0;
73         return st;
74 }
75
76 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
77 {
78         int i, c;
79         for (c=0;c<channels;c++)
80         {
81                 /* FIXME: Make this 16-bit safe, remove division */
82                 for (i=0;i<overlap;i++)
83                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
84         }
85 }
86
87 static int opus_packet_get_mode(const unsigned char *data)
88 {
89         int mode;
90     if (data[0]&0x80)
91     {
92         mode = MODE_CELT_ONLY;
93     } else if ((data[0]&0x60) == 0x60)
94     {
95         mode = MODE_HYBRID;
96     } else {
97
98         mode = MODE_SILK_ONLY;
99     }
100     return mode;
101 }
102
103 static int opus_decode_frame(OpusDecoder *st, const unsigned char *data,
104                 int len, short *pcm, int frame_size, int decode_fec)
105 {
106         int i, silk_ret=0, celt_ret=0;
107         ec_dec dec;
108     SKP_SILK_SDK_DecControlStruct DecControl;
109     SKP_int32 silk_frame_size;
110     short pcm_celt[960*2];
111     short pcm_transition[960*2];
112     int audiosize;
113     int mode;
114     int transition=0;
115     int start_band;
116     int redundancy=0;
117     int redundancy_bytes = 0;
118     int celt_to_silk=0;
119     short redundant_audio[240*2];
120     int c;
121
122     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
123     if (len<=1)
124         data = NULL;
125
126         audiosize = st->frame_size;
127     if (data != NULL)
128     {
129         mode = st->mode;
130         ec_dec_init(&dec,(unsigned char*)data,len);
131     } else {
132         mode = st->prev_mode;
133     }
134
135     if (st->stream_channels > st->channels)
136         return OPUS_CORRUPTED_DATA;
137
138     /* FIXME: Remove this when we add SILK stereo support */
139     if (st->stream_channels == 2 && mode != MODE_CELT_ONLY)
140         return OPUS_UNIMPLEMENTED;
141
142     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
143                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
144                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
145     {
146         transition = 1;
147         if (mode == MODE_CELT_ONLY)
148             opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
149     }
150     if (audiosize > frame_size)
151     {
152         fprintf(stderr, "PCM buffer too small: %d vs %d (mode = %d)\n", audiosize, frame_size, mode);
153         return OPUS_BAD_ARG;
154     } else {
155         frame_size = audiosize;
156     }
157
158     /* SILK processing */
159     if (mode != MODE_CELT_ONLY)
160     {
161         int lost_flag, decoded_samples;
162         SKP_int16 *pcm_ptr = pcm;
163
164         if (st->prev_mode==MODE_CELT_ONLY)
165                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
166
167         DecControl.API_sampleRate = st->Fs;
168         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
169         if( mode == MODE_SILK_ONLY ) {
170             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
171                 DecControl.internalSampleRate = 8000;
172             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
173                 DecControl.internalSampleRate = 12000;
174             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
175                 DecControl.internalSampleRate = 16000;
176             } else {
177                 DecControl.internalSampleRate = 16000;
178                 SKP_assert( 0 );
179             }
180         } else {
181             /* Hybrid mode */
182             DecControl.internalSampleRate = 16000;
183         }
184
185         lost_flag = data == NULL ? 1 : 2 * decode_fec;
186         decoded_samples = 0;
187         do {
188             /* Call SILK decoder */
189             int first_frame = decoded_samples == 0;
190             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
191                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
192             if( silk_ret ) {
193                 fprintf (stderr, "SILK decode error\n");
194                 /* Handle error */
195             }
196             pcm_ptr += silk_frame_size;
197             decoded_samples += silk_frame_size;
198         } while( decoded_samples < frame_size );
199     } else {
200         for (i=0;i<frame_size*st->channels;i++)
201             pcm[i] = 0;
202     }
203
204     start_band = 0;
205     if (mode != MODE_CELT_ONLY && data != NULL)
206     {
207         /* Check if we have a redundant 0-8 kHz band */
208         redundancy = ec_dec_bit_logp(&dec, 12);
209         if (redundancy)
210         {
211             celt_to_silk = ec_dec_bit_logp(&dec, 1);
212             if (mode == MODE_HYBRID)
213                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
214             else
215                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
216             len -= redundancy_bytes;
217             if (len<0)
218                 return CELT_CORRUPTED_DATA;
219             /* Shrink decoder because of raw bits */
220             dec.storage -= redundancy_bytes;
221         }
222     }
223     if (mode != MODE_CELT_ONLY)
224         start_band = 17;
225
226     if (mode != MODE_SILK_ONLY)
227     {
228         int endband=21;
229
230         switch(st->bandwidth)
231         {
232         case BANDWIDTH_NARROWBAND:
233             endband = 13;
234             break;
235         case BANDWIDTH_WIDEBAND:
236             endband = 17;
237             break;
238         case BANDWIDTH_SUPERWIDEBAND:
239             endband = 19;
240             break;
241         case BANDWIDTH_FULLBAND:
242             endband = 21;
243             break;
244         }
245         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
246         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
247     }
248
249     if (redundancy)
250         transition = 0;
251
252     if (transition && mode != MODE_CELT_ONLY)
253         opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
254
255     /* 5 ms redundant frame for CELT->SILK*/
256     if (redundancy && celt_to_silk)
257     {
258         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
259         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
260     }
261
262     /* MUST be after PLC */
263     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
264
265     if (transition)
266         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
267
268     if (mode != MODE_SILK_ONLY)
269     {
270         /* Decode CELT */
271         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
272         for (i=0;i<frame_size*st->channels;i++)
273             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
274     }
275
276     /* 5 ms redundant frame for SILK->CELT */
277     if (redundancy && !celt_to_silk)
278     {
279         int N2, N4;
280         N2 = st->Fs/200;
281         N4 = st->Fs/400;
282         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
283         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
284
285         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
286         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
287                         pcm+st->channels*(frame_size-N4), N4, st->channels);
288     }
289     if (redundancy && celt_to_silk)
290     {
291         int N2, N4;
292         N2 = st->Fs/200;
293         N4 = st->Fs/400;
294
295         for (c=0;c<st->channels;c++)
296         {
297             for (i=0;i<N4;i++)
298                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
299         }
300         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
301     }
302     if (transition)
303     {
304         int plc_length, overlap;
305         plc_length = IMIN(audiosize, 10+st->Fs/400);
306         for (i=0;i<plc_length;i++)
307                 pcm[i] = pcm_transition[i];
308
309         overlap = IMIN(st->Fs/400, IMAX(0, audiosize-plc_length));
310         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
311     }
312 #if OPUS_TEST_RANGE_CODER_STATE
313     st->rangeFinal = dec.rng;
314 #endif
315
316     st->prev_mode = mode;
317     st->prev_redundancy = redundancy;
318         return celt_ret<0 ? celt_ret : audiosize;
319
320 }
321
322 static int parse_size(const unsigned char *data, int len, short *size)
323 {
324         if (len<1)
325         {
326                 *size = -1;
327                 return -1;
328         } else if (data[0]<252)
329         {
330                 *size = data[0];
331                 return 1;
332         } else if (len<2)
333         {
334                 *size = -1;
335                 return -1;
336         } else {
337                 *size = 4*data[1] + data[0];
338                 return 2;
339         }
340 }
341
342 int opus_decode(OpusDecoder *st, const unsigned char *data,
343                 int len, short *pcm, int frame_size, int decode_fec)
344 {
345         int i, bytes, nb_samples;
346         int count;
347         unsigned char ch, toc;
348         /* 48 x 2.5 ms = 120 ms */
349         short size[48];
350         if (len==0 || data==NULL)
351             return opus_decode_frame(st, NULL, 0, pcm, frame_size, 0);
352         else if (len<0)
353                 return CELT_BAD_ARG;
354         st->mode = opus_packet_get_mode(data);
355         st->bandwidth = opus_packet_get_bandwidth(data);
356         st->frame_size = opus_packet_get_samples_per_frame(data, st->Fs);
357         st->stream_channels = opus_packet_get_nb_channels(data);
358         toc = *data++;
359         len--;
360         switch (toc&0x3)
361         {
362         /* One frame */
363         case 0:
364                 count=1;
365                 size[0] = len;
366                 break;
367                 /* Two CBR frames */
368         case 1:
369                 count=2;
370                 if (len&0x1)
371                         return OPUS_CORRUPTED_DATA;
372                 size[0] = size[1] = len/2;
373                 break;
374                 /* Two VBR frames */
375         case 2:
376                 count = 2;
377                 bytes = parse_size(data, len, size);
378                 len -= bytes;
379                 if (size[0]<0 || size[0] > len)
380                         return OPUS_CORRUPTED_DATA;
381                 data += bytes;
382                 size[1] = len-size[0];
383                 break;
384                 /* Multiple CBR/VBR frames (from 0 to 120 ms) */
385         case 3:
386                 if (len<1)
387                         return OPUS_CORRUPTED_DATA;
388                 /* Number of frames encoded in bits 0 to 5 */
389                 ch = *data++;
390                 count = ch&0x3F;
391                 if (st->frame_size*count*25 > 3*st->Fs)
392                     return OPUS_CORRUPTED_DATA;
393                 len--;
394                 /* Bit 7 is VBR flag (bit 6 is ignored) */
395                 if (ch&0x80)
396                 {
397                         /* VBR case */
398                         int last_size=len;
399                         for (i=0;i<count-1;i++)
400                         {
401                                 bytes = parse_size(data, len, size+i);
402                                 len -= bytes;
403                                 if (size[i]<0 || size[i] > len)
404                                         return OPUS_CORRUPTED_DATA;
405                                 data += bytes;
406                                 last_size -= bytes+size[i];
407                         }
408                         if (last_size<0)
409                                 return OPUS_CORRUPTED_DATA;
410                         if (count)
411                                 size[count-1]=last_size;
412                 } else {
413                         /* CBR case */
414                         int sz = count != 0 ? len/count : 0;
415                         if (sz*count!=len)
416                                 return OPUS_CORRUPTED_DATA;
417                         for (i=0;i<count;i++)
418                                 size[i] = sz;
419                 }
420                 break;
421         }
422         if (count*st->frame_size > frame_size)
423                 return OPUS_BAD_ARG;
424         nb_samples=0;
425         for (i=0;i<count;i++)
426         {
427                 int ret;
428                 ret = opus_decode_frame(st, data, len, pcm, frame_size-nb_samples, decode_fec);
429                 if (ret<0)
430                         return ret;
431                 data += size[i];
432                 pcm += ret;
433                 nb_samples += ret;
434         }
435         return nb_samples;
436 }
437 int opus_decoder_ctl(OpusDecoder *st, int request, ...)
438 {
439     va_list ap;
440
441     va_start(ap, request);
442
443     switch (request)
444     {
445         case OPUS_GET_MODE_REQUEST:
446         {
447             int *value = va_arg(ap, int*);
448             *value = st->prev_mode;
449         }
450         break;
451         case OPUS_SET_BANDWIDTH_REQUEST:
452         {
453             int value = va_arg(ap, int);
454             st->bandwidth = value;
455         }
456         break;
457         case OPUS_GET_BANDWIDTH_REQUEST:
458         {
459             int *value = va_arg(ap, int*);
460             *value = st->bandwidth;
461         }
462         break;
463         default:
464             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
465             break;
466     }
467
468     va_end(ap);
469     return OPUS_OK;
470 }
471
472 void opus_decoder_destroy(OpusDecoder *st)
473 {
474         free(st);
475 }
476
477 #if OPUS_TEST_RANGE_CODER_STATE
478 int opus_decoder_get_final_range(OpusDecoder *st)
479 {
480     return st->rangeFinal;
481 }
482 #endif
483
484
485 int opus_packet_get_bandwidth(const unsigned char *data)
486 {
487         int bandwidth;
488     if (data[0]&0x80)
489     {
490         bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
491         if (bandwidth == BANDWIDTH_MEDIUMBAND)
492             bandwidth = BANDWIDTH_NARROWBAND;
493     } else if ((data[0]&0x60) == 0x60)
494     {
495         bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
496     } else {
497
498         bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
499     }
500     return bandwidth;
501 }
502
503 int opus_packet_get_samples_per_frame(const unsigned char *data, int Fs)
504 {
505         int audiosize;
506     if (data[0]&0x80)
507     {
508         audiosize = ((data[0]>>3)&0x3);
509         audiosize = (Fs<<audiosize)/400;
510     } else if ((data[0]&0x60) == 0x60)
511     {
512         audiosize = (data[0]&0x08) ? Fs/50 : Fs/100;
513     } else {
514
515         audiosize = ((data[0]>>3)&0x3);
516         if (audiosize == 3)
517             audiosize = Fs*60/1000;
518         else
519             audiosize = (Fs<<audiosize)/100;
520     }
521     return audiosize;
522 }
523
524 int opus_packet_get_nb_channels(const unsigned char *data)
525 {
526     return (data[0]&0x4) ? 2 : 1;
527 }
528
529 int opus_packet_get_nb_frames(const unsigned char packet[], int len)
530 {
531         int count;
532         if (len<1)
533                 return OPUS_BAD_ARG;
534         count = packet[0]&0x3;
535         if (count==0)
536                 return 1;
537         else if (count!=3)
538                 return 2;
539         else if (len<2)
540                 return OPUS_CORRUPTED_DATA;
541         else
542                 return packet[1]&0x3F;
543 }
544
545 int opus_decoder_get_nb_samples(const OpusDecoder *dec, const unsigned char packet[], int len)
546 {
547         int samples;
548         int count = opus_packet_get_nb_frames(packet, len);
549         samples = count*opus_packet_get_samples_per_frame(packet, dec->Fs);
550         /* Can't have more than 120 ms */
551         if (samples*25 > dec->Fs*3)
552                 return OPUS_CORRUPTED_DATA;
553         else
554                 return samples;
555 }
556