CELT update
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "celt.h"
36 #include "opus_decoder.h"
37 #include "entdec.h"
38 #include "modes.h"
39 #include "SKP_Silk_SDK_API.h"
40
41
42 OpusDecoder *opus_decoder_create(int Fs, int channels)
43 {
44     char *raw_state;
45         int ret, silkDecSizeBytes, celtDecSizeBytes;
46         OpusDecoder *st;
47
48         /* Initialize SILK encoder */
49     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
50     if( ret ) {
51         /* Handle error */
52     }
53     celtDecSizeBytes = celt_decoder_get_size(channels);
54     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
55     st = (OpusDecoder*)raw_state;
56     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
57     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
58     st->stream_channels = st->channels = channels;
59
60     st->Fs = Fs;
61
62     /* Reset decoder */
63     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
64     if( ret ) {
65         /* Handle error */
66     }
67
68         /* Initialize CELT decoder */
69         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
70     celt_decoder_ctl(st->celt_dec, CELT_SET_SIGNALLING(0));
71
72         st->prev_mode = 0;
73         return st;
74 }
75
76 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
77 {
78         int i, c;
79         for (c=0;c<channels;c++)
80         {
81                 /* FIXME: Make this 16-bit safe, remove division */
82                 for (i=0;i<overlap;i++)
83                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
84         }
85 }
86
87 static int opus_packet_get_mode(const unsigned char *data)
88 {
89         int mode;
90     if (data[0]&0x80)
91     {
92         mode = MODE_CELT_ONLY;
93     } else if ((data[0]&0x60) == 0x60)
94     {
95         mode = MODE_HYBRID;
96     } else {
97
98         mode = MODE_SILK_ONLY;
99     }
100     return mode;
101 }
102
103 static int opus_decode_frame(OpusDecoder *st, const unsigned char *data,
104                 int len, short *pcm, int frame_size, int decode_fec)
105 {
106         int i, silk_ret=0, celt_ret=0;
107         ec_dec dec;
108     SKP_SILK_SDK_DecControlStruct DecControl;
109     SKP_int32 silk_frame_size;
110     short pcm_celt[960*2];
111     short pcm_transition[960*2];
112     int audiosize;
113     int mode;
114     int transition=0;
115     int start_band;
116     int redundancy=0;
117     int redundancy_bytes = 0;
118     int celt_to_silk=0;
119     short redundant_audio[240*2];
120     int c;
121
122     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
123     if (len<=1)
124         data = NULL;
125
126         audiosize = st->frame_size;
127     if (data != NULL)
128     {
129         mode = st->mode;
130         ec_dec_init(&dec,(unsigned char*)data,len);
131     } else {
132         mode = st->prev_mode;
133     }
134
135     if (st->stream_channels > st->channels)
136         return OPUS_CORRUPTED_DATA;
137
138     /* FIXME: Remove this when we add SILK stereo support */
139     if (st->stream_channels == 2 && mode != MODE_CELT_ONLY)
140         return OPUS_UNIMPLEMENTED;
141
142     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
143                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
144                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
145     {
146         transition = 1;
147         if (mode == MODE_CELT_ONLY)
148             opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
149     }
150     if (audiosize > frame_size)
151     {
152         fprintf(stderr, "PCM buffer too small: %d vs %d (mode = %d)\n", audiosize, frame_size, mode);
153         return OPUS_BAD_ARG;
154     } else {
155         frame_size = audiosize;
156     }
157
158     /* SILK processing */
159     if (mode != MODE_CELT_ONLY)
160     {
161         int lost_flag, decoded_samples;
162         SKP_int16 *pcm_ptr = pcm;
163
164         if (st->prev_mode==MODE_CELT_ONLY)
165                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
166
167         DecControl.API_sampleRate = st->Fs;
168         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
169         if( mode == MODE_SILK_ONLY ) {
170             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
171                 DecControl.internalSampleRate = 8000;
172             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
173                 DecControl.internalSampleRate = 12000;
174             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
175                 DecControl.internalSampleRate = 16000;
176             } else {
177                 DecControl.internalSampleRate = 16000;
178                 SKP_assert( 0 );
179             }
180         } else {
181             /* Hybrid mode */
182             DecControl.internalSampleRate = 16000;
183         }
184
185         lost_flag = data == NULL ? 1 : 2 * decode_fec;
186         decoded_samples = 0;
187         do {
188             /* Call SILK decoder */
189             int first_frame = decoded_samples == 0;
190             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
191                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
192             if( silk_ret ) {
193                 fprintf (stderr, "SILK decode error\n");
194                 /* Handle error */
195             }
196             pcm_ptr += silk_frame_size;
197             decoded_samples += silk_frame_size;
198         } while( decoded_samples < frame_size );
199     } else {
200         for (i=0;i<frame_size*st->channels;i++)
201             pcm[i] = 0;
202     }
203
204     start_band = 0;
205     if (mode != MODE_CELT_ONLY && data != NULL)
206     {
207         /* Check if we have a redundant 0-8 kHz band */
208         redundancy = ec_dec_bit_logp(&dec, 12);
209         if (redundancy)
210         {
211             celt_to_silk = ec_dec_bit_logp(&dec, 1);
212             if (mode == MODE_HYBRID)
213                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
214             else
215                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
216             len -= redundancy_bytes;
217             /* Shrink decoder because of raw bits */
218             dec.storage -= redundancy_bytes;
219         }
220     }
221     if (mode != MODE_CELT_ONLY)
222         start_band = 17;
223
224     if (mode != MODE_SILK_ONLY)
225     {
226         int endband=21;
227
228         switch(st->bandwidth)
229         {
230         case BANDWIDTH_NARROWBAND:
231             endband = 13;
232             break;
233         case BANDWIDTH_WIDEBAND:
234             endband = 17;
235             break;
236         case BANDWIDTH_SUPERWIDEBAND:
237             endband = 19;
238             break;
239         case BANDWIDTH_FULLBAND:
240             endband = 21;
241             break;
242         }
243         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
244         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
245     }
246
247     if (redundancy)
248         transition = 0;
249
250     if (transition && mode != MODE_CELT_ONLY)
251         opus_decode_frame(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
252
253     /* 5 ms redundant frame for CELT->SILK*/
254     if (redundancy && celt_to_silk)
255     {
256         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
257         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
258     }
259
260     /* MUST be after PLC */
261     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
262
263     if (transition)
264         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
265
266     if (mode != MODE_SILK_ONLY)
267     {
268         /* Decode CELT */
269         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
270         for (i=0;i<frame_size*st->channels;i++)
271             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
272     }
273
274     /* 5 ms redundant frame for SILK->CELT */
275     if (redundancy && !celt_to_silk)
276     {
277         int N2, N4;
278         N2 = st->Fs/200;
279         N4 = st->Fs/400;
280         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
281         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
282
283         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
284         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
285                         pcm+st->channels*(frame_size-N4), N4, st->channels);
286     }
287     if (redundancy && celt_to_silk)
288     {
289         int N2, N4;
290         N2 = st->Fs/200;
291         N4 = st->Fs/400;
292
293         for (c=0;c<st->channels;c++)
294         {
295             for (i=0;i<N4;i++)
296                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
297         }
298         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
299     }
300     if (transition)
301     {
302         int plc_length, overlap;
303         plc_length = IMIN(audiosize, 10+st->Fs/400);
304         for (i=0;i<plc_length;i++)
305                 pcm[i] = pcm_transition[i];
306
307         overlap = IMIN(st->Fs/400, IMAX(0, audiosize-plc_length));
308         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
309     }
310 #if OPUS_TEST_RANGE_CODER_STATE
311     st->rangeFinal = dec.rng;
312 #endif
313
314     st->prev_mode = mode;
315     st->prev_redundancy = redundancy;
316         return celt_ret<0 ? celt_ret : audiosize;
317
318 }
319
320 static int parse_size(const unsigned char *data, int len, short *size)
321 {
322         if (len<1)
323         {
324                 *size = -1;
325                 return -1;
326         } else if (data[0]<252)
327         {
328                 *size = data[0];
329                 return 1;
330         } else if (len<2)
331         {
332                 *size = -1;
333                 return -1;
334         } else {
335                 *size = 4*data[1] + data[0];
336                 return 2;
337         }
338 }
339
340 int opus_decode(OpusDecoder *st, const unsigned char *data,
341                 int len, short *pcm, int frame_size, int decode_fec)
342 {
343         int i, bytes, nb_samples;
344         int count;
345         unsigned char ch, toc;
346         /* 48 x 2.5 ms = 120 ms */
347         short size[48];
348         if (len==0 || data==NULL)
349             return opus_decode_frame(st, NULL, 0, pcm, frame_size, 0);
350         else if (len<0)
351                 return CELT_BAD_ARG;
352         st->mode = opus_packet_get_mode(data);
353         st->bandwidth = opus_packet_get_bandwidth(data);
354         st->frame_size = opus_packet_get_samples_per_frame(data, st->Fs);
355         st->stream_channels = opus_packet_get_nb_channels(data);
356         toc = *data++;
357         len--;
358         switch (toc&0x3)
359         {
360         /* One frame */
361         case 0:
362                 count=1;
363                 size[0] = len;
364                 break;
365                 /* Two CBR frames */
366         case 1:
367                 count=2;
368                 if (len&0x1)
369                         return OPUS_CORRUPTED_DATA;
370                 size[0] = size[1] = len/2;
371                 break;
372                 /* Two VBR frames */
373         case 2:
374                 count = 2;
375                 bytes = parse_size(data, len, size);
376                 len -= bytes;
377                 if (size[0]<0 || size[0] > len)
378                         return OPUS_CORRUPTED_DATA;
379                 data += bytes;
380                 size[1] = len-size[0];
381                 break;
382                 /* Multiple CBR/VBR frames (from 0 to 120 ms) */
383         case 3:
384                 if (len<1)
385                         return OPUS_CORRUPTED_DATA;
386                 /* Number of frames encoded in bits 0 to 5 */
387                 ch = *data++;
388                 count = ch&0x3F;
389                 if (st->frame_size*count*25 > 3*st->Fs)
390                     return OPUS_CORRUPTED_DATA;
391                 len--;
392                 /* Bit 7 is VBR flag (bit 6 is ignored) */
393                 if (ch&0x80)
394                 {
395                         /* VBR case */
396                         int last_size=len;
397                         for (i=0;i<count-1;i++)
398                         {
399                                 bytes = parse_size(data, len, size+i);
400                                 len -= bytes;
401                                 if (size[i]<0 || size[i] > len)
402                                         return OPUS_CORRUPTED_DATA;
403                                 data += bytes;
404                                 last_size -= bytes+size[i];
405                         }
406                         if (last_size<0)
407                                 return OPUS_CORRUPTED_DATA;
408                         if (count)
409                                 size[count-1]=last_size;
410                 } else {
411                         /* CBR case */
412                         int sz = count != 0 ? len/count : 0;
413                         if (sz*count!=len)
414                                 return OPUS_CORRUPTED_DATA;
415                         for (i=0;i<count;i++)
416                                 size[i] = sz;
417                 }
418                 break;
419         }
420         if (count*st->frame_size > frame_size)
421                 return OPUS_BAD_ARG;
422         nb_samples=0;
423         for (i=0;i<count;i++)
424         {
425                 int ret;
426                 ret = opus_decode_frame(st, data, len, pcm, frame_size-nb_samples, decode_fec);
427                 if (ret<0)
428                         return ret;
429                 data += size[i];
430                 pcm += ret;
431                 nb_samples += ret;
432         }
433         return nb_samples;
434 }
435 int opus_decoder_ctl(OpusDecoder *st, int request, ...)
436 {
437     va_list ap;
438
439     va_start(ap, request);
440
441     switch (request)
442     {
443         case OPUS_GET_MODE_REQUEST:
444         {
445             int *value = va_arg(ap, int*);
446             *value = st->prev_mode;
447         }
448         break;
449         case OPUS_SET_BANDWIDTH_REQUEST:
450         {
451             int value = va_arg(ap, int);
452             st->bandwidth = value;
453         }
454         break;
455         case OPUS_GET_BANDWIDTH_REQUEST:
456         {
457             int *value = va_arg(ap, int*);
458             *value = st->bandwidth;
459         }
460         break;
461         default:
462             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
463             break;
464     }
465
466     va_end(ap);
467     return OPUS_OK;
468 }
469
470 void opus_decoder_destroy(OpusDecoder *st)
471 {
472         free(st);
473 }
474
475 #if OPUS_TEST_RANGE_CODER_STATE
476 int opus_decoder_get_final_range(OpusDecoder *st)
477 {
478     return st->rangeFinal;
479 }
480 #endif
481
482
483 int opus_packet_get_bandwidth(const unsigned char *data)
484 {
485         int bandwidth;
486     if (data[0]&0x80)
487     {
488         bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
489         if (bandwidth == BANDWIDTH_MEDIUMBAND)
490             bandwidth = BANDWIDTH_NARROWBAND;
491     } else if ((data[0]&0x60) == 0x60)
492     {
493         bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
494     } else {
495
496         bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
497     }
498     return bandwidth;
499 }
500
501 int opus_packet_get_samples_per_frame(const unsigned char *data, int Fs)
502 {
503         int audiosize;
504     if (data[0]&0x80)
505     {
506         audiosize = ((data[0]>>3)&0x3);
507         audiosize = (Fs<<audiosize)/400;
508     } else if ((data[0]&0x60) == 0x60)
509     {
510         audiosize = (data[0]&0x08) ? Fs/50 : Fs/100;
511     } else {
512
513         audiosize = ((data[0]>>3)&0x3);
514         if (audiosize == 3)
515             audiosize = Fs*60/1000;
516         else
517             audiosize = (Fs<<audiosize)/100;
518     }
519     return audiosize;
520 }
521
522 int opus_packet_get_nb_channels(const unsigned char *data)
523 {
524     return (data[0]&0x4) ? 2 : 1;
525 }
526
527 int opus_packet_get_nb_frames(const unsigned char packet[], int len)
528 {
529         int count;
530         if (len<1)
531                 return OPUS_BAD_ARG;
532         count = packet[0]&0x3;
533         if (count==0)
534                 return 1;
535         else if (count!=3)
536                 return 2;
537         else if (len<2)
538                 return OPUS_CORRUPTED_DATA;
539         else
540                 return packet[1]&0x3F;
541 }
542
543 int opus_decoder_get_nb_samples(const OpusDecoder *dec, const unsigned char packet[], int len)
544 {
545         int samples;
546         int count = opus_packet_get_nb_frames(packet, len);
547         samples = count*opus_packet_get_samples_per_frame(packet, dec->Fs);
548         /* Can't have more than 120 ms */
549         if (samples*25 > dec->Fs*3)
550                 return OPUS_CORRUPTED_DATA;
551         else
552                 return samples;
553 }
554