Adding some packet parsing code
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "celt.h"
36 #include "opus_decoder.h"
37 #include "entdec.h"
38 #include "modes.h"
39 #include "SKP_Silk_SDK_API.h"
40
41
42 OpusDecoder *opus_decoder_create(int Fs, int channels)
43 {
44     char *raw_state;
45         int ret, silkDecSizeBytes, celtDecSizeBytes;
46         OpusDecoder *st;
47
48         /* Initialize SILK encoder */
49     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
50     if( ret ) {
51         /* Handle error */
52     }
53     celtDecSizeBytes = celt_decoder_get_size(channels);
54     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
55     st = (OpusDecoder*)raw_state;
56     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
57     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
58     st->stream_channels = st->channels = channels;
59
60     st->Fs = Fs;
61
62     /* Reset decoder */
63     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
64     if( ret ) {
65         /* Handle error */
66     }
67
68         /* Initialize CELT decoder */
69         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
70     celt_decoder_ctl(st->celt_dec, CELT_SET_SIGNALLING(0));
71
72         st->prev_mode = 0;
73         return st;
74 }
75
76 static void smooth_fade(const short *in1, const short *in2, short *out, int overlap, int channels)
77 {
78         int i, c;
79         for (c=0;c<channels;c++)
80         {
81                 /* FIXME: Make this 16-bit safe, remove division */
82                 for (i=0;i<overlap;i++)
83                         out[i*channels+c] = (i*in2[i*channels+c] + (overlap-i)*in1[i*channels+c])/overlap;
84         }
85 }
86
87 static int opus_packet_get_mode(const unsigned char *data)
88 {
89         int mode;
90     if (data[0]&0x80)
91     {
92         mode = MODE_CELT_ONLY;
93     } else if ((data[0]&0x60) == 0x60)
94     {
95         mode = MODE_HYBRID;
96     } else {
97
98         mode = MODE_SILK_ONLY;
99     }
100     return mode;
101 }
102
103 int opus_decode(OpusDecoder *st, const unsigned char *data,
104                 int len, short *pcm, int frame_size, int decode_fec)
105 {
106         int i, silk_ret=0, celt_ret=0;
107         ec_dec dec;
108     SKP_SILK_SDK_DecControlStruct DecControl;
109     SKP_int32 silk_frame_size;
110     short pcm_celt[960*2];
111     short pcm_transition[960*2];
112     int audiosize;
113     int mode;
114     int transition=0;
115     int start_band;
116     int redundancy=0;
117     int redundancy_bytes = 0;
118     int celt_to_silk=0;
119     short redundant_audio[240*2];
120     int c;
121
122     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
123     if (len<=2)
124         data = NULL;
125
126     if (data != NULL)
127     {
128         mode =opus_packet_get_mode(data);
129         st->bandwidth = opus_packet_get_bandwidth(data);
130         audiosize = opus_packet_get_samples_per_frame(data, st->Fs);
131         st->stream_channels = opus_packet_get_nb_channels(data);
132         if (opus_packet_get_nb_frames(data, len)>1)
133         {
134                 /* FIXME: Handle the case of multiple frames */
135         }
136
137         len -= 1;
138         data += 1;
139         ec_dec_init(&dec,(unsigned char*)data,len);
140     } else {
141         audiosize = frame_size;
142         mode = st->prev_mode;
143     }
144
145     if (st->stream_channels > st->channels)
146         return OPUS_CORRUPTED_DATA;
147
148     if (st->stream_channels == 2 && mode != MODE_CELT_ONLY)
149         return OPUS_UNIMPLEMENTED;
150
151     if (data!=NULL && !st->prev_redundancy && mode != st->prev_mode && st->prev_mode > 0
152                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
153                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
154     {
155         transition = 1;
156         if (mode == MODE_CELT_ONLY)
157             opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
158     }
159     if (audiosize > frame_size)
160     {
161         fprintf(stderr, "PCM buffer too small: %d vs %d (mode = %d)\n", audiosize, frame_size, mode);
162         return -1;
163     } else {
164         frame_size = audiosize;
165     }
166
167     /* SILK processing */
168     if (mode != MODE_CELT_ONLY)
169     {
170         int lost_flag, decoded_samples;
171         SKP_int16 *pcm_ptr = pcm;
172
173         if (st->prev_mode==MODE_CELT_ONLY)
174                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
175
176         DecControl.API_sampleRate = st->Fs;
177         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
178         if( mode == MODE_SILK_ONLY ) {
179             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
180                 DecControl.internalSampleRate = 8000;
181             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
182                 DecControl.internalSampleRate = 12000;
183             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
184                 DecControl.internalSampleRate = 16000;
185             } else {
186                 DecControl.internalSampleRate = 16000;
187                 SKP_assert( 0 );
188             }
189         } else {
190             /* Hybrid mode */
191             DecControl.internalSampleRate = 16000;
192         }
193
194         lost_flag = data == NULL ? 1 : 2 * decode_fec;
195         decoded_samples = 0;
196         do {
197             /* Call SILK decoder */
198             int first_frame = decoded_samples == 0;
199             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
200                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
201             if( silk_ret ) {
202                 fprintf (stderr, "SILK decode error\n");
203                 /* Handle error */
204             }
205             pcm_ptr += silk_frame_size;
206             decoded_samples += silk_frame_size;
207         } while( decoded_samples < frame_size );
208     } else {
209         for (i=0;i<frame_size*st->channels;i++)
210             pcm[i] = 0;
211     }
212
213     start_band = 0;
214     if (mode != MODE_CELT_ONLY && data != NULL)
215     {
216         /* Check if we have a redundant 0-8 kHz band */
217         redundancy = ec_dec_bit_logp(&dec, 12);
218         if (redundancy)
219         {
220             celt_to_silk = ec_dec_bit_logp(&dec, 1);
221             if (mode == MODE_HYBRID)
222                 redundancy_bytes = 2 + ec_dec_uint(&dec, 256);
223             else
224                 redundancy_bytes = len - ((ec_tell(&dec)+7)>>3);
225             len -= redundancy_bytes;
226             /* Shrink decoder because of raw bits */
227             dec.storage -= redundancy_bytes;
228         }
229         start_band = 17;
230     }
231
232     if (mode != MODE_SILK_ONLY)
233     {
234         int endband=21;
235
236         switch(st->bandwidth)
237         {
238         case BANDWIDTH_NARROWBAND:
239             endband = 13;
240             break;
241         case BANDWIDTH_WIDEBAND:
242             endband = 17;
243             break;
244         case BANDWIDTH_SUPERWIDEBAND:
245             endband = 19;
246             break;
247         case BANDWIDTH_FULLBAND:
248             endband = 21;
249             break;
250         }
251         celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
252         celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
253     }
254
255     if (redundancy)
256         transition = 0;
257
258     if (transition && mode != MODE_CELT_ONLY)
259         opus_decode(st, NULL, 0, pcm_transition, IMAX(st->Fs/100, audiosize), 0);
260
261     /* 5 ms redundant frame for CELT->SILK*/
262     if (redundancy && celt_to_silk)
263     {
264         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, st->Fs/200);
265         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
266     }
267
268     /* MUST be after PLC */
269     celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(start_band));
270
271     if (transition)
272         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
273
274     if (mode != MODE_SILK_ONLY)
275     {
276         /* Decode CELT */
277         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
278         for (i=0;i<frame_size*st->channels;i++)
279             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i]);
280     }
281
282     /* 5 ms redundant frame for SILK->CELT */
283     if (redundancy && !celt_to_silk)
284     {
285         int N2, N4;
286         N2 = st->Fs/200;
287         N4 = st->Fs/400;
288         celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
289         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
290
291         celt_decode(st->celt_dec, data+len, redundancy_bytes, redundant_audio, N2);
292         smooth_fade(pcm+st->channels*(frame_size-N4), redundant_audio+st->channels*N4,
293                         pcm+st->channels*(frame_size-N4), N4, st->channels);
294     }
295     if (redundancy && celt_to_silk)
296     {
297         int N2, N4;
298         N2 = st->Fs/200;
299         N4 = st->Fs/400;
300
301         for (c=0;c<st->channels;c++)
302         {
303             for (i=0;i<N4;i++)
304                 pcm[st->channels*i+c] = redundant_audio[st->channels*i];
305         }
306         smooth_fade(redundant_audio+st->channels*N4, pcm+st->channels*N4, pcm+st->channels*N4, N4, st->channels);
307     }
308     if (transition)
309     {
310         int plc_length, overlap;
311         plc_length = IMIN(audiosize, 10+st->Fs/400);
312         for (i=0;i<plc_length;i++)
313                 pcm[i] = pcm_transition[i];
314
315         overlap = IMIN(st->Fs/400, IMAX(0, audiosize-plc_length));
316         smooth_fade(pcm_transition+plc_length, pcm+plc_length, pcm+plc_length, overlap, st->channels);
317     }
318 #if OPUS_TEST_RANGE_CODER_STATE
319     st->rangeFinal = dec.rng;
320 #endif
321
322     st->prev_mode = mode;
323     st->prev_redundancy = redundancy;
324         return celt_ret<0 ? celt_ret : audiosize;
325
326 }
327
328 int opus_decoder_ctl(OpusDecoder *st, int request, ...)
329 {
330     va_list ap;
331
332     va_start(ap, request);
333
334     switch (request)
335     {
336         case OPUS_GET_MODE_REQUEST:
337         {
338             int *value = va_arg(ap, int*);
339             *value = st->prev_mode;
340         }
341         break;
342         case OPUS_SET_BANDWIDTH_REQUEST:
343         {
344             int value = va_arg(ap, int);
345             st->bandwidth = value;
346         }
347         break;
348         case OPUS_GET_BANDWIDTH_REQUEST:
349         {
350             int *value = va_arg(ap, int*);
351             *value = st->bandwidth;
352         }
353         break;
354         default:
355             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
356             break;
357     }
358
359     va_end(ap);
360     return OPUS_OK;
361 }
362
363 void opus_decoder_destroy(OpusDecoder *st)
364 {
365         free(st);
366 }
367
368 #if OPUS_TEST_RANGE_CODER_STATE
369 int opus_decoder_get_final_range(OpusDecoder *st)
370 {
371     return st->rangeFinal;
372 }
373 #endif
374
375
376 int opus_packet_get_bandwidth(const unsigned char *data)
377 {
378         int bandwidth;
379     if (data[0]&0x80)
380     {
381         bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
382         if (bandwidth == BANDWIDTH_MEDIUMBAND)
383             bandwidth = BANDWIDTH_NARROWBAND;
384     } else if ((data[0]&0x60) == 0x60)
385     {
386         bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
387     } else {
388
389         bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
390     }
391     return bandwidth;
392 }
393
394 int opus_packet_get_samples_per_frame(const unsigned char *data, int Fs)
395 {
396         int audiosize;
397     if (data[0]&0x80)
398     {
399         audiosize = ((data[0]>>3)&0x3);
400         audiosize = (Fs<<audiosize)/400;
401     } else if ((data[0]&0x60) == 0x60)
402     {
403         audiosize = (data[0]&0x08) ? Fs/50 : Fs/100;
404     } else {
405
406         audiosize = ((data[0]>>3)&0x3);
407         if (audiosize == 3)
408             audiosize = Fs*60/1000;
409         else
410             audiosize = (Fs<<audiosize)/100;
411     }
412     return audiosize;
413 }
414
415 int opus_packet_get_nb_channels(const unsigned char *data)
416 {
417     return (data[0]&0x4) ? 2 : 1;
418 }
419
420 int opus_packet_get_nb_frames(const unsigned char packet[], int len)
421 {
422         int count;
423         if (len<1)
424                 return OPUS_BAD_ARG;
425         count = packet[0]&0x3;
426         if (count==0)
427                 return 1;
428         else if (count!=3)
429                 return 2;
430         else if (len<2)
431                 return OPUS_CORRUPTED_DATA;
432         else
433                 return packet[1]&0x3F;
434 }
435
436 int opus_decoder_get_nb_samples(const OpusDecoder *dec, const unsigned char packet[], int len)
437 {
438         int samples;
439         int count = opus_packet_get_nb_frames(packet, len);
440         samples = count*opus_packet_get_samples_per_frame(packet, dec->Fs);
441         /* Can't have more than 120 ms */
442         if (samples*25 > dec->Fs*3)
443                 return OPUS_CORRUPTED_DATA;
444         else
445                 return samples;
446 }
447