Splitting the resampler buffering between encode and decode
[opus.git] / src / opus_decoder.c
1 /* Copyright (c) 2010 Xiph.Org Foundation, Skype Limited
2    Written by Jean-Marc Valin and Koen Vos */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
19    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #ifdef HAVE_CONFIG_H
29 #include "config.h"
30 #endif
31
32 #include <stdlib.h>
33 #include <stdio.h>
34 #include <stdarg.h>
35 #include "opus_decoder.h"
36 #include "entdec.h"
37 #include "modes.h"
38 #include "SKP_Silk_SDK_API.h"
39 #include "SKP_Silk_SigProc_FIX.h"
40
41 OpusDecoder *opus_decoder_create(int Fs, int channels)
42 {
43     char *raw_state;
44         int ret, silkDecSizeBytes, celtDecSizeBytes;
45         OpusDecoder *st;
46
47         /* Initialize SILK encoder */
48     ret = SKP_Silk_SDK_Get_Decoder_Size( &silkDecSizeBytes );
49     if( ret ) {
50         /* Handle error */
51     }
52     celtDecSizeBytes = celt_decoder_get_size(channels);
53     raw_state = calloc(sizeof(OpusDecoder)+silkDecSizeBytes+celtDecSizeBytes, 1);
54     st = (OpusDecoder*)raw_state;
55     st->silk_dec = (void*)(raw_state+sizeof(OpusDecoder));
56     st->celt_dec = (CELTDecoder*)(raw_state+sizeof(OpusDecoder)+silkDecSizeBytes);
57     st->stream_channels = st->channels = channels;
58
59     st->Fs = Fs;
60
61     /* Reset decoder */
62     ret = SKP_Silk_SDK_InitDecoder( st->silk_dec );
63     if( ret ) {
64         /* Handle error */
65     }
66
67         /* Initialize CELT decoder */
68         st->celt_dec = celt_decoder_init(st->celt_dec, Fs, channels, NULL);
69
70         st->prev_mode = 0;
71         return st;
72 }
73
74 int opus_decode(OpusDecoder *st, const unsigned char *data,
75                 int len, short *pcm, int frame_size, int decode_fec)
76 {
77         int i, silk_ret=0, celt_ret=0;
78         ec_dec dec;
79     SKP_SILK_SDK_DecControlStruct DecControl;
80     SKP_int32 silk_frame_size;
81     short pcm_celt[960*2];
82     short pcm_transition[960*2];
83     int audiosize;
84     int mode;
85     int transition=0;
86
87     /* Payloads of 1 (2 including ToC) or 0 trigger the PLC/DTX */
88     if (len<=2)
89         data = NULL;
90
91     if (data != NULL)
92     {
93         /* Decoding mode/bandwidth/framesize from first byte */
94         if (data[0]&0x80)
95         {
96             mode = MODE_CELT_ONLY;
97             st->bandwidth = BANDWIDTH_MEDIUMBAND + ((data[0]>>5)&0x3);
98             if (st->bandwidth == BANDWIDTH_MEDIUMBAND)
99                 st->bandwidth = BANDWIDTH_NARROWBAND;
100             audiosize = ((data[0]>>3)&0x3);
101             audiosize = (st->Fs<<audiosize)/400;
102         } else if ((data[0]&0x60) == 0x60)
103         {
104             mode = MODE_HYBRID;
105             st->bandwidth = (data[0]&0x10) ? BANDWIDTH_FULLBAND : BANDWIDTH_SUPERWIDEBAND;
106             audiosize = (data[0]&0x08) ? st->Fs/50 : st->Fs/100;
107         } else {
108
109             mode = MODE_SILK_ONLY;
110             st->bandwidth = BANDWIDTH_NARROWBAND + ((data[0]>>5)&0x3);
111             audiosize = ((data[0]>>3)&0x3);
112             if (audiosize == 3)
113                 audiosize = st->Fs*60/1000;
114             else
115                 audiosize = (st->Fs<<audiosize)/100;
116         }
117         st->stream_channels = (data[0]&0x4) ? 2 : 1;
118         /*printf ("%d %d %d\n", st->mode, st->bandwidth, audiosize);*/
119
120         len -= 1;
121         data += 1;
122         ec_dec_init(&dec,(unsigned char*)data,len);
123     } else {
124         audiosize = frame_size;
125         mode = st->prev_mode;
126     }
127
128     if (mode != st->prev_mode && st->prev_mode > 0
129                 && !(mode == MODE_SILK_ONLY && st->prev_mode == MODE_HYBRID)
130                 && !(mode == MODE_HYBRID && st->prev_mode == MODE_SILK_ONLY))
131     {
132         transition = 1;
133         opus_decode(st, NULL, 0, pcm_transition, IMAX(480, audiosize), 0);
134     }
135     if (audiosize > frame_size)
136     {
137         fprintf(stderr, "PCM buffer too small");
138         return -1;
139     } else {
140         frame_size = audiosize;
141     }
142
143     /* SILK processing */
144     if (mode != MODE_CELT_ONLY)
145     {
146         int lost_flag, decoded_samples;
147         SKP_int16 *pcm_ptr = pcm;
148
149         if (st->prev_mode==MODE_CELT_ONLY)
150                 SKP_Silk_SDK_InitDecoder( st->silk_dec );
151
152         DecControl.API_sampleRate = st->Fs;
153         DecControl.payloadSize_ms = 1000 * audiosize / st->Fs;
154         if( mode == MODE_SILK_ONLY ) {
155             if( st->bandwidth == BANDWIDTH_NARROWBAND ) {
156                 DecControl.internalSampleRate = 8000;
157             } else if( st->bandwidth == BANDWIDTH_MEDIUMBAND ) {
158                 DecControl.internalSampleRate = 12000;
159             } else if( st->bandwidth == BANDWIDTH_WIDEBAND ) {
160                 DecControl.internalSampleRate = 16000;
161             } else {
162                 SKP_assert( 0 );
163             }
164         } else {
165             /* Hybrid mode */
166             DecControl.internalSampleRate = 16000;
167         }
168
169         if (transition)
170         {
171                 /*SKP_Silk_resampler_state_struct   state;
172                 SKP_Silk_resampler_init( &state, st->Fs, 16000);
173                  */
174         }
175         lost_flag = data == NULL ? 1 : 2 * decode_fec;
176         decoded_samples = 0;
177         do {
178             /* Call SILK decoder */
179             int first_frame = decoded_samples == 0;
180             silk_ret = SKP_Silk_SDK_Decode( st->silk_dec, &DecControl, 
181                 lost_flag, first_frame, &dec, len, pcm_ptr, &silk_frame_size );
182             if( silk_ret ) {
183                 fprintf (stderr, "SILK decode error\n");
184                 /* Handle error */
185             }
186             pcm_ptr += silk_frame_size;
187             decoded_samples += silk_frame_size;
188         } while( decoded_samples < frame_size );
189     } else {
190         for (i=0;i<frame_size*st->channels;i++)
191             pcm[i] = 0;
192     }
193
194     if (mode == MODE_HYBRID)
195     {
196         /* This should be adjusted based on the SILK bandwidth */
197         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(17));
198     } else {
199         celt_decoder_ctl(st->celt_dec, CELT_SET_START_BAND(0));
200     }
201
202     if (mode != MODE_SILK_ONLY)
203     {
204         int endband;
205
206             switch(st->bandwidth)
207             {
208             case BANDWIDTH_NARROWBAND:
209                 endband = 13;
210                 break;
211             case BANDWIDTH_WIDEBAND:
212                 endband = 17;
213                 break;
214             case BANDWIDTH_SUPERWIDEBAND:
215                 endband = 19;
216                 break;
217             case BANDWIDTH_FULLBAND:
218                 endband = 21;
219                 break;
220             }
221             celt_decoder_ctl(st->celt_dec, CELT_SET_END_BAND(endband));
222             celt_decoder_ctl(st->celt_dec, CELT_SET_CHANNELS(st->stream_channels));
223
224             if (st->prev_mode == MODE_SILK_ONLY)
225                 celt_decoder_ctl(st->celt_dec, CELT_RESET_STATE);
226         /* Decode CELT */
227         celt_ret = celt_decode_with_ec(st->celt_dec, decode_fec?NULL:data, len, pcm_celt, frame_size, &dec);
228         /* Mix and add resampler delay compensation to CELT */
229         for (i=0;i<DECODER_DELAY*st->channels;i++)
230                 pcm[i] = ADD_SAT16(pcm[i], st->delay_buffer[i+(DECODER_BUFFER-DECODER_DELAY)*st->channels]);
231         for (;i<frame_size*st->channels;i++)
232             pcm[i] = ADD_SAT16(pcm[i], pcm_celt[i-DECODER_DELAY*st->channels]);
233
234             if (frame_size>DECODER_BUFFER)
235             {
236                 for (i=0;i<DECODER_BUFFER*st->channels;i++)
237                     st->delay_buffer[i] = pcm_celt[(frame_size-DECODER_BUFFER)*st->channels+i];
238             } else {
239                 int tmp = DECODER_BUFFER-frame_size;
240                 for (i=0;i<tmp*st->channels;i++)
241                     st->delay_buffer[i] = st->delay_buffer[i+frame_size*st->channels];
242                 for (i=0;i<frame_size*st->channels;i++)
243                     st->delay_buffer[tmp*st->channels+i] = pcm_celt[i];
244             }
245     }
246
247     if (transition)
248     {
249         int plc_length, overlap;
250         if (mode == MODE_CELT_ONLY)
251                 plc_length = IMIN(audiosize, 10+st->Fs/200);
252         else
253                 plc_length = IMIN(audiosize, 10+st->Fs/400);
254         for (i=0;i<plc_length;i++)
255                 pcm[i] = pcm_transition[i];
256
257         overlap = IMIN(480, IMAX(0, audiosize-plc_length));
258         for (i=0;i<overlap;i++)
259                 pcm[plc_length+i] = (i*pcm[plc_length+i] + (overlap-i)*pcm_transition[plc_length+i])/overlap;
260     }
261 #if OPUS_TEST_RANGE_CODER_STATE
262     st->rangeFinal = dec.rng;
263 #endif
264
265     st->prev_mode = mode;
266         return celt_ret<0 ? celt_ret : audiosize;
267
268 }
269
270 void opus_decoder_ctl(OpusDecoder *st, int request, ...)
271 {
272     va_list ap;
273
274     va_start(ap, request);
275
276     switch (request)
277     {
278         case OPUS_GET_MODE_REQUEST:
279         {
280             int *value = va_arg(ap, int*);
281             *value = st->prev_mode;
282         }
283         break;
284         case OPUS_SET_BANDWIDTH_REQUEST:
285         {
286             int value = va_arg(ap, int);
287             st->bandwidth = value;
288         }
289         break;
290         case OPUS_GET_BANDWIDTH_REQUEST:
291         {
292             int *value = va_arg(ap, int*);
293             *value = st->bandwidth;
294         }
295         break;
296         default:
297             fprintf(stderr, "unknown opus_decoder_ctl() request: %d", request);
298             break;
299     }
300
301     va_end(ap);
302 }
303
304 void opus_decoder_destroy(OpusDecoder *st)
305 {
306         free(st);
307 }
308
309 #if OPUS_TEST_RANGE_CODER_STATE
310 int opus_decoder_get_final_range(OpusDecoder *st)
311 {
312     return st->rangeFinal;
313 }
314 #endif