Unrolled version of the comb filter for ARM (eliminates MOVs)
[opus.git] / celt / celt.c
1 /* Copyright (c) 2007-2008 CSIRO
2    Copyright (c) 2007-2010 Xiph.Org Foundation
3    Copyright (c) 2008 Gregory Maxwell
4    Written by Jean-Marc Valin and Gregory Maxwell */
5 /*
6    Redistribution and use in source and binary forms, with or without
7    modification, are permitted provided that the following conditions
8    are met:
9
10    - Redistributions of source code must retain the above copyright
11    notice, this list of conditions and the following disclaimer.
12
13    - Redistributions in binary form must reproduce the above copyright
14    notice, this list of conditions and the following disclaimer in the
15    documentation and/or other materials provided with the distribution.
16
17    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
18    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
19    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
20    A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER
21    OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
22    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
23    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
24    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
25    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
26    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
27    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28 */
29
30 #ifdef HAVE_CONFIG_H
31 #include "config.h"
32 #endif
33
34 #define CELT_C
35
36 #include "os_support.h"
37 #include "mdct.h"
38 #include <math.h>
39 #include "celt.h"
40 #include "pitch.h"
41 #include "bands.h"
42 #include "modes.h"
43 #include "entcode.h"
44 #include "quant_bands.h"
45 #include "rate.h"
46 #include "stack_alloc.h"
47 #include "mathops.h"
48 #include "float_cast.h"
49 #include <stdarg.h>
50 #include "celt_lpc.h"
51 #include "vq.h"
52
53 #ifndef PACKAGE_VERSION
54 #define PACKAGE_VERSION "unknown"
55 #endif
56
57
58 int resampling_factor(opus_int32 rate)
59 {
60    int ret;
61    switch (rate)
62    {
63    case 48000:
64       ret = 1;
65       break;
66    case 24000:
67       ret = 2;
68       break;
69    case 16000:
70       ret = 3;
71       break;
72    case 12000:
73       ret = 4;
74       break;
75    case 8000:
76       ret = 6;
77       break;
78    default:
79 #ifndef CUSTOM_MODES
80       celt_assert(0);
81 #endif
82       ret = 0;
83       break;
84    }
85    return ret;
86 }
87
88 #ifndef OVERRIDE_COMB_FILTER_CONST
89 /* This version should be faster on ARM */
90 #ifdef OPUS_ARM_ASM
91 static void comb_filter_const(opus_val32 *y, opus_val32 *x, int T, int N,
92       opus_val16 g10, opus_val16 g11, opus_val16 g12)
93 {
94    opus_val32 x0, x1, x2, x3, x4;
95    int i;
96    x4 = SHL32(x[-T-2], 1);
97    x3 = SHL32(x[-T-1], 1);
98    x2 = SHL32(x[-T], 1);
99    x1 = SHL32(x[-T+1], 1);
100    for (i=0;i<N-4;i+=5)
101    {
102       opus_val32 t;
103       x0=SHL32(x[i-T+2],1);
104       t = MAC16_32_Q16(x[i], g10, x2);
105       t = MAC16_32_Q16(t, g11, ADD32(x1,x3));
106       t = MAC16_32_Q16(t, g12, ADD32(x0,x4));
107       y[i] = t;
108       x4=SHL32(x[i-T+3],1);
109       t = MAC16_32_Q16(x[i+1], g10, x1);
110       t = MAC16_32_Q16(t, g11, ADD32(x0,x2));
111       t = MAC16_32_Q16(t, g12, ADD32(x4,x3));
112       y[i+1] = t;
113       x3=SHL32(x[i-T+4],1);
114       t = MAC16_32_Q16(x[i+2], g10, x0);
115       t = MAC16_32_Q16(t, g11, ADD32(x4,x1));
116       t = MAC16_32_Q16(t, g12, ADD32(x3,x2));
117       y[i+2] = t;
118       x2=SHL32(x[i-T+5],1);
119       t = MAC16_32_Q16(x[i+3], g10, x4);
120       t = MAC16_32_Q16(t, g11, ADD32(x3,x0));
121       t = MAC16_32_Q16(t, g12, ADD32(x2,x1));
122       y[i+3] = t;
123       x1=SHL32(x[i-T+6],1);
124       t = MAC16_32_Q16(x[i+4], g10, x3);
125       t = MAC16_32_Q16(t, g11, ADD32(x2,x4));
126       t = MAC16_32_Q16(t, g12, ADD32(x1,x0));
127       y[i+4] = t;
128    }
129 #ifdef CUSTOM_MODES
130    for (;i<N;i++)
131    {
132       opus_val32 t;
133       x0=SHL32(x[i-T+2],1);
134       t = MAC16_32_Q16(x[i], g10, x2);
135       t = MAC16_32_Q16(t, g11, ADD32(x1,x3));
136       t = MAC16_32_Q16(t, g12, ADD32(x0,x4));
137       y[i] = t;
138       x4=x3;
139       x3=x2;
140       x2=x1;
141       x1=x0;
142    }
143 #endif
144 }
145 #else
146 static void comb_filter_const(opus_val32 *y, opus_val32 *x, int T, int N,
147       opus_val16 g10, opus_val16 g11, opus_val16 g12)
148 {
149    opus_val32 x0, x1, x2, x3, x4;
150    int i;
151    x4 = x[-T-2];
152    x3 = x[-T-1];
153    x2 = x[-T];
154    x1 = x[-T+1];
155    for (i=0;i<N;i++)
156    {
157       x0=x[i-T+2];
158       y[i] = x[i]
159                + MULT16_32_Q15(g10,x2)
160                + MULT16_32_Q15(g11,ADD32(x1,x3))
161                + MULT16_32_Q15(g12,ADD32(x0,x4));
162       x4=x3;
163       x3=x2;
164       x2=x1;
165       x1=x0;
166    }
167
168 }
169 #endif
170 #endif
171
172 void comb_filter(opus_val32 *y, opus_val32 *x, int T0, int T1, int N,
173       opus_val16 g0, opus_val16 g1, int tapset0, int tapset1,
174       const opus_val16 *window, int overlap)
175 {
176    int i;
177    /* printf ("%d %d %f %f\n", T0, T1, g0, g1); */
178    opus_val16 g00, g01, g02, g10, g11, g12;
179    opus_val32 x0, x1, x2, x3, x4;
180    static const opus_val16 gains[3][3] = {
181          {QCONST16(0.3066406250f, 15), QCONST16(0.2170410156f, 15), QCONST16(0.1296386719f, 15)},
182          {QCONST16(0.4638671875f, 15), QCONST16(0.2680664062f, 15), QCONST16(0.f, 15)},
183          {QCONST16(0.7998046875f, 15), QCONST16(0.1000976562f, 15), QCONST16(0.f, 15)}};
184
185    if (g0==0 && g1==0)
186    {
187       /* OPT: Happens to work without the OPUS_MOVE(), but only because the current encoder already copies x to y */
188       if (x!=y)
189          OPUS_MOVE(y, x, N);
190       return;
191    }
192    g00 = MULT16_16_P15(g0, gains[tapset0][0]);
193    g01 = MULT16_16_P15(g0, gains[tapset0][1]);
194    g02 = MULT16_16_P15(g0, gains[tapset0][2]);
195    g10 = MULT16_16_P15(g1, gains[tapset1][0]);
196    g11 = MULT16_16_P15(g1, gains[tapset1][1]);
197    g12 = MULT16_16_P15(g1, gains[tapset1][2]);
198    x1 = x[-T1+1];
199    x2 = x[-T1  ];
200    x3 = x[-T1-1];
201    x4 = x[-T1-2];
202    for (i=0;i<overlap;i++)
203    {
204       opus_val16 f;
205       x0=x[i-T1+2];
206       f = MULT16_16_Q15(window[i],window[i]);
207       y[i] = x[i]
208                + MULT16_32_Q15(MULT16_16_Q15((Q15ONE-f),g00),x[i-T0])
209                + MULT16_32_Q15(MULT16_16_Q15((Q15ONE-f),g01),ADD32(x[i-T0+1],x[i-T0-1]))
210                + MULT16_32_Q15(MULT16_16_Q15((Q15ONE-f),g02),ADD32(x[i-T0+2],x[i-T0-2]))
211                + MULT16_32_Q15(MULT16_16_Q15(f,g10),x2)
212                + MULT16_32_Q15(MULT16_16_Q15(f,g11),ADD32(x1,x3))
213                + MULT16_32_Q15(MULT16_16_Q15(f,g12),ADD32(x0,x4));
214       x4=x3;
215       x3=x2;
216       x2=x1;
217       x1=x0;
218
219    }
220    if (g1==0)
221    {
222       /* OPT: Happens to work without the OPUS_MOVE(), but only because the current encoder already copies x to y */
223       if (x!=y)
224          OPUS_MOVE(y+overlap, x+overlap, N-overlap);
225       return;
226    }
227
228    /* Compute the part with the constant filter. */
229    comb_filter_const(y+i, x+i, T1, N-i, g10, g11, g12);
230 }
231
232 const signed char tf_select_table[4][8] = {
233       {0, -1, 0, -1,    0,-1, 0,-1},
234       {0, -1, 0, -2,    1, 0, 1,-1},
235       {0, -2, 0, -3,    2, 0, 1,-1},
236       {0, -2, 0, -3,    3, 0, 1,-1},
237 };
238
239
240 void init_caps(const CELTMode *m,int *cap,int LM,int C)
241 {
242    int i;
243    for (i=0;i<m->nbEBands;i++)
244    {
245       int N;
246       N=(m->eBands[i+1]-m->eBands[i])<<LM;
247       cap[i] = (m->cache.caps[m->nbEBands*(2*LM+C-1)+i]+64)*C*N>>2;
248    }
249 }
250
251
252
253 const char *opus_strerror(int error)
254 {
255    static const char * const error_strings[8] = {
256       "success",
257       "invalid argument",
258       "buffer too small",
259       "internal error",
260       "corrupted stream",
261       "request not implemented",
262       "invalid state",
263       "memory allocation failed"
264    };
265    if (error > 0 || error < -7)
266       return "unknown error";
267    else
268       return error_strings[-error];
269 }
270
271 const char *opus_get_version_string(void)
272 {
273     return "libopus " PACKAGE_VERSION
274 #ifdef FIXED_POINT
275           "-fixed"
276 #endif
277 #ifdef FUZZING
278           "-fuzzing"
279 #endif
280           ;
281 }