Optimize silk_warped_autocorrelation_FIX() for ARM NEON
[opus.git] / silk / SigProc_FIX.h
1 /***********************************************************************
2 Copyright (c) 2006-2011, Skype Limited. All rights reserved.
3 Redistribution and use in source and binary forms, with or without
4 modification, are permitted provided that the following conditions
5 are met:
6 - Redistributions of source code must retain the above copyright notice,
7 this list of conditions and the following disclaimer.
8 - Redistributions in binary form must reproduce the above copyright
9 notice, this list of conditions and the following disclaimer in the
10 documentation and/or other materials provided with the distribution.
11 - Neither the name of Internet Society, IETF or IETF Trust, nor the
12 names of specific contributors, may be used to endorse or promote
13 products derived from this software without specific prior written
14 permission.
15 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
16 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
17 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
18 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
19 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
21 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
22 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
23 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
24 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
25 POSSIBILITY OF SUCH DAMAGE.
26 ***********************************************************************/
27
28 #ifndef SILK_SIGPROC_FIX_H
29 #define SILK_SIGPROC_FIX_H
30
31 #ifdef  __cplusplus
32 extern "C"
33 {
34 #endif
35
36 /*#define silk_MACRO_COUNT */          /* Used to enable WMOPS counting */
37
38 #define SILK_MAX_ORDER_LPC            24            /* max order of the LPC analysis in schur() and k2a() */
39
40 #include <string.h>                                 /* for memset(), memcpy(), memmove() */
41 #include "typedef.h"
42 #include "resampler_structs.h"
43 #include "macros.h"
44 #include "cpu_support.h"
45
46 #if defined(OPUS_X86_MAY_HAVE_SSE4_1)
47 #include "x86/SigProc_FIX_sse.h"
48 #endif
49
50 #if (defined(OPUS_ARM_ASM) || defined(OPUS_ARM_MAY_HAVE_NEON_INTR))
51 #include "arm/LPC_inv_pred_gain_arm.h"
52 #endif
53
54 /********************************************************************/
55 /*                    SIGNAL PROCESSING FUNCTIONS                   */
56 /********************************************************************/
57
58 /*!
59  * Initialize/reset the resampler state for a given pair of input/output sampling rates
60 */
61 opus_int silk_resampler_init(
62     silk_resampler_state_struct *S,                 /* I/O  Resampler state                                             */
63     opus_int32                  Fs_Hz_in,           /* I    Input sampling rate (Hz)                                    */
64     opus_int32                  Fs_Hz_out,          /* I    Output sampling rate (Hz)                                   */
65     opus_int                    forEnc              /* I    If 1: encoder; if 0: decoder                                */
66 );
67
68 /*!
69  * Resampler: convert from one sampling rate to another
70  */
71 opus_int silk_resampler(
72     silk_resampler_state_struct *S,                 /* I/O  Resampler state                                             */
73     opus_int16                  out[],              /* O    Output signal                                               */
74     const opus_int16            in[],               /* I    Input signal                                                */
75     opus_int32                  inLen               /* I    Number of input samples                                     */
76 );
77
78 /*!
79 * Downsample 2x, mediocre quality
80 */
81 void silk_resampler_down2(
82     opus_int32                  *S,                 /* I/O  State vector [ 2 ]                                          */
83     opus_int16                  *out,               /* O    Output signal [ len ]                                       */
84     const opus_int16            *in,                /* I    Input signal [ floor(len/2) ]                               */
85     opus_int32                  inLen               /* I    Number of input samples                                     */
86 );
87
88 /*!
89  * Downsample by a factor 2/3, low quality
90 */
91 void silk_resampler_down2_3(
92     opus_int32                  *S,                 /* I/O  State vector [ 6 ]                                          */
93     opus_int16                  *out,               /* O    Output signal [ floor(2*inLen/3) ]                          */
94     const opus_int16            *in,                /* I    Input signal [ inLen ]                                      */
95     opus_int32                  inLen               /* I    Number of input samples                                     */
96 );
97
98 /*!
99  * second order ARMA filter;
100  * slower than biquad() but uses more precise coefficients
101  * can handle (slowly) varying coefficients
102  */
103 void silk_biquad_alt(
104     const opus_int16            *in,                /* I     input signal                                               */
105     const opus_int32            *B_Q28,             /* I     MA coefficients [3]                                        */
106     const opus_int32            *A_Q28,             /* I     AR coefficients [2]                                        */
107     opus_int32                  *S,                 /* I/O   State vector [2]                                           */
108     opus_int16                  *out,               /* O     output signal                                              */
109     const opus_int32            len,                /* I     signal length (must be even)                               */
110     opus_int                    stride              /* I     Operate on interleaved signal if > 1                       */
111 );
112
113 /* Variable order MA prediction error filter. */
114 void silk_LPC_analysis_filter(
115     opus_int16                  *out,               /* O    Output signal                                               */
116     const opus_int16            *in,                /* I    Input signal                                                */
117     const opus_int16            *B,                 /* I    MA prediction coefficients, Q12 [order]                     */
118     const opus_int32            len,                /* I    Signal length                                               */
119     const opus_int32            d,                  /* I    Filter order                                                */
120     int                         arch                /* I    Run-time architecture                                       */
121 );
122
123 /* Chirp (bandwidth expand) LP AR filter */
124 void silk_bwexpander(
125     opus_int16                  *ar,                /* I/O  AR filter to be expanded (without leading 1)                */
126     const opus_int              d,                  /* I    Length of ar                                                */
127     opus_int32                  chirp_Q16           /* I    Chirp factor (typically in the range 0 to 1)                */
128 );
129
130 /* Chirp (bandwidth expand) LP AR filter */
131 void silk_bwexpander_32(
132     opus_int32                  *ar,                /* I/O  AR filter to be expanded (without leading 1)                */
133     const opus_int              d,                  /* I    Length of ar                                                */
134     opus_int32                  chirp_Q16           /* I    Chirp factor in Q16                                         */
135 );
136
137 /* Compute inverse of LPC prediction gain, and                           */
138 /* test if LPC coefficients are stable (all poles within unit circle)    */
139 opus_int32 silk_LPC_inverse_pred_gain_c(            /* O   Returns inverse prediction gain in energy domain, Q30        */
140     const opus_int16            *A_Q12,             /* I   Prediction coefficients, Q12 [order]                         */
141     const opus_int              order               /* I   Prediction order                                             */
142 );
143
144 /* Split signal in two decimated bands using first-order allpass filters */
145 void silk_ana_filt_bank_1(
146     const opus_int16            *in,                /* I    Input signal [N]                                            */
147     opus_int32                  *S,                 /* I/O  State vector [2]                                            */
148     opus_int16                  *outL,              /* O    Low band [N/2]                                              */
149     opus_int16                  *outH,              /* O    High band [N/2]                                             */
150     const opus_int32            N                   /* I    Number of input samples                                     */
151 );
152
153 #if !defined(OVERRIDE_silk_LPC_inverse_pred_gain)
154 #define silk_LPC_inverse_pred_gain(A_Q12, order, arch)     ((void)(arch), silk_LPC_inverse_pred_gain_c(A_Q12, order))
155 #endif
156
157 /********************************************************************/
158 /*                        SCALAR FUNCTIONS                          */
159 /********************************************************************/
160
161 /* Approximation of 128 * log2() (exact inverse of approx 2^() below) */
162 /* Convert input to a log scale    */
163 opus_int32 silk_lin2log(
164     const opus_int32            inLin               /* I  input in linear scale                                         */
165 );
166
167 /* Approximation of a sigmoid function */
168 opus_int silk_sigm_Q15(
169     opus_int                    in_Q5               /* I                                                                */
170 );
171
172 /* Approximation of 2^() (exact inverse of approx log2() above) */
173 /* Convert input to a linear scale */
174 opus_int32 silk_log2lin(
175     const opus_int32            inLog_Q7            /* I  input on log scale                                            */
176 );
177
178 /* Compute number of bits to right shift the sum of squares of a vector    */
179 /* of int16s to make it fit in an int32                                    */
180 void silk_sum_sqr_shift(
181     opus_int32                  *energy,            /* O   Energy of x, after shifting to the right                     */
182     opus_int                    *shift,             /* O   Number of bits right shift applied to energy                 */
183     const opus_int16            *x,                 /* I   Input vector                                                 */
184     opus_int                    len                 /* I   Length of input vector                                       */
185 );
186
187 /* Calculates the reflection coefficients from the correlation sequence    */
188 /* Faster than schur64(), but much less accurate.                          */
189 /* uses SMLAWB(), requiring armv5E and higher.                             */
190 opus_int32 silk_schur(                              /* O    Returns residual energy                                     */
191     opus_int16                  *rc_Q15,            /* O    reflection coefficients [order] Q15                         */
192     const opus_int32            *c,                 /* I    correlations [order+1]                                      */
193     const opus_int32            order               /* I    prediction order                                            */
194 );
195
196 /* Calculates the reflection coefficients from the correlation sequence    */
197 /* Slower than schur(), but more accurate.                                 */
198 /* Uses SMULL(), available on armv4                                        */
199 opus_int32 silk_schur64(                            /* O    returns residual energy                                     */
200     opus_int32                  rc_Q16[],           /* O    Reflection coefficients [order] Q16                         */
201     const opus_int32            c[],                /* I    Correlations [order+1]                                      */
202     opus_int32                  order               /* I    Prediction order                                            */
203 );
204
205 /* Step up function, converts reflection coefficients to prediction coefficients */
206 void silk_k2a(
207     opus_int32                  *A_Q24,             /* O    Prediction coefficients [order] Q24                         */
208     const opus_int16            *rc_Q15,            /* I    Reflection coefficients [order] Q15                         */
209     const opus_int32            order               /* I    Prediction order                                            */
210 );
211
212 /* Step up function, converts reflection coefficients to prediction coefficients */
213 void silk_k2a_Q16(
214     opus_int32                  *A_Q24,             /* O    Prediction coefficients [order] Q24                         */
215     const opus_int32            *rc_Q16,            /* I    Reflection coefficients [order] Q16                         */
216     const opus_int32            order               /* I    Prediction order                                            */
217 );
218
219 /* Apply sine window to signal vector.                              */
220 /* Window types:                                                    */
221 /*    1 -> sine window from 0 to pi/2                               */
222 /*    2 -> sine window from pi/2 to pi                              */
223 /* every other sample of window is linearly interpolated, for speed */
224 void silk_apply_sine_window(
225     opus_int16                  px_win[],           /* O    Pointer to windowed signal                                  */
226     const opus_int16            px[],               /* I    Pointer to input signal                                     */
227     const opus_int              win_type,           /* I    Selects a window type                                       */
228     const opus_int              length              /* I    Window length, multiple of 4                                */
229 );
230
231 /* Compute autocorrelation */
232 void silk_autocorr(
233     opus_int32                  *results,           /* O    Result (length correlationCount)                            */
234     opus_int                    *scale,             /* O    Scaling of the correlation vector                           */
235     const opus_int16            *inputData,         /* I    Input data to correlate                                     */
236     const opus_int              inputDataSize,      /* I    Length of input                                             */
237     const opus_int              correlationCount,   /* I    Number of correlation taps to compute                       */
238     int                         arch                /* I    Run-time architecture                                       */
239 );
240
241 void silk_decode_pitch(
242     opus_int16                  lagIndex,           /* I                                                                */
243     opus_int8                   contourIndex,       /* O                                                                */
244     opus_int                    pitch_lags[],       /* O    4 pitch values                                              */
245     const opus_int              Fs_kHz,             /* I    sampling frequency (kHz)                                    */
246     const opus_int              nb_subfr            /* I    number of sub frames                                        */
247 );
248
249 opus_int silk_pitch_analysis_core(                  /* O    Voicing estimate: 0 voiced, 1 unvoiced                      */
250     const opus_int16            *frame,             /* I    Signal of length PE_FRAME_LENGTH_MS*Fs_kHz                  */
251     opus_int                    *pitch_out,         /* O    4 pitch lag values                                          */
252     opus_int16                  *lagIndex,          /* O    Lag Index                                                   */
253     opus_int8                   *contourIndex,      /* O    Pitch contour Index                                         */
254     opus_int                    *LTPCorr_Q15,       /* I/O  Normalized correlation; input: value from previous frame    */
255     opus_int                    prevLag,            /* I    Last lag of previous frame; set to zero is unvoiced         */
256     const opus_int32            search_thres1_Q16,  /* I    First stage threshold for lag candidates 0 - 1              */
257     const opus_int              search_thres2_Q13,  /* I    Final threshold for lag candidates 0 - 1                    */
258     const opus_int              Fs_kHz,             /* I    Sample frequency (kHz)                                      */
259     const opus_int              complexity,         /* I    Complexity setting, 0-2, where 2 is highest                 */
260     const opus_int              nb_subfr,           /* I    number of 5 ms subframes                                    */
261     int                         arch                /* I    Run-time architecture                                       */
262 );
263
264 /* Compute Normalized Line Spectral Frequencies (NLSFs) from whitening filter coefficients      */
265 /* If not all roots are found, the a_Q16 coefficients are bandwidth expanded until convergence. */
266 void silk_A2NLSF(
267     opus_int16                  *NLSF,              /* O    Normalized Line Spectral Frequencies in Q15 (0..2^15-1) [d] */
268     opus_int32                  *a_Q16,             /* I/O  Monic whitening filter coefficients in Q16 [d]              */
269     const opus_int              d                   /* I    Filter order (must be even)                                 */
270 );
271
272 /* compute whitening filter coefficients from normalized line spectral frequencies */
273 void silk_NLSF2A(
274     opus_int16                  *a_Q12,             /* O    monic whitening filter coefficients in Q12,  [ d ]          */
275     const opus_int16            *NLSF,              /* I    normalized line spectral frequencies in Q15, [ d ]          */
276     const opus_int              d,                  /* I    filter order (should be even)                               */
277     int                         arch                /* I    Run-time architecture                                       */
278 );
279
280 /* Convert int32 coefficients to int16 coefs and make sure there's no wrap-around */
281 void silk_LPC_fit(
282     opus_int16                  *a_QOUT,            /* O    Output signal                                               */
283     opus_int32                  *a_QIN,             /* I/O  Input signal                                                */
284     const opus_int              QOUT,               /* I    Input Q domain                                              */
285     const opus_int              QIN,                /* I    Input Q domain                                              */
286     const opus_int              d                   /* I    Filter order                                                */
287 );
288
289 void silk_insertion_sort_increasing(
290     opus_int32                  *a,                 /* I/O   Unsorted / Sorted vector                                   */
291     opus_int                    *idx,               /* O     Index vector for the sorted elements                       */
292     const opus_int              L,                  /* I     Vector length                                              */
293     const opus_int              K                   /* I     Number of correctly sorted positions                       */
294 );
295
296 void silk_insertion_sort_decreasing_int16(
297     opus_int16                  *a,                 /* I/O   Unsorted / Sorted vector                                   */
298     opus_int                    *idx,               /* O     Index vector for the sorted elements                       */
299     const opus_int              L,                  /* I     Vector length                                              */
300     const opus_int              K                   /* I     Number of correctly sorted positions                       */
301 );
302
303 void silk_insertion_sort_increasing_all_values_int16(
304      opus_int16                 *a,                 /* I/O   Unsorted / Sorted vector                                   */
305      const opus_int             L                   /* I     Vector length                                              */
306 );
307
308 /* NLSF stabilizer, for a single input data vector */
309 void silk_NLSF_stabilize(
310           opus_int16            *NLSF_Q15,          /* I/O   Unstable/stabilized normalized LSF vector in Q15 [L]       */
311     const opus_int16            *NDeltaMin_Q15,     /* I     Min distance vector, NDeltaMin_Q15[L] must be >= 1 [L+1]   */
312     const opus_int              L                   /* I     Number of NLSF parameters in the input vector              */
313 );
314
315 /* Laroia low complexity NLSF weights */
316 void silk_NLSF_VQ_weights_laroia(
317     opus_int16                  *pNLSFW_Q_OUT,      /* O     Pointer to input vector weights [D]                        */
318     const opus_int16            *pNLSF_Q15,         /* I     Pointer to input vector         [D]                        */
319     const opus_int              D                   /* I     Input vector dimension (even)                              */
320 );
321
322 /* Compute reflection coefficients from input signal */
323 void silk_burg_modified_c(
324     opus_int32                  *res_nrg,           /* O    Residual energy                                             */
325     opus_int                    *res_nrg_Q,         /* O    Residual energy Q value                                     */
326     opus_int32                  A_Q16[],            /* O    Prediction coefficients (length order)                      */
327     const opus_int16            x[],                /* I    Input signal, length: nb_subfr * ( D + subfr_length )       */
328     const opus_int32            minInvGain_Q30,     /* I    Inverse of max prediction gain                              */
329     const opus_int              subfr_length,       /* I    Input signal subframe length (incl. D preceding samples)    */
330     const opus_int              nb_subfr,           /* I    Number of subframes stacked in x                            */
331     const opus_int              D,                  /* I    Order                                                       */
332     int                         arch                /* I    Run-time architecture                                       */
333 );
334
335 /* Copy and multiply a vector by a constant */
336 void silk_scale_copy_vector16(
337     opus_int16                  *data_out,
338     const opus_int16            *data_in,
339     opus_int32                  gain_Q16,           /* I    Gain in Q16                                                 */
340     const opus_int              dataSize            /* I    Length                                                      */
341 );
342
343 /* Some for the LTP related function requires Q26 to work.*/
344 void silk_scale_vector32_Q26_lshift_18(
345     opus_int32                  *data1,             /* I/O  Q0/Q18                                                      */
346     opus_int32                  gain_Q26,           /* I    Q26                                                         */
347     opus_int                    dataSize            /* I    length                                                      */
348 );
349
350 /********************************************************************/
351 /*                        INLINE ARM MATH                           */
352 /********************************************************************/
353
354 /*    return sum( inVec1[i] * inVec2[i] ) */
355
356 opus_int32 silk_inner_prod_aligned(
357     const opus_int16 *const     inVec1,             /*    I input vector 1                                              */
358     const opus_int16 *const     inVec2,             /*    I input vector 2                                              */
359     const opus_int              len,                /*    I vector lengths                                              */
360     int                         arch                /*    I Run-time architecture                                       */
361 );
362
363
364 opus_int32 silk_inner_prod_aligned_scale(
365     const opus_int16 *const     inVec1,             /*    I input vector 1                                              */
366     const opus_int16 *const     inVec2,             /*    I input vector 2                                              */
367     const opus_int              scale,              /*    I number of bits to shift                                     */
368     const opus_int              len                 /*    I vector lengths                                              */
369 );
370
371 opus_int64 silk_inner_prod16_aligned_64_c(
372     const opus_int16            *inVec1,            /*    I input vector 1                                              */
373     const opus_int16            *inVec2,            /*    I input vector 2                                              */
374     const opus_int              len                 /*    I vector lengths                                              */
375 );
376
377 /********************************************************************/
378 /*                                MACROS                            */
379 /********************************************************************/
380
381 /* Rotate a32 right by 'rot' bits. Negative rot values result in rotating
382    left. Output is 32bit int.
383    Note: contemporary compilers recognize the C expression below and
384    compile it into a 'ror' instruction if available. No need for OPUS_INLINE ASM! */
385 static OPUS_INLINE opus_int32 silk_ROR32( opus_int32 a32, opus_int rot )
386 {
387     opus_uint32 x = (opus_uint32) a32;
388     opus_uint32 r = (opus_uint32) rot;
389     opus_uint32 m = (opus_uint32) -rot;
390     if( rot == 0 ) {
391         return a32;
392     } else if( rot < 0 ) {
393         return (opus_int32) ((x << m) | (x >> (32 - m)));
394     } else {
395         return (opus_int32) ((x << (32 - r)) | (x >> r));
396     }
397 }
398
399 /* Allocate opus_int16 aligned to 4-byte memory address */
400 #if EMBEDDED_ARM
401 #define silk_DWORD_ALIGN __attribute__((aligned(4)))
402 #else
403 #define silk_DWORD_ALIGN
404 #endif
405
406 /* Useful Macros that can be adjusted to other platforms */
407 #define silk_memcpy(dest, src, size)        memcpy((dest), (src), (size))
408 #define silk_memset(dest, src, size)        memset((dest), (src), (size))
409 #define silk_memmove(dest, src, size)       memmove((dest), (src), (size))
410
411 /* Fixed point macros */
412
413 /* (a32 * b32) output have to be 32bit int */
414 #define silk_MUL(a32, b32)                  ((a32) * (b32))
415
416 /* (a32 * b32) output have to be 32bit uint */
417 #define silk_MUL_uint(a32, b32)             silk_MUL(a32, b32)
418
419 /* a32 + (b32 * c32) output have to be 32bit int */
420 #define silk_MLA(a32, b32, c32)             silk_ADD32((a32),((b32) * (c32)))
421
422 /* a32 + (b32 * c32) output have to be 32bit uint */
423 #define silk_MLA_uint(a32, b32, c32)        silk_MLA(a32, b32, c32)
424
425 /* ((a32 >> 16)  * (b32 >> 16)) output have to be 32bit int */
426 #define silk_SMULTT(a32, b32)               (((a32) >> 16) * ((b32) >> 16))
427
428 /* a32 + ((a32 >> 16)  * (b32 >> 16)) output have to be 32bit int */
429 #define silk_SMLATT(a32, b32, c32)          silk_ADD32((a32),((b32) >> 16) * ((c32) >> 16))
430
431 #define silk_SMLALBB(a64, b16, c16)         silk_ADD64((a64),(opus_int64)((opus_int32)(b16) * (opus_int32)(c16)))
432
433 /* (a32 * b32) */
434 #define silk_SMULL(a32, b32)                ((opus_int64)(a32) * /*(opus_int64)*/(b32))
435
436 /* Adds two signed 32-bit values in a way that can overflow, while not relying on undefined behaviour
437    (just standard two's complement implementation-specific behaviour) */
438 #define silk_ADD32_ovflw(a, b)              ((opus_int32)((opus_uint32)(a) + (opus_uint32)(b)))
439 /* Subtractss two signed 32-bit values in a way that can overflow, while not relying on undefined behaviour
440    (just standard two's complement implementation-specific behaviour) */
441 #define silk_SUB32_ovflw(a, b)              ((opus_int32)((opus_uint32)(a) - (opus_uint32)(b)))
442
443 /* Multiply-accumulate macros that allow overflow in the addition (ie, no asserts in debug mode) */
444 #define silk_MLA_ovflw(a32, b32, c32)       silk_ADD32_ovflw((a32), (opus_uint32)(b32) * (opus_uint32)(c32))
445 #define silk_SMLABB_ovflw(a32, b32, c32)    (silk_ADD32_ovflw((a32) , ((opus_int32)((opus_int16)(b32))) * (opus_int32)((opus_int16)(c32))))
446
447 #define silk_DIV32_16(a32, b16)             ((opus_int32)((a32) / (b16)))
448 #define silk_DIV32(a32, b32)                ((opus_int32)((a32) / (b32)))
449
450 /* These macros enables checking for overflow in silk_API_Debug.h*/
451 #define silk_ADD16(a, b)                    ((a) + (b))
452 #define silk_ADD32(a, b)                    ((a) + (b))
453 #define silk_ADD64(a, b)                    ((a) + (b))
454
455 #define silk_SUB16(a, b)                    ((a) - (b))
456 #define silk_SUB32(a, b)                    ((a) - (b))
457 #define silk_SUB64(a, b)                    ((a) - (b))
458
459 #define silk_SAT8(a)                        ((a) > silk_int8_MAX ? silk_int8_MAX  :       \
460                                             ((a) < silk_int8_MIN ? silk_int8_MIN  : (a)))
461 #define silk_SAT16(a)                       ((a) > silk_int16_MAX ? silk_int16_MAX :      \
462                                             ((a) < silk_int16_MIN ? silk_int16_MIN : (a)))
463 #define silk_SAT32(a)                       ((a) > silk_int32_MAX ? silk_int32_MAX :      \
464                                             ((a) < silk_int32_MIN ? silk_int32_MIN : (a)))
465
466 #define silk_CHECK_FIT8(a)                  (a)
467 #define silk_CHECK_FIT16(a)                 (a)
468 #define silk_CHECK_FIT32(a)                 (a)
469
470 #define silk_ADD_SAT16(a, b)                (opus_int16)silk_SAT16( silk_ADD32( (opus_int32)(a), (b) ) )
471 #define silk_ADD_SAT64(a, b)                ((((a) + (b)) & 0x8000000000000000LL) == 0 ?                            \
472                                             ((((a) & (b)) & 0x8000000000000000LL) != 0 ? silk_int64_MIN : (a)+(b)) : \
473                                             ((((a) | (b)) & 0x8000000000000000LL) == 0 ? silk_int64_MAX : (a)+(b)) )
474
475 #define silk_SUB_SAT16(a, b)                (opus_int16)silk_SAT16( silk_SUB32( (opus_int32)(a), (b) ) )
476 #define silk_SUB_SAT64(a, b)                ((((a)-(b)) & 0x8000000000000000LL) == 0 ?                                               \
477                                             (( (a) & ((b)^0x8000000000000000LL) & 0x8000000000000000LL) ? silk_int64_MIN : (a)-(b)) : \
478                                             ((((a)^0x8000000000000000LL) & (b)  & 0x8000000000000000LL) ? silk_int64_MAX : (a)-(b)) )
479
480 /* Saturation for positive input values */
481 #define silk_POS_SAT32(a)                   ((a) > silk_int32_MAX ? silk_int32_MAX : (a))
482
483 /* Add with saturation for positive input values */
484 #define silk_ADD_POS_SAT8(a, b)             ((((a)+(b)) & 0x80)                 ? silk_int8_MAX  : ((a)+(b)))
485 #define silk_ADD_POS_SAT16(a, b)            ((((a)+(b)) & 0x8000)               ? silk_int16_MAX : ((a)+(b)))
486 #define silk_ADD_POS_SAT32(a, b)            ((((opus_uint32)(a)+(opus_uint32)(b)) & 0x80000000) ? silk_int32_MAX : ((a)+(b)))
487
488 #define silk_LSHIFT8(a, shift)              ((opus_int8)((opus_uint8)(a)<<(shift)))         /* shift >= 0, shift < 8  */
489 #define silk_LSHIFT16(a, shift)             ((opus_int16)((opus_uint16)(a)<<(shift)))       /* shift >= 0, shift < 16 */
490 #define silk_LSHIFT32(a, shift)             ((opus_int32)((opus_uint32)(a)<<(shift)))       /* shift >= 0, shift < 32 */
491 #define silk_LSHIFT64(a, shift)             ((opus_int64)((opus_uint64)(a)<<(shift)))       /* shift >= 0, shift < 64 */
492 #define silk_LSHIFT(a, shift)               silk_LSHIFT32(a, shift)                         /* shift >= 0, shift < 32 */
493
494 #define silk_RSHIFT8(a, shift)              ((a)>>(shift))                                  /* shift >= 0, shift < 8  */
495 #define silk_RSHIFT16(a, shift)             ((a)>>(shift))                                  /* shift >= 0, shift < 16 */
496 #define silk_RSHIFT32(a, shift)             ((a)>>(shift))                                  /* shift >= 0, shift < 32 */
497 #define silk_RSHIFT64(a, shift)             ((a)>>(shift))                                  /* shift >= 0, shift < 64 */
498 #define silk_RSHIFT(a, shift)               silk_RSHIFT32(a, shift)                         /* shift >= 0, shift < 32 */
499
500 /* saturates before shifting */
501 #define silk_LSHIFT_SAT32(a, shift)         (silk_LSHIFT32( silk_LIMIT( (a), silk_RSHIFT32( silk_int32_MIN, (shift) ), \
502                                                     silk_RSHIFT32( silk_int32_MAX, (shift) ) ), (shift) ))
503
504 #define silk_LSHIFT_ovflw(a, shift)         ((opus_int32)((opus_uint32)(a) << (shift)))     /* shift >= 0, allowed to overflow */
505 #define silk_LSHIFT_uint(a, shift)          ((a) << (shift))                                /* shift >= 0 */
506 #define silk_RSHIFT_uint(a, shift)          ((a) >> (shift))                                /* shift >= 0 */
507
508 #define silk_ADD_LSHIFT(a, b, shift)        ((a) + silk_LSHIFT((b), (shift)))               /* shift >= 0 */
509 #define silk_ADD_LSHIFT32(a, b, shift)      silk_ADD32((a), silk_LSHIFT32((b), (shift)))    /* shift >= 0 */
510 #define silk_ADD_LSHIFT_uint(a, b, shift)   ((a) + silk_LSHIFT_uint((b), (shift)))          /* shift >= 0 */
511 #define silk_ADD_RSHIFT(a, b, shift)        ((a) + silk_RSHIFT((b), (shift)))               /* shift >= 0 */
512 #define silk_ADD_RSHIFT32(a, b, shift)      silk_ADD32((a), silk_RSHIFT32((b), (shift)))    /* shift >= 0 */
513 #define silk_ADD_RSHIFT_uint(a, b, shift)   ((a) + silk_RSHIFT_uint((b), (shift)))          /* shift >= 0 */
514 #define silk_SUB_LSHIFT32(a, b, shift)      silk_SUB32((a), silk_LSHIFT32((b), (shift)))    /* shift >= 0 */
515 #define silk_SUB_RSHIFT32(a, b, shift)      silk_SUB32((a), silk_RSHIFT32((b), (shift)))    /* shift >= 0 */
516
517 /* Requires that shift > 0 */
518 #define silk_RSHIFT_ROUND(a, shift)         ((shift) == 1 ? ((a) >> 1) + ((a) & 1) : (((a) >> ((shift) - 1)) + 1) >> 1)
519 #define silk_RSHIFT_ROUND64(a, shift)       ((shift) == 1 ? ((a) >> 1) + ((a) & 1) : (((a) >> ((shift) - 1)) + 1) >> 1)
520
521 /* Number of rightshift required to fit the multiplication */
522 #define silk_NSHIFT_MUL_32_32(a, b)         ( -(31- (32-silk_CLZ32(silk_abs(a)) + (32-silk_CLZ32(silk_abs(b))))) )
523 #define silk_NSHIFT_MUL_16_16(a, b)         ( -(15- (16-silk_CLZ16(silk_abs(a)) + (16-silk_CLZ16(silk_abs(b))))) )
524
525
526 #define silk_min(a, b)                      (((a) < (b)) ? (a) : (b))
527 #define silk_max(a, b)                      (((a) > (b)) ? (a) : (b))
528
529 /* Macro to convert floating-point constants to fixed-point */
530 #define SILK_FIX_CONST( C, Q )              ((opus_int32)((C) * ((opus_int64)1 << (Q)) + 0.5))
531
532 /* silk_min() versions with typecast in the function call */
533 static OPUS_INLINE opus_int silk_min_int(opus_int a, opus_int b)
534 {
535     return (((a) < (b)) ? (a) : (b));
536 }
537 static OPUS_INLINE opus_int16 silk_min_16(opus_int16 a, opus_int16 b)
538 {
539     return (((a) < (b)) ? (a) : (b));
540 }
541 static OPUS_INLINE opus_int32 silk_min_32(opus_int32 a, opus_int32 b)
542 {
543     return (((a) < (b)) ? (a) : (b));
544 }
545 static OPUS_INLINE opus_int64 silk_min_64(opus_int64 a, opus_int64 b)
546 {
547     return (((a) < (b)) ? (a) : (b));
548 }
549
550 /* silk_min() versions with typecast in the function call */
551 static OPUS_INLINE opus_int silk_max_int(opus_int a, opus_int b)
552 {
553     return (((a) > (b)) ? (a) : (b));
554 }
555 static OPUS_INLINE opus_int16 silk_max_16(opus_int16 a, opus_int16 b)
556 {
557     return (((a) > (b)) ? (a) : (b));
558 }
559 static OPUS_INLINE opus_int32 silk_max_32(opus_int32 a, opus_int32 b)
560 {
561     return (((a) > (b)) ? (a) : (b));
562 }
563 static OPUS_INLINE opus_int64 silk_max_64(opus_int64 a, opus_int64 b)
564 {
565     return (((a) > (b)) ? (a) : (b));
566 }
567
568 #define silk_LIMIT( a, limit1, limit2)      ((limit1) > (limit2) ? ((a) > (limit1) ? (limit1) : ((a) < (limit2) ? (limit2) : (a))) \
569                                                                  : ((a) > (limit2) ? (limit2) : ((a) < (limit1) ? (limit1) : (a))))
570
571 #define silk_LIMIT_int                      silk_LIMIT
572 #define silk_LIMIT_16                       silk_LIMIT
573 #define silk_LIMIT_32                       silk_LIMIT
574
575 #define silk_abs(a)                         (((a) >  0)  ? (a) : -(a))            /* Be careful, silk_abs returns wrong when input equals to silk_intXX_MIN */
576 #define silk_abs_int(a)                     (((a) ^ ((a) >> (8 * sizeof(a) - 1))) - ((a) >> (8 * sizeof(a) - 1)))
577 #define silk_abs_int32(a)                   (((a) ^ ((a) >> 31)) - ((a) >> 31))
578 #define silk_abs_int64(a)                   (((a) >  0)  ? (a) : -(a))
579
580 #define silk_sign(a)                        ((a) > 0 ? 1 : ( (a) < 0 ? -1 : 0 ))
581
582 /* PSEUDO-RANDOM GENERATOR                                                          */
583 /* Make sure to store the result as the seed for the next call (also in between     */
584 /* frames), otherwise result won't be random at all. When only using some of the    */
585 /* bits, take the most significant bits by right-shifting.                          */
586 #define RAND_MULTIPLIER                     196314165
587 #define RAND_INCREMENT                      907633515
588 #define silk_RAND(seed)                     (silk_MLA_ovflw((RAND_INCREMENT), (seed), (RAND_MULTIPLIER)))
589
590 /*  Add some multiplication functions that can be easily mapped to ARM. */
591
592 /*    silk_SMMUL: Signed top word multiply.
593           ARMv6        2 instruction cycles.
594           ARMv3M+      3 instruction cycles. use SMULL and ignore LSB registers.(except xM)*/
595 /*#define silk_SMMUL(a32, b32)                (opus_int32)silk_RSHIFT(silk_SMLAL(silk_SMULWB((a32), (b32)), (a32), silk_RSHIFT_ROUND((b32), 16)), 16)*/
596 /* the following seems faster on x86 */
597 #define silk_SMMUL(a32, b32)                (opus_int32)silk_RSHIFT64(silk_SMULL((a32), (b32)), 32)
598
599 #if !defined(OPUS_X86_MAY_HAVE_SSE4_1)
600 #define silk_burg_modified(res_nrg, res_nrg_Q, A_Q16, x, minInvGain_Q30, subfr_length, nb_subfr, D, arch) \
601     ((void)(arch), silk_burg_modified_c(res_nrg, res_nrg_Q, A_Q16, x, minInvGain_Q30, subfr_length, nb_subfr, D, arch))
602
603 #define silk_inner_prod16_aligned_64(inVec1, inVec2, len, arch) \
604     ((void)(arch),silk_inner_prod16_aligned_64_c(inVec1, inVec2, len))
605 #endif
606
607 #include "Inlines.h"
608 #include "MacroCount.h"
609 #include "MacroDebug.h"
610
611 #ifdef OPUS_ARM_INLINE_ASM
612 #include "arm/SigProc_FIX_armv4.h"
613 #endif
614
615 #ifdef OPUS_ARM_INLINE_EDSP
616 #include "arm/SigProc_FIX_armv5e.h"
617 #endif
618
619 #if defined(MIPSr1_ASM)
620 #include "mips/sigproc_fix_mipsr1.h"
621 #endif
622
623
624 #ifdef  __cplusplus
625 }
626 #endif
627
628 #endif /* SILK_SIGPROC_FIX_H */