Fix NEON optimizations buffer read overrun
[opus.git] / silk / macros.h
1 /***********************************************************************
2 Copyright (c) 2006-2011, Skype Limited. All rights reserved.
3 Redistribution and use in source and binary forms, with or without
4 modification, are permitted provided that the following conditions
5 are met:
6 - Redistributions of source code must retain the above copyright notice,
7 this list of conditions and the following disclaimer.
8 - Redistributions in binary form must reproduce the above copyright
9 notice, this list of conditions and the following disclaimer in the
10 documentation and/or other materials provided with the distribution.
11 - Neither the name of Internet Society, IETF or IETF Trust, nor the
12 names of specific contributors, may be used to endorse or promote
13 products derived from this software without specific prior written
14 permission.
15 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
16 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
17 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
18 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
19 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
20 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
21 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
22 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
23 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
24 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
25 POSSIBILITY OF SUCH DAMAGE.
26 ***********************************************************************/
27
28 #ifndef SILK_MACROS_H
29 #define SILK_MACROS_H
30
31 #ifdef HAVE_CONFIG_H
32 #include "config.h"
33 #endif
34
35 #include "opus_types.h"
36 #include "opus_defines.h"
37 #include "arch.h"
38
39 /* This is an OPUS_INLINE header file for general platform. */
40
41 /* (a32 * (opus_int32)((opus_int16)(b32))) >> 16 output have to be 32bit int */
42 #if OPUS_FAST_INT64
43 #define silk_SMULWB(a32, b32)            ((opus_int32)(((a32) * (opus_int64)((opus_int16)(b32))) >> 16))
44 #else
45 #define silk_SMULWB(a32, b32)            ((((a32) >> 16) * (opus_int32)((opus_int16)(b32))) + ((((a32) & 0x0000FFFF) * (opus_int32)((opus_int16)(b32))) >> 16))
46 #endif
47
48 /* a32 + (b32 * (opus_int32)((opus_int16)(c32))) >> 16 output have to be 32bit int */
49 #if OPUS_FAST_INT64
50 #define silk_SMLAWB(a32, b32, c32)       ((opus_int32)((a32) + (((b32) * (opus_int64)((opus_int16)(c32))) >> 16)))
51 #else
52 #define silk_SMLAWB(a32, b32, c32)       ((a32) + ((((b32) >> 16) * (opus_int32)((opus_int16)(c32))) + ((((b32) & 0x0000FFFF) * (opus_int32)((opus_int16)(c32))) >> 16)))
53 #endif
54
55 /* (a32 * (b32 >> 16)) >> 16 */
56 #if OPUS_FAST_INT64
57 #define silk_SMULWT(a32, b32)            ((opus_int32)(((a32) * (opus_int64)((b32) >> 16)) >> 16))
58 #else
59 #define silk_SMULWT(a32, b32)            (((a32) >> 16) * ((b32) >> 16) + ((((a32) & 0x0000FFFF) * ((b32) >> 16)) >> 16))
60 #endif
61
62 /* a32 + (b32 * (c32 >> 16)) >> 16 */
63 #if OPUS_FAST_INT64
64 #define silk_SMLAWT(a32, b32, c32)       ((opus_int32)((a32) + (((b32) * ((opus_int64)(c32) >> 16)) >> 16)))
65 #else
66 #define silk_SMLAWT(a32, b32, c32)       ((a32) + (((b32) >> 16) * ((c32) >> 16)) + ((((b32) & 0x0000FFFF) * ((c32) >> 16)) >> 16))
67 #endif
68
69 /* (opus_int32)((opus_int16)(a3))) * (opus_int32)((opus_int16)(b32)) output have to be 32bit int */
70 #define silk_SMULBB(a32, b32)            ((opus_int32)((opus_int16)(a32)) * (opus_int32)((opus_int16)(b32)))
71
72 /* a32 + (opus_int32)((opus_int16)(b32)) * (opus_int32)((opus_int16)(c32)) output have to be 32bit int */
73 #define silk_SMLABB(a32, b32, c32)       ((a32) + ((opus_int32)((opus_int16)(b32))) * (opus_int32)((opus_int16)(c32)))
74
75 /* (opus_int32)((opus_int16)(a32)) * (b32 >> 16) */
76 #define silk_SMULBT(a32, b32)            ((opus_int32)((opus_int16)(a32)) * ((b32) >> 16))
77
78 /* a32 + (opus_int32)((opus_int16)(b32)) * (c32 >> 16) */
79 #define silk_SMLABT(a32, b32, c32)       ((a32) + ((opus_int32)((opus_int16)(b32))) * ((c32) >> 16))
80
81 /* a64 + (b32 * c32) */
82 #define silk_SMLAL(a64, b32, c32)        (silk_ADD64((a64), ((opus_int64)(b32) * (opus_int64)(c32))))
83
84 /* (a32 * b32) >> 16 */
85 #if OPUS_FAST_INT64
86 #define silk_SMULWW(a32, b32)            ((opus_int32)(((opus_int64)(a32) * (b32)) >> 16))
87 #else
88 #define silk_SMULWW(a32, b32)            silk_MLA(silk_SMULWB((a32), (b32)), (a32), silk_RSHIFT_ROUND((b32), 16))
89 #endif
90
91 /* a32 + ((b32 * c32) >> 16) */
92 #if OPUS_FAST_INT64
93 #define silk_SMLAWW(a32, b32, c32)       ((opus_int32)((a32) + (((opus_int64)(b32) * (c32)) >> 16)))
94 #else
95 #define silk_SMLAWW(a32, b32, c32)       silk_MLA(silk_SMLAWB((a32), (b32), (c32)), (b32), silk_RSHIFT_ROUND((c32), 16))
96 #endif
97
98 /* add/subtract with output saturated */
99 #define silk_ADD_SAT32(a, b)             ((((opus_uint32)(a) + (opus_uint32)(b)) & 0x80000000) == 0 ?                              \
100                                         ((((a) & (b)) & 0x80000000) != 0 ? silk_int32_MIN : (a)+(b)) :   \
101                                         ((((a) | (b)) & 0x80000000) == 0 ? silk_int32_MAX : (a)+(b)) )
102
103 #define silk_SUB_SAT32(a, b)             ((((opus_uint32)(a)-(opus_uint32)(b)) & 0x80000000) == 0 ?                                        \
104                                         (( (a) & ((b)^0x80000000) & 0x80000000) ? silk_int32_MIN : (a)-(b)) :    \
105                                         ((((a)^0x80000000) & (b)  & 0x80000000) ? silk_int32_MAX : (a)-(b)) )
106
107 #if defined(MIPSr1_ASM)
108 #include "mips/macros_mipsr1.h"
109 #endif
110
111 #include "ecintrin.h"
112 #ifndef OVERRIDE_silk_CLZ16
113 static OPUS_INLINE opus_int32 silk_CLZ16(opus_int16 in16)
114 {
115     return 32 - EC_ILOG(in16<<16|0x8000);
116 }
117 #endif
118
119 #ifndef OVERRIDE_silk_CLZ32
120 static OPUS_INLINE opus_int32 silk_CLZ32(opus_int32 in32)
121 {
122     return in32 ? 32 - EC_ILOG(in32) : 32;
123 }
124 #endif
125
126 /* Row based */
127 #define matrix_ptr(Matrix_base_adr, row, column, N) \
128     (*((Matrix_base_adr) + ((row)*(N)+(column))))
129 #define matrix_adr(Matrix_base_adr, row, column, N) \
130       ((Matrix_base_adr) + ((row)*(N)+(column)))
131
132 /* Column based */
133 #ifndef matrix_c_ptr
134 #   define matrix_c_ptr(Matrix_base_adr, row, column, M) \
135     (*((Matrix_base_adr) + ((row)+(M)*(column))))
136 #endif
137
138 #ifdef OPUS_ARM_INLINE_ASM
139 #include "arm/macros_armv4.h"
140 #endif
141
142 #ifdef OPUS_ARM_INLINE_EDSP
143 #include "arm/macros_armv5e.h"
144 #endif
145
146 #ifdef OPUS_ARM_PRESUME_AARCH64_NEON_INTR
147 #include "arm/macros_arm64.h"
148 #endif
149
150 #endif /* SILK_MACROS_H */
151