Optimize fixed-point celt_inner_prod() and dual_inner_prod() for ARM NEON
[opus.git] / celt / arm / pitch_arm.h
1 /* Copyright (c) 2010 Xiph.Org Foundation
2  * Copyright (c) 2013 Parrot */
3 /*
4    Redistribution and use in source and binary forms, with or without
5    modification, are permitted provided that the following conditions
6    are met:
7
8    - Redistributions of source code must retain the above copyright
9    notice, this list of conditions and the following disclaimer.
10
11    - Redistributions in binary form must reproduce the above copyright
12    notice, this list of conditions and the following disclaimer in the
13    documentation and/or other materials provided with the distribution.
14
15    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
17    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
18    A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER
19    OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
22    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
23    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
24    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
25    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26 */
27
28 #if !defined(PITCH_ARM_H)
29 # define PITCH_ARM_H
30
31 # include "armcpu.h"
32
33 # if defined(FIXED_POINT)
34
35 # if defined(OPUS_ARM_MAY_HAVE_NEON_INTR)
36 opus_val32 celt_inner_prod_neon(const opus_val16 *x, const opus_val16 *y, int N);
37 void dual_inner_prod_neon(const opus_val16 *x, const opus_val16 *y01,
38         const opus_val16 *y02, int N, opus_val32 *xy1, opus_val32 *xy2);
39
40 #  if !defined(OPUS_HAVE_RTCD) && defined(OPUS_ARM_PRESUME_NEON)
41 #   define OVERRIDE_CELT_INNER_PROD (1)
42 #   define OVERRIDE_DUAL_INNER_PROD (1)
43 #   define celt_inner_prod(x, y, N, arch) ((void)(arch), PRESUME_NEON(celt_inner_prod)(x, y, N))
44 #   define dual_inner_prod(x, y01, y02, N, xy1, xy2, arch) ((void)(arch), PRESUME_NEON(dual_inner_prod)(x, y01, y02, N, xy1, xy2))
45 #  endif
46 # endif
47
48 # if !defined(OVERRIDE_CELT_INNER_PROD)
49 #  if defined(OPUS_HAVE_RTCD) && (defined(OPUS_ARM_MAY_HAVE_NEON_INTR) && !defined(OPUS_ARM_PRESUME_NEON_INTR))
50 extern opus_val32 (*const CELT_INNER_PROD_IMPL[OPUS_ARCHMASK+1])(const opus_val16 *x, const opus_val16 *y, int N);
51 #   define OVERRIDE_CELT_INNER_PROD (1)
52 #   define celt_inner_prod(x, y, N, arch) ((*CELT_INNER_PROD_IMPL[(arch)&OPUS_ARCHMASK])(x, y, N))
53 #  elif defined(OPUS_ARM_PRESUME_NEON_INTR)
54 #   define OVERRIDE_CELT_INNER_PROD (1)
55 #   define celt_inner_prod(x, y, N, arch) ((void)(arch), celt_inner_prod_neon(x, y, N))
56 #  endif
57 # endif
58
59 # if !defined(OVERRIDE_DUAL_INNER_PROD)
60 #  if defined(OPUS_HAVE_RTCD) && (defined(OPUS_ARM_MAY_HAVE_NEON_INTR) && !defined(OPUS_ARM_PRESUME_NEON_INTR))
61 extern void (*const DUAL_INNER_PROD_IMPL[OPUS_ARCHMASK+1])(const opus_val16 *x,
62         const opus_val16 *y01, const opus_val16 *y02, int N, opus_val32 *xy1, opus_val32 *xy2);
63 #   define OVERRIDE_DUAL_INNER_PROD (1)
64 #   define dual_inner_prod(x, y01, y02, N, xy1, xy2, arch) ((*DUAL_INNER_PROD_IMPL[(arch)&OPUS_ARCHMASK])(x, y01, y02, N, xy1, xy2))
65 #  elif defined(OPUS_ARM_PRESUME_NEON_INTR)
66 #   define OVERRIDE_DUAL_INNER_PROD (1)
67 #   define dual_inner_prod(x, y01, y02, N, xy1, xy2, arch) ((void)(arch), dual_inner_prod_neon(x, y01, y02, N, xy1, xy2))
68 #  endif
69 # endif
70
71 #  if defined(OPUS_ARM_MAY_HAVE_NEON)
72 opus_val32 celt_pitch_xcorr_neon(const opus_val16 *_x, const opus_val16 *_y,
73     opus_val32 *xcorr, int len, int max_pitch, int arch);
74 #  endif
75
76 #  if defined(OPUS_ARM_MAY_HAVE_MEDIA)
77 #   define celt_pitch_xcorr_media MAY_HAVE_EDSP(celt_pitch_xcorr)
78 #  endif
79
80 #  if defined(OPUS_ARM_MAY_HAVE_EDSP)
81 opus_val32 celt_pitch_xcorr_edsp(const opus_val16 *_x, const opus_val16 *_y,
82     opus_val32 *xcorr, int len, int max_pitch, int arch);
83 #  endif
84
85 #  if defined(OPUS_HAVE_RTCD) && \
86     ((defined(OPUS_ARM_MAY_HAVE_NEON) && !defined(OPUS_ARM_PRESUME_NEON)) || \
87      (defined(OPUS_ARM_MAY_HAVE_MEDIA) && !defined(OPUS_ARM_PRESUME_MEDIA)) || \
88      (defined(OPUS_ARM_MAY_HAVE_EDSP) && !defined(OPUS_ARM_PRESUME_EDSP)))
89 extern opus_val32
90 (*const CELT_PITCH_XCORR_IMPL[OPUS_ARCHMASK+1])(const opus_val16 *,
91       const opus_val16 *, opus_val32 *, int, int, int);
92 #   define OVERRIDE_PITCH_XCORR (1)
93 #   define celt_pitch_xcorr (*CELT_PITCH_XCORR_IMPL[(arch)&OPUS_ARCHMASK])
94
95 #  elif defined(OPUS_ARM_PRESUME_EDSP) || \
96     defined(OPUS_ARM_PRESUME_MEDIA) || \
97     defined(OPUS_ARM_PRESUME_NEON)
98 #   define OVERRIDE_PITCH_XCORR (1)
99 #   define celt_pitch_xcorr (PRESUME_NEON(celt_pitch_xcorr))
100
101 #  endif
102
103 #  if defined(OPUS_ARM_MAY_HAVE_NEON_INTR)
104 void xcorr_kernel_neon_fixed(
105                     const opus_val16 *x,
106                     const opus_val16 *y,
107                     opus_val32       sum[4],
108                     int              len);
109 #  endif
110
111 #  if defined(OPUS_HAVE_RTCD) && \
112     (defined(OPUS_ARM_MAY_HAVE_NEON_INTR) && !defined(OPUS_ARM_PRESUME_NEON_INTR))
113
114 extern void (*const XCORR_KERNEL_IMPL[OPUS_ARCHMASK + 1])(
115                     const opus_val16 *x,
116                     const opus_val16 *y,
117                     opus_val32       sum[4],
118                     int              len);
119
120 #   define OVERRIDE_XCORR_KERNEL (1)
121 #   define xcorr_kernel(x, y, sum, len, arch) \
122      ((*XCORR_KERNEL_IMPL[(arch) & OPUS_ARCHMASK])(x, y, sum, len))
123
124 #  elif defined(OPUS_ARM_PRESUME_NEON_INTR)
125 #   define OVERRIDE_XCORR_KERNEL (1)
126 #   define xcorr_kernel(x, y, sum, len, arch) \
127       ((void)arch, xcorr_kernel_neon_fixed(x, y, sum, len))
128
129 #  endif
130
131 #else /* Start !FIXED_POINT */
132 /* Float case */
133 #if defined(OPUS_ARM_MAY_HAVE_NEON_INTR)
134 void celt_pitch_xcorr_float_neon(const opus_val16 *_x, const opus_val16 *_y,
135                                  opus_val32 *xcorr, int len, int max_pitch, int arch);
136 #endif
137
138 #  if defined(OPUS_HAVE_RTCD) && \
139     (defined(OPUS_ARM_MAY_HAVE_NEON_INTR) && !defined(OPUS_ARM_PRESUME_NEON_INTR))
140 extern void
141 (*const CELT_PITCH_XCORR_IMPL[OPUS_ARCHMASK+1])(const opus_val16 *,
142       const opus_val16 *, opus_val32 *, int, int, int);
143
144 #  define OVERRIDE_PITCH_XCORR (1)
145 #  define celt_pitch_xcorr (*CELT_PITCH_XCORR_IMPL[(arch)&OPUS_ARCHMASK])
146
147 #  elif defined(OPUS_ARM_PRESUME_NEON_INTR)
148
149 #   define OVERRIDE_PITCH_XCORR (1)
150 #   define celt_pitch_xcorr celt_pitch_xcorr_float_neon
151
152 #  endif
153
154 #endif /* end !FIXED_POINT */
155
156 #endif