Fixes several overflows in the CELT fixed-point
[opus.git] / celt / mathops.c
1 /* Copyright (c) 2002-2008 Jean-Marc Valin
2    Copyright (c) 2007-2008 CSIRO
3    Copyright (c) 2007-2009 Xiph.Org Foundation
4    Written by Jean-Marc Valin */
5 /**
6    @file mathops.h
7    @brief Various math functions
8 */
9 /*
10    Redistribution and use in source and binary forms, with or without
11    modification, are permitted provided that the following conditions
12    are met:
13
14    - Redistributions of source code must retain the above copyright
15    notice, this list of conditions and the following disclaimer.
16
17    - Redistributions in binary form must reproduce the above copyright
18    notice, this list of conditions and the following disclaimer in the
19    documentation and/or other materials provided with the distribution.
20
21    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
22    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
23    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
24    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
25    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
26    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
27    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
28    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
29    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
30    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
31    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32 */
33
34 #ifdef HAVE_CONFIG_H
35 #include "config.h"
36 #endif
37
38 #include "mathops.h"
39
40 /*Compute floor(sqrt(_val)) with exact arithmetic.
41   This has been tested on all possible 32-bit inputs.*/
42 unsigned isqrt32(opus_uint32 _val){
43   unsigned b;
44   unsigned g;
45   int      bshift;
46   /*Uses the second method from
47      http://www.azillionmonkeys.com/qed/sqroot.html
48     The main idea is to search for the largest binary digit b such that
49      (g+b)*(g+b) <= _val, and add it to the solution g.*/
50   g=0;
51   bshift=(EC_ILOG(_val)-1)>>1;
52   b=1U<<bshift;
53   do{
54     opus_uint32 t;
55     t=(((opus_uint32)g<<1)+b)<<bshift;
56     if(t<=_val){
57       g+=b;
58       _val-=t;
59     }
60     b>>=1;
61     bshift--;
62   }
63   while(bshift>=0);
64   return g;
65 }
66
67 #ifdef FIXED_POINT
68
69 opus_val32 frac_div32(opus_val32 a, opus_val32 b)
70 {
71    opus_val16 rcp;
72    opus_val32 result, rem;
73    int shift = celt_ilog2(b)-29;
74    a = VSHR32(a,shift);
75    b = VSHR32(b,shift);
76    /* 16-bit reciprocal */
77    rcp = ROUND16(celt_rcp(ROUND16(b,16)),3);
78    result = MULT16_32_Q15(rcp, a);
79    rem = PSHR32(a,2)-MULT32_32_Q31(result, b);
80    result = ADD32(result, SHL32(MULT16_32_Q15(rcp, rem),2));
81    if (result >= 536870912)       /*  2^29 */
82       return 2147483647;          /*  2^31 - 1 */
83    else if (result <= -536870912) /* -2^29 */
84       return -2147483647;         /* -2^31 */
85    else
86       return SHL32(result, 2);
87    return result;
88 }
89
90 /** Reciprocal sqrt approximation in the range [0.25,1) (Q16 in, Q14 out) */
91 opus_val16 celt_rsqrt_norm(opus_val32 x)
92 {
93    opus_val16 n;
94    opus_val16 r;
95    opus_val16 r2;
96    opus_val16 y;
97    /* Range of n is [-16384,32767] ([-0.5,1) in Q15). */
98    n = x-32768;
99    /* Get a rough initial guess for the root.
100       The optimal minimax quadratic approximation (using relative error) is
101        r = 1.437799046117536+n*(-0.823394375837328+n*0.4096419668459485).
102       Coefficients here, and the final result r, are Q14.*/
103    r = ADD16(23557, MULT16_16_Q15(n, ADD16(-13490, MULT16_16_Q15(n, 6713))));
104    /* We want y = x*r*r-1 in Q15, but x is 32-bit Q16 and r is Q14.
105       We can compute the result from n and r using Q15 multiplies with some
106        adjustment, carefully done to avoid overflow.
107       Range of y is [-1564,1594]. */
108    r2 = MULT16_16_Q15(r, r);
109    y = SHL16(SUB16(ADD16(MULT16_16_Q15(r2, n), r2), 16384), 1);
110    /* Apply a 2nd-order Householder iteration: r += r*y*(y*0.375-0.5).
111       This yields the Q14 reciprocal square root of the Q16 x, with a maximum
112        relative error of 1.04956E-4, a (relative) RMSE of 2.80979E-5, and a
113        peak absolute error of 2.26591/16384. */
114    return ADD16(r, MULT16_16_Q15(r, MULT16_16_Q15(y,
115               SUB16(MULT16_16_Q15(y, 12288), 16384))));
116 }
117
118 /** Sqrt approximation (QX input, QX/2 output) */
119 opus_val32 celt_sqrt(opus_val32 x)
120 {
121    int k;
122    opus_val16 n;
123    opus_val32 rt;
124    static const opus_val16 C[5] = {23175, 11561, -3011, 1699, -664};
125    if (x==0)
126       return 0;
127    k = (celt_ilog2(x)>>1)-7;
128    x = VSHR32(x, 2*k);
129    n = x-32768;
130    rt = ADD16(C[0], MULT16_16_Q15(n, ADD16(C[1], MULT16_16_Q15(n, ADD16(C[2],
131               MULT16_16_Q15(n, ADD16(C[3], MULT16_16_Q15(n, (C[4])))))))));
132    rt = VSHR32(rt,7-k);
133    return rt;
134 }
135
136 #define L1 32767
137 #define L2 -7651
138 #define L3 8277
139 #define L4 -626
140
141 static inline opus_val16 _celt_cos_pi_2(opus_val16 x)
142 {
143    opus_val16 x2;
144
145    x2 = MULT16_16_P15(x,x);
146    return ADD16(1,MIN16(32766,ADD32(SUB16(L1,x2), MULT16_16_P15(x2, ADD32(L2, MULT16_16_P15(x2, ADD32(L3, MULT16_16_P15(L4, x2
147                                                                                 ))))))));
148 }
149
150 #undef L1
151 #undef L2
152 #undef L3
153 #undef L4
154
155 opus_val16 celt_cos_norm(opus_val32 x)
156 {
157    x = x&0x0001ffff;
158    if (x>SHL32(EXTEND32(1), 16))
159       x = SUB32(SHL32(EXTEND32(1), 17),x);
160    if (x&0x00007fff)
161    {
162       if (x<SHL32(EXTEND32(1), 15))
163       {
164          return _celt_cos_pi_2(EXTRACT16(x));
165       } else {
166          return NEG32(_celt_cos_pi_2(EXTRACT16(65536-x)));
167       }
168    } else {
169       if (x&0x0000ffff)
170          return 0;
171       else if (x&0x0001ffff)
172          return -32767;
173       else
174          return 32767;
175    }
176 }
177
178 /** Reciprocal approximation (Q15 input, Q16 output) */
179 opus_val32 celt_rcp(opus_val32 x)
180 {
181    int i;
182    opus_val16 n;
183    opus_val16 r;
184    celt_assert2(x>0, "celt_rcp() only defined for positive values");
185    i = celt_ilog2(x);
186    /* n is Q15 with range [0,1). */
187    n = VSHR32(x,i-15)-32768;
188    /* Start with a linear approximation:
189       r = 1.8823529411764706-0.9411764705882353*n.
190       The coefficients and the result are Q14 in the range [15420,30840].*/
191    r = ADD16(30840, MULT16_16_Q15(-15420, n));
192    /* Perform two Newton iterations:
193       r -= r*((r*n)-1.Q15)
194          = r*((r*n)+(r-1.Q15)). */
195    r = SUB16(r, MULT16_16_Q15(r,
196              ADD16(MULT16_16_Q15(r, n), ADD16(r, -32768))));
197    /* We subtract an extra 1 in the second iteration to avoid overflow; it also
198        neatly compensates for truncation error in the rest of the process. */
199    r = SUB16(r, ADD16(1, MULT16_16_Q15(r,
200              ADD16(MULT16_16_Q15(r, n), ADD16(r, -32768)))));
201    /* r is now the Q15 solution to 2/(n+1), with a maximum relative error
202        of 7.05346E-5, a (relative) RMSE of 2.14418E-5, and a peak absolute
203        error of 1.24665/32768. */
204    return VSHR32(EXTEND32(r),i-16);
205 }
206
207 #endif