Adds many syntactically unnecessary casts to silence MSVC C4244; fix an MDCT encoder...
[opus.git] / libcelt / laplace.c
1 /* Copyright (c) 2007 CSIRO
2    Copyright (c) 2007-2009 Xiph.Org Foundation
3    Written by Jean-Marc Valin */
4 /*
5    Redistribution and use in source and binary forms, with or without
6    modification, are permitted provided that the following conditions
7    are met:
8
9    - Redistributions of source code must retain the above copyright
10    notice, this list of conditions and the following disclaimer.
11
12    - Redistributions in binary form must reproduce the above copyright
13    notice, this list of conditions and the following disclaimer in the
14    documentation and/or other materials provided with the distribution.
15
16    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
17    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
18    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
19    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
20    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
21    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
22    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
23    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
24    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
25    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
26    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27 */
28
29 #ifdef HAVE_CONFIG_H
30 #include "config.h"
31 #endif
32
33 #include "laplace.h"
34 #include "mathops.h"
35
36 /* The minimum probability of an energy delta (out of 32768). */
37 #define LAPLACE_LOG_MINP (0)
38 #define LAPLACE_MINP (1<<LAPLACE_LOG_MINP)
39 /* The minimum number of guaranteed representable energy deltas (in one
40     direction). */
41 #define LAPLACE_NMIN (16)
42
43 static int ec_laplace_get_freq1(int fs0, int decay)
44 {
45    opus_int32 ft;
46    ft = 32768 - LAPLACE_MINP*(2*LAPLACE_NMIN) - fs0;
47    return ft*(16384-decay)>>15;
48 }
49
50 void ec_laplace_encode(ec_enc *enc, int *value, int fs, int decay)
51 {
52    unsigned fl;
53    int val = *value;
54    fl = 0;
55    if (val)
56    {
57       int s;
58       int i;
59       s = -(val<0);
60       val = val+s^s;
61       fl = fs;
62       fs = ec_laplace_get_freq1(fs, decay);
63       /* Search the decaying part of the PDF.*/
64       for (i=1; fs > 0 && i < val; i++)
65       {
66          fs *= 2;
67          fl += fs+2*LAPLACE_MINP;
68          fs = (fs*(opus_int32)decay)>>15;
69       }
70       /* Everything beyond that has probability LAPLACE_MINP. */
71       if (fs <= 0)
72       {
73          int di;
74          int ndi_max;
75          ndi_max = (32768-fl+LAPLACE_MINP-1)>>LAPLACE_LOG_MINP;
76          ndi_max = (ndi_max-s)>>1;
77          di = IMIN(val - i, ndi_max - 1);
78          fl += (2*di+1+s)*LAPLACE_MINP;
79          fs = IMIN(LAPLACE_MINP, 32768-fl);
80          *value = i+di+s^s;
81       }
82       else
83       {
84          fs += LAPLACE_MINP;
85          fl += fs&~s;
86       }
87       celt_assert(fl+fs<=32768);
88       celt_assert(fs>0);
89    }
90    ec_encode_bin(enc, fl, fl+fs, 15);
91 }
92
93 int ec_laplace_decode(ec_dec *dec, int fs, int decay)
94 {
95    int val=0;
96    unsigned fl;
97    int fm;
98    fm = ec_decode_bin(dec, 15);
99    fl = 0;
100    if (fm >= fs)
101    {
102       val++;
103       fl = fs;
104       fs = ec_laplace_get_freq1(fs, decay)+LAPLACE_MINP;
105       /* Search the decaying part of the PDF.*/
106       while(fs > LAPLACE_MINP && fm >= fl+2*fs)
107       {
108          fs *= 2;
109          fl += fs;
110          fs = ((fs-2*LAPLACE_MINP)*(opus_int32)decay)>>15;
111          fs += LAPLACE_MINP;
112          val++;
113       }
114       /* Everything beyond that has probability LAPLACE_MINP. */
115       if (fs <= LAPLACE_MINP)
116       {
117          int di;
118          di = (fm-fl)>>(LAPLACE_LOG_MINP+1);
119          val += di;
120          fl += 2*di*LAPLACE_MINP;
121       }
122       if (fm < fl+fs)
123          val = -val;
124       else
125          fl += fs;
126    }
127    celt_assert(fl<32768);
128    celt_assert(fs>0);
129    celt_assert(fl<=fm);
130    celt_assert(fm<IMIN(fl+fs,32768));
131    ec_dec_update(dec, fl, IMIN(fl+fs,32768), 32768);
132    return val;
133 }