16-bit int fixes.
[opus.git] / libcelt / laplace.c
1 /* Copyright (c) 2007 CSIRO
2    Copyright (c) 2007-2009 Xiph.Org Foundation
3    Written by Jean-Marc Valin */
4 /*
5    Redistribution and use in source and binary forms, with or without
6    modification, are permitted provided that the following conditions
7    are met:
8    
9    - Redistributions of source code must retain the above copyright
10    notice, this list of conditions and the following disclaimer.
11    
12    - Redistributions in binary form must reproduce the above copyright
13    notice, this list of conditions and the following disclaimer in the
14    documentation and/or other materials provided with the distribution.
15    
16    - Neither the name of the Xiph.org Foundation nor the names of its
17    contributors may be used to endorse or promote products derived from
18    this software without specific prior written permission.
19    
20    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
21    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
22    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
23    A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
24    CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
25    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
26    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
27    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
28    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
29    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
30    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
31 */
32
33 #ifdef HAVE_CONFIG_H
34 #include "config.h"
35 #endif
36
37 #include "laplace.h"
38 #include "mathops.h"
39
40 /* The minimum probability of an energy delta (out of 32768). */
41 #define LAPLACE_LOG_MINP (0)
42 #define LAPLACE_MINP (1<<LAPLACE_LOG_MINP)
43 /* The minimum number of guaranteed representable energy deltas (in one
44     direction). */
45 #define LAPLACE_NMIN (16)
46
47 static int ec_laplace_get_freq1(int fs0, int decay)
48 {
49    celt_int32 ft;
50    ft = 32768 - LAPLACE_MINP*(2*LAPLACE_NMIN) - fs0;
51    return ft*(16384-decay)>>15;
52 }
53
54 void ec_laplace_encode(ec_enc *enc, int *value, int fs, int decay)
55 {
56    unsigned fl;
57    int val = *value;
58    fl = 0;
59    if (val)
60    {
61       int s;
62       int i;
63       s = -(val<0);
64       val = val+s^s;
65       fl = fs;
66       fs = ec_laplace_get_freq1(fs, decay);
67       /* Search the decaying part of the PDF.*/
68       for (i=1; fs > 0 && i < val; i++)
69       {
70          fs *= 2;
71          fl += fs+2*LAPLACE_MINP;
72          fs = (fs*(celt_int32)decay)>>15;
73       }
74       /* Everything beyond that has probability LAPLACE_MINP. */
75       if (fs <= 0)
76       {
77          int di;
78          int ndi_max;
79          ndi_max = (32768-fl+LAPLACE_MINP-1)>>LAPLACE_LOG_MINP;
80          ndi_max = (ndi_max-s)>>1;
81          di = IMIN(val - i, ndi_max - 1);
82          fl += (2*di+1+s)*LAPLACE_MINP;
83          fs = IMIN(LAPLACE_MINP, 32768-fl);
84          *value = i+di+s^s;
85       }
86       else
87       {
88          fs += LAPLACE_MINP;
89          fl += fs&~s;
90       }
91       celt_assert(fl+fs<=32768);
92       celt_assert(fs>0);
93    }
94    ec_encode_bin(enc, fl, fl+fs, 15);
95 }
96
97
98 int ec_laplace_decode(ec_dec *dec, int fs, int decay)
99 {
100    int val=0;
101    unsigned fl;
102    int fm;
103    fm = ec_decode_bin(dec, 15);
104    fl = 0;
105    if (fm >= fs)
106    {
107       val++;
108       fl = fs;
109       fs = ec_laplace_get_freq1(fs, decay)+LAPLACE_MINP;
110       /* Search the decaying part of the PDF.*/
111       while(fs > LAPLACE_MINP && fm >= fl+2*fs)
112       {
113          fs *= 2;
114          fl += fs;
115          fs = ((fs-2*LAPLACE_MINP)*(celt_int32)decay)>>15;
116          fs += LAPLACE_MINP;
117          val++;
118       }
119       /* Everything beyond that has probability LAPLACE_MINP. */
120       if (fs <= LAPLACE_MINP)
121       {
122          int di;
123          di = (fm-fl)>>(LAPLACE_LOG_MINP+1);
124          val += di;
125          fl += 2*di*LAPLACE_MINP;
126       }
127       if (fm < fl+fs)
128          val = -val;
129       else
130          fl += fs;
131    }
132    celt_assert(fl<32768);
133    celt_assert(fs>0);
134    celt_assert(fl<=fm);
135    celt_assert(fm<IMIN(fl+fs,32768));
136    ec_dec_update(dec, fl, IMIN(fl+fs,32768), 32768);
137    return val;
138 }