More work on the CELT encoder description, fixed Opus figures
[opus.git] / doc / draft-ietf-codec-opus.xml
index 7fa5984..bc7d374 100644 (file)
@@ -433,7 +433,7 @@ When a packet contains multiple VBR frames, the compressed length of one or
  more of these frames is indicated with a one or two byte sequence, with the
  meaning of the first byte as follows:
 <list style="symbols">
-<t>0:          No frame (DTX or lost packet)</t>
+<t>0:          No frame (discontinuous transmission (DTX) or lost packet)</t>
 <!--TODO: Would be nice to be clearer about the distinction between "frame
  size" (in samples or ms) and "the compressed size of the frame" (in bytes).
 "the compressed length of the frame" is maybe a little better, but not when we
@@ -758,11 +758,11 @@ may be active.
 bit-    +-------+   |  |       |    |conversion|    v
 stream  | Range |---+  +-------+    +----------+  /---\  audio
 ------->|decoder|                                 | + |------>
-        |       |---+  +-------+    +----------+  \---/
-        +-------+   |  | CELT  |    | Delay    |    ^
-                    +->|decoder|----| compens- |----+
-                       |       |    | ation    |
-                       +-------+    +----------+
+        |       |---+  +-------+                  \---/
+        +-------+   |  | CELT  |                    ^
+                    +->|decoder|--------------------+
+                       |       |
+                       +-------+
 ]]>
 </artwork>
 </figure>
@@ -1472,7 +1472,7 @@ The quantized excitation signal follows these at the end of the frame.
 <c/>
 
 <c>Normalized LSF Stage 2 Residual</c>
-<c><xref target="silk_nlsfs"/></c>
+<c><xref target="silk_nlsf_stage2"/></c>
 <c/>
 
 <c>Normalized LSF Interpolation Weight</c>
@@ -1686,12 +1686,12 @@ If the frame is an LBRR frame or a regular SILK frame whose VAD flag was set
 <ttcol>Frame Type</ttcol>
 <ttcol>Signal Type</ttcol>
 <ttcol align="right">Quantization Offset Type</ttcol>
-<c>0</c> <c>Inactive</c> <c>0</c>
-<c>1</c> <c>Inactive</c> <c>1</c>
-<c>2</c> <c>Unvoiced</c> <c>0</c>
-<c>3</c> <c>Unvoiced</c> <c>1</c>
-<c>4</c> <c>Voiced</c>   <c>0</c>
-<c>5</c> <c>Voiced</c>   <c>1</c>
+<c>0</c> <c>Inactive</c> <c>Low</c>
+<c>1</c> <c>Inactive</c> <c>High</c>
+<c>2</c> <c>Unvoiced</c> <c>Low</c>
+<c>3</c> <c>Unvoiced</c> <c>High</c>
+<c>4</c> <c>Voiced</c>   <c>Low</c>
+<c>5</c> <c>Voiced</c>   <c>High</c>
 </texttable>
 
 </section>
@@ -1799,13 +1799,14 @@ Otherwise, silk_log2lin uses
 </t>
 </section>
 
-<section anchor="silk_nlsfs" title="Normalized Line Spectral Frequencies">
-
+<section anchor="silk_nlsfs" title="Normalized Line Spectral Frequency (LSF)
+ and Linear Predictive Coding (LPC) Coefficients">
 <t>
-Normalized Line Spectral Frequencies (LSFs) follow the quantization gains in
- the bitstream, and represent the Linear Prediction Coefficients (LPCs) for the
- current SILK frame.
-Once decoded, they form an increasing list of Q15 values between 0 and 1.
+Normalized Line Spectral Frequency (LSF) coefficients follow the quantization
+ gains in the bitstream, and represent the Linear Predictive Coding (LPC)
+ coefficients for the current SILK frame.
+Once decoded, the normalized LSFs form an increasing list of Q15 values between
+ 0 and 1.
 These represent the interleaved zeros on the unit circle between 0 and pi
  (hence "normalized") in the standard decomposition of the LPC filter into a
  symmetric part and an anti-symmetric part (P and Q in
@@ -1815,9 +1816,23 @@ Because of non-linear effects in the decoding process, an implementation SHOULD
 An encoder SHOULD also use the same process.
 </t>
 <t>
-The normalized LSFs are coded using a two-stage vector quantizer (VQ).
+The normalized LSFs are coded using a two-stage vector quantizer (VQ)
+ (<xref target="silk_nlsf_stage1"/> and <xref target="silk_nlsf_stage2"/>).
 NB and MB frames use an order-10 predictor, while WB frames use an order-16
  predictor, and thus have different sets of tables.
+After reconstructing the normalized LSFs
+ (<xref target="silk_nlsf_reconstruction"/>), the decoder runs them through a
+ stabilization process (<xref target="silk_nlsf_stabilization"/>), interpolates
+ them between frames (<xref target="silk_nlsf_interpolation"/>), converts them
+ back into LPC coefficients (<xref target="silk_nlsf2lpc"/>), and then runs
+ them through further processes to limit the range of the coefficients
+ (<xref target="silk_lpc_range_limit"/>) and the gain of the filter
+ (<xref target="silk_lpc_gain_limit"/>).
+All of this is necessary to ensure the reconstruction process is stable.
+</t>
+
+<section anchor="silk_nlsf_stage1" title="Stage 1 Normalized LSF Decoding">
+<t>
 The first VQ stage uses a 32-element codebook, coded with one of the PDFs in
  <xref target="silk_nlsf_stage1_pdfs"/>, depending on the audio bandwidth and
  the signal type of the current SILK frame.
@@ -1866,6 +1881,9 @@ The actual codebook elements are listed in
 </c>
 </texttable>
 
+</section>
+
+<section anchor="silk_nlsf_stage2" title="Stage 2 Normalized LSF Decoding">
 <t>
 A total of 16 PDFs are available for the LSF residual in the second stage: the
  8 (a...h) for NB and MB frames given in
@@ -2120,8 +2138,8 @@ Let d_LPC be the order of the codebook, i.e., 10 for NB and MB, and 16 for WB,
 Then, the stage-2 residual for each coefficient is computed via
 <figure align="center">
 <artwork align="center"><![CDATA[
-  res_Q10[k] = (k+1 < d_LPC ? (res_Q10[k+1]*pred_Q8[k])>>8 : 0)
-               + ((((I2[k]<<10) + sign(I2[k])*102)*qstep)>>16) ,
+res_Q10[k] = (k+1 < d_LPC ? (res_Q10[k+1]*pred_Q8[k])>>8 : 0)
+             + ((((I2[k]<<10) + sign(I2[k])*102)*qstep)>>16) ,
 ]]></artwork>
 </figure>
  where qstep is the Q16 quantization step size, which is 11796 for NB and MB
@@ -2273,10 +2291,19 @@ Then, the stage-2 residual for each coefficient is computed via
 <c><spanx style="vbare">C&nbsp;&nbsp;C&nbsp;&nbsp;D&nbsp;&nbsp;C&nbsp;&nbsp;C&nbsp;&nbsp;D&nbsp;&nbsp;D&nbsp;&nbsp;D&nbsp;&nbsp;C&nbsp;&nbsp;C&nbsp;&nbsp;D&nbsp;&nbsp;C&nbsp;&nbsp;C&nbsp;&nbsp;D&nbsp;&nbsp;C</spanx></c>
 </texttable>
 
+</section>
+
+<section anchor="silk_nlsf_reconstruction"
+ title="Reconstructing the Normalized LSF Coefficients">
+<t>
+Once the stage-1 index I1 and the stage-2 residual res_Q10[] have been decoded,
+ the final normalized LSF coefficients can be reconstructed.
+</t>
 <t>
 The spectral distortion introduced by the quantization of each LSF coefficient
  varies, so the stage-2 residual is weighted accordingly, using the
- low-complexity weighting function proposed in <xref target="laroia-icassp"/>.
+ low-complexity Inverse Harmonic Mean Weighting (IHMW) function proposed in
+ <xref target="laroia-icassp"/>.
 The weights are derived directly from the stage-1 codebook vector.
 Let cb1_Q8[k] be the k'th entry of the stage-1 codebook vector from
  <xref target="silk_nlsf_nbmb_codebook"/> or
@@ -2316,7 +2343,7 @@ The reference implementation already requires code to compute these weights on
 <texttable anchor="silk_nlsf_nbmb_codebook"
            title="Codebook Vectors for NB/MB Normalized LSF Stage 1 Decoding">
 <ttcol>I1</ttcol>
-<ttcol>Codebook</ttcol>
+<ttcol>Codebook (Q8)</ttcol>
 <c/>
 <c><spanx style="vbare">&nbsp;0&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;&nbsp;2&nbsp;&nbsp;&nbsp;3&nbsp;&nbsp;&nbsp;4&nbsp;&nbsp;&nbsp;5&nbsp;&nbsp;&nbsp;6&nbsp;&nbsp;&nbsp;7&nbsp;&nbsp;&nbsp;8&nbsp;&nbsp;&nbsp;9</spanx></c>
 <c>0</c>
@@ -2388,7 +2415,7 @@ The reference implementation already requires code to compute these weights on
 <texttable anchor="silk_nlsf_wb_codebook"
            title="Codebook Vectors for WB Normalized LSF Stage 1 Decoding">
 <ttcol>I1</ttcol>
-<ttcol>Codebook</ttcol>
+<ttcol>Codebook (Q8)</ttcol>
 <c/>
 <c><spanx style="vbare">&nbsp;0&nbsp;&nbsp;1&nbsp;&nbsp;2&nbsp;&nbsp;3&nbsp;&nbsp;4&nbsp;&nbsp;&nbsp;5&nbsp;&nbsp;&nbsp;6&nbsp;&nbsp;&nbsp;7&nbsp;&nbsp;&nbsp;8&nbsp;&nbsp;&nbsp;9&nbsp;&nbsp;10&nbsp;&nbsp;11&nbsp;&nbsp;12&nbsp;&nbsp;13&nbsp;&nbsp;14&nbsp;&nbsp;15</spanx></c>
 <c>0</c>
@@ -2476,6 +2503,8 @@ The next section describes a stabilization procedure used to make these
  guarantees.
 </t>
 
+</section>
+
 <section anchor="silk_nlsf_stabilization" title="Normalized LSF Stabilization">
 <t>
 The normalized LSF stabilization procedure is implemented in
@@ -2616,7 +2645,7 @@ This interpolation is performed in silk_decode_parameters()
 </section>
 
 <section anchor="silk_nlsf2lpc"
        title="Converting Normalized LSF Coefficients to LPCs">
title="Converting Normalized LSFs to LPC Coefficients">
 <t>
 Any LPC filter A(z) can be split into a symmetric part P(z) and an
  anti-symmetric part Q(z) such that
@@ -2814,7 +2843,7 @@ The promotion of the expression from Q16 to Q17 implicitly scales the result
 </t>
 </section>
 
-<section anchor="silk_lpc_range"
+<section anchor="silk_lpc_range_limit"
  title="Limiting the Range of the LPC Coefficients">
 <t>
 The a32_Q17[] coefficients are too large to fit in a 16-bit value, which
@@ -2888,7 +2917,8 @@ This saturation is not performed if maxabs_Q12 drops to 32767 or less prior to
 </t>
 </section>
 
-<section title="Limiting the Prediction Gain of the LPC Filter">
+<section anchor="silk_lpc_gain_limit"
+ title="Limiting the Prediction Gain of the LPC Filter">
 <t>
 Even if the Q12 coefficients would fit, the resulting filter may still have a
  significant gain (especially for voiced sounds), making the filter unstable.
@@ -2989,7 +3019,7 @@ a_Q12[k] = (a32_Q17[k] + 16) >> 5 .
 ]]></artwork>
 </figure>
 Otherwise, a round of bandwidth expansion is applied using the same procedure
- as in <xref target="silk_lpc_range"/>, with
+ as in <xref target="silk_lpc_range_limit"/>, with
 <figure align="center">
 <artwork align="center"><![CDATA[
 sc_Q16[0] = 65536 - i*(i+9) .
@@ -3242,8 +3272,21 @@ pitch_lags[k] = clamp(lag_min, lag + lag_cb[contour_index][k],
 <t>
 SILK can use a separate 5-tap pitch filter for each subframe.
 It selects the filter to use from one of three codebooks.
-All of the subframes in a SILK frame must choose their filter from the same
- codebook, itself chosen via an explicitly-coded "periodicity index".
+The three codebooks each represent different rate-distortion trade-offs, with
+ average rates of 1.61&nbsp;bits/subframe, 3.68&nbsp;bits/subframe, and
+ 4.85&nbsp;bits/subframe, respectively.
+</t>
+
+<t>
+The importance of the filter coefficients generally depends on two factors: the
+ periodicity of the signal and relative energy between the current subframe and
+ the signal from one period earlier.
+Greater periodicity and decaying energy both lead to more important filter
+ coefficients, and thus should be coded with lower distortion and higher rate.
+These properties are relatively stable over the duration of a single SILK
+ frame, hence all of the subframes in a SILK frame must choose their filter
+ from the same codebook.
+This is signaled with an explicitly-coded "periodicity index".
 This immediately follows the subframe pitch lags, and is coded using the
  3-entry PDF from <xref target="silk_perindex_pdf"/>.
 </t>
@@ -3254,7 +3297,7 @@ This immediately follows the subframe pitch lags, and is coded using the
 </texttable>
 
 <t>
-The index of the filter for use for each subframe follows.
+The index of the filter to use for each subframe follows.
 They are all coded using the PDF from <xref target="silk_ltp_filter_pdfs"/>
  corresponding to the periodicity index.
 <xref target="silk_ltp_filter_coeffs0"/> through
@@ -3773,42 +3816,42 @@ In that case, any non-zero coefficients use a positive sign.
 <ttcol>Quantization Offset Type</ttcol>
 <ttcol>Pulse Count</ttcol>
 <ttcol>PDF</ttcol>
-<c>Inactive</c> <c>0</c> <c>1</c>         <c>{207, 49}/256</c>
-<c>Inactive</c> <c>0</c> <c>2</c>         <c>{189, 67}/256</c>
-<c>Inactive</c> <c>0</c> <c>3</c>         <c>{179, 77}/256</c>
-<c>Inactive</c> <c>0</c> <c>4</c>         <c>{174, 82}/256</c>
-<c>Inactive</c> <c>0</c> <c>5</c>         <c>{163, 93}/256</c>
-<c>Inactive</c> <c>0</c> <c>6 or more</c> <c>{157, 99}/256</c>
-<c>Inactive</c> <c>1</c> <c>1</c>         <c>{245, 11}/256</c>
-<c>Inactive</c> <c>1</c> <c>2</c>         <c>{238, 18}/256</c>
-<c>Inactive</c> <c>1</c> <c>3</c>         <c>{232, 24}/256</c>
-<c>Inactive</c> <c>1</c> <c>4</c>         <c>{225, 31}/256</c>
-<c>Inactive</c> <c>1</c> <c>5</c>         <c>{220, 36}/256</c>
-<c>Inactive</c> <c>1</c> <c>6 or more</c> <c>{211, 45}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>1</c>         <c>{210, 46}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>2</c>         <c>{190, 66}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>3</c>         <c>{178, 78}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>4</c>         <c>{169, 87}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>5</c>         <c>{162, 94}/256</c>
-<c>Unvoiced</c> <c>0</c> <c>6 or more</c> <c>{152, 104}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>1</c>         <c>{242, 14}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>2</c>         <c>{235, 21}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>3</c>         <c>{224, 32}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>4</c>         <c>{214, 42}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>5</c>         <c>{205, 51}/256</c>
-<c>Unvoiced</c> <c>1</c> <c>6 or more</c> <c>{190, 66}/256</c>
-<c>Voiced</c>   <c>0</c> <c>1</c>         <c>{162, 94}/256</c>
-<c>Voiced</c>   <c>0</c> <c>2</c>         <c>{152, 104}/256</c>
-<c>Voiced</c>   <c>0</c> <c>3</c>         <c>{147, 109}/256</c>
-<c>Voiced</c>   <c>0</c> <c>4</c>         <c>{144, 112}/256</c>
-<c>Voiced</c>   <c>0</c> <c>5</c>         <c>{141, 115}/256</c>
-<c>Voiced</c>   <c>0</c> <c>6 or more</c> <c>{138, 118}/256</c>
-<c>Voiced</c>   <c>1</c> <c>1</c>         <c>{203, 53}/256</c>
-<c>Voiced</c>   <c>1</c> <c>2</c>         <c>{187, 69}/256</c>
-<c>Voiced</c>   <c>1</c> <c>3</c>         <c>{176, 80}/256</c>
-<c>Voiced</c>   <c>1</c> <c>4</c>         <c>{168, 88}/256</c>
-<c>Voiced</c>   <c>1</c> <c>5</c>         <c>{161, 95}/256</c>
-<c>Voiced</c>   <c>1</c> <c>6 or more</c> <c>{154, 102}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>1</c>         <c>{207, 49}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>2</c>         <c>{189, 67}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>3</c>         <c>{179, 77}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>4</c>         <c>{174, 82}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>5</c>         <c>{163, 93}/256</c>
+<c>Inactive</c> <c>Low</c>  <c>6 or more</c> <c>{157, 99}/256</c>
+<c>Inactive</c> <c>High</c> <c>1</c>         <c>{245, 11}/256</c>
+<c>Inactive</c> <c>High</c> <c>2</c>         <c>{238, 18}/256</c>
+<c>Inactive</c> <c>High</c> <c>3</c>         <c>{232, 24}/256</c>
+<c>Inactive</c> <c>High</c> <c>4</c>         <c>{225, 31}/256</c>
+<c>Inactive</c> <c>High</c> <c>5</c>         <c>{220, 36}/256</c>
+<c>Inactive</c> <c>High</c> <c>6 or more</c> <c>{211, 45}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>1</c>         <c>{210, 46}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>2</c>         <c>{190, 66}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>3</c>         <c>{178, 78}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>4</c>         <c>{169, 87}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>5</c>         <c>{162, 94}/256</c>
+<c>Unvoiced</c> <c>Low</c>  <c>6 or more</c> <c>{152, 104}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>1</c>         <c>{242, 14}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>2</c>         <c>{235, 21}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>3</c>         <c>{224, 32}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>4</c>         <c>{214, 42}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>5</c>         <c>{205, 51}/256</c>
+<c>Unvoiced</c> <c>High</c> <c>6 or more</c> <c>{190, 66}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>1</c>         <c>{162, 94}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>2</c>         <c>{152, 104}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>3</c>         <c>{147, 109}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>4</c>         <c>{144, 112}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>5</c>         <c>{141, 115}/256</c>
+<c>Voiced</c>   <c>Low</c>  <c>6 or more</c> <c>{138, 118}/256</c>
+<c>Voiced</c>   <c>High</c> <c>1</c>         <c>{203, 53}/256</c>
+<c>Voiced</c>   <c>High</c> <c>2</c>         <c>{187, 69}/256</c>
+<c>Voiced</c>   <c>High</c> <c>3</c>         <c>{176, 80}/256</c>
+<c>Voiced</c>   <c>High</c> <c>4</c>         <c>{168, 88}/256</c>
+<c>Voiced</c>   <c>High</c> <c>5</c>         <c>{161, 95}/256</c>
+<c>Voiced</c>   <c>High</c> <c>6 or more</c> <c>{154, 102}/256</c>
 </texttable>
 
 </section>
@@ -4181,7 +4224,7 @@ of K that produces the number of bits nearest to the allocated value
 (rounding down if exactly halfway between two values), not to exceed
 the total number of bits available. For efficiency reasons, the search is performed against a
 precomputed allocation table which only permits some K values for each N. The number of
-codebook entries can be computed as explained in <xref target="cwrs-encoding"></xref>. The difference
+codebook entries can be computed as explained in <xref target="cwrs-decoder"></xref>. The difference
 between the number of bits allocated and the number of bits used is accumulated to a
 "balance" (initialized to zero) that helps adjust the
 allocation for the next bands. One third of the balance is applied to the
@@ -4216,12 +4259,60 @@ they are equivalent to the mathematical definition.
 <t>
 The decoding of the codeword from the index is performed as specified in
 <xref target="PVQ"></xref>, as implemented in function
-decode_pulses() (cwrs.c).
+decode_pulses() (cwrs.c). The decoded codeword is then normalised such that it's
+L2-norm equals one.
 </t>
 </section>
 
 <section anchor="spreading" title="Spreading">
 <t>
+The normalised vector decoded in <xref target="cwrs-decoder"/> is then rotated
+for the purpose of avoiding tonal artefacts. The rotation gain is equal to
+<figure align="center">
+<artwork align="center"><![CDATA[
+g_r = N / (N + f_r*K)
+]]></artwork>
+</figure>
+
+where N is the number of dimensions, K is the number of pulses, and f_r depends on
+the value of the "spread" parameter in the bit-stream.
+</t>
+
+<texttable anchor="spread values" title="Spreading values">
+<ttcol>Spread value</ttcol>
+<ttcol>f_r</ttcol>
+ <c>0</c> <c>infinite (no rotation)</c>
+ <c>1</c> <c>15</c>
+ <c>2</c> <c>10</c>
+ <c>3</c> <c>5</c>
+</texttable>
+
+<t>
+The rotation angle is then calculated as
+<figure align="center">
+<artwork align="center"><![CDATA[
+                 2
+        pi *  g_r
+theta = ----------
+            4
+]]></artwork>
+</figure>
+A 2-D rotation R(i,j) between points x_i and x_j is defined as:
+<figure align="center">
+<artwork align="center"><![CDATA[
+x_i' =  cos(theta)*x_i + sin(theta)*x_j
+x_j' = -sin(theta)*x_i + cos(theta)*x_j
+]]></artwork>
+</figure>
+
+An N-D rotation is then achieved by applying a series of 2-D rotations back and forth, in the
+following order: R(x_1, x_2), R(x_2, x_3), ..., R(x_N-2, X_N-1), R(x_N-1, X_N),
+R(x_N-2, X_N-1), ..., R(x_1, x_2).
+</t>
+
+<t>
+If the decoded vector represents more
+than one time block, then the following process is applied separately on each time block.
 </t>
 </section>
 
@@ -4270,13 +4361,37 @@ multiplied by the square root of the decoded energy. This is done by denormalise
 </section>
 
 <section anchor="inverse-mdct" title="Inverse MDCT">
+
+
+<t>The MDCT implementation has no special characteristics. The
+input is a windowed signal (after pre-emphasis) of 2*N samples and the output is N
+frequency-domain samples. A "low-overlap" window is used to reduce the algorithmic delay.
+It is derived from a basic (full overlap) window that is the same as the one used in the Vorbis codec:
+<figure align="center">
+<artwork align="center"><![CDATA[
+            pi       pi   n + 1/2   2
+W(n) = [sin(-- * sin(-- * -------))] .
+            2        2       L
+]]></artwork>
+</figure>
+The low-overlap window is created by zero-padding the basic window and inserting ones in the middle, such that the resulting window still satisfies power complementarity. The MDCT is computed in mdct_forward() (mdct.c), which includes the windowing operation and a scaling of 2/N.
+</t>
+
+
 <t>The inverse MDCT implementation has no special characteristics. The
 input is N frequency-domain samples and the output is 2*N time-domain
-samples, while scaling by 1/2. The output is windowed using the same window
-as the encoder. The IMDCT and windowing are performed by mdct_backward
-(mdct.c). If a time-domain pre-emphasis
-window was applied in the encoder, the (inverse) time-domain de-emphasis window
-is applied on the IMDCT result.
+samples, while scaling by 1/2. A "low-overlap" window is used to reduce the algorithmic delay.
+It is derived from a basic (full overlap) 240-sample version of the window used by the Vorbis codec:
+<figure align="center">
+<artwork align="center"><![CDATA[
+            pi       pi   n + 1/2   2
+W(n) = [sin(-- * sin(-- * -------))] .
+            2        2       L
+]]></artwork>
+</figure>
+The low-overlap window is created by zero-padding the basic window and inserting ones in the 
+middle, such that the resulting window still satisfies power complementarity. The IMDCT and 
+windowing are performed by mdct_backward (mdct.c).
 </t>
 
 <section anchor="post-filter" title="Post-filter">
@@ -4429,11 +4544,11 @@ Opus encoder block diagram.
       |  |conversion|    |       |  |
 audio |  +----------+    +-------+  |    +-------+
 ------+                             +--->| Range |
-      |  +-------+                       |encoder|---->
-      |  | CELT  |                  +--->|       | bitstream
-      +->|encoder|------------------+    +-------+
-         |       |
-         +-------+
+      |  +------------+  +-------+       |encoder|---->
+      |  |   Delay    |  | CELT  |  +--->|       | bitstream
+      +->|Compensation|->|encoder|--+    +-------+
+         |            |  |       |
+         +------------+  +-------+
 ]]>
 </artwork>
 </figure>
@@ -4662,7 +4777,7 @@ fl=sum(f(i),i<k), fh=fl+f(i), and ft=sum(f(i)).
 
           <section title='Voice Activity Detection'>
             <t>
-              The input signal is processed by a VAD (Voice Activity Detector) to produce a measure of voice activity, spectral tilt, and signal-to-noise estimates for each frame. The VAD uses a sequence of half-band filterbanks to split the signal into four subbands: 0 - Fs/16, Fs/16 - Fs/8, Fs/8 - Fs/4, and Fs/4 - Fs/2, where Fs is the sampling frequency (8, 12, 16, or 24&nbsp;kHz). The lowest subband, from 0 - Fs/16, is high-pass filtered with a first-order MA (Moving Average) filter (with transfer function H(z) = 1-z**(-1)) to reduce the energy at the lowest frequencies. For each frame, the signal energy per subband is computed. In each subband, a noise level estimator tracks the background noise level and an SNR (Signal-to-Noise Ratio) value is computed as the logarithm of the ratio of energy to noise level. Using these intermediate variables, the following parameters are calculated for use in other SILK modules:
+              The input signal is processed by a Voice Activity Detector (VAD) to produce a measure of voice activity, spectral tilt, and signal-to-noise estimates for each frame. The VAD uses a sequence of half-band filterbanks to split the signal into four subbands: 0 - Fs/16, Fs/16 - Fs/8, Fs/8 - Fs/4, and Fs/4 - Fs/2, where Fs is the sampling frequency (8, 12, 16, or 24&nbsp;kHz). The lowest subband, from 0 - Fs/16, is high-pass filtered with a first-order moving average (MA) filter (with transfer function H(z) = 1-z**(-1)) to reduce the energy at the lowest frequencies. For each frame, the signal energy per subband is computed. In each subband, a noise level estimator tracks the background noise level and a Signal-to-Noise Ratio (SNR) value is computed as the logarithm of the ratio of energy to noise level. Using these intermediate variables, the following parameters are calculated for use in other SILK modules:
               <list style="symbols">
                 <t>
                   Average SNR. The average of the subband SNR values.
@@ -4685,7 +4800,7 @@ fl=sum(f(i),i<k), fh=fl+f(i), and ft=sum(f(i)).
 
           <section title='High-Pass Filter'>
             <t>
-              The input signal is filtered by a high-pass filter to remove the lowest part of the spectrum that contains little speech energy and may contain background noise. This is a second order ARMA (Auto Regressive Moving Average) filter with a cut-off frequency around 70&nbsp;Hz.
+              The input signal is filtered by a high-pass filter to remove the lowest part of the spectrum that contains little speech energy and may contain background noise. This is a second order Auto Regressive Moving Average (ARMA) filter with a cut-off frequency around 70&nbsp;Hz.
             </t>
             <t>
               In the future, a music detector may also be used to lower the cut-off frequency when the input signal is detected to be music rather than speech.
@@ -4924,7 +5039,7 @@ c_tilt = 0.04 + 0.06 * C
 
             <section title='Voiced Speech' anchor='pred_ana_voiced_overview_section'>
               <t>
-                For a frame of voiced speech the pitch pulses will remain dominant in the pre-whitened input signal. Further whitening is desirable as it leads to higher quality at the same available bitrate. To achieve this, a Long-Term Prediction (LTP) analysis is carried out to estimate the coefficients of a fifth-order LTP filter for each of four subframes. The LTP coefficients are used to find an LTP residual signal with the simulated output signal as input to obtain better modeling of the output signal. This LTP residual signal is the input to an LPC analysis where the LPCs are estimated using Burg's method, such that the residual energy is minimized. The estimated LPCs are converted to a Line Spectral Frequency (LSF) vector and quantized as described in <xref target='lsf_quantizer_overview_section' />. After quantization, the quantized LSF vector is converted to LPC coefficients. By using these quantized coefficients, the encoder remains fully synchronized with the decoder. The LTP coefficients are quantized using a method described in <xref target='ltp_quantizer_overview_section' />. The quantized LPC and LTP coefficients are then used to filter the high-pass filtered input signal and measure residual energy for each of the four subframes.
+                For a frame of voiced speech the pitch pulses will remain dominant in the pre-whitened input signal. Further whitening is desirable as it leads to higher quality at the same available bitrate. To achieve this, a Long-Term Prediction (LTP) analysis is carried out to estimate the coefficients of a fifth-order LTP filter for each of four subframes. The LTP coefficients are used to find an LTP residual signal with the simulated output signal as input to obtain better modeling of the output signal. This LTP residual signal is the input to an LPC analysis where the LPCs are estimated using Burg's method, such that the residual energy is minimized. The estimated LPCs are converted to a Line Spectral Frequency (LSF) vector and quantized as described in <xref target='lsf_quantizer_overview_section' />. After quantization, the quantized LSF vector is converted back to LPC coefficients using the full procedure in <xref target="silk_nlsfs"/>. By using LPC coefficients derived from the quantized LSF coefficients, the encoder remains fully synchronized with the decoder. The LTP coefficients are quantized using a method described in <xref target='ltp_quantizer_overview_section' />. The quantized LPC and LTP coefficients are then used to filter the high-pass filtered input signal and measure residual energy for each of the four subframes.
               </t>
             </section>
             <section title='Unvoiced Speech' anchor='pred_ana_unvoiced_overview_section'>
@@ -5067,30 +5182,25 @@ T = | | Ms
 
 <section title="CELT Encoder">
 <t>
-Copy from CELT draft.
+Most of the aspects of the CELT encoder can be directly derived from the description 
+of the decoder. For example, the filters and rotations in the encoder are simply the
+inverse of the operation performed by the decoder. Similarly, the quantizers generally
+optimize for the mean square error (because noise shaping is part of the bit-stream itself),
+so no special search is required. For this reason, only the less straightforward aspects of the 
+encoder are described here.
 </t>
 
-<section anchor="prefilter" title="Pre-filter">
-<t>
-Inverse of the post-filter
-</t>
-</section>
-
-
-<section anchor="forward-mdct" title="Forward MDCT">
-
-<t>The MDCT implementation has no special characteristics. The
-input is a windowed signal (after pre-emphasis) of 2*N samples and the output is N
-frequency-domain samples. A "low-overlap" window is used to reduce the algorithmic delay.
-It is derived from a basic (full overlap) window that is the same as the one used in the Vorbis codec:
-<figure align="center">
-<artwork align="center"><![CDATA[
-            pi       pi   n + 1/2   2
-W(n) = [sin(-- * sin(-- * -------))] .
-            2        2       L
-]]></artwork>
-</figure>
-The low-overlap window is created by zero-padding the basic window and inserting ones in the middle, such that the resulting window still satisfies power complementarity. The MDCT is computed in mdct_forward() (mdct.c), which includes the windowing operation and a scaling of 2/N.
+<section anchor="pitch-prefilter" title="Pitch prefilter">
+<t>The pitch prefilter is applied after the pre-emphasis and before the de-emphasis. It's applied 
+in such a way as to be the inverse of the decoder's post-filter. The main non-obvious aspect of the
+prefilter is the selection of the pitch period. The pitch search should be optimised for the 
+following criteria:
+<list style="symbols">
+<t>continuity: it is important that the pitch period
+does not change abruptly between frames; and</t>
+<t>avoidance of pitch multiples: when the period used is a multiple of the real period 
+(lower frequency fundamental), the post-filter loses most of its ability to reduce noise</t>
+</list>
 </t>
 </section>
 
@@ -5109,78 +5219,13 @@ and normalise_bands() (bands.c), respectively.
 <section anchor="energy-quantization" title="Energy Envelope Quantization">
 
 <t>
-It is important to quantize the energy with sufficient resolution because
-any energy quantization error cannot be compensated for at a later
-stage. Regardless of the resolution used for encoding the shape of a band,
-it is perceptually important to preserve the energy in each band. CELT uses a
-coarse-fine strategy for encoding the energy in the base-2 log domain,
-as implemented in quant_bands.c</t>
-
-<section anchor="coarse-energy" title="Coarse energy quantization">
-<t>
-The coarse quantization of the energy uses a fixed resolution of 6 dB.
-To minimize the bitrate, prediction is applied both in time (using the previous frame)
-and in frequency (using the previous bands). The prediction using the
-previous frame can be disabled, creating an "intra" frame where the energy
-is coded without reference to prior frames. An encoder is able to choose the
-mode used at will based on both loss robustness and efficiency
-considerations.
-The 2-D z-transform of
-the prediction filter is:
-<figure align="center">
-<artwork align="center"><![CDATA[
-                            -1          -1
-              (1 - alpha*z_l  )*(1 - z_b  )
-A(z_l, z_b) = -----------------------------
-                                 -1
-                     1 - beta*z_b
-]]></artwork>
-</figure>
-where b is the band index and l is the frame index. The prediction coefficients
-applied depend on the frame size in use when not using intra energy and are alpha=0, beta=4915/32768
-when using intra energy.
-The time-domain prediction is based on the final fine quantization of the previous
-frame, while the frequency domain (within the current frame) prediction is based
-on coarse quantization only (because the fine quantization has not been computed
-yet). The prediction is clamped internally so that fixed point implementations with
-limited dynamic range do not suffer desynchronization.  Identical prediction
-clamping must be implemented in all encoders and decoders.
-We approximate the ideal
-probability distribution of the prediction error using a Laplace distribution
-with separate parameters for each frame size in intra- and inter-frame modes. The
-coarse energy quantization is performed by quant_coarse_energy() and
-quant_coarse_energy() (quant_bands.c). The encoding of the Laplace-distributed values is
-implemented in ec_laplace_encode() (laplace.c).
-</t>
-
-<!-- FIXME: bit budget consideration -->
-</section> <!-- coarse energy -->
-
-<section anchor="fine-energy" title="Fine energy quantization">
-<t>
-After the coarse energy quantization and encoding, the bit allocation is computed
-(<xref target="allocation"></xref>) and the number of bits to use for refining the
-energy quantization is determined for each band. Let B_i be the number of fine energy bits
-for band i; the refinement is an integer f in the range [0,2**B_i-1]. The mapping between f
-and the correction applied to the coarse energy is equal to (f+1/2)/2**B_i - 1/2. Fine
-energy quantization is implemented in quant_fine_energy()
-(quant_bands.c).
-</t>
-
-<t>
-If any bits are unused at the end of the encoding process, these bits are used to
-increase the resolution of the fine energy encoding in some bands. Priority is given
-to the bands for which the allocation (<xref target="allocation"></xref>) was rounded
-down. At the same level of priority, lower bands are encoded first. Refinement bits
-are added until there is no more room for fine energy or until each band
-has gained an additional bit of precision or has the maximum fine
-energy precision. This is implemented in quant_energy_finalise()
-(quant_bands.c).
+Energy quantization (both coarse and fine) can be easily understood from the decoding process.
+The quantizer simply minimizes the log energy error for each band, with the exception that at
+very low rate, larger errors are allowed in the coarse energy to minimize the bit-rate. When the
+avaialble CPU requirements allow it, it is best to try encoding the coarse energy both with and without
+inter-frame prediction such that the best prediction mode can be selected. The optimal mode depends on
+the coding rate, the available bit-rate, and the current rate of packet loss. 
 </t>
-
-</section> <!-- fine energy -->
-
-
 </section> <!-- Energy quant -->
 
 
@@ -5236,57 +5281,12 @@ codebook and the implementers MAY use any other search methods.
 </section>
 
 
-<section anchor="cwrs-encoding" title="Index Encoding">
-<t>
-The best PVQ codeword is encoded as a uniformly-distributed integer value
-by encode_pulses() (cwrs.c).
-The codeword is converted from a unique index in the same way as specified in
-<xref target="PVQ"></xref>. The indexing is based on the calculation of V(N,K)
-(denoted N(L,K) in <xref target="PVQ"></xref>), which is the number of possible
-combinations of K pulses in N samples.
-</t>
-
 </section>
 
-</section>
-
-
-<section anchor="stereo" title="Stereo support">
-<t>
-When encoding a stereo stream, some parameters are shared across the left and right channels, while others are transmitted separately for each channel, or jointly encoded. Only one copy of the flags for the features, transients and pitch (pitch
-period and filter parameters) are transmitted. The coarse and fine energy parameters are transmitted separately for each channel. Both the coarse energy and fine energy (including the remaining fine bits at the end of the stream) have the left and right bands interleaved in the stream, with the left band encoded first.
-</t>
-
-<t>
-The main difference between mono and stereo coding is the PVQ coding of the normalized vectors. In stereo mode, a normalized mid-side (M-S) encoding is used. Let L and R be the normalized vector of a certain band for the left and right channels, respectively. The mid and side vectors are computed as M=L+R and S=L-R and no longer have unit norm.
-</t>
 
-<t>
-From M and S, an angular parameter theta=2/pi*atan2(||S||, ||M||) is computed. The theta parameter is converted to a Q14 fixed-point parameter itheta, which is quantized on a scale from 0 to 1 with an interval of 2**(-qb), where qb is
-based the number of bits allocated to the band. From here on, the value of itheta MUST be treated in a bit-exact manner since both the encoder and decoder rely on it to infer the bit allocation.
-</t>
-<t>
-Let m=M/||M|| and s=S/||S||; m and s are separately encoded with the PVQ encoder described in <xref target="pvq"></xref>. The number of bits allocated to m and s depends on the value of itheta.
-</t>
 
-</section>
 
 
-<section anchor="synthesis" title="Synthesis">
-<t>
-After all the quantization is completed, the quantized energy is used along with the
-quantized normalized band data to resynthesize the MDCT spectrum. The inverse MDCT (<xref target="inverse-mdct"></xref>) and the weighted overlap-add are applied and the signal is stored in the "synthesis
-buffer".
-The encoder MAY omit this step of the processing if it does not need the decoded output.
-</t>
-</section>
-
-<section anchor="vbr" title="Variable Bitrate (VBR)">
-<t>
-Each CELT frame can be encoded in a different number of octets, making it possible to vary the bitrate at will. This property can be used to implement source-controlled variable bitrate (VBR). Support for VBR is OPTIONAL for the encoder, but a decoder MUST be prepared to decode a stream that changes its bitrate dynamically. The method used to vary the bitrate in VBR mode is left to the implementer, as long as each frame can be decoded by the reference decoder.
-</t>
-</section>
-
 </section>
 
 </section>
@@ -5326,7 +5326,7 @@ calls in celt.h.
 <section anchor="security" title="Security Considerations">
 
 <t>
-The codec needs to take appropriate security considerations
+Implementations of the Opus codec need to take appropriate security considerations
 into account, as outlined in <xref target="DOS"/> and <xref target="SECGUIDE"/>.
 It is extremely important for the decoder to be robust against malicious
 payloads.
@@ -5343,17 +5343,32 @@ The reference implementation contains no known buffer overflow or cases where
  in CPU load.
 However, on certain CPU architectures where denormalized floating-point
  operations are much slower than normal floating-point operations, it is
- possible for some audio content (e.g., silence or near-silence) to cause such
+ possible for some audio content (e.g., silence or near-silence) to cause a certain
  an increase in CPU load.
 Denormals can be introduced by reordering operations in the compiler and depend
  on the target architecture, so it is difficult to guarantee that an implementation
  avoids them.
-For such architectures, it is RECOMMENDED that one add very small
- floating-point offsets to prevent significant numbers of denormalized
- operations or to configure the hardware to treat denormals as zero (DAZ).
-<!--TODO: Add small offsets to what? We should be explicit-->
+For architectures on which denormals are problematic, it is RECOMMENDED to 
+add very small floating-point offsets to the affected signals
+to prevent significant numbers of denormalized
+ operations. Alternatively, it is often possible to configure the hardware to treat
+ denormals as zero (DAZ).
 No such issue exists for the fixed-point reference implementation.
 </t>
+<t>The reference implementation was validated in the following conditions:
+<list style="numbers">
+<t>Sending the decoder valid packets generated by the reference encoder and 
+verifying that the decoder's final range coder state matches that of the encoder.</t>
+<t>Sending the decoder packets generated by the reference encoder, after random corruption.</t>
+<t>Sending the decoder random packets to the decoder.</t>
+<t>Altering the encoder to make random coding decisions (internal fuzzing), including
+mode switching and verifying that the range coder final states match.</t>
+</list>
+In all of the conditions above, both the encoder and the decoder were run inside
+the Valgrind memory debugger, which tracks reads and writes to invalid memory 
+regions, as well as use of uninitialized memory. There were no error reported
+on any of the tested conditions.
+</t>
 </section>