oggopus: Address Stephen Farrell's IESG comments.
[opus.git] / doc / draft-ietf-codec-oggopus.xml
1 <?xml version="1.0" encoding="utf-8"?>
2 <!--
3    Copyright (c) 2012-2016 Xiph.Org Foundation and contributors
4
5    Redistribution and use in source and binary forms, with or without
6    modification, are permitted provided that the following conditions
7    are met:
8
9    - Redistributions of source code must retain the above copyright
10    notice, this list of conditions and the following disclaimer.
11
12    - Redistributions in binary form must reproduce the above copyright
13    notice, this list of conditions and the following disclaimer in the
14    documentation and/or other materials provided with the distribution.
15
16    THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
17    ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
18    LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
19    A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER
20    OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
21    EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
22    PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
23    PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
24    LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
25    NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
26    SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
27
28    Special permission is granted to remove the above copyright notice, list of
29    conditions, and disclaimer when submitting this document, with or without
30    modification, to the IETF.
31 -->
32 <!DOCTYPE rfc SYSTEM 'rfc2629.dtd' [
33 <!ENTITY rfc2119 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2119.xml'>
34 <!ENTITY rfc3533 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3533.xml'>
35 <!ENTITY rfc3629 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3629.xml'>
36 <!ENTITY rfc4732 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4732.xml'>
37 <!ENTITY rfc5226 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5226.xml'>
38 <!ENTITY rfc5334 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5334.xml'>
39 <!ENTITY rfc6381 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6381.xml'>
40 <!ENTITY rfc6716 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6716.xml'>
41 <!ENTITY rfc6982 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6982.xml'>
42 <!ENTITY rfc7587 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.7587.xml'>
43 ]>
44 <?rfc toc="yes" symrefs="yes" ?>
45
46 <rfc ipr="trust200902" category="std" docName="draft-ietf-codec-oggopus-13"
47  updates="5334">
48
49 <front>
50 <title abbrev="Ogg Opus">Ogg Encapsulation for the Opus Audio Codec</title>
51 <author initials="T.B." surname="Terriberry" fullname="Timothy B. Terriberry">
52 <organization>Mozilla Corporation</organization>
53 <address>
54 <postal>
55 <street>650 Castro Street</street>
56 <city>Mountain View</city>
57 <region>CA</region>
58 <code>94041</code>
59 <country>USA</country>
60 </postal>
61 <phone>+1 650 903-0800</phone>
62 <email>tterribe@xiph.org</email>
63 </address>
64 </author>
65
66 <author initials="R." surname="Lee" fullname="Ron Lee">
67 <organization>Voicetronix</organization>
68 <address>
69 <postal>
70 <street>246 Pulteney Street, Level 1</street>
71 <city>Adelaide</city>
72 <region>SA</region>
73 <code>5000</code>
74 <country>Australia</country>
75 </postal>
76 <phone>+61 8 8232 9112</phone>
77 <email>ron@debian.org</email>
78 </address>
79 </author>
80
81 <author initials="R." surname="Giles" fullname="Ralph Giles">
82 <organization>Mozilla Corporation</organization>
83 <address>
84 <postal>
85 <street>163 West Hastings Street</street>
86 <city>Vancouver</city>
87 <region>BC</region>
88 <code>V6B 1H5</code>
89 <country>Canada</country>
90 </postal>
91 <phone>+1 778 785 1540</phone>
92 <email>giles@xiph.org</email>
93 </address>
94 </author>
95
96 <date day="12" month="February" year="2016"/>
97 <area>RAI</area>
98 <workgroup>codec</workgroup>
99
100 <abstract>
101 <t>
102 This document defines the Ogg encapsulation for the Opus interactive speech and
103  audio codec.
104 This allows data encoded in the Opus format to be stored in an Ogg logical
105  bitstream.
106 </t>
107 </abstract>
108 </front>
109
110 <middle>
111 <section anchor="intro" title="Introduction">
112 <t>
113 The IETF Opus codec is a low-latency audio codec optimized for both voice and
114  general-purpose audio.
115 See <xref target="RFC6716"/> for technical details.
116 This document defines the encapsulation of Opus in a continuous, logical Ogg
117  bitstream&nbsp;<xref target="RFC3533"/>.
118 Ogg encapsulation provides Opus with a long-term storage format supporting
119  all of the essential features, including metadata, fast and accurate seeking,
120  corruption detection, recapture after errors, low overhead, and the ability to
121  multiplex Opus with other codecs (including video) with minimal buffering.
122 It also provides a live streamable format, capable of delivery over a reliable
123  stream-oriented transport, without requiring all the data, or even the total
124  length of the data, up-front, in a form that is identical to the on-disk
125  storage format.
126 </t>
127 <t>
128 Ogg bitstreams are made up of a series of 'pages', each of which contains data
129  from one or more 'packets'.
130 Pages are the fundamental unit of multiplexing in an Ogg stream.
131 Each page is associated with a particular logical stream and contains a capture
132  pattern and checksum, flags to mark the beginning and end of the logical
133  stream, and a 'granule position' that represents an absolute position in the
134  stream, to aid seeking.
135 A single page can contain up to 65,025 octets of packet data from up to 255
136  different packets.
137 Packets can be split arbitrarily across pages, and continued from one page to
138  the next (allowing packets much larger than would fit on a single page).
139 Each page contains 'lacing values' that indicate how the data is partitioned
140  into packets, allowing a demultiplexer (demuxer) to recover the packet
141  boundaries without examining the encoded data.
142 A packet is said to 'complete' on a page when the page contains the final
143  lacing value corresponding to that packet.
144 </t>
145 <t>
146 This encapsulation defines the contents of the packet data, including
147  the necessary headers, the organization of those packets into a logical
148  stream, and the interpretation of the codec-specific granule position field.
149 It does not attempt to describe or specify the existing Ogg container format.
150 Readers unfamiliar with the basic concepts mentioned above are encouraged to
151  review the details in <xref target="RFC3533"/>.
152 </t>
153
154 </section>
155
156 <section anchor="terminology" title="Terminology">
157 <t>
158 The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT", "SHOULD",
159  "SHOULD NOT", "RECOMMENDED", "NOT RECOMMENDED", "MAY", and "OPTIONAL" in this
160  document are to be interpreted as described in <xref target="RFC2119"/>.
161 </t>
162
163 </section>
164
165 <section anchor="packet_organization" title="Packet Organization">
166 <t>
167 An Ogg Opus stream is organized as follows (see
168  <xref target="packet-org-example"/> for an example).
169 </t>
170
171 <figure anchor="packet-org-example"
172  title="Example packet organization for a logical Ogg Opus stream"
173  align="center">
174 <artwork align="center"><![CDATA[
175     Page 1         Pages 2 ... n        Pages (n+1) ...
176  +------------+ +---+ +---+ ... +---+ +-----------+ +---------+ +--
177  |            | |   | |   |     |   | |           | |         | |
178  |+----------+| |+-----------------+| |+-------------------+ +-----
179  |||ID Header|| ||  Comment Header || ||Audio Data Packet 1| | ...
180  |+----------+| |+-----------------+| |+-------------------+ +-----
181  |            | |   | |   |     |   | |           | |         | |
182  +------------+ +---+ +---+ ... +---+ +-----------+ +---------+ +--
183  ^      ^                           ^
184  |      |                           |
185  |      |                           Mandatory Page Break
186  |      |
187  |      ID header is contained on a single page
188  |
189  'Beggining Of Stream'
190 ]]></artwork>
191 </figure>
192
193 <t>
194 There are two mandatory header packets.
195 The first packet in the logical Ogg bitstream MUST contain the identification
196  (ID) header, which uniquely identifies a stream as Opus audio.
197 The format of this header is defined in <xref target="id_header"/>.
198 It is placed alone (without any other packet data) on the first page of
199  the logical Ogg bitstream, and completes on that page.
200 This page has its 'beginning of stream' flag set.
201 </t>
202 <t>
203 The second packet in the logical Ogg bitstream MUST contain the comment header,
204  which contains user-supplied metadata.
205 The format of this header is defined in <xref target="comment_header"/>.
206 It MAY span multiple pages, beginning on the second page of the logical
207  stream.
208 However many pages it spans, the comment header packet MUST finish the page on
209  which it completes.
210 </t>
211 <t>
212 All subsequent pages are audio data pages, and the Ogg packets they contain are
213  audio data packets.
214 Each audio data packet contains one Opus packet for each of N different
215  streams, where N is typically one for mono or stereo, but MAY be greater than
216  one for multichannel audio.
217 The value N is specified in the ID header (see
218  <xref target="channel_mapping"/>), and is fixed over the entire length of the
219  logical Ogg bitstream.
220 </t>
221 <t>
222 The first (N&nbsp;-&nbsp;1) Opus packets, if any, are packed one after another
223  into the Ogg packet, using the self-delimiting framing from Appendix&nbsp;B of
224  <xref target="RFC6716"/>.
225 The remaining Opus packet is packed at the end of the Ogg packet using the
226  regular, undelimited framing from Section&nbsp;3 of <xref target="RFC6716"/>.
227 All of the Opus packets in a single Ogg packet MUST be constrained to have the
228  same duration.
229 An implementation of this specification SHOULD treat any Opus packet whose
230  duration is different from that of the first Opus packet in an Ogg packet as
231  if it were a malformed Opus packet with an invalid Table Of Contents (TOC)
232  sequence.
233 </t>
234 <t>
235 The TOC sequence at the beginning of each Opus packet indicates the coding
236  mode, audio bandwidth, channel count, duration (frame size), and number of
237  frames per packet, as described in Section&nbsp;3.1
238  of&nbsp;<xref target="RFC6716"/>.
239 The coding mode is one of SILK, Hybrid, or Constrained Energy Lapped Transform
240  (CELT).
241 The combination of coding mode, audio bandwidth, and frame size is referred to
242  as the configuration of an Opus packet.
243 </t>
244 <t>
245 Packets are placed into Ogg pages in order until the end of stream.
246 Audio data packets might span page boundaries.
247 The first audio data page could have the 'continued packet' flag set
248  (indicating the first audio data packet is continued from a previous page) if,
249  for example, it was a live stream joined mid-broadcast, with the headers
250  pasted on the front.
251 A demuxer SHOULD NOT attempt to decode the data for the first packet on a page
252  with the 'continued packet' flag set if the previous page with packet data
253  does not end in a continued packet (i.e., did not end with a lacing value of
254  255) or if the page sequence numbers are not consecutive, unless the demuxer
255  has some special knowledge that would allow it to interpret this data
256  despite the missing pieces.
257 An implementation MUST treat a zero-octet audio data packet as if it were a
258  malformed Opus packet as described in
259  Section&nbsp;3.4 of&nbsp;<xref target="RFC6716"/>.
260 </t>
261 <t>
262 A logical stream ends with a page with the 'end of stream' flag set, but
263  implementations need to be prepared to deal with truncated streams that do not
264  have a page marked 'end of stream'.
265 There is no reason for the final packet on the last page to be a continued
266  packet, i.e., for the final lacing value to be 255.
267 However, demuxers might encounter such streams, possibly as the result of a
268  transfer that did not complete or of corruption.
269 A demuxer SHOULD NOT attempt to decode the data from a packet that continues
270  onto a subsequent page (i.e., when the page ends with a lacing value of 255)
271  if the next page with packet data does not have the 'continued packet' flag
272  set or does not exist, or if the page sequence numbers are not consecutive,
273  unless the demuxer has some special knowledge that would allow it to interpret
274  this data despite the missing pieces.
275 There MUST NOT be any more pages in an Opus logical bitstream after a page
276  marked 'end of stream'.
277 </t>
278 </section>
279
280 <section anchor="granpos" title="Granule Position">
281 <t>
282 The granule position MUST be zero for the ID header page and the
283  page where the comment header completes.
284 That is, the first page in the logical stream, and the last header
285  page before the first audio data page both have a granule position of zero.
286 </t>
287 <t>
288 The granule position of an audio data page encodes the total number of PCM
289  samples in the stream up to and including the last fully-decodable sample from
290  the last packet completed on that page.
291 The granule position of the first audio data page will usually be larger than
292  zero, as described in <xref target="start_granpos_restrictions"/>.
293 </t>
294
295 <t>
296 A page that is entirely spanned by a single packet (that completes on a
297  subsequent page) has no granule position, and the granule position field is
298  set to the special value '-1' in two's complement.
299 </t>
300
301 <t>
302 The granule position of an audio data page is in units of PCM audio samples at
303  a fixed rate of 48&nbsp;kHz (per channel; a stereo stream's granule position
304  does not increment at twice the speed of a mono stream).
305 It is possible to run an Opus decoder at other sampling rates,
306  but all Opus packets encode samples at a sampling rate that evenly divides
307  48&nbsp;kHz.
308 Therefore, the value in the granule position field always counts samples
309  assuming a 48&nbsp;kHz decoding rate, and the rest of this specification makes
310  the same assumption.
311 </t>
312
313 <t>
314 The duration of an Opus packet as defined in <xref target="RFC6716"/> can be
315  any multiple of 2.5&nbsp;ms, up to a maximum of 120&nbsp;ms.
316 This duration is encoded in the TOC sequence at the beginning of each packet.
317 The number of samples returned by a decoder corresponds to this duration
318  exactly, even for the first few packets.
319 For example, a 20&nbsp;ms packet fed to a decoder running at 48&nbsp;kHz will
320  always return 960&nbsp;samples.
321 A demuxer can parse the TOC sequence at the beginning of each Ogg packet to
322  work backwards or forwards from a packet with a known granule position (i.e.,
323  the last packet completed on some page) in order to assign granule positions
324  to every packet, or even every individual sample.
325 The one exception is the last page in the stream, as described below.
326 </t>
327
328 <t>
329 All other pages with completed packets after the first MUST have a granule
330  position equal to the number of samples contained in packets that complete on
331  that page plus the granule position of the most recent page with completed
332  packets.
333 This guarantees that a demuxer can assign individual packets the same granule
334  position when working forwards as when working backwards.
335 For this to work, there cannot be any gaps.
336 </t>
337
338 <section anchor="gap-repair" title="Repairing Gaps in Real-time Streams">
339 <t>
340 In order to support capturing a real-time stream that has lost or not
341  transmitted packets, a multiplexer (muxer) SHOULD emit packets that explicitly
342  request the use of Packet Loss Concealment (PLC) in place of the missing
343  packets.
344 Implementations that fail to do so still MUST NOT increment the granule
345  position for a page by anything other than the number of samples contained in
346  packets that actually complete on that page.
347 </t>
348 <t>
349 Only gaps that are a multiple of 2.5&nbsp;ms are repairable, as these are the
350  only durations that can be created by packet loss or discontinuous
351  transmission.
352 Muxers need not handle other gap sizes.
353 Creating the necessary packets involves synthesizing a TOC byte (defined in
354 Section&nbsp;3.1 of&nbsp;<xref target="RFC6716"/>)&mdash;and whatever
355  additional internal framing is needed&mdash;to indicate the packet duration
356  for each stream.
357 The actual length of each missing Opus frame inside the packet is zero bytes,
358  as defined in Section&nbsp;3.2.1 of&nbsp;<xref target="RFC6716"/>.
359 </t>
360
361 <t>
362 Zero-byte frames MAY be packed into packets using any of codes&nbsp;0, 1,
363  2, or&nbsp;3.
364 When successive frames have the same configuration, the higher code packings
365  reduce overhead.
366 Likewise, if the TOC configuration matches, the muxer MAY further combine the
367  empty frames with previous or subsequent non-zero-length frames (using
368  code&nbsp;2 or VBR code&nbsp;3).
369 </t>
370
371 <t>
372 <xref target="RFC6716"/> does not impose any requirements on the PLC, but this
373  section outlines choices that are expected to have a positive influence on
374  most PLC implementations, including the reference implementation.
375 Synthesized TOC sequences SHOULD maintain the same mode, audio bandwidth,
376  channel count, and frame size as the previous packet (if any).
377 This is the simplest and usually the most well-tested case for the PLC to
378  handle and it covers all losses that do not include a configuration switch,
379  as defined in Section&nbsp;4.5 of&nbsp;<xref target="RFC6716"/>.
380 </t>
381
382 <t>
383 When a previous packet is available, keeping the audio bandwidth and channel
384  count the same allows the PLC to provide maximum continuity in the concealment
385  data it generates.
386 However, if the size of the gap is not a multiple of the most recent frame
387  size, then the frame size will have to change for at least some frames.
388 Such changes SHOULD be delayed as long as possible to simplify
389  things for PLC implementations.
390 </t>
391
392 <t>
393 As an example, a 95&nbsp;ms gap could be encoded as nineteen 5&nbsp;ms frames
394  in two bytes with a single CBR code&nbsp;3 packet.
395 If the previous frame size was 20&nbsp;ms, using four 20&nbsp;ms frames
396  followed by three 5&nbsp;ms frames requires 4&nbsp;bytes (plus an extra byte
397  of Ogg lacing overhead), but allows the PLC to use its well-tested steady
398  state behavior for as long as possible.
399 The total bitrate of the latter approach, including Ogg overhead, is about
400  0.4&nbsp;kbps, so the impact on file size is minimal.
401 </t>
402
403 <t>
404 Changing modes is discouraged, since this causes some decoder implementations
405  to reset their PLC state.
406 However, SILK and Hybrid mode frames cannot fill gaps that are not a multiple
407  of 10&nbsp;ms.
408 If switching to CELT mode is needed to match the gap size, a muxer SHOULD do
409  so at the end of the gap to allow the PLC to function for as long as possible.
410 </t>
411
412 <t>
413 In the example above, if the previous frame was a 20&nbsp;ms SILK mode frame,
414  the better solution is to synthesize a packet describing four 20&nbsp;ms SILK
415  frames, followed by a packet with a single 10&nbsp;ms SILK
416  frame, and finally a packet with a 5&nbsp;ms CELT frame, to fill the 95&nbsp;ms
417  gap.
418 This also requires four bytes to describe the synthesized packet data (two
419  bytes for a CBR code 3 and one byte each for two code 0 packets) but three
420  bytes of Ogg lacing overhead are needed to mark the packet boundaries.
421 At 0.6 kbps, this is still a minimal bitrate impact over a naive, low quality
422  solution.
423 </t>
424
425 <t>
426 Since medium-band audio is an option only in the SILK mode, wideband frames
427  SHOULD be generated if switching from that configuration to CELT mode, to
428  ensure that any PLC implementation which does try to migrate state between
429  the modes will be able to preserve all of the available audio bandwidth.
430 </t>
431
432 </section>
433
434 <section anchor="preskip" title="Pre-skip">
435 <t>
436 There is some amount of latency introduced during the decoding process, to
437  allow for overlap in the CELT mode, stereo mixing in the SILK mode, and
438  resampling.
439 The encoder might have introduced additional latency through its own resampling
440  and analysis (though the exact amount is not specified).
441 Therefore, the first few samples produced by the decoder do not correspond to
442  real input audio, but are instead composed of padding inserted by the encoder
443  to compensate for this latency.
444 These samples need to be stored and decoded, as Opus is an asymptotically
445  convergent predictive codec, meaning the decoded contents of each frame depend
446  on the recent history of decoder inputs.
447 However, a player will want to skip these samples after decoding them.
448 </t>
449
450 <t>
451 A 'pre-skip' field in the ID header (see <xref target="id_header"/>) signals
452  the number of samples that SHOULD be skipped (decoded but discarded) at the
453  beginning of the stream, though some specific applications might have a reason
454  for looking at that data.
455 This amount need not be a multiple of 2.5&nbsp;ms, MAY be smaller than a single
456  packet, or MAY span the contents of several packets.
457 These samples are not valid audio.
458 </t>
459
460 <t>
461 For example, if the first Opus frame uses the CELT mode, it will always
462  produce 120 samples of windowed overlap-add data.
463 However, the overlap data is initially all zeros (since there is no prior
464  frame), meaning this cannot, in general, accurately represent the original
465  audio.
466 The SILK mode requires additional delay to account for its analysis and
467  resampling latency.
468 The encoder delays the original audio to avoid this problem.
469 </t>
470
471 <t>
472 The pre-skip field MAY also be used to perform sample-accurate cropping of
473  already encoded streams.
474 In this case, a value of at least 3840&nbsp;samples (80&nbsp;ms) provides
475  sufficient history to the decoder that it will have converged
476  before the stream's output begins.
477 </t>
478
479 </section>
480
481 <section anchor="pcm_sample_position" title="PCM Sample Position">
482 <t>
483 The PCM sample position is determined from the granule position using the
484  formula
485 </t>
486 <figure align="center">
487 <artwork align="center"><![CDATA[
488 'PCM sample position' = 'granule position' - 'pre-skip' .
489 ]]></artwork>
490 </figure>
491
492 <t>
493 For example, if the granule position of the first audio data page is 59,971,
494  and the pre-skip is 11,971, then the PCM sample position of the last decoded
495  sample from that page is 48,000.
496 </t>
497 <t>
498 This can be converted into a playback time using the formula
499 </t>
500 <figure align="center">
501 <artwork align="center"><![CDATA[
502                   'PCM sample position'
503 'playback time' = --------------------- .
504                          48000.0
505 ]]></artwork>
506 </figure>
507
508 <t>
509 The initial PCM sample position before any samples are played is normally '0'.
510 In this case, the PCM sample position of the first audio sample to be played
511  starts at '1', because it marks the time on the clock
512  <spanx style="emph">after</spanx> that sample has been played, and a stream
513  that is exactly one second long has a final PCM sample position of '48000',
514  as in the example here.
515 </t>
516
517 <t>
518 Vorbis streams use a granule position smaller than the number of audio samples
519  contained in the first audio data page to indicate that some of those samples
520  are trimmed from the output (see <xref target="vorbis-trim"/>).
521 However, to do so, Vorbis requires that the first audio data page contains
522  exactly two packets, in order to allow the decoder to perform PCM position
523  adjustments before needing to return any PCM data.
524 Opus uses the pre-skip mechanism for this purpose instead, since the encoder
525  might introduce more than a single packet's worth of latency, and since very
526  large packets in streams with a very large number of channels might not fit
527  on a single page.
528 </t>
529 </section>
530
531 <section anchor="end_trimming" title="End Trimming">
532 <t>
533 The page with the 'end of stream' flag set MAY have a granule position that
534  indicates the page contains less audio data than would normally be returned by
535  decoding up through the final packet.
536 This is used to end the stream somewhere other than an even frame boundary.
537 The granule position of the most recent audio data page with completed packets
538  is used to make this determination, or '0' is used if there were no previous
539  audio data pages with a completed packet.
540 The difference between these granule positions indicates how many samples to
541  keep after decoding the packets that completed on the final page.
542 The remaining samples are discarded.
543 The number of discarded samples SHOULD be no larger than the number decoded
544  from the last packet.
545 </t>
546 </section>
547
548 <section anchor="start_granpos_restrictions"
549  title="Restrictions on the Initial Granule Position">
550 <t>
551 The granule position of the first audio data page with a completed packet MAY
552  be larger than the number of samples contained in packets that complete on
553  that page, however it MUST NOT be smaller, unless that page has the 'end of
554  stream' flag set.
555 Allowing a granule position larger than the number of samples allows the
556  beginning of a stream to be cropped or a live stream to be joined without
557  rewriting the granule position of all the remaining pages.
558 This means that the PCM sample position just before the first sample to be
559  played MAY be larger than '0'.
560 Synchronization when multiplexing with other logical streams still uses the PCM
561  sample position relative to '0' to compute sample times.
562 This does not affect the behavior of pre-skip: exactly 'pre-skip' samples
563  SHOULD be skipped from the beginning of the decoded output, even if the
564  initial PCM sample position is greater than zero.
565 </t>
566
567 <t>
568 On the other hand, a granule position that is smaller than the number of
569  decoded samples prevents a demuxer from working backwards to assign each
570  packet or each individual sample a valid granule position, since granule
571  positions are non-negative.
572 An implementation MUST treat any stream as invalid if the granule position
573  is smaller than the number of samples contained in packets that complete on
574  the first audio data page with a completed packet, unless that page has the
575  'end of stream' flag set.
576 It MAY defer this action until it decodes the last packet completed on that
577  page.
578 </t>
579
580 <t>
581 If that page has the 'end of stream' flag set, a demuxer MUST treat any stream
582  as invalid if its granule position is smaller than the 'pre-skip' amount.
583 This would indicate that there are more samples to be skipped from the initial
584  decoded output than exist in the stream.
585 If the granule position is smaller than the number of decoded samples produced
586  by the packets that complete on that page, then a demuxer MUST use an initial
587  granule position of '0', and can work forwards from '0' to timestamp
588  individual packets.
589 If the granule position is larger than the number of decoded samples available,
590  then the demuxer MUST still work backwards as described above, even if the
591  'end of stream' flag is set, to determine the initial granule position, and
592  thus the initial PCM sample position.
593 Both of these will be greater than '0' in this case.
594 </t>
595 </section>
596
597 <section anchor="seeking_and_preroll" title="Seeking and Pre-roll">
598 <t>
599 Seeking in Ogg files is best performed using a bisection search for a page
600  whose granule position corresponds to a PCM position at or before the seek
601  target.
602 With appropriately weighted bisection, accurate seeking can be performed in
603  just one or two bisections on average, even in multi-gigabyte files.
604 See <xref target="seeking"/> for an example of general implementation guidance.
605 </t>
606
607 <t>
608 When seeking within an Ogg Opus stream, an implementation SHOULD start decoding
609  (and discarding the output) at least 3840&nbsp;samples (80&nbsp;ms) prior to
610  the seek target in order to ensure that the output audio is correct by the
611  time it reaches the seek target.
612 This 'pre-roll' is separate from, and unrelated to, the 'pre-skip' used at the
613  beginning of the stream.
614 If the point 80&nbsp;ms prior to the seek target comes before the initial PCM
615  sample position, an implementation SHOULD start decoding from the beginning of
616  the stream, applying pre-skip as normal, regardless of whether the pre-skip is
617  larger or smaller than 80&nbsp;ms, and then continue to discard samples
618  to reach the seek target (if any).
619 </t>
620 </section>
621
622 </section>
623
624 <section anchor="headers" title="Header Packets">
625 <t>
626 An Ogg Opus logical stream contains exactly two mandatory header packets:
627  an identification header and a comment header.
628 </t>
629
630 <section anchor="id_header" title="Identification Header">
631
632 <figure anchor="id_header_packet" title="ID Header Packet" align="center">
633 <artwork align="center"><![CDATA[
634  0                   1                   2                   3
635  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
636 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
637 |      'O'      |      'p'      |      'u'      |      's'      |
638 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
639 |      'H'      |      'e'      |      'a'      |      'd'      |
640 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
641 |  Version = 1  | Channel Count |           Pre-skip            |
642 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
643 |                     Input Sample Rate (Hz)                    |
644 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
645 |   Output Gain (Q7.8 in dB)    | Mapping Family|               |
646 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               :
647 |                                                               |
648 :               Optional Channel Mapping Table...               :
649 |                                                               |
650 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
651 ]]></artwork>
652 </figure>
653
654 <t>
655 The fields in the identification (ID) header have the following meaning:
656 <list style="numbers">
657 <t>Magic Signature:
658 <vspace blankLines="1"/>
659 This is an 8-octet (64-bit) field that allows codec identification and is
660  human-readable.
661 It contains, in order, the magic numbers:
662 <list style="empty">
663 <t>0x4F 'O'</t>
664 <t>0x70 'p'</t>
665 <t>0x75 'u'</t>
666 <t>0x73 's'</t>
667 <t>0x48 'H'</t>
668 <t>0x65 'e'</t>
669 <t>0x61 'a'</t>
670 <t>0x64 'd'</t>
671 </list>
672 Starting with "Op" helps distinguish it from audio data packets, as this is an
673  invalid TOC sequence.
674 <vspace blankLines="1"/>
675 </t>
676 <t>Version (8 bits, unsigned):
677 <vspace blankLines="1"/>
678 The version number MUST always be '1' for this version of the encapsulation
679  specification.
680 Implementations SHOULD treat streams where the upper four bits of the version
681  number match that of a recognized specification as backwards-compatible with
682  that specification.
683 That is, the version number can be split into "major" and "minor" version
684  sub-fields, with changes to the "minor" sub-field (in the lower four bits)
685  signaling compatible changes.
686 For example, an implementation of this specification SHOULD accept any stream
687  with a version number of '15' or less, and SHOULD assume any stream with a
688  version number '16' or greater is incompatible.
689 The initial version '1' was chosen to keep implementations from relying on this
690  octet as a null terminator for the "OpusHead" string.
691 <vspace blankLines="1"/>
692 </t>
693 <t>Output Channel Count 'C' (8 bits, unsigned):
694 <vspace blankLines="1"/>
695 This is the number of output channels.
696 This might be different than the number of encoded channels, which can change
697  on a packet-by-packet basis.
698 This value MUST NOT be zero.
699 The maximum allowable value depends on the channel mapping family, and might be
700  as large as 255.
701 See <xref target="channel_mapping"/> for details.
702 <vspace blankLines="1"/>
703 </t>
704 <t>Pre-skip (16 bits, unsigned, little
705  endian):
706 <vspace blankLines="1"/>
707 This is the number of samples (at 48&nbsp;kHz) to discard from the decoder
708  output when starting playback, and also the number to subtract from a page's
709  granule position to calculate its PCM sample position.
710 When cropping the beginning of existing Ogg Opus streams, a pre-skip of at
711  least 3,840&nbsp;samples (80&nbsp;ms) is RECOMMENDED to ensure complete
712  convergence in the decoder.
713 <vspace blankLines="1"/>
714 </t>
715 <t>Input Sample Rate (32 bits, unsigned, little
716  endian):
717 <vspace blankLines="1"/>
718 This is the sample rate of the original input (before encoding), in Hz.
719 This field is <spanx style="emph">not</spanx> the sample rate to use for
720  playback of the encoded data.
721 <vspace blankLines="1"/>
722 Opus can switch between internal audio bandwidths of 4, 6, 8, 12, and
723  20&nbsp;kHz.
724 Each packet in the stream can have a different audio bandwidth.
725 Regardless of the audio bandwidth, the reference decoder supports decoding any
726  stream at a sample rate of 8, 12, 16, 24, or 48&nbsp;kHz.
727 The original sample rate of the audio passed to the encoder is not preserved
728  by the lossy compression.
729 <vspace blankLines="1"/>
730 An Ogg Opus player SHOULD select the playback sample rate according to the
731  following procedure:
732 <list style="numbers">
733 <t>If the hardware supports 48&nbsp;kHz playback, decode at 48&nbsp;kHz.</t>
734 <t>Otherwise, if the hardware's highest available sample rate is a supported
735  rate, decode at this sample rate.</t>
736 <t>Otherwise, if the hardware's highest available sample rate is less than
737  48&nbsp;kHz, decode at the next higher Opus supported rate above the highest
738  available hardware rate and resample.</t>
739 <t>Otherwise, decode at 48&nbsp;kHz and resample.</t>
740 </list>
741 However, the 'Input Sample Rate' field allows the muxer to pass the sample
742  rate of the original input stream as metadata.
743 This is useful when the user requires the output sample rate to match the
744  input sample rate.
745 For example, when not playing the output, an implementation writing PCM format
746  samples to disk might choose to resample the audio back to the original input
747  sample rate to reduce surprise to the user, who might reasonably expect to get
748  back a file with the same sample rate.
749 <vspace blankLines="1"/>
750 A value of zero indicates 'unspecified'.
751 Muxers SHOULD write the actual input sample rate or zero, but implementations
752  which do something with this field SHOULD take care to behave sanely if given
753  crazy values (e.g., do not actually upsample the output to 10 MHz if
754  requested).
755 Implementations SHOULD support input sample rates between 8&nbsp;kHz and
756  192&nbsp;kHz (inclusive).
757 Rates outside this range MAY be ignored by falling back to the default rate of
758  48&nbsp;kHz instead.
759 <vspace blankLines="1"/>
760 </t>
761 <t>Output Gain (16 bits, signed, little endian):
762 <vspace blankLines="1"/>
763 This is a gain to be applied when decoding.
764 It is 20*log10 of the factor by which to scale the decoder output to achieve
765  the desired playback volume, stored in a 16-bit, signed, two's complement
766  fixed-point value with 8 fractional bits (i.e.,
767  Q7.8&nbsp;<xref target="q-notation"/>).
768 <vspace blankLines="1"/>
769 To apply the gain, an implementation could use
770 <figure align="center">
771 <artwork align="center"><![CDATA[
772 sample *= pow(10, output_gain/(20.0*256)) ,
773 ]]></artwork>
774 </figure>
775  where output_gain is the raw 16-bit value from the header.
776 <vspace blankLines="1"/>
777 Players and media frameworks SHOULD apply it by default.
778 If a player chooses to apply any volume adjustment or gain modification, such
779  as the R128_TRACK_GAIN (see <xref target="comment_header"/>), the adjustment
780  MUST be applied in addition to this output gain in order to achieve playback
781  at the normalized volume.
782 <vspace blankLines="1"/>
783 A muxer SHOULD set this field to zero, and instead apply any gain prior to
784  encoding, when this is possible and does not conflict with the user's wishes.
785 A nonzero output gain indicates the gain was adjusted after encoding, or that
786  a user wished to adjust the gain for playback while preserving the ability
787  to recover the original signal amplitude.
788 <vspace blankLines="1"/>
789 Although the output gain has enormous range (+/- 128 dB, enough to amplify
790  inaudible sounds to the threshold of physical pain), most applications can
791  only reasonably use a small portion of this range around zero.
792 The large range serves in part to ensure that gain can always be losslessly
793  transferred between OpusHead and R128 gain tags (see below) without
794  saturating.
795 <vspace blankLines="1"/>
796 </t>
797 <t>Channel Mapping Family (8 bits, unsigned):
798 <vspace blankLines="1"/>
799 This octet indicates the order and semantic meaning of the output channels.
800 <vspace blankLines="1"/>
801 Each currently specified value of this octet indicates a mapping family, which
802  defines a set of allowed channel counts, and the ordered set of channel names
803  for each allowed channel count.
804 The details are described in <xref target="channel_mapping"/>.
805 </t>
806 <t>Channel Mapping Table:
807 This table defines the mapping from encoded streams to output channels.
808 Its contents are specified in <xref target="channel_mapping"/>.
809 </t>
810 </list>
811 </t>
812
813 <t>
814 All fields in the ID headers are REQUIRED, except for the channel mapping
815  table, which MUST be omitted when the channel mapping family is 0, but
816  is REQUIRED otherwise.
817 Implementations SHOULD treat a stream as invalid if it contains an ID header
818  that does not have enough data for these fields, even if it contain a valid
819  Magic Signature.
820 Future versions of this specification, even backwards-compatible versions,
821  might include additional fields in the ID header.
822 If an ID header has a compatible major version, but a larger minor version,
823  an implementation MUST NOT treat it as invalid for containing additional data
824  not specified here, provided it still completes on the first page.
825 </t>
826
827 <section anchor="channel_mapping" title="Channel Mapping">
828 <t>
829 An Ogg Opus stream allows mapping one number of Opus streams (N) to a possibly
830  larger number of decoded channels (M&nbsp;+&nbsp;N) to yet another number of
831  output channels (C), which might be larger or smaller than the number of
832  decoded channels.
833 The order and meaning of these channels are defined by a channel mapping,
834  which consists of the 'channel mapping family' octet and, for channel mapping
835  families other than family&nbsp;0, a channel mapping table, as illustrated in
836  <xref target="channel_mapping_table"/>.
837 </t>
838
839 <figure anchor="channel_mapping_table" title="Channel Mapping Table"
840  align="center">
841 <artwork align="center"><![CDATA[
842  0                   1                   2                   3
843  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
844                                                 +-+-+-+-+-+-+-+-+
845                                                 | Stream Count  |
846 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
847 | Coupled Count |              Channel Mapping...               :
848 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
849 ]]></artwork>
850 </figure>
851
852 <t>
853 The fields in the channel mapping table have the following meaning:
854 <list style="numbers" counter="8">
855 <t>Stream Count 'N' (8 bits, unsigned):
856 <vspace blankLines="1"/>
857 This is the total number of streams encoded in each Ogg packet.
858 This value is necessary to correctly parse the packed Opus packets inside an
859  Ogg packet, as described in <xref target="packet_organization"/>.
860 This value MUST NOT be zero, as without at least one Opus packet with a valid
861  TOC sequence, a demuxer cannot recover the duration of an Ogg packet.
862 <vspace blankLines="1"/>
863 For channel mapping family&nbsp;0, this value defaults to 1, and is not coded.
864 <vspace blankLines="1"/>
865 </t>
866 <t>Coupled Stream Count 'M' (8 bits, unsigned):
867 This is the number of streams whose decoders are to be configured to produce
868  two channels (stereo).
869 This MUST be no larger than the total number of streams, N.
870 <vspace blankLines="1"/>
871 Each packet in an Opus stream has an internal channel count of 1 or 2, which
872  can change from packet to packet.
873 This is selected by the encoder depending on the bitrate and the audio being
874  encoded.
875 The original channel count of the audio passed to the encoder is not
876  necessarily preserved by the lossy compression.
877 <vspace blankLines="1"/>
878 Regardless of the internal channel count, any Opus stream can be decoded as
879  mono (a single channel) or stereo (two channels) by appropriate initialization
880  of the decoder.
881 The 'coupled stream count' field indicates that the decoders for the first M
882  Opus streams are to be initialized for stereo (two-channel) output, and the
883  remaining (N&nbsp;-&nbsp;M) decoders are to be initialized for mono (a single
884  channel) only.
885 The total number of decoded channels, (M&nbsp;+&nbsp;N), MUST be no larger than
886  255, as there is no way to index more channels than that in the channel
887  mapping.
888 <vspace blankLines="1"/>
889 For channel mapping family&nbsp;0, this value defaults to (C&nbsp;-&nbsp;1)
890  (i.e., 0 for mono and 1 for stereo), and is not coded.
891 <vspace blankLines="1"/>
892 </t>
893 <t>Channel Mapping (8*C bits):
894 This contains one octet per output channel, indicating which decoded channel
895  is to be used for each one.
896 Let 'index' be the value of this octet for a particular output channel.
897 This value MUST either be smaller than (M&nbsp;+&nbsp;N), or be the special
898  value 255.
899 If 'index' is less than 2*M, the output MUST be taken from decoding stream
900  ('index'/2) as stereo and selecting the left channel if 'index' is even, and
901  the right channel if 'index' is odd.
902 If 'index' is 2*M or larger, but less than 255, the output MUST be taken from
903  decoding stream ('index'&nbsp;-&nbsp;M) as mono.
904 If 'index' is 255, the corresponding output channel MUST contain pure silence.
905 <vspace blankLines="1"/>
906 The number of output channels, C, is not constrained to match the number of
907  decoded channels (M&nbsp;+&nbsp;N).
908 A single index value MAY appear multiple times, i.e., the same decoded channel
909  might be mapped to multiple output channels.
910 Some decoded channels might not be assigned to any output channel, as well.
911 <vspace blankLines="1"/>
912 For channel mapping family&nbsp;0, the first index defaults to 0, and if
913  C&nbsp;==&nbsp;2, the second index defaults to 1.
914 Neither index is coded.
915 </t>
916 </list>
917 </t>
918
919 <t>
920 After producing the output channels, the channel mapping family determines the
921  semantic meaning of each one.
922 There are three defined mapping families in this specification.
923 </t>
924
925 <section anchor="channel_mapping_0" title="Channel Mapping Family 0">
926 <t>
927 Allowed numbers of channels: 1 or 2.
928 RTP mapping.
929 This is the same channel interpretation as <xref target="RFC7587"/>.
930 </t>
931 <t>
932 <list style="symbols">
933 <t>1 channel: monophonic (mono).</t>
934 <t>2 channels: stereo (left, right).</t>
935 </list>
936 Special mapping: This channel mapping value also
937  indicates that the contents consists of a single Opus stream that is stereo if
938  and only if C&nbsp;==&nbsp;2, with stream index&nbsp;0 mapped to output
939  channel&nbsp;0 (mono, or left channel) and stream index&nbsp;1 mapped to
940  output channel&nbsp;1 (right channel) if stereo.
941 When the 'channel mapping family' octet has this value, the channel mapping
942  table MUST be omitted from the ID header packet.
943 </t>
944 </section>
945
946 <section anchor="channel_mapping_1" title="Channel Mapping Family 1">
947 <t>
948 Allowed numbers of channels: 1...8.
949 Vorbis channel order (see below).
950 </t>
951 <t>
952 Each channel is assigned to a speaker location in a conventional surround
953  arrangement.
954 Specific locations depend on the number of channels, and are given below
955  in order of the corresponding channel indices.
956 <list style="symbols">
957   <t>1 channel: monophonic (mono).</t>
958   <t>2 channels: stereo (left, right).</t>
959   <t>3 channels: linear surround (left, center, right)</t>
960   <t>4 channels: quadraphonic (front&nbsp;left, front&nbsp;right, rear&nbsp;left, rear&nbsp;right).</t>
961   <t>5 channels: 5.0 surround (front&nbsp;left, front&nbsp;center, front&nbsp;right, rear&nbsp;left, rear&nbsp;right).</t>
962   <t>6 channels: 5.1 surround (front&nbsp;left, front&nbsp;center, front&nbsp;right, rear&nbsp;left, rear&nbsp;right, LFE).</t>
963   <t>7 channels: 6.1 surround (front&nbsp;left, front&nbsp;center, front&nbsp;right, side&nbsp;left, side&nbsp;right, rear&nbsp;center, LFE).</t>
964   <t>8 channels: 7.1 surround (front&nbsp;left, front&nbsp;center, front&nbsp;right, side&nbsp;left, side&nbsp;right, rear&nbsp;left, rear&nbsp;right, LFE)</t>
965 </list>
966 </t>
967 <t>
968 This set of surround options and speaker location orderings is the same
969  as those used by the Vorbis codec <xref target="vorbis-mapping"/>.
970 The ordering is different from the one used by the
971  WAVE <xref target="wave-multichannel"/> and
972  Free Lossless Audio Codec (FLAC) <xref target="flac"/> formats,
973  so correct ordering requires permutation of the output channels when decoding
974  to or encoding from those formats.
975 'LFE' here refers to a Low Frequency Effects channel, often mapped to a
976   subwoofer with no particular spatial position.
977 Implementations SHOULD identify 'side' or 'rear' speaker locations with
978  'surround' and 'back' as appropriate when interfacing with audio formats
979  or systems which prefer that terminology.
980 </t>
981 </section>
982
983 <section anchor="channel_mapping_255"
984  title="Channel Mapping Family 255">
985 <t>
986 Allowed numbers of channels: 1...255.
987 No defined channel meaning.
988 </t>
989 <t>
990 Channels are unidentified.
991 General-purpose players SHOULD NOT attempt to play these streams.
992 Offline implementations MAY deinterleave the output into separate PCM files,
993  one per channel.
994 Implementations SHOULD NOT produce output for channels mapped to stream index
995  255 (pure silence) unless they have no other way to indicate the index of
996  non-silent channels.
997 </t>
998 </section>
999
1000 <section anchor="channel_mapping_undefined"
1001  title="Undefined Channel Mappings">
1002 <t>
1003 The remaining channel mapping families (2...254) are reserved.
1004 A demuxer implementation encountering a reserved channel mapping family value
1005  SHOULD act as though the value is 255.
1006 </t>
1007 </section>
1008
1009 <section anchor="downmix" title="Downmixing">
1010 <t>
1011 An Ogg Opus player MUST support any valid channel mapping with a channel
1012  mapping family of 0 or 1, even if the number of channels does not match the
1013  physically connected audio hardware.
1014 Players SHOULD perform channel mixing to increase or reduce the number of
1015  channels as needed.
1016 </t>
1017
1018 <t>
1019 Implementations MAY use the matrices in
1020  Figures&nbsp;<xref target="downmix-matrix-3" format="counter"/>
1021  through&nbsp;<xref target="downmix-matrix-8" format="counter"/> to implement
1022  downmixing from multichannel files using
1023  <xref target="channel_mapping_1">Channel Mapping Family 1</xref>, which are
1024  known to give acceptable results for stereo.
1025 Matrices for 3 and 4 channels are normalized so each coefficient row sums
1026  to 1 to avoid clipping.
1027 For 5 or more channels they are normalized to 2 as a compromise between
1028  clipping and dynamic range reduction.
1029 </t>
1030 <t>
1031 In these matrices the front left and front right channels are generally
1032 passed through directly.
1033 When a surround channel is split between both the left and right stereo
1034  channels, coefficients are chosen so their squares sum to 1, which
1035  helps preserve the perceived intensity.
1036 Rear channels are mixed more diffusely or attenuated to maintain focus
1037  on the front channels.
1038 </t>
1039
1040 <figure anchor="downmix-matrix-3"
1041  title="Stereo downmix matrix for the linear surround channel mapping"
1042  align="center">
1043 <artwork align="center"><![CDATA[
1044 L output = ( 0.585786 * left + 0.414214 * center                    )
1045 R output = (                   0.414214 * center + 0.585786 * right )
1046 ]]></artwork>
1047 <postamble>
1048 Exact coefficient values are 1 and 1/sqrt(2), multiplied by
1049  1/(1&nbsp;+&nbsp;1/sqrt(2)) for normalization.
1050 </postamble>
1051 </figure>
1052
1053 <figure anchor="downmix-matrix-4"
1054  title="Stereo downmix matrix for the quadraphonic channel mapping"
1055  align="center">
1056 <artwork align="center"><![CDATA[
1057 /          \   /                                     \ / FL \
1058 | L output |   | 0.422650 0.000000 0.366025 0.211325 | | FR |
1059 | R output | = | 0.000000 0.422650 0.211325 0.366025 | | RL |
1060 \          /   \                                     / \ RR /
1061 ]]></artwork>
1062 <postamble>
1063 Exact coefficient values are 1, sqrt(3)/2 and 1/2, multiplied by
1064  1/(1&nbsp;+&nbsp;sqrt(3)/2&nbsp;+&nbsp;1/2) for normalization.
1065 </postamble>
1066 </figure>
1067
1068 <figure anchor="downmix-matrix-5"
1069  title="Stereo downmix matrix for the 5.0 surround mapping"
1070  align="center">
1071 <artwork align="center"><![CDATA[
1072                                                          / FL \
1073 /   \   /                                              \ | FC |
1074 | L |   | 0.650802 0.460186 0.000000 0.563611 0.325401 | | FR |
1075 | R | = | 0.000000 0.460186 0.650802 0.325401 0.563611 | | RL |
1076 \   /   \                                              / | RR |
1077                                                          \    /
1078 ]]></artwork>
1079 <postamble>
1080 Exact coefficient values are 1, 1/sqrt(2), sqrt(3)/2 and 1/2, multiplied by
1081  2/(1&nbsp;+&nbsp;1/sqrt(2)&nbsp;+&nbsp;sqrt(3)/2&nbsp;+&nbsp;1/2)
1082  for normalization.
1083 </postamble>
1084 </figure>
1085
1086 <figure anchor="downmix-matrix-6"
1087  title="Stereo downmix matrix for the 5.1 surround mapping"
1088  align="center">
1089 <artwork align="center"><![CDATA[
1090                                                                 /FL \
1091 / \   /                                                       \ |FC |
1092 |L|   | 0.529067 0.374107 0.000000 0.458186 0.264534 0.374107 | |FR |
1093 |R| = | 0.000000 0.374107 0.529067 0.264534 0.458186 0.374107 | |RL |
1094 \ /   \                                                       / |RR |
1095                                                                 \LFE/
1096 ]]></artwork>
1097 <postamble>
1098 Exact coefficient values are 1, 1/sqrt(2), sqrt(3)/2 and 1/2, multiplied by
1099 2/(1&nbsp;+&nbsp;1/sqrt(2)&nbsp;+&nbsp;sqrt(3)/2&nbsp;+&nbsp;1/2 + 1/sqrt(2))
1100  for normalization.
1101 </postamble>
1102 </figure>
1103
1104 <figure anchor="downmix-matrix-7"
1105  title="Stereo downmix matrix for the 6.1 surround mapping"
1106  align="center">
1107 <artwork align="center"><![CDATA[
1108  /                                                                \
1109  | 0.455310 0.321953 0.000000 0.394310 0.227655 0.278819 0.321953 |
1110  | 0.000000 0.321953 0.455310 0.227655 0.394310 0.278819 0.321953 |
1111  \                                                                /
1112 ]]></artwork>
1113 <postamble>
1114 Exact coefficient values are 1, 1/sqrt(2), sqrt(3)/2, 1/2 and
1115  sqrt(3)/2/sqrt(2), multiplied by
1116  2/(1&nbsp;+&nbsp;1/sqrt(2)&nbsp;+&nbsp;sqrt(3)/2&nbsp;+&nbsp;1/2 +
1117  sqrt(3)/2/sqrt(2) + 1/sqrt(2)) for normalization.
1118 The coefficients are in the same order as in <xref target="channel_mapping_1" />,
1119  and the matrices above.
1120 </postamble>
1121 </figure>
1122
1123 <figure anchor="downmix-matrix-8"
1124  title="Stereo downmix matrix for the 7.1 surround mapping"
1125  align="center">
1126 <artwork align="center"><![CDATA[
1127 /                                                                 \
1128 | .388631 .274804 .000000 .336565 .194316 .336565 .194316 .274804 |
1129 | .000000 .274804 .388631 .194316 .336565 .194316 .336565 .274804 |
1130 \                                                                 /
1131 ]]></artwork>
1132 <postamble>
1133 Exact coefficient values are 1, 1/sqrt(2), sqrt(3)/2 and 1/2, multiplied by
1134  2/(2&nbsp;+&nbsp;2/sqrt(2)&nbsp;+&nbsp;sqrt(3)) for normalization.
1135 The coefficients are in the same order as in <xref target="channel_mapping_1" />,
1136  and the matrices above.
1137 </postamble>
1138 </figure>
1139
1140 </section>
1141
1142 </section> <!-- end channel_mapping_table -->
1143
1144 </section> <!-- end id_header -->
1145
1146 <section anchor="comment_header" title="Comment Header">
1147
1148 <figure anchor="comment_header_packet" title="Comment Header Packet"
1149  align="center">
1150 <artwork align="center"><![CDATA[
1151  0                   1                   2                   3
1152  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
1153 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1154 |      'O'      |      'p'      |      'u'      |      's'      |
1155 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1156 |      'T'      |      'a'      |      'g'      |      's'      |
1157 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1158 |                     Vendor String Length                      |
1159 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1160 |                                                               |
1161 :                        Vendor String...                       :
1162 |                                                               |
1163 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1164 |                   User Comment List Length                    |
1165 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1166 |                 User Comment #0 String Length                 |
1167 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1168 |                                                               |
1169 :                   User Comment #0 String...                   :
1170 |                                                               |
1171 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1172 |                 User Comment #1 String Length                 |
1173 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
1174 :                                                               :
1175 ]]></artwork>
1176 </figure>
1177
1178 <t>
1179 The comment header consists of a 64-bit magic signature, followed by data in
1180  the same format as the <xref target="vorbis-comment"/> header used in Ogg
1181  Vorbis, except (like Ogg Theora and Speex) the final "framing bit" specified
1182  in the Vorbis spec is not present.
1183 <list style="numbers">
1184 <t>Magic Signature:
1185 <vspace blankLines="1"/>
1186 This is an 8-octet (64-bit) field that allows codec identification and is
1187  human-readable.
1188 It contains, in order, the magic numbers:
1189 <list style="empty">
1190 <t>0x4F 'O'</t>
1191 <t>0x70 'p'</t>
1192 <t>0x75 'u'</t>
1193 <t>0x73 's'</t>
1194 <t>0x54 'T'</t>
1195 <t>0x61 'a'</t>
1196 <t>0x67 'g'</t>
1197 <t>0x73 's'</t>
1198 </list>
1199 Starting with "Op" helps distinguish it from audio data packets, as this is an
1200  invalid TOC sequence.
1201 <vspace blankLines="1"/>
1202 </t>
1203 <t>Vendor String Length (32 bits, unsigned, little endian):
1204 <vspace blankLines="1"/>
1205 This field gives the length of the following vendor string, in octets.
1206 It MUST NOT indicate that the vendor string is longer than the rest of the
1207  packet.
1208 <vspace blankLines="1"/>
1209 </t>
1210 <t>Vendor String (variable length, UTF-8 vector):
1211 <vspace blankLines="1"/>
1212 This is a simple human-readable tag for vendor information, encoded as a UTF-8
1213  string&nbsp;<xref target="RFC3629"/>.
1214 No terminating null octet is necessary.
1215 <vspace blankLines="1"/>
1216 This tag is intended to identify the codec encoder and encapsulation
1217  implementations, for tracing differences in technical behavior.
1218 User-facing applications can use the 'ENCODER' user comment tag to identify
1219  themselves.
1220 <vspace blankLines="1"/>
1221 </t>
1222 <t>User Comment List Length (32 bits, unsigned, little endian):
1223 <vspace blankLines="1"/>
1224 This field indicates the number of user-supplied comments.
1225 It MAY indicate there are zero user-supplied comments, in which case there are
1226  no additional fields in the packet.
1227 It MUST NOT indicate that there are so many comments that the comment string
1228  lengths would require more data than is available in the rest of the packet.
1229 <vspace blankLines="1"/>
1230 </t>
1231 <t>User Comment #i String Length (32 bits, unsigned, little endian):
1232 <vspace blankLines="1"/>
1233 This field gives the length of the following user comment string, in octets.
1234 There is one for each user comment indicated by the 'user comment list length'
1235  field.
1236 It MUST NOT indicate that the string is longer than the rest of the packet.
1237 <vspace blankLines="1"/>
1238 </t>
1239 <t>User Comment #i String (variable length, UTF-8 vector):
1240 <vspace blankLines="1"/>
1241 This field contains a single user comment encoded as a UTF-8
1242  string&nbsp;<xref target="RFC3629"/>.
1243 There is one for each user comment indicated by the 'user comment list length'
1244  field.
1245 </t>
1246 </list>
1247 </t>
1248
1249 <t>
1250 The vendor string length and user comment list length are REQUIRED, and
1251  implementations SHOULD treat a stream as invalid if it contains a comment
1252  header that does not have enough data for these fields, or that does not
1253  contain enough data for the corresponding vendor string or user comments they
1254  describe.
1255 Making this check before allocating the associated memory to contain the data
1256  helps prevent a possible Denial-of-Service (DoS) attack from small comment
1257  headers that claim to contain strings longer than the entire packet or more
1258  user comments than than could possibly fit in the packet.
1259 </t>
1260
1261 <t>
1262 Immediately following the user comment list, the comment header MAY
1263  contain zero-padding or other binary data which is not specified here.
1264 If the least-significant bit of the first byte of this data is 1, then editors
1265  SHOULD preserve the contents of this data when updating the tags, but if this
1266  bit is 0, all such data MAY be treated as padding, and truncated or discarded
1267  as desired.
1268 This allows informal experimentation with the format of this binary data until
1269  it can be specified later.
1270 </t>
1271
1272 <t>
1273 The comment header can be arbitrarily large and might be spread over a large
1274  number of Ogg pages.
1275 Implementations MUST avoid attempting to allocate excessive amounts of memory
1276  when presented with a very large comment header.
1277 To accomplish this, implementations MAY treat a stream as invalid if it has a
1278  comment header larger than 125,829,120&nbsp;octets (120&nbsp;MB), and MAY
1279  ignore individual comments that are not fully contained within the first
1280  61,440&nbsp;octets of the comment header.
1281 </t>
1282
1283 <section anchor="comment_format" title="Tag Definitions">
1284 <t>
1285 The user comment strings follow the NAME=value format described by
1286  <xref target="vorbis-comment"/> with the same recommended tag names:
1287  ARTIST, TITLE, DATE, ALBUM, and so on.
1288 </t>
1289 <t>
1290 Two new comment tags are introduced here:
1291 </t>
1292
1293 <t>First, an optional gain for track normalization:</t>
1294 <figure align="center">
1295 <artwork align="left"><![CDATA[
1296 R128_TRACK_GAIN=-573
1297 ]]></artwork>
1298 </figure>
1299 <t>
1300  representing the volume shift needed to normalize the track's volume
1301  during isolated playback, in random shuffle, and so on.
1302 The gain is a Q7.8 fixed point number in dB, as in the ID header's 'output
1303  gain' field.
1304 This tag is similar to the REPLAYGAIN_TRACK_GAIN tag in
1305  Vorbis&nbsp;<xref target="replay-gain"/>, except that the normal volume
1306  reference is the <xref target="EBU-R128"/> standard.
1307 </t>
1308 <t>Second, an optional gain for album normalization:</t>
1309 <figure align="center">
1310 <artwork align="left"><![CDATA[
1311 R128_ALBUM_GAIN=111
1312 ]]></artwork>
1313 </figure>
1314 <t>
1315  representing the volume shift needed to normalize the overall volume when
1316  played as part of a particular collection of tracks.
1317 The gain is also a Q7.8 fixed point number in dB, as in the ID header's
1318  'output gain' field.
1319 The values '-573' and '111' given here are just examples.
1320 </t>
1321 <t>
1322 An Ogg Opus stream MUST NOT have more than one of each of these tags, and if
1323  present their values MUST be an integer from -32768 to 32767, inclusive,
1324  represented in ASCII as a base 10 number with no whitespace.
1325 A leading '+' or '-' character is valid.
1326 Leading zeros are also permitted, but the value MUST be represented by
1327  no more than 6 characters.
1328 Other non-digit characters MUST NOT be present.
1329 </t>
1330 <t>
1331 If present, R128_TRACK_GAIN and R128_ALBUM_GAIN MUST correctly represent
1332  the R128 normalization gain relative to the 'output gain' field specified
1333  in the ID header.
1334 If a player chooses to make use of the R128_TRACK_GAIN tag or the
1335  R128_ALBUM_GAIN tag, it MUST apply those gains
1336  <spanx style="emph">in addition</spanx> to the 'output gain' value.
1337 If a tool modifies the ID header's 'output gain' field, it MUST also update or
1338  remove the R128_TRACK_GAIN and R128_ALBUM_GAIN comment tags if present.
1339 A muxer SHOULD place the gain it wants other tools to use by default into the
1340  'output gain' field, and not the comment tag.
1341 </t>
1342 <t>
1343 To avoid confusion with multiple normalization schemes, an Opus comment header
1344  SHOULD NOT contain any of the REPLAYGAIN_TRACK_GAIN, REPLAYGAIN_TRACK_PEAK,
1345  REPLAYGAIN_ALBUM_GAIN, or REPLAYGAIN_ALBUM_PEAK tags, unless they are only
1346  to be used in some context where there is guaranteed to be no such confusion.
1347 <xref target="EBU-R128"/> normalization is preferred to the earlier
1348  REPLAYGAIN schemes because of its clear definition and adoption by industry.
1349 Peak normalizations are difficult to calculate reliably for lossy codecs
1350  because of variation in excursion heights due to decoder differences.
1351 In the authors' investigations they were not applied consistently or broadly
1352  enough to merit inclusion here.
1353 </t>
1354 </section> <!-- end comment_format -->
1355 </section> <!-- end comment_header -->
1356
1357 </section> <!-- end headers -->
1358
1359 <section anchor="packet_size_limits" title="Packet Size Limits">
1360 <t>
1361 Technically, valid Opus packets can be arbitrarily large due to the padding
1362  format, although the amount of non-padding data they can contain is bounded.
1363 These packets might be spread over a similarly enormous number of Ogg pages.
1364 When encoding, implementations SHOULD limit the use of padding in audio data
1365  packets to no more than is necessary to make a variable bitrate (VBR) stream
1366  constant bitrate (CBR), unless they have no reasonable way to determine what
1367  is necessary.
1368 Demuxers SHOULD treat audio data packets as invalid (treat them as if they were
1369  malformed Opus packets with an invalid TOC sequence) if they are larger than
1370  61,440&nbsp;octets per Opus stream, unless they have a specific reason for
1371  allowing extra padding.
1372 Such packets necessarily contain more padding than needed to make a stream CBR.
1373 Demuxers MUST avoid attempting to allocate excessive amounts of memory when
1374  presented with a very large packet.
1375 Demuxers MAY treat audio data packets as invalid or partially process them if
1376  they are larger than 61,440&nbsp;octets in an Ogg Opus stream with channel
1377  mapping families&nbsp;0 or&nbsp;1.
1378 Demuxers MAY treat audio data packets as invalid or partially process them in
1379  any Ogg Opus stream if the packet is larger than 61,440&nbsp;octets and also
1380  larger than 7,680&nbsp;octets per Opus stream.
1381 The presence of an extremely large packet in the stream could indicate a
1382  memory exhaustion attack or stream corruption.
1383 </t>
1384 <t>
1385 In an Ogg Opus stream, the largest possible valid packet that does not use
1386  padding has a size of (61,298*N&nbsp;-&nbsp;2) octets.
1387 With 255&nbsp;streams, this is 15,630,988&nbsp;octets and can
1388  span up to 61,298&nbsp;Ogg pages, all but one of which will have a granule
1389  position of -1.
1390 This is of course a very extreme packet, consisting of 255&nbsp;streams, each
1391  containing 120&nbsp;ms of audio encoded as 2.5&nbsp;ms frames, each frame
1392  using the maximum possible number of octets (1275) and stored in the least
1393  efficient manner allowed (a VBR code&nbsp;3 Opus packet).
1394 Even in such a packet, most of the data will be zeros as 2.5&nbsp;ms frames
1395  cannot actually use all 1275&nbsp;octets.
1396 </t>
1397 <t>
1398 The largest packet consisting of entirely useful data is
1399  (15,326*N&nbsp;-&nbsp;2) octets.
1400 This corresponds to 120&nbsp;ms of audio encoded as 10&nbsp;ms frames in either
1401  SILK or Hybrid mode, but at a data rate of over 1&nbsp;Mbps, which makes little
1402  sense for the quality achieved.
1403 </t>
1404 <t>
1405 A more reasonable limit is (7,664*N&nbsp;-&nbsp;2) octets.
1406 This corresponds to 120&nbsp;ms of audio encoded as 20&nbsp;ms stereo CELT mode
1407  frames, with a total bitrate just under 511&nbsp;kbps (not counting the Ogg
1408  encapsulation overhead).
1409 For channel mapping family 1, N=8 provides a reasonable upper bound, as it
1410  allows for each of the 8 possible output channels to be decoded from a
1411  separate stereo Opus stream.
1412 This gives a size of 61,310&nbsp;octets, which is rounded up to a multiple of
1413  1,024&nbsp;octets to yield the audio data packet size of 61,440&nbsp;octets
1414  that any implementation is expected to be able to process successfully.
1415 </t>
1416 </section>
1417
1418 <section anchor="encoder" title="Encoder Guidelines">
1419 <t>
1420 When encoding Opus streams, Ogg muxers SHOULD take into account the
1421  algorithmic delay of the Opus encoder.
1422 </t>
1423 <t>
1424 In encoders derived from the reference
1425  implementation&nbsp;<xref target="RFC6716"/>, the number of samples can be
1426  queried with:
1427 </t>
1428 <figure align="center">
1429 <artwork align="center"><![CDATA[
1430  opus_encoder_ctl(encoder_state, OPUS_GET_LOOKAHEAD(&delay_samples));
1431 ]]></artwork>
1432 </figure>
1433 <t>
1434 To achieve good quality in the very first samples of a stream, implementations
1435  MAY use linear predictive coding (LPC) extrapolation to generate at least 120
1436  extra samples at the beginning to avoid the Opus encoder having to encode a
1437  discontinuous signal.
1438 For more information on linear prediction, see
1439  <xref target="linear-prediction"/>.
1440 For an input file containing 'length' samples, the implementation SHOULD set
1441  the pre-skip header value to (delay_samples&nbsp;+&nbsp;extra_samples), encode
1442  at least (length&nbsp;+&nbsp;delay_samples&nbsp;+&nbsp;extra_samples)
1443  samples, and set the granule position of the last page to
1444  (length&nbsp;+&nbsp;delay_samples&nbsp;+&nbsp;extra_samples).
1445 This ensures that the encoded file has the same duration as the original, with
1446  no time offset. The best way to pad the end of the stream is to also use LPC
1447  extrapolation, but zero-padding is also acceptable.
1448 </t>
1449
1450 <section anchor="lpc" title="LPC Extrapolation">
1451 <t>
1452 The first step in LPC extrapolation is to compute linear prediction
1453  coefficients. <xref target="lpc-sample"/>
1454 When extending the end of the signal, order-N (typically with N ranging from 8
1455  to 40) LPC analysis is performed on a window near the end of the signal.
1456 The last N samples are used as memory to an infinite impulse response (IIR)
1457  filter.
1458 </t>
1459 <t>
1460 The filter is then applied on a zero input to extrapolate the end of the signal.
1461 Let a(k) be the kth LPC coefficient and x(n) be the nth sample of the signal,
1462  each new sample past the end of the signal is computed as:
1463 </t>
1464 <figure align="center">
1465 <artwork align="center"><![CDATA[
1466         N
1467        ---
1468 x(n) = \   a(k)*x(n-k)
1469        /
1470        ---
1471        k=1
1472 ]]></artwork>
1473 </figure>
1474 <t>
1475 The process is repeated independently for each channel.
1476 It is possible to extend the beginning of the signal by applying the same
1477  process backward in time.
1478 When extending the beginning of the signal, it is best to apply a "fade in" to
1479  the extrapolated signal, e.g. by multiplying it by a half-Hanning window
1480  <xref target="hanning"/>.
1481 </t>
1482
1483 </section>
1484
1485 <section anchor="continuous_chaining" title="Continuous Chaining">
1486 <t>
1487 In some applications, such as Internet radio, it is desirable to cut a long
1488  stream into smaller chains, e.g. so the comment header can be updated.
1489 This can be done simply by separating the input streams into segments and
1490  encoding each segment independently.
1491 The drawback of this approach is that it creates a small discontinuity
1492  at the boundary due to the lossy nature of Opus.
1493 A muxer MAY avoid this discontinuity by using the following procedure:
1494 <list style="numbers">
1495 <t>Encode the last frame of the first segment as an independent frame by
1496  turning off all forms of inter-frame prediction.
1497 De-emphasis is allowed.</t>
1498 <t>Set the granule position of the last page to a point near the end of the
1499  last frame.</t>
1500 <t>Begin the second segment with a copy of the last frame of the first
1501  segment.</t>
1502 <t>Set the pre-skip value of the second stream in such a way as to properly
1503  join the two streams.</t>
1504 <t>Continue the encoding process normally from there, without any reset to
1505  the encoder.</t>
1506 </list>
1507 </t>
1508 <t>
1509 In encoders derived from the reference implementation, inter-frame prediction
1510  can be turned off by calling:
1511 </t>
1512 <figure align="center">
1513 <artwork align="center"><![CDATA[
1514  opus_encoder_ctl(encoder_state, OPUS_SET_PREDICTION_DISABLED(1));
1515 ]]></artwork>
1516 </figure>
1517 <t>
1518 For best results, this implementation requires that prediction be explicitly
1519  enabled again before resuming normal encoding, even after a reset.
1520 </t>
1521
1522 </section>
1523
1524 </section>
1525
1526 <section anchor="implementation" title="Implementation Status">
1527 <t>
1528 A brief summary of major implementations of this draft is available
1529  at <eref target="https://wiki.xiph.org/OggOpusImplementation"/>,
1530  along with their status.
1531 </t>
1532 <t>
1533 [Note to RFC Editor: please remove this entire section before
1534  final publication per <xref target="RFC6982"/>, along with
1535  its references.]
1536 </t>
1537 </section>
1538
1539 <section anchor="security" title="Security Considerations">
1540 <t>
1541 Implementations of the Opus codec need to take appropriate security
1542  considerations into account, as outlined in <xref target="RFC4732"/>.
1543 This is just as much a problem for the container as it is for the codec itself.
1544 Robustness against malicious payloads is extremely important.
1545 Malicious payloads MUST NOT cause an implementation to overrun its allocated
1546  memory or to take an excessive amount of resources to decode.
1547 Although problems in encoding applications are typically rarer, the same
1548  applies to the muxer.
1549 Malicious audio input streams MUST NOT cause an implementation to overrun its
1550  allocated memory or consume excessive resources because this would allow an
1551  attacker to attack transcoding gateways.
1552 </t>
1553
1554 <t>
1555 Header parsing code contains the most likely area for potential overruns.
1556 It is important for implementations to ensure their buffers contain enough
1557  data for all of the required fields before attempting to read it (for example,
1558  for all of the channel map data in the ID header).
1559 Implementations would do well to validate the indices of the channel map, also,
1560  to ensure they meet all of the restrictions outlined in
1561  <xref target="channel_mapping"/>, in order to avoid attempting to read data
1562  from channels that do not exist.
1563 </t>
1564
1565 <t>
1566 To avoid excessive resource usage, we advise implementations to be especially
1567  wary of streams that might cause them to process far more data than was
1568  actually transmitted.
1569 For example, a relatively small comment header may contain values for the
1570  string lengths or user comment list length that imply that it is many
1571  gigabytes in size.
1572 Even computing the size of the required buffer could overflow a 32-bit integer,
1573  and actually attempting to allocate such a buffer before verifying it would be
1574  a reasonable size is a bad idea.
1575 After reading the user comment list length, implementations might wish to
1576  verify that the header contains at least the minimum amount of data for that
1577  many comments (4&nbsp;additional octets per comment, to indicate each has a
1578  length of zero) before proceeding any further, again taking care to avoid
1579  overflow in these calculations.
1580 If allocating an array of pointers to point at these strings, the size of the
1581  pointers may be larger than 4&nbsp;octets, potentially requiring a separate
1582  overflow check.
1583 </t>
1584
1585 <t>
1586 Another bug in this class we have observed more than once involves the handling
1587  of invalid data at the end of a stream.
1588 Often, implementations will seek to the end of a stream to locate the last
1589  timestamp in order to compute its total duration.
1590 If they do not find a valid capture pattern and Ogg page from the desired
1591  logical stream, they will back up and try again.
1592 If care is not taken to avoid re-scanning data that was already scanned, this
1593  search can quickly devolve into something with a complexity that is quadratic
1594  in the amount of invalid data.
1595 </t>
1596
1597 <t>
1598 In general when seeking, implementations will wish to be cautious about the
1599  effects of invalid granule position values, and ensure all algorithms will
1600  continue to make progress and eventually terminate, even if these are missing
1601  or out-of-order.
1602 </t>
1603
1604 <t>
1605 Like most other container formats, Ogg Opus streams SHOULD NOT be used with
1606  insecure ciphers or cipher modes that are vulnerable to known-plaintext
1607  attacks.
1608 Elements such as the Ogg page capture pattern and the magic signatures in the
1609  ID header and the comment header all have easily predictable values, in
1610  addition to various elements of the codec data itself.
1611 </t>
1612 </section>
1613
1614 <section anchor="content_type" title="Content Type">
1615 <t>
1616 An "Ogg Opus file" consists of one or more sequentially multiplexed segments,
1617  each containing exactly one Ogg Opus stream.
1618 The RECOMMENDED mime-type for Ogg Opus files is "audio/ogg".
1619 </t>
1620
1621 <t>
1622 If more specificity is desired, one MAY indicate the presence of Opus streams
1623  using the codecs parameter defined in <xref target="RFC6381"/> and
1624  <xref target="RFC5334"/>, e.g.,
1625 </t>
1626 <figure>
1627 <artwork align="center"><![CDATA[
1628     audio/ogg; codecs=opus
1629 ]]></artwork>
1630 </figure>
1631 <t>
1632  for an Ogg Opus file.
1633 </t>
1634
1635 <t>
1636 The RECOMMENDED filename extension for Ogg Opus files is '.opus'.
1637 </t>
1638
1639 <t>
1640 When Opus is concurrently multiplexed with other streams in an Ogg container,
1641  one SHOULD use one of the "audio/ogg", "video/ogg", or "application/ogg"
1642  mime-types, as defined in <xref target="RFC5334"/>.
1643 Such streams are not strictly "Ogg Opus files" as described above,
1644  since they contain more than a single Opus stream per sequentially
1645  multiplexed segment, e.g. video or multiple audio tracks.
1646 In such cases the the '.opus' filename extension is NOT RECOMMENDED.
1647 </t>
1648
1649 <t>
1650 In either case, this document updates <xref target="RFC5334"/>
1651  to add 'opus' as a codecs parameter value with char[8]: 'OpusHead'
1652  as Codec Identifier.
1653 </t>
1654 </section>
1655
1656 <section anchor="iana" title="IANA Considerations">
1657 <t>
1658 This document updates the IANA Media Types registry to add .opus
1659  as a file extension for "audio/ogg", and to add itself as a reference
1660  alongside <xref target="RFC5334"/> for "audio/ogg", "video/ogg", and
1661  "application/ogg" Media Types.
1662 </t>
1663 <t>
1664 This document defines a new registry "Opus Channel Mapping Families" to
1665  indicate how the semantic meanings of the channels in a multi-channel Opus
1666  stream are described.
1667 IANA is requested to create a new name space of "Opus Channel Mapping
1668  Families".
1669 This will be a new registry on the IANA Matrix, and not a subregistry of an
1670  existing registry.
1671 Modifications to this registry follow the "Specification Required with Expert
1672  Review" registration policy as defined in <xref target="RFC5226"/>.
1673 Each registry entry consists of a Channel Mapping Family Number, which is
1674  specified in decimal in the range 0 to 255, inclusive, and a Reference (or
1675  list of references)
1676 Each Reference must point to sufficient documentation to describe what
1677  information is coded in the Opus identification header for this channel
1678  mapping family, how a demuxer determines the Stream Count ('N') and Coupled
1679  Stream Count ('M') from this information, and how it determines the proper
1680  interpretation of each of the decoded channels.
1681 </t>
1682 <t>
1683 This document defines three initial assignments for this registry.
1684 </t>
1685 <texttable>
1686 <ttcol>Value</ttcol><ttcol>Reference</ttcol>
1687 <c>0</c><c>[RFCXXXX] <xref target="channel_mapping_0"/></c>
1688 <c>1</c><c>[RFCXXXX] <xref target="channel_mapping_1"/></c>
1689 <c>255</c><c>[RFCXXXX] <xref target="channel_mapping_255"/></c>
1690 </texttable>
1691 <t>
1692 The designated expert will determine if the Reference points to a specification
1693  that meets the requirements for permanence and ready availability laid out
1694  in&nbsp;<xref target="RFC5226"/> and that it specifies the information
1695  described above with sufficient clarity to allow interoperable
1696  implementations.
1697 </t>
1698 </section>
1699
1700 <section anchor="Acknowledgments" title="Acknowledgments">
1701 <t>
1702 Thanks to Ben Campbell, Joel M. Halpern, Mark Harris, Greg Maxwell,
1703  Christopher "Monty" Montgomery, Jean-Marc Valin, Stephan Wenger, and Mo Zanaty
1704  for their valuable contributions to this document.
1705 Additional thanks to Andrew D'Addesio, Greg Maxwell, and Vincent Penquerc'h for
1706  their feedback based on early implementations.
1707 </t>
1708 </section>
1709
1710 <section title="RFC Editor Notes">
1711 <t>
1712 In&nbsp;<xref target="iana"/>, "RFCXXXX" is to be replaced with the RFC number
1713  assigned to this draft.
1714 </t>
1715 </section>
1716
1717 </middle>
1718 <back>
1719 <references title="Normative References">
1720  &rfc2119;
1721  &rfc3533;
1722  &rfc3629;
1723  &rfc5226;
1724  &rfc5334;
1725  &rfc6381;
1726  &rfc6716;
1727
1728 <reference anchor="EBU-R128" target="https://tech.ebu.ch/loudness">
1729 <front>
1730   <title>Loudness Recommendation EBU R128</title>
1731   <author>
1732     <organization>EBU Technical Committee</organization>
1733   </author>
1734   <date month="August" year="2011"/>
1735 </front>
1736 </reference>
1737
1738 <reference anchor="vorbis-comment"
1739  target="https://www.xiph.org/vorbis/doc/v-comment.html">
1740 <front>
1741 <title>Ogg Vorbis I Format Specification: Comment Field and Header
1742  Specification</title>
1743 <author initials="C." surname="Montgomery"
1744  fullname="Christopher &quot;Monty&quot; Montgomery"/>
1745 <date month="July" year="2002"/>
1746 </front>
1747 </reference>
1748
1749 </references>
1750
1751 <references title="Informative References">
1752
1753 <!--?rfc include="http://xml.resource.org/public/rfc/bibxml/reference.RFC.3550.xml"?-->
1754  &rfc4732;
1755  &rfc6982;
1756  &rfc7587;
1757
1758 <reference anchor="flac"
1759  target="https://xiph.org/flac/format.html">
1760   <front>
1761     <title>FLAC - Free Lossless Audio Codec Format Description</title>
1762     <author initials="J." surname="Coalson" fullname="Josh Coalson"/>
1763     <date month="January" year="2008"/>
1764   </front>
1765 </reference>
1766
1767 <reference anchor="hanning"
1768  target="https://en.wikipedia.org/wiki/Hamming_function#Hann_.28Hanning.29_window">
1769   <front>
1770     <title>Hann window</title>
1771     <author>
1772       <organization>Wikipedia</organization>
1773     </author>
1774     <date month="May" year="2013"/>
1775   </front>
1776 </reference>
1777
1778 <reference anchor="linear-prediction"
1779  target="https://en.wikipedia.org/wiki/Linear_predictive_coding">
1780   <front>
1781     <title>Linear Predictive Coding</title>
1782     <author>
1783       <organization>Wikipedia</organization>
1784     </author>
1785     <date month="January" year="2014"/>
1786   </front>
1787 </reference>
1788
1789 <reference anchor="lpc-sample"
1790   target="https://svn.xiph.org/trunk/vorbis/lib/lpc.c">
1791 <front>
1792   <title>Autocorrelation LPC coeff generation algorithm
1793     (Vorbis source code)</title>
1794 <author initials="J." surname="Degener" fullname="Jutta Degener"/>
1795 <author initials="C." surname="Bormann" fullname="Carsten Bormann"/>
1796 <date month="November" year="1994"/>
1797 </front>
1798 </reference>
1799
1800 <reference anchor="q-notation"
1801  target="https://en.wikipedia.org/w/index.php?title=Q_%28number_format%29&amp;oldid=697252615">
1802 <front>
1803 <title>Q (number format)</title>
1804 <author><organization>Wikipedia</organization></author>
1805 <date month="December" year="2015"/>
1806 </front>
1807 </reference>
1808
1809 <reference anchor="replay-gain"
1810  target="https://wiki.xiph.org/VorbisComment#Replay_Gain">
1811 <front>
1812 <title>VorbisComment: Replay Gain</title>
1813 <author initials="C." surname="Parker" fullname="Conrad Parker"/>
1814 <author initials="M." surname="Leese" fullname="Martin Leese"/>
1815 <date month="June" year="2009"/>
1816 </front>
1817 </reference>
1818
1819 <reference anchor="seeking"
1820  target="https://wiki.xiph.org/Seeking">
1821 <front>
1822 <title>Granulepos Encoding and How Seeking Really Works</title>
1823 <author initials="S." surname="Pfeiffer" fullname="Silvia Pfeiffer"/>
1824 <author initials="C." surname="Parker" fullname="Conrad Parker"/>
1825 <author initials="G." surname="Maxwell" fullname="Greg Maxwell"/>
1826 <date month="May" year="2012"/>
1827 </front>
1828 </reference>
1829
1830 <reference anchor="vorbis-mapping"
1831  target="https://www.xiph.org/vorbis/doc/Vorbis_I_spec.html#x1-810004.3.9">
1832 <front>
1833 <title>The Vorbis I Specification, Section 4.3.9 Output Channel Order</title>
1834 <author initials="C." surname="Montgomery"
1835  fullname="Christopher &quot;Monty&quot; Montgomery"/>
1836 <date month="January" year="2010"/>
1837 </front>
1838 </reference>
1839
1840 <reference anchor="vorbis-trim"
1841  target="https://xiph.org/vorbis/doc/Vorbis_I_spec.html#x1-132000A.2">
1842   <front>
1843     <title>The Vorbis I Specification, Appendix&nbsp;A: Embedding Vorbis
1844       into an Ogg stream</title>
1845     <author initials="C." surname="Montgomery"
1846      fullname="Christopher &quot;Monty&quot; Montgomery"/>
1847     <date month="November" year="2008"/>
1848   </front>
1849 </reference>
1850
1851 <reference anchor="wave-multichannel"
1852  target="http://msdn.microsoft.com/en-us/windows/hardware/gg463006.aspx">
1853   <front>
1854     <title>Multiple Channel Audio Data and WAVE Files</title>
1855     <author>
1856       <organization>Microsoft Corporation</organization>
1857     </author>
1858     <date month="March" year="2007"/>
1859   </front>
1860 </reference>
1861
1862 </references>
1863
1864 </back>
1865 </rfc>