RTP: the return of maxaveragebitrate
[opus.git] / doc / draft-ietf-payload-rtp-opus.xml
1 <?xml version="1.0" encoding="UTF-8"?>
2 <!DOCTYPE rfc SYSTEM "rfc2629.dtd" [
3 <!ENTITY rfc2119 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2119.xml'>
4 <!ENTITY rfc3389 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3389.xml'>
5 <!ENTITY rfc3550 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3550.xml'>
6 <!ENTITY rfc3711 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3711.xml'>
7 <!ENTITY rfc3551 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3551.xml'>
8 <!ENTITY rfc6838 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6838.xml'>
9 <!ENTITY rfc4855 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4855.xml'>
10 <!ENTITY rfc4566 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4566.xml'>
11 <!ENTITY rfc3264 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3264.xml'>
12 <!ENTITY rfc2974 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2974.xml'>
13 <!ENTITY rfc2326 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2326.xml'>
14 <!ENTITY rfc3555 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3555.xml'>
15 <!ENTITY rfc5576 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5576.xml'>
16 <!ENTITY rfc6562 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6562.xml'>
17 <!ENTITY rfc6716 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6716.xml'>
18 <!ENTITY nbsp "&#160;">
19   ]>
20
21   <rfc category="std" ipr="trust200902" docName="draft-ietf-payload-rtp-opus-06">
22 <?xml-stylesheet type='text/xsl' href='rfc2629.xslt' ?>
23
24 <?rfc strict="yes" ?>
25 <?rfc toc="yes" ?>
26 <?rfc tocdepth="3" ?>
27 <?rfc tocappendix='no' ?>
28 <?rfc tocindent='yes' ?>
29 <?rfc symrefs="yes" ?>
30 <?rfc sortrefs="yes" ?>
31 <?rfc compact="no" ?>
32 <?rfc subcompact="yes" ?>
33 <?rfc iprnotified="yes" ?>
34
35   <front>
36     <title abbrev="RTP Payload Format for Opus Codec">
37       RTP Payload Format for Opus Speech and Audio Codec
38     </title>
39
40     <author fullname="Julian Spittka" initials="J." surname="Spittka">
41       <address>
42         <email>jspittka@gmail.com</email>
43       </address>
44     </author>
45
46     <author initials='K.' surname='Vos' fullname='Koen Vos'>
47       <organization>vocTone</organization>
48       <address>
49         <postal>
50           <street></street>
51           <code></code>
52           <city></city>
53           <region></region>
54           <country></country>
55         </postal>
56         <email>koenvos74@gmail.com</email>
57       </address>
58     </author>
59
60     <author initials="JM" surname="Valin" fullname="Jean-Marc Valin">
61       <organization>Mozilla</organization>
62       <address>
63         <postal>
64           <street>331 E. Evelyn Avenue</street>
65           <city>Mountain View</city>
66           <region>CA</region>
67           <code>94041</code>
68           <country>USA</country>
69         </postal>
70         <email>jmvalin@jmvalin.ca</email>
71       </address>
72     </author>
73
74     <date day='6' month='January' year='2015' />
75
76     <abstract>
77       <t>
78         This document defines the Real-time Transport Protocol (RTP) payload
79         format for packetization of Opus encoded
80         speech and audio data necessary to integrate the codec in the
81         most compatible way. Further, it describes media type registrations
82         for the RTP payload format.
83       </t>
84     </abstract>
85   </front>
86
87   <middle>
88     <section title='Introduction'>
89       <t>
90         The Opus codec is a speech and audio codec developed within the
91         IETF Internet Wideband Audio Codec working group. The codec
92         has a very low algorithmic delay and it
93         is highly scalable in terms of audio bandwidth, bitrate, and
94         complexity. Further, it provides different modes to efficiently encode speech signals
95         as well as music signals, thus making it the codec of choice for
96         various applications using the Internet or similar networks.
97       </t>
98       <t>
99         This document defines the Real-time Transport Protocol (RTP)
100         <xref target="RFC3550"/> payload format for packetization
101         of Opus encoded speech and audio data necessary to
102         integrate the Opus codec in the
103         most compatible way. Further, it describes media type registrations for
104         the RTP payload format. More information on the Opus
105         codec can be obtained from <xref target="RFC6716"/>.
106       </t>
107     </section>
108
109     <section title='Conventions, Definitions and Acronyms used in this document'>
110       <t>The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT",
111       "SHOULD", "SHOULD NOT", "RECOMMENDED", "MAY", and "OPTIONAL" in this
112       document are to be interpreted as described in <xref target="RFC2119"/>.</t>
113       <t>
114       <list style='hanging'>
115           <t hangText="audio bandwidth:"> The range of audio frequecies being coded</t>
116           <t hangText="CBR:"> Constant bitrate</t>
117           <t hangText="CPU:"> Central Processing Unit</t>
118           <t hangText="DTX:"> Discontinuous transmission</t>
119           <t hangText="FEC:"> Forward error correction</t>
120           <t hangText="IP:"> Internet Protocol</t>
121           <t hangText="samples:"> Speech or audio samples (per channel)</t>
122           <t hangText="SDP:"> Session Description Protocol</t>
123           <t hangText="VBR:"> Variable bitrate</t>
124       </list>
125       </t>
126         <t>
127           Throughout this document, we refer to the following definitions:
128         </t>
129           <texttable anchor='bandwidth_definitions'>
130             <ttcol align='center'>Abbreviation</ttcol>
131             <ttcol align='center'>Name</ttcol>
132             <ttcol align='center'>Audio Bandwidth (Hz)</ttcol>
133             <ttcol align='center'>Sampling Rate (Hz)</ttcol>
134             <c>NB</c>
135             <c>Narrowband</c>
136             <c>0 - 4000</c>
137             <c>8000</c>
138
139             <c>MB</c>
140             <c>Mediumband</c>
141             <c>0 - 6000</c>
142             <c>12000</c>
143
144             <c>WB</c>
145             <c>Wideband</c>
146             <c>0 - 8000</c>
147             <c>16000</c>
148
149             <c>SWB</c>
150             <c>Super-wideband</c>
151             <c>0 - 12000</c>
152             <c>24000</c>
153
154             <c>FB</c>
155             <c>Fullband</c>
156             <c>0 - 20000</c>
157             <c>48000</c>
158
159             <postamble>
160               Audio bandwidth naming
161             </postamble>
162           </texttable>
163     </section>
164
165     <section title='Opus Codec'>
166       <t>
167         The Opus <xref target="RFC6716"/> codec encodes speech
168         signals as well as general audio signals. Two different modes can be
169         chosen, a voice mode or an audio mode, to allow the most efficient coding
170         depending on the type of the input signal, the sampling frequency of the
171         input signal, and the intended application.
172       </t>
173
174       <t>
175         The voice mode allows efficient encoding of voice signals at lower bit
176         rates while the audio mode is optimized for general audio signals at medium and
177         higher bitrates.
178       </t>
179
180       <t>
181         The Opus speech and audio codec is highly scalable in terms of audio
182         bandwidth, bitrate, and complexity. Further, Opus allows
183         transmitting stereo signals.
184       </t>
185
186       <section title='Network Bandwidth'>
187           <t>
188             Opus supports bitrates from 6&nbsp;kb/s to 510&nbsp;kb/s.
189             The bitrate can be changed dynamically within that range.
190             All
191             other parameters being
192             equal, higher bitrates result in higher quality.
193           </t>
194           <section title='Recommended Bitrate' anchor='bitrate_by_bandwidth'>
195           <t>
196             For a frame size of
197             20&nbsp;ms, these
198             are the bitrate "sweet spots" for Opus in various configurations:
199
200           <list style="symbols">
201             <t>8-12 kb/s for NB speech,</t>
202             <t>16-20 kb/s for WB speech,</t>
203             <t>28-40 kb/s for FB speech,</t>
204             <t>48-64 kb/s for FB mono music, and</t>
205             <t>64-128 kb/s for FB stereo music.</t>
206           </list>
207         </t>
208       </section>
209         <section title='Variable versus Constant Bitrate'  anchor='variable-vs-constant-bitrate'>
210           <t>
211             For the same average bitrate, variable bitrate (VBR) can achieve higher quality
212             than constant bitrate (CBR). For the majority of voice transmission applications, VBR
213             is the best choice. One reason for choosing CBR is the potential
214             information leak that <spanx style='emph'>might</spanx> occur when encrypting the
215             compressed stream. See <xref target="RFC6562"/> for guidelines on when VBR is
216             appropriate for encrypted audio communications. In the case where an existing
217             VBR stream needs to be converted to CBR for security reasons, then the Opus padding
218             mechanism described in <xref target="RFC6716"/> is the RECOMMENDED way to achieve padding
219             because the RTP padding bit is unencrypted.</t>
220
221           <t>
222             The bitrate can be adjusted at any point in time. To avoid congestion,
223             the average bitrate SHOULD NOT exceed the available
224             network capacity. If no target bitrate is specified, the bitrates specified in
225             <xref target='bitrate_by_bandwidth'/> are RECOMMENDED.
226           </t>
227
228         </section>
229
230         <section title='Discontinuous Transmission (DTX)'>
231
232           <t>
233             The Opus codec can, as described in <xref target='variable-vs-constant-bitrate'/>,
234             be operated with a variable bitrate. In that case, the encoder will
235             automatically reduce the bitrate for certain input signals, like periods
236             of silence. When using continuous transmission, it will reduce the
237             bitrate when the characteristics of the input signal permit, but
238             will never interrupt the transmission to the receiver. Therefore, the
239             received signal will maintain the same high level of quality over the
240             full duration of a transmission while minimizing the average bit
241             rate over time.
242           </t>
243
244           <t>
245             In cases where the bitrate of Opus needs to be reduced even
246             further or in cases where only constant bitrate is available,
247             the Opus encoder can use discontinuous
248             transmission (DTX), where parts of the encoded signal that
249             correspond to periods of silence in the input speech or audio signal
250             are not transmitted to the receiver. A receiver can distinguish
251             between DTX and packet loss by looking for gaps in the sequence
252             number, as described by Section 4.1
253             of&nbsp;<xref target="RFC3551"/>.
254           </t>
255
256           <t>
257             On the receiving side, the non-transmitted parts will be handled by a
258             frame loss concealment unit in the Opus decoder which generates a
259             comfort noise signal to replace the non transmitted parts of the
260             speech or audio signal. Use of <xref target="RFC3389"/> Comfort
261             Noise (CN) with Opus is discouraged.
262             The transmitter MUST drop whole frames only,
263             based on the size of the last transmitted frame,
264             to ensure successive RTP timestamps differ by a multiple of 120 and
265             to allow the receiver to use whole frames for concealment.
266           </t>
267
268           <t>
269             DTX can be used with both variable and constant bitrate.
270             It will have a slightly lower speech or audio
271             quality than continuous transmission. Therefore, using continuous
272             transmission is RECOMMENDED unless restraints on network capacity
273             are severe.
274           </t>
275
276         </section>
277
278         </section>
279
280       <section title='Complexity'>
281
282         <t>
283           Complexity of the encoder can be scaled to optimize for CPU resources in real-time, mostly as
284           a trade-off between audio quality and bitrate. Also, different modes of Opus have different complexity.
285         </t>
286
287       </section>
288
289       <section title="Forward Error Correction (FEC)">
290
291         <t>
292           The voice mode of Opus allows for embedding "in-band" forward error correction (FEC)
293           data into the Opus bit stream. This FEC scheme adds
294           redundant information about the previous packet (N-1) to the current
295           output packet N. For
296           each frame, the encoder decides whether to use FEC based on (1) an
297           externally-provided estimate of the channel's packet loss rate; (2) an
298           externally-provided estimate of the channel's capacity; (3) the
299           sensitivity of the audio or speech signal to packet loss; (4) whether
300           the receiving decoder has indicated it can take advantage of "in-band"
301           FEC information. The decision to send "in-band" FEC information is
302           entirely controlled by the encoder and therefore no special precautions
303           for the payload have to be taken.
304         </t>
305
306         <t>
307           On the receiving side, the decoder can take advantage of this
308           additional information when it loses a packet and the next packet
309           is available.  In order to use the FEC data, the jitter buffer needs
310           to provide access to payloads with the FEC data.  
311           Instead of performing loss concealment for a missing packet, the
312           receiver can then configure its decoder to decode the FEC data from the next packet.
313         </t>
314
315         <t>
316           Any compliant Opus decoder is capable of ignoring
317           FEC information when it is not needed, so encoding with FEC cannot cause
318           interoperability problems.
319           However, if FEC cannot be used on the receiving side, then FEC
320           SHOULD NOT be used, as it leads to an inefficient usage of network
321           resources. Decoder support for FEC SHOULD be indicated at the time a
322           session is set up.
323         </t>
324
325       </section>
326
327       <section title='Stereo Operation'>
328
329         <t>
330           Opus allows for transmission of stereo audio signals. This operation
331           is signaled in-band in the Opus payload and no special arrangement
332           is needed in the payload format. An
333           Opus decoder is capable of handling a stereo encoding, but an
334           application might only be capable of consuming a single audio
335           channel.
336         </t>
337         <t>
338           If a decoder cannot take advantage of the benefits of a stereo signal
339           this SHOULD be indicated at the time a session is set up. In that case
340           the sending side SHOULD NOT send stereo signals as it leads to an
341           inefficient usage of network resources.
342         </t>
343
344       </section>
345
346     </section>
347
348     <section title='Opus RTP Payload Format' anchor='opus-rtp-payload-format'>
349       <t>The payload format for Opus consists of the RTP header and Opus payload
350       data.</t>
351       <section title='RTP Header Usage'>
352         <t>The format of the RTP header is specified in <xref target="RFC3550"/>.
353         The use of the fields of the RTP header by the Opus payload format is
354         consistent with that specification.</t>
355
356         <t>The payload length of Opus is an integer number of octets and
357         therefore no padding is necessary. The payload MAY be padded by an
358         integer number of octets according to <xref target="RFC3550"/>,
359         although the Opus internal padding is preferred.</t>
360
361         <t>The timestamp, sequence number, and marker bit (M) of the RTP header
362         are used in accordance with Section 4.1
363         of&nbsp;<xref target="RFC3551"/>.</t>
364
365         <t>The RTP payload type for Opus is to be assigned dynamically.</t>
366
367         <t>The receiving side MUST be prepared to receive duplicate RTP
368         packets. The receiver MUST provide at most one of those payloads to the
369         Opus decoder for decoding, and MUST discard the others.</t>
370
371         <t>Opus supports 5 different audio bandwidths, which can be adjusted during
372         a call.
373         The RTP timestamp is incremented with a 48000 Hz clock rate
374         for all modes of Opus and all sampling rates.
375         The unit
376         for the timestamp is samples per single (mono) channel. The RTP timestamp corresponds to the
377         sample time of the first encoded sample in the encoded frame.
378         For data encoded with sampling rates other than 48000 Hz,
379         the sampling rate has to be adjusted to 48000 Hz.</t>
380
381       </section>
382
383       <section title='Payload Structure'>
384         <t>
385           The Opus encoder can output encoded frames representing 2.5, 5, 10, 20,
386           40, or 60&nbsp;ms of speech or audio data. Further, an arbitrary number of frames can be
387           combined into a packet, up to a maximum packet duration representing
388           120&nbsp;ms of speech or audio data. The grouping of one or more Opus
389           frames into a single Opus packet is defined in Section&nbsp;3 of
390           <xref target="RFC6716"/>. An RTP payload MUST contain exactly one
391           Opus packet as defined by that document.
392         </t>
393
394         <t><xref target='payload-structure'/> shows the structure combined with the RTP header.</t>
395
396         <figure anchor="payload-structure"
397                 title="Packet structure with RTP header">
398           <artwork align="center">
399             <![CDATA[
400 +----------+--------------+
401 |RTP Header| Opus Payload |
402 +----------+--------------+
403            ]]>
404           </artwork>
405         </figure>
406
407         <t>
408           <xref target='opus-packetization'/> shows supported frame sizes in
409           milliseconds of encoded speech or audio data for the speech and audio modes
410           (Mode) and sampling rates (fs) of Opus and shows how the timestamp is
411           incremented for packetization (ts incr). If the Opus encoder
412           outputs multiple encoded frames into a single packet, the timestamp
413           increment is the sum of the increments for the individual frames.
414         </t>
415
416         <texttable anchor='opus-packetization' title="Supported Opus frame
417          sizes and timestamp increments">
418             <ttcol align='center'>Mode</ttcol>
419             <ttcol align='center'>fs</ttcol>
420             <ttcol align='center'>2.5</ttcol>
421             <ttcol align='center'>5</ttcol>
422             <ttcol align='center'>10</ttcol>
423             <ttcol align='center'>20</ttcol>
424             <ttcol align='center'>40</ttcol>
425             <ttcol align='center'>60</ttcol>
426             <c>ts incr</c>
427             <c>all</c>
428             <c>120</c>
429             <c>240</c>
430             <c>480</c>
431             <c>960</c>
432             <c>1920</c>
433             <c>2880</c>
434             <c>voice</c>
435             <c>NB/MB/WB/SWB/FB</c>
436             <c></c>
437             <c></c>
438             <c>x</c>
439             <c>x</c>
440             <c>x</c>
441             <c>x</c>
442             <c>audio</c>
443             <c>NB/WB/SWB/FB</c>
444             <c>x</c>
445             <c>x</c>
446             <c>x</c>
447             <c>x</c>
448             <c></c>
449             <c></c>
450           </texttable>
451
452       </section>
453
454     </section>
455
456     <section title='Congestion Control'>
457
458       <t>The target bitrate of Opus can be adjusted at any point in time, thus
459       allowing efficient congestion control. Furthermore, the amount
460       of encoded speech or audio data encoded in a
461       single packet can be used for congestion control, since the transmission
462       rate is inversely proportional to the packet duration. A lower packet
463       transmission rate reduces the amount of header overhead, but at the same
464       time increases latency and loss sensitivity, so it ought to be used with
465       care.</t>
466
467       <t>It is RECOMMENDED that senders of Opus encoded data apply congestion
468       control.</t>
469     </section>
470
471     <section title='IANA Considerations'>
472       <t>One media subtype (audio/opus) has been defined and registered as
473       described in the following section.</t>
474
475       <section title='Opus Media Type Registration'>
476         <t>Media type registration is done according to <xref
477         target="RFC6838"/> and <xref target="RFC4855"/>.<vspace
478         blankLines='1'/></t>
479
480           <t>Type name: audio<vspace blankLines='1'/></t>
481           <t>Subtype name: opus<vspace blankLines='1'/></t>
482
483           <t>Required parameters:</t>
484           <t><list style="hanging">
485             <t hangText="rate:"> the RTP timestamp is incremented with a
486             48000 Hz clock rate for all modes of Opus and all sampling
487             rates. For data encoded with sampling rates other than 48000 Hz,
488             the sampling rate has to be adjusted to 48000 Hz.
489           </t>
490           </list></t>
491
492           <t>Optional parameters:</t>
493
494           <t><list style="hanging">
495             <t hangText="maxplaybackrate:">
496               a hint about the maximum output sampling rate that the receiver is
497               capable of rendering in Hz.
498               The decoder MUST be capable of decoding
499               any audio bandwidth but due to hardware limitations only signals
500               up to the specified sampling rate can be played back. Sending signals
501               with higher audio bandwidth results in higher than necessary network
502               usage and encoding complexity, so an encoder SHOULD NOT encode
503               frequencies above the audio bandwidth specified by maxplaybackrate.
504               This parameter can take any value between 8000 and 48000, although
505               commonly the value will match one of the Opus bandwidths
506               (<xref target="bandwidth_definitions"/>).
507               By default, the receiver is assumed to have no limitations, i.e. 48000.
508               <vspace blankLines='1'/>
509             </t>
510
511             <t hangText="sprop-maxcapturerate:">
512               a hint about the maximum input sampling rate that the sender is likely to produce.
513               This is not a guarantee that the sender will never send any higher bandwidth
514               (e.g. it could send a pre-recorded prompt that uses a higher bandwidth), but it
515               indicates to the receiver that frequencies above this maximum can safely be discarded.
516               This parameter is useful to avoid wasting receiver resources by operating the audio
517               processing pipeline (e.g. echo cancellation) at a higher rate than necessary.
518               This parameter can take any value between 8000 and 48000, although
519               commonly the value will match one of the Opus bandwidths
520               (<xref target="bandwidth_definitions"/>).
521               By default, the sender is assumed to have no limitations, i.e. 48000.
522               <vspace blankLines='1'/>
523             </t>
524
525             <t hangText="maxptime:"> the maximum duration of media represented
526             by a packet (according to Section&nbsp;6 of
527             <xref target="RFC4566"/>) that a decoder wants to receive, in
528             milliseconds rounded up to the next full integer value.
529             Possible values are 3, 5, 10, 20, 40, 60, or an arbitrary
530             multiple of an Opus frame size rounded up to the next full integer
531             value, up to a maximum value of 120, as
532             defined in <xref target='opus-rtp-payload-format'/>. If no value is
533               specified, the default is 120.
534               <vspace blankLines='1'/></t>
535
536             <t hangText="ptime:"> the preferred duration of media represented
537             by a packet (according to Section&nbsp;6 of
538             <xref target="RFC4566"/>) that a decoder wants to receive, in
539             milliseconds rounded up to the next full integer value.
540             Possible values are 3, 5, 10, 20, 40, 60, or an arbitrary
541             multiple of an Opus frame size rounded up to the next full integer
542             value, up to a maximum value of 120, as defined in <xref
543             target='opus-rtp-payload-format'/>. If no value is
544               specified, the default is 20. 
545               <vspace blankLines='1'/></t>
546
547             <t hangText="maxaveragebitrate:"> specifies the maximum average
548             receive bitrate of a session in bits per second (b/s). The actual
549             value of the bitrate can vary, as it is dependent on the
550             characteristics of the media in a packet. Note that the maximum
551             average bitrate MAY be modified dynamically during a session. Any
552             positive integer is allowed, but values outside the range
553             6000 to 510000 SHOULD be ignored. If no value is specified, the
554             maximum value specified in <xref target='bitrate_by_bandwidth'/>
555             for the corresponding mode of Opus and corresponding maxplaybackrate
556             is the default.<vspace blankLines='1'/></t>
557
558             <t hangText="stereo:">
559               specifies whether the decoder prefers receiving stereo or mono signals.
560               Possible values are 1 and 0 where 1 specifies that stereo signals are preferred,
561               and 0 specifies that only mono signals are preferred.
562               Independent of the stereo parameter every receiver MUST be able to receive and
563               decode stereo signals but sending stereo signals to a receiver that signaled a
564               preference for mono signals may result in higher than necessary network
565               utilization and encoding complexity. If no value is specified,
566               the default is 0 (mono).<vspace blankLines='1'/>
567             </t>
568
569             <t hangText="sprop-stereo:">
570               specifies whether the sender is likely to produce stereo audio.
571               Possible values are 1 and 0, where 1 specifies that stereo signals are likely to
572               be sent, and 0 specifies that the sender will likely only send mono.
573               This is not a guarantee that the sender will never send stereo audio
574               (e.g. it could send a pre-recorded prompt that uses stereo), but it
575               indicates to the receiver that the received signal can be safely downmixed to mono.
576               This parameter is useful to avoid wasting receiver resources by operating the audio
577               processing pipeline (e.g. echo cancellation) in stereo when not necessary.
578               If no value is specified, the default is 0
579               (mono).<vspace blankLines='1'/>
580             </t>
581
582             <t hangText="cbr:">
583               specifies if the decoder prefers the use of a constant bitrate versus
584               variable bitrate. Possible values are 1 and 0, where 1 specifies constant
585               bitrate and 0 specifies variable bitrate. If no value is specified,
586               the default is 0 (vbr). When cbr is 1, the maximum average bitrate can still
587               change, e.g. to adapt to changing network conditions.<vspace blankLines='1'/>
588             </t>
589
590             <t hangText="useinbandfec:"> specifies that the decoder has the capability to
591             take advantage of the Opus in-band FEC. Possible values are 1 and 0.
592             Providing 0 when FEC cannot be used on the receiving side is
593             RECOMMENDED. If no
594             value is specified, useinbandfec is assumed to be 0.
595             This parameter is only a preference and the receiver MUST be able to process
596             packets that include FEC information, even if it means the FEC part is discarded.
597             <vspace blankLines='1'/></t>
598
599             <t hangText="usedtx:"> specifies if the decoder prefers the use of
600             DTX. Possible values are 1 and 0. If no value is specified, the
601             default is 0.<vspace blankLines='1'/></t>
602           </list></t>
603
604           <t>Encoding considerations:<vspace blankLines='1'/></t>
605           <t><list style="hanging">
606             <t>The Opus media type is framed and consists of binary data according
607             to Section&nbsp;4.8 in <xref target="RFC6838"/>.</t>
608           </list></t>
609
610           <t>Security considerations: </t>
611           <t><list style="hanging">
612             <t>See <xref target='security-considerations'/> of this document.</t>
613           </list></t>
614
615           <t>Interoperability considerations: none<vspace blankLines='1'/></t>
616           <t>Published specification: none<vspace blankLines='1'/></t>
617
618           <t>Applications that use this media type: </t>
619           <t><list style="hanging">
620             <t>Any application that requires the transport of
621             speech or audio data can use this media type. Some examples are,
622             but not limited to, audio and video conferencing, Voice over IP,
623             media streaming.</t>
624           </list></t>
625
626           <t>Person &amp; email address to contact for further information:</t>
627           <t><list style="hanging">
628             <t>SILK Support silksupport@skype.net</t>
629             <t>Jean-Marc Valin jmvalin@jmvalin.ca</t>
630           </list></t>
631
632           <t>Intended usage: COMMON<vspace blankLines='1'/></t>
633
634           <t>Restrictions on usage:<vspace blankLines='1'/></t>
635
636           <t><list style="hanging">
637             <t>For transfer over RTP, the RTP payload format (<xref
638             target='opus-rtp-payload-format'/> of this document) SHALL be
639             used.</t>
640           </list></t>
641
642           <t>Author:</t>
643           <t><list style="hanging">
644             <t>Julian Spittka jspittka@gmail.com<vspace blankLines='1'/></t>
645             <t>Koen Vos koenvos74@gmail.com<vspace blankLines='1'/></t>
646             <t>Jean-Marc Valin jmvalin@jmvalin.ca<vspace blankLines='1'/></t>
647           </list></t>
648
649           <t> Change controller: TBD</t>
650       </section>
651
652       <section title='Mapping to SDP Parameters'>
653         <t>The information described in the media type specification has a
654         specific mapping to fields in the Session Description Protocol (SDP)
655         <xref target="RFC4566"/>, which is commonly used to describe RTP
656         sessions. When SDP is used to specify sessions employing the Opus codec,
657         the mapping is as follows:</t>
658
659         <t>
660           <list style="symbols">
661             <t>The media type ("audio") goes in SDP "m=" as the media name.</t>
662
663             <t>The media subtype ("opus") goes in SDP "a=rtpmap" as the encoding
664             name. The RTP clock rate in "a=rtpmap" MUST be 48000 and the number of
665             channels MUST be 2.</t>
666
667             <t>The OPTIONAL media type parameters "ptime" and "maxptime" are
668             mapped to "a=ptime" and "a=maxptime" attributes, respectively, in the
669             SDP.</t>
670
671             <t>The OPTIONAL media type parameters "maxaveragebitrate",
672             "maxplaybackrate", "stereo", "cbr", "useinbandfec", and
673             "usedtx", when present, MUST be included in the "a=fmtp" attribute
674             in the SDP, expressed as a media type string in the form of a
675             semicolon-separated list of parameter=value pairs (e.g.,
676             maxplaybackrate=48000). They MUST NOT be specified in an
677             SSRC-specific "fmtp" source-level attribute (as defined in
678             Section&nbsp;6.3 of&nbsp;<xref target="RFC5576"/>).</t>
679
680             <t>The OPTIONAL media type parameters "sprop-maxcapturerate",
681             and "sprop-stereo" MAY be mapped to the "a=fmtp" SDP attribute by
682             copying them directly from the media type parameter string as part
683             of the semicolon-separated list of parameter=value pairs (e.g.,
684             sprop-stereo=1). These same OPTIONAL media type parameters MAY also
685             be specified using an SSRC-specific "fmtp" source-level attribute
686             as described in Section&nbsp;6.3 of&nbsp;<xref target="RFC5576"/>.
687             They MAY be specified in both places, in which case the parameter
688             in the source-level attribute overrides the one found on the
689             "a=fmtp" line. The value of any parameter which is not specified in
690             a source-level source attribute MUST be taken from the "a=fmtp"
691             line, if it is present there.</t>
692
693           </list>
694         </t>
695
696         <t>Below are some examples of SDP session descriptions for Opus:</t>
697
698         <t>Example 1: Standard mono session with 48000 Hz clock rate</t>
699           <figure>
700             <artwork>
701               <![CDATA[
702     m=audio 54312 RTP/AVP 101
703     a=rtpmap:101 opus/48000/2
704               ]]>
705             </artwork>
706           </figure>
707
708
709         <t>Example 2: 16000 Hz clock rate, maximum packet size of 40 ms,
710         recommended packet size of 40 ms, maximum average bitrate of 20000 bps,
711         prefers to receive stereo but only plans to send mono, FEC is desired,
712         DTX is not desired</t>
713
714         <figure>
715           <artwork>
716             <![CDATA[
717     m=audio 54312 RTP/AVP 101
718     a=rtpmap:101 opus/48000/2
719     a=fmtp:101 maxplaybackrate=16000; sprop-maxcapturerate=16000;
720     maxaveragebitrate=20000; stereo=1; useinbandfec=1; usedtx=0
721     a=ptime:40
722     a=maxptime:40
723             ]]>
724           </artwork>
725         </figure>
726
727         <t>Example 3: Two-way full-band stereo preferred</t>
728
729         <figure>
730           <artwork>
731             <![CDATA[
732     m=audio 54312 RTP/AVP 101
733     a=rtpmap:101 opus/48000/2
734     a=fmtp:101 stereo=1; sprop-stereo=1
735             ]]>
736           </artwork>
737         </figure>
738
739
740       <section title='Offer-Answer Model Considerations for Opus'>
741
742           <t>When using the offer-answer procedure described in <xref
743           target="RFC3264"/> to negotiate the use of Opus, the following
744           considerations apply:</t>
745
746           <t><list style="symbols">
747
748             <t>Opus supports several clock rates. For signaling purposes only
749             the highest, i.e. 48000, is used. The actual clock rate of the
750             corresponding media is signaled inside the payload and is not
751             restricted by this payload format description. The decoder MUST be
752             capable of decoding every received clock rate. An example
753             is shown below:
754
755             <figure>
756               <artwork>
757                 <![CDATA[
758     m=audio 54312 RTP/AVP 100
759     a=rtpmap:100 opus/48000/2
760                 ]]>
761               </artwork>
762             </figure>
763             </t>
764
765             <t>The "ptime" and "maxptime" parameters are unidirectional
766             receive-only parameters and typically will not compromise
767             interoperability; however, some values might cause application
768             performance to suffer. <xref
769             target="RFC3264"/> defines the SDP offer-answer handling of the
770             "ptime" parameter. The "maxptime" parameter MUST be handled in the
771             same way.</t>
772
773             <t>
774               The "maxplaybackrate" parameter is a unidirectional receive-only
775               parameter that reflects limitations of the local receiver. When
776               sending to a single destination, a sender MUST NOT use an audio
777               bandwidth higher than necessary to make full use of audio sampled at
778               a sampling rate of "maxplaybackrate". Gateways or senders that
779               are sending the same encoded audio to multiple destinations
780               SHOULD NOT use an audio bandwidth higher than necessary to
781               represent audio sampled at "maxplaybackrate", as this would lead
782               to inefficient use of network resources.
783               The "maxplaybackrate" parameter does not
784               affect interoperability. Also, this parameter SHOULD NOT be used
785               to adjust the audio bandwidth as a function of the bitrate, as this
786               is the responsibility of the Opus encoder implementation.
787             </t>
788
789             <t>The "maxaveragebitrate" parameter is a unidirectional receive-only
790             parameter that reflects limitations of the local receiver. The sender
791             of the other side MUST NOT send with an average bitrate higher than
792             "maxaveragebitrate" as it might overload the network and/or
793             receiver. The "maxaveragebitrate" parameter typically will not
794             compromise interoperability; however, some values might cause
795             application performance to suffer, and ought to be set with
796             care.</t>
797
798             <t>The "sprop-maxcapturerate" and "sprop-stereo" parameters are
799             unidirectional sender-only parameters that reflect limitations of
800             the sender side.
801             They allow the receiver to set up a reduced-complexity audio
802             processing pipeline if the  sender is not planning to use the full
803             range of Opus's capabilities.
804             Neither "sprop-maxcapturerate" nor "sprop-stereo" affect
805             interoperability and the receiver MUST be capable of receiving any signal.
806             </t>
807
808             <t>
809               The "stereo" parameter is a unidirectional receive-only
810               parameter. When sending to a single destination, a sender MUST
811               NOT use stereo when "stereo" is 0. Gateways or senders that are
812               sending the same encoded audio to multiple destinations SHOULD
813               NOT use stereo when "stereo" is 0, as this would lead to
814               inefficient use of network resources. The "stereo" parameter does
815               not affect interoperability.
816             </t>
817
818             <t>
819               The "cbr" parameter is a unidirectional receive-only
820               parameter.
821             </t>
822
823             <t>The "useinbandfec" parameter is a unidirectional receive-only
824             parameter.</t>
825
826             <t>The "usedtx" parameter is a unidirectional receive-only
827             parameter.</t>
828
829             <t>Any unknown parameter in an offer MUST be ignored by the receiver
830             and MUST be removed from the answer.</t>
831
832           </list></t>
833       </section>
834
835       <section title='Declarative SDP Considerations for Opus'>
836
837         <t>For declarative use of SDP such as in Session Announcement Protocol
838         (SAP), <xref target="RFC2974"/>, and RTSP, <xref target="RFC2326"/>, for
839         Opus, the following needs to be considered:</t>
840
841         <t><list style="symbols">
842
843           <t>The values for "maxptime", "ptime", "maxplaybackrate", and
844           "maxaveragebitrate" ought to be selected carefully to ensure that a
845           reasonable performance can be achieved for the participants of a session.</t>
846
847           <t>
848             The values for "maxptime", "ptime", and of the payload
849             format configuration are recommendations by the decoding side to ensure
850             the best performance for the decoder.
851           </t>
852
853           <t>All other parameters of the payload format configuration are declarative
854           and a participant MUST use the configurations that are provided for
855           the session. More than one configuration can be provided if necessary
856           by declaring multiple RTP payload types; however, the number of types
857           ought to be kept small.</t>
858         </list></t>
859       </section>
860     </section>
861   </section>
862
863     <section title='Security Considerations' anchor='security-considerations'>
864
865       <t>All RTP packets using the payload format defined in this specification
866       are subject to the general security considerations discussed in the RTP
867       specification <xref target="RFC3550"/> and any profile from,
868       e.g., <xref target="RFC3711"/> or <xref target="RFC3551"/>.</t>
869
870       <t>This payload format transports Opus encoded speech or audio data.
871       Hence, security issues include confidentiality, integrity protection, and
872       authentication of the speech or audio itself. Opus does not provide
873       any confidentiality or integrity protection. Any suitable external
874       mechanisms, such as SRTP <xref target="RFC3711"/>, MAY be used.</t>
875
876       <t>This payload format and the Opus encoding do not exhibit any
877       significant non-uniformity in the receiver-end computational load and thus
878       are unlikely to pose a denial-of-service threat due to the receipt of
879       pathological datagrams.</t>
880     </section>
881
882     <section title='Acknowledgements'>
883     <t>Many people have made useful comments and suggestions contributing to this document. 
884       In particular, we would like to thank
885       Tina le Grand, Cullen Jennings, Jonathan Lennox, Gregory Maxwell, Colin Perkins, Jan Skoglund,
886       Timothy B. Terriberry, Martin Thompson, Justin Uberti, Magnus Westerlund, and Mo Zanaty.</t>
887     </section>
888   </middle>
889
890   <back>
891     <references title="Normative References">
892       &rfc2119;
893       &rfc3389;
894       &rfc3550;
895       &rfc3711;
896       &rfc3551;
897       &rfc6838;
898       &rfc4855;
899       &rfc4566;
900       &rfc3264;
901       &rfc2326;
902       &rfc5576;
903       &rfc6562;
904       &rfc6716;
905     </references>
906
907     <references title="Informative References">
908       &rfc2974;
909     </references>
910
911   </back>
912 </rfc>