IESG RTP draft update
[opus.git] / doc / draft-ietf-payload-rtp-opus.xml
1 <?xml version="1.0" encoding="UTF-8"?>
2 <!DOCTYPE rfc SYSTEM "rfc2629.dtd" [
3 <!ENTITY rfc2119 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2119.xml'>
4 <!ENTITY rfc3389 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3389.xml'>
5 <!ENTITY rfc3550 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3550.xml'>
6 <!ENTITY rfc3711 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3711.xml'>
7 <!ENTITY rfc3551 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3551.xml'>
8 <!ENTITY rfc6838 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6838.xml'>
9 <!ENTITY rfc4855 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4855.xml'>
10 <!ENTITY rfc4566 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4566.xml'>
11 <!ENTITY rfc4585 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4585.xml'>
12 <!ENTITY rfc3264 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3264.xml'>
13 <!ENTITY rfc2974 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2974.xml'>
14 <!ENTITY rfc2326 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2326.xml'>
15 <!ENTITY rfc3555 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3555.xml'>
16 <!ENTITY rfc5124 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5124.xml'>
17 <!ENTITY rfc5576 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5576.xml'>
18 <!ENTITY rfc6562 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6562.xml'>
19 <!ENTITY rfc6716 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6716.xml'>
20 <!ENTITY rfc7202 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.7202.xml'>
21 <!ENTITY nbsp "&#160;">
22   ]>
23
24   <rfc category="std" ipr="trust200902" docName="draft-ietf-payload-rtp-opus-09">
25 <?xml-stylesheet type='text/xsl' href='rfc2629.xslt' ?>
26
27 <?rfc strict="yes" ?>
28 <?rfc toc="yes" ?>
29 <?rfc tocdepth="3" ?>
30 <?rfc tocappendix='no' ?>
31 <?rfc tocindent='yes' ?>
32 <?rfc symrefs="yes" ?>
33 <?rfc sortrefs="yes" ?>
34 <?rfc compact="no" ?>
35 <?rfc subcompact="yes" ?>
36 <?rfc iprnotified="yes" ?>
37
38   <front>
39     <title abbrev="RTP Payload Format for Opus">
40       RTP Payload Format for the Opus Speech and Audio Codec
41     </title>
42
43     <author fullname="Julian Spittka" initials="J." surname="Spittka">
44       <address>
45         <email>jspittka@gmail.com</email>
46       </address>
47     </author>
48
49     <author initials='K.' surname='Vos' fullname='Koen Vos'>
50       <organization>vocTone</organization>
51       <address>
52         <postal>
53           <street></street>
54           <code></code>
55           <city></city>
56           <region></region>
57           <country></country>
58         </postal>
59         <email>koenvos74@gmail.com</email>
60       </address>
61     </author>
62
63     <author initials="JM" surname="Valin" fullname="Jean-Marc Valin">
64       <organization>Mozilla</organization>
65       <address>
66         <postal>
67           <street>331 E. Evelyn Avenue</street>
68           <city>Mountain View</city>
69           <region>CA</region>
70           <code>94041</code>
71           <country>USA</country>
72         </postal>
73         <email>jmvalin@jmvalin.ca</email>
74       </address>
75     </author>
76
77     <date day='10' month='April' year='2015' />
78
79     <abstract>
80       <t>
81         This document defines the Real-time Transport Protocol (RTP) payload
82         format for packetization of Opus encoded
83         speech and audio data necessary to integrate the codec in the
84         most compatible way. It also provides an applicability statement
85         for the use of Opus over RTP. Further, it describes media type registrations
86         for the RTP payload format.
87       </t>
88     </abstract>
89   </front>
90
91   <middle>
92     <section title='Introduction'>
93       <t>
94         Opus <xref target="RFC6716"/> is a speech and audio codec developed within the
95         IETF Internet Wideband Audio Codec working group. The codec
96         has a very low algorithmic delay and it
97         is highly scalable in terms of audio bandwidth, bitrate, and
98         complexity. Further, it provides different modes to efficiently encode speech signals
99         as well as music signals, thus making it the codec of choice for
100         various applications using the Internet or similar networks.
101       </t>
102       <t>
103         This document defines the Real-time Transport Protocol (RTP)
104         <xref target="RFC3550"/> payload format for packetization
105         of Opus encoded speech and audio data necessary to
106         integrate Opus in the
107         most compatible way. It also provides an applicability statement
108         for the use of Opus over RTP.
109         Further, it describes media type registrations for
110         the RTP payload format.
111       </t>
112     </section>
113
114     <section title='Conventions, Definitions and Acronyms used in this document'>
115       <t>The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT",
116       "SHOULD", "SHOULD NOT", "RECOMMENDED", "MAY", and "OPTIONAL" in this
117       document are to be interpreted as described in <xref target="RFC2119"/>.</t>
118       <t>
119       <list style='hanging'>
120           <t hangText="audio bandwidth:"> The range of audio frequecies being coded</t>
121           <t hangText="CBR:"> Constant bitrate</t>
122           <t hangText="CPU:"> Central Processing Unit</t>
123           <t hangText="DTX:"> Discontinuous transmission</t>
124           <t hangText="FEC:"> Forward error correction</t>
125           <t hangText="IP:"> Internet Protocol</t>
126           <t hangText="samples:"> Speech or audio samples (per channel)</t>
127           <t hangText="SDP:"> Session Description Protocol</t>
128           <t hangText="VBR:"> Variable bitrate</t>
129       </list>
130       </t>
131         <t>
132           Throughout this document, we refer to the following definitions:
133         </t>
134           <texttable anchor='bandwidth_definitions'>
135             <ttcol align='center'>Abbreviation</ttcol>
136             <ttcol align='center'>Name</ttcol>
137             <ttcol align='center'>Audio Bandwidth (Hz)</ttcol>
138             <ttcol align='center'>Sampling Rate (Hz)</ttcol>
139             <c>NB</c>
140             <c>Narrowband</c>
141             <c>0 - 4000</c>
142             <c>8000</c>
143
144             <c>MB</c>
145             <c>Mediumband</c>
146             <c>0 - 6000</c>
147             <c>12000</c>
148
149             <c>WB</c>
150             <c>Wideband</c>
151             <c>0 - 8000</c>
152             <c>16000</c>
153
154             <c>SWB</c>
155             <c>Super-wideband</c>
156             <c>0 - 12000</c>
157             <c>24000</c>
158
159             <c>FB</c>
160             <c>Fullband</c>
161             <c>0 - 20000</c>
162             <c>48000</c>
163
164             <postamble>
165               Audio bandwidth naming
166             </postamble>
167           </texttable>
168     </section>
169
170     <section title='Opus Codec'>
171       <t>
172         Opus encodes speech
173         signals as well as general audio signals. Two different modes can be
174         chosen, a voice mode or an audio mode, to allow the most efficient coding
175         depending on the type of the input signal, the sampling frequency of the
176         input signal, and the intended application.
177       </t>
178
179       <t>
180         The voice mode allows efficient encoding of voice signals at lower bit
181         rates while the audio mode is optimized for general audio signals at medium and
182         higher bitrates.
183       </t>
184
185       <t>
186         Opus is highly scalable in terms of audio
187         bandwidth, bitrate, and complexity. Further, Opus allows
188         transmitting stereo signals with in-band signaling in the bit-stream.
189       </t>
190
191       <section title='Network Bandwidth'>
192           <t>
193             Opus supports bitrates from 6&nbsp;kb/s to 510&nbsp;kb/s.
194             The bitrate can be changed dynamically within that range.
195             All
196             other parameters being
197             equal, higher bitrates result in higher audio quality.
198           </t>
199           <section title='Recommended Bitrate' anchor='bitrate_by_bandwidth'>
200           <t>
201             For a frame size of
202             20&nbsp;ms, these
203             are the bitrate "sweet spots" for Opus in various configurations:
204
205           <list style="symbols">
206             <t>8-12 kb/s for NB speech,</t>
207             <t>16-20 kb/s for WB speech,</t>
208             <t>28-40 kb/s for FB speech,</t>
209             <t>48-64 kb/s for FB mono music, and</t>
210             <t>64-128 kb/s for FB stereo music.</t>
211           </list>
212         </t>
213       </section>
214         <section title='Variable versus Constant Bitrate'  anchor='variable-vs-constant-bitrate'>
215           <t>
216             For the same average bitrate, variable bitrate (VBR) can achieve higher audio quality
217             than constant bitrate (CBR). For the majority of voice transmission applications, VBR
218             is the best choice. One reason for choosing CBR is the potential
219             information leak that <spanx style='emph'>might</spanx> occur when encrypting the
220             compressed stream. See <xref target="RFC6562"/> for guidelines on when VBR is
221             appropriate for encrypted audio communications. In the case where an existing
222             VBR stream needs to be converted to CBR for security reasons, then the Opus padding
223             mechanism described in <xref target="RFC6716"/> is the RECOMMENDED way to achieve padding
224             because the RTP padding bit is unencrypted.</t>
225
226           <t>
227             The bitrate can be adjusted at any point in time. To avoid congestion,
228             the average bitrate SHOULD NOT exceed the available
229             network bandwidth. If no target bitrate is specified, the bitrates specified in
230             <xref target='bitrate_by_bandwidth'/> are RECOMMENDED.
231           </t>
232
233         </section>
234
235         <section title='Discontinuous Transmission (DTX)'>
236
237           <t>
238             Opus can, as described in <xref target='variable-vs-constant-bitrate'/>,
239             be operated with a variable bitrate. In that case, the encoder will
240             automatically reduce the bitrate for certain input signals, like periods
241             of silence. When using continuous transmission, it will reduce the
242             bitrate when the characteristics of the input signal permit, but
243             will never interrupt the transmission to the receiver. Therefore, the
244             received signal will maintain the same high level of audio quality over the
245             full duration of a transmission while minimizing the average bit
246             rate over time.
247           </t>
248
249           <t>
250             In cases where the bitrate of Opus needs to be reduced even
251             further or in cases where only constant bitrate is available,
252             the Opus encoder can use discontinuous
253             transmission (DTX), where parts of the encoded signal that
254             correspond to periods of silence in the input speech or audio signal
255             are not transmitted to the receiver. A receiver can distinguish
256             between DTX and packet loss by looking for gaps in the sequence
257             number, as described by Section 4.1
258             of&nbsp;<xref target="RFC3551"/>.
259           </t>
260
261           <t>
262             On the receiving side, the non-transmitted parts will be handled by a
263             frame loss concealment unit in the Opus decoder which generates a
264             comfort noise signal to replace the non transmitted parts of the
265             speech or audio signal. Use of <xref target="RFC3389"/> Comfort
266             Noise (CN) with Opus is discouraged.
267             The transmitter MUST drop whole frames only,
268             based on the size of the last transmitted frame,
269             to ensure successive RTP timestamps differ by a multiple of 120 and
270             to allow the receiver to use whole frames for concealment.
271           </t>
272
273           <t>
274             DTX can be used with both variable and constant bitrate.
275             It will have a slightly lower speech or audio
276             quality than continuous transmission. Therefore, using continuous
277             transmission is RECOMMENDED unless constraints on available network bandwidth
278             are severe.
279           </t>
280
281         </section>
282
283         </section>
284
285       <section title='Complexity'>
286
287         <t>
288           Complexity of the encoder can be scaled to optimize for CPU resources in real-time, mostly as
289           a trade-off between audio quality and bitrate. Also, different modes of Opus have different complexity.
290         </t>
291
292       </section>
293
294       <section title="Forward Error Correction (FEC)">
295
296         <t>
297           The voice mode of Opus allows for embedding "in-band" forward error correction (FEC)
298           data into the Opus bit stream. This FEC scheme adds
299           redundant information about the previous packet (N-1) to the current
300           output packet N. For
301           each frame, the encoder decides whether to use FEC based on (1) an
302           externally-provided estimate of the channel's packet loss rate; (2) an
303           externally-provided estimate of the channel's capacity; (3) the
304           sensitivity of the audio or speech signal to packet loss; (4) whether
305           the receiving decoder has indicated it can take advantage of "in-band"
306           FEC information. The decision to send "in-band" FEC information is
307           entirely controlled by the encoder and therefore no special precautions
308           for the payload have to be taken.
309         </t>
310
311         <t>
312           On the receiving side, the decoder can take advantage of this
313           additional information when it loses a packet and the next packet
314           is available.  In order to use the FEC data, the jitter buffer needs
315           to provide access to payloads with the FEC data.  
316           Instead of performing loss concealment for a missing packet, the
317           receiver can then configure its decoder to decode the FEC data from the next packet.
318         </t>
319
320         <t>
321           Any compliant Opus decoder is capable of ignoring
322           FEC information when it is not needed, so encoding with FEC cannot cause
323           interoperability problems.
324           However, if FEC cannot be used on the receiving side, then FEC
325           SHOULD NOT be used, as it leads to an inefficient usage of network
326           resources. Decoder support for FEC SHOULD be indicated at the time a
327           session is set up.
328         </t>
329
330       </section>
331
332       <section title='Stereo Operation'>
333
334         <t>
335           Opus allows for transmission of stereo audio signals. This operation
336           is signaled in-band in the Opus bit-stream and no special arrangement
337           is needed in the payload format. An
338           Opus decoder is capable of handling a stereo encoding, but an
339           application might only be capable of consuming a single audio
340           channel.
341         </t>
342         <t>
343           If a decoder cannot take advantage of the benefits of a stereo signal
344           this SHOULD be indicated at the time a session is set up. In that case
345           the sending side SHOULD NOT send stereo signals as it leads to an
346           inefficient usage of network resources.
347         </t>
348
349       </section>
350
351     </section>
352
353     <section title='Opus RTP Payload Format' anchor='opus-rtp-payload-format'>
354       <t>The payload format for Opus consists of the RTP header and Opus payload
355       data.</t>
356       <section title='RTP Header Usage'>
357         <t>The format of the RTP header is specified in <xref target="RFC3550"/>.
358         The use of the fields of the RTP header by the Opus payload format is
359         consistent with that specification.</t>
360
361         <t>The payload length of Opus is an integer number of octets and
362         therefore no padding is necessary. The payload MAY be padded by an
363         integer number of octets according to <xref target="RFC3550"/>,
364         although the Opus internal padding is preferred.</t>
365
366         <t>The timestamp, sequence number, and marker bit (M) of the RTP header
367         are used in accordance with Section 4.1
368         of&nbsp;<xref target="RFC3551"/>.</t>
369
370         <t>The RTP payload type for Opus is to be assigned dynamically.</t>
371
372         <t>The receiving side MUST be prepared to receive duplicate RTP
373         packets. The receiver MUST provide at most one of those payloads to the
374         Opus decoder for decoding, and MUST discard the others.</t>
375
376         <t>Opus supports 5 different audio bandwidths, which can be adjusted during
377         a stream.
378         The RTP timestamp is incremented with a 48000 Hz clock rate
379         for all modes of Opus and all sampling rates.
380         The unit
381         for the timestamp is samples per single (mono) channel. The RTP timestamp corresponds to the
382         sample time of the first encoded sample in the encoded frame.
383         For data encoded with sampling rates other than 48000 Hz,
384         the sampling rate has to be adjusted to 48000 Hz.</t>
385
386       </section>
387
388       <section title='Payload Structure'>
389         <t>
390           The Opus encoder can output encoded frames representing 2.5, 5, 10, 20,
391           40, or 60&nbsp;ms of speech or audio data. Further, an arbitrary number of frames can be
392           combined into a packet, up to a maximum packet duration representing
393           120&nbsp;ms of speech or audio data. The grouping of one or more Opus
394           frames into a single Opus packet is defined in Section&nbsp;3 of
395           <xref target="RFC6716"/>. An RTP payload MUST contain exactly one
396           Opus packet as defined by that document.
397         </t>
398
399         <t><xref target='payload-structure'/> shows the structure combined with the RTP header.</t>
400
401         <figure anchor="payload-structure"
402                 title="Packet structure with RTP header">
403           <artwork align="center">
404             <![CDATA[
405 +----------+--------------+
406 |RTP Header| Opus Payload |
407 +----------+--------------+
408            ]]>
409           </artwork>
410         </figure>
411
412         <t>
413           <xref target='opus-packetization'/> shows supported frame sizes in
414           milliseconds of encoded speech or audio data for the speech and audio modes
415           (Mode) and sampling rates (fs) of Opus and shows how the timestamp is
416           incremented for packetization (ts incr). If the Opus encoder
417           outputs multiple encoded frames into a single packet, the timestamp
418           increment is the sum of the increments for the individual frames.
419         </t>
420
421         <texttable anchor='opus-packetization' title="Supported Opus frame
422          sizes and timestamp increments marked with an o. Unsupported marked with an x.">
423             <ttcol align='center'>Mode</ttcol>
424             <ttcol align='center'>fs</ttcol>
425             <ttcol align='center'>2.5</ttcol>
426             <ttcol align='center'>5</ttcol>
427             <ttcol align='center'>10</ttcol>
428             <ttcol align='center'>20</ttcol>
429             <ttcol align='center'>40</ttcol>
430             <ttcol align='center'>60</ttcol>
431             <c>ts incr</c>
432             <c>all</c>
433             <c>120</c>
434             <c>240</c>
435             <c>480</c>
436             <c>960</c>
437             <c>1920</c>
438             <c>2880</c>
439             <c>voice</c>
440             <c>NB/MB/WB/SWB/FB</c>
441             <c>x</c>
442             <c>x</c>
443             <c>o</c>
444             <c>o</c>
445             <c>o</c>
446             <c>o</c>
447             <c>audio</c>
448             <c>NB/WB/SWB/FB</c>
449             <c>o</c>
450             <c>o</c>
451             <c>o</c>
452             <c>o</c>
453             <c>x</c>
454             <c>x</c>
455           </texttable>
456
457       </section>
458
459     </section>
460
461     <section title='Congestion Control'>
462
463       <t>The target bitrate of Opus can be adjusted at any point in time, thus
464       allowing efficient congestion control. Furthermore, the amount
465       of encoded speech or audio data encoded in a
466       single packet can be used for congestion control, since the transmission
467       rate is inversely proportional to the packet duration. A lower packet
468       transmission rate reduces the amount of header overhead, but at the same
469       time increases latency and loss sensitivity, so it ought to be used with
470       care.</t>
471
472       <t>Since UDP does not provide congestion control, applications that use
473       RTP over UDP SHOULD implement their own congestion control above the
474       UDP layer. <xref target="draft-ietf-rmcat-app-interaction-01"/> describes the
475       interactions and conceptual interfaces necessary between the application
476       components that relate to congestion control, including the RTP layer,
477       the higher-level media codec control layer, and the lower-level
478       transport interface, as well as components dedicated to congestion
479       control functions.</t>
480     </section>
481
482     <section title='IANA Considerations'>
483       <t>One media subtype (audio/opus) has been defined and registered as
484       described in the following section.</t>
485
486       <section title='Opus Media Type Registration'>
487         <t>Media type registration is done according to <xref
488         target="RFC6838"/> and <xref target="RFC4855"/>.<vspace
489         blankLines='1'/></t>
490
491           <t>Type name: audio<vspace blankLines='1'/></t>
492           <t>Subtype name: opus<vspace blankLines='1'/></t>
493
494           <t>Required parameters:</t>
495           <t><list style="hanging">
496             <t hangText="rate:"> the RTP timestamp is incremented with a
497             48000 Hz clock rate for all modes of Opus and all sampling
498             rates. For data encoded with sampling rates other than 48000 Hz,
499             the sampling rate has to be adjusted to 48000 Hz.
500           </t>
501           </list></t>
502
503           <t>Optional parameters:</t>
504
505           <t><list style="hanging">
506             <t hangText="maxplaybackrate:">
507               a hint about the maximum output sampling rate that the receiver is
508               capable of rendering in Hz.
509               The decoder MUST be capable of decoding
510               any audio bandwidth but due to hardware limitations only signals
511               up to the specified sampling rate can be played back. Sending signals
512               with higher audio bandwidth results in higher than necessary network
513               usage and encoding complexity, so an encoder SHOULD NOT encode
514               frequencies above the audio bandwidth specified by maxplaybackrate.
515               This parameter can take any value between 8000 and 48000, although
516               commonly the value will match one of the Opus bandwidths
517               (<xref target="bandwidth_definitions"/>).
518               By default, the receiver is assumed to have no limitations, i.e. 48000.
519               <vspace blankLines='1'/>
520             </t>
521
522             <t hangText="sprop-maxcapturerate:">
523               a hint about the maximum input sampling rate that the sender is likely to produce.
524               This is not a guarantee that the sender will never send any higher bandwidth
525               (e.g. it could send a pre-recorded prompt that uses a higher bandwidth), but it
526               indicates to the receiver that frequencies above this maximum can safely be discarded.
527               This parameter is useful to avoid wasting receiver resources by operating the audio
528               processing pipeline (e.g. echo cancellation) at a higher rate than necessary.
529               This parameter can take any value between 8000 and 48000, although
530               commonly the value will match one of the Opus bandwidths
531               (<xref target="bandwidth_definitions"/>).
532               By default, the sender is assumed to have no limitations, i.e. 48000.
533               <vspace blankLines='1'/>
534             </t>
535
536             <t hangText="maxptime:"> the maximum duration of media represented
537             by a packet (according to Section&nbsp;6 of
538             <xref target="RFC4566"/>) that a decoder wants to receive, in
539             milliseconds rounded up to the next full integer value.
540             Possible values are 3, 5, 10, 20, 40, 60, or an arbitrary
541             multiple of an Opus frame size rounded up to the next full integer
542             value, up to a maximum value of 120, as
543             defined in <xref target='opus-rtp-payload-format'/>. If no value is
544               specified, the default is 120.
545               <vspace blankLines='1'/></t>
546
547             <t hangText="ptime:"> the preferred duration of media represented
548             by a packet (according to Section&nbsp;6 of
549             <xref target="RFC4566"/>) that a decoder wants to receive, in
550             milliseconds rounded up to the next full integer value.
551             Possible values are 3, 5, 10, 20, 40, 60, or an arbitrary
552             multiple of an Opus frame size rounded up to the next full integer
553             value, up to a maximum value of 120, as defined in <xref
554             target='opus-rtp-payload-format'/>. If no value is
555               specified, the default is 20. 
556               <vspace blankLines='1'/></t>
557
558             <t hangText="maxaveragebitrate:"> specifies the maximum average
559             receive bitrate of a session in bits per second (b/s). The actual
560             value of the bitrate can vary, as it is dependent on the
561             characteristics of the media in a packet. Note that the maximum
562             average bitrate MAY be modified dynamically during a session. Any
563             positive integer is allowed, but values outside the range
564             6000 to 510000 SHOULD be ignored. If no value is specified, the
565             maximum value specified in <xref target='bitrate_by_bandwidth'/>
566             for the corresponding mode of Opus and corresponding maxplaybackrate
567             is the default.<vspace blankLines='1'/></t>
568
569             <t hangText="stereo:">
570               specifies whether the decoder prefers receiving stereo or mono signals.
571               Possible values are 1 and 0 where 1 specifies that stereo signals are preferred,
572               and 0 specifies that only mono signals are preferred.
573               Independent of the stereo parameter every receiver MUST be able to receive and
574               decode stereo signals but sending stereo signals to a receiver that signaled a
575               preference for mono signals may result in higher than necessary network
576               utilization and encoding complexity. If no value is specified,
577               the default is 0 (mono).<vspace blankLines='1'/>
578             </t>
579
580             <t hangText="sprop-stereo:">
581               specifies whether the sender is likely to produce stereo audio.
582               Possible values are 1 and 0, where 1 specifies that stereo signals are likely to
583               be sent, and 0 specifies that the sender will likely only send mono.
584               This is not a guarantee that the sender will never send stereo audio
585               (e.g. it could send a pre-recorded prompt that uses stereo), but it
586               indicates to the receiver that the received signal can be safely downmixed to mono.
587               This parameter is useful to avoid wasting receiver resources by operating the audio
588               processing pipeline (e.g. echo cancellation) in stereo when not necessary.
589               If no value is specified, the default is 0
590               (mono).<vspace blankLines='1'/>
591             </t>
592
593             <t hangText="cbr:">
594               specifies if the decoder prefers the use of a constant bitrate versus
595               variable bitrate. Possible values are 1 and 0, where 1 specifies constant
596               bitrate and 0 specifies variable bitrate. If no value is specified,
597               the default is 0 (vbr). When cbr is 1, the maximum average bitrate can still
598               change, e.g. to adapt to changing network conditions.<vspace blankLines='1'/>
599             </t>
600
601             <t hangText="useinbandfec:"> specifies that the decoder has the capability to
602             take advantage of the Opus in-band FEC. Possible values are 1 and 0.
603             Providing 0 when FEC cannot be used on the receiving side is
604             RECOMMENDED. If no
605             value is specified, useinbandfec is assumed to be 0.
606             This parameter is only a preference and the receiver MUST be able to process
607             packets that include FEC information, even if it means the FEC part is discarded.
608             <vspace blankLines='1'/></t>
609
610             <t hangText="usedtx:"> specifies if the decoder prefers the use of
611             DTX. Possible values are 1 and 0. If no value is specified, the
612             default is 0.<vspace blankLines='1'/></t>
613           </list></t>
614
615           <t>Encoding considerations:<vspace blankLines='1'/></t>
616           <t><list style="hanging">
617             <t>The Opus media type is framed and consists of binary data according
618             to Section&nbsp;4.8 in <xref target="RFC6838"/>.</t>
619           </list></t>
620
621           <t>Security considerations: </t>
622           <t><list style="hanging">
623             <t>See <xref target='security-considerations'/> of this document.</t>
624           </list></t>
625
626           <t>Interoperability considerations: none<vspace blankLines='1'/></t>
627           <t>Published specification: RFC [XXXX]</t>
628           <t>Note to the RFC Editor: Replace [XXXX] with the number of the published
629           RFC.<vspace blankLines='1'/></t>
630
631           <t>Applications that use this media type: </t>
632           <t><list style="hanging">
633             <t>Any application that requires the transport of
634             speech or audio data can use this media type. Some examples are,
635             but not limited to, audio and video conferencing, Voice over IP,
636             media streaming.</t>
637           </list></t>
638
639           <t>Fragment identifier considerations: N/A<vspace blankLines='1'/></t>
640
641           <t>Person &amp; email address to contact for further information:</t>
642           <t><list style="hanging">
643             <t>SILK Support silksupport@skype.net</t>
644             <t>Jean-Marc Valin jmvalin@jmvalin.ca</t>
645           </list></t>
646
647           <t>Intended usage: COMMON<vspace blankLines='1'/></t>
648
649           <t>Restrictions on usage:<vspace blankLines='1'/></t>
650
651           <t><list style="hanging">
652             <t>For transfer over RTP, the RTP payload format (<xref
653             target='opus-rtp-payload-format'/> of this document) SHALL be
654             used.</t>
655           </list></t>
656
657           <t>Author:</t>
658           <t><list style="hanging">
659             <t>Julian Spittka jspittka@gmail.com<vspace blankLines='1'/></t>
660             <t>Koen Vos koenvos74@gmail.com<vspace blankLines='1'/></t>
661             <t>Jean-Marc Valin jmvalin@jmvalin.ca<vspace blankLines='1'/></t>
662           </list></t>
663
664           <t> Change controller: IETF Payload Working Group delegated from the IESG</t>
665       </section>
666     </section>
667     
668     <section title='SDP Considerations'>
669         <t>The information described in the media type specification has a
670         specific mapping to fields in the Session Description Protocol (SDP)
671         <xref target="RFC4566"/>, which is commonly used to describe RTP
672         sessions. When SDP is used to specify sessions employing Opus,
673         the mapping is as follows:</t>
674
675         <t>
676           <list style="symbols">
677             <t>The media type ("audio") goes in SDP "m=" as the media name.</t>
678
679             <t>The media subtype ("opus") goes in SDP "a=rtpmap" as the encoding
680             name. The RTP clock rate in "a=rtpmap" MUST be 48000 and the number of
681             channels MUST be 2.</t>
682
683             <t>The OPTIONAL media type parameters "ptime" and "maxptime" are
684             mapped to "a=ptime" and "a=maxptime" attributes, respectively, in the
685             SDP.</t>
686
687             <t>The OPTIONAL media type parameters "maxaveragebitrate",
688             "maxplaybackrate", "stereo", "cbr", "useinbandfec", and
689             "usedtx", when present, MUST be included in the "a=fmtp" attribute
690             in the SDP, expressed as a media type string in the form of a
691             semicolon-separated list of parameter=value pairs (e.g.,
692             maxplaybackrate=48000). They MUST NOT be specified in an
693             SSRC-specific "fmtp" source-level attribute (as defined in
694             Section&nbsp;6.3 of&nbsp;<xref target="RFC5576"/>).</t>
695
696             <t>The OPTIONAL media type parameters "sprop-maxcapturerate",
697             and "sprop-stereo" MAY be mapped to the "a=fmtp" SDP attribute by
698             copying them directly from the media type parameter string as part
699             of the semicolon-separated list of parameter=value pairs (e.g.,
700             sprop-stereo=1). These same OPTIONAL media type parameters MAY also
701             be specified using an SSRC-specific "fmtp" source-level attribute
702             as described in Section&nbsp;6.3 of&nbsp;<xref target="RFC5576"/>.
703             They MAY be specified in both places, in which case the parameter
704             in the source-level attribute overrides the one found on the
705             "a=fmtp" line. The value of any parameter which is not specified in
706             a source-level source attribute MUST be taken from the "a=fmtp"
707             line, if it is present there.</t>
708
709           </list>
710         </t>
711
712         <t>Below are some examples of SDP session descriptions for Opus:</t>
713
714         <t>Example 1: Standard mono session with 48000 Hz clock rate</t>
715           <figure>
716             <artwork>
717               <![CDATA[
718     m=audio 54312 RTP/AVP 101
719     a=rtpmap:101 opus/48000/2
720               ]]>
721             </artwork>
722           </figure>
723
724
725         <t>Example 2: 16000 Hz clock rate, maximum packet size of 40 ms,
726         recommended packet size of 40 ms, maximum average bitrate of 20000 bps,
727         prefers to receive stereo but only plans to send mono, FEC is desired,
728         DTX is not desired</t>
729
730         <figure>
731           <artwork>
732             <![CDATA[
733     m=audio 54312 RTP/AVP 101
734     a=rtpmap:101 opus/48000/2
735     a=fmtp:101 maxplaybackrate=16000; sprop-maxcapturerate=16000;
736     maxaveragebitrate=20000; stereo=1; useinbandfec=1; usedtx=0
737     a=ptime:40
738     a=maxptime:40
739             ]]>
740           </artwork>
741         </figure>
742
743         <t>Example 3: Two-way full-band stereo preferred</t>
744
745         <figure>
746           <artwork>
747             <![CDATA[
748     m=audio 54312 RTP/AVP 101
749     a=rtpmap:101 opus/48000/2
750     a=fmtp:101 stereo=1; sprop-stereo=1
751             ]]>
752           </artwork>
753         </figure>
754
755
756       <section title='SDP Offer/Answer Considerations'>
757
758           <t>When using the offer-answer procedure described in <xref
759           target="RFC3264"/> to negotiate the use of Opus, the following
760           considerations apply:</t>
761
762           <t><list style="symbols">
763
764             <t>Opus supports several clock rates. For signaling purposes only
765             the highest, i.e. 48000, is used. The actual clock rate of the
766             corresponding media is signaled inside the payload and is not
767             restricted by this payload format description. The decoder MUST be
768             capable of decoding every received clock rate. An example
769             is shown below:
770
771             <figure>
772               <artwork>
773                 <![CDATA[
774     m=audio 54312 RTP/AVP 100
775     a=rtpmap:100 opus/48000/2
776                 ]]>
777               </artwork>
778             </figure>
779             </t>
780
781             <t>The "ptime" and "maxptime" parameters are unidirectional
782             receive-only parameters and typically will not compromise
783             interoperability; however, some values might cause application
784             performance to suffer. <xref
785             target="RFC3264"/> defines the SDP offer-answer handling of the
786             "ptime" parameter. The "maxptime" parameter MUST be handled in the
787             same way.</t>
788
789             <t>
790               The "maxplaybackrate" parameter is a unidirectional receive-only
791               parameter that reflects limitations of the local receiver. When
792               sending to a single destination, a sender MUST NOT use an audio
793               bandwidth higher than necessary to make full use of audio sampled at
794               a sampling rate of "maxplaybackrate". Gateways or senders that
795               are sending the same encoded audio to multiple destinations
796               SHOULD NOT use an audio bandwidth higher than necessary to
797               represent audio sampled at "maxplaybackrate", as this would lead
798               to inefficient use of network resources.
799               The "maxplaybackrate" parameter does not
800               affect interoperability. Also, this parameter SHOULD NOT be used
801               to adjust the audio bandwidth as a function of the bitrate, as this
802               is the responsibility of the Opus encoder implementation.
803             </t>
804
805             <t>The "maxaveragebitrate" parameter is a unidirectional receive-only
806             parameter that reflects limitations of the local receiver. The sender
807             of the other side MUST NOT send with an average bitrate higher than
808             "maxaveragebitrate" as it might overload the network and/or
809             receiver. The "maxaveragebitrate" parameter typically will not
810             compromise interoperability; however, some values might cause
811             application performance to suffer, and ought to be set with
812             care.</t>
813
814             <t>The "sprop-maxcapturerate" and "sprop-stereo" parameters are
815             unidirectional sender-only parameters that reflect limitations of
816             the sender side.
817             They allow the receiver to set up a reduced-complexity audio
818             processing pipeline if the  sender is not planning to use the full
819             range of Opus's capabilities.
820             Neither "sprop-maxcapturerate" nor "sprop-stereo" affect
821             interoperability and the receiver MUST be capable of receiving any signal.
822             </t>
823
824             <t>
825               The "stereo" parameter is a unidirectional receive-only
826               parameter. When sending to a single destination, a sender MUST
827               NOT use stereo when "stereo" is 0. Gateways or senders that are
828               sending the same encoded audio to multiple destinations SHOULD
829               NOT use stereo when "stereo" is 0, as this would lead to
830               inefficient use of network resources. The "stereo" parameter does
831               not affect interoperability.
832             </t>
833
834             <t>
835               The "cbr" parameter is a unidirectional receive-only
836               parameter.
837             </t>
838
839             <t>The "useinbandfec" parameter is a unidirectional receive-only
840             parameter.</t>
841
842             <t>The "usedtx" parameter is a unidirectional receive-only
843             parameter.</t>
844
845             <t>Any unknown parameter in an offer MUST be ignored by the receiver
846             and MUST be removed from the answer.</t>
847
848           </list></t>
849       
850         <t>
851           The Opus parameters in an SDP Offer/Answer exchange are completely
852           orthogonal, and there is no relationship between the SDP Offer and
853           the Answer.
854         </t>
855       </section>
856
857       <section title='Declarative SDP Considerations for Opus'>
858
859         <t>For declarative use of SDP such as in Session Announcement Protocol
860         (SAP), <xref target="RFC2974"/>, and RTSP, <xref target="RFC2326"/>, for
861         Opus, the following needs to be considered:</t>
862
863         <t><list style="symbols">
864
865           <t>The values for "maxptime", "ptime", "maxplaybackrate", and
866           "maxaveragebitrate" ought to be selected carefully to ensure that a
867           reasonable performance can be achieved for the participants of a session.</t>
868
869           <t>
870             The values for "maxptime", "ptime", and of the payload
871             format configuration are recommendations by the decoding side to ensure
872             the best performance for the decoder.
873           </t>
874
875           <t>All other parameters of the payload format configuration are declarative
876           and a participant MUST use the configurations that are provided for
877           the session. More than one configuration can be provided if necessary
878           by declaring multiple RTP payload types; however, the number of types
879           ought to be kept small.</t>
880         </list></t>
881       </section>
882   </section>
883
884     <section title='Security Considerations' anchor='security-considerations'>
885
886       <t>All RTP packets using the payload format defined in this specification
887       are subject to the general security considerations discussed in the RTP
888       specification <xref target="RFC3550"/> and any profile from,
889       e.g., <xref target="RFC3711"/> or <xref target="RFC3551"/>.</t>
890
891       <t>Use of variable bitrate (VBR) is subject to the security considerations in
892       <xref target="RFC6562"/>.</t>
893
894       <t>RTP packets using the payload format defined in this specification
895       are subject to the security considerations discussed in the RTP
896       specification <xref target="RFC3550"/>, and in any applicable RTP profile such as
897       RTP/AVP <xref target="RFC3551"/>, RTP/AVPF <xref target="RFC4585"/>,
898       RTP/SAVP <xref target="RFC3711"/> or RTP/SAVPF <xref target="RFC5124"/>.
899       However, as "Securing the RTP Protocol Framework:
900       Why RTP Does Not Mandate a Single Media Security Solution"
901       <xref target="RFC7202"/> discusses it is not an RTP payload
902       formats responsibility to discuss or mandate what solutions are used
903       to meet the basic security goals like confidentiality, integrity and
904       source authenticity for RTP in general.  This responsibility lays on
905       anyone using RTP in an application.  They can find guidance on
906       available security mechanisms and important considerations in Options
907       for Securing RTP Sessions [I-D.ietf-avtcore-rtp-security-options].
908       Applications SHOULD use one or more appropriate strong security
909       mechanisms.</t>
910
911       <t>This payload format transports Opus encoded speech or audio data.
912       Hence, security issues include confidentiality, integrity protection, and
913       authentication of the speech or audio itself. Opus does not provide
914       any confidentiality or integrity protection. Any suitable external
915       mechanisms, such as SRTP <xref target="RFC3711"/>, MAY be used.</t>
916
917       <t>This payload format and the Opus encoding do not exhibit any
918       significant non-uniformity in the receiver-end computational load and thus
919       are unlikely to pose a denial-of-service threat due to the receipt of
920       pathological datagrams.</t>
921     </section>
922
923     <section title='Acknowledgements'>
924     <t>Many people have made useful comments and suggestions contributing to this document. 
925       In particular, we would like to thank
926       Tina le Grand, Cullen Jennings, Jonathan Lennox, Gregory Maxwell, Colin Perkins, Jan Skoglund,
927       Timothy B. Terriberry, Martin Thompson, Justin Uberti, Magnus Westerlund, and Mo Zanaty.</t>
928     </section>
929   </middle>
930
931   <back>
932     <references title="Normative References">
933       &rfc2119;
934       &rfc3389;
935       &rfc3550;
936       &rfc3711;
937       &rfc3551;
938       &rfc6838;
939       &rfc4855;
940       &rfc4566;
941       &rfc3264;
942       &rfc2326;
943       &rfc5576;
944       &rfc6562;
945       &rfc6716;
946     </references>
947
948     <references title="Informative References">
949       &rfc2974;
950       &rfc4585;
951       &rfc5124;
952       &rfc7202;
953       
954       <reference anchor='draft-ietf-rmcat-app-interaction-01' target='http://tools.ietf.org/html/draft-ietf-rmcat-app-interaction-01'>
955         <front>
956           <title>RTP Application Interaction with Congestion Control</title>
957           <author initials='M.' surname='Zanaty' fullname='M. Zanaty'>
958           <organization /></author>
959           <author initials='V.' surname='Singh' fullname='V. Singh'>
960           <organization /></author>
961           <author initials='S.' surname='Nandakumar' fullname='S. Nandakumar'>
962           <organization /></author>
963           <author initials='Z.' surname='Sarker' fullname='Z. Sarker'>
964           <organization /></author>
965           <date year='2014' month='October' />
966           <abstract>
967             <t></t>
968           </abstract></front>
969         <seriesInfo name='Internet-Draft' value='draft-ietf-rmcat-app-interaction-01' />
970         <format type='TXT' target='http://tools.ietf.org/html/draft-ietf-rmcat-app-interaction-01' />
971       </reference>
972
973
974     </references>
975
976   </back>
977 </rfc>