Properly compute redundancy_bytes
[opus.git] / doc / draft-ietf-payload-rtp-opus.xml
index ee76041..c4eb210 100644 (file)
@@ -8,17 +8,21 @@
 <!ENTITY rfc6838 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6838.xml'>
 <!ENTITY rfc4855 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4855.xml'>
 <!ENTITY rfc4566 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4566.xml'>
+<!ENTITY rfc4585 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.4585.xml'>
 <!ENTITY rfc3264 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3264.xml'>
 <!ENTITY rfc2974 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2974.xml'>
 <!ENTITY rfc2326 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.2326.xml'>
 <!ENTITY rfc3555 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.3555.xml'>
+<!ENTITY rfc5124 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5124.xml'>
+<!ENTITY rfc5405 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5405.xml'>
 <!ENTITY rfc5576 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.5576.xml'>
 <!ENTITY rfc6562 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6562.xml'>
 <!ENTITY rfc6716 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.6716.xml'>
+<!ENTITY rfc7202 PUBLIC '' 'http://xml.resource.org/public/rfc/bibxml/reference.RFC.7202.xml'>
 <!ENTITY nbsp "&#160;">
   ]>
 
-  <rfc category="std" ipr="trust200902" docName="draft-ietf-payload-rtp-opus-04">
+  <rfc category="std" ipr="trust200902" docName="draft-ietf-payload-rtp-opus-11">
 <?xml-stylesheet type='text/xsl' href='rfc2629.xslt' ?>
 
 <?rfc strict="yes" ?>
@@ -33,8 +37,8 @@
 <?rfc iprnotified="yes" ?>
 
   <front>
-    <title abbrev="RTP Payload Format for Opus Codec">
-      RTP Payload Format for Opus Speech and Audio Codec
+    <title abbrev="RTP Payload Format for Opus">
+      RTP Payload Format for the Opus Speech and Audio Codec
     </title>
 
     <author fullname="Julian Spittka" initials="J." surname="Spittka">
       </address>
     </author>
 
-    <date day='13' month='November' year='2014' />
+    <date day='14' month='April' year='2015' />
 
     <abstract>
       <t>
         This document defines the Real-time Transport Protocol (RTP) payload
         format for packetization of Opus encoded
         speech and audio data necessary to integrate the codec in the
-        most compatible way. Further, it describes media type registrations
+        most compatible way. It also provides an applicability statement
+        for the use of Opus over RTP. Further, it describes media type registrations
         for the RTP payload format.
       </t>
     </abstract>
@@ -87,7 +92,7 @@
   <middle>
     <section title='Introduction'>
       <t>
-        The Opus codec is a speech and audio codec developed within the
+        Opus <xref target="RFC6716"/> is a speech and audio codec developed within the
         IETF Internet Wideband Audio Codec working group. The codec
         has a very low algorithmic delay and it
         is highly scalable in terms of audio bandwidth, bitrate, and
         This document defines the Real-time Transport Protocol (RTP)
         <xref target="RFC3550"/> payload format for packetization
         of Opus encoded speech and audio data necessary to
-        integrate the Opus codec in the
-        most compatible way. Further, it describes media type registrations for
-        the RTP payload format. More information on the Opus
-        codec can be obtained from <xref target="RFC6716"/>.
+        integrate Opus in the
+        most compatible way. It also provides an applicability statement
+        for the use of Opus over RTP.
+        Further, it describes media type registrations for
+        the RTP payload format.
       </t>
     </section>
 
       document are to be interpreted as described in <xref target="RFC2119"/>.</t>
       <t>
       <list style='hanging'>
+          <t hangText="audio bandwidth:"> The range of audio frequecies being coded</t>
           <t hangText="CBR:"> Constant bitrate</t>
           <t hangText="CPU:"> Central Processing Unit</t>
           <t hangText="DTX:"> Discontinuous transmission</t>
           <t hangText="VBR:"> Variable bitrate</t>
       </list>
       </t>
-      <section title='Audio Bandwidth'>
         <t>
           Throughout this document, we refer to the following definitions:
         </t>
               Audio bandwidth naming
             </postamble>
           </texttable>
-      </section>
     </section>
 
     <section title='Opus Codec'>
       <t>
-        The Opus <xref target="RFC6716"/> codec encodes speech
+        Opus encodes speech
         signals as well as general audio signals. Two different modes can be
         chosen, a voice mode or an audio mode, to allow the most efficient coding
         depending on the type of the input signal, the sampling frequency of the
       </t>
 
       <t>
-        The Opus speech and audio codec is highly scalable in terms of audio
+        Opus is highly scalable in terms of audio
         bandwidth, bitrate, and complexity. Further, Opus allows
-        transmitting stereo signals.
+        transmitting stereo signals with in-band signaling in the bit-stream.
       </t>
 
       <section title='Network Bandwidth'>
           <t>
-            Opus supports all bitrates from 6&nbsp;kb/s to 510&nbsp;kb/s.
+            Opus supports bitrates from 6&nbsp;kb/s to 510&nbsp;kb/s.
             The bitrate can be changed dynamically within that range.
             All
             other parameters being
-            equal, higher bitrates result in higher quality.
+            equal, higher bitrates result in higher audio quality.
           </t>
           <section title='Recommended Bitrate' anchor='bitrate_by_bandwidth'>
           <t>
       </section>
         <section title='Variable versus Constant Bitrate'  anchor='variable-vs-constant-bitrate'>
           <t>
-            For the same average bitrate, variable bitrate (VBR) can achieve higher quality
+            For the same average bitrate, variable bitrate (VBR) can achieve higher audio quality
             than constant bitrate (CBR). For the majority of voice transmission applications, VBR
             is the best choice. One reason for choosing CBR is the potential
             information leak that <spanx style='emph'>might</spanx> occur when encrypting the
           <t>
             The bitrate can be adjusted at any point in time. To avoid congestion,
             the average bitrate SHOULD NOT exceed the available
-            network capacity. If no target bitrate is specified, the bitrates specified in
+            network bandwidth. If no target bitrate is specified, the bitrates specified in
             <xref target='bitrate_by_bandwidth'/> are RECOMMENDED.
           </t>
 
         <section title='Discontinuous Transmission (DTX)'>
 
           <t>
-            The Opus codec can, as described in <xref target='variable-vs-constant-bitrate'/>,
+            Opus can, as described in <xref target='variable-vs-constant-bitrate'/>,
             be operated with a variable bitrate. In that case, the encoder will
             automatically reduce the bitrate for certain input signals, like periods
             of silence. When using continuous transmission, it will reduce the
             bitrate when the characteristics of the input signal permit, but
             will never interrupt the transmission to the receiver. Therefore, the
-            received signal will maintain the same high level of quality over the
+            received signal will maintain the same high level of audio quality over the
             full duration of a transmission while minimizing the average bit
             rate over time.
           </t>
             DTX can be used with both variable and constant bitrate.
             It will have a slightly lower speech or audio
             quality than continuous transmission. Therefore, using continuous
-            transmission is RECOMMENDED unless restraints on network capacity
+            transmission is RECOMMENDED unless constraints on available network bandwidth
             are severe.
           </t>
 
       <section title='Complexity'>
 
         <t>
-          Complexity can be scaled to optimize for CPU resources in real-time, mostly as
+          Complexity of the encoder can be scaled to optimize for CPU resources in real-time, mostly as
           a trade-off between audio quality and bitrate. Also, different modes of Opus have different complexity.
         </t>
 
           On the receiving side, the decoder can take advantage of this
           additional information when it loses a packet and the next packet
           is available.  In order to use the FEC data, the jitter buffer needs
-          to provide access to payloads with the FEC data.  The receiver can
-          then configure its decoder to decode the FEC data from the packet
-          rather than the regular audio data.
-          If no FEC data is available for the current frame, the decoder
-          will consider the frame lost and invoke frame loss concealment.
+          to provide access to payloads with the FEC data.  
+          Instead of performing loss concealment for a missing packet, the
+          receiver can then configure its decoder to decode the FEC data from the next packet.
         </t>
 
         <t>
-          If the FEC scheme is not implemented on the receiving side, FEC
+          Any compliant Opus decoder is capable of ignoring
+          FEC information when it is not needed, so encoding with FEC cannot cause
+          interoperability problems.
+          However, if FEC cannot be used on the receiving side, then FEC
           SHOULD NOT be used, as it leads to an inefficient usage of network
           resources. Decoder support for FEC SHOULD be indicated at the time a
           session is set up.
 
         <t>
           Opus allows for transmission of stereo audio signals. This operation
-          is signaled in-band in the Opus payload and no special arrangement
-          is needed in the payload format. Any implementation of the Opus
-          decoder MUST be capable of receiving stereo signals, although it MAY
-          decode those signals as mono.
+          is signaled in-band in the Opus bit-stream and no special arrangement
+          is needed in the payload format. An
+          Opus decoder is capable of handling a stereo encoding, but an
+          application might only be capable of consuming a single audio
+          channel.
         </t>
         <t>
-          If a decoder can not take advantage of the benefits of a stereo signal
+          If a decoder cannot take advantage of the benefits of a stereo signal
           this SHOULD be indicated at the time a session is set up. In that case
           the sending side SHOULD NOT send stereo signals as it leads to an
           inefficient usage of network resources.
 
         <t>The payload length of Opus is an integer number of octets and
         therefore no padding is necessary. The payload MAY be padded by an
-        integer number of octets according to <xref target="RFC3550"/>.</t>
+        integer number of octets according to <xref target="RFC3550"/>,
+        although the Opus internal padding is preferred.</t>
 
         <t>The timestamp, sequence number, and marker bit (M) of the RTP header
         are used in accordance with Section 4.1
         of&nbsp;<xref target="RFC3551"/>.</t>
 
-        <t>The RTP payload type for Opus has not been assigned statically and is
-        expected to be assigned dynamically.</t>
+        <t>The RTP payload type for Opus is to be assigned dynamically.</t>
 
         <t>The receiving side MUST be prepared to receive duplicate RTP
         packets. The receiver MUST provide at most one of those payloads to the
         Opus decoder for decoding, and MUST discard the others.</t>
 
         <t>Opus supports 5 different audio bandwidths, which can be adjusted during
-        a call.
+        a stream.
         The RTP timestamp is incremented with a 48000 Hz clock rate
         for all modes of Opus and all sampling rates.
         The unit
         for the timestamp is samples per single (mono) channel. The RTP timestamp corresponds to the
         sample time of the first encoded sample in the encoded frame.
         For data encoded with sampling rates other than 48000 Hz,
-        the sampling rate has to be adjusted to 48000 Hz using the
-        corresponding multiplier in <xref target="fs-upsample-factors"/>.</t>
-
-        <texttable anchor='fs-upsample-factors' title="Timestamp multiplier">
-          <ttcol align='center'>Sampling Rate (Hz)</ttcol>
-          <ttcol align='center'>Multiplier</ttcol>
-          <c>8000</c>
-          <c>6</c>
-          <c>12000</c>
-          <c>4</c>
-          <c>16000</c>
-          <c>3</c>
-          <c>24000</c>
-          <c>2</c>
-          <c>48000</c>
-          <c>1</c>
-        </texttable>
+       the sampling rate has to be adjusted to 48000 Hz.</t>
+
       </section>
 
       <section title='Payload Structure'>
         <t><xref target='payload-structure'/> shows the structure combined with the RTP header.</t>
 
         <figure anchor="payload-structure"
-                title="Payload Structure with RTP header">
+                title="Packet structure with RTP header">
           <artwork align="center">
             <![CDATA[
 +----------+--------------+
         </t>
 
         <texttable anchor='opus-packetization' title="Supported Opus frame
-         sizes and timestamp increments">
+         sizes and timestamp increments marked with an o. Unsupported marked with an x.">
             <ttcol align='center'>Mode</ttcol>
             <ttcol align='center'>fs</ttcol>
             <ttcol align='center'>2.5</ttcol>
             <c>2880</c>
             <c>voice</c>
             <c>NB/MB/WB/SWB/FB</c>
-            <c></c>
-            <c></c>
-            <c>x</c>
-            <c>x</c>
             <c>x</c>
             <c>x</c>
+            <c>o</c>
+            <c>o</c>
+            <c>o</c>
+            <c>o</c>
             <c>audio</c>
             <c>NB/WB/SWB/FB</c>
+            <c>o</c>
+            <c>o</c>
+            <c>o</c>
+            <c>o</c>
             <c>x</c>
             <c>x</c>
-            <c>x</c>
-            <c>x</c>
-            <c></c>
-            <c></c>
           </texttable>
 
       </section>
       time increases latency and loss sensitivity, so it ought to be used with
       care.</t>
 
-      <t>It is RECOMMENDED that senders of Opus encoded data apply congestion
-      control.</t>
+      <t>Since UDP does not provide congestion control, applications that use
+      RTP over UDP SHOULD implement their own congestion control above the
+      UDP layer <xref target="RFC5405"/>. Work in the rmcat working group
+      <xref target="rmcat"/> describes the
+      interactions and conceptual interfaces necessary between the application
+      components that relate to congestion control, including the RTP layer,
+      the higher-level media codec control layer, and the lower-level
+      transport interface, as well as components dedicated to congestion
+      control functions.</t>
     </section>
 
     <section title='IANA Considerations'>
             <t hangText="rate:"> the RTP timestamp is incremented with a
             48000 Hz clock rate for all modes of Opus and all sampling
             rates. For data encoded with sampling rates other than 48000 Hz,
-            the sampling rate has to be adjusted to 48000 Hz using the
-            corresponding multiplier in <xref target="fs-upsample-factors"/>.
+            the sampling rate has to be adjusted to 48000 Hz.
           </t>
           </list></t>
 
             multiple of an Opus frame size rounded up to the next full integer
             value, up to a maximum value of 120, as
             defined in <xref target='opus-rtp-payload-format'/>. If no value is
-              specified, the default is 120. This value is a recommendation
-              by the decoding side to ensure the best
-              performance for the decoder. The decoder MUST be
-              capable of accepting any allowed packet sizes to
-              ensure maximum compatibility.
+              specified, the default is 120.
               <vspace blankLines='1'/></t>
 
             <t hangText="ptime:"> the preferred duration of media represented
             multiple of an Opus frame size rounded up to the next full integer
             value, up to a maximum value of 120, as defined in <xref
             target='opus-rtp-payload-format'/>. If no value is
-              specified, the default is 20. If ptime is greater than
-              maxptime, ptime MUST be ignored. This parameter MAY be changed
-              during a session. This value is a recommendation by the decoding
-              side to ensure the best
-              performance for the decoder. The decoder MUST be
-              capable of accepting any allowed packet sizes to
-              ensure maximum compatibility.
-              <vspace blankLines='1'/></t>
-
-            <t hangText="minptime:"> the minimum duration of media represented
-            by a packet (according to Section&nbsp;6 of
-            <xref target="RFC4566"/>) that SHOULD be encapsulated in a received
-            packet, in milliseconds rounded up to the next full integer value.
-            Possible values are 3, 5, 10, 20, 40, and 60
-            or an arbitrary multiple of Opus frame sizes rounded up to the next
-            full integer value up to a maximum value of 120
-            as defined in <xref target='opus-rtp-payload-format'/>. If no value is
-              specified, the default is 3. This value is a recommendation
-              by the decoding side to ensure the best
-              performance for the decoder. The decoder MUST be
-              capable to accept any allowed packet sizes to
-              ensure maximum compatibility.
+              specified, the default is 20. 
               <vspace blankLines='1'/></t>
 
             <t hangText="maxaveragebitrate:"> specifies the maximum average
           </list></t>
 
           <t>Interoperability considerations: none<vspace blankLines='1'/></t>
-          <t>Published specification: none<vspace blankLines='1'/></t>
+         <t>Published specification: RFC [XXXX]</t>
+         <t>Note to the RFC Editor: Replace [XXXX] with the number of the published
+          RFC.<vspace blankLines='1'/></t>
 
           <t>Applications that use this media type: </t>
           <t><list style="hanging">
             media streaming.</t>
           </list></t>
 
+          <t>Fragment identifier considerations: N/A<vspace blankLines='1'/></t>
+
           <t>Person &amp; email address to contact for further information:</t>
           <t><list style="hanging">
             <t>SILK Support silksupport@skype.net</t>
             <t>Jean-Marc Valin jmvalin@jmvalin.ca<vspace blankLines='1'/></t>
           </list></t>
 
-          <t> Change controller: TBD</t>
+          <t> Change controller: IETF Payload Working Group delegated from the IESG</t>
       </section>
-
-      <section title='Mapping to SDP Parameters'>
+    </section>
+    
+    <section title='SDP Considerations'>
         <t>The information described in the media type specification has a
         specific mapping to fields in the Session Description Protocol (SDP)
         <xref target="RFC4566"/>, which is commonly used to describe RTP
-        sessions. When SDP is used to specify sessions employing the Opus codec,
+        sessions. When SDP is used to specify sessions employing Opus,
         the mapping is as follows:</t>
 
         <t>
             SDP.</t>
 
             <t>The OPTIONAL media type parameters "maxaveragebitrate",
-            "maxplaybackrate", "minptime", "stereo", "cbr", "useinbandfec", and
+            "maxplaybackrate", "stereo", "cbr", "useinbandfec", and
             "usedtx", when present, MUST be included in the "a=fmtp" attribute
             in the SDP, expressed as a media type string in the form of a
             semicolon-separated list of parameter=value pairs (e.g.,
-            maxaveragebitrate=20000). They MUST NOT be specified in an
+            maxplaybackrate=48000). They MUST NOT be specified in an
             SSRC-specific "fmtp" source-level attribute (as defined in
             Section&nbsp;6.3 of&nbsp;<xref target="RFC5576"/>).</t>
 
         </figure>
 
 
-      <section title='Offer-Answer Model Considerations for Opus'>
+      <section title='SDP Offer/Answer Considerations'>
 
           <t>When using the offer-answer procedure described in <xref
           target="RFC3264"/> to negotiate the use of Opus, the following
             same way.</t>
 
             <t>
-              The "minptime" parameter is a unidirectional
-              receive-only parameters and typically will not compromise
-              interoperability; however, some values might cause application
-              performance to suffer and ought to be used with care.
-            </t>
-
-            <t>
               The "maxplaybackrate" parameter is a unidirectional receive-only
               parameter that reflects limitations of the local receiver. When
               sending to a single destination, a sender MUST NOT use an audio
             and MUST be removed from the answer.</t>
 
           </list></t>
+      
+        <t>
+         The Opus parameters in an SDP Offer/Answer exchange are completely
+          orthogonal, and there is no relationship between the SDP Offer and
+          the Answer.
+        </t>
       </section>
 
       <section title='Declarative SDP Considerations for Opus'>
 
         <t><list style="symbols">
 
-          <t>The values for "maxptime", "ptime", "minptime", "maxplaybackrate", and
+          <t>The values for "maxptime", "ptime", "maxplaybackrate", and
           "maxaveragebitrate" ought to be selected carefully to ensure that a
           reasonable performance can be achieved for the participants of a session.</t>
 
           <t>
-            The values for "maxptime", "ptime", and "minptime" of the payload
+            The values for "maxptime", "ptime", and of the payload
             format configuration are recommendations by the decoding side to ensure
-            the best performance for the decoder. The decoder MUST be
-            capable of accepting any allowed packet sizes to
-            ensure maximum compatibility.
+            the best performance for the decoder.
           </t>
 
           <t>All other parameters of the payload format configuration are declarative
           ought to be kept small.</t>
         </list></t>
       </section>
-    </section>
   </section>
 
     <section title='Security Considerations' anchor='security-considerations'>
 
-      <t>All RTP packets using the payload format defined in this specification
-      are subject to the general security considerations discussed in the RTP
-      specification <xref target="RFC3550"/> and any profile from,
-      e.g., <xref target="RFC3711"/> or <xref target="RFC3551"/>.</t>
-
-      <t>This payload format transports Opus encoded speech or audio data.
-      Hence, security issues include confidentiality, integrity protection, and
-      authentication of the speech or audio itself. The Opus payload format does
-      not have any built-in security mechanisms. Any suitable external
-      mechanisms, such as SRTP <xref target="RFC3711"/>, MAY be used.</t>
+      <t>Use of variable bitrate (VBR) is subject to the security considerations in
+      <xref target="RFC6562"/>.</t>
+
+      <t>RTP packets using the payload format defined in this specification
+      are subject to the security considerations discussed in the RTP
+      specification <xref target="RFC3550"/>, and in any applicable RTP profile such as
+      RTP/AVP <xref target="RFC3551"/>, RTP/AVPF <xref target="RFC4585"/>,
+      RTP/SAVP <xref target="RFC3711"/> or RTP/SAVPF <xref target="RFC5124"/>.
+      However, as "Securing the RTP Protocol Framework:
+      Why RTP Does Not Mandate a Single Media Security Solution"
+      <xref target="RFC7202"/> discusses, it is not an RTP payload
+      format's responsibility to discuss or mandate what solutions are used
+      to meet the basic security goals like confidentiality, integrity and
+      source authenticity for RTP in general.  This responsibility lays on
+      anyone using RTP in an application.  They can find guidance on
+      available security mechanisms and important considerations in Options
+      for Securing RTP Sessions [I-D.ietf-avtcore-rtp-security-options].
+      Applications SHOULD use one or more appropriate strong security
+      mechanisms.</t>
 
       <t>This payload format and the Opus encoding do not exhibit any
       significant non-uniformity in the receiver-end computational load and thus
     </section>
 
     <section title='Acknowledgements'>
-    <t>TBD</t>
+    <t>Many people have made useful comments and suggestions contributing to this document. 
+      In particular, we would like to thank
+      Tina le Grand, Cullen Jennings, Jonathan Lennox, Gregory Maxwell, Colin Perkins, Jan Skoglund,
+      Timothy B. Terriberry, Martin Thompson, Justin Uberti, Magnus Westerlund, and Mo Zanaty.</t>
     </section>
   </middle>
 
 
     <references title="Informative References">
       &rfc2974;
+      &rfc4585;
+      &rfc5124;
+      &rfc5405;
+      &rfc7202;
+      
+      <reference anchor='rmcat' target='https://datatracker.ietf.org/wg/rmcat/documents/'>
+        <front>
+          <title>rmcat documents</title>
+          <author/>
+          <date/>
+          <abstract>
+            <t></t>
+          </abstract></front>
+      </reference>
+
+
     </references>
 
   </back>