frame size
[opus.git] / doc / ietf / draft-valin-celt-rtp-profile.xml
index 3336c45..5b716d4 100644 (file)
@@ -96,44 +96,42 @@ CELT stands for "Constrained Energy Lapped Transform". It applies some of the CE
 <t>
 For RTP based transportation of CELT encoded audio the standard 
 RTP header <xref target="rfc3550"></xref> is followed by one or more payload data blocks. 
-An optional padding terminator may also be used. 
+An optional padding terminator may also be used.
 </t>
 
 <t>
 <figure>
 <artwork><![CDATA[
-      0                   1                   2                   3
-      0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-     |                         RTP Header                            |
-     +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
-     |                 one or more frames of CELT ....              |
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-     |        one or more frames of CELT ....                       |
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+     0                   1                   2                   3
+     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+    |                         RTP Header                            |
+    +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
+    |                   one or more frames of CELT ....             |
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+    |                              ....                             |
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 ]]></artwork>
 </figure>
 </t>
 
-</section>
-
 <section anchor="RTP Header" title="RTP Header">
 
 <t>
 <figure>
 <artwork><![CDATA[
-      0                   1                   2                   3
-      0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-     |V=2|P|X|  CC   |M|     PT      |       sequence number         |
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-     |                           timestamp                           |
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-     |           synchronization source (SSRC) identifier            |
-     +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
-     |            contributing source (CSRC) identifiers             |
-     |                              ...                              |
-     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+     0                   1                   2                   3
+     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+    |V=2|P|X|  CC   |M|     PT      |       sequence number         |
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+    |                           timestamp                           |
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+    |           synchronization source (SSRC) identifier            |
+    +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
+    |            contributing source (CSRC) identifiers             |
+    |                              ...                              |
+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 ]]></artwork>
 </figure>
 </t>
@@ -207,39 +205,38 @@ CELT the following values are used.
 <t>
 For the purposes of packetizing the bit stream in RTP, it is only
 necessary to consider the sequence of bits as output by the CELT
-encoder <xref target="celt-website"></xref>, and present the same sequence to the decoder.  The 
-payload format described here maintains this sequence.
+encoder <xref target="celt-website"></xref>, and present the same 
+sequence to the decoder.  The payload format described here maintains
+this sequence.
 </t>
 
 <t>
 A typical CELT frame, encoded at a high bitrate, is approx.
 128 octets and the total number of CELT frames SHOULD be kept 
-less than the path MTU to prevent fragmentation.  CELT frames MUST
-NOT be fragmented across multiple RTP packets,
+less than the path MTU to prevent fragmentation. CELT frames MUST
+NOT be split across multiple RTP packets,
 </t>
 
 <t>
 An RTP packet MAY contain CELT frames of the same bit rate or of
 varying bit rates, since the bitrate for the frames is explicitly 
-conveyed in band with the signal when there are multiple frames
-per packet, and can be determined implicitly from the payload
-size when there is only one frame per packet.
+conveyed in band with the signal.
 </t>
 
 <t>
 The encoding and decoding algorithm can change the bit rate at any
 frame boundary, with the bit rate change notification provided
-implicitly from the compressed frame size. No out-of-band 
-notification is required for the decoder to process changes in the 
-bit rate sent by the encoder.
+in-band. No out-of-band notification is required for the decoder 
+to process changes in the bit rate sent by the encoder.
 </t>
 
 <t>
-It is RECOMMENDED that values of 32000, 44100, or 48000 be used 
+It is RECOMMENDED that sampling rates 32000, 44100, or 48000 Hz be used 
 for most applications, unless a specific reason exists -- such as
 requirements for a very specific packetization time. For example,
-51200 Hz sampling may be useful to obtain a 5ms packetization time
-with 256-sample frames.
+51200 Hz sampling may be useful to obtain a 5 ms packetization time
+with 256-sample frames. For compatibility reasons, the sender and
+receiver MUST support 48000 Hz sampling rate.
 </t>
 
 <t>
@@ -250,42 +247,6 @@ Bitrate adjustment SHOULD be used instead of padding.
 
 </section>
 
-<section anchor="Example CELT packet" title="Example CELT packet">
-
-<t>
-In the example below we have a single CELT frame in the RTP packet.
-</t>
-
-<t>
-<figure>
-<artwork><![CDATA[
-    0                   1                   2                   3
-    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |V=2|P|X|  CC   |M|     PT      |       sequence number         |
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |                           timestamp                           |
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |         synchronization source (SSRC) identifier              |
-   +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
-
-    0                   1                   2                   3
-    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
-   +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
-   |         contributing source (CSRC) identifiers                |
-   |                              ...                              |
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |                          CELT frame..                         |
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |                              ...                              |
-   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-]]></artwork>
-</figure>
-</t>
-
-</section>
-
 <section anchor="Multiple CELT frames in a RTP packet" title="Multiple CELT frames in a RTP packet">
 
 <t>
@@ -293,12 +254,12 @@ The bitrate used by CELT is implicitly determined by the size of the
 compressed data. When more than one frame is encoded in the same packet,
 it is not possible to determine the size of each encoded frame, so the
 information MUST be explicitly encoded. If N frames are present in a
-packet, N-1 compressed frame sizes need to be encoded at the 
+packet, N compressed frame sizes need to be encoded at the 
 beginning of the packet. Each size that is less than 255 bytes is encoded
 in one byte (unsigned 8-bit integer). For sizes greater or equal to 255, a 0xff byte is encoded, 
 followed by the size-255. Multiple 0xff bytes are allowed if there are
 more than 510 bytes transmitted. An payload of zero bytes MUST be interpreted as length zero
-for all frames contained in that packet.  
+for all frames contained in that packet.
 </t>
 <t>
 Below is an example of two CELT frames contained within one RTP 
@@ -320,7 +281,7 @@ packet.
    |                              ...                              |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   | length  frame1|           CELT frame 1                        |
+   | length frame 1| length frame 2|          CELT frame 1...      |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |         (frame 1)             |        CELT frame 2...        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
@@ -350,7 +311,9 @@ packet.
    |                              ...                              |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |  Front length |  rear length  | center length | Front stereo  |
+   |  Front length |  rear length  | center length |  LFE length   |
+   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
+   |                        Front stereo                           |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                             ...                               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
@@ -362,14 +325,16 @@ packet.
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                             ...                               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
-   |                               |      LF mono data...          |
+   |                               |      LFE mono data...         |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                             ...                               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 ]]></artwork>
 </figure></t>
 
-<t>In the case where streams for multiple channels are used with multiple frames of the same streams per packet, then all streams for a certain timestamp are encoded before all streams for the following timestamp. In the case of the 5.1 example above with two frames per packet, the number of compressed length fields would be S*N-1 = 7.</t>
+<t>In the case where streams for multiple channels are used with multiple frames of the same streams per packet, then all streams for a certain timestamp are encoded before all streams for the following timestamp. In the case of the 5.1 example above with two frames per packet, the number of compressed length fields would be S*N = 8.</t>
+
+</section>
 
 </section>
 
@@ -441,41 +406,59 @@ the CELT audio is encoded using the  "b=AS:" header, as explained in SDP <xref t
 </t>
 
 <t>
-Several CELT-specific parameters can be given via the "a=fmtp:" directive.  The
-following parameters are defined for use in this way:
+The SDP parameters have the following interpretation with respect to CELT:
 </t>
 
 <t>
-<vspace blankLines="1" />
 <list style="empty">
-<t>frame-size: duration of each frame in samples. The default is 256.<vspace blankLines="1" /></t>
+<t>b=AS: The maximum bandwidth (in kbit/s) allowed for CELT, excluding the header overhead. The default is 64 kbit/s.</t>
 
-<t>nb-frames: number of frames per packet (per stream). The default is 1.<vspace blankLines="1" /></t>
+<t>ptime: The desired packetization time. The sender SHOULD choose a number of frames per packet that corresponds to the smallest packetization time greater or equal to the specified ptime for the selected frame size. The default is 20 ms as specified in <xref target="rfc3551"></xref></t>
 
-<t>mapping: Optional string describing the multi-channel mapping. <vspace blankLines="1" /></t>
+<t>maxptime: The maximum packetization time desired. If the maximum is lower than the smallest packetization time determined from the chosen frame size (as described above), then that packtization time SHOULD be used despite the maxptime value. The default is "no maximum".</t>
 
+</list>
+</t>
+
+<t>
+CELT-specific parameters can be given via the "a=fmtp:" directive.
+Several parameters can be given in a single a=fmtp line provided 
+that they are separated by a semi-colon. The following parameters 
+are defined for use in this way:
+</t>
+
+<t>
+<list style="empty">
+<t>frame-size: The frame size is the duration of each frame in samples. If more than one frame size is supported, a comma-separated list can be used. It is possible to use "any" to denote that
+all even frame sizes are supported. The default is 480.</t>
+
+<t>mapping: Optional string describing the multi-channel mapping. </t>
 </list>        
 </t>
 
-<t>Several CELT specific parameters can be given in a single
-a=fmtp line provided that they are separated by a semi-colon.</t>
+<t>Because the frame-size is not transmitted in-band, an SDP answer MUST 
+contain only one frame-size, even if multiple frame sizes were offered.
+</t>
 
 <t>
-The selected frame-size value MUST be even. It SHOULD be divisible by 8
-and have a prime factorization which consists only 2, 3, or 5 factors.
+The selected frame-size values MUST be even. They SHOULD be divisible by 8
+and have a prime factorization which consists only of 2, 3, or 5 factors.
 For example, powers-of-two and values such as 160, 320, 240, and 480 are
-recommended. Implementations SHOULD support receiving and sending the default
-value of 256, and if the size 256 is supported it MUST be offered.
+recommended. Implementations MUST support receiving and sending the default
+value of 480, and if the size 480 is supported it MUST be offered. Implementations
+SHOULD also support frame sizes of 256 and 512 since these are the ones that lead
+to the lowest complexity. When frame sizes that are powers of two are supported,
+they SHOULD be listed first in the offer and chosen over non powers of two in the
+answer.
 </t>
 
 <t>
-Care must be taken when setting the value of max-size and nb-frames so that the 
+Care must be taken when setting the value of ptime: and b=AS: so that the
 RTP packet size does not exceed the path MTU.
 </t>
 
-<t>An example of the media representation in SDP for
-offering a single channel of CELT at 48000 samples per second might
-be:
+<t>An example of the media representation in SDP for offering a single 
+channel of CELT at 48000 samples per second might be:
 </t>
 
 <t>
@@ -490,7 +473,9 @@ be:
 Note that the RTP payload type code of 97 is defined in this media
 definition to be 'mapped' to the CELT codec at a 48kHz sampling
 frequency using the 'a=rtpmap' line.  Any number from 96 to 127
-could have been chosen (the allowed range for dynamic types).  
+could have been chosen (the allowed range for dynamic types). If there
+is more than one channel being encoded the rtpmap MUST specify the channel
+count.
 </t>
 
 <t>
@@ -521,8 +506,9 @@ payload types that may be proposed in the media line ("m=").
 <vspace blankLines="1" />
 <list style="empty">
        <t>m=audio 8008 RTP/AVP 97</t>
+       <t>a=ptime: 21</t>
        <t>a=rtpmap:97 CELT/44100</t>
-       <t>a=fmtp:97 frame-size=512;nb-frames=2;</t>
+       <t>a=fmtp:97 frame-size=512;</t>
 </list>        
 </t>
 
@@ -530,15 +516,8 @@ payload types that may be proposed in the media line ("m=").
 This examples illustrate an offerer that wishes to receive
 a CELT stream at 44100 Hz, by packing two 512-sample frames in each packet.
 </t>
-
-
-
-
 </section>
 
-
-
-
 <section anchor="Multichannel Mapping" title="Multichannel Mapping">
 <t>
 When more than two channels are used, a mapping parameter MUST be provided.
@@ -576,11 +555,12 @@ mapping=2,1,2,1,1/SLguitar,SRguitar,OheadsetG,SLkeyboard,SRkeyboard,OheadsetK,SM
 </t>
 
 <t>
-Ambisonic channels MUST follow the "Malham notation" for up to third order spherical. Higher
-order ambisonic support is application defined but MUST NOT reuse any of WXYZRSTUVKLMNOPQ for
-higher order components. For example, second order spherical ambisonics SHOULD use the mapping
-"mapping=1,1,1,1,1,1,1,1,1/AW,AX,AY,AZ,AR,AS,AT,AU,AV". Any set of Ambisonic channels MUST
-contain at least one "AW" channel.
+Ambisonic channels MUST follow the Furse-Malham naming and weighing
+conventions for up to third order spherical<xref target="Ambisonic"></xref>.
+Higher order ambisonic support is application defined but MUST NOT reuse any of WXYZRSTUVKLMNOPQ
+for higher order components. For example, second order spherical ambisonics SHOULD use the
+mapping "mapping=1,1,1,1,1,1,1,1,1/AW,AX,AY,AZ,AR,AS,AT,AU,AV". Any set of Ambisonic channels
+MUST contain at least one "AW" channel.
 </t>
 
 <t>
@@ -590,7 +570,22 @@ right speakers, respectively, in conventional stereo or the front left and right
 channels in 7.1 channel surround. Additional speaker-feeds are application specific but should not
 reuse the prior identifiers. 
 For 5.1 surround in non-ambisonic form the mapping SHOULD be "mapping=2,2,1,1/L,R,LR,RR,C,MLFE/ITU-RBS.775-1".
-When only one or two channels are used, the mapping parameter MAY be omitted, in which case the default mapping is used. For one channel, the default is "mapping=1/C", while for two channels, the default is "mapping=2/L,R".
+When only one or two channels are used, the mapping parameter MAY be omitted, in which case the
+default mapping is used. For one channel, the default is "mapping=1/C", while for two channels,
+the default is "mapping=2/L,R".
+</t>
+
+<t> 
+For example a stereo configuration might signal:  
+<vspace blankLines="1" />
+<list style="empty">
+<t>m=audio 8008 RTP/AVP 97</t>
+<t>a=ptime: 5</t>
+<t>a=rtpmap:97 CELT/44100/2</t>
+<t>a=fmtp:97 frame-size=256;</t>
+</list> 
+Which specifies a single two-channel CELT stream according to the default
+mapping.
 </t>
 
 </section>
@@ -606,10 +601,6 @@ How do we minimize the possibility of encoder-decoder mode mismatch
 </t>
 
 <t>
-Do we support more than 2 channels (and how)?
-</t>
-
-<t>
 Support for redundant data (how)?
 </t>
 
@@ -669,7 +660,7 @@ complexity for packet processing, and thus are unlikely to pose a
 denial-of-service threat due to the receipt of pathological data.
 Nor does the RTP payload format contain any active content.
 </t>
-                           
+
 <t>
 Because this format supports VBR operation small amounts of information
 about the transmitted audio may be leaked by a length preserving
@@ -806,6 +797,16 @@ CELT and AVT communities for their input:
 <seriesInfo name="CELT website" value="http://www.celt-codec.org/" />
 </reference> 
 
+<reference anchor="Ambisonic">
+<front>
+<title>Higher order Ambisonic systems</title>
+<author initials="D." surname="Malham" fullname="Dave
+Malham"><organization/></author>
+<date month="December" year="2003" />
+</front>
+<seriesInfo name="Paper"
+value="http://www.york.ac.uk/inst/mustech/3d_audio/higher_order_ambisonics.pdf" />
+</reference> 
 
 </references>