H264数据的RTP传输

一 概述

       本文档讨论H.264在网络上传输问题。参考标准RFC3550  （A Transport Protocol for Real-Time Applications），参考264相关文档。介绍264数据的采用RTP传输方式。并通过实验接收264的rtp包组成264帧裸数据流。

二 H.264数据特点

H.264数据分层结构由五层组成，分别是序列参数集(SPS)、图像参数集(PPS)、片（Slice）、和宏块和子块。
1、参数集是一个独立的数据单位，不依赖于参数集外的其它句法元素。图2描述了参数集与参数集外的句法元素之间的关系。

一个参数集不对应某一个特定的图像或序列，同一序列参数集可以被多个图像参数集引用，同理，同一个图像参数集也可以被多个图像引用。只在编码器认为需要更新参数集的内容时，才会发出新的参数集。如果传输的流媒体数据可以理解为当接受到新的参数集数据那么以后的数据就采用新的参数啦。
2、图像参数集(PPS)，在H.264中图像以序列为单位进行组织。一个序列的第一个图像叫做IDR图像，IDR图帧引入为了解码的同步:当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。IDR是I帧，但I帧不一定是IDR。I帧之后的图像有可能会使用I帧之前的图像做运动参考。
3、片（slice），封装为一个NALU单元交由后续处理模块，可以理解是应用264数据的一个对象。也是我们讨论的rtp传输的输入单元。编码器将每个NAL各自独立、完整地放入一个分组(NALU)，因为分组都有头部，解码器可以方便地检测出NAL的分界，并依次取出NAL进行解码。
NAL的结构特点:
     

起始码---0x000001

NALU头

数据（slice ，帧参数，增强信息）等

 
(1) 起始码0x000001，
解码器检测每个起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。同时H.264规定，当检测到0x000000时，也可以表征当前NAL的结束；NAL冲突检测，对于NAL中数据出现0x000001或0x000000时，H.264引入了防止竞争机制，如果编码器检测到NAL数据存在0x000001或0x000000时，编码器会在最后个字节前插入一个新的字节0x03，例如：0x000000－>0x00000300；解码器检测到0x000003时，把03抛弃，恢复原始数据。解码器在解码时，首先逐个字节读取NAL的数据，统计NAL的长度，然后再开始解码。
(2)NALU 头由一个字节组成, 它的语法如下:
      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI|  Type    |
      +---------------+
F: 1 个比特.
     forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.
NRI: 2 个比特.
    nal_ref_idc. 取 00 ~ 11, 似乎指示这个 NALU 的重要性, 如 00 的 NALU 解  码器可以丢弃它而不影响图像的回放. 不过一般情况下不太关心这个属性.
Type: 5 个比特.
  nal_unit_type (十进制). 这个 NALU 单元的类型. 简述如下:

nal_unit_type	NAL 单元和 RBSP 语法结构的内容
0	未指定
1	一个非IDR图像的编码条带
2	编码条带数据分割块A slice_data_partition_a_layer_rbsp( )
3	编码条带数据分割块B slice_data_partition_b_layer_rbsp( )
4	编码条带数据分割块C slice_data_partition_c_layer_rbsp( )
5	IDR图像的编码条带 slice_layer_without_partitioning_rbsp( )
6	辅助增强信息 (SEI) sei_rbsp( )
7	序列参数集 seq_parameter_set_rbsp( )
8	图像参数集 pic_parameter_set_rbsp( )
9	访问单元分隔符 access_unit_delimiter_rbsp( )
10	序列结尾 end_of_seq_rbsp( )
11	流结尾 end_of_stream_rbsp( )
12	填充数据 filler_data_rbsp( )
13	序列参数集扩展 seq_parameter_set_extension_rbsp( )
14...18	保留
19	未分割的辅助编码图像的编码条带

三 RTP的介绍

       这里主要介绍RTP数据格式，NALU与RTP包转换原理。首先再次明确这两个概念的区别。NALU是264数据编码后产物。用于解码，录像保存文件的基本单位。RTP包是传输的基本单位，是为了有效利用网络设计网络传输基本单元。下图是rtp数据结构。

Rtp头（12字节）

数据头（1或者2个字节）

数据

    Rtp的数据结构

1. rtp头信息

负载类型 Payload type (PT): 7 bits
序列号 Sequence number (SN): 16 bits
时间戳 Timestamp: 32 bits
对于H.264来说说PT = 96
2，RTP数据头信息
H.264 Payload 格式定义了三种不同的基本的负载(Payload)结构. 接收端可能通过 
RTP Payload的第一个字节来识别它们. 这一个字节类似 NALU 头的格式, 而这个头结构的 NAL 单元类型字段则指出了代表的是哪一种结构。
这个字节的结构如下, 可以看出它和 H.264 的 NALU 头结构是一样的.
      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI|  Type    |
      +---------------+
字段 Type: 这个 RTP payload 中 NAL 单元的类型. 这个字段和 H.264 中类型字段的区别是, 当 type (十进制) 的值为 24 ~ 31 表示这是一个特别格式的 NAL 单元, 而 H.264 中, 只取 1~23 是有效的值.
  24    STAP-A   单一时间的组合包
  25    STAP-B   单一时间的组合包
  26    MTAP16   多个时间的组合包
  27    MTAP24   多个时间的组合包
  28    FU-A     分片的单元
  29    FU-B     分片的单元
  30-31 没有定义
3、H.264结构类型与RTP封装对应关系:
  （1）. 单一 NAL 单元模式
     即一个 RTP 包仅由一个完整的 NALU 组成. 这种情况下 RTP NAL 头类型字段和原始的 H.264的NALU 头类型字段是一样的.
对于 NALU 的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式.对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容.打包时去除 "00 00 01" 或 "00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可

 如有一个 H.264 的 NALU 是这样的:
  [00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
  这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.
  封装成 RTP 包将如下:
  [ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ]
  即只要去掉 4 个字节的开始码就可以了.

上面截图是抓包软件抓的SPS的单一封包.第12个直接是0x67 SPS

PPS的单一封包. 第12个字节=0x68,表示是PPS
2. 组合封包模式
    即可能是由多个 NAL 单元组成一个 RTP 包. 分别有4种组合方式: STAP-A, STAP-B, MTAP16, MTAP24.那么这里的类型值分别是 24, 25, 26 以及 27.
其次, 当 NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中。 
 

  3. 分片封包模式
    用于把一个 NALU 单元封装成多个 RTP 包. 存在两种类型 FU-A 和 FU-B. 类型值分别是 28 和 29.而当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为 Fragmentation Units (FUs).

   The FU indicator octet has the following format:
      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI|  Type    |
      +---------------+
   The FU header has the following format:
      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |S|E|R|  Type    |
      +---------------+
   S: 1 bit
      当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，则设为0。
   E: 1 bit
      当设置成1, 结束位指示分片NAL单元的结束，即, 荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的
      FU荷载不是分片NAL单元的最后分片,结束位设置为0。
   R: 1 bit
      保留位必须设置为0，接收者必须忽略该位。
   Type: 5 bits
      NAL单元荷载类型定义，这个跟H.264定义是一致的。
   例如，我们通过I帧的的RTP包进行简单分析

抓的一个I帧的码流. 长度为69和64是SPS和PPS,另外看到一帧数据量大有很多个数据包.
IDR帧数据
起始Fragment FU_Indicator=0x7c ,type= 0x1c=28,分片.
FU_Header= 0x85 S=1,起始Fragment.Type=0x05.IDR Slice

S=1
中间Fragment
FU_Indicator=0x7c ,type= 0x1c=28,分片.
FU_Header= 0x08 S=0,E=0,中间Fragment,Type=0x08

结尾Fragment.
FU_Indicator=0x7c ,type= 0x1c=28,分片.
FU_Header= 0x45 S=0 ,E=1,结束Fragment.Type=0x05.IDR Slice

以下例子更加详细说明I帧与网络传输RTP关系。传输过程rtp数据不包括0x0000001得。转换过程中需要添加。

 

四 RTCP的介绍

RTP需要RTCP为其服务质量提供保证，因此下面介绍一下RTCP的相关知识。
RTCP的主要功能是：服务质量的监视与反馈、媒体间的同步，以及多播组中成员的标识。在RTP会话期 间，各参与者周期性地传送RTCP包。RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，各参与者可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。
RTCP有如下五种分组类型。

类型	缩写表示	用途
200	SR（Sender Report）	发送端报告
201	RR（Receiver Report）	接收端报告
202	SDES（Source Description Items）	源点描述
203	BYE	结束传输
204	APP	特定应用

 

软件部       张亚飞