音视频数据处理（一）-H264/AVC视频码流分析

一、H264概述

H264是MPEG-4的第十部分，是由ITU-T和ISO/IEC两大组织联合提出的视频编解码标准，这个标准通常被称之为H.264/AVC。H264编码是一种主流编码方式，本文主要从数据处理的角度对H264视频码流进行分析。

二、H264码流结构

H264原始码流（裸流）是由多个NAL单元组成的，具体如下图所示：

NALU单元是由什么组成的呢？NALU单元主要由三部分组成，具体如下图所示：

1.Start Code

Start Code，即开始码，一般为4字节或3字节，必须是“0x00 0x00 0x00 0x01”或“0x00 0x00 0x01”，用来表示一个NALU单元的开始。

2.NALU Header

NALU Header，1个字节，由forbidden_bit(1bit)，nal_reference_bit(2bits)，nal_unit_type(5bits)三部分组成，具体如下图所示：

NALU Header.png

（1）forbidden_bit(1bit)

F禁止位，占用NALU Header的第一个位，值默认0，值为1时表示错误，当网络发现NAL单元有比特错误时可设置该比特为1，以便接收方纠错或丢掉该单元。

（2）nal_reference_bit(2bits)

NRI重要性指示位，占用NALU Header的第二、三位，用来表示NAL单元的重要性,取值00~11，取值越大，表示此NAL单元越重要。

（3）nal_unit_type(5bits)

Type类型，占用NALU Header的第四到八位，用来表示NAL单元的类型，具体取值如下图所示：

nal_unit_type.png

3.NALU Payload

NALU Payload，即视频压缩数据RBSP，但是严格意义上来说，Payload数据应该是EBSP，接下来详细介绍一下H264码流数据中的相关概念。

（1）编码分层

H264编码主要分为两层：视频编码层（VCL层）和视频数据网络抽象层（NAL层），其中，VCL层对视频的原始数据进行压缩，NAL层负载将视频数据组合成NALU单元进行网络传输。

（2）码流相关概念

SODB（String Of Data Bits）：原始数据比特流

由VCL层产生的的原始数据流，由于数据长度不一定是8的倍数，为方便计算机进行处理，就用到了RBSP。

RBSP（Raw Byte Sequence Payload）：原始字节序列载荷

即在SODB的后面添加了trailing bits，即一个bit 1和若干个bit 0，以便字节对齐。

EBSP （Encapsulated Byte Sequence Payload）:扩展字节序列载荷

NALU单元是通过开始码“0x00 0x00 0x00 0x01”或者“0x00 0x00 0x01”来表示一个NALU单元的开始，同时H264规定，当检测到0x00 0x00 0x00时，也可以表示当前NALU的结束。那这样就会产生一个问题，就是如果在NALU的内部，出现了"0x00 0x00 0x01"或"0x00 0x00 0x00"时该怎么办？所以在h264码流中规定每有两个连续的00 00，就增加一个0x03,从而预防压缩后的数据与开始码产生冲突，防止竞争。

三、H264数据示例

利用UItraEdit工具打开一个H264文件进行数据分析，如下图所示：

H264.png

如上图所示，我们可以清晰的看到在H264码流中，是以“0x00 0x00 0x00 0x01”为开始码的，找到开始码后，后面的一个字节表示NALU Header，上图所示分别标注了SPS、PPS、IDR类型。

结语

本文主要从数据处理的角度对H264视频码流数据进行了分析，这也是音视频数据处理的基础，后续会针对音视频开发技术进行详细的介绍。