H.264基本概念总结之Slice与NALU

date
Mar 16, 2022
slug
2022-03-16-h264-slice-nalu
status
Published
tags
H.264
音视频
summary
本文总结了H.264视频编解码技术中的Slice、NALU等概念。
type
Post

VCL与NAL

VCL:Video Coding Layer,视频编码层。
NAL :Network Abstraction Layer, 即网络抽象层。
在 H.264/AVC 视频编码标准中,整个系统框架被分为了两个层面:视频编码层面(VCL, Video Coding Layer)和网络抽象层面(NAL, Network Abstract Layer)。其中,前者负责有效表示视频数据的内容;而后者则负责格式化数据并提供头信息,以保证数据适合各种信道和存储介质上的传输。
  • 简单地说,所谓的VCL就是图像帧经过H.264算法进行视频编码后所产生的编码图像数据,所以在后面的NALU中所封装的数据包含有两种类型,VCL和non-VCL,VCL表示的就是图像编码数据,non-VCL则是非图像压缩数据;
  • 而所谓的NAL则是把H.264图像编码所产生字节流,进行合理和标准化的封装,以方便保存在存储介质上,或者通过网络等方式传输出去后,能够被播放端正确的解析、读取、解码、回放显示出来。
notion image

Frame与Slice

每一个Frame在编码的时候分为一个或者多个Slice进行编码,而每个Slice内部又可以包含有多个宏块。H.264进行编码的时候就是以宏块为单位进行编码的。
具体而言,Frame与Slice之间的关系在实践中可能是:
  • 一个Frame只有一个Slice,这个Frame中所包含的宏块都在同一个Slice中进行编码;
  • 每个Frame中包含有N个Slice,每个Slice包含有固定的M个宏块,M和N均为整数。每个Slice经过编码后产生的字节流的大小根据这个Slice中图像的运动和细节表现而变化,可能差异较大。
  • 每个Frame中包含有N个Slice,每个Slice中包含的宏块数量不定,但是经过编码后各个Slice缩成的编码字节流大小基本一致。

NALU

NAL:Network Abstraction Layer。
NALU:Network Abstraction Layer Unit。
NALU是H.264编码产生数据进行保存和传输的基本单元,各个Slice编码后产生的数据使用NALU进行打包封装。实际上一个.h264文件就是有连续的很多个NALU组成。
  • 当然并非所有的NALU中封装的都是Slice的编码数据。
一个标准的NALU总是包含有3个部分:start code(3个或者4个字节),nalu header(1个字节),nalu paylodf(不定长)。
每个NALU都固定的以0x00 0x00 0x01或者0x00 0x00 0x00 0x01开头,这个0x00 0x00 0x01或者0x00 0x00 0x00 0x01序列就是所谓的start code。
每个NALU开头的start code后面紧跟的那个字节就是nalu header。nalu header中包含有3个域:
  • forbidden_zero_bit(1bit):H.264规范中要求该位应该设置为0。
  • nal_ref_idc(2bit):nalu的重要性指示位,标志该NALU的重要性。值越大,表示该NALU越重要,解码器在解码处理不过来的时候,可以丢掉重要性为0的NALU。
  • nal_unit_type(5bit):用于表示这个NALU结构体中Payload部分包含的数据类型是什么。
notion image
nal unit type=6表示这个NALU中包含的是SEI信息。
nal unit type=7表示这个NALU中包含的是SPS信息。
nal unit type=8表示这个NALU中包含的是PPS信息。
H.264对一帧图像进行编码后所产生的的图像压缩数据(实际上也就是所谓的VCL数据)则保存在nal unit type=1-5这五种类型的NALU中。
  • 其他nal unit type=5,就表示当前的这个NALU中封装的是IDR帧的数据。

参考资料

  1. Introduction to H.264: (1) NAL Unit | Yumi Chan's Blog
  1. H.264/AVC 片——slice_RRRR_ChiAn的博客-CSDN博客
  1. H.264再学习 -- 详解 H.264 NALU语法结构_不积跬步,无以至千里-CSDN博客_nalu payload
  1. 编解码技术:H264 - NAL Unit | 何照江的博客 (hezhaojiang.github.io)

© Pavel Han 2020 - 2022