音视频学习笔记----1，音视频编码技术基础
声明：自我总结 + 优秀摘录。
1，环境准备
到FFmpeg官网http://ffmpeg.org/download.html#build-windows 下载相应的程序软件，主要包括：ffmpeg.exe，ffplay.exe，ffprobe.exe。
编译好的windows可用版本的下载地址（官网中可以连接到这个网站，和官方网站保持同步）： http://ffmpeg.zeranoe.com/builds/，该网站中的FFMPEG分为3个版本：Static，Shared，Dev。
前两个版本可以直接在命令行中使用，他们的区别在于：Static里面只有3个应用程序：ffmpeg.exe，ffplay.exe，ffprobe.exe，每个exe的体积都很大，相关的Dll已经被编译到exe里面去了。Shared里面除了3个应用程序：ffmpeg.exe，ffplay.exe，ffprobe.exe之外，还有一些Dll，比如说avcodec-54.dll之类的。Shared里面的exe体积很小，他们在运行的时候，到相应的Dll中调用功能。
Dev版本是用于开发的，里面包含了库文件xxx.lib以及头文件xxx.h，这个版本不包含exe文件。
打开系统命令行接面，切换到ffmpeg所在的目录，就可以使用这3个应用程序了。
1.1 ffmpeg.exe
用于转码的应用程序，举例使用查看视频具体信息：
具体的使用方法可以参考： ffmpeg参数中文详细解释
详细的使用说明（英文）：http://ffmpeg.org/ffmpeg.html
1.2 ffplay.exe
ffplay是用于播放的应用程序，简单命令如下：
1.3 ffprobe.exe
ffprobe是用于查看文件格式的应用程序，命令格式ffprobe [options] [input_url]。
2，封装格式
我们下载的视频有不同的后缀：mp4，avi，rmvb，flv，mkv等等，这些格式代表的就是封装格式，即把视频数据和音频数据打包成一个文件的规范。（注：有些封装格式支持的视音频编码标准十分广泛，应该算比较优秀的封装格式，比如MKV；而有些封装格式支持的视音频编码标准很少，应该属于落后的封装格式，比如RMVB。）
3，视频播放原理
视音频技术主要包含以下几点：封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术。
视频播放器播放一个互联网上的视频文件需要经过一下步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。
解协议：将流媒体协议的数据解析为标准的相应的封装格式数据。音视频网上传播流媒体协议，例如：HTTP、RTMP、MMS等，同时会有信令数据传输（包括对播放的控制(播放、暂停、停止等)，或者对网络状态的描述），解协议时会去除掉信令数据。如采用RTMP协议传输的数据解协议后输出FLV格式数据；
解封装：将输入的封装格式的数据分离成音、视频流压缩编码数据。封装格式种类MP4、MKV、RMVB、TS、FLV、AVI等，其作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。如FLV格式的数据经过解封装后输出H.264编码的视频码流和AAC编码的音频码流；
解码：将音视频压缩编码数据解码为非压缩的音视频原始数据(整个系统最重要最复杂环节)。音频编码包含AAC、MP3、AC-3等，视频编码包含H.264、MPEG2、VC-1等。压缩编码的视频数据输出为非压缩的颜色数据，如：YUV420P、RGB等，压缩编码的音频数据输出位非压缩的音频抽样数据，如：PCM；
音视频同步：根据解封装获取到的参数信息同步解码出来的音视频数据，并送至显卡和声卡播放。
4，流媒体协议
流媒体协议是服务器和客户端通信遵循的规定。
互联网视频服务通常采用TCP作为其流媒体的传输层协议，因而像RTMP，MMS，HTTP这类的协议广泛用于互联网视音频服务之中。这类协议不会发生丢包，因而保证了视频的质量，但是传输的效率会相对低一些。
最常用的RTMP协议详解：
规范解析：
RTMP协议是一个互联网TCP/IP五层体系结构中应用层的协议。RTMP协议中基本的数据单元称为消息（Message）。当RTMP协议在互联网中传输数据的时候，消息会被拆分成更小的单元，称为消息块（Chunk）。
RTMP传输媒体数据的过程中，发送端首先把媒体数据封装成消息，然后把消息分割成消息块，最后将分割后的消息块通过TCP协议发送出去。接收端在通过TCP协议收到数据后，首先把消息块重新组合成消息，然后通过对消息进行解封装处理就可以恢复出媒体数据。
1 消息
消息是RTMP协议中基本的数据单元。不同种类的消息包含不同的Message Type ID，代表不同的功能。RTMP协议中一共规定了十多种消息类型，分别发挥着不同的作用。例如，Message Type ID在1-7的消息用于协议控制，这些消息一般是RTMP协议自身管理要使用的消息，用户一般情况下无需操作其中的数据。Message Type ID为8，9的消息分别用于传输音频和视频数据。Message Type ID为15-20的消息用于发送AMF编码的命令，负责用户与服务器之间的交互，比如播放，暂停等等。消息首部（Message Header）有四部分组成：标志消息类型的Message Type ID，标志消息长度的Payload Length，标识时间戳的Timestamp，标识消息所属媒体流的Stream ID。消息的报文结构如图所示。
2 消息块
在网络上传输数据时，消息需要被拆分成较小的数据块，才适合在相应的网络环境上传输。RTMP协议中规定，消息在网络上传输时被拆分成消息块（Chunk）。消息块首部（Chunk Header）有三部分组成：用于标识本块的Chunk Basic Header，用于标识本块负载所属消息的Chunk Message Header，以及当时间戳溢出时才出现的Extended Timestamp。消息块的报文结构如图4所示。
3 消息分块
在消息被分割成几个消息块的过程中，消息负载部分（Message Body）被分割成大小固定的数据块（默认是128字节，最后一个数据块可以小于该固定长度），并在其首部加上消息块首部（Chunk Header），就组成了相应的消息块。消息分块过程如图5所示，一个大小为307字节的消息被分割成128字节的消息块（除了最后一个）。
RTMP播放过程：
RTMP协议规定，播放一个流媒体有两个前提步骤：第一步，建立一个网络连接（NetConnection）；第二步，建立一个网络流（NetStream）。其中，网络连接代表服务器端应用程序和客户端之间基础的连通关系。网络流代表了发送多媒体数据的通道。服务器和客户端之间只能建立一个网络连接，但是基于该连接可以创建很多网络流。他们的关系如图所示：
5，视频、音频编码
视频编码的只要作用是将视频像素数据(RGB，YVU)压缩为视频码流，从而降低视频的数据量。
5.1 视频编码基本原理
（1）视频信号的冗余信息
数据冗余：例如如空间冗余、时间冗余、结构冗余、信息熵冗余等，即图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失，属于无损压缩；
视觉冗余：人眼的一些特性比如亮度辨别阈值，视觉阈值，对亮度和色度的敏感度不同，使得在编码的时候引入适量的误差，也不会被察觉出来。可以利用人眼的视觉特性，以一定的客观失真换取数据压缩。这种压缩属于有损压缩；
（2）压缩编码的方法
（a）变换编码
将空间域描述的图像信号变换到频率域，然后对变换后的系数进行编码处理。一般来说，图像在空间上具有较强的相关性，变换到频率域可以实现去相关和能量集中。
（b）熵编码
基本原理是对信源中出现概率大的符号赋予短码，对于出现概率小的符号赋予长码，从而在统计上获得较短的平均码长。
（c）运动估计和运动补偿
运动估计（Motion Estimation）和运动补偿（Motion Compensation）是消除图像序列时间方向相关性的有效手段。上文介绍的DCT变换、量化、熵编码的方法是在一帧图像的基础上进行，通过这些方法可以消除图像内部各像素间在空间上的相关性。实际上图像信号除了空间上的相关性之外，还有时间上的相关性。例如对于像新闻联播这种背景静止，画面主体运动较小的数字视频，每一幅画面之间的区别很小，画面之间的相关性很大。对于这种情况我们没有必要对每一帧图像单独进行编码，而是可以只对相邻视频帧中变化的部分进行编码，从而进一步减小数据量，这方面的工作是由运动估计和运动补偿来实现的。
运动估计技术一般将当前的输入图像分割成若干彼此不相重叠的小图像子块，例如一帧图像的大小为1280*720，首先将其以网格状的形式分成40*45个尺寸为16*16的彼此没有重叠的图像块，然后在前一图像或者后一个图像某个搜索窗口的范围内为每一个图像块寻找一个与之最为相似的图像块。这个搜寻的过程叫做运动估计。通过计算最相似的图像块与该图像块之间的位置信息，可以得到一个运动矢量。这样在编码过程中就可以将当前图像中的块与参考图像运动矢量所指向的最相似的图像块相减，得到一个残差图像块，由于残差图像块中的每个像素值很小，所以在压缩编码中可以获得更高的压缩比。这个相减过程叫运动补偿。
由于编码过程中需要使用参考图像来进行运动估计和运动补偿，因此参考图像的选择显得很重要。一般情况下编码器的将输入的每一帧图像根据其参考图像的不同分成3种不同的类型：I（Intra）症B（Bidirection prediction）症P（Prediction）郑如图所示。
典型的I，B，P帧结构顺序
如图所示，I帧只使用本帧内的数据进行编码，在编码过程中它不需要进行运动估计和运动补偿。显然，由于I帧没有消除时间方向的相关性，所以压缩比相对不高。P帧在编码过程中使用一个前面的I帧或P帧作为参考图像进行运动补偿，实际上是对当前图像与参考图像的差值进行编码。B帧的编码方式与P帧相似，惟一不同的地方是在编码过程中它要使用一个前面的I帧或P帧和一个后面的I帧或P帧进行预测。由此可见，每一个P帧的编码需要利用一帧图像作为参考图像，而B帧则需要两帧图像作为参考。相比之下，B帧比P帧拥有更高的压缩比。
（d）混合编码
（3）视频编码
H.264仅仅是一个编码标准，而不是一个具体的编码器，H.264只是给编码器的实现提供参照用的。
HEVC > VP9 > H.264> VP8 > MPEG4 > H.263 > MPEG2。
5.2 音频编码基本原理
（1）音频信号冗余信息
所谓冗余成分指的是音频中不能被人耳感知到的信号，它们对确定声音的音色，音调等信息没有任何的帮助。
人耳能察觉的声音信号频率范围为20Hz-20KHz，当强弱信号同时存在，弱信号将被强信号掩蔽而听不见，即掩蔽效应。主要表现在频谱掩蔽效应和时域掩蔽效应。
（2）压缩编码方法
数字音频编码系统模型
对每一个音频声道中的音频采样信号,首先都要将它们映射到频域中,这种时域到频域的映射可通过子带滤波器实现。每个声道中的音频采样块首先要根据心理声学模型来计算掩蔽门限值, 然后由计算出的掩蔽门限值决定从公共比特池中分配给该声道的不同频率域中多少比特数，接着进行量化以及编码工作，最后将控制参数及辅助数据加入数据之中，产生编码后的数据流。
（3）音频编码
音频编码的主要作用是将音频采样数据（PCM等）压缩成为音频码流，从而降低音频的数据量。
AAC+ > MP3PRO > AAC> RealAudio > WMA > MP3
6，现有网络新视频平台
现有的网络视音频服务主要包括两种方式：点播和直播。
直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。
点播服务普遍采用了HTTP作为流媒体协议，H.264作为视频编码格式，AAC作为音频编码格式。HTTP是基于TCP协议的应用层协议。