网络音视频编解码器讲解（共8篇）
篇1：网络音视频编解码器讲解
TVSENSE YZX-400EN/DE 网络音视频编解码器 用 户 手 册
南京易之讯科技有限公司 二○○六年四月
TVSENSE 视频编解码器使用手册 目录
一、产品简介..........................................................................................3 技术特点..................................................................................................................................3
二、产品结构..........................................................................................4 2.1内部布置：......................................................................................................................4 2.2外形尺寸:..........................................................................................................................4
三、技术指标..........................................................................................5
四、接口说明..........................................................................................6 4.1前面板...............................................................................................................................6 4.2后面板...............................................................................................................................6 4.3接口指示说明：.............................................................................................................6
五、接线说明..........................................................................................7 5.1网络接线...........................................................................................................................7 5.2音频接线...........................................................................................................................7 5.3视频接线...........................................................................................................................7 5.4控制接线...........................................................................................................................8
六、串口定义..........................................................................................9 6.1 串口定义：.........................................................................................................................9 6.2 内部跳线：.......................................................................................................................10
七、调试软件.........................................................................................11 7.1硬件准备：....................................................................................................................11 7.2硬件连接：....................................................................................................................11 7.3软件准备：....................................................................................................................11 7.4设备IP 配置DevNetSet.............................................................................................12 7.5设备管理DevManager................................................................................................13 7.5.1设备配对.....................................................................................................................13 7.5.2串口配置.....................................................................................................................15 7.6网络浏览
DevVideoBrowser.....................................................................................16
八．典型应用........................................................................................17
九、产品装箱清单................................................................................18 序 言 ● 简介
本音视频编解码器是为适应基于TCP/IP协议和10M/100M以太网传输通道而设计的，采用MPEG2压缩方式，具有强大的即时图像捕捉和图像压缩功能。它利用以太网通道实现实时视频音频传输，并同时提供RS232/485串行数据通信端口，满足远程视频监控、视频会议等系统需要。
注意事项
本说明书提供给用户安装调试、参数设置及操作使用的有关注意事项，务请妥善保管，并为了您的正确、高效地使用本产品，请仔细阅读本说明书。
一、产品简介 技术特点
● 基于MPC860T+OSE（RTOS）的嵌入式设计；
● 采用最新MPEG-2优化技术，最小带宽支持1024Kbps ； ● 以太网传输端到端延时小于180ms ；
● 提供10M/100M以太网接口，带宽适应范围宽，支持多点对多点同时访问； ● 具备同时发送单播包及组播包功能，可支持临时用户加入访问，同时在某些不支持组播功
能的特殊网段中通过单播方式访问；
● 双向语音对讲，支持回音抵消功能，独特的以太网方式下双向语音对话设计，适合监控中
心与前端对讲；
● 提供两路RS-485/232双向透明串口，可用于远端设备控制及监控数据采集； ● 可选集中式机箱，提高集成度；
● 与多家同类设备实现互联互通，适应大规模联网监控； ● 在各种高温、高尘等恶劣环境下，产品能够正常工作； ● 提供相关系统软件，实现网络浏览、虚拟矩阵等功能；
● 提供应用程序开发接口（包括WINAPI 和ActiveX），方便进行二次开发； ● 产品设计生产符合ISO9001标准。
TVSENSE 视频编解码器使用手册
二、产品结构 2.1内部布置：
2.2外形尺寸:
（外观仅供参考）
三、技术指标
TVSENSE 视频编解码器使用手册
四、接口说明 4.1前面板
4.2后面板
4.3接口指示说明：
（后面板正面放置，顺序依次自左向右）1.RS232/485 透明串口 2.LAN 以太网口
3.Vin、Vout 视频输入、输出（BNC 座）
4.Lin、Lout 音频左声道输入、输出（RCA 座）5.Rin、Rout 音频右声道输入、输出（RCA 座）6.AC220V 电源插座 电源开关
状态指示 电源开关 状态指示
立体声输入 视频输入 型号标签 电源插座
立体声输出 视频输出 型号标签 电源插座
五、接线说明 5.1网络接线
备注：
● 传输介质为5类或更高类双绞线； ● 与编解码器的接口为RJ45接口； ● 若编、解码器背对背连接或PC 与之连接，注意需采用交叉双绞线。5.2音频接线
备注：可单向立体声音频传输 或 双向对讲传输。5.3视频接线
备注：双向视频设备可选。TVSENSE 视频编解码器使用手册 5.4控制接线
编解码器可提供两路RS232/485接口，两台设备串口号相互对应，详见
六、串口定义。示例1：
以一台主控键盘控制若干PTZ 摄像机为例：
◆ 控制键盘的485接口与解码器的485接口连接，在编码器端接入云台解码器即可。示例2：
以两台计算机利用串口远程透明传输数据为例：
◆ 利用串口工具程序，分别打开两台PC 的对应串口，便可以透明传输数据。计算机RS232 DB9 计算机RS232 DB9
六、串口定义
音视频编、解码器提供两路RS232/485(com1、com2 串口，从后面板正视DB9公头（编码器和解码器的串口定义相同）。在作透明串口通道传输数据时串口1与串口1对应，串口2与串口2对应，使用如下：
6.1 串口定义：
● RS232工作方式（非标准引脚）：
串口1： 1（发）、2（收）、5（地）串口2： 3（发）、4（收）、5（地）● RS485工作方式：
串口1： 6(B、7(A 串口2： 8（B）、9（A）编码器和解码器的串口定义相同
注意事项：
◆ 传输波特率≤19200bps，串口的相关设置详见二 串口配置；
◆ 当编码器和解码器两端串口工作方式不一致时，只能以单工方式传输数据: 例如：编码器串口1设置成RS485，解码器串口1设置成RS232，此时两端只能以单工方式传输数据。反之亦然。
RS485-1 RS485-2 编、解码器串口定义
TVSENSE 视频编解码器使用手册 6.2 内部跳线：
◆ RS232与RS485工作方式通过内部电路板上的跳线选择, 见下图：
◆ 视频编码器、解码器出厂缺省设置为RS485接口。RS2322 RS4852 RS2321 RS4851
七、调试软件 7.1硬件准备：
1． 一台PIII 配置以上的电脑，win98/win2k/winxp操作系统； 2． 一台网络交换机或HUB（集线器）； 3． 一台或数台视频编、解码器； 4． 一台或数台摄像机、监视器； 5． 相应线缆（电源线、网线、视频线）。
7.2硬件连接：
1． 将电脑、编解码器分别通过网线接入交换机；
2． 若无交换机可用一根交叉网线将电脑与编解码器直接连接；
3． 摄像机视频信号接入编码器Vin，解码器视频输出信号V out 接入监视器； 4． 各设备上电。
7.3软件准备：
1． 将随机光盘软件“编解码器管理”压缩包安装至硬盘任意盘符下； 2． 缺省为路径：C:Program Files编解码器管理；
3． 安装完毕后，安装路径C:Program Files编解码器管理下DevVideoBrowser文件夹内应包含以下
应用程序： 1 设备IP 地址配置软件 DevNetSet.exe 2 设备管理软件 DevManager.exe 3 PC 网络浏览软件
DevVideoBrowser.exe 4 浏览软件应用设置工具 DevVideoSet.exe 5 设备加载升级工具
DevUpdate.exe 6 设备调试信息接收工具 DevDebugInfo.exe 7 设备串口调试工具 DevComDebug.exe 其中1）、2）项是本设备调试中必须所用，3－7项作为辅助调试用，本说明书中不作详述。
TVSENSE 视频编解码器使用手册 7.4设备IP 配置DevNetSet
运行DevNetSet.exe，如下图界面：
本编、解码器开机后会通过网口不间端地发送广播包，DevNetSet 程序自动解析出编、解码器的信息。
修改设备IP 地址须在列表中选你要修改的视频编、解码器：
1.物理地址：唯一且必需的硬件识别码，出厂时已设置好，不可修改； 2.设备ID ：硬件识别码，出厂时已设置好，不可修改； 3.版本：设备Flash 板载程序，可升级；
4.IP 地址：若网络管理员无指定IP 地址，用户只需将编、解码器设置成同一网段内的任
意地址即可；如通常与当前PC 同网段，192.168.0.11。
5.子网掩码：设置为自身网段相同的子网掩码。如：255.255.255.0。6.网关：若网络管理员无指定网关，用户可设为自身IP 地址，不能为空．．．．，如：192.168.0.11。以上配置按要求修改好以后，先点击“配置IP 地址”，再点击“复位”使之生效，然后点击“退出”即退出网络配置程序。
调试过程中可能会碰到的问题：配置IP 地址不成功
◆ 重新启动该程序DevNetSet.exe； ◆ 关闭防火墙或“解除阻止”； ◆ 能否正常Ping 通，检查网线；
◆ 注意操作时间勿过长，否则程序会自动刷新界面，导致配置不成功。7.5设备管理DevManager 该程序是将编、解码器进行配对，运行DevManager.exe，如下图界面：
本产品仅需对解码器进行相关设置即可，便于网络中心集中管理！7.5.1设备配对
1． 选中“设备列表”中的“视频解码器”，点击右上角“连接”按钮，出现如下界面：
2． 在“编码设备IP ”右边空档中填写本解码器对应编码器的IP 地址； 3． 用户级别：设置此解码器的用户级别，常用为数值“31”；
4． 传输方式：设置解码器以单播或多播方式接受编码器的视频流，通常选用“单播”；声音选
中表示编、解码器之间有双向音频传输，“声音”通常不选；
5． 图像格式：根据网络通道负载情况适当选择传输的码率大小，在1——8M 线性调节；通常
选用“3072kbps “；
6． 单击“应用”按钮，稍候单击“复位”按钮，待设备自动重新启动后即可！TVSENSE 视频编解码器使用手册 调试过程中可能遇到的现象：
1． 选中设备后单击“连接”按钮，提示：
◆ 确定本台PC 与视频编、解码器为同一网段； ◆ 检查网络。2． 配置不成功：
◆ 能否正常Ping 通，检查网线； ◆
重新连接再配置，注意操作时间勿过长，否则程序会自动刷新界面，导致配置不成功。
编码器连接：
本产品编码器出厂已经设置好，除IP 地址修改外，无需再对其配置。
7.5.2串口配置
本产品只需通过解码器即可完成所有串口配置！
编、解码器的串口作透明数据传输通道使用时，须注意两端的串口工作方式，主要包括：波特
选中“设备列表”中的“视频解码器”，“连接”成功后，点击右边“串口”按钮，如下图：
串口缺省配置如下：
串口配置属性修改：
注意：编、解码设备对应串口的波特率应当一致！（两设备的串口1相对应、串口2相对应）
TVSENSE 视频编解码器使用手册 7.6 网络浏览 DevVideoBrowser 网络浏览属于软件解码器，运行浏览软件 DevVideoBrowser.exe，界面如下： 输入“编号” ：100001、“口令” ：123，点击“确定”后进入视频浏览窗口，如下图： 确定” 确定 步骤一： 选中某编码器 步骤二： 点击连接 从“设备地址列表”栏选中接有摄像机的编码器，点击“ 接成功的视频图像图像。浏览程序退出： ”连接，即可看到连 输入“编号” ：100001、“口令” ：123，退出浏览程序。TEL: 025-52419198 81792088
南京易之讯科技有限公司 网络视频编解码器使用手册 八．典型应用 本产品适合于通信带宽大于 2M 的所有以太网络，支持跨路由（网段）使用。一． 高速公路 某分中心编码器 4×E1 或 LAN 省中心解码器 高速 公路 通信 系统 4×E1 或 LAN 某分中心编码器 省中心解码器 省中心 视频矩阵 利用高速公路通信系统 SDH 中的多个 E1 通道捆绑（如 4×E1）组成 LAN，在分中心将图像 接入编码器，省中心解码还原视频进入矩阵系统。二． 路口编码器 城市监控 中心解码器 监控中心 视频
矩阵 城 域 网 中心解码器 路口编码器 中心软件解码器（图像业务台）向城域网运营商租用通道，如电信、网通、联通、移动等，实现城市道路、安全防范等监控 指挥系统。TEL: 025-52419198 81792088
TVSENSE 视频编解码器使用手册
九、产品装箱清单 设备 随机光盘 说明书 电源线 设备配件 一台 一张 一本 一根 一套 TEL: 025-52419198 81792088
篇2：网络音视频编解码器讲解
——虹图高清嵌入式编解码器TMV-HV1001 虹图高清嵌入式编解码器TMV-HV1001是北京图美视讯虹图系列视频编码器产品中的一员。本产品是针对较大规模的专业级数字视频系统应用而设计的专业设备，用于解决视频一级低速率数据的编解码、复用以及网络传输。具有功耗低、数据处理能力强、接口丰富等优点，很好地满足了实时系统控制、工业自动化、实时数据采集、军事系统等有严格要求，并且可靠性要求高的重要设备的需求。
【产品优势】
• 支持全高清视频实时编解码;
• 嵌入式构架;
• 支持2 路VGA输入、2路VGA输出接口;
• 支持2 路HDMI 高清输入、2路HDMI输出接口;
• USB2.0 接口，可插入U盘用于临时视频码流存储;
• SATA接口，用于本地视频存储，适合DVR场合使用;
• 视频编码支持MPEG4-10 AVC Base line，最高1080P 60帧/秒;
• 双路千兆以太网音视频传输;
• 友好的操作界面和便于操作的菜单系统。
【产品规格】
视频输入：2 路VGA接口，2路HDMI接口
视频输出：2 路VGA接口，2路HDMI接口
其他接口：1个USB2.0接口，1个SATA接口
网络接口：2 路千兆以太网
机 箱：采用标准1U机箱
电 源：AC220V
环 境：温度：0℃~70℃ 湿度：85%RH 以下
外形尺寸：480×360×44(宽×深×高(mm))
【应用领域】
可以广泛应用在通讯、网络，适合实时系统控制、产业自动化、实时数据采集、军事系统等需要高速运算的领域，也适用于智能交通、航空航天、医疗器械、水利等模块化及高的可靠度、可长期使用的应用领域。此外还适合课堂录播系统、医疗系统、雷达系统等仪器视频记录系统。
篇3：网络电视视频编解码主流标准对比
关键词：网络电视,视频,编解码,计算机
网络电视 (IPTV) 又称为交互网络电视, 是电视与现代计算机互联网技术相互融合的产物。它以宽带有线电视网为基础, 融合多种技术 (通讯技术、多媒体技术、互联网技术等) 为一体, 使家庭用户可在因特网传输协议的许可下享受多类别的交互式服务。相比于传统电视, 网络电视具备实时性和交互性等特点, 能满足人们对娱乐、文化的需求。就目前的情况看, 人们对实时传输视频图像的质量要求日趋提高。因此, 相关研究人员必须加强对网络电视视频编解码技术的研究。
1 网络电视的发展背景
网络电视主要采用高效视频压缩技术。当传输视频通信信号的速度为786 kbit/s时, 网络电视视频的播放效果可与DVD一致。网络电视能按照用户的选择需求, 提供多种类型的多媒体服务, 比如可视IP电话、数字电视等。
近年来, 网络电视的发展深受视频编解码技术的影响。视频编解码技术通过多种编码工具集, 以编码图像为单位对网络电视进行精细化处理, 从而提供高清图像。
2 AVS、H.264、MPEG-4的基本概念
2.1 AVS
AVS是由我国自主研发的视频编解码主流标准, 属于第二代信源编码类型, 也被称为数字视频、音频编解码技术。采用信源编码技术能有效解决数字视频、音频等的初始数据、信源的压缩问题。由此可见, AVS标准具有数字音频共性基础。
2.2 H.264
H.264属于数字视频编解码的标准类型, 由ISO/IEC的运动式图像编码组 (MPEG) 与ITU-T的视频编码专家组 (VCEG) 共同组成。与传统编解码标准相比, H.264属于DPCM的混合编码类型, 具有变换编码的功能;在设计方面, H.264更具简洁性, 且基于“回归基本”的设计原理, 增强了其对不同信号通道的适应性;在语法结构方面, H.264所用的语法结构具有“网络友好”特性, 能及时找回处理错误的编码和丢包;在目标应用范围方面, H.264具有相对较大的应用范围, 能适应各类传输场合, 可满足各类解析度和传输速率的需求。
2.3 MPEG-4
MPEG-4是国际标准之一, 也是运动图像专家组采用的通用性开放标准。该视频编解码标准既能编、解特定比率下的音频、视频码, 还能突出多媒体系统的灵活性和交互性。目前, MPEG-4标准被广泛应用于电子新闻、视像电子邮件和视频电话中, 其对传输的速率、分辨率要求不高, 分别为4 800~6 400bit/s、176×144.MPEG-4, 在使用过程中能通过较少的数据来获取较高质量的图像。因此, 相关人员只需利用帧重建技术对数据进行压缩和传输处理即可。
3 技术特征方面的差异性分析
3.1 MPEG-4的技术特征
MPEG-4的技术核心为第一代视频编码技术, 比如运动补偿编码、转变编码、运动估计编码和量化编码等。此外, 该编解码标准还提出了部分核心技术, 比如运动补偿技术、视频编码分级技术、VOP视频编码技术和视频对象提取技术等。MPEG-4的技术优点为:能提供以视觉内容为基础的交互功能和多媒体访问工具, 分辨率输入的上限和下限分别为1 280×1024、320×240, 且具有强大的视频分辨功能;具有强大的压缩功能, 解压缩方式为Object Based, 压缩倍数可达450倍。
3.2 AVS的技术特征
AVS的编、解码效率较高, 运行速度快, 且宽带占用率较低, 约为MEPG-4的1/3.
3.3 H.264的技术特征
与MEPG-4相比, H.264的压缩功能更加强大, 可有效节省用户的数据流量和缩短下载时间。此外, H.264能通过像素构成视频分离帧, 从而提升视频帧编、解码的处理速率;采用临时存放法处理连续帧, 有利于提升编、解码的速率。
4 应用差异性分析
AVS、H.264、MPEG-4标准在具体应用时均有其侧重点。其中, AVS标准的应用方案相对简单, 适用于电视、通信、广播等领域;H.264标准适用于电视会议等, 这是因为其不同层面的编码速率、清晰度取值有所区别;MPEG-4标准的应用类别较为广泛, 比如移动多媒体、计算机图形、静止图像的压缩、数字电视的机顶盒、因特网视频、音频广播、数字广播等。
5 结束语
综上所述, MPEG-4标准和H.264标准起步较早, 其技术和产业链的发展相对成熟, 但MPEG-4标准的使用专利费用较高、H.264标准的适用范围较小。因此, 相关单位可积极研究、发展AVS标准, 从而推动网络电视基础建设工作的全面开展。
参考文献
[1]冯传岗.论我国AVS及第二代数字音视频信源编码标准[J].卫星电视与宽带多媒体, 2013 (03) .
篇4：视频领域常用压缩编解码标准综述
關键词：视频压缩编解码标准，H.264：M-JPEG，MPEG，MPEG-1，MPEG-2，MPEG-4，Real Video，WiT，QuickTime。
随着Internet带宽的不断增长，在Internet上传输视频的相关技术也成为Internet节研究和开发的热点。目前视频流传输中最为重要的编解码标准有国际电联的H.264，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real Networks的RealVideo、微软公司的WMT以及Apple公司的QuickTime等。具体如下：
一，国际电联的H.264标准
H.264／AVC是由ITU-T VCEG(视频编码专家组)币NISO／IEC MPEG(运动图像专家组)成立的联合视频专家组制定的最新的视频编码标准。与现有的任何标准相比，H.264有着更高的压缩性能，能够在较低带宽提供高质量的图像传输，对网络传输有更好的支持。具体讲，与MPEG-4相比，相同质量下，能降低码率50％左右。H.264是在MPEG-4技术的基础之上建立起来的，其编解码流程主要包括5个部分：帧间和帧内预测(Estimation)、变换(Transform)和反变换、量化(Quantization)和反量化、环路滤波(Loop Filter)、熵编码(EntropyCoding)。H.264／MPEG-4 AVC(H.264)是1995年自MPEG 2视频压缩标准发布以后的最新、最有前途的视频压缩标准。通过该标准，在同等图象质量下的压缩效率比以前的标准提高了2倍以上，因此，H.264被普遍认为是最有影响力的行业标准。
二.M-JPEG
M-JPEG(Motion
Join PhotographicExperts Group)技术即运动静止图像(或逐帧)压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像处理，把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地压缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑，此外M-JPEG的压缩和解压缩是对称的，可由相同的硬件和软件实现。但M-JPEG只对帧内的空间冗余进行压缩。不对帧间的时间冗余进行压缩，故压缩效率不高。采用M-JPEG数字压缩格式，当压缩比7：1时，可提供相当于Betecam SP质量图像的节目。
M-JPEG的优点是：可以很容易做到精确到帧的编辑、设备比较成熟。缺点是压缩效率不高。
此外，M-JPEG这种压缩方式并不是一个完全统一的压缩标准，不同厂家的编解码器和存储方式并没有统一的规定格式。这也就是说，每个型号的视频服务器或编码板有自己的M-JPEG版本，所以在服务器之间的数据传输、非线性制作网络向服务器的数据传输都根本是不可能的。
三、MPEG系列标准
MPEG是活动图像专家组(Movina PictureExports Group)的缩写，于1988年成立，是为数字视／音频制定压缩标准的专家组，目前已拥有300多名成员，包括IBM、SU N、BB C、NE C、INTEL、AT&T等世界知名公司。MPEG组织最初得到的授权是制定用于“活动图像”编码的各种标准，随后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒体”的限制，成为现在制定“活动图像和音频编码”标准的组织。MPEG组织制定的各个标准都有不同的目标和应用，目前已提出MPEG-1、MPEG-2、MPEG-4等多个标准。
1.MPEG-1标准
MPEG-1标准于1993年8月公布，用于传输1.5Mbps数据传输率的数字存储媒体运动图像及其伴音的编码。该标准包括五个部分：第一部分说明了如何根据第二部分(视频)以及第三部分(音频)的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。
该标准从颁布的那一刻起，MPEG-1取得一连串的成功，如VCD和MP3的大量使用，Windows95以后的版本都带有一个MPEG-1软件解码器，可携式MIPEG-1摄像机等等。
2.MPEG-2标准
MPEG组织于1994年推出MPEG-2压缩标准，以实现视／音频服务与应用互操作的可能性。MPEG 2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特～100兆比特，标准的正式规范在IsO／IECl3818中。MPEG 2不是MPEG 1的简单升级，MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。MPEG 2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。
MPEG 2的编码图像被分为三类，分别称为I帧，P帧和B帧。I帧图像采用帧内编码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。P帧和B帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。P帧图像只采用前向时间预测，可以提高压缩效率和图像质量。P帧图像中可以包含帧内编码的部分，即P帧中的每一个宏块可以是前向预测，也可以是帧内编码。B帧图像采用双向时间预测，可以大大提高压缩倍数。
MPEG 2标准在广播电视领域中的主要应用如下：
(1)视音频资料的保存
(2)电视节目的非线性编辑系统及其网络
(3)卫星传输
(4)电视节目的播出
3.MPEG-4标准
运动图像专家组MPEG于1999年2月正式公布了MPEG-4(isO／IE C14496)标准第一版本。同年年底MPEG-4第二版亦告底定，且于2000年年初正式成为国际标准。MPEG-4与MPEG 1和MPEG 2有很大的不同。MPEG-4不只是具体压缩算法，它是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。与MPEG 1、MPEG 2相比，MPEG-4具有如下独特的优点：
(1)基于内容的交互性
(2)高效的压缩性
(3)通用的访问性
这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过ATM网络等进行的远程数据库业务等。
四，其它压缩编码标准
1.Real Video
Real Video是Real Networks公司开发的在窄带(主要的互联网)上进行多媒体传输的压缩技术。
2.WMT
WMT是微软公司开发的在互联网上进行媒体传输的视频和音频编码压缩技术，该技术已与WMT服务器与客户机体系结构结合为一个整体，使用MPEG-4标准的一些原理。
3.QuickTime
QuickTime是一种存储、传输和播放多媒体文件的文件格式和传输体系结构，所存储和传输的多媒体通过多重压缩模式压缩而成，传输是通过RTP协议实现的。
篇5：网络音视频编解码器讲解
摘要：提出了一种用PT2262/PT2272编解码IC制作的16×16视频切换矩阵的设计方案，给出了具体的电路图，同时在对其原理进行分析的基础上，指出了用该方案派生其它规格视频切换矩阵的基本思路。
关键词：电视监控 编码器 解码器 视频切换矩阵 PT2262 PT2272
随着电子技术的飞速发展，视频切换器已被广泛的应用到闭路电视监控系统、电视演播系统、电视会议系统、微格教学系统、多媒体教学系统等多种领域。多路输入视频切换矩阵更是大型闭路电视监控系统不可缺少的重要设备，但是这种设备的价格都比较高。本文基于计算机控制的设计思想，选用廉价的遥控解码集成电路（PT2262/PT2262）和多路模拟开关芯片（CD4067），采用积木式结构设计了一种16×16视频切换矩阵，从而实现了遥控视频的切换的功能。PT2262/PT2262的特性
PT2262、PT2272是采用18脚双列直插式封装的编解码IC，它们具有很强的抗干扰性能。其中PT2262是一种编码器，它能将数据和地址编译成代码的波形。它最大有12位三态地址，共有531441种地址代码。它最大有12位三态地址，共有531441种地址代码。PT2272是一种与PT2262配对的解码器，它也具有12位三态地址，共有531441种地址代码。PT2262、PT2272都是CMOS电路，因而具有功耗低、工作电压范围宽（3～15V）等特点。
1.1 PT2262的引脚功能
PT2262的引脚功能如下：
A0～A5（1～6）：地址引脚，这些引脚均有三种状态：“0”、“1”和“浮”；
A6/D0～A11/D5（7、8、10～13）：这六个引脚既可以作为地址码引脚，也可以作为数据码引脚；当作为地址码引脚时，可置成“0”、“1”或“浮”；而作为数据码引脚时，只能置成“0”、“1”。
TE（14）：发送使能端，低电平有效。当其为低电平时，PT2262输出编码波形；
DOUT（17）：数据码输出引脚； OSC1、OSC2（16、15）：振荡器引脚；
VSS（18）：电源正极；
VSS（9）：电源负极。
1.2 PT2272的引脚功能
PT2272的引脚功能如下：
A0～A5（1～6）、A8/D0～A11～D3（7、8、10～13）：这些引脚的功能与PT2262相同；
DIN（14）：数据输入引脚；
VT（17）：有效传输引脚，高电平有效。当PT2272接收到有效编码波形信号时，VT变为高电平；
OSC1、OSC2（16、15）：振荡器引脚；
VCC（18）：电源正极；
VSS（9）：电源负极。
图1 视频切换电路原理图
PT2272的数据输出有“暂存”和“锁存”两种，“暂存”是当输入端信号消失时，PT2272对应的数据位输出变成低电平；“锁存”是当输入端信号消失时，PT2272的数据位输出保持原有状态，直到接收到地址码相同的新输入。
PT2272的数据输出有4、6位之分，具体可用后缓来区分：M代表“暂存”，L代表“锁存”（例如PT2272 L4表示数据位输出为4位，锁存输出）。当编码电路PT2262将数据连同地址码从17脚串行发送出去后，便可经过双线传输到解码器PT2272的14脚（数据输入端），此时若解码器的地址A0～A7与编码器的地址A0～A7相同，解码器将接收发送来的数据，且并行呈现在数据输出端D0～D3端并锁存，同时在VT端输出个脉冲信号。16×16视频切换矩阵的组成
16×16视频切换矩阵由16块16选1视频切换电路板和一块主板组成。16块视频切换电路板依次通过板插座插在主板上，主板上有16个视频输入插座和一个九针插座。16个视频插座可供16路视频输入。九针插座则用于与电脑打印口的9位数据线相连，以供主板上主要由PT2262组成的编码电路进行编码。但是，无论是16路视频、编码信号、直流电源和地，它们均可通过电路板插座给16块视频切换电路板提供接口。
每块视频切换电路板均包括解码电路、16路模拟开关电路和视频放大电路。电路板的后面有一个视频插座输出。图1所示是16选1视频切换电路图。其原理图框如图2所示。
在图1中，编码信号从IC1（PT2272L4）的数据输入引脚（14）输入后，如果它的地址码（由四位编码开关SW1预置）与编码地址相同，电路系统将从数据输出脚（10～13）输出锁定的数据（如03H）。当16路模拟开关IC2（CD4067）的数据输入口（10～14）接收到03H数据后，第3号模拟开关被接通，这样，第7脚输入的第3路视频信号将从I/O口第1脚输出，并经R4、C1输入到共极晶体管（T1）放大电路的发射极，最终由集电极输出放大的视频信号。此视频信号再经射极跟随器（T2）后将输出阻抗为75Ω的1Vp-p视频信号进行输出，此时便完成了16选1的视频切换过程。R4用于调整输出幅度的大小，阻值大约在1kΩ左右；C1是高频补偿电容，约100pF。该电路十分简单，因此，整个切换矩阵的成本也很低。16块视频切换电路板的地址可分别设置为0H～FH。编码电路
图3是由PT2262编码器组成的编码电路原理图，利用该电路可以在电脑打印口输入9位数据。其中最高一位是控制数据，其余8位中的高4位是地址码，低4位是数据码。一般情况下，高4位输入到编码器IC（PT2262）的1～4脚，低4位输入到数据位10～13脚。当有数据输入时，最高一位控控数据输出为高电平，从而使倒相器T的集电极输出低电平，以使PT2262的使能端（14脚）有效，最后在其编码输出端（17脚）输出串行的编码信号。软件编程
4.1 控制界面的设计
控制界面的设计有两种方案，第一种为16行，每行16个铵键。每行的按键都是互锁。第二种方案是一共两行，每行16个按键。第一行是切换器的选择键，第二行是视频输出选择键，两行的按键也是互锁的。
在上述两种方案中，第一方案只需按一个按键便可切换图像；而第二方案则要按两个键，第一次先选切换器，第二次才切换出图像。
4.2 数据结构
采用VB或Delphi语言编写控制软件可在打印口输出9位数据，以控制电脑分二次分送数据，第一次是低8位，第二次是最高一位。在低8位中，高4位为地址码0H-FH，可用于表示第1至16行视频切换器的地址，低4位为每行16选1的数据码。当在界面上点按按键时，按下时输出数据，放开时数据复零。所有需锁存的数据均由硬件来实现。
在第一种方案中，按每一个按键，打印口都输出数据；而第二种方案只有按第二行时才输出数据，而且同一个按键有16个地址，这要视第一行按键选取哪一个键来定。
结束语
视频切换矩阵一般用于比较大型的闭路电路监控系统，本文介绍的16×16视频切换矩阵的成本很低，而且稍作改动，就可变成16×8、16×4、16×2的产品。如果在几路视频输出中不要求重复出现，就可以方便地将其改变成256路视频输入/16路视频输出、128路视频输入/8路视频输出、64路视频输入/4路视频输出等规格的产品。
篇6：网络音视频编解码器讲解
随着人类文明的高度发展, 人类对信息的实时需求也越来越丰富。能够通过文字、语音、图像和视频等各种方式进行随时随地的信息交流是人们十分渴望的, 近代飞速发展的科学技术, 也正在不断满足人类的这些需求。随着视频压缩技术和网络技术的发展, 可视对讲、可视电话、视频会议、视频监控、网络直播等多媒体业务成为了人们关注的热点。
1 H.264视频压缩标准及流媒体技术
1.1 H.264视频压缩技术
1.1.1 H.264标准的主要特点
(1) 具有更高的编码效率;
(2) 具有高质量的视频画面;
(3) 具有更强的网络适应能力;
(4) 采用混合编码结构;
(5) 具有较少编码选项;
(6) 可应用在多种环境下;
(7) 具有错误恢复功能。
1.1.2 H.264标准的关键技术
(1) 分层设计
H.264的算法在概念上可以分为两层:视频编码层和网络提取层。视频编码层主要用来更高效的视频内容编码, 网络提取层则主要用来根据网络的要求, 以恰当的方式对数据进行打包和传送。在视频编码层和网络提取层之间定义了一个基于分组方式的接口, 打包和相应的信令属于网络提取层的一部分。这样, 高效的编码率和良好的网络适应任务可以分别由它们来完成。
(2) 帧内预测编码
帧内预测编码包括:4×4亮度帧内预测模式、16×16亮度帧内预测模式、8×8色度块帧内预测模式。
(3) 帧间预测编码
H.264采用了更加先进的技术, 允许编码器使用多于一帧的先前帧用于运动估计, 以提高运动估计和运动补偿的精度和效率。一般我们是通过运动估值和运动补偿来利用时域相关性的。
(4) 熵编码
熵编码是无损压缩编码方法, 它生成的码流可以经解码无失真地恢复出原数据。H.264提供了两种熵编码方法:一种是基于上下文的自适应变长编码与普通变字长编码相结合的编码, 另一种是基于上下文的自适应二进制算术编码。
1.2 视频网络传输的流媒体技术
流媒体本质上是指采用流式传输的方式在互联网播放的多媒体格式。流式传输的过程一般如下:当用户选择流媒体服务后, Web浏览器与服务器之间通过使用HTTP/TCP交换控制信息, 来把需要传输的实时数据从原始信息中检索出来;然后Web浏览器启动音视频客户端程序, 使用HTTP从Web服务器检索相关参数对音视频客户端程序进行初始化;音视频客户程序及音视频服务器运行实时流协议, 用来交换音视频传输所需的控制信息, 实时流协议提供执行播放、快进、快倒、暂停及录制等命令的方法;音视频服务器使用RTP/UDP协议将音视频数据传输给音视频客户端程序, 一旦音视频数据抵达客户端, 音视频客户程序即可播放输出。
流媒体技术的实现主要是流式传输的实现, 而流式传输除了需要经过处理的多媒体数据和足够的缓存外, 更重要的是需要适当的协议, 才能保证流式传输的顺利进行, 流式传输中主要使用实时传输协议RTP与实时传输控制协议RTCP、实时流放协议RTSP、资源保留协议RSVP协议。
2 视频网络传输系统的实现
网络摄像机可以将影像通过网络传至地球另一端, 也可用于局域网内。网络摄像机是网络视频监控系统的主要组成部分, 它在网络视频监控系统中是视频监控终端, 由摄相机捕捉到的视频画面, 被其进行视频编码、打包, 然后依靠流媒体技术, 通过网络将其传送到显示终端。
网络摄像机的视频数据先以单播RTP的方式传输到Darwin流媒体服务器, 再由该服务器直接存储, 或以广播或多播的方式使用RTSP协议中转到每个客户端, 从而可以实现在多个客户端的视频点播或实时视频直播。
3 小结
H.264技术具有更精确的预测能力和更高的容错能力, 因此可实现更高的压缩效率, 它将有可能推动视频编码器进一步向前发展。随着H.264格式更加广泛地应用于网络摄像机, 系统设计商和集成商将需要确保他们所选择的产品和厂商能够支持这一全新的开放标准。
参考文献
[1]王彩霞, 赵刚, 刘三民.H.264的视频压缩技术的研究与分析[J].计算机与信息技术, 2009, 1 (Z1) :46-52.
[2]楼剑, 虞露.新一代的视频编解码标准:H.264[J].当代通信, 2003 (5) :27-31.
[3]周华.音视频编解码技术H.264的应用研究[J].福建电脑, 2006 (6) :42-43.
[4]杜晔.流媒体技术的原理和应用[J].光盘技术, 2008 (7) :9-11.
[5]张银才.流媒体技市及其应用[J].有线电视技术, 2009 (3) :38-40.
篇7：网络音视频编解码器讲解
在信号压缩编码中,传统思路是先采样获得信号完整样本,再对信号进行小波或离散余弦等变换,最后舍弃变换域中0或接近于0的系数,对少数重要系数进行压缩编码以及传输。但是此方式存在采样所得数据量大、对存储容量以及处理速度要求较高和采样获得的大量数据被抛弃等缺点。鉴于传统方法的不足,探索克服这些缺点的新途径一直是学者们关注的问题。近几年被人们高度关注的压缩采样(Compressive sampling)为解决上述问题开启了新思路。压缩采样理论由Donoho[1]等人提出,其本质是对信号进行非自适应线性投影,获得远低于Nyquist采样率采样的观测数据,并通过求解相关最优化问题重构原始信号[2]。其优点在于实现了采样与压缩的结合,并且信号的观测数据量少,突破了香农采样定理的瓶颈。
近些年,一系列压缩采样理论文献相继出现[3,4,5],尽管一些文献[6,7,8]阐述了压缩采样在视频编码中的应用,但是有限的硬件能力限制了其应用[9]。文献[6]将视频帧分成参考帧与非参考帧,但没有充分利用视频帧的时间相关性,文献[9]利用相邻两帧中残差帧的稀疏特性,提出一种基于压缩采样的快速视频编解码算法,但是仅仅是将视频残差帧整体进行处理,造成CS测量值分配不合理,导致视频重建质量不高。
本文在文献[9]的基础上提出一种基于CS的改进型自适应快速视频编码方法,提高了视频序列时间相关性运用,并采用更为合理的分块观测的方法分配观测值,并通过实验证明了该编码方法的有效性。
1 Compressive sampling理论框架
假设长度为N的离散实值信号f,记为f(n),n∈[1,2,…,N],由信号处理理论可知,f能够被一组变换基Ψ=[Ψ1,Ψ2,…,ΨN]的线性组合表示,则有
式中:αK=
式中:Θ=ΦΨ,Φ称为测量矩阵,大小为M×N,M
2 系统方案
对所提出的结合SRM[10]和GPSR[11]算法的视频压缩编码框架进行描述,采用结构化随机矩阵SRM为测量矩阵Φ,选取DCT变换为正交基Ψ。SRM能够满足CS的RIP条件,适合于实时、分布式应用,编码简单,并且支持解码器快速重建。针对文献[9]算法,现提出以下几点改进:
1)P帧可选择性地参考前面最靠近的I帧或P帧,充分利用能够视频时间相关性。
2)将P帧进行分块处理,对满足条件的块采用Skip模式编码,从而减小码率和降低解码复杂度。
3)根据P帧各分块稀疏程度分配观测值数,从而更合理地分配观测数,提高视频帧重建质量。
2.1 编码器
本文所提出的视频编码器框图如图1所示。与传统编码器类似,同样包括帧内编码I帧和帧间编码P帧,GoP组形式为I1P11P2…P1 n-1P1 n。在预处理后,使用SRM对I帧进行CS观测,因为I帧在变换域的稀疏度不够高,需设置较高的采样速率N,从而保证I帧有较高的重建质量,P帧采用帧间编码,在预处理后,P帧通过相关性判断,选择相应的参考帧,并通过减去参考帧变成残差帧,随后将P帧分块,根据各块稀疏度计算出观测数,最后获得观测数据。随后,观测数据再经量化、熵编码形成比特流进行传输或存储。
1)P帧参考帧选择
为了最大限度地利用视频的时间相关性,针对IPP…PPI,本文所用P帧参考帧选择方法为:首先计算将要编码的P帧与I帧的相关性Corr,如果Corr大于阈值V,则此P帧参考I帧编码,否则,将参考前一帧编码。
2)P帧分块处理
将P帧进行分块处理,引入Skip模式,如果P帧块B相对于参考帧对应位置变换很小,编码器对此块不再做编码处理,只需传输1 bit标记位标记,解码时直接将参考帧对应位置拷贝,将此编码方式命名为Skip模式。尽管判断块B采用Skip方式增加了编码器的复杂度,但是有降低码率和降低解码器复杂度等优点。
3)测量值分配
P帧分块后,每个块的稀疏程度不同,在不考虑丢失的情况下,视频帧重建质量Q∝KM,M为观测数,K为稀疏度。引入文献[6]的稀疏测量方法(设有正常数Z和整数阈值T,如果残差块DCT域稀疏小于Z的个数P大于阈值T,则表示此块为稀疏块,否则为非稀疏块,记K=H-P,K表示块稀疏度)。测量值分配主要思想是根据各块稀疏程度进行测量值分配。算法主要步骤为:
1)根据稀疏测量方法计算各块的稀疏度分别为K1,K2,…,Kn,其中设置使用Skip模式编码的视频块稀疏度
2)计算各块的观测值为
式中:p取1~n,Mp表示第p块CS观测值。
3)根据求得的观测值,各块分别进行CS随机观测。
2.2 解码器
解码器框图如图2所示。当解码端接收到视频比特流数据后,对这些数据进行反熵编码和反量化。I帧直接以帧内模式使用GPSR算法重建,P帧先判断所选参考帧,分块重建出残差帧,再经过后处理得到重建视频帧。
3 实验仿真
在权衡压缩效率和重建质量后,将GoP组设置为10,即1个参考帧和9个残差帧,将P帧分成32×32的块。所用视频测试序列是CIF格式的“salesman”和“foreman”。在CS观测中,所用正交基Ψ为DCT变化,所用的测量矩阵为结构化随机矩阵SRM,选用基于L1的GPSR算法为图像重建算法。
在实验中,视频序列被分成5个GoP组,每个组有10帧。相关性阈值Corr设置为0.9。每GoP组I帧使用帧内编码,观测数N被依次设置成0.3,0.5,0.7(观测数占每帧总像素个数的比例),GoP组内P帧使用残差帧进行帧内编码,观测数N1依次置成0.1~0.8(观测数占每帧总像素个数的比例)。重建视频序列平均PSNR在不同的(N,N1)点的曲线,如图3所示。
由图3可知,本文提出的改进型方法在进行一步充分利用视频序列时间相关性以及观测值更为合理分配的基础上,比原方法的平均视频序列PSNR要高出1~2 dB。
图4是对原视频第4帧的重建图像。当N和N1变化时,重建后的图像如图4a~图4f所示,其中图4a~图4c为文献[9]的算法重建的图像,图4d~图4f为本文提出的改进方法重建的视频图像。
4 小结
本文提出了一种基于CS理论的改进型视频编码方法。与文献[9]视频编码方法相比,所提方法更加注重利用视频的时间相关性,并提出一种根据视频块稀疏程度合理分配CS观测值的分配方法,而且实验部分包含量化和熵编码部分,具有实际意义。但是对图像运动较为剧烈的视频还存在问题,以后的工作是对编解码器进行相应的改进以适应较为剧烈的运动。
参考文献
[1]DONOHO D.Compressed sensing[J].IEEE Trans.Information Theory,2006,52(4):1289-1306.
[2]喻玲娟,谢晓春.压缩感知理论简介[J].电视技术,2008,32(12):16-18.
[3]CANDES E,ROMBERG J,TAO T.Robust uncertainty principles:exacts ignal reconstruction from highly incomplete frequency information[J].I EEE Trans.Information Theory,2006,52(2):489-509.
[4]BARANIUK R G.Compressive sensing(lecture notes)[J].IEEE Trans.S ignal Processing Magazine,2007,24(7):118-121.
[5]DUARTE M F,DAVENPORT M A,TAKHAR D,et al.Single-pixeli maging via compressive sampling[J].IEEE Trans.Signal ProcessingM agazine,2008,25(2):83-91.
[6]STANKOVIC V,STANKOVIC L,CHENG S.Compressive video sampling[EB/OL].[2010-08-09].http://www.eurasip.org/Proceedings/Eusipco/E usipco2008/papers/1569099804.pdf.
[7]MARCIA R F,WILLETT R M.Compressive coded aperture videor econstruction[EB/OL].[2010-08-09].http://people.ee.duke.edu/~willett/p apers/MarciaEUSIPCO2008.pdf.
[8]PARK J Y,WAKIN M B.A multiscale framework for compressives ensing of video[EB/OL].[2010-08-09].http://inside.mines.edu/~mwakin/p apers/jyp-mbw-videocs-pcs2009.pdf.
[9]谢晓春,赖昭胜,杨汉祥.基于压缩感知理论的视频编解码器[J].电视技术,2010,34(5):14-17.
[10]DO T T,GAN L,NGUYEN N,et al.Fast and efficient compressives ensing using structurally random matrices[EB/OL].[2010-08-09].h ttp://thanglong.ece.jhu.edu/namnguyen/SRM_journal.pdf.
篇8：网络音视频编解码器讲解
目前基于压缩感知的编解码器大多采用对视频帧图像进行固定分组的形式来处理，这种固定分组的形式应用在场景变化不大的情况下，视频帧的重构效果还是比较理想的[5,6]，但是一旦视频中出现场景快速变化的情况，其重构视频帧的效果并不佳。因此，如何能适应视频场景的快速变化，对各类视频均能达到比较理想的重构效果，便成为其实际应用中急需解决的关键问题。
1 压缩感知理论及其视频编解码
1.1 压缩感知理论
压缩感知理论指出:若信号具有可压缩性或在某个变换域是稀疏的，则可以用一个观测矩阵(与变换基不相关)将变换后得到的高维信号投影到低维空间上，然后通过求解优化问题，从这些少量的投影中高概率地重构出原信号。
对于离散实值信号X(n),n=1,2，…，N，若其在某个正交基或紧框架ΨN×N(ΨT=[ψ1，ψ2，…，ψN])下的变换系数Θ是稀疏的，则
其中，变换系数Θ仅有K(KN)个非零元素，其余N-K个元素为零或接近于零，那么就可以用一个与变换基Ψ不相关的观测基ΦM×N(MN)对系数进行线性变换，得到观测集合
由于MN，该方程组为欠定方程组，如果观测基Φ与变换基Ψ满足有限等距性质(Restricted Isometry Property,RIP)[7]，则可利用l1范数下的最优化问题求解系数Θ
从而求出X精确或近似逼近的X^。
1.2 基于压缩感知理论的视频编解码研究
2008年，文献[8]将压缩感知理论引入到视频压缩采样中，显著地降低了视频压缩采样时的采样率。文献[9,10]提出了一种基于压缩感知理论的视频编解码器。该视频编解码器利用视频图像在变换域上的可压缩性和视频残差图像的稀疏性，大大降低了恢复视频时所需的图像样本数。并且以整幅图像进行处理，而不是采用传统视频编解码器的以块作为处理单元的方式，也不再需要H.26x视频编码标准下帧间编码的运动估计和补偿，有利于降低运算的复杂度。
文献[11,12]提出了分布式视频压缩感知(Distributed Compressed Video Sensing)理论，将原有的分布式视频编码技术与压缩感知理论进行了融合。该视频编解码理论是在编码端对信源进行独立编码，利用相邻帧之间CS测量值的相关性，在解码器中并入边信息生成方案进行联合解码，将编码的运算复杂度从编码侧移到解码侧。分布式视频编码器编码码流具有一定的抗误码能力，比较适合应用于无线网络中资源受限的视频编码设备。
上述两种基于压缩感知的视频编解码器，前一种是利用视频信号在像素域的相关性，对帧间残差进行测量编码以提高感知帧的重构质量，后一种则是利用视频信号在稀疏域的相关性提高感知帧的编解码速度。
文献[13]针对不同应用需求对于视频恢复质量和编解码效率要求的不同，提出了一种混合式压缩感知视频编解码方案。该方案是基于前两种压缩感知视频编解码理论，提出设定一个参数Function，用于自适应判决为当前视频帧图像组选择前面两种编解码方案中的哪一种来进行编解码。
以上提出的3种基于压缩感知的编解码器均采用对视频帧图像进行固定分组的形式来处理。在编码前，先将视频帧图像分成若干图像组，每N帧为1组(通常为8帧)，并将每组中的第1帧设为关键帧，其他为非关键帧(或CS帧)。对关键帧采用帧内编码，即对整帧图像单独进行编解码;非关键帧则采用帧间编码，以关键帧或前一帧的解码重构帧作为参考帧，并与当前帧求残差，再对残差图像进行编码，解码端根据残差和参考帧图像重构非关键帧图像。
这种固定分组的形式应用在场景变化不大的情况下，视频帧的重构效果还是比较理想的，但是一旦视频中出现场景快速变化的情况，其重构视频帧的效果并不佳。
2 基于压缩感知的自适应帧图像分组视频编解码器
针对上述问题，本文提出一种基于压缩感知的自适应帧图像分组视频编解码器。
2.1 自适应帧图像分组原理
本研究通过自适应地判别和选取关键帧来达到自适应帧图像分组的目的。为实现自适应地判别和选取关键帧，采取设定阈值的方法———该阈值用于判断当前帧与参考帧的差异性。视频的首帧默认设为关键帧，从第二帧起，如果当前帧与参考帧之间的差异较小，即没有场景的快速变化，则将当前帧归于当前关键帧一组，并将当前帧定义为非关键帧;如果当前帧与参考帧之间的差异较大，即存在场景的快速变化，则将当前帧划为一个新组并将该帧作为新分组的关键帧。这样就实现了自适应帧图像分组，每组帧数不等，随视频场景的变化而不同。
判断两幅图像差异性的方法常用的有3种:均方误差(Mean Squared Error,MSE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似法(Structural Similarity Index Metric,SSIM)。对于图像而言，两幅图像均方误差的取值范围较宽，不适宜于选取阈值;而结构相似法计算较为复杂，也不适合作为阈值判定参数。因此，本研究选取峰值信噪比作为图像差异性的判断依据和阈值判定参数。
2.2 基于压缩感知的自适应帧图像分组视频编码器设计
基于压缩感知的自适应帧图像分组视频编码器设计原理如图1所示。
在对帧图像进行预处理前加入阈值判决模块，用于判决当前帧为关键帧还是非关键帧。对关键帧采用帧内编码方式，即对整帧图像进行压缩感知变换和测量，然后编码输出，同时通过重构和反变换得到参考帧图像放入帧存储，用于后续帧进行阈值判决和帧间编码方式下求残差或求和;对非关键帧采用帧间编码方式，即先将非关键帧图像与参考帧图像求残差，之后仅对残差图像进行压缩感知变换和测量，然后编码输出，同时通过重构和反变换得到重构的残差图像，并将其与之前求残差时的参考帧图像相加，得到新的参考帧图像放入帧存储，同样用于后续帧进行阈值判决和帧间编码方式下求残差或求和。
2.3 基于压缩感知的自适应帧图像分组视频解码器设计
基于压缩感知的自适应帧图像分组视频解码器设计原理如图2所示。
对关键帧采用帧内解码方式，接收码流解码后，进行重构和反变换得到重构的关键帧图像，将其放入帧存储作为后续帧的参考帧图像并输出;对非关键帧采用帧间解码方式，接收码流解码后，进行重构和反变换得到重构的残差图像，然后将重构的残差图像与帧存储中的参考帧图像相加得到非关键帧重构图像，同样将其放入帧存储作为后续帧的参考帧并输出。
2.4 实现流程
基于压缩感知的自适应帧图像分组视频编解码器的实现流程如图3所示。
视频序列输入编码器时，把视频序列的首帧作为第一个分组(Group1)的第一个关键帧(Key1)。从视频的第二帧开始即进行阈值判决，若当前帧与参考帧之间的差异系数小于阈值，则判定为场景变化较小或者没有场景的变化，该帧就作为非关键帧与当前关键帧划在同一分组;若当前帧与参考帧之间的差异系数大于或等于阈值，则判定为场景变化较大，该帧就作为新的关键帧(Key2)并划入新的分组(Group2)。以此重复，将视频信号自适应地划分为Group1,Group2，…，GroupN,N个分组，并对应有Key1,Key2，…，KeyN,N个关键帧和若干非关键帧。对关键帧整帧图像进行CS编码、传输、解码，然后重构关键帧图像输出;对非关键帧则先与参考帧求残差，然后只对残差图像进行CS编码、传输、解码，重构残差图像后与参考帧相加，得到非关键帧重构图像输出。
3 实验及结果分析
为了对比固定分组和自适应帧图像分组压缩感知编解码器的性能，本研究分别对3组变化速度不同的视频cup_slow,cup_both和cup_fast进行测试:视频cup_slow中场景变化缓慢;视频cup_both中部分场景变化缓慢，部分场景变化较快;视频cup_fast中场景变化迅速。3组视频帧图像大小均为432×240像素。实验中，变换基采用Daubechies9/7小波基，测量矩阵采用32×32随机扰动分块Hadamard矩阵，重构算法采用GPSR算法。
固定分组模式(VCS_F)下，每8帧一组，每组第一帧为关键帧，其他为非关键帧，参考帧为前一帧的重构帧。设定关键帧测量率为0.6，非关键帧测量率为0.3。
自适应分组模式(VCS_Ad)下，每组帧数不定，由阈值判决决定，设定阈值T=28，每组第一帧为关键帧，其他为非关键帧，参考帧为前一帧的重构帧。设定关键帧测量率为0.6，非关键帧测量率为0.3。
得到实验数据如表1所示。
从表1中可以看出，对于场景变化缓慢的视频cup_slow，两种模式重构视频的平均PSNR基本相等且都较高。说明在此情况下，两种模式均能很好地保证视频的重构质量，处理效果不相上下。同时可以看到场景变化缓慢情况下，自适应分组模式所需的关键帧明显少于固定分组模式，视频的平均测量率也更低，这说明自适应分组模式在场景变化缓慢时能以更低的采样率重构视频并且保证重构视频质量。重构效果图对比如图4所示。
对于部分场景变化缓慢、部分场景变化较快的视频cup_both，两种模式下视频的平均测量率基本相等，自适应分组模式下重构视频的平均PSNR略高。说明在此情况下，自适应分组模式对视频的处理效果略佳，每帧平均重构时间略短。重构效果图对比如图5、图6所示。
对于场景变化较快的视频cup_fast，固定分组模式下重构视频的平均PSNR明显下降，视频重构效果较差，而自适应分组模式下重构视频的平均PSNR仍然保持较高，视频重构效果较好，且每帧平均重构时间更短，说明在此情况下，自适应分组模式对视频的处理效果明显优于固定分组模式。重构效果图对比如图7所示。
综合表1与图4～7可见，本研究提出的基于压缩感知的自适应帧图像分组视频编解码器可以适应不同的场景变化，对各类视频均能有较好的重构效果，尤其是对于场景快速变化的视频，重构效果明显优于现有的固定分组模式。
4 小结
本文提出的压缩感知自适应帧图像分组视频编解码器，可以解决当前视频编解码器视频帧图像固定分组模式的不足。该编解码器不仅在场景变化缓慢时，能获得比较理想的视频帧重构效果，并且在出现场景快速变换时，也能得到较好的视频帧重构效果。
经多次实验验证，本文算法在阈值为28时，可以得到较好的效果。事实上，该阈值可以根据压缩编解码的不同需求来自行设定。下一步的研究将围绕阈值的优化及其是否能够根据视频变化而自适应性调整展开。
摘要：目前基于压缩感知的视频编解码器在对视频帧图像进行处理时大多采用固定分组的形式,视频中出现场景快速变化时,其重构视频帧的效果较差。提出一种基于压缩感知的自适应帧图像分组视频编解码器,无论场景变化快慢,均能获到较好的视频帧重构效果。实验结果表明,视频场景快速变换时该编解码器的视频帧重构效果较好。
【网络音视频编解码器讲解】相关文章：
PT2262PT2272编解码IC在视频切换矩阵中的应用04-19
网络视频贴片广告05-10
网络视频营销策略论文04-18
网络视频广播技术05-10
网络视频优势研究论文04-20
网络视频营销策略论文提纲11-15
视频网络教学公共艺术论文04-16
网络视频课程影视制作论文04-26
网络视频广告的优秀特质论文04-30
网络构建视频会议技术分析论文04-30