1.广东省交通运输档案信息管理中心 510000 2.广州市坤龙信息系统有限公司 510000
摘要：采用RTMP视频传输协议，将高速公路异构视频进行二次编码、统一编码格式、传输，解决视频编解码的互联互通，同时设备支持对多种视频编码格式解码，并进行图片抽图、传输、存储，应用于道路实况信息的可视化信息发布。
关键词：RTMP；编码；解码；DSP
1背景
高速公路视频监控系统是获取道路实时路况信息最有效、最直观的手段。然而高速公路公司同时存在各种不同品牌、型号的视频监控设备，缺乏统一的视频编码标准，大多数视频编、解码设备之间无法实现互联互通。而且，全路段的大规模实时视频监控一般只适合管理者在监控管理中心调用，在移动互联的应用方面经济上也不可行，无法适应和满足普罗大众出行者的基本出行服务需求。
本项目研究开发关键设备“异构视频图像图片接入服务器”，实现标准化视频格式进行二次编码、抽图、传输并存储到云服务器，最终利用移动互联技术实现道路实况信息的可视化发布。实现一个轻量级的可视化道路实况发布系统，可以在有限带宽下，将采集到的图片进行可视化监控管理与发布，“有图就有真相”，可以更好地满足交通管理和出行信息服务需求，实时路况一目了然，“一图胜过千言万语”，非常适合基于移动互联的道路实时路况信息的发布。
2 研究内容
（1）主要研制“异构视频图像图片接入服务器”，将异构的交通视频标准化进行二次编码、图片抽图。应用于道路实况信息的可视化信息发布，包括PC 端Web 网站和移动互联端APP 等。
（2）支持接入多种不同品牌、型号的数字化视频设备，包括各种硬盘录像机DVR、视频服务器DVS、IP 摄像机、网络数字硬盘录像机NVR等。对多路输入视频源进行视频解码后抽取单帧图像进行JPEG 图片格式编码，性能要求在一分钟内实现不低于400 路视频的处理能力。
（3）拟采用X86 架构通用服务器平台或嵌入式DSP平台进行研发，进行系统级编程，包括核心编码、解码等算法的处理。
3系统设计
3.1总体结构设计
图2-1 系统结构图
系统具体实现流程如下：
在机房部署异构视频图像图片接入服务器；
在中心部署管理服务器，连接各地的接入服务器，用于调度和数据汇集；
连接视频设备，支持OnVif、RTSP、UDP多格式及部分私有协议连接；
视频解码、抽取图片；
抽取的图片上传至中心服务器；
视频二次编码降低带宽后，上传到中心实时观看。
3.2DSP芯片选型
DSP应用系统的运算量是确定选用处理能力为多大的DSP芯片的基础。运算量大的DSP系统则必须选用处理能力强的DSP芯片，如果DSP芯片的处理能力达不到系统要求，则必须用多个DSP芯片并行处理。
设备采用TI DM8168，DM8168是一款浮点DSP C674x+ARM Cortex-A8高性能视频处理器，采用核心板+底板方式，核心板采用B2B工业级连接器，稳定、可靠、便捷。
3.3系统设计
2.3.1 框架设计
设备底板支持4-8个DSP，多核DSP整个地址空间由多个独立的地址空间构成，它们在逻辑上也是独立的，远程的处理器不能对其直接寻址，相同的物理地址指向不同存储器的不同单元，每个DSP一存储器模块实际上是一个单独的计算机。设计人员首先确定并行方案，然后给每个DSP编写相应的处理程序，完成通信和同步的设计。
图2-2 硬件框架图
2.3.2 关键解码算法
MPEG-2解码算法
余弦变换DCT。DCT是一种空间变换，在MPEG-2中DCT以8x8的像块为单位进行，生成的是8x8的DCT系数数据块。
量化器。量化是针对DCT变换系数进行的，量化过程就是以某个量化步长去除DCT系数。量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含的信息越多，但所需的传输频带越高。
之型扫描与游程编码 DCT变换产生的是一8x8的二维数组，为进行传输，还须将其转换为一维排列方式。有两种二维到一维的转换方式，或称扫描方式：之型扫描(Zig-Zag)和交替扫描，其中之型扫描是最常用的一种。。
熵编码。采用熵编码可以提高编码效率。熵编码是基于编码信号的统计特性，使得平均比特率下降。游程和非零系数既可独立的，也可联合的作熵编码。
H.264解码算法
可变块大小运动补偿： 选择运动补偿大小和形状比以前的标准更灵活，最小的亮度运动补偿块可以小到4×4。
1/4采样精度运动补偿：以前的标准最多1/2精度运动补偿，首次1/4采样精度运动补偿出现在MPEG-4第二部分高级类部分，但H.264/AVC大大减少了内插处理的复杂度。
运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参考图像的内部。
多参考图像运动补偿：在MPEG-2中，P帧只使用一帧，B帧只使用两帧图像进行预测。
MPEG-4解码算法
MPEG-4主要由形状编码、纹理编码和运动编码三部分组成。帧格式分为I-VoP，P-VOP和B-VOP。
形状编码：主要用于记录从图像序列中提取VOP的形状信息。
纹理编码主要对I-VOP内的图像像素或P-VOP内的差值像素进行编码。
DC和AC预测：8×8块经过DCT和量化后，系数排列呈现以下的规律，即非零系数集中在左上角，大部分的0系数集中在偏离DC系数向右和向下的位置上。
AC预测：主要是针对8×8块的第一行或者第一列AC系数，其预测方向取决于当前块DC系数的预测方向。
运动编码：通常采用块匹配法进行运动估计。
H.265解码算法
帧内预测：帧内预测的主要功能是去除图像的空间相关性，通过编码后的重构信息块来预测当前像素块以去除空间冗余信息，提高图像的压缩效率。
帧间预测：帧间预测的主要功能是去除时间相关性，通过将已编码的图像作为当前帧的参考图像，来获取各个块的运动信息，从而去除时间冗余，提高压缩效率。
运动信息融合技术（Merge）：利用空域相关性和时域相关性来减少相邻块之间的运动参数冗余，具体来说就是取其相邻PU的运动参数作为当前PU的运动参数。
先进的运动矢量预测技术（Advanced Motion Vector Predictor，AMVP）：AMVP是利用空域相关性和时域相关性来减少运动参数的冗余。
2.3.3 传输技术
RTMP协议是一个互联网TCP/IP五层体系结构中应用层的协议。RTMP协议中基本的数据单元称为消息（Message）。当RTMP协议在互联网中传输数据的时候，消息会被拆分成更小的单元，称为消息块（Chunk）。
消息：RTMP协议中基本的数据单元。不同种类的消息包含不同的Message Type ID，代表不同的功能。
消息块：在网络上传输数据时，消息需要被拆分成较小的数据块，才适合在相应的网络环境上传输。
消息分块：在消息被分割成几个消息块的过程中，消息负载部分（Message Body）被分割成大小固定的数据块（默认是128字节，最后一个数据块可以小于该固定长度），并在其首部加上消息块首部（Chunk Header），就组成了相应的消息块。
2.3.4 功能设计
动态实时调度：对摄像头进行实时切换选择并上传视频流，任意实时选择监控源观看；
兼容新老摄像头：具有强大的视频处理能力，对区域内的摄像头进行协议适配（UDP/SDP/Onvif），并将多格式视频流统一转码为标准H.264视频流；
图片预览：将所有摄像头的视频流按照设置的间隔抽取图片并上传，实现基于图片的全区域宏观预览，同时动态选择所需的视频精准观看；
降低传输带宽：支持多路视频拼接、视频二次高效压缩来进一步降低传输带宽；
视频直播：支持互联网视频直播，可将监控视频对外分发，用户使用手机、电脑等在异地实时观看监控视频，实现远程监控、路况公众直播等服务；
互联网/专网兼容：由于极大地降低了带宽，演进方案可使用互联网连接中心和区域，降低专网成本。
网络安全：基于加密控制和视频协议转换，在不替换原有摄像头部署的前提下实现了集中的网络安全防护。
4总结
通过该技术实践，标准化视频格式编码，解决各厂家视频编、解码设备间视频码流互编互解，同时提供轻量级视频图片互联网解决方案，支持互联网视频直播，可将监控视频对外分发，提供图片检索服务，用户使用手机、电脑等在异地实时观看监控视频或现场图片，实现远程监控、路况公众直播等服务。
论文作者:郑治勇1,张富强1,洪化锋2,陆细利2
论文发表刊物:《基层建设》2018年第12期
论文发表时间:2018/6/13
标签：视频论文; 图像论文; 系数论文; 消息论文; 互联网论文; 图片论文; 实时论文; 《基层建设》2018年第12期论文;