山西省太原高速公路有限公司 山西太原 030006
摘要:视频监控系统一般具有监控点分布广、摄像头数量多、监控时间长等特点,采集数据的时间往往长达十几天或几十天。因此应用在视频监控系统中的存储设备在数据读写方式上具有与其他类型系统不同的特点,不同点主要表现在以下几个方面。编码器或采集服务器以流方式写入数据,实时存储监控点的实时图像和画面,存储的文件类型为流媒体文件,因此检索服务器也会以流方式读取已存储的视频文件。数据读写操作的持续时间长。由于摄像头一般都是7×24h工作的,即使采集后视频数据采用分段保存,写入操作的持续时间也有可能长达十几个小时,后期回放时也需要相同的时间。为了保证视频采集过程和回放过程中不会出现丢帧现象,存储系统必须要有足够的带宽。除了数据读写时间长外,由于视频采集过程中,视频文件格式一般都不会发生变化,且码率保持相对恒定,因此视频监控系统的读写操作还具有码率恒定,也就是带宽恒定的特点。视频监控系统对存储的读写方式与传统不同,与数据库系统存储和文件服务器存储采用的小数据块读写或文件传输读写方式有着根本的区别,大数据块、高并发的访问模式对存储系统有新的要求,因此视频监控系统不能采用数据库系统等常用的存储设备。容量巨大,视频监控系统一般具有摄像头数量多,视频图像存储时间长,在高清化的今天,数据量已经出现十几倍的增长,PB级数据量屡见不鲜。因此视频监控系统的存储必须支持超大容量,且容量具有高扩展性,满足长时间大容量视频图像存储的需求。数据量的规模爆发式增长对于存储设备和数据的管理都提出了新的挑战。既能高效存储、灵活调用,又要做到数据安全、统一管理,并且在和多种应用系统复用上和数据分享上也有进一步需求。近年来存储技术高速发展,存储设备价格不断下降,专业存储系统具备了在视频监控行业广泛应用的基础。但是在实际应用中采用何种存储技术和方案还要根据用户的实际情况,包括系统投资数量、系统规模、现有环境等诸多方面考虑
关键词:分布式存储;集群存储架构;视频监控
1分布式存储技术优势
1.1技术先进性
自2011年起,云计算成为国家战略,作为其中核心技术和应用推广最快的部分,分布式存储是搭建整体云平台不可或缺的重要基石。实现云平台必须包含分布式存储。分布式存储能够打破传统存储解决方案的数据孤岛,实现数据互联互通,将推动安防视频监控系统向着集通信、运算、存储及应用于一身的统一平台发展,而非局限于整体系统中重复建设的一个IT子系统。
1.2安全可控
(1)自主知识产权,核心代码级别的安全可控。(2)数据统一管理,更细致丰富的权限控制和配额,多级数据安全级别保护技术,提升安全等级。
期刊文章分类查询,尽在期刊图书馆(3)成熟的副本机制带来更高的安全级别,相对传统R A I D技术,可以更好地应对大容量硬盘带来的问题,把故障容忍度由硬盘级提高到设备级,数据更安全。
1.3良好的扩展性
(1)资源池化,轻松扩展应对未来增长。(2)超大容量,能够满足电信级别的数据需求,达上百PB,同时容量性能同步线性增长。(3)弹性架构的基础平台,能够整合现有和未来的多种应用,打破数据“孤岛”。
1.4轻松运维管理
(1)改变RAID时代坏盘、必换疲于奔命的状况,大大减轻运维管理强度。(2)系统具备良好的稳定性,可以使用低成本硬件构建分布式存储平台,降低运维成本。
2新一代高清视频监控分布式存储解决方案
2.1方案架构
N R M:N R M是统一存储管理的逻辑部件,在具体实现上可以是独立的网元,也可以作为CMS中的一部分。在单域系统中,只存在一个NRM节点。N R U:N R U负责集中存储模式下的存储I/O访问,在功能定位上类似一个存储服务器,N R U在单域系统中允许有多个节点存在,N R M根据一定的资源均衡策略将P U的媒体流存储任务分配给N R U。在设备形态上,N R U可以和S U合二为一。S U:S U是监控音视频数据的存储实体。根据存储资源在系统中所在位置的不同,可以分为前端存储单元和中心存储单元。传统跨域系统存储架构如图2所示。对于跨多个域的用户,采用分布存储的模式,P U应当将媒体流数据存储在本地归属域,即同一用户在不同域中的P U分别将媒体流数据存储在各自的本地归属域中。这种方式避免存储流对骨干网带宽的占用,同时避免跨广域网的存储带来的网络不可靠因素,确保录像的可靠存储。平台要求支持对于异域P U的中心存储。C U所在的本地域可以通过将异域的实时流引到本地域进行跨平台的存储。新的存储技术方案可以在网络可达到的任一机房中搭建分布式存储系统,通过核心机房的统一管理平台进行管理。(1)分布式存储系统在底层为监控应用平台提供基础的存储空间,通过平台管理软件,各上层应用可无缝接入使用存储空间。(2)分布式存储系统可以实现对存储节点端口的聚合,从而实现高I/O,根据测试,每个存储节点最多有4个主机端口,经过端口聚合最多可提供400Mbit/s带宽。(3)系统的高可靠性。在分布式存储系统中,当一台或多台存储节点同时发生故障时,可自动进行切换,实现由正常存储设备接管录像业务,对用户透明,确保业务系统不中断。
2.2机房部署要求
(1)网络数据节点支持千兆/万兆两种IP网络。(a)千兆数据节点:标配4端口(最小2端口,最大6端口)。元数据节点:标配4端口(最小4端口,最大6端口)(b)万兆(可选,光口/电口)数据节点:2端口。元数据节点:2端口。(2)供电元数据/数据节点所有硬件设备支持两种供电方式。交流220V;直流(可选)-48V。
2.3硬盘故障率分析
存储系统的硬盘故障率和前端应用的I/O行为模式直接相关,监控、广电应用负载大,磁盘故障率也高;磁盘故障率与磁盘类型直接相关,所统计的均为SATA硬盘,来自Segate和WD(Hitachi);磁盘故障率与机房环境相关,不同的物理条件下,比如温度,对磁盘故障率都会产生影响;当部署的分布式存储为副本方式时,数据重构对磁盘压力很小,重构时间窗口很小,因此对磁盘损耗较小;由于部署方式支持数据流定向,75%磁盘得到休眠,减轻了磁盘工作负荷,延长了磁盘寿命,坏盘率大幅降低,三年累计坏盘率低于20%;传统NVR方案中,仍然采用RAID模式,故障率相比有2~3倍的增长,在一些案例中,3年累计坏盘率超过50%。
结束语
在目前的视频监控系统中,由于存储方案的局限导致的视频监控系统性能和可靠性的下降,时刻威胁着系统的安全与稳定,而基于新一代的高清视频监控分布式存储方案提出了有效的解决办法,尤其当存储设备的性能不断提高、价格不断降低时,采用这种方式就更是必然的选择。展望未来,分布式存储解决方案必将成为大型网络视频监控存储技术的主流趋势。
参考文献
[1]梁笃国,张艳霞,曹宁,等.网络视频监控技术与智能应用[M].人民邮电出版社,2013
[2]梁笃国,张艳霞,曹宁,等.网络视频监控技术及应用[M].人民邮电出版社,2009
[3]全球云存储行业市场深度调查与2015-2019年投资发展分析研究报告[R].北京宇博智业市场咨询,2015
论文作者:牛红兵
论文发表刊物:《建筑学研究前沿》2017年第26期
论文发表时间:2018/1/31
标签:数据论文; 分布式论文; 节点论文; 端口论文; 磁盘论文; 系统论文; 监控系统论文; 《建筑学研究前沿》2017年第26期论文;