宁波轨道交通已经开通运营宁波地铁1号线，宁波地铁2号线，正在建设的包括宁波地铁3号线，宁波地铁4号线，宁波地铁5号线等项目，本文就如何实现满足反恐法要求的视频图像信息保存90天的高可靠存储方式进行阐述，提出了车站视频云存储相关方案进行探讨。
轨道交通存储现状
目前轨道交通视频监控领域的站点存储主要指SAN、一体机设备，这类设备通过RAID、增加扩展柜的方式获得了单机的大规模写入空间，满足了高密度的需求，但是对于轨道行业视频的高可靠性存储需求依然存在不足，以及对于视频应用读取仍无法做到按需分配；
云存储的架构真正做到视频的写入、读取按需分配、线性扩展，增加独立的存储节点即可获得更高的读和写性能，以及支持多硬盘、多设备节点故障，磁盘热插拔与漂移等存储的高可靠性需求，下位主要阐述轨道交通云存储的建设。
目前轨道交通行业云存储以私有云建设模式，私有云的网络是架设在建设方的数据中心的设备上，也就是内部的物理服务器和网络硬件之上，企业对于这些云中的所有要素都拥有完整的控制权，从一个安全的角度来看，这样的私有云可以满足企业对敏感和重要数据的保护的需求。
云存储技术发展的现状
从实际使用的角度来看，用户对于存储的主要需求是建、存、读、管、维。由于轨道交通视频监控行业云存储仍处于起步阶段，没有统一标准，市场上存在着云存储产品参差不齐的状况，这几个标准对应的衡量标准可以作以下几点总结：
● 建的瓶颈体现在上线部署便利程度，能否做到分钟级快速部署，能否降低设备分批上线的难易程度；
● 存的瓶颈体现在能否满足海量规模存储，单一的录像存储是否既能保证空间又能保证性能；
● 读的瓶颈体现在能否按需读取，特别是给予视频监控进行的实战业务部署，读取的性能线性增长，存储能否给予保证；
● 管的瓶颈体现在易用性，能否实时准确获取设备状态，能否把传统存储不友好的人机界面变成更加亲切的交互；
维的瓶颈在于保证设备的高可用性，如何在云存储系统把发生的故障当做一种常态并兼顾数据安全和成本二者的平衡点。
传统存储服务器都提供服务器内部磁盘间，利用RAID技术，组建各种容错等级的RAID组，来为数据可靠性提供保障。随着硬盘的容量越来越大，RAID的重构时间变得越来越长。一块3T的硬盘，在工作状态下，重构的时间有的时候甚至要达到2个星期之久。
（图片源于网络）
在重构的过程中，任一其他的数据的错误，都将导致整个数据丢失或者RAID崩溃，显然，存储节点内RAID技术，对于一定规模的云存储系统而言，是无法提供数据可靠性保证的，且由于重构时间以及重构时出错概率增加，甚至会导致可靠性降低。
在云存储领域，互联网企业广泛使用副本技术来提供数据可靠性，即一份原始数据同样的方式存多份，这对于海量低价值密度的视频监控存储系统而言，其性价比相对较低。
在大规模存储应用场景中，节点故障、数据失效是一种常态，使用EC纠删码来保证存储可靠性、数据可用性是目前的最有效方式之一。其原理是将文件数据分割成N个大小相同的原始数据块，然后编码生成M个大小相同的校验数据块，最后将原始数据块和校验数据块分别存储在不同的位置，纠删码的容错能力正是来源于这些校验数据块，在1～M个数据块损坏的情况下，整体数据仍然可以通过剩余的数据块计算得出，确保了数据仍有高可用性的同时，追求更高的存储利用率。
轨道交通云存储建设方式
轨道交通云存储系统采用单站点一套云存储系统的建设方式，多个车站形成多云的形态，在系统正常的情况下，每套云存储系统各自存储站内的高清视频，当某个站点整套云存储系统出现故障时，支持邻站或控制中心的云存储系统自动接管故障站点的摄像机，实现云存储系统之间的灾备功能。
轨道站点云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务节点上。它采用包括元数据管理服务、数据存储节点结构构成海量云存储系统。
其中，元数据服务节点主备保存系统的元数据，负责对整个文件系统的管理，元数据服务在逻辑上只有一个，但采用主备方式，保证系统的不间断服务；数据存储节点负责具体的数据存储工作，采用对象存储方式，数据以文件块的形式存储在数据存储节点上，数据存储节点的个数可以有多个，它的数目直接决定了云存储系统的规模；客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力；同时，针对视频业务，在数据存储节点上集成了流媒体服务，让存储节点具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。
云存储优势
数据稳定可靠
云存储采用纠删码技术、离散技术把前端视频数据在写入存储设备之前根据预定策略进行离散并加入适量的纠删码，确保每个存储节点只存放该视频数据的一个数据片，一旦某个存储节点故障则可以通过纠删码进行数据恢复，从而实现整个云存储系统的设备级容错。
IPSAN只是通过本地RAID保护硬盘的故障，RAID5只能容忍1块硬盘故障，RAID6也只能容忍2块硬盘故障是无法保证多硬盘故障以及设备节点的故障，可靠性很低。
下载快
云存储采用了带宽聚合技术、磁盘I/O聚合技术确保在普通的千兆网络环境用廉价的SATA盘就能实现高速下载。24小时大约43GB的数据能在几分钟之内就可以下载完成，再也不用像以前一样一旦发生重要案事件时通宵下载视频的情况。
IPSAN下载时的速度基本上在30MB/s，这也是为什么一旦案事件发生时需要通宵的下载视频录像。
易维护
云存储通过就删吗技术来保障数据的安全可靠，而非传统的RAID技术，因此允许多块硬盘损坏后再批量换盘，同时通过多渠道通知告警信息。
给业务带来的好处：传统存储系统的日常维护需要耗费运维人员大量的时间，特别是经常需要关注RAID组内是否有坏盘，一旦有就要及时的更换才能规避数据丢失。
云存储系统允许批量更换硬盘，在减轻运维人员的工作量同时也非常符合我们客户集中硬盘采购、集中更换的流程。同时，云存储系统第一时间把告警信息用短信等途径发送到客户运维人员手机上，方便快捷的管理云存储系统。
扩容性好
云存储系统采用虚拟化技术将所有的存储设备虚拟化统一的资源池通过唯一的IP地址给业务系统提供服务，因此可以在1分钟内实现单台节点的在线扩容。
共享性好
云存储采用了对象存储技术，在确保读写性能的同时又提供了高共享性，确保可以多个应用系统同时访问存放在云存储系统中的数据。
IPSAN系统采用块存储机制，不是对象存储技术，因此其数据共享都需要通过监控系统来翻译数据。
给业务带来的好处：打破了传统SAN模式数据孤岛问题，云存储系统允许监控系统把视频数据写入到云存储系统中，同时允许分析系统读取视频数据，无需经过监控系统的转发就可以快速获取数据。
总结
通过提出车站视频云存储设计方案，满足轨道交通行业存储的高可靠性要求的前提下，提供视频写入、读取按需分配、海量存储、线性扩展、高速并发等享受云存储带来的优势，同时，通过开放透明的应用接口和简单易用的管理界面，为整个监控系统提供了高效、可靠的数据服务。
来源： ITS智能交通
扫一扫在手机上阅读本文章
