当前位置:主页>科 研>学术交流>

论"大数据"时代下的海量数据存储技术

  高清、长周期呈现海量存储需求

高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外,对存储容量的需求亦成几何式增长。例如:前端IPC有130W到500W像素,码流也从有2Mbps到8Mbps,而一个130W像素,8Mbps码流的前端,录像一个月就需要2531.3GB,数据量不可小觑。



 

存储周期方面,现在也有了政府的有力推动。如《中华人民共和国反恐怖主义法》规定采集的视频图像数据保存周期不得少于90天;最高人民法院与国家档案局联合发布的《关于人民法院诉讼档案保管期限的规定》更是规定:将法院诉讼档案的保管期限分为永久、长期、短期三种,根据人民法院诉讼档案的特点,凡属本院审判活动形成的需要长远利用的诉讼档案,划为永久保管。凡属在相当长的时期内需要查考使用的诉讼档案,划为长期保管,保管时间为60年。凡属在相对较短的时期内需要查考利用的诉讼档案,划为短期保管,保管时间为30年,可以想象,数据量非常之大。

对当前整个安防市场来讲,特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展,甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长,应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重要。某公司一直紧跟行业发展方向,致力于推出更符合用户需求与行业需求的监控/数据中心解决方案。

现有的安防存储模式

  1. DVR/NVR前端本地存储

此种模式,一般应用于实施较早项目,使用的是DVR/NVR前端本地存储,随着大数据时代的来临,采用了比较直接的方法,在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小,况且DVR/NVR性能较低,信息孤岛现象严重,无法满足大数据需求。

  2. 集中存储模式

客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式,随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR/NVR模式,容量大大提升,并实现了数据的集中存储,同时支持存储节点间的故障的自动业务接管,最大程度上实现了业务数据的完整性。但是随着大数据的来临,后续项目扩容时,需要人为配置设备的负载均衡。一台存储故障后导致设备存储的数据部分中断或者接管设备压力较大,另外考虑到网络延时,可能导致存储数据不完整,数据获取需要人为指定设备数据获取,管理成本较高等。为了设备的负载均衡,空间的虚拟化设备易维护的问题,云存储技术应运而生。

  3. 云存储模式

随着云存储技术普及.目前市面大体分为通用云存储(文件云集群NAS )和视频云存储。

  通用云存储

通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储和业务访问功能。

通用云存储较传统集中基本设备形态不变,故主要部件为:存储服务器(元数据服务器)+磁盘阵列。



 

通用云存储中许多都是通过优化改造传统IPSAN/NAS存储而演化而来,其通过实现服务器和存储设备集群化管理,存储资源虚拟化,达到分布式数据存储,因其内部数据处理以结构化数据为主。

工作模式:前端摄像机视频数据流经流媒体服务器转发到存储管理服务器集群,最后在写入指定的磁盘阵列。视频数据需经过流媒体服务器转发进入存储服务器,一定流媒体故障,系统业务中断,数据存在丢失风险。

通用云存储可以实现存储资源虚拟化,但虚拟化能力有限。通用云存储以结构化的文件系统存储非结构化视频图片数据,视频存储效率低。

基于以上几点,通用云存储产品当前都是面向全行业项目支持,主要作为一款存储方案,即不对安防视频应用做应用支撑.不太适合做安防视频整体的解决方案。

  安防专用的视频云存储

基于云架构进行开发,融合了集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,将网络中各种不同类型的存储设备,通过专业应用软件集合起来协同工作,共同对外提供视频、图片数据存储和业务访问服务。

视频云存储基本组成单元:云存储管理服务器、云存储存储节点、云存储软件。



 

视频监控平台根据业务需求为各前端摄像机下发录像计划,视频云存储系统根据当前系统内的业务负载情况分配具体的存储空间,前端摄像机推送视频数据流直写到分配的存储设备上。视频云存储数据传输协议支持主流的流媒体协议(如RTSP/ONVIF/PSIA等)和GB/T28181规范;支持平台直接调取,架构简化而开放,空间自我管理,可独立组网。

(责任编辑:安博涛)

分享到:

更多
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
  • 微笑/wx
  • 撇嘴/pz
  • 抓狂/zk
  • 流汗/lh
  • 大兵/db
  • 奋斗/fd
  • 疑问/yw
  • 晕/y
  • 偷笑/wx
  • 可爱/ka
  • 傲慢/am
  • 惊恐/jk
用户名: 验证码:点击我更换图片
资料下载专区
图文资讯

Fortinet全球安全战略官:关于威胁情报共享

Fortinet全球安全战略官:关于威胁情报共享的五点看法

 信息共享仍然是全球网络安全中永恒的重要话题。作为一个行业,我们应该明白遏制网络...[详细]

论"大数据"时代下的海量数据存储

论"大数据"时代下的海量数据存储技术

高清、长周期呈现海量存储需求 高清已经在安防行业全面铺开应用。除了带给用户能够看...[详细]

智能化蝶变:算法驱动的商业变革(二)

智能化蝶变:算法驱动的商业变革(二)

2011年夏天,英国希思罗机场在外围停车场和航站楼间启用了革命性的无人驾驶运输路线「...[详细]

黑客通过麦克风窃取乌克兰70目标超600G数据

黑客通过麦克风窃取乌克兰70目标超600G数据

前言 CyberX发现了一个大规模的网络攻击行动,该行动瞄准了乌克兰的很多目标。至少已...[详细]

偷车其实很简单:你知道Android车控App有多

偷车其实很简单:你知道Android车控App有多不安全吗?

卡巴斯基实验室的安全研究人员最近发现:黑客可以仅仅通过侵入Android车控App轻易解锁...[详细]

返回首页 返回顶部