专利名称：基于分布式存储的视频冗余策略优化方法
技术领域：
本发明涉及一种视频冗余策略优化方法，尤其涉及一种基于分布式存储的视频冗余策略优化方法，属于计算机存储技术领域。
背景技术：
随着社会经济的发展，人们对安全防护的要求越来越高。视频监控作为安全防护领域中的主要手段，具有实时性、可视性，越来越受到重视，在机场、车站、仓库、银行、娱乐中心、购物中心等被广泛使用。
传统的视频监控系统主要包括视频采集、数据存储等过程，其工作原理是利用摄像头、摄像机等获得视频，然后将其存储在存储装置上以供回放。其存储方式通常有两种， 一是将视频存储在专用存储服务器上，二是将视频直接存储在诸如视频录像机等内置的硬盘中。
随着所获得视频时间越来越长，所获得视频的容量会越来越高，所需要的存储容量越来越大，存储容量的需求呈线性的、爆炸性的增长。因此视频存储系统必须支持大容量，且容量具有高扩展性，满足长时间大容量视频图像存储的需求。因此近些年出现的视频存储越来越多采用分布式存储方式来适应以上各项要求。
分布式存储的一大特点就是采用冗余存储的方式来保证存储数据的可靠性，也就是说采用同一份数据存储多个副本的方式，以提高数据存储的可靠性、可用性。但是已有的分布式存储其冗余策略未考虑相关的优化工作，使得数据存储量巨大，相应存储成本很高。 由于存储的视频数据巨大，导致其存储的视频索引、查找、回放的效率都很低。
同时现有分布式存储冗余方法是对原始数据做多个备份后进行存储，导致本来就已经海量的视频数据存多个备份，要求数倍于原始数据的存储容量，也就是说有多少个备份就要求多少倍的存储容量。由此造成过高的存储成本投入和过大的存储管理、维护难度。发明内容
针对现有技术的缺陷，本发明公开了一种基于分布式存储的视频冗余策略优化方法，在不减少冗余数量的基础上，相对于已有的视频分布式存储显著减少了数据存储量，降低了存储成本，提高了存储效率，在保证视频回放，检索，取证等操作的可靠性的基础上，满足了业务系统主体功能需要的视频清晰度。
为实现上述发明目的，本发明是通过下述技术方案实现的
基于分布式存储的视频冗余策略优化方法，包括下述步骤
(1)从视频信息源接收原始视频；
(2)将原始视频直接进行单份分布式存储；
(3)将原始视频在满足应用目的的基础上进行容量压缩；
(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
在所述步骤(1)中，视频信息源可以是任何能够提供视频的装置，本发明并不限制视频信息源的类型，其可以选自但不限于数码相机、录像机、摄像机、摄像头中的一种或多种。在分级存储的情况下，所述的视频信息源还可以是上一级存储视频的存储系统，采用本发明所述的基于分布式存储的视频冗余策略优化方法对其视频进行存储优化。
在所述步骤( 中，将步骤(1)所接收的原始视频在分布式存储上存储单份，其所用的分布式存储的存储单元可以选自任何能够用于存储数据的存储设备。包括但不限于机械硬盘、固态硬盘、磁带机、服务器，所述存储单元还可以是基于网络的虚拟存储单元，所述的基于网络的虚拟存储单元是近些年新兴起的一种存储方式，又称为云存储或云端存储、 云端空间等，由一个存储服务商或存储数据中心将其巨大的存储资源划分为若干个虚拟的存储单元，然后出售给有存储计算需求的单位使用。显然可以理解，步骤( 中的分布式存储也可以基于此种存储单元，只要有合理的访问和传输速度，例如通过光纤、专线接入等， 即可以将这些虚拟存储单元组织起来构成一个分布式存储结构。
在所述步骤(3)中，将原始视频进行容量压缩的方法并不受到特别限制，任何本领域可用的视频压缩方法均可以用于本发明。此类方法包括但不限于格式压缩、转换为低清晰度视频、转换为低帧速视频、帧抽样。具体的说，格式压缩可以是将原始的视频文件例如avi (如本领域技术人员所知，通常的视频设备记录的原始视频为avi格式)压制成 H264、diVX、wmV、Vp8等编码格式的文件，由于此类编码通常使用了前后自适应编码、运动补偿的帧间预测、多重参照帧、微块分割等新的编码技术，因此能够在几乎不降低原始视频质量的前提下显著减小原始视频的体积；转换为低清晰度视频可以是对高清视频的分辨率进行压缩，生成压缩比较大且码率较低的压缩视频数据，在原始数据丢失的时候，也可以通过清晰度稍低的压缩视频大致还原当时的视频场景；转换为低帧速视频可以是高帧速的视频转化为低帧速的视频，例如每秒60帧转换为每秒30/24/ 帧；还可以是将原始视频进行帧抽样，即对于高清视频，采取抽样的方式，例如每20帧抽取一帧或两帧，生成抽样视频数据。这样在原始数据丢失的时候，也可以通过抽样视频大致还原当时的视频场景。
为了提高效率，优选的，步骤O)和步骤(3)是同时进行的。
在所述步骤中，将步骤(3)中容量压缩后的视频按照冗余备份的要求备份至分布式存储上。所述的冗余备份通常是多份，然而本领域技术人员可以理解，单备份也是可行的。与步骤( 类似，步骤的分布式存储的存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。步骤( 或(4)可以是相同的分布式存储，也可以是不同的分布式存储。
进一步的，为了确保分布式存储上的视频的可用性，本发明的方法还包括还包括对原始视频和分布式存储系统上存储的视频进行索引、校验的步骤。通过对视频建立索引信息，可以在回放时有效提高视频的检索速度。索引的方法并不受到特别限制，例如可以是将视频加上时间戳、将视频加上地点戳等，方便事后使用时按照时间、地点等进行分类管理查找；所述校验的步骤用于确保分布式存储上的同一视频多个备份的一致性，任何可用的用于校验文件的方法均可使用，例如核对CRC、MD5等文件信息。
本发明的冗余策略优化方法，同时对原始视频数据和降低容量体积后的视频数据进行分布式存储，其中降低容量体积后的视频数据进行了多冗余备份，在满足应用目的的基础上保证了视频数据的可靠性、可用性，存储效率得到大幅提高，存储容量、空间及成本得到大幅降低，备份时间会降低，并且也减小了对于存储维护管理的难度。4
需要注意的是，本发明所述的冗余策略优化方法并不限制所用分布式存储的具体组成方式，根据本发明原理可知，任何已有的分布式存储架构对于本发明均是可用的，例如可以是基于对等结构的无中心分布式存储、分级分布式存储等。
本领域技术人员可以理解，作为本发明方法的一个等同变换，对于视频抽样或压缩，可以在上层的视频系统中进行处理，和原始文件一起传给后端的分布式存储，也可以在通过网络传到后端分布式存储系统由相应的应用程序或分布式存储本身做视频抽样或压缩的处理工作。此种处理方式是本领域技术人员根据本发明的实质精神容易想到的，属于本发明的保护范围。
进一步的，基于本发明的冗余策略优化方法，本发明还公开了一种视频分布式存储系统，包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统，所述视频信息源用于收集原始视频；所述视频压缩单元用于压缩从视频信息源中获得的视频；所述原始视频分布式存储系统用于将原始视频直接进行单份分布式存储；所述压缩视频分布式存储系统用于将原始视频容量压缩后所得的压缩视频按照冗余数量要求进行多备份分布式存储。
在上述的视频分布式存储系统中，所述的视频信息源可以是数码相机、录像机、摄像机、摄像头中的一种或多种；考虑到分布式存储系统多级连接的应用，所述的视频信息源还可以是上一级的存储视频的存储节点。在此种情形下，组成了一个多层级的视频存储系统。
在上述的视频分布式存储系统中，所述的分布式存储其存储单元选自机械硬盘、 固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
在上述的视频分布式存储系统中，原始视频分布式存储系统、压缩视频分布式存储系统分别用于存储原始视频和容量压缩后的视频，分布式存储系统的架构并不受到限制，任何已有的分布式存储架构均是可用的，例如可以是基于对等结构的无中心分布式存储系统、分级分布式存储系统等。
在上述的视频分布式存储系统中，进一步的还包括视频信息处理单元，所述视频信息处理单元用于为分布式存储上的原始视频和压缩视频建立索引，并对分布式存储上的原始视频和压缩视频进行校验使其同步。可以理解，所述视频信息处理单元可以是PC、服务器、计算集群等任何可用的计算设备。
在上述的视频分布式存储系统中，进一步的还连接有视频回放单元，用于回放存储的视频。所述的视频回放单元是具有显示功能的设备，例如电视机、电脑显示器、监视器寸。
上述的视频分布式存储系统，同时存储原始视频数据和降低体积容量后的视频数据，在满足应用目的的基础上保证了视频数据的可靠性、可用性，存储效率得到大幅提高， 存储容量、空间及成本得到大幅降低。进一步的，通过加入视频信息处理单元、视频回放单元，本发明的视频分布式存储系统易于检索、回访，视频存储的可靠性高。
图1为本发明的基于分布式存储的视频冗余策略优化方法原理流程图2为分布式存储架构图3为本发明的视频分布式存储系统结构示意图。
具体实施方式
下述实施例仅作为本发明所述的技术方案的具体实施，本发明并非仅限于采用上述实施例，本领域技术人员在领会本发明实质精神的基础上，所进行的等同变换和改进依旧属于本发明保护范围，本发明的保护范围限于所附权利要求及其等同变换。
参考附图1，公开了本发明的基于分布式存储的视频冗余策略优化方法，包括下述步骤
(1)从视频信息源接收原始视频；
(2)将原始视频直接进行单份分布式存储；
(3)将原始视频在满足应用目的的基础上进行容量压缩；
(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
参考附图2，具体的公开了本发明的基于分布式存储的视频冗余策略优化方法的一个实现架构，从视频信息源获取原始视频，经由网络将原始视频传到分布式存储上。其中还包括将原始视频进行压缩的步骤(图中未示出)。
参考图3，公开了本发明的视频分布式存储系统结构，包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统，进一步的包括视频信息处理单元和视频回放单元。
举例而言，传统的存储方法100G的视频数据，如果需要存3个冗余，则需要存 3*100G 存储；
采用本发明基于分布式存储的视频冗余策略优化方法后，根据应用目的转换为可容忍的容量更小图像质量略低的视频，比如将100G转换为20G的视频数据，那么需要的存储量
如果低质量视频需要2个冗余，则为100G+2M0G = 140G
如果低质量视频需要3个冗余，则为100G+3M0G = 160G
由此可见，所需存储空间大大减少，从而后期的存储成本将大幅度下降。
权利要求
1.基于分布式存储的视频冗余策略优化方法，包括下述步骤(1)从视频信息源接收原始视频；(2)将原始视频直接进行单份分布式存储；(3)将原始视频在满足应用目的的基础上进行容量压缩；(4)容量压缩后的视频按照冗余数量要求进行多备份分布式存储。
2.根据权利要求1所述的方法，所述视频信息源为具有影像录制功能的装置，包括数码相机、录像机、摄像机、摄像头、上一级存储视频的存储系统中的一种或多种。
3.根据权利要求1所述的方法，所述步骤(3)的容量压缩的方法包括原始视频格式压缩、转换为低清晰度视频、转换为低帧速视频、帧抽样。
4.根据权利要求1所述的方法，所述步骤( 和步骤(3)同时进行。
5.根据权利要求1所述的方法，步骤O)、(4)的分布式存储的存储单元选自机械硬盘、 固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
6.根据权利要求1所述的方法，进一步的还包括对原始视频和分布式存储系统上存储的视频进行索引、校验的步骤。
7.一种视频分布式存储系统，包括视频信息源、视频压缩单元、原始视频分布式存储系统、压缩视频分布式存储系统，所述视频信息源用于收集原始视频；所述视频压缩单元用于压缩从视频信息源中获得的视频；所述原始视频分布式存储系统用于将原始视频直接进行单份分布式存储；所述压缩视频分布式存储系统用于将原始视频容量压缩后所得的压缩视频按照冗余数量要求进行多备份分布式存储。
8.根据权利要求7所述的系统，所述视频信息源包括数码相机、录像机、摄像机、摄像头、上一级的存储视频的存储节点中的一种或多种；所述的分布式存储其存储单元选自机械硬盘、固态硬盘、磁带机、服务器或基于网络的虚拟存储单元。
9.根据权利要求7所述的系统，还包括视频信息处理单元，所述视频信息处理单元用于为分布式存储上的原始视频和压缩视频建立索引，并对分布式存储上的原始视频和压缩视频进行校验使其同步。
10.根据权利要求7所述的系统，进一步的连接有视频回放单元，用于回放存储的视频。
全文摘要
本发明公开了一种基于分布式存储的视频冗余策略优化方法，在不减少冗余数量的基础上，减少了数据存储量，降低了存储成本，提高了存储效率，在保证视频回放，检索，取证等操作的可靠性的基础上，满足了业务系统主体功能需要的视频清晰度。进一步的，在上述基础上，本发明公开了一种视频分布式存储系统，所公开的分布式存储系统具有成本低、效率高的优势，同时保证了足够的冗余数量。
文档编号G11B7/0045GK102543108SQ20111023514
公开日2012年7月4日 申请日期2011年8月16日 优先权日2011年8月16日
发明者姚宏宇 申请人:北京友友天宇系统技术有限公司