专利名称：一种视频监控数据存储管理方法及系统的制作方法
技术领域：
本发明涉及通信信息技术领域，具体涉及视频监控数据的存储管理方法及系统。
背景技术：
随着社会、经济的发展，人们对安全防护的需求越来越高，视频监控作为安全防护领域中的有效手段，其作用越来越重要，近年来得到飞速发展，已广泛应用在银行、仓库、购物、娱乐中心等场所，而且应用范围不断地扩展，如交通管理系统等。与此同时，在应用模式上、技术上不断推陈出新，从发展趋势上，视频监控技术正在向着数字化、网络化、智能化的方向发展，对视频监控相关技术提出了更高的要求和新的挑战。许多城市和地区准备建立大型视频监控系统，摄像机数量多，监视范围广。传统的方式和技术难以满足用户的要求，以前的特定领域专用系统已逐渐发展成目前的数字化、多网点、多领域、大数据量的视频监控系统。
近年来网络通信技术发展、网络规模的不断扩大和完善，网络几乎无处不在，而且带宽越来越宽，网络数字监控技术为日益发展的视频监控领域注入了新鲜血液。随着嵌入式技术的日趋成熟，通过网络视频监控设备将模拟图像信号转化为数字图像信号，用户可在现有的IP网络环境中，实现高性能、配置简捷的视频监控。
视频监控主要包括视频采集、数据存储和数据回放。如图1所示，数字视频监控系统的基本工作原理是利用摄像头/摄像机获取视频信息，再由编码器进行编码，把视频数据数字化。数字化的视频数据除了用于实时监控，还可存储起来，供以后随时回放。目前在视频监控领域，视频数据的存储方式有两种，一种是将数据存储于编码设备的内置硬盘中，如采用数字视频录像机(DVR，Digital Video Recorder)实现的方案，另一种由专用存储服务器负责数据存储，如采用数字视频服务器(DVS，DigoitalVideo Server)实现的方案。
随着视频监控画面质量的提高、画面尺寸的增大、视频监控线路的增加，存储容量将成倍地增加，视频监控系统对存储的容量需求比较大。
需要长时间的连续数据读写，数据流量大而访问请求数量相对较低；通常，视频监控系统中的数据保存周期较短，一般的监控场所数据保存一定时间(如15天)后便可以删除。
网络的广泛应用导致IP网络数据传输量剧增，传统的数据存储模式，如直接连接存储(DAS，Direct Attached Storage)，已经不能满足需要，已采用网络存储方式，网络存储系统主要包括存储区域网络(SAN，StorageArea Network)和网络附加存储(NAS，Network Attached Storage)两大类。
基于internet的小型计算机系统接口SCSI传输协议iSCSI(internetSmall Computer System Interface)是一种基于TCP/IP的传输协议，用于应用主机和IP存储系统之间通过IP网络来传输SCSI命令和数据。而且iSCSI技术已经标准化(RFC3720、RFC3721等)。
目前，基于iSCSI协议的IP网络存储技术发展非常迅速，采用iSCSI协议构建基于IP的SAN，克服了光纤通道成本高(SAN系统)和可互操作性差(NAS系统)的问题，因此在业界逐步得到广泛应用。
在视频监控系统中采用基于iSCSI协议的IP网络存储，将数字化的视频数据存储在远端的IP存储系统中，可以实现集中管理。目前，视频监控数据的网络存储还没有统一的规范和标准。
如图2所示，在采用数字视频录像机DVR的视频监控系统中，编码子系统和存储子系统在物理上融合在一起，视频数据以文件形式存储于各个DVR的内置硬盘中，客户端从DVR获取存储的视频数据进行回放。存储的视频数据一般通过网络文件系统(NFS，Network File System)实现文件共享，NFS采用在客户端映射服务器端(DVR)的文件列表实现网络共享。当服务器端有数据写入，导致服务器端部分文件更新时，客户端需要重新进行Mount操作，才能获取服务器端的最新文件列表。这是一种非常简单的数据存储方案，但是，
在DVR的内置硬盘中存储视频数据，由于硬盘容量有限，数据的留存时间短，难以支持高清晰度的图像；同时对于大规模的视频监控系统而言，系统管理较为复杂。
以文件形式存储视频数据，文件的管理依赖于文件系统。不同的文件系统间无法兼容，限制了数据的开放性和共享性；以文件形式存储视频数据，不能满足存储和回放的并发存取要求；客户端和DVR一般通过NFS实现文件共享，每一次服务器文件被更新，其它客户端都需要重新Mount到DVR，影响系统效率；DVR必须配置相应的软件，将数字化的视频数据流转换成文件，并保存在内置硬盘中。
如图3所示，在采用数字视频服务器DVS的视频监控方案中，存储子系统一般由视频存储服务器、外接存储系统构成，采用NAS的方式进行数据的网络存储。实现了小规模的数据集中存储，方便用户查询数据并进行回放。当有数据需要存储时，编码器将数据文件传送到网络，服务器端接收到数据后以NAS的方式进行存储，一般采用的文件系统有NFS或FAT32。
与DVR方案一样，DVS方案一般仍然采用目录加文件或者数据库索引加文件的形式存储视频数据。视频数据文件按固定大小划分或按固定存储时间划分，文件命名一般采用时间值，如200605201705.mpg。视频数据的查询通常以文件名的形式进行检索或按数据库索引进行检索。
NAS采用文件共享方式存储，当编码器数量增多时，影响系统效率；终端和存储服务器通过NFS等文件系统共享，每一次存储服务器文件更新，其它终端都需要重新Mount存储服务器，影响系统效率。
存储服务器必须配置相应的软件，将数字化的视频数据流转换成文件。
依据文件名来查询指定时间的视频数据，采用匹配查询方法，效率比较低。由于单个视频数据文件一般包含几分钟或几十分钟长的视频数据，因此查询的时间精度较差，不能满足更高精度的时间查询要求。
发明内容
有鉴于此，本发明要解决的技术问题是提供一种视频监控数据存储管理方法和系统，以在视频监控系统中实现视频监控数据的高效存取。
根据本发明提供的一种视频监控数据存储管理方法，通过网络将数据处理装置与存储装置进行连接，该方法包括将视频数据分割成若干数据块，并将所述数据块发送到所述存储装置并存储；读取所述存储装置中的所述数据块，以恢复视频数据。
所述网络采用基于互联网的SCSI传输协议iSCSI进行数据传输。
更适宜地，该方法进一步包括数据处理单元将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元。
更适宜地，为各所述数据单元建立索引；根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
优选地，所述存储装置为存储区域网络SAN架构的存储设备。
所述建立的索引方式包括一级或多级索引方式。
优选地，在所述存储装置中设置索引块，该索引块中的每条索引信息对应一个存储单元，索引信息包括数据单元的首记录时间戳。
优选地，在所述存储装置中设置主索引块记录所有数据单元的首记录时间戳，在各数据单元设置单元索引块，该单元索引块记录本数据单元内所有数据块的时间戳和存储位置偏移量。
根据本发明还提供一种视频监控数据存储管理系统，包括数据处理装置，用于对采集的视频监控数据进行编码、解码，并输入数据到存储装置或从存储装置读取数据；数据存储装置，用于存储视频监控数据；所述数据处理装置将视频数据分割成若干数据块，并将所述数据块传输到所述存储装置，从所述存储装置中读取所述数据块，以恢复视频数据。
更适宜地，该系统还包括管理单元，用于对所述数据块进行管理；所述数据处理装置将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元；
所述管理单元为各所述数据单元建立索引；所述数据处理装置根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
优选地，所述存储装置为存储区域网络SAN架构的存储设备。
所述管理单元为各所述数据单元建立的索引方式包括一级或多级索引方式。
综上所述，本发明提供的解决方案中，视频监控数据处理装置对存储设备直接进行块操作，实现了在视频监控网络中大量视频数据的高效存取。
视频监控数据处理装置对视频数据的块操作，按磁盘扇区进行读写，无需划分文件系统，避免了文件系统不兼容的问题，实现视频数据的完全开放和共享；存储数据更新时，所有编码器或客户端无需重新Mount存储设备，可满足大量编码器的数据并发存取要求；另外，本发明通过采用两级或多级索引方式进行存储时，当增加新的视频数据时，只需要在对应的二级或多级索引中填入相应的信息，而不需要修改一级索引信息，避免频繁跨扇区读写存储介质，因而减少损耗，延长了存储介质的寿命；同时也减少了寻址时间，提高了视频数据读写性能。
由于采用两级或多级索引方式，可针对不同的查询要求采用不同的检索策略；当一级索引出现数据丢失或错误时，可以通过二级索引或多级索引还原一级索引信息，提高视频数据的可靠性和使用的灵活性。
图1为视频监控系统的工作原理示意图；图2根据现有技术的采用数字视频录像机的视频监控系统工作原理示意图；图3为根据现有技术的采用数字视频服务器的视频监控系统工作原理示意图；图4为根据本发明的实施例的视频监控数据的存储管理系统构成示意图；图5为根据本发明的实施例的视频监控数据的存储管理方法流程图；
图6为根据本发明的实施例的视频监控数据的存储管理系统工作原理图；图7为本发明的实施例中视频监控数据存储和提取过程示意图；图8为本发明的另一实施例中采用两级索引的视频监控数据块管理示意图。
具体实施例方式
本发明提供一种视频监控数据存储管理方法和系统，在视频监控系统中实现视频数据的高效存取，通过对视频数据的存储管理，实现存储的高效性、可靠性和灵活性，满足大规模的视频监控系统的存储需求。本发明的核心思想是将视频监控数据处理装置通过网络与网络存储架构的存储装置进行连接，将视频数据分割成若干数据块，并将所述数据块存储到所述存储装置；并对网络存储装置直接进行数据块存储及读取操作，为各所述数据单元建立索引；根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
为使本发明的原理、特性和优点更加清楚，下面参照附图结合具体实施例对本发明进行详细描述。
本发明提供的视频监控系统数据存储方案实质上是一种数字视频网络存储方案(DVNS)。
首先，对具体采用本发明的一种视频监控系统的构成和实现原理进行说明。如图4所示，该系统包括集成有iSCSI功能的编码器、网络存储设备IP-SAN、集成iSCSI协议模块的客户端、视频存储管理服务器(可选)，在系统中起协调监控的作用；如图4所示，编码器、网络存储设备、客户端以及视频存储管理服务器通过IP网络连接在一起。
存储区域网络(SAN，Storage Area Network)是通过网络方式连接存储设备和应用服务器的存储构架，对外提供块(block)级的存储数据共享。这个网络专用于主机和存储设备之间的互访，数据可以通过SAN在多个服务器和多个存储设备之间高速传输。IP-SAN是基于高速以太网的SAN架构，通过iSCSI协议来实现存储数据在服务器和存储设备之间高速传输。
本系统的视频监控数据存储过程1.编码器启动；2.给编码器指定IP-SAN的存储资源；3.编码器挂载IP-SAN的存储资源后，获得一个虚拟的网络硬盘；4.编码器启动编码，将视频数据利用iSCSI封装，组建成固定大小的数据块，直接写入虚拟的网络硬盘中。写入数据时直接对该进行块操作，按扇区写入块数据；5.当存储出现异常时，编码器上报出错信息，通知系统管理员进行处理。
视频监控数据回放过程1.客户端向存储管理服务器查询所要回放的数据；2.存储管理服务器告知客户端数据所在的存储设备；3.客户端挂载该存储设备，获得一个虚拟的网络硬盘；4.客户端通过iSCSI协议对虚拟硬盘直接进行块操作读取数据块，以进行回放。
参照图6，对所述虚拟硬盘数据块存储及提取操作原理进行说明。
通过数据块存储模块操作底层的iSCSI驱动来挂载IP-SAN存储设备，挂载成功后，编码器获得一个虚拟的网络硬盘，可如同本地硬盘一样进行读写操作。在针对硬盘读写的过程中，编码器并不对硬盘进行文件系统划分和格式化操作，而是直接按磁盘扇区来进行数据块读写操作。读写操作可采用读/写-扇区号-数据的方式。在客户端的数据块读取模块则采用逆向的读操作，从虚拟的网络硬盘中读取数据块。
视频数据的存储管理将来自编码器的视频数据分割成大小相同的数据块并按边界对齐方式存储到IP-SAN存储设备中，将若干数量的块组成一个数据单元，数据单元的大小固定，即每个数据单元由相同数量的数据块组成。基于视频监控的数据存储特点，可采用一级或多级索引方式对数据块进行存储管理。
采用一级索引方式，在磁盘中设置一区域用于存放索引信息，每条索引信息对应一个存储单元，记录相应数据单元的首记录时间戳，包括年、月、日、小时、分的具体时间数值。采用一级索引方式，数据的管理比较简单，查询的时间粒度精确到‘分’的数量级，可满足普通的回放查询。
当视频数据量很大，查询的时间粒度要求较高时，可以采取两级或多级索引。
采用二级索引方式，将磁盘中某一区域设为主索引信息区域，其余为固定长度的存储空间。主索引信息包含所有数据单元的首记录时间戳，每条索引信息记录有年、月、日、小时、分的具体时间数值。各数据单元的第一数据块为数据单元索引块(即二级索引)，该索引块记录了本数据单元内所有数据块(帧)的时间戳和存储位置偏移量，偏移量以数据单元的存储地址为参考点，偏移量的单位为块。每条索引信息包含年、月、日、小时、分、秒的具体时间数值，以及存储位置偏移量。采用二级索引方式，查询的时间粒度精确到‘秒’的数量级，可满足更高要求的回放查询。
参照图5，根据本发明的实施例的视频监控数据的存储管理方法，具体操作步骤如下步骤S01，将视频数据分割成若干数据块，并将所述数据块发送到所述存储装置并存储；步骤S02，数据处理单元将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元；步骤S03，为各所述数据单元建立索引；步骤S04，根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
下面以3个摄像头(对应3个编码器)的视频监控系统为例。
参照图7，摄像头A获取视频信息，由编码器A进行数字化编码。视频存储服务器(没有视频存储服务器时在IP-SAN上直接进行分配)为编码器A分配存储资源产生一个唯一标识的发起方名称iqn.2001-04.com.example.storageencoder0001，产生一个对应存储资源的目标名称SANDISKEC0001，指定一块用于存储数据的磁盘空间，比如20GB，然后将发起方名称和IP-SAN的地址告知编码器A。编码器A启动存储后，将视频数据用iSCSI协议封装，协议报文中携带发起方名称作为标识，将数据写到IP-SAN的指定资源里。同理，编码器B的发起方名称和存储资源目标名称为iqn.2001-04.com.example.storageencoder0002和SANDISKEC0002。
编码器C的发起方名称和存储资源目标名称为iqn.2001-04.com.example.storageencoder0003和SANDISKEC0003。不同的编码器有不同的发起方名称作为唯一标识，分配不同的存储资源。
客户端读取摄像头A的存储数据时，视频存储服务器(没有视频存储服务器时在IP-SAN上直接进行分配)为客户端分配存储资源产生一个发起方名称iqn.2001-04.com.example.storageclient0001，并检索到需要读取的存储资源，产生一个对应存储资源的目标名称SANDISKC0001，然后用iSCSI协议读取数据，对应的处理关系图7所示。
为说明采用两级或多级索引方式进行存储的原理和优点，下面以二级索引为例进行描述。参照图8。
设定存储起始时间为2006-07-07 00:00:00，连续存储。设编码器的码率为2Mbps，I帧间隔为2秒，则每个I帧间隔的数据量为2M×2/8＝0.5MB；设存储的块大小为16KB，二级索引每条索引为8Byte(64bit)，则存储单元索引块(即二级索引)，包含的索引数目为16K/8＝2048，每个I帧间隔的块数为0.5MB/16k＝32，每个存储单元大小为2048×0.5MB＝1024MB，可记录2048×2＝4096秒的视频数据。
主索引块(即一级索引)记录了所有存储单元的首记录时间戳，每条索引间隔4096秒。具体记录如下2006-07-07 00:002006-07-07 01:08(每个存储单元间隔4096秒)2006-07-07 02:16(每个存储单元间隔4096秒)……各存储单元的第一块数据为存储单元索引块(即二级索引)，该索引块记录了本存储单元内所有I帧数据的时间戳和存储位置偏移量，偏移量以存储单元基地址为参考点，偏移量的单位为块。每条索引信息记录下年、月、日、小时、分、秒的具体时间数值，以及存储位置偏移量。具体记录如下第一个存储单元2006-07-07 00:00:00 12006-07-07 00:00:02 33(每个I帧间隔2秒，间隔32块数据)2006-07-07 00:00:04 65(每个I帧间隔2秒，间隔32块数据)…2006-07-07 01:08:16 65537(记录4096秒数据，本存储单元最后一块)第二个存储单元2006-07-07 01:08:18 12006-07-07 01:08:20 33(每个I帧间隔2秒，间隔32块数据)2006-07-07 01:08:22 65(每个I帧间隔2秒，间隔32块数据)....
2006-07-07 02:16:32 65537(记录4096秒数据，本存储单元最后一块)第三个存储单元....
采用链表对视频监控数据进行管理链表是一种常见的数据结构，它动态地进行存储分配。每个链表有一个“头指针”变量，它存放一个地址指向第一个元素。链表中每一个元素称为“结点”，每个结点都包括一块用户数据和下一个结点的地址。因此，头指针指向第一个元素第一个元素又指向第二个元素；……，直到最后一个元素，该元素不再指向其它元素，称为“表尾”，链表到此结束。
在视频数据存储中，采用链表对数据进行管理时，每增加一块数据，需要在表尾插入新结点；查询时遍历需要整个链表，逐一比较，找到所要检索的数据或直到表尾。
采用链表对数据进行管理，优点是存储空间利用率高，因为它动态分配存储空间，有多少用多少，不会浪费。缺点是当存储的数据量比较大时，链表很长，每次添加新结点过查询某个结点都需要从头指针开始，效率比较低，不如按索引查询效率高。
采用Hash表对视频监控数据进行管理在线性表和树等数据结构中，各个记录的位置是随机的，但每条记录存在一个键值。在Hash表中使用Hash函数把一个键值映射到一个Hash码中来表示一个记录。相同的键值映射到相同的Hash码，每个记录的存储位置和键值之间有一个确定的对应关系。Hash函数的算法有很多，如直接定址法，数字分析法，平方取中法，折叠法，除留余数法等。
在视频数据存储中，采用Hash表对数据进行管理时，每增加一块数据(即一条记录)，用Hash函数构造出该条记录的键值。查询时输入键值，用Hash函数算出对应的Hash码，找到对应的存储位置。采用Hash表对数据进行管理，优点是数据读写和查询的效率比较高，不同的Hash算法在效率上存在区别。缺点是当存储的数据量比较大时，要保证键值映射的唯一性，Hash算法比较复杂，通常的Hash算法只能管理有限的数据容量。
根据本发明还提供一种视频监控数据存储管理系统，包括数据处理装置，用于对采集的视频监控数据进行编码、解码，并输入数据到存储装置或从存储装置读取数据；数据存储装置，用于存储视频监控数据；所述数据处理装置将视频数据分割成若干数据块，并将所述数据块传输到所述存储装置，从所述存储装置中读取所述数据块，以恢复视频数据。
更适宜地，该系统还包括管理单元，用于对所述数据块进行管理；所述数据处理装置将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元；所述管理单元为各所述数据单元建立索引；所述数据处理装置根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
所述存储装置采用存储区域网络SAN架构的存储设备。所述管理单元为各所述数据单元建立的索引方式包括一级或多级索引方式。
以上所述仅为本发明的示范性实施例而已，并不限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
权利要求
1.一种视频监控数据存储管理方法，其特征在于，通过网络将数据处理装置与存储装置进行连接，该方法包括将视频数据分割成若干数据块，并将所述数据块发送到所述存储装置并存储；读取所述存储装置中的所述数据块，以恢复视频数据。
2.如权利要求1所述的视频监控数据存储管理方法，其特征在于，所述网络采用基于互联网的SCSI传输协议iSCSI进行数据传输。
3.如权利要求1所述的视频监控数据存储管理方法，其特征在于，进一步包括数据处理单元将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元。
4.如权利要求3所述的视频监控数据存储管理方法，其特征在于，为各所述数据单元建立索引；根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
5.如权利要求1所述的视频监控数据存储管理方法，其特征在于，所述存储装置为存储区域网络SAN架构的存储设备。
6.如权利要求3所述的视频数据存储管理方法，其特征在于，所述建立的索引方式包括一级或多级索引方式。
7.如权利要求5所述的视频监控数据存储管理方法，其特征在于，进一步包括在所述存储装置中设置索引块，该索引块中的每条索引信息对应一个存储单元，索引信息包括数据单元的首记录时间戳。
8.如权利要求6所述的视频监控数据存储管理方法，其特征在于，进一步包括在所述存储装置中设置主索引块记录所有数据单元的首记录时间戳，在各数据单元设置单元索引块，该单元索引块记录本数据单元内所有数据块的时间戳和存储位置偏移量。
9.一种视频监控数据存储管理系统，其特征在于，包括数据处理装置，用于对采集的视频监控数据进行编码、解码，并输入数据到存储装置或从存储装置读取数据；数据存储装置，用于存储视频监控数据；所述数据处理装置将视频数据分割成若干数据块，并将所述数据块传输到所述存储装置，从所述存储装置中读取所述数据块，以恢复视频数据。
10.如权利要求8所述的视频监控数据存储管理系统，其特征在于，该系统还包括管理单元，用于对所述数据块进行管理；所述数据处理装置将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元；所述管理单元为各所述数据单元建立索引；所述数据处理装置根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。
11.如权利要求8、9或10所述的视频监控数据存储管理系统，其特征在于，所述存储装置为存储区域网络SAN架构的存储设备。
12.如权利要求10所述的视频数据存储管理系统，其特征在于，所述管理单元为各所述数据单元建立的索引方式包括一级或多级索引方式。
全文摘要
本发明公开了一种视频监控数据存储方法及系统，通过网络将数据处理装置与存储装置进行连接，该方法包括将视频数据分割成若干数据块，并将所述数据块发送到所述存储装置并存储；读取所述存储装置中的所述数据块，以恢复视频数据。数据处理单元将需存储的数据分割成若干大小相同的数据块，并将若干数据块组成大小相同的数据单元；为各所述数据单元建立索引；根据所建立的索引读取所述存储装置中的所述数据块，以恢复视频数据。视频监控数据处理装置对存储设备直接进行块操作，实现了在视频监控网络中大量视频数据的高效存取，提高视频数据的可靠性和使用的灵活性。
文档编号H04N7/18GK1878301SQ20061010352
公开日2006年12月13日 申请日期2006年7月19日 优先权日2006年7月19日
发明者陈立辉, 陈磊, 余福荣, 俞柏峰 申请人:杭州华为三康技术有限公司