一种基于时空循环构造的视频特征均匀散列存储方法与流程

本发明属于视频智能检索技术领域，具体涉及一种基于时空循环构造的视频特征均匀散列存储方法。

背景技术：

视频内容的智能检索源自计算机视觉(cv，computervision)技术，该技术是人工智能(ai，artificialintelligent)研究的重要分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。视频智能检索中所提到的“视频解析与特征比对”主要指的是“自动的分析和抽取视频源中的关键信息，通过和待检索目标的关键信息进行相似度比对，定位检索目标所在视频片段的计算过程”。

互联网企业常用的视频智能检索算法为“感知哈希算法”(perceptualhashalgorithm)，它的作用是将每张图片生成一个“指纹”(fingerprint)字符串，然后比较不同图片的缩略图，结果越接近，说明图片越相似。这种算法的优点是简单快速，不受图片大小缩放的影响。所以，它的最佳用途是根据缩略图找出原图。

而在安防领域，安保人员或公安干警调阅历史图像，并不是为了寻找相似的影像素材，其目的是要找到具有可疑行为或可疑特征的目标对象，这个目标对象可以是人、车、人脸或者是物，也可以是特殊的群体行为，并且往往是出现在多个摄像机的大尺度监控场景中，有着各类复杂的背景与光影干扰因素，这时互联网常用的面向整体图片的感知哈希算法就不再适用。

实现安防视频智能检索的关键是建立基于目标的图像特征索引。首先，通过图像分割在语义空间约束下对连续的视频图像进行目标检测，找出兴趣目标。然后，对兴趣目标提取轮廓、颜色、纹理、运动轨迹等基础特征，并通过基础特征的lsa语义分析，得到目标的自然属性、社会属性、行为属性等高层语义特征。接着，合并一个时间段内所有兴趣目标的基础特征与语义特征，生成带有向量化信息的二进制文件，保存到向量化视频特征库中。最后，对需要检索的目标图像进行特征提取，与向量化视频特征库中的二进制特征文件进行扫描比对，对扫描结果进行相似度排序，输出检索结果。

安防视频智能检索与互联网相似图片检索相比，其处理过程复杂，特征存储与比对计算带来的基础设施开销也更加巨大，如何快速高效、低成本地实现安防视频智能检索，成为了一个典型的大数据命题。

如图1所示，传统安防视频智能检索系统常采用集群系统架构，其中解析服务器集群负责视频解码和特征提取，比对服务器集群负责特征存储和特征比对。图像搜索的简单原理就是通过遍历指定范围的特征数据并逐一进行比对，以匹配到相似度阈值以内的目标图片。

采用集群计算目的是用空间换时间，解析服务器集群按视频路数进行捆绑，由于是持续顺序解码，其工作负载比较均衡，但比对服务集群无论是按特定的视频路数进行分拆存储(空间分布)，还是按特定的录像时段(时间分布)进行分拆存储，只要用户输入任意时间段和任意摄像机路数的搜索条件组合，都非常容易在访问时形成局部计算热点，具体抽象描述如图2所示，数十台比对服务器在执行特定检索任务时极有可能只有几台比对服务器参与计算，甚至是只有几块磁盘参与数据吞吐，利用率极低，即使搜索过程中临时把存储在一台比对服务器上的特征传输到其他多台比对服务器上进行并行比对，却又会面临网络传输的瓶颈，对性能提升效果不大。

综上，传统安防视频智能检索系统的计算瓶颈出现在特征存储和比对检索环节，而痛点就在于特征数据的扫描计算没有很好的负载到整个计算集群上，从而出现搜索耗时与搜索范围之间的非线性关系，搜索条件碰巧指向某一台服务器的全量数据，其耗费的响应时间将和全局扫描的时间一样多。

技术实现要素：

针对传统安防视频智能检索系统存在的技术缺陷，本发明设计了一种基于时空循环构造的视频特征均匀散列存储方法，基于时空属性的视频特征均匀散列存储机制，通过某种循环策略，尽可能将视频特征文件均匀的分散到所有的比对服务器上，当输入任何局部时空搜索条件，都尽可能调用到所有的比对计算资源。

本发明采用的基于时空循环构造的视频特征均匀散列存储方法，包括如下步骤：

s1，获取m路视频通道中的x个特征文件；

s2，将x个所述特征文件存储在服务器集群的n台设备上；

当x的值小于等于n的值时，则将x个所述特征文件按照队列依次存储在服务器集群的n台设备上；

当x的值大于n的值时，则将x个特征文件按照队列依次循环存储在服务器集群的n台设备上；

其中x、n和m均大于等于1。

优选的，所述特征文件的视频时长为t秒；t大于0。

优选的，将x个所述特征文件按照步骤s1-s2的方法备份存储在服务器集群的n台设备上。

优选的，所述特征文件是按时序分割的多个特征数据块打包组成；所述特征数据块是由多个特征数据片按时序拼接而成；所述特征数据片为兴趣目标的特征向量；所述特征向量包括目标id、摄像机标识、时间标识、轮廓特征、纹理特征、颜色特征和运动方向中的一种或多种。

进一步优选的，所述特征文件用于存储管理；所述特征数据块用于网络传输；所述特征数据片用于特征提取，并进行特征比对。

本发明设计了一种视频特征的均匀散列存储机制，通过某种循环策略，尽可能将视频特征文件按时空属性均匀分散到所有的特征比对服务器上，从而最大化的提升视频特征比对服务器集群的并行计算能力，确保视频特征的检索效率快速、高效且服务质量稳定，同时根据视频特征特性、网络传输需要和元数据管理需要，设计了视频特征文件的三级封装结构，很好的兼顾了视频特征数据在检索、传输和存储过程中的多场景访问需求。

附图说明

图1为传统安防视频智能检索系统集群架构；

图2为传统安防视频智能检索文件存储示意；

图3为本发明基于时空循环构造的视频特征均匀散列存储机制示意图；

图4为本发明特征文件的三级封装结构示意图。

具体实施方式

以下结合附图对本发明进行详细说明：

本发明描述了一种基于时空循环构造的视频特征均匀散列存储方法，相关算法原理表述如下：

设定特征存储比对服务器集群有n台设备，需要存储m路视频通道的特征文件，每个特征文件对应视频时长为t，当m＝n时，在第1个t时段，m个通道的视频特征文件可以一一对应存储到第1台到第n台服务器上，在第2个t时段，m个特征文件就开始错位存储到第2台到第n台服务器，多出的第m路特征文件则循环存储至第1台服务器上，这样循环往复，所有的视频特征文件将真正做到空间离散、时间离散。更进一步，我们还可以考虑特征文件的跨服务器备份，多个备份存储在不同的比对服务器上，大幅提高存储可靠性的同时，也增加了更多的访问触点，提高了计算的并行能力。当m≠n时，其视频分时段存储策略与m＝n时相类似，或提前循环，或滞后循环。

如图3所示，假设m＝5，n＝5，t＝1小时，该策略6个小时内的特征文件分布情况，当然，在实际操作中，我们不能简单的按照1个小时的自然时段来封装特征文件，这是因为我们提取的是目标特征数据，特定场景下的目标出现频度与密度是波动变化的，按时间封装特征文件必然会出现巨大的大小差异，而从数据计算的角度来说，我们最好保证特征数据的分割封装大小一致。

为解决上述问题，我们结合视频特征数据的特点，设计了一种视频特征文件的三级封装结构。第一级：特征数据片feature，表示一个兴趣目标的特征向量(如目标id、摄像机标识、时间标识、轮廓特征、纹理特征、颜色特征、运动方向等)，长度可变、视目标的成像像素大小与目标类型而定；第二级：特征数据块chunk，长度固定，多个特征数据片按时序拼接而成，适合网络传输；第三级：特征文件file，特征数据块按时序打包成而成，适合文件系统大规模存取管理，并保证最终输出的文件大小基本一致。

如图4所示，兼顾多场景访问需求的视频特征文件三级封装结构，具体使用时，这三级数据单元的大小需要进行标定，标定因素具体包括：1)从搜索速度角度看，特征数据文件越小，等量的数据分布在越多的机器，比对的时间就越少，搜索速度也就越快；2)从元数据管理角度看，特征文件越大，同样存储总量下的特征文件就越少，这样元数据的管理开销就越小；3)从磁盘读写效率的角度来看，特征文件相对大比较好，这样可以保证读写的稳定性，减少磁头跳转的频率，但又不能太大带来读写内存不足的尴尬；4)从特征文件的网络传输角度看，特征数据块应避免过大，以减少网络传输风险，并提高传输及时性。

综合考虑上述因素，三级特征数据的大小标定如下所示：

假设特征块大小为128mb，1个摄像机1个星期通常有大约2000个特征数据块，比对服务器集群一般为几十台到上百台不等，这些特征文件完全可以以散列的方式均匀的分布在集群的机器中。

综上，我们提出的视频特征文件的循环存储策略和三级封装结构，可从根本上解决传统视频智能检索系统所遇到的特征计算均匀负载难题。

以上所述仅是本发明的标准化实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。