专利名称：实现多目标跟踪的视频图像数据结构化描述处理的方法
技术领域：
本发明涉及视频处理技术领域，特别涉及基于视频图像的多运动目标跟踪技术领域，具体是指一种实现多目标跟踪的视频图像数据结构化描述处理的方法。
背景技术：
安全防范领域中已广泛采用视觉传感器监控场景，但大多数基于视觉传感器的场景监控系统仍停留在半人工式的模拟监控阶段。其中监控视频自动化处理能力薄弱是制约视频监控应用进一步深入发展的瓶颈，高效精准的视频检索手段缺失使得数据共享能力受限，视频监控系统很难与公安信息系统实现资源整合和互操作，视频监控系统的数据压缩与细节保留之间存在矛盾，视频监控的应用缺乏统一的标准和规范，迫切需要研制智能化的视觉监控系统，而多运动目标检测、跟踪式智能视觉监控的基础性问题，同时也是关键性的难点问题。
而目前针对多运动目标跟踪采用的表征方法主要有以下几种I、改进的颜色直方图建立外观模型的跟踪方法，将颜色直方图与空间信息结合建立外观模型来跟踪多目标，如将人体形状分割为三个部分，对各部分用颜色直方图描述其颜色特征，并用粒子滤波算法实现人体跟踪，但是，这种方法缺乏对目标各部分间结构关系的描述，无法处理复杂遮挡情况下的跟踪。2、颜色相关图(color correlogram)跟踪方法，颜色相关图用共生矩阵计算两像素之间相隔某一距离的概率，可将相关图与直方图结合来建模人体外观，为了跟踪多运动目标，该方法采用了一个结合空间信息的简化的颜色相关图表征目标，但是该模型没有包含尺度和光线特征，并且由于采用三维数组表征不同颜色对及其距离，计算复杂度很高。3、属性关系图(Attributed Relational Graph, ARG)跟踪方法，属性关系图不仅能表征目标的局部特征，还能表达目标特征的属性结构，式一种表达目标特征的有效方法。用ARG方法将像素聚类为具有特征一致性的区域块，用于表示有交互运动的多人体的身体部分，或用ARG来表达目标的不变特征及它们的关联关系。显然，与没有包含结构特征的方法相比，ARG模型是表达外观特征的更有效的方法，但是ARG模型在视频的每帧都要计算及产生很多身体区域进行跟踪，因此建立的跟踪系统并不能达到实时监控的要求，并且ARG模型依赖于局部特征的稳定性，在目标被严重遮挡时特征丢失会导致跟踪失败。4、光流图像跟踪方法，光流图像跟踪方法利用图像像素数据的相关性和时域变化来确定各个像素的运动情况，通过对图像灰度值随时间的变化来探索目标的结构信息和运动过程。该方法提出了两个假设一，目标的灰度值在短暂的时间间隔内保持不变；二，场景给定的情况下速度向量场变化时缓慢的。光流法适用于摄像机静止和运动的场景，但是应对目标遮挡、多光源和噪声影响等情况时，前提假设常不成立，在没有硬件支持的情况下难以应用到实时处理中去。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种将视频内容进行时空分害I]、特征提取和对象识别，并根据语义关系组织成可供计算机和人理解的文本信息，从而在不降低图像质量，不增加码率的基础上，提高视频搜索速度，以适应视频图像在网络传输中的应用，且实现方法简便，应用成本低廉，应用范围广泛的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法。为了实现上述的目的，本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的系统包括目标检测模块和信息表述模块，所述的方法包括以下步骤( I)所述的系统的目标检测模块获得视频图像数据；该目标检测模块对所述的视 频图像数据进行动态目标检测；(2)所述的目标检测模块判断动态目标与其运动轨迹是否匹配，若匹配，则进入步骤(3)，若不匹配，则进入步骤(4)；(3)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进行图像处理后，进入步骤(5)，若否，则直接进入步骤(5)；(4)所述的目标检测模块进行目标状态更新，并进入步骤(5)；(5)所述的目标检测模块进行目标及轨迹更新；(6)所述的信息表述模块根据所述的目标检测模块获得的目标及其轨迹进行信息表述，产生结构化描述信息。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的目标检测模块还包括目标信息库，所述的目标信息库存储有目标与其运行轨迹的对应信息，所述的目标检测模块判断动态目标与其运动轨迹是否匹配，具体为所述的目标检测模块判断动态目标的运动路径与所述的目标信息库存储的对应的运行轨迹是
否一致。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的步骤(3)具体包括以下步骤(31)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进入步骤
(32)，若否，则直接进入步骤(33)；(32)所述的目标检测模块判断遮挡是否超出阈值，若是，则进行目标整合或目标清除，而后进入步骤(5)，若否，则对目标进行粒子滤波跟踪，而后进入步骤(5)；(33 )所述的目标检测模块对目标进行均值漂移跟踪，而后进入步骤(5 )。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的目标整合为对目标进行粒子整合。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的目标清除具体为所述的目标检测模块进行曲线拟合，将单个目标整合为整体目标后，去除不存在的目标。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的步骤(4)具体包括以下步骤(41)所述的目标检测模块判断是否出现新目标，若是，则进入步骤(42)，若否，则进入步骤(43)；(42)所述的目标检测模块进行曲线拟合，将整体目标分割为单个目标，并进入步骤(5)；(43)所述的目标检测模块进行去除不存在的目标，并进入步骤(5)。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的步骤(5)具体包括以下步骤(51)所述的目标检测模块对检测获得的动态目标的轨迹进行更新；
(52)所述的目标检测模块将动态目标信息及其轨迹信息发送到所述的信息表述模块；(53)返回步骤(I)。该计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法中，所述的信息表述模块包括描述单元和描述方案库，所述的描述方案库存储与动态对象及轨迹对应的描述方案信息，所述的步骤(6)具体包括以下步骤(61)所述的描述单元从所述的目标检测模块获得动态目标信息及其轨迹信息；(62)所述的描述单元根据所述的动态目标信息及其轨迹信息从所述的描述方案库获得对应的描述方案信息；(63)所述的描述单兀根据所述的描述方案信息产生结构化描述信息。采用了该发明计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其目标检测模块对所述的视频图像数据进行动态目标检测与匹配，并根据动态目标被遮挡的情况，进行目标状态更新，然后进行目标及轨迹更新；最后通过信息表述模块进行信息表述，产生可供计算机和人理解的结构化描述信息。从而能够在不降低图像质量，不增加码率的基础上，有效提高视频搜索速度，以适应视频图像在网络传输中的应用，且本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其实现方式简便，应用成本低廉，应用范围也较为广泛。
图I为本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法的步骤流程图。图2为本发明的方法在实际应用中的单摄像头多运动目标跟踪系统算法流程图。图3为本发明的方法在实际应用中的视频结构化描述技术方案的示意图。图4为本发明的方法在实际应用中的监控视频内容信息标准化表达示意图。
具体实施例方式为了能够更清楚地理解本发明的技术页面，特举以下实施例详细说明。请参阅图I所示，为本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法的步骤流程图。在一种实施方式中，所述的计算机系统包括目标检测模块和信息表述模块，所述的方法包括以下步骤( I)所述的目标检测模块获得视频图像数据，该目标检测模块对所述的视频图像数据进行动态目标检测；(2)所述的目标检测模块判断动态目标与其运动轨迹是否匹配，若匹配，则进入步骤(3)，若不匹配，则进入步骤(4)；(3)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进行图像处理后，进入步骤(5)，若否，则直接进入步骤(5)；(4)所述的目标检测模块进行目标状态更新，并进入步骤(5)；(5)所述的目标检测模块进行目标及轨迹更新；·(6)所述的信息表述模块根据所述的目标检测模块获得的目标及其轨迹进行信息表述，产生结构化描述信息。在一种较优选的实施方式中，所述的目标检测模块还包括目标信息库，所述的目标信息库存储有目标与其运行轨迹的对应信息，所述的目标检测模块判断动态目标与其运动轨迹是否匹配，具体为所述的目标检测模块判断动态目标的运动路径与所述的目标信息库存储的对应的运行轨迹是否一致。在另一种较优选的实施方式中，所述的步骤(3)具体包括以下步骤(31)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进入步骤
(32)，若否，则直接进入步骤(33)；(32)所述的目标检测模块判断遮挡是否超出阈值，若是，则进行目标整合或目标清除，而后进入步骤(5)，若否，则对目标进行粒子滤波跟踪，而后进入步骤(5)；(33 )所述的目标检测模块对目标进行均值漂移跟踪，而后进入步骤(5 )。步骤(32)中所述的对目标进行粒子滤波跟踪具体是指，通过寻找一组在状态空间传播的随机样本，对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。步骤(33)中所述的对目标进行均值漂移跟踪具体是指，通过有效的迭代运算找到目标位置，并基于密度梯度上升的非参数方法，使每一个点“漂移”到密度函数的局部极大值点，实现目标跟踪。在一种进一步优选的实施方式中，所述的目标整合为对目标进行粒子整合，具体为首先结合使用粒子群优化算法和K-均值算法搜索全局最优解的位置，然后再利用K-均值算法在全局最优解附近的局部空间内快速寻找最优聚类中心，实现粒子整合。在另一种进一步优选的实施方式中，所述的目标清除具体为所述的目标检测模块进行曲线拟合，将单个目标整合为整体目标后，去除不存在的目标。在又一种较优选的实施方式中，所述的步骤(4)具体包括以下步骤(41)所述的目标检测模块判断是否出现新目标，若是，则进入步骤(42)，若否，则进入步骤(43)；(42)所述的目标检测模块进行曲线拟合，将整体目标分割为单个目标，并进入步骤(5)；(43)所述的目标检测模块进行去除不存在的目标，并进入步骤(5)。在进一步优选的实施方式中，所述的步骤(5)具体包括以下步骤
(51)所述的目标检测模块对检测获得的动态目标的轨迹进行更新；(52)所述的目标检测模块将动态目标信息及其轨迹信息发送到所述的信息表述模块；(53)返回步骤(I)。在更优选的实施方式中，所述的信息表述模块包括描述单元和描述方案库，所述的描述方案库存储与动态对象及轨迹对应的描述方案信息，所述的步骤(6)具体包括以下步骤(61)所述的描述单元从所述的目标检测模块获得动态目标信息及其轨迹信息；(62)所述的描述单元根据所述的动态目标信息及其轨迹信息从所述的描述方案库获得对应的描述方案信息；
(63)所述的描述单兀根据所述的描述方案信息产生结构化描述信息。在实际应用中，本发明的视频结构化描述的实现和应用的流程如图2所示。其中，视频理解和描述单元对应于视频内容信息结构化描述的专门视频处理硬件设备、软件程序或者其它理解和解释视频的手段。输入视频数据，输出原视频数据的内容描述。此时在视频与内容描述之间建立了确定的对应关系。视频结构化描述强调特定场景(如公安监控场景)下特定信息(如公安业务关注信息)的提取和描述，因此这一过程是在一定的知识模型的指导之下完成的。简单而言，知识模型是对视频监控应用经验、视频内容本身特点等规律性的总结和形式化表达。单摄像头多运动目标跟踪的视频结构化描述装置包括多运动目标跟踪系统和视频结构化的包括以下几个层次。I、层次多粒度的视频特征分析研究；2、面向描述的视频内容知识模型研究；3、视频内容描述语言定义。对应如图2所示的单摄像头多运动目标跟踪的视频结构化描述步骤流程图。视频结构化描述的方法包括以下步骤( I)所述的多运动目标跟踪系统的检测目标部分；(2)所述的多运动目标跟踪系统匹配目标与轨迹部分；(3)所述的多运动目标跟踪系统跟踪及新目标初始化和目标终止部分；(4)所述的多运动目标跟踪系统系统状态更新部分；并返回步骤(I)。具体而言，多目标跟踪系统对图像序列中每一个目标都要进行跟踪，并实时更新。(I)利用视频结构化描述方法进行推理判断，确定检测目标与运动轨迹能否匹配。若匹配成功，则进入步骤(2);若匹配不成功，则进入步骤(3)。(2)对于匹配成功的目标轨迹组合，检测目标间的遮挡情况，若发现无遮挡情况，则进行优化Mean-Shift跟踪，并进入步骤(4)。若遮挡情况出现，则要对遮挡的情况作出判断若超过阈值条件，目标出现较长时间遮挡，则对目标进行整合和清除，之后进入步骤
(4)。若为超过阈值条件，目标只是出现较短时间遮挡，可对目标进行粒子滤波跟踪。这里，如果粒子簇的数量超过一定的阈值后，可进行可选的粒子整合过程，在尽可能降低粒子数量的同时保持粒子取样的合理性。当然，如果粒子簇的数量未超过该阈值，则直接进行粒子滤波跟踪。文成粒子滤波跟踪后也进入步骤(4)。
(3)对于匹配不成功的目标或者轨迹，可能出现的情况如新的目标产生或者是原先的目标消失。新的目标我们要为它进行初始化过程，然后进入步骤(4)。而原先目标消失可能有目标移出画面或者目标在画面中由运动状态转为静止状态，则对已经小时的目标进行清除处理，然后进入步骤(4)。(4)更行系统参数，包括目标和轨迹及其它参数。Mean-Shift算法跟踪独立的运动物体时简单迅速，而且准确性符合要求。该视频结构化描述方法基于视频监控的应用知识库，通过对视频特征分析提出有关视频描述的元数据列表，并以此建立有关视频内容的描述模型，定义相应的描述语言，对视频描述的知识样本进行管理，提供有关视频特征提取和描述的参考软件工具。各部分的相互关系如图3所示。该视频结构化描述方法以层次化多粒度的方式组织视频信息，将高层语义信息和低级视觉信息有效地结合起来。高级语义信息包含视频对象、对象行为、对象间交互等信息；低级视觉信息主要描述视频对象的具体属性，如形状、位置、面积、颜色等。层次化多粒 度的结构化描述方法需要提出复杂场景视频中人、车、物、行为、事件的多粒度、多层次结构化描述规范和实现方法。具体包括研究图像的颜色、纹理、形状等低层特征提取描述方法；视频数据的时间、空间分割规则和关键帧提取描述规则；监控视频的对象识别、场景理解，视频片断理解分析等高级语义特征的组织原则等描述技术；提出警务视频描述的元数据集
口 ο该视频结构化描述方法模型主要实现基于元数据的视频内容知识表达。需要在元数据、元结构的基础上，根据需要建立基于原语的警务应用监控视频描述集合；结合视频应用知识库，根据视频特内容信息的组织原则，提出视频内容描述的描述子、描述方案，形成针对典型描述的描述规范、描述框架和描述工具，并使用知识表达方法，例如图像本体，对上述内容描述方法进行建模表达。监控视频内容信息标准化表达如图4所示。该视频结构化描述方法描述语言定义要对通用的XML语言进行扩展，例如专用数据的数据结构，封装标签，实现面向警务应用的结构化表征和描述语言(Police-orientedMakeup and Description Language, PMDL),既能实现视频内容分析和理解，又能够充分考虑到低层次语义特征，有利于语义视频信息的提取。针对视频内容知识模型，使用扩展的XML语言实例化描述模型。针对内容数据的传输和存储，需要使用描述文件的二进制表达和压缩方法。采用了该发明计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其目标检测模块对所述的视频图像数据进行动态目标检测与匹配，并根据动态目标被遮挡的情况，进行目标状态更新，然后进行目标及轨迹更新；最后通过信息表述模块进行信息表述，产生可供计算机和人理解的结构化描述信息。从而能够在不降低图像质量，不增加码率的基础上，有效提高视频搜索速度，以适应视频图像在网络传输中的应用，且本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其实现方式简便，应用成本低廉，应用范围也较为广泛。在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
权利要求
1.一种计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的系统包括目标检测模块和信息表述模块，所述的方法包括以下步骤 (1)所述的目标检测模块获得视频图像数据，该目标检测模块对所述的视频图像数据进行动态目标检测； (2)所述的目标检测模块判断动态目标与其运动轨迹是否匹配，若匹配，则进入步骤(3)，若不匹配，则进入步骤(4)； (3)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进行图像处理后，进入步骤(5)，若否，则直接进入步骤(5)； (4 )所述的目标检测模块进行目标状态更新，并进入步骤(5 ); (5)所述的目标检测模块进行目标及轨迹更新； (6)所述的信息表述模块根据所述的目标检测模块获得的目标及其轨迹进行信息表述，产生结构化描述信息。
2.根据权利要求I所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的目标检测模块还包括目标信息库，所述的目标信息库存储有目标与其运行轨迹的对应信息，所述的目标检测模块判断动态目标与其运动轨迹是否匹配，具体为 所述的目标检测模块判断动态目标的运动路径与所述的目标信息库存储的对应的运行轨迹是否一致。
3.根据权利要求I所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤 (31)所述的目标检测模块判断所述的动态目标是否被遮挡，若是，则进入步骤(32)，若否，则直接进入步骤(33)； (32)所述的目标检测模块判断遮挡是否超出阈值，若是，则进行目标整合或目标清除，而后进入步骤(5)，若否，则对目标进行粒子滤波跟踪，而后进入步骤(5)； (33 )所述的目标检测模块对目标进行均值漂移跟踪，而后进入步骤(5 )。
4.根据权利要求3所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的目标整合为对目标进行粒子整合。
5.根据权利要求3所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的目标清除具体为 所述的目标检测模块进行曲线拟合，将单个目标整合为整体目标后，去除不存在的目标。
6.根据权利要求I所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤(4)具体包括以下步骤 (41)所述的目标检测模块判断是否出现新目标，若是，则进入步骤(42)，若否，则进入步骤(43)； (42)所述的目标检测模块进行曲线拟合，将整体目标分割为单个目标，并进入步骤(5)； (43)所述的目标检测模块进行去除不存在的目标，并进入步骤(5)。
7.根据权利要求I所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的步骤(5)具体包括以下步骤 (51)所述的目标检测模块对检测获得的动态目标的轨迹进行更新； (52)所述的目标检测模块将动态目标信息及其轨迹信息发送到所述的信息表述模块； (53)返回步骤(I)。
8.根据权利要求I所述的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其特征在于，所述的信息表述模块包括描述单元和描述方案库，所述的描述方案库存储与动态对象及轨迹对应的描述方案信息，所述的步骤(6)具体包括以下步骤 (61)所述的描述单元从所述的目标检测模块获得动态目标信息及其轨迹信息； (62)所述的描述单元根据所述的动态目标信息及其轨迹信息从所述的描述方案库获得对应的描述方案信息； (63)所述的描述单元根据所述的描述方案信息产生结构化描述信息。
全文摘要
本发明涉及一种计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，属于视频处理技术领域。该方法中，目标检测模块对视频图像数据进行动态目标检测与匹配，并根据动态目标被遮挡的情况，进行目标状态更新，然后进行目标及轨迹更新；最后通过信息表述模块进行信息表述，产生可供计算机和人理解的结构化描述信息。从而能够在不降低图像质量，不增加码率的基础上，有效提高视频搜索速度，以适应视频图像在网络传输中的应用，且本发明的计算机系统中实现多目标跟踪功能的对视频图像数据进行结构化描述处理的方法，其实现方式简便，应用成本低廉，应用范围也较为广泛。
文档编号G06K9/00GK102902965SQ201210380608
公开日2013年1月30日 申请日期2012年10月9日 优先权日2012年10月9日
发明者李万才, 汤志伟, 沈冬青, 梅林 , 吴轶轩 申请人:公安部第三研究所