一种基于部件关联的行人检索方法
【专利摘要】一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。本发明的优点在于：通过对行人提取用头部、躯干、左臂、右臂、左腿和右腿六个部件，并对所述六个部件进行特征分析，通过提取行人图像中关联的部件，结合部件之间的关系进行行人的检索，以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的，有效的在海量视频中检索到相似的行人，适用于刑侦、智能监控等领域。
【专利说明】一种基于部件关联的行人检索方法
【技术领域】
[0001]本发明涉及智能监控领域，尤其涉及一种基于部件关联的行人检索方法。
【背景技术】
[0002]随着监控摄像头的广泛安装，每天产生数以万计的监控视频数据，如何在海量的数据中找到需要的内容和目标是一项具有挑战性的任务。传统的基于内容的视频检索的一个前提就是:建立以视频帧中视觉内容为单位的索引，以便于在海量视频中快速查找与定位。这就要求将视频帧中待检索内容在视频背景中完美的分割出来并提取其特征，而分割效果的好坏将直接影响检索的精度，因此，得到一个好的目标前景与背景的分割非常重要。
[0003]对于监控视频来说，由于其具有低分辨率、高噪声、光照变化大等特点，对于视频库中在不同时间、不同场景下出现的同一物体来说，它的尺度、方向、光照甚至分辨率都会发生变化，在这种情况下，如何选取合适的视觉特征描述子来对视频内容进行描述，就显得尤为重要。目前常用的基于视觉描述的特征主要包括颜色、形状和纹理，这些特征在图片检索领域得到了广泛的应用，取得了良好的效果。然而，由于监控视频具有上述特点，必须找到一种能够对尺度、方向、光照变化等具有较好鲁棒性的视觉特征描述子。
[0004]现有的特征描述方法主要是针对局部特征来描述的，忽略了视觉内容上下文之间的关系。比如，视频监控中的行人由头部、躯干和下肢三部分组成，局部描述只能局部的描述各个部分自身的特征，然后将这些特征拼接用于检索。这种方法对于具有复杂形状的视觉内容，不能得到令人满意的效果。
[0005]由于监控视频通常是海量的，一般都以TB为单位来度量，而其中所包含的待检索内容也是海量的。当对监控视频中的视觉内容提取特征之后，如何存储这些特征使得基于内容的检索能够快速、高效的进行，依然是一个值得探索的问题。目前常用的索引方法是建立倒排表。把包含同一特征的视觉内容列成一个表，表的开头是某个视觉特征向量，表的后面依次连接着包含该特征向量的视觉内容的位置。当我们得到一个待检索视觉内容时，可以先提取其特征向量，然后利用这些特征向量在倒排表中快速定位视觉内容的位置。该方法在视频规模较小的时候计算效率很高，但是当视频规模扩大时，特征向量的个数就会快速增长。在海量的特征向量中寻找匹配项，将会耗费大量时间。因此，亟需一种快速、高效的索引定位方法。
【发明内容】
[0006]本发明是针对现有技术的不足，提出的一种基于部件关联的行人检索方法，用以解决现有技术中无法通过行人的部件属性在海量视频中进行检索的问题，达到快速定位的目的。
[0007]—种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。[0008]进一步的，一种基于部件关联的行人检索方法提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分。
[0009]对视频中的行人前景和轨迹提取方式为:
第一步:采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑；
第二步:通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像；
第三步:把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像。
[0010]对行人部件关系描述的方法为:将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模。
[0011]进一步的，所述的建模方式为:从任意两个部件中分别选择M个局部特征点，利用MX 2个特征点的组合作为所述两个部件的视觉描述，记做A同时采用传统的词频和词频倒数(TF-1DF)进行相似性度量。
[0012]对于基于部件的索引和存储方法为:
首先采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中； 然后对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点；
其次对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储。
[0013]对于基于部件关联的检索方法为:
首先，输入的行人图片同时通过前景和轨迹提取进行目标提取和跟踪，同时采用了高斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果；
其次，对于分割得到的行人，采用的是基于潜在变量的支持向量机的方法对部件进行检测，然后对每个部件提取局部特征点，并对特征点按照特征点树存储结构进行量化，对每个特征点到数据库中检索具有相同特征点的部件，将能够找到匹配的部件数记做P(O ^ P ^ 7)；
对于P个部件，在其中任意选择两个部件的组合数为G = P X(P-1)/2 ,依次遍历
两个部件的所有特征点的任意组合并统计它们出现的次数作为关系描述，然后将基于部件的关系描述进行二次检索，采用传统的词频和词频倒数(TF-1DF)计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。
[0014]进一步的，计算相似性列表的公式为:
【权利要求】
1.一种基于部件关联的行人检索方法是通过提取行人图像中关联的部件并结合部件之间的关系进行分析，然后对比输入检索图特征点与提取分析的关联部件特征点的相似性形成相似性序列表达到检索行人的目的。
2.根据权利要求1所述的一种基于部件关联的行人检索方法，其特征在于，提取分析关联部件特征点的步骤包括前景和轨迹提取、行人部件关系描述、基于部件索引和存储和基于部件的行人检索四个部分。
3.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，对视频中的行人前景和轨迹提取方式为: 第一步:采用帧间差分法得到监控视频的前景图像；对前景目标采用最近邻方法进行跟踪，从而得到目标的轨迹；运用高斯滤波的方法去除噪声点，使区域边缘平滑； 第二步:通过给检测区域面积设置一个最大和最小阈值的方法，排除不符合条件的区域，得到合理的帧间差图像； 第三步:把帧间差的二值图像看作原图像对于前景的掩码，并在原图像中提取出前景图像； 对行人部件关系描述的方法为:将图像的前景和背景分离，然后对行人进行部件划分，将行人分成头部、躯干、左臂、右臂、左腿和右腿六个部件，对于每个部件提取局部特征点，用不同的部件之间的特征点的共生关系来对部件进行建模。
4.根据权利要求3所述的一种基于部件关联的行人检索方法，其特征在于，所述的建模方式为:从任意两个部件中分别选择M个局部特征点，利用JT X 2个特征点的组合作为所述两个部件的视觉描述，记做4同时采用传统的词频和词频倒数(TF-1DF)进行相似性度量。
5.根据权利要求2所述的一 种基于部件关联的行人检索方法，其特征在于，首先采用基于部件的索引结构，建立特征点树，所述的特征点树的第一层为行人整体，特征点树的第二层为头部、躯干、左臂、右臂、左腿和右腿六个基本部件，同时将属于每个部件的特征点都量化到每个部件下属的子节点中； 然后对提取的特征点采用分层次的均值聚类(hierarchical K-means)方法分别聚类得到视觉码本；将属于每个部件的视觉码本按照层次关系映射到特征点树结构中，同时剔除不属于部件的特征点； 其次对视觉码本采用倒排索引的存储结构进行存储，将属于头部、躯干、左臂、右臂、左腿和右腿六个部件的特征点的词频用7个比特进行存储。
6.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，首先，输入的行人图片同时通过前景和轨迹提取进行目标提取和跟踪，同时采用了高斯平滑的方法对帧间差图像进行滤波，即便在分辨率较低的监控视频中也能得到较好的目标分割和跟踪结果; 其次，对于分割得到的行人，采用的是基于潜在变量的支持向量机的方法对部件进行检测，然后对每个部件提取局部特征点，并对特征点按照特征点树存储结构进行量化，对每个特征点到数据库中检索具有相同特征点的部件，将能够找到匹配的部件数记做P(O ^ P ^ 7)；对于P个部件，在其中任意选择两个部件的组合数为g =X Gp -1) / 2 ,依次遍历两个部件的所有特征点的任意组合并统计它们出现的次数作为关系描述，然后将基于部件的关系描述进行二次检索，采用传统的词频和词频倒数(TF-1DF)计算它的相似性，并将所有组合的检索的相似性相加，得到最终的检索结果。
7.根据权利要求2所述的一种基于部件关联的行人检索方法，其特征在于，计算相似性列表的公式为:
【文档编号】G06F17/30GK103853794SQ201210522145
【公开日】2014年6月11日 申请日期:2012年12月7日 优先权日:2012年12月7日
【发明者】魏捷, 杨凡, 张立 申请人:北京瑞奥风网络技术中心