专利名称：基于多特征融合匹配的目标交接算法的制作方法
技术领域：
本发明属多摄像机视频监控技术领域。
背景技术：
视频监控技术是利用计算机视觉和图像处理的方法对图像序列进行运动目标检 测、目标分类、目标跟踪以及对监控场景中目标行为的分析，由于其具有很好的应用前景， 因此引起了许多国家的高度重视。然而，在大多数实际场景中，在单摄像机环境下进行检测 和跟踪运动目标时，如何克服周围场景光线的变化和阴影的干扰，如何正确跟踪发生遮挡 的运动目标，如何多角度、长时间、大范围对目标跟踪，一直是研究的难点。因此，多摄像机 环境下的目标跟踪在广域监控场景中得到了很多的关注。在多摄像机目标跟踪系统中，主要的难点是如何在多摄像机之间对相同的目标建 立正确的对应关系，即多个摄像机所观测到的相同目标要使用同一个标号来表示，这种建 立对应关系的过程称为目标交接。相邻摄像机的视野之间存在两种关系，即有重叠区域和 无重叠区域。目标交接问题是多摄像机跟踪系统中的关键步骤，只有成功解决这个问题，才 能进行后续的目标行为分析等工作。目前，主要的目标交接算法有基于三维信息的目标交接算法、基于队列的目标交 接算法、基于视野分界线的目标交接算法、基于投影不变量的目标交接算法，以及基于特征 匹配的目标交接算法等。基于三维信息的目标交接算法难以保证实时性，且在有些环境中， 三维建模或者摄像机标定是难以实现的；基于队列的目标交接算法的前提条件是相邻摄像 机的视野之间必须存在重叠区域，比较适用的场景是走廊监控等具有连续性的场合；基于 视野分界线的目标交接算法原理简单、易于实现，但是由于新目标进入摄像机时的检测一 般存在延时问题，因此仅利用视野分界线来实行一致性标号非常容易出错；基于投影不变 量的目标交接算法较为准确，但在多个目标距离较近的情况下会引起误判。基于特征匹配的目标交接算法选用目标的一些简单特征，然后利用统计学或者概 率等方法得出最后的对应关系，是解决多摄像机目标跟踪中的目标交接问题最主要，同时 也是最原始的方法。然而，由于人体是非刚体，特征很容易随着时间和地点的变化而改变， 这对基于特征匹配的目标交接算法带来致命的打击；而且，不同的摄像机可能有不同的内 部参数和光度性能，也会影响特征匹配的准确性；传统的基于特征匹配的目标交接算法只 利用了目标颜色的统计特征，忽略了目标颜色的空间分布特征，而目标颜色的空间分布特 征对目标而言是很重要的一种信息。可见，基于特征匹配的目标交接算法还需要在很多方 面进行改进。
发明内容
本发明的目的是提供一种基于多特征融合匹配的目标交接算法，融合目标的形状 特征、边缘特征、颜色的统计特征以及空间分布特征进行目标匹配，有效地解决目标特征随 时间和地点的变化而改变的难题，尤其对人体这样的非刚性目标，减小姿势变化等的影响，提高目标交接的准确性。本发明包括下列步骤1.对当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标进行初 匹配，其具体过程包括下列步骤1. 1提取待交接目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形 的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；1.2提取待匹配目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形 的高宽比来衡量；颜色的统计特征采用颜色直方图来衡量；1. 3分别计算两个目标间的高宽比相似度和颜色直方图相似度；1. 4计算两个目标间的初匹配相似度；1. 5如果初匹配相似度大于给定阈值，则相邻摄像机视野中的此目标仍为待匹配 目标；否则，相邻摄像机视野中的此目标为不匹配目标；1.6如果此待匹配目标是最后一个待匹配目标，则结束初匹配过程；否则，对相邻 摄像机视野中的下一个待匹配目标重复步骤1. 2到步骤1. 6 ；上述的步骤1. 1和步骤1.2可同时进行。2.统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标，结 束算法；否则，转到步骤3)；3.对当前摄像机视野中的待交接目标与初匹配后的待匹配目标进行二次匹配，其 具体过程包括下列步骤3. 1提取待交接目标的颜色空间分布，将目标分割为两种颜色块低频颜色块与 高频颜色块；3.2提取待交接目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特 征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡 量；3. 3提取待匹配目标的颜色空间分布，将目标分割为两种颜色块低频颜色块与 高频颜色块；3. 4提取待匹配目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特 征采用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡 量；3. 5依次计算不同目标内的两个颜色块间的颜色平均值相似度和位置相似度；3. 6依次计算不同目标内的两个颜色块间的颜色块相似度；3. 7以待交接目标内的颜色块为行，以待匹配目标内的颜色块为列，不同目标内的 两个颜色块间的颜色块相似度为元素，建立两个目标间的二次匹配矩阵；3. 8根据二次匹配矩阵，计算两个目标间的二次匹配相似度；3. 9如果此待匹配目标是最后一个待匹配目标，则转到步骤3. 10 ；否则，对初匹配 后的下一个待匹配目标重复步骤3. 3到步骤3. 9 ；3. 10搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交 接目标为新目标；否则，此最大值所对应的待匹配目标与待交接目标相匹配；上述的步骤3. 1和步骤3. 3、步骤3. 2和步骤3. 4可同时进行。
上述步骤3. 1中所述的提取待交接目标的颜色空间分布，将目标分割为两种颜色 块低频颜色块与高频颜色块，具体过程包括下列步骤3. 1. 1将目标的最小外接矩形内的区域分割为固定大小的块；3. 1.2将块分为三类背景块、前景块和边界块，其中，块内像素点都为背景像素 点的块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属 于背景，一部分像素点属于目标，这些块为边界块；3. 1.3对目标进行Sobel算子边缘检测；3. 1. 4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景 块标记为低频块；否则，将此前景块标记为高频块；3. 1. 5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低 频块合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；3. 1. 6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高 频块合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块；3. 1. 7得到的低频颜色块与高频颜色块构成此目标的颜色空间分布；上述的步骤3. 1. 1和步骤3. 1. 3、步骤3. 1. 5和步骤3. 1. 6可同时进行。上述步骤3. 8中所述的根据二次匹配矩阵，计算两个目标间的二次匹配相似度的 具体过程包括下列步骤3. 8. 1初始化二次匹配相似度为0 ；3. 8. 2在二次匹配矩阵中搜索颜色块相似度的最大值；3. 8. 3如果此最大值为0，则转到步骤3. 8. 6 ；否则，转到步骤3. 8. 4 ；3. 8. 4将此最大值累加到二次匹配相似度中；3. 8. 5将此最大值的对应行、对应列中的颜色块相似度都赋为0，转到步骤3. 8. 2 ；3. 8. 6计算过程结束，记录下最终得到的二次匹配相似度。本发明的积极效果在于先进行目标间的初匹配，再进行二次匹配，降低了二次匹 配的计算量；取代了固定大小的分块方法，将目标分割为不同的颜色块，并且融合了目标的 形状特征、边缘特征、颜色的统计特征以及空间分布特征，以及颜色块的平均颜色特征和位 置特征进行目标匹配，能有效地解决目标特征随时间和地点的变化而改变的难题，尤其对 人体这样的非刚性目标，可减小姿势变化等的影响，提高目标交接的准确性。
图1为基于多特征融合匹配的目标交接算法流程2为颜色空间分布提取过程流程图
具体实施例方式本发明是一种基于多特征融合匹配的目标交接算法，如图1所示，具体过程包括 下列步骤1.对当前摄像机Ci视野中的待交接目标O,"与相邻摄像机Cj视野中的待匹配目 标Al^i行初匹配，包括下列步骤1)提取待交接目标O,"的形状特征和颜色的统计特征，其中，形状特征采用外接矩
6形的高宽比S来衡量；颜色的统计特征采用颜色直方图H来衡量；2)提取待匹配目标O)的形状特征和颜色的统计特征，其中，形状特征采用外接矩 形的高宽比S来衡量；颜色的统计特征采用颜色直方图H来衡量；3)分别计算两个目标间的高宽比相似度Sims (Of，O；)和颜色直方图相似度 Simfj(O^Ovj)
Isu tSv +1Sims[Oul ,O])= r ‘ ‘ J，
p+IXSvj+1)
M___Simll(O^Ovj)=— M_ ；
.^(Gvj (m)-G])2
V w=lw=l其中与巧分别为目标O;与O)的外接矩形的高宽比，GiuO)与分别为目标 ο,"与ο)的颜色直方图，斤和分别为OO和q ( ο的平均值；4)计算两个目标间的初匹配相似度&'W1(C^O))Sim1(O^Ovj) = Sims(O^Ovj)-Simfl(O^Ovj)；5)如果初匹配相似度大于给定阈值，则仍标记相邻摄像机视野中的此目标为待匹 配目标，记为巧；否则，标记此目标为不匹配目标；6)此待匹配目标是否为最后一个待匹配目标，如果是，则结束初匹配过程；否则， 对下一个待匹配目标重复步骤2)到6)。2.统计初匹配后待匹配目标的个数，如果个数小于1，则当前摄像机视野中的待 交接目标为新目标，结束算法；否则，转到步骤3 ；3.对当前摄像机Ci视野中的待交接目标O,"与初匹配后的待匹配目标O；进行二次 匹配，包括下列步骤1)提取待交接目标O,"的颜色空间分布，即将目标分割为两种颜色块低频颜色块 与高频颜色块，如图2所示，包括下列步骤1. 1将目标的最小外接矩形内的区域分割为固定大小的块；1. 2将块分为三类背景块、前景块以及边界块；其中，块内像素点都为背景像素 点的块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属 于背景，一部分像素点属于目标，这些块为边界块；1. 3对目标进行Sobel算子边缘检测；1. 4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景块 标记为低频块；否则，将此前景块标记为高频块；1. 5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低频 块合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；1. 6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高频 块合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块；1. 7得到的低频颜色块与高频颜色块便构成了此目标的颜色空间分布。
2)提取待交接目标Of内每个颜色块的平均颜色特征和位置特征，其中，平均颜色 特征采用颜色平均值C来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置 (X，Y)来衡量；3)提取待匹配目标巧的颜色空间分布；其中，颜色空间分布的提取方法与步骤1) 相同；4)提取待匹配目标巧内每个颜色块的平均颜色特征和位置特征，其中，平均颜色 特征采用颜色平均值C来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置 (X，Y)来衡量；5)依次计算不同目标内的两个颜色块间的颜色平均值相似度SZmcCS厂，巧勹和位 置相似度SimD(5r，％B广)Simc (5广,BJ-') =’SimD (B『’s，BJ-') = e'D{Br，《’')；其中5”为目标O,"内的第s个颜色块，巧“为目标O；内的第t个颜色块，^厂与^" 分别为颜色块斤的颜色平均值，V)为颜色块与斤‘的中心点距离；6)依次计算不同目标内的两个颜色块间的颜色块相似度《勹Simcolor {Β^, Βγ ) = Simc (B”, BJ'') · Sim0 (B”, B；'')；7)以待交接目标O,"内的颜色块5厂为行，以待匹配目标OJ内的颜色块《‘为列，不 同目标内的两个颜色块间的颜色块相似度&ke。;OT(《’％《勹为元素，建立两个目标间的二次 匹配矩阵Matrix，矩阵的大小为SXT ；其中S与T分别为s与t的最大值；8)根据二次匹配矩阵Matrix计算两个目标间的二次匹配相似度力‘叫…厂巧)，包 括下列步骤8. 1初始化二次匹配相似度&>"2(《, ^) = 0 ；8. 2在二次匹配矩阵中搜索颜色块相似度的最大值Matrix (p，q) = max (Matrix)；8. 3如果此最大值为0，则转到步骤8. 6 ；否则，转到步骤8. 4 ；8. 4将此最大值累加到二次匹配相似度中，即Sim2 (O ,OJ) = Sim2 (O ,OJ) + Simcolor (Β 5, BJt)；8. 5将此最大值的对应行、对应列中的颜色块相似度都赋为0，即Matrix (ρ, ) = Matrix (, q) = 0 ；转到步骤8. 2 ；8. 6计算过程结束，记录下最终得到的二次匹配相似度。9)此待匹配目标是否为最后一个待匹配目标，如果是，则转到步骤10)；否则，对 下一个待匹配目标重复步骤3)到9)；10)搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交 接目标O,"为新目标；否则，此最大值所对应的待匹配目标即为与待交接目标O,"相匹配的目 标。
8
权利要求
1.一种基于多特征融合匹配的目标交接算法，其特征在于包括下列步骤1)对当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标进行初匹配；2)统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标，结束算 法；否则，转到步骤3)；3)对当前摄像机视野中的待交接目标与初匹配后的待匹配目标进行二次匹配。
2.按权利要求1所述的基于多特征融合匹配的目标交接算法，其特征在于步骤1)中所 述的对当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标进行初匹配的 具体过程包括下列步骤1.1提取待交接目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高 宽比来衡量；颜色的统计特征采用颜色直方图来衡量；1.2提取待匹配目标的形状特征和颜色的统计特征，其中，形状特征采用外接矩形的高 宽比来衡量；颜色的统计特征采用颜色直方图来衡量；1. 3分别计算两个目标间的高宽比相似度和颜色直方图相似度； 1. 4计算两个目标间的初匹配相似度；1. 5如果初匹配相似度大于给定阈值，则相邻摄像机视野中的此目标仍为待匹配目标； 否则，相邻摄像机视野中的此目标为不匹配目标；1. 6如果此待匹配目标是最后一个待匹配目标，则结束初匹配过程；否则，对相邻摄像 机视野中的下一个待匹配目标重复步骤1. 2到步骤1. 6 ； 上述的步骤1. 1和步骤1. 2可同时进行。
3.按权利要求1所述的基于多特征融合匹配的目标交接算法，其特征在于步骤3)中所 述的对当前摄像机视野中的待交接目标与初匹配后的待匹配目标进行二次匹配的具体过 程包括下列步骤3. 1提取待交接目标的颜色空间分布，将目标分割为两种颜色块低频颜色块与高频 颜色块；3. 2提取待交接目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采 用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量；3. 3提取待匹配目标的颜色空间分布，将目标分割为两种颜色块低频颜色块与高频 颜色块；3. 4提取待匹配目标内每个颜色块的平均颜色特征和位置特征，其中，平均颜色特征采 用颜色平均值来衡量；位置特征采用颜色块中心点在所属目标的坐标系下的位置来衡量； 3. 5依次计算不同目标内的两个颜色块间的颜色平均值相似度和位置相似度； 3. 6依次计算不同目标内的两个颜色块间的颜色块相似度；3.7以待交接目标内的颜色块为行，以待匹配目标内的颜色块为列，不同目标内的两个 颜色块间的颜色块相似度为元素，建立两个目标间的二次匹配矩阵； 3. 8根据二次匹配矩阵，计算两个目标间的二次匹配相似度；3. 9如果此待匹配目标是最后一个待匹配目标，则转到步骤3. 10 ；否则，对初匹配后的 下一个待匹配目标重复步骤3. 3到步骤3. 9 ；3. 10搜索所有二次匹配相似度中的最大值，如果此最大值小于给定阈值，则待交接目标为新目标；否则，此最大值所对应的待匹配目标与待交接目标相匹配； 上述的步骤3. 1和步骤3. 3、步骤3. 2和步骤3. 4可同时进行。
4.按权利要求3所述的基于多特征融合匹配的目标交接算法，其特征在于步骤3.1中 所述的提取待交接目标的颜色空间分布，将目标分割为两种颜色块低频颜色块与高频颜 色块，具体过程包括下列步骤3. 1. 1将目标的最小外接矩形内的区域分割为固定大小的块； 3. 1.2将块分为三类背景块、前景块和边界块，其中，块内像素点都为背景像素点的 块为背景块，块内像素点都为目标像素点的块为前景块，其余的块内一部分像素点属于背 景，一部分像素点属于目标，这些块为边界块； 3. 1. 3对目标进行Sobel算子边缘检测；3. 1. 4统计每个前景块内的边缘像素点个数，如果个数小于给定阈值，则将此前景块标 记为低频块；否则，将此前景块标记为高频块；3. 1. 5计算每个低频块内的像素值的平均值，分别将平均值相近且位置相邻的低频块 合并，将合并后的每个低频块标记为低频颜色块，去除小区域的低频颜色块；3. 1. 6计算每个高频块内的像素值的平均值，分别将平均值相近且位置相邻的高频块 合并，将合并后的每个高频块标记为高频颜色块，去除小区域的高频颜色块； 3. 1. 7得到的低频颜色块与高频颜色块构成此目标的颜色空间分布； 上述的步骤3. 1. 1和步骤3. 1. 3、步骤3. 1. 5和步骤3. 1. 6可同时进行。
5.按权利要求3所述的基于多特征融合匹配的目标交接算法，其特征在于步骤3.8中 所述的根据二次匹配矩阵，计算两个目标间的二次匹配相似度的具体过程包括下列步骤·3. 8. 1初始化二次匹配相似度为0 ；·3. 8. 2在二次匹配矩阵中搜索颜色块相似度的最大值；·3. 8. 3如果此最大值为0，则转到步骤3. 8. 6 ；否则，转到步骤3. 8. 4 ；·3. 8. 4将此最大值累加到二次匹配相似度中；·3. 8. 5将此最大值的对应行、对应列中的颜色块相似度都赋为0，转到步骤3. 8. 2 ； 3. 8. 6计算过程结束，记录下最终得到的二次匹配相似度。
全文摘要
基于多特征融合匹配的目标交接算法属多摄像机视频监控技术领域，本发明首先融合目标的形状特征和颜色的统计特征，计算当前摄像机视野中的待交接目标与相邻摄像机视野中的待匹配目标间的初匹配相似度，从而进行初匹配；统计初匹配后待匹配目标的个数，如果个数小于1，则待交接目标为新目标；否则，对待交接目标与待匹配目标进行二次匹配，即根据目标的边缘特征提取颜色的空间分布特征，将目标分割为颜色块，融合颜色块的平均颜色特征和位置特征，通过二次匹配矩阵计算目标间的二次匹配相似度，由此判断两个目标是否匹配；本发明通过多特征融合匹配，可有效地解决目标特征随时间和地点的变化而改变的难题，同时可提高目标交接的准确性。
文档编号G06T7/00GK102005040SQ201010282569
公开日2011年4月6日 申请日期2010年9月9日 优先权日2010年9月9日
发明者王世刚, 陈丽伟, 韦健 申请人:吉林大学