专利名称：匹配出现在两个或多个图像内的对象或人的方法、电路和系统的制作方法
技术领域：
本发明大体上涉及图像处理领域。更具体地，本发明涉及用于关联/匹配在两个或多个图像内可见的对象或人(感兴趣的主体)的方法、电路和系统。背景现今的对象检索和重新识别算法通常提供不充分的结果，由于不同的光线条件、 一天中的时间、天气等；不同的视角多个摄像机具有重叠的或非重叠的视野；出乎意料的对象轨迹人改变路径，不在可能的最短路径上行走；未知的进入点对象可能从任意点进入视野；以及其他原因。因此，在图像处理领域中仍然需要改进的对象获取电路、系统、算法和方法。下面列出的出版物侧重于图像主体处理和匹配的不同方面，并且它们的教导据此通过引用方式全部并入本申请。[1] T. B. Moeslund、A. Hilton 禾口 V. Kriiger, "A survey of advances in vision-based human motion capture and angilysis ( ￠^ ^1 ^! !入/[本: 禾口方面的进展的调查)”，《Computer Vision and Image Understanding))(《计算机视觉与图像理解》)，第104卷，第2-3期，90-1 页，2006年11月。[2]A. Colombo、J. Orwell 禾口 S. Velastin, "Colour constancy techniques for re-recognition of pedestrians from multiple surveillance cameras (重新i只另Ij来自多个监视摄像机的行人的颜色恒定技术)”，《Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications》(《关于多摄像机及多模态传感器融合算法和应用的研讨会)(M2SFA22008)，2008年10月，法国马赛。[3]K. Jeong>C. Jaynes,"Object matching in disjoint cameras using a color transfer approach(使用颜色变换方法在分离的摄像机中进行对象匹配)”，((Special Issue of Machine Vision and Applications Journal》(《机器视觉和应用期刊的特刊》)， 第19卷，5-6页，2008年10月。[4]F. M. Porikli、A.Divakaran, "Multi-camera calibration, object tracking and query generation (多摄像机校准、对象跟踪及询问产生)”，((Proc. IEEEInt. Conf. Multimedia and Expo))(《国际多媒体及博览会会议IEEE会报》)，马里兰州巴尔的摩市， 2003 年 7 月 6-9 日，第 1 卷，653-656 页。[5]0. Javed> K. Shafique> Μ. Shah, "Appearance modeling for tracking in multiple non-overlapping cameras (用于跟踪多个非重叠摄像机的外观建模)”，《IEEE Computer Society Conference on Computer Vision and Pattern Recognition))(〈〈关于计算机视觉和模式识别的IEEE计算机协会会议》)，2005年6月20-25日，第2卷，26-33页。[6] V. Modi, "Color descriptors from compressed images ( g Jiif # W 彦页色描述符)，，，((CVonline :The Evolving, Distributed, Non-Proprietary, On-LineCompendium of Computer Vision》(《CVonline :计算机视觉的演进的、分布式的、非专利的在线纲要》)，检索于2008年12月30日。[7] C. Madden、E. D. Cheng、M. Piccardi, "Tracking people across disjoint camera views by an illumination-tolerant appearance representation (^夕卜观表示来跟踪在分离的摄像机视野中的人)”，《Machine Vision and Applications))(《机器视觉及应用》)，第18卷，233-247页，2007。[8] S. Y. Chien> W. K. Chan> D. C. Cherng> J. Y. Chang, "Human object tracking algorithm with human color structure descriptor for video surveillance systems (用于视频监视系统的使用人体颜色结构描述符的人体对象跟踪算法)”，《Proc. of 2006 IEEE International Conference on Multimedia and Expo} ( ^ψMMWRW 览会的2006IEEE国际会议会报》)，加拿大多伦多，2006年7月，2097-2100页。[9] Z. Lin、L. S. Davis, "Learning pairwise dissimilarity profiles for appearance recognition in visual surveillance ()(寸用^1！中的夕卜^ISi只另ll的
) ((Proc. of the 4th International Symposium on Advances in Visual Computing))(《关于视觉计算的进展的第4届国际讨论会会报》)，在《计算机科学》 中的演讲记录，第5358卷，23-24页，2008。[10]C. Bishop, ((Pattern recognition and machine learning)) ( 〈〈t莫式i只另与机器学习》)，纽约=Springer (施普林格出版社)，2006。[11]0. Soceanu>G. Berdugo>D. Rudoy>Y. Moshe>I. Dvir,"Where' s Waldo Human figure segmentation using saliency maps (Waldo 在哪儿？使用显著图的人体分害Ij ) ”， ((Proc. ISCCSP 2010》(((ISCCSP 2010会报》)，塞浦路斯利马索尔市，5月3-5日，2010。[12]Τ· B. Moeslund、A. Hilton 禾口 V. Kruger, "A survey of advances in vision-based human motion capture and angilysis ( ￠^ ^1 ^! !入/[本: 禾口方面的进展的调查)”，《Computer Vision and Image Understanding))(《计算机视觉和图像理解》)，第104卷，第2-3期，90-1 页，2006年11月。[13]Y. Yu> D. Harwood> K. Yoon 禾口 L. S. Davis, "Human appearance modelling for matching across video sequences (在整个视频序列进行匹配的人体外观建模)”， ((Machine Vision and Applications))(《机器视觉及应用》)，第 18 卷，第 3-4 期，139-149 页，2007年8月。[14]N. Dalal 禾口 B. Triggs, "Histograms of oriented gradients for human detection (用于人体检测的方向梯度直方图)，，，((Proc. International Conference on Computer Vision))(《关于计算机视觉的国际会议会报》)，中国北京，2005年10月17-21 日，886-893 页。[15]S. Kullback,((Information Theory and Statistics》(《信息理论及统计》)， John Wiley & Sons (约翰威利父子公司)，1959。发明_既述本发明是一种用于关联在两个或多个图像内出现的(即其中可见的)对象或人的方法、电路和系统。根据本发明的一些实施方式，在第一图像或第一系列图像(例如，视频序列)内出现的对象或人可以被表征，且与该人或对象相关的表征信息(即一个或一组参数)可以存储在数据库、随机存取存储器或缓存中，用于与来源于其他图像的表征信息进行后续比较。数据库还可以在整个存储位置网分布。根据本发明的一些实施方式，可以按两个阶段执行在图像内发现的对象/人的表征(1)分割，以及⑵特征提取。根据本发明的一些实施方式，图像主体匹配系统可包括用于提取与第一图像帧中的一个或多个主体中的每一个相关的一个或多个特征的特征提取块，其中特征提取可包括生成至少一个分级的方向梯度。所述分级的方向梯度可使用沿水平方向的像素值的数值处理进行计算。所述分级的方向梯度可使用沿竖直方向的像素值的数值处理进行计算。所述分级的方向梯度可使用沿水平方向和竖直方向的像素值的数值处理进行计算。所述分级的方向梯度可以与归一化高度相关。图像特征的分级的方向梯度可以与第二图像中的特征的分级的方向梯度进行比较。根据本发明的另外一些实施方式，图像主体匹配系统可包括用于提取与第一图像帧中的一个或多个主体中的每一个相关的一个或多个特征的特征提取块，其中特征提取可包括计算至少一个分级的颜色比率向量。所述向量可使用沿水平方向的像素的数值处理进行计算。所述向量可使用沿竖直方向的像素的数值处理进行计算。所述向量可使用沿水平方向和竖直方向的像素的数值处理进行计算。所述向量可以与归一化高度相关。图像特征的向量可以与第二图像中的特征的向量进行比较。根据一些实施方式，提供了图像主体匹配系统，其包括用于将图像分割成包含感兴趣的主体的一个或多个图像片段的对象检测块或图像分割块，其中对象检测或图像分割可包括生成至少一个显著图(saliency map)。所述显著图可以是分级的显著图。附图的简要描述在本说明书的结论部分特别指出和明晰地声明了本发明的主题。然而，当结合附图阅读时，通过参考下面的详细描述可以最佳地理解本发明的组织和操作方法，以及对象、 特征及其优点，其中图IA是根据本发明的一些实施方式的用于关联在两个或多个图像中出现的对象或人(例如，感兴趣的主体)的示例性系统的框图；图IB是根据本发明的一些实施方式的示例性的图像特征提取&分级/归一化块的框图；图IC是根据本发明的一些实施方式的示例性的匹配块的框图；图2是示出根据本发明的一些实施方式的由用于关联/匹配在两个或多个图像中出现的对象或人的示例性系统执行的步骤的流程图；图3是示出根据本发明的一些实施方式的可以作为检测和/或分割的一部分执行的示例性的显著图的生成过程的步骤的流程图；图4是示出根据本发明的一些实施方式的可以作为检测和/或分割的一部分执行的示例性的减去背景过程的步骤的流程图；图5是示出根据本发明的一些实施方式的可以作为颜色特征提取的一部分执行的示例性的颜色分级过程的步骤的流程图；图6A是示出根据本发明的一些实施方式的可以作为纹理特征提取的一部分执行的示例性的颜色比率分级过程的步骤的流程图6B是示出根据本发明的一些实施方式的可以作为纹理特征提取的一部分执行的示例性的方向梯度分级过程的步骤的流程图；图6C是示出根据本发明的一些实施方式的可以作为纹理特征提取的一部分执行的示例性的显著图分级过程的步骤的流程图；图7是示出根据本发明的一些实施方式的可以作为纹理特征提取的一部分执行的示例性的高度特征提取过程的步骤的流程图；图8是示出根据本发明的一些实施方式的示例性的表征参数概率建模过程的步骤的流程图；图9是示出根据本发明的一些实施方式的可以作为特征匹配的一部分执行的示例性的距离测量过程的步骤的流程图；
图10是示出根据本发明的一些实施方式的可以作为特征和/或主体匹配的一部分执行的示例性的数据库参考和匹配决策过程的步骤的流程图；图IlA是根据本发明的一些实施方式的在背景去除过程之前和之后的包含人体的一组图像帧；图IlB是示出根据本发明的一些实施方式的在(a)分割过程；(b)颜色分级过程；(c)颜色比率提取过程；(d)梯度方向过程；以及(e)显著图分级过程之后的包含人体的图像的一组图像帧；图IlC是示出根据本发明的一些实施方式的具有类似的颜色组合但可以通过他们的衬衫的图案进行区分的人体的一组图像帧；以及图12是根据本发明的一些实施方式的、包含当使用一个或两个摄像机时，比较本发明的示例性的重新识别方法和由Lin等人所教导的那些方法之间的示例性的人重新识别成功率结果的表。将意识到，为了使图示清楚、简洁，在图中所示出的元件不必要按比例绘制。例如， 为了清晰起见，一些元件的尺寸可以相对于其他元件进行放大。另外，在认为合适的地方， 参考标号可以在附图中重复以指示相应的或相似的元件。详细描述在下面的详细描述中，提出了许多具体的细节以提供对本发明的完全理解。然而， 本领域中的技术人员应该理解的是，可以不需要这些具体细节来实践本发明。在其他情况下，为了不混淆本发明，没有详细地描述所熟知的方法、过程、组件和电路。除非另外特别陈述，正如从下面的讨论可明显看出的，应该意识到在整个说明书的讨论中使用的诸如“处理”、“计算(computing) ”、“计算(calculating) ”、“确定”或类似的术语指计算机或计算系统或类似的电子计算装置的动作和/或过程，这些计算机或计算系统或类似的电子计算装置将表示为计算系统的寄存器和/或存储器内的诸如电子量的物理量的数据操作和/或变换成类似地表示为计算系统的存储器、寄存器或其他这样的信息存储、传输或显示装置内的物理量的其他数据。本发明的实施方式可包括用于执行本文的操作的设备。该设备可以被专门构造用于所期望的目的，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如，但不限于包括软盘、光盘、CD-ROM、磁性光盘、只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、电可擦除和可编程只读存储器(EEPROM)、磁卡或光卡的任何类型的磁盘， 或者适合存储电子指令并能够耦合到计算机系统总线的任何其他类型的介质。本文所提到的处理器和显示器不固有地指任何具体的计算机或其他设备。各种通用系统可用于根据本文的教导的程序，或者可以证明构造更专门的设备以执行所期望的方法是方便的。用于各种这些系统的期望结构将出现在下面的描述中。此外，不参考任何具体的编程语言来描述本发明的实施方式。将意识到，可以使用各种编程语言来实现本文所描述的本发明的教导。本发明是一种用于关联在两个或多个图像内出现的(即其中可见的)对象或人的方法、电路和系统。根据本发明的一些实施方式，在第一图像或第一系列图像(例如，视频序列)内出现的对象或人可以被表征，且与该人或对象相关的表征信息(即一个或一组参数)可以存储在数据库、随机存取存储器或缓存中，用于与来源于其他图像的表征信息的后续比较。数据库还可以在整个存储位置网进行分布。根据本发明的一些实施方式，可以按两个阶段执行在图像内发现的对象/人的表征(1)分割，以及⑵特征提取。根据本发明的一些实施方式，可以使用任何现今已知的或未来会发明出的技术执行分割。根据一些实施方式，减去背景技术(例如，使用参考图像)或其他对象检测技术 (没有参考图像，例如Viola-Jones)可用于对象的初始的、粗略分割。还可用作细化技术的另一技术可包括使用对象/人的显著图。有几种可以提取显著图的方式。根据本发明的一些实施方式，显著性映射可包括将图像I(x，y)变换到频率和相位域^(1 ，1^)6即(]力(1 ，1^)) =F{I(x，y)}。F表示二维空间傅里叶变换，其中A和Φ 分别是变换的振幅和相位。显著图可以被获得为S(x，y) =g*|F-l{l/A θχρΟΦ)} |"20其中F-I表示二维空间傅里叶变换的逆变换，g是二维高斯函数，I I和*分别表示绝对值和卷积。根据本发明的另外一些实施方式，显著图可以用其他方法获得(例如，如S(x，y)= g*|F-l{exp(jO)} I "2(Guo C.等，2008))。根据本发明的一些实施方式，可以从分割的对象/人提取诸如颜色、纹理或空间特征等各种特性。根据本发明的一些实施方式，所提取的特征可以用于对象之间的比较。为了提高存储效率，可以对特征进行压缩(例如，平均颜色、最常见颜色、15个主要颜色)。尽管诸如颜色直方图和方向梯度直方图的一些特征可包含概率信息，但其他的特征可包含空间信息。根据本发明的一些实施方式，当从被分割的对象选择要提取的特征时可进行某些考虑。这些考虑可包括特征的区别性和分离性、当涉及多个摄像机和动态环境时照明变化的鲁棒性、以及噪声鲁棒性和比例不变性。根据本发明的一些实施方式，可以通过改变每一张图的尺寸为不变的尺寸来实现比例不变性。可以使用对特征分级、将绝对值映射到相对值的方法来实现照明变化的鲁棒性。分级可以取消任何线性建模的光照变换，假设对于这样的变换，特征分布函数的形状是相对不变的。根据一些实施方式，为了获得向量X的秩，计算向量的归一化累积直方图 H(X)。因此，秩O(X)可以通过下式给出0(χ) =「//(χ)·100]其中，「1表示将数字四舍五入为与之相邻的整数。例如，使用100作为因子，将分级特征的可能值设为[X]，并把O(X)的值设为累积直方图的百分比值。所提出的分级方法可应用于所选择的特征以实现线性照明变化的鲁棒性。根据本发明的一些实施方式，可以使用颜色等级特征(Yu Y等人，
2007)。可以通过使用0(χ) =「//(χ)·100 等式对RGB颜色通道运用分级过程来获得
颜色等级值。另一颜色特征是归一化颜色，该特征的值使用下面的颜色变换获得
, 、( RG (R + G + Bf\
(r,s,s)=-,---
ν 6 , {(R + G + B) (R + G + B) 3 J其中，R、G和B分别表示被分割对象的红、绿和蓝颜色通道。r和g分别表示红色和绿色通道的色度，s表示亮度。到rgs颜色空间的变换可以将色度与亮度分离，从而导致光照不变性。根据本发明的一些实施方式，当涉及类似颜色的对象或穿有类似衣服颜色的人时 (例如，红白条纹衬衫与具有交叉图案的红白衬衫相比)，颜色分级可能是不够的。另一方面，纹理特征可能获得与它们的空间环境相关的值，因为信息是从一个区域而不是从单个像素提取的，因此获得更加全局的视点。根据本发明的一些实施方式，可以获得分级的颜色比率特征，其中每一像素除以它的相邻像素(例如，上面的像素)。该特征源于光的多重模型和局部性原理。该操作可增强边缘并可将边缘与对象的平面区域分离。对于更致密的表示以及环绕竖直轴的旋转不变性来说，可以对每一行计算平均值。这可导致对应每个值的空间位置的列向量。最后，结果向量或矩阵可以通过0(χ) =「//(χ) · 1001等式求秩。根据本发明的一些实施方式，可以使用在水平方向(dx)和竖直方向(dy)上的数值求导来计算方向梯度秩。可以如前文所描述的来执行方向角的分级。根据本发明的一些实施方式，分级的方向梯度可以基于方向梯度的直方图。根据一些实施方式，一维中心蒙版 (例如-1、0、1)最初可应用于水平方向和竖直方向。根据本发明的一些实施方式，可以通过提取一个或多个纹理特征获得分级的显著图，其中可以从显著图S(x，y)(例如前文所描述的图)提取纹理特征。S(x，y)的值可以被分级和量化。根据本发明的一些实施方式，为了表示结构上下文中的前述特征，可以通过使用高度特征来存储空间信息。高度特征可以使用像素的归一化y坐标计算，其中归一化可以确保比例不变性，其使用从数据样本的网格上的像素位置到对象的顶部的归一化距离。可以关于对象的高度完成归一化。根据本发明的一些实施方式，可以通过匹配从两个或多个图像中的每一个提取的对象/人的表征参数来实现匹配或关联在两个或多个图像中发现的相同的对象/人。可使用多种参数(即数据集)匹配算法中的每一个来作为本发明的一部分。根据本发明的一些实施方式，当试图将对象/人与之前成像的对象/人相关联时， 可以计算在所获取的图像中发现的对象/人的表征参数组和存储在数据库中的多个表征组中的每一个之间的距离。来自每一次比较的距离值可用于分配对象/人之间的匹配概率的一个或多个等级。根据本发明的一些实施方式，距离越短，等级可能越高。根据本发明的一些实施方式，来自两个对象/人的比较的具有超过某个预定阈值或动态选取的阈值的值的等级可被称为在两个图像中发现的对象/人/主体之间的“匹配”。
8
现在转向图1A，其示出了根据本发明的一些实施方式的用于关联或匹配在两个或多个图像内出现的对象或人(例如，感兴趣的主体)的示例性系统的框图。可以结合图2 的流程图描述图IA的系统的操作，图2的流程图示出根据本发明的一些实施方式的由用于关联/匹配在两个或多个图像内出现的对象或人的示例性系统执行的步骤。图IA的系统的操作还可参考在图IlA到IlC中示出的图像描述，其中图IlA是根据本发明的一些实施方式的、在背景去除过程之前和之后的包含人体的一组图像帧。图IlB是根据本发明的一些实施方式的示出在(a)分割过程；(b)颜色分级过程；(c)颜色比率提取过程；(d)梯度方向过程；以及(e)显著图分级过程之后的包含人体的图像的一组图像帧。以及，图IlC是根据本发明的一些纹理匹配实施方式的示出具有类似的颜色组合但可以通过他们的衬衫图案进行区分的人体的一组图像帧。转回到图1A，功能框图示出由定位在设施或建筑物内的不同位置处的多个摄像机中的每一个(例如录像机)提供/获取的图像(步骤500)。所述图像包括一个人或一组人。首先使用检测和分割块在人的周围分割图像(步骤1000)。与被分割的图像的主体相关的特征被提取(步骤2000)并通过提取&分级/归一化块被可选地分级/归一化。被提取的特征和可选地原始(被分割的)图像可以存储在功能相关的数据库中(例如，在海量存储器、缓存等实现的)。匹配块可以将与新获取的包含图像的新获取的主体相关的图像特征与存储在数据库中的特征相比较(步骤3000)以确定从不同的摄像机获取的两个或多个图像中出现的主体之间的联系、关联和/或匹配。可选地，提取块或匹配块可以将概率模型应用到所提取的特征或基于所提取的特征建立概率模型(图8-步骤3001)。匹配系统可以向监视或记录系统提供关于所检测的/可疑的匹配的信息。各种示例性的检测/分割技术可以结合本发明使用。图3、图4提供了两种这样的方法的例子。图3是示出根据本发明的一些实施方式的可以作为检测和/或分割的一部分执行的示例性的显著图的生成过程的步骤的流程图。而图4是示出根据本发明的一些实施方式的可以作为检测和/或分割的一部分执行的示例性的减去背景过程的步骤的流程图。现在转向图1B，其示出了根据本发明的一些实施方式的示例性的图像特征提取& 分级/归一化块的框图。特征提取块可包括颜色特征提取模块，颜色特征提取模块可执行颜色分级、颜色归一化或两个都可执行。在特征提取块中还可包括纹理-颜色特征模块，该模块可确定分级的颜色比率、分级的方向梯度、分级的显著图或这三个的任何组合。高度特征模块可确定图像片段内的一个或多个像素组的归一化的像素高度。每一个与提取相关的模块可独立作用或与其他模块中的每一个组合作用。提取块的输出可以是关于在图像片段中发现的主体的一个或一组特征的一个或一组(向量)表征参数。在图5-7中列出了由在图IB中示出的每一模块执行的示例性的处理步骤，其中图 5示出根据本发明的一些实施方式的包括可以作为颜色特征提取的一部分执行的示例性的颜色分级过程的步骤的流程图。图6A示出根据本发明的一些实施方式的包括可以作为纹理特征提取的一部分执行的示例性的颜色比率分级过程的步骤的流程图。图6B示出根据本发明的一些实施方式的包括可以作为纹理特征提取的一部分执行的示例性的方向梯度分级过程的步骤的流程图。图6C是根据本发明的一些实施方式的包括可以作为纹理特征提取的一部分执行的示例性的显著图分级过程的步骤的流程图。以及，图7示出根据本发明的一些实施方式的包括可以作为纹理特征提取的一部分执行的示例性的高度特征提取过程的步骤的流程图。现在转向图1C，其示出了根据本发明的一些实施方式的示例性的匹配块的框图。 可以根据在图9和图10的流程图中所描绘的示例性方法执行匹配块的操作，其中图9是示出根据本发明的一些实施方式的可以作为特征匹配的一部分执行的示例性的距离测量过程的步骤的流程图。图10示出根据本发明的一些实施方式的可以作为特征和/或主体匹配的一部分执行的示例性的数据库参考和匹配决策过程的步骤的流程图。匹配块可包括表征参数距离测量概率模块，所述模块适于计算或评估来自两个分离的图像的一个或多个相应的提取特征之间的可能的关联/匹配值(步骤4101和4102)。可以在两个新获取的图像的相应特征之间或在新获取的图像的特征和存储在功能相关的数据库中的图像的特征之间执行匹配。匹配决策模块可以基于预定的阈值或动态设置的阈值来确定在两个比较的特征或两个比较的特征组之间是否存在匹配(步骤4201到4204)。可选地，匹配决策模块可以应用最佳拟合或最近匹配原则。图12是根据本发明的一些实施方式的，包含当使用一个或多个摄像机时，比较本发明的示例性的重新识别方法和由Lin等人教导的那些方法之间的示例性的人重新识别成功率结果的表。使用本发明的技术、方法和过程可实现明显较好的结果。现将参考具体的示例性公式描述本发明的各个方面和实施方式，所述公式可以可选地用于实现本发明的一些实施方式。然而，应该理解，不论是现今所知道的还是未来会想出的任何功能等价的公式也都是可应用的。参考在本申请的前文列出的出版物中提供的教导并使用分配给列表中的出版物的参考标号来对下面的某些部分进行描述。本发明是一种用于关联在两个或多个图像内出现的(即其中可见的)对象或人的方法、电路和系统。根据本发明的一些实施方式，在第一图像或第一系列图像(例如，视频序列)内出现的对象或人可以被表征，且与该人或对象相关的表征信息(即一个或一组参数)可以存储在数据库、随机存取存储器或缓存中，用于与来源于其他图像的表征信息进行后续比较。数据库还可以在整个存储位置网分布。根据本发明的一些实施方式，可以按两个阶段执行在图像内发现的对象/人的表征(1)分割，以及⑵特征提取。根据本发明的一些实施方式，可以使用任何现今已知的或未来会想出的技术执行分割。根据一些实施方式，减去背景技术(例如，使用参考图像)或其他没有使用参考图像的对象检测技术[12](例如Viola-Jones)可用于对象的初始的、粗略分割。还可用作细化技术的另一技术可包括使用对象/人的显著图[11]。有几种可以提取显著图的方式。根据本发明的一些实施方式，显著性映射可包括图像I(x，y)到频率和相位域的变换40 ，1^)6即(]力0 ，1^)) =F{I(x，y)}。F表示二维空间傅里叶变换，其中A和Φ 分别是变换的振幅和相位。显著图可以被获取为S(x，y) =g*|F-l{l/A θχρΟΦ)} |"20其中F-I表示二维空间傅里叶变换的逆变换，g是二维高斯函数，I I和*分别表示绝对值和卷积。根据本发明的另外一些实施方式，显著图可以用其他方法获得(例如，如S(x，y)= g*|F-l{exp(jO)} |"2(Guo C.等人，2008))。根据本发明的一些实施方式，从显著图到分割块的移动可以涉及蒙版——在显著图上应用阈值。显著性值大于或等于阈值的像素可以认为是人体的一部分，而显著性值小于阈值的像素可以认为是背景的一部分。可以设置阈值以给出所使用的滤波器类型的令人满意的结果(例如，高斯滤波器的显著性强度的平均值)。根据本发明的一些实施方式，可以使用二维采样网格来设置蒙版显著图内的数据样本的位置。根据本发明的一些实施方式，可以沿着列(竖直方向)分配和分布固定数量的样本。根据本发明的一些实施方式，可以从分割的对象/人提取诸如颜色、纹理或空间特征的各种特性。根据本发明的一些实施方式，所提取的特征可以用于对象之间的比较。为了提高存储效率，可以对特征进行压缩(例如，平均颜色、最常见颜色、15个主要颜色)。尽管诸如颜色直方图和方向梯度直方图的一些特征可包含概率信息，但其他的特征可包含空间信息。根据本发明的一些实施方式，当从被分割的对象选择要提取的特征时可进行某些考虑。这些考虑可包括特征的区别性和分离性、当涉及多个摄像机和动态环境时光照变化的鲁棒性、以及噪声鲁棒性和比例不变性。根据本发明的一些实施方式，可以通过改变每一张图的尺寸为不变的尺寸来实现比例不变性。可以使用对特征分级、将绝对值映射到相对值的方法来实现光照变化的鲁棒性。分级可以取消任何线性建模的光照变换，假设对于这样的变换，特征分布函数的形状是相对不变的。根据一些实施方式，为了获得向量X的秩，计算向量的归一化累积直方图 H(X)。因此，秩O(X)可以通过M给出
O(X) =「//(x).l 00]其中，「1表示将数字四舍五入为与之相邻的整数。例如，使用100作为因子，将分级特征的可能值设为[X]并把O(X)的值设为累积直方图的百分比值。所提出的分级方法可应用于所选择的特征以实现线性光照变化的鲁棒性。根据本发明的一些实施方式，可以使用颜色等级特征[13]。可以通
过使用0(x) =「//(x)_ IOOl等式对RGB颜色通道运用分级过程来获得颜色等级
值。另一颜色特征是归一化颜色[13]，该特征的值使用下面的颜色变换获得
, 、( RG (R + G + Bf\
(r,s,s)=-,---
ν 6 , {(R + G + B) (R + G + B) 3 J其中，R、G和B分别表示被分割对象的红、绿和蓝颜色通道。r和g分别表示红色和绿色通道的色度，s表示亮度。到‘rgs’颜色空间的变换可以将色度与亮度分离，从而导致光照不变性。 根据本发明的一些实施方式，每一颜色分量R、G和B可以被分级以获得鲁棒性、单调的颜色变换和光照变化。根据一些实施方式，分级可以通过由H(C)替换给定的颜色值c 将绝对值变换为相对值，其中H(C)是颜色c的归一化累积直方图。可以使用H(C)到固定数量级的量化。通过光栅扫描(例如，从左到右和从上到下)可以获得从二维结构到向量的变换。向量元素的数量可以是固定的。根据本发明的一些示例性的实施方式，元素的数量可以是500，HO的量化级的数量可以是100。 根据本发明的一些实施方式，当涉及类似颜色的对象或穿有类似衣服颜色的人时 (例如，红白条纹衬衫与具有交叉图案的红白衬衫相比)，颜色分级可能是不够的。另一方面，纹理特征可能获得与它们的空间环境相关的值，因为信息是从一个区域而不是从单个像素提取的，因此获得更加全局的视点。根据本发明的一些实施方式，可以获得分级的颜色比率特征，其中每一像素被它的相邻像素分开(例如，上面的像素)。该特征源于光照的多重模型和局部性原理。该操作可增强边缘并可将边缘与对象的平面区域分离。对于更致密的表示以及环绕竖直轴的旋转不变性来说，可以对每一行计算平均值。这可导致对应每一值的空间位置的列向量。最后， 结果向量或矩阵可以通过0(χ) =「//(χ) · 1001等式求秩。根据本发明的一些实施方式，分级的颜色比率可以是基于光照和噪声的多重模型的纹理描述符，其中每一像素值除以一个或多个相邻的(例如，上面的)像素值。可以改变图像的尺寸以实现比例不变性。而且，每一行或者来自行子集的每一行可以求平均以实现某一旋转不变性。根据本发明的一些实施方式，可以使用一个颜色分量，比如说绿色(G)。 如前文所描述的，可以对G比率值分级。所产生的输出可以是持有纹理信息并且对于光照、 比例和旋转具有某些不变性的类似直方图的向量。根据本发明的一些实施方式，可以使用在水平方向(dx)和竖直方向(dy)上的数值求导来计算方向梯度秩。可以如前文所描述的来执行方向角的分级。根据本发明的一些实施方式，分级的方向梯度可以基于方向梯度的直方图[14]。根据一些实施方式，一维中心蒙版(例如-ι、ο、ι)可初始地应用于水平方向和竖直方向。根据本发明的一些实施方式，可以在水平方向和竖直方向上计算梯度。每一像素的梯度方向θ (i, j)可以用下式计算
权利要求
1.一种图像主体匹配系统，包括特征提取块，其用于提取与第一图像帧中的一个或多个主体中的每一个相关的一个或多个特征，其中特征提取包括至少一个分级的方向梯度。
2.根据权利要求1所述的系统，其中使用水平方向上的数值求导来计算所述分级的方向梯度。
3.根据权利要求1所述的系统，其中使用竖直方向上的数值求导来计算所述分级的方向梯度。
4.根据权利要求1所述的系统，其中使用水平方向和竖直方向上的数值求导来计算所述分级的方向梯度。
5.根据权利要求1所述的系统，其中所述分级的方向梯度与归一化高度相关。
6.根据权利要求5所述的系统，其中将所述图像特征的分级的方向梯度与第二图像中的特征的分级的方向梯度进行比较。
7.一种图像主体匹配系统，包括特征提取块，其用于提取与第一图像帧中的一个或多个主体中的每一个相关的一个或多个特征，其中特征提取包括计算至少一个分级的颜色比率向量。
8.根据权利要求7所述的图像处理系统，其中使用沿水平方向的数值处理来计算所述向量。
9.根据权利要求7所述的图像处理系统，其中使用沿竖直方向的数值处理来计算所述向量。
10.根据权利要求7所述的图像处理系统，其中使用沿水平方向和竖直方向的数值处理来计算所述向量。
11.根据权利要求7所述的系统，其中所述向量与归一化高度相关。
12.根据权利要求11所述的系统，其中将所述图像特征的所述向量与第二图像中的特征的向量进行比较。
13.一种图像主体匹配系统，包括对象检测或图像分割块，其用于将图像分割成包含感兴趣的主体的一个或多个片段， 其中所述对象检测或所述图像分割包括生成至少一个显著图。
14.根据权利要求13所述的系统，其中所述显著图是分级的显著图。
全文摘要
公开了一种用于图像处理和图像主体匹配的系统和方法。一种电路和系统可用于匹配/关联在两个或多个图像内出现(即其中可见的)的对象/主体或人。在第一图像或第一系列图像(例如，视频序列)内出现的对象或人可以被表征，且与所述人或对象相关的表征信息(即一个或一组参数)可以存储在数据库、随机存取存储器或缓存中，用于与来源于其他图像的表征信息进行后续比较。
文档编号G09G5/02GK102598113SQ201080029368
公开日2012年7月18日 申请日期2010年6月30日 优先权日2009年6月30日
发明者丹·劳德尼茨, 亚伊尔·摩西, 伊齐克·迪文, 奥马里·索恰努, 德米特里·鲁多伊 申请人:安芯美特控股有限公司