用于对象再识别的系统和方法_5

文档序号:9708722阅读:来源:国知局
候选对象的定向。在步骤540的一 个实施方案中,如图6B所示,通过场景中地平面上的方位角Θ,表示候选对象的相对定向。 在该VIDD配置中,0°的方位角Θ表示面对着摄像机的对象,如通过图6B中的方向660所 示,并且180°的方位角表示面部背着摄像机的对象,如通过图6B中的方向665所示。假 定P表示摄像机的俯仰角,其中,0°俯仰对应于水平摄像机,并且90°俯仰对应于面向下 朝着摄像机。然后,可以根据公式(7)定义"地平面定向公式",以如下根据通过Δχ和Ay 所表示的运动方向来近似计算地平面上的候选对象的方位角Θ :
[0111]
(7)
[0112] 在步骤540的一个实施方案中,将使用公式(7)所计算出的方位角作为候选对象 的相对定向。在步骤540的另一实施方案中,将使用公式(7)所计算出的方位角进一步量 化成一组离散角中的最近角。这样使得能够按照小数量的可能观察条件来描绘在处理440 的步骤820 (参考图8)所确定的属性的可检测性的特征。作为例子,参考图6B说明量化, 其中图6B示出以固定间隔45°量化为8个离散定向。在图6A所示的运动方向650的例子 中,量化导致如图6A中的方向670所示的225°的对象定向。方法425然后从步骤540进 入结束步骤599,结束步骤599输出所确定的候选对象的相对定向541。
[0113] 图5中的方法425示出图4中的方法400的步骤425的一个实施方案,其中,根据 运动方向确定候选对象的定向。可以相同地进行该方法的变形例。在一个可选VIDD配置 中,基于对候选对象的位置变化的二阶或者更高阶有限差分近似,根据当前帧和包含候选 对象的两个以上的先前帧来估计运动方向。在另一可选VIDD配置中,基于对候选对象的所 有先前观察,通过诸如卡尔曼滤波器或者粒子滤波器等的递归贝叶斯滤波器来估计运动方 向。不基于运动方向的、方法400的步骤425的其它实施方案也是可行的。例如,一个可选 VIDD配置使用机器学习方法对离散定向类进行分类,并且另一可选VIDD配置使用基于模 型的姿态估计。之前已经说明了这两个可选VIDD配置。
[0114] 图7A示出用于检测候选对象的属性的有噪观察的方法430 (参考图4)的例子。使 用在该步骤所检测到的有噪观察来在方法400的步骤440确定候选对象是关注对象的置信 度。在图3所示作为例子的贝叶斯模型中,在该步骤所检测到的有噪观察,分别对应于节点 365和375处的变量山和d 2。这些检测是对节点360和370处的属性&1和a 2的有噪观察。 参考图7B中的候选对象760,说明方法430的例子。在通过VIDD软件1033所指示的处理 器1005所进行的开始步骤705,开始方法430,其中,作为输入,接收在方法400的步骤420 所检测到的候选对象的图像。方法430然后从开始步骤705进入通过VIDD软件1033所指 示的处理器1005所进行的步骤710,步骤710从一组中的所有属性选择未经处理属性。
[0115] 控制然后从步骤710进入通过VIDD软件1033所指示的处理器1005所进行的步骤 720,步骤720确定所要处理的关注区域以对所选择的属性进行分类。例如,在一个VIDD配 置中,使用图7B中的关注区域780和785来分别分类属性"面部毛发风格"和"裤子长度"。 确定关注区域以对齐输入数据,这是提高属性分类器的精度的重要步骤。在一个VIDD配置 中,根据与在方法400的检测步骤420所确定的候选对象的边界框770的固定关系,确定关 注区域。在另一 VIDD配置中,通过检测候选对象的特定部位来确定针对属性的关注区域。 在一个例子中,使用" Ω形状"头部检测器来确定与行人有关的关注区域。
[0116] 方法430然后从步骤720进入通过VIDD软件1033所指示的处理器1005所进行 的步骤730,步骤730根据用于所选择的属性的关注区域中的像素值,构建特征矢量。该 步骤将高维图像数据约简成可以更有效进行分类的低维特征矢量,并且提高分类器对于照 明、视角和其它噪声源的变化的稳健性。例如,可以将来自RGB图像的20X20像素区域中 的1200个颜色值,在维度上约简成仅具有27个值的3X3X3RGB直方图。RGB直方图丢弃 了像素的空间布局,与原始像素区域相比,这样对于视角提供更大的不变性。在一个VIDD 配置中,特征是用于图像内容的颜色、形状和纹理的低级图像描述符。低级基于颜色的描述 符的例子有基于关注区域所计算出的灰度颜色直方图、RGB颜色直方图、HSV颜色直方图和 颜色相关图。低级基于形状的描述符的例子有方向梯度直方图(H0G)、尺度不变特征变换 (SIFT)和shapelet。低级基于纹理的描述符的例子有局部二值模式(LBP)和Gabor滤波 器直方图。在另一 VIDD配置中,通过属性类的一组标记训练图像来学习特征。在一个例子 中,应用Fisher判别分析来学习使属性类之间的分离最大化的子空间投影。
[0117] 控制然后从步骤730进入通过VIDD软件1033所指示的处理器1005所进行的步 骤740,步骤740使用在步骤730所提取的特征向候选对象的所选择的属性分配类标签。在 一个例子中,对于属性"裤子长度"的情况,步骤740基于在区域785所提取的特征,判断候 选对象是否应被分类为"长裤"还是"短裤"。基于用于每一类标签的一组示例性图像,使用 监督机器学习方法来训练属性分类器。在一个VIDD配置中,在执行方法400之前,在离线 训练阶段期间训练属性分类器。在可选VIDD配置中,例如,基于来自用户的、对于是否已经 正确识别了关注对象的反馈,在执行方法400的同时,在线更新属性分类器。可以使用许多 分类技术中的一个来检测属性。在一个VIDD配置中,属性分类器使用支持向量机(SVM)在 不同属性类标签之间进行判别。在另一 VIDD配置中,属性分类器使用决策树在属性类标签 之间进行判别。在又一 VIDD配置中,属性分类器使用人工神经网络(ANN)在属性类标签之 间进行判别。在还一 VIDD配置中,使用k最近邻(k-NN)匹配来实现属性分类器。
[0118] 在向候选对象的所选择的属性分配了类标签之后,方法430然后从步骤740进入 通过VIDD软件1033所指示的处理器1005所进行的判断步骤750,步骤750判断是否存在 任一未经处理属性。如果存在未经处理属性,则控制按照"是"箭头,并且从判断步骤750返 回至属性选择步骤710。如果已经处理了所有属性,则控制按照"否"箭头,并且从判断步骤 750进入结束步骤799。当方法430的例子到达结束步骤799时,基于在开始步骤705所接 收到的候选对象的图像,向来自一组中所有属性的每一属性都分配了类标签。这通过公式 (1)所给出的后验概率公式右边的有噪观察山431来表示,并且等效地通过公式(1)左边的 一组检测d(其中,d = {dj)来集体表示。
[0119] 图8示出在方法400的一个实施方案中所使用的、用于确定候选对象是关注对象 的置信度的方法440(参考图4)的例子。在开始步骤805,开始方法440,其中,作为输入, 接收在方法400的步骤425所确定的候选对象的相对定向541、在方法400的步骤430所检 测到的属性类标签集431和在方法400的步骤410所确定的关注对象的每一属性的特有性 411〇
[0120] 控制然后从步骤805进入通过VIDD软件1033所指示的处理器1005所进行的步 骤810,步骤810确定候选对象是关注对象的先验概率811。在该步骤所确定的先验概率用 作为用于使用公式(1)计算后验概率时的项P(x)。在一个VIDD配置中,如果在先前帧中观 察到了候选对象,则先验概率取在方法400的步骤440基于所述先前帧所确定的后验概率 的值。如果先前没有观察到候选对象,则将先验概率设置成预定值。在一个VIDD配置中, 使用预定值〇. 5表示候选对象的识别中的最大不确定性。在另一 VIDD配置中,通过操作者 基于对候选对象的人工检查来设置预定值。在又一 VIDD配置中,预定值是基于在先前已知 关注对象的位置的情况下在图像中可能观察到关注对象的似然性的。
[0121] 方法440然后从步骤810进入通过VIDD软件1033所指示的处理器1005所进行 的步骤815,步骤815确定拍摄候选对象的图像的观察条件816。在通过公式(1)所给出的 后验概率的表达式中,以 v表示观察条件。观察条件包括在图4的方法400的步骤425所 确定的、候选对象的相对定向。在一个VIDD配置中,观察条件还包括照明条件(例如,室内 或者户外照明)。在另一 VIDD配置中,观察条件还包括根据在方法400的步骤420所检测 到的候选对象的大小所确定的、与候选对象的图像的空间分辨率有关的信息。在又一 VIDD 配置中,观察条件还包括与诸如焦距等的摄像机的内部参数有关的信息。
[0122] 方法440然后从步骤815进入通过VIDD软件1033所指示的处理器1005所进行 的步骤820,步骤820基于包括在方法400的步骤425所确定的候选对象的相对定向(例 如,公式(7)中的方位角Θ 541)的观察条件,确定候选对象的图像120中的每一属性的可 检测性821。在该步骤所确定的可检测性821用作为在使用公式(1)计算后验概率时的项 P (山| &1,v)。在一个VIDD配置中,可检测性是基于在用于检测候选对象的属性的方法430 的例子的步骤740所使用的分类器的性能。通过利用在特定观察条件v下所拍摄的、具有 所述属性的不同对象的一组标记测试图像对分类器进行测试,来确定属性分类器的性能。 因此,可以基于针对某一属性的属性分类器对于在特定所述观察条件下所拍摄的测试集的 性能,确定在该观察条件下的该属性的可检测性。然后根据如下测试结果来确定可检测性: p(d= "3= 1>v)取属性检测器的真阳性率的值,p(d = 〇|a= 1>v)取属性检测器的假阴 性率的值,p(d = 1 |a = 0, v)取属性检测器的假阳性率的值,并且最后,p(d = 〇|a = 0, v) 取属性检测器的真阴性率的值。使用在所有关注观察条件v下所拍摄的测试图像集,重复 上述测试以充分表现每一属性的可检测性的特征。在一个VIDD配置中,在执行方法400之 前,在离线训练阶段期间,预先计算每一属性的可检测性。在另一 VIDD配置中,在执行方法 400期间,在线更新每一属性的可检测性。在一个例子中,基于来自用户的对于是否已经正 确识别了关注对象的反馈,在线更新可检测性。
[0123] 方法440然后从步骤820进入通过VIDD软件1033所指示的处理器1005所进行 的步骤830,步骤830计算候选对象是关注对象的后验概率441。在一个VIDD配置中,基于 在方法440的步骤810所确定的先验概率p (X)(即,811 )、在方法400的步骤410所确定的 每一属性的特有性P(a」x)411、在方法400的步骤430所检测到的属性标签d(即,431)和 在方法440的步骤820所确定的每一属性的可检测性p (山| &1,v) 821,使用公式(1)来计算 后验概率441 (即,p (x I d, v))。
[0124] 在一些情况下,PTZ摄像机放大候选对象上的小区域,在这种情况下,可能不能观 察对象的所有属性。例如,如果ΡΤΖ放大头部,则不能观察裤子长度。步骤830的一个实施 方案基于摄像机设置和对象的相对定向,判断哪一属性未被观察,并且通过仅针对观察属 性而计算公式(1)的分子和分母中的积项来确定后验概率。然而,由于在使用较少属性时, 属性可能具有较低判别力,因而这可以导致后验概率的乐观估计。按照先前例子,考虑具有 与关注对象相同的发色(观察属性)、不同的裤子长度(未观察属性)的候选者。那么,仅 使用发色所计算出的后验概率可能会乐观地高。为了克服该问题,步骤830的替代实施方 案通过针对在当前帧中可见的属性在当前帧中的检测来计算分子和分母中的积项、并且针 对当前帧中不可观察到的属性而代入来自先前帧的最新检测,来计算公式(1)中的后验概 率。
[0125] 在计算后验概率之后,方法440然后从步骤830进入通过VIDD软件1033所指示 的处理器1005所进行的结束步骤899,结束步骤899输出所计算出的、表示候选对象是否是 关注对象的当前知识的后验概率441。
[0126] 图8中的方法440示出图4的方法400的步骤440的一个实施方案。同样可以进 行该方法的变形例。上述VIDD配置假定可以独立再识别每一候选对象。实际上,由于至多 只有一个候选对象可以是标记目标(即,关注对象),因而出现在同一视野内的多个候选对 象可能不是独立的。在方法440的替代实施方案中,通过利用多类变量y e {〇, 1,2, ···}替 换二值识别变量X e {〇, 1}来解决该局限性,其中,y = 〇表示没有候选对象是关注对象, 并且y = j表示候选者j是关注对象。方法440的步骤810、815和820同时针对当前图像 中的所有候选对象确定先验概率、观察条件和属性可检测性。然后,步骤830计算后验概率 p (y |山,Vp d2, v2,…),其中,dj和v 分别是针对候选者j的所检测到的属性和观察条件。
[0127] 图9示出在图4的方法400中所使用的、用于确定新的摄像机设置的方法460的例 子。方法460 (参考图9)的目的是用于一定程度地基于关注对象的至少一个属性的特有性, 确定用于观察候选对象的最佳摄像机设置,以通过增加至少一个属性的可检测性来提高候 选对象的识别时的置信度。因此,确定用于观察候选对象的摄像机设置,是可以基于所确定 的至少一个属性的特有性的,从而提高该至少一个属性的可检测性。在图1B所示的示例性 VIDD配置中,摄像机设置对应于PTZ摄像机140的平摇、俯仰和缩放设置。在另一 VIDD配 置中,摄像机设置对应于高分辨率视频流内的关注区域。图9所示的方法460的实施方案 是在摄像机设置的空间上的数值搜索,其中,重复选择并测试临时摄像机设置,直到识别出 最佳摄像机设置为止。
[0128] 在通过VIDD软件1033所指示的处理器1005所进行的开始步骤905,开始方法 460 (参考图9),其中,作为输入,接收在方法400的步骤410所确定的关注对象的属性的特 有性p (&11 X) 411、在方法400的步骤425所确定的候选对象的相对定向541 (即,方位角Θ ) 和在方法400的步骤440所确定的候选对象的识别的后验概率p (X | d, v) 441。
[0129] 控制然后从开始步骤905进入通过VIDD软件1033所指示的处理器1005所进
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1