对于对象的遮挡进行检测的方法和装置的制造方法_2

文档序号:9709068阅读:来源:国知局
2中示出了示例的目标场景中所包括的车辆的视差图和相应的灰度图,其中左图为视差图,右图为相应的灰度图。
[0037]在步骤S110中,还获取该对象的预定模板图像。该预定模板图像可以是预先获得的并且存储在存储器中。例如,该模板图像可以是在该对象处于静止状态并且无遮挡的情况下所获得的该对象的图像。该模板图像的类型与待检测的对象的图像的类型相同,例如在待检测的对象的图像是视差图或者灰度图的情况下,该模板图像相应地也是视差图或者灰度图。例如,图3示出了对于图2中所示的车辆对象的模板视差图以及相应的模板灰度图,其中左图为模板视差图,右图为模板灰度图。
[0038]由此,在步骤S110中,获得待检测对象的图像以及相应的模板图像。接下来,在步骤S120中,将该对象的图像与该预定模板图像进行匹配,获得匹配结果。
[0039]图4示出了根据本发明的用于将该对象的图像与该预定模板图像进行匹配的模板匹配方法的一个例子。如图4所示,该模板匹配方法400可以包括以下步骤:步骤S410,根据相同的预定规则将该对象的图像与该预定模板图像分别划分为多个单元;步骤S420,提取该对象的图像的多个单元中的每个单元的单元特征以及该预定模板图像的多个单元中的每个单元的单元特征;以及步骤S430,将该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,以获得匹配结果。
[0040]在步骤S410中,将该对象的图像与该预定模板图像分别划分为多个单元,下文中称之为特征单元。可以根据相同的预定规则对该对象的图像与该预定模板图像进行划分以便进行匹配。该预定规则指定特征单元的诸如形状、尺寸等等的参数。
[0041]特征单元的形状可以是竖直的条状、水平的条状、方形网格单元等等形状。对于特征单元的尺寸,可以根据具体情况进行选择,总体原则是:如果存在对象被遮挡的情况,则特征单元的尺寸不能大于对象被遮挡区域的尺寸。通常情况下,划分的尺寸不能太小,否则进行模板匹配次数多,计算量会比较大,同时对噪声就会变得敏感;划分的尺寸也不能太大,否则细节丢失,得不到理想的匹配效果。
[0042]在本实施例中,将对象的图像与该预定模板图像分别划分为具有相同宽度的多个竖直条状的特征单元。例如,在待检测对象是图2所示的车辆的情况下,将该车辆对象的视差图以及模板视差图分别划分为竖直方向的十个条状特征单元。参考图5,图5(a)和(b)分别示出该对象的图像与该预定模板图像被划分为标号1-10的10个完整的特征单元。
[0043]可选地,步骤S410中,在进行特征单元的划分之前,可以评估该预定模板与该对象的图像的尺寸对应性。这是为了确保该模板与该图像区域在同一个尺寸维度上进行匹配,因为本领域技术人员知道,图像中的同一对象在相似距离下会呈现出相似的尺寸,尺寸的变化与距离的变化呈线性关系,例如在视差图中,视差值的大小与对象距镜头距离成反比例关系。因此,如果已知适当的立体相机参数例如两镜头距离,焦距等,就可以计算出对象的距离和尺寸等信息;同样就灰度图或其他图像而言,有了距离信息和一些辅助信息则也可以计算出尺寸的变化。
[0044]不过,在大多数情况下前后帧中对象不会有太剧烈的位置距离变化,因此此评估步骤也可以省略,认为该模板与该图像区域尺寸近似相等。而且,因为本发明所提出的特征单元匹配方法具备一定程度的鲁棒性,所以小范围的尺寸误差是可以完全容忍的,因此此评估步骤是一个可选的步骤,即使不进行此步骤,也不会对后续处理造成较大影响。
[0045]在步骤S420中,对于在步骤S410中所划分的该对象的图像的多个特征单元以及该预定模板图像的多个特征单元中的每个特征单元,分别提取每个特征单元的图像特征。在对象的图像以及模板图像是视差图的情况下,该图像特征可以是视差分布的特征,比如视差图中的轮廓特征、视差值的直方图等等。当然,在对象的图像以及模板图像是其他图像的情况下,所提取的特征是相应图像中的其他图像特征,例如在灰度图中,提取的图像特征可以是灰度特征,比如灰度图中的边缘特征等等。
[0046]在步骤S430中,将在步骤S420中所提取的该对象的每个单元的单元特征与该预定模板图像的每个单元的单元特征进行匹配,从而获得匹配结果。
[0047]在一个实施例中,可以采用滑动的方式进行对象图像与模板图像的匹配。例如,可以在该对象图像的区域内滑动模板图像。滑动方向可以任意选择,例如从左到右、从中间到两侧等等。每次滑动的步长可以根据对图像进行特征单元划分时所遵循的预定规则而确定,例如,该步长可以是特征单元的尺寸。在如图5所示将图像划分为竖直条状的特征单元的情况下,该步长可以是该条状单元的宽度。
[0048]针对每个滑动的位置,对重叠区域内的对象图像的每个特征单元和相应位置的模板图像的特征单元进行特征匹配计算。也就是说,计算对位特征的相似度,即对象的图像的每个单元的单元特征与模板图像的相应单元的单元特征的匹配程度,从而基于该对象的图像中的所有特征单元与模板图像的对应单元的匹配程度来度量该滑动位置的总体匹配度。
[0049]在一个实施例中,该总体匹配度可以是该对象的图像中的所有特征单元的匹配度之和。或者,在另一实施例中,可以基于该对象的图像中的所有特征单元的匹配度的均方差之和来评价该整体匹配度。
[0050]在计算了当前滑动位置的总体匹配度之后,判断是否滑动遍历了所有的可能匹配位置。如果已经遍历了所有的可能匹配位置,则结束滑动;否则,继续滑动,并针对每个滑动位置,如上所述计算对象的图像的每个特征单元与模板图像的相应单元的匹配度以及在该滑动位置处该对象图像与该模板图像的总体匹配度,如此重复直到已经遍历了所有的可能匹配位置。
[0051]随后,基于所获得的每个滑动位置处的匹配度而决定最佳匹配位置,即匹配度最高的匹配位置。通常的寻找最佳匹配度的方法是全局最优方法,例如,在如上所述总体匹配度是所有特征单元的匹配度之和的情况下,所有特征单元的匹配度之和最大的位置即为最佳匹配位置。或者,在基于所有特征单元的匹配度的均方差之和来评价该整体匹配度的情况下,该均方差之和最小的位置即为最佳匹配位置。
[0052]由此,根据该模板匹配方法400,在步骤S120中获得该对象的图像与该预定模板图像的匹配结果。接下来,在步骤S130,基于在该步骤S120中所获得的该匹配结果检测是否存在对该对象的遮挡。
[0053]可以通过对所获得的匹配结果进行分析来检测遮挡并预测遮挡区域。例如,可以分析在当前匹配结果中每个特征单元与模板图像的相应单元的匹配度,即每个特征单元对整体匹配度的贡献程度,并且针对匹配度较低的特征单元进行检测遮挡,因为匹配度比较低的区域通常是出现异常的区域,出现异常的原因可能包括例如由于自身形态的变化或者由于存在遮挡等等。下文中将这些匹配度较低的特征单元称为弱匹配单元。
[0054]作为一个例子,预先设置匹配度阈值,将当前匹配结果中每个特征单元与模板图像的相应单元的匹配度与该匹配度阈值比较,并且将其中匹配度低于该阈值的特征单元作为弱匹配单元。此匹配度阈值可以由本领域技术人员根据具体应用情况而设置,一个简单的例子是将此匹配度阈值取为该匹配结果中的所有特征单元的匹配度的平均值。当然,该匹配度阈值的设置不限于此。
[0055]仍以图2中检测对象为车辆的视差图为例,进一步参考图6,图6示出了在该对象的模板匹配结果中的弱匹配单元的例子。例如,在图6中上图为所拍摄到的目标场景中的对象的视差图,下图为特征单元匹配结果,其中标号为4、5的特征单元显示为灰色,表示其匹配度较低。从对应于上方的视差图中可以看出,造成此匹配度低的原因是在该车辆前方存在行人对其的遮挡,如该视差图中的椭圆框所示。
[0056]如上所述,检测该匹配结果中的弱匹配单元之中是否存在任何遮挡。存在多种用来检测遮挡的方法。例如,在对象的图像是视差图的情况下,可以通过分析弱匹配单元中的视差值分布特征来检测遮挡。另外,在对象的图像是灰度图的情况下,也可以通过分析灰度图的垂直边缘等等来分析遮挡情况。当然,还可以通过分析深度特征、颜色特征等等其他图像特征或其任意组合来进行遮挡检测。以下举例说明。
[0057]图7(a)示出了与图6的
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1