一种基于立体视觉的目标检测方法和系统的制作方法_3

文档序号:9235951阅读:来源:国知局
[0065] 如图4A所示,在步骤S141,设置高度阔值,该可W是初始的高度阔值,且在改变 了高度阔值的区块下,是改变后的高度阔值。在步骤S142,利用该高度阔值将鸟橄视图 二值化。在步骤S143,在二值化的图像上进行分割处理,其中,S143可W采用任何现存的 基于空间信息的分割方法,例如一个实施例是采用联通与分析(CanonicalCorrelation Analysis,CCA)。
[0066] 在此,二值化的处理即是得到高于高度阔值的区块。
[0067]参考图4B,下图示出了示例的高度分布特征,而横直线代表高度阔值,则可W看到 当高度阔值较低时(例如图4B中的最低处),则在该高度分布特征中得到的高于高度阔值的 区块如左上图的圆圈所示,是连在一起的区块,而该区块中可能存在H个单个目标。而当高 度阔值逐渐增加时,可W想象,连在一起的区块可能会逐渐变为H个单个目标,从而能准确 地判断目标所在的正确区块。因此改变高度阔值的终止条件、即验证通过的条件是需要考 虑的。W下将详细描述根据本发明的各个实施例的单目标验证和多目标验证(或者在另一 划分方式下的初级验证和高级验证)的具体示例流程。
[006引图5示出了在图3A的方法中的对分割得到的区块进行单目标验证和多目标验证 (步骤S15)和输出目标检测结果(S16)的示例的具体流程图。
[0069] 在初级验证S151中,将高于高度阔值的分割的区块的形状(或大小)与预设的目标 在鸟橄视图上的形状(或大小)进行对比,如果前者大于后者,则说明分割区块内可能有多 个目标,则继续改变高度阔值(步骤S152),来重新分割直到得到小于预设的形状或大小的 区块。
[0070] 接下来,如果高于高度阔值的分割的区块的形状(或大小)小于预设的目标在鸟橄 视图上的形状(或大小),则在步骤S153,获得分割的区块内的运动矢量。当然,实际上如果 高于高度阔值的分割的区块的形状(或大小)小于预设的目标在鸟橄视图上的形状(或大 小),已经可W粗略确定该区块内有一个目标了,但是为了避免重叠在一起彼此靠近的两个 或更多目标,则可W进行步骤S153W后的步骤。
[0071] 在步骤S154,将该些运动矢量聚类。在此,聚类的方式是本领域公知的技术,在此 不费述。
[0072] 在步骤S155,判断运动矢量聚类后的类的个数是否=1。如果等于1,则可W认为区 块内的运动矢量的方向基本一致。此时,在一个实施例中,已经可W粗略确定该区块中能够 存在一个目标了,但是为了避免重叠在一起彼此靠近的运动方向基板一致的两个或更多目 标,可W在步骤S156,基于区块内的高度分布特征来确定该区块内是否只有一个目标。具体 地,在步骤S156,计算该区块内的高度分布特征与预定的与要检测的目标相关的高度分布 特征之间的置信度。在此,置信度可W表示该区块内的高度分布特征与预定的高度分布特 征之间的匹配程度。如果在步骤S157,置信度大于预定置信度阔值,则可W认为该区块内 含有一个目标,因此在步骤S16,可W确定该区块是目标所在的区块。而如果在步骤S157, 确定置信度不大于预定置信度阔值,则表示该区块内的高度分布特征不匹配要检测的单个 目标的预定高度分布特征,则可W认为该区块内存在多于一个目标。例如,两个人彼此走的 很近,则该区块内的高度分布特征一般不会匹配仅有单个目标的预定高度分布特征。因此, 如果在步骤S157,确定置信度不大于预定置信度阔值,则在步骤S158,可W进一步改变高 度阔值来重新得到高于高度阔值的分割的区块。在此,在重新得到高于高度阔值的分割的 区块W后,也可W重新经过步骤S151-S157的重新验证,该样可W得到更为准确的检测结 果。当然为了减少计算量,也可W在步骤S158之后直接经过步骤S159的多目标条件,且在 步骤S159,如果改变高度阔值之后重新分割的区块的数量比改变前的数量更多,该表示之 前被混淆在一起的区块随着高度阔值的改变(通常是增加)而浮现了更多的区块,如之前的 图4B所示,则在步骤S16,检测改变高度阔值之后重新分割的区块,如此可W节省计算量地 检测到目标所在的区块。
[0073] 图5仅示出了根据本发明的一个实施例的基于高度信息的目标检测的方法的一 个示例的流程图,但该并不限制本发明为必需经过图5所示的具体的每个步骤,有时为了 节省计算量或更准确地检测等而省略某些步骤或增加某些步骤,该都在本发明的范围之 内。
[0074] 下面通过示意图来更形象地描述上述示例的流程图是如何进行目标检测的。
[00巧]图6A示出了如图5中的步骤S151的初级验证的实例示意图;图她示出了如图 5中的步骤S153的获得区块内的运动矢量的实例示意图;图6C示出了如图5中的步骤 S153-S155-S16 (聚类的个数〉1的情况)的实例示意图。
[0076] 例如,如图6A所示,在步骤S151的初级验证之前,高于某一预定高度阔值的区 块的大小可能大于预定的区块大小,因此,在初级验证之后,继续升高预定高度阔值(步骤 S152)来重新得到更小的区块,直到分割的区块小于预定的区块大小。
[0077] 如图6B所示,在步骤S153,获得区块内的运动矢量巧日图6B的右图所示)。
[0078] 如图6C所示,在步骤S154,对该些运动矢量进行聚类,如图6C的左二图所示,示出 了两个不同方向聚类的运动矢量,因此在步骤S155处判断聚类大于1而非=1。
[0079] 从而在步骤S16,可W直接将两类运动矢量所在的区块检测为目标所在的区块巧口 图6C的右二图)。从而在实际立体图像中,可W检测到例如如图6C的最右图的目标检测结 果。
[0080] 图7A示出了如图5中的步骤S156的计算区块的高度分布特征与预定的高度分布 特征之间的置信度的示例的具体流程图;图7B示出了如图7A所示的流程图的实例示意图。
[0081] 步骤S156是为了在运动矢量的聚类的数量为1个的情况下,进一步通过区块的高 度特征分布来确定在该区块内是否仅具有一个目标。示例地但非限制地,如图7A所示,在 步骤S156-1,确定该运动矢量所指示的运动方向,然后,在步骤S156-2,确定在区块中的与 该运动方向垂直的中线。在此,在目标为人的情况下,假设人的运动方向是运动矢量所指示 的方向,贝U人的肩膀一般位于与该运动方向垂直的方向,且人的肩膀一般处在区块正中的 位置,因此W区块中的与该运动方向垂直的中线的位置作为假设的人的肩的位置。在步骤 S156-3,将分割的区块的高度分布特征与W上述中线为肩的人的头肩模型的高度分布特征 相比较,并计算两者之间的匹配程度、例如置信度。在步骤S156-4,将该计算的匹配程度、例 如置信度(conf_score)输出。
[0082] 具体地,如下公式1给出了头肩模型的数学表达式。
[0083]
[0084] 其中,Hei曲t表示分割块的高度最大值巧P人的身高),Hei曲t右边的表达式是一 个楠圆的2D高斯分布函数,其中,x、y表示深度图像中的宽和深度,P表示人的肩的长轴 与短轴的比值,该是可W通过经验来得到的常数,而0 2表示该2D高斯分布函数的方差,也 是常数。
[0085] W下公式2给出了置信度的计算公式。
[0086]
[0087]其中,M和N代表分割的区块的长度和宽度,blob(X,y)代表区块内坐标为(X,y) 处的高度值。需要注意的是,X轴应该与区块的长轴重合。
[0088]当然上述头肩模型仅是在目标为人的情况下的一种示例而非限制的模型,在要检 测的目标为其他物体的情况下,可W采用与该实际目标类似的模型。本领域技术人员根据 图7A所示的具体的步骤,可W构思在目标为其他物体的情况下,如何计算区块的高度分布 特征和预定高度分布特征之间的置信度的方式。
[0089] 更形象地,如图7B所示,如图7B的左二图所示,假设区块内的运动矢量的聚类的 数量为1个,即图中所示的朝上的方向。在该种情况下,计算区块的高度分布特征和W与运 动矢量的方向垂直的方向上的中线为肩的预定高度分布特征之间的置信度,如图7B的右 二图所示。具体地,参见图7B的最右图的上半部,即区块的实际高度分布,而图7B的最右图 的下半部即W与运动矢量的方向垂直的方向上的中线为肩的预定高度分布特征,可见,该 两者的高度分布特征是相差很大的,因此如此计算的置信度的匹配程度是相对较低的。因 此,在该情况下,可W判断在该区块中不仅存在一个目标。从而可W进行改变高度阔值的步 骤,计算量大的步骤S152或计算量小的步骤S158。
[0090] 图8示出了如图5中的步骤S158-S159-S16的实例示意图。
[0091] 如图8所示,如果在步骤S158的改变高度阔值的步骤之后,得到如图8的左二图 所示地,例如升高高度阔值,从而可能得到如图8的右二图所示的高于该升高后的高度阔 值的区块的数量变为2个,此时,在步骤S159,确定区块的数量比改变前的区块的数量更 多,则可W检测该重新分割的区块为目标所在的区块,如图8的右侧的两个图。
[0092] 图9A-9G示出了应用本技术的各个实施例得到的目标检测的过程和结果的示例 示意图。
[0093] 示例地,如图9A所示,输入深度图像。图9B示出了对该深度图像提取前景图像。 图9C示出了将前景图像投影在鸟橄视图上。图9D示出了获得高于预定高度阔值的区块的 鸟橄视图。从图中可见有左上圆圈中区块看上去像是2个目标比较靠近,且右下圆圈中的 区块看上去像是H个目标彼此靠近,因此用传统方式很容易将多于一个目标检测为一个目 标,但是实际上可能是不准确的。而经过图5所示的逐渐改变高度阔值(例如逐渐增加高度 阔值)的示例流程图之后,得到图9E和图9F所示的目标检测结果,即可见右下角的H个目 标被逐渐准确地分割出来了。在图9G中,示出了在获得如图9E的鸟橄视图上的区块的目 标检测结果之后,在立体图像上表现出来的目标检测结果,可见立体图像中的各个作为目 标的人都被准确地分割出来了。
[0094] 如此,通过基于立体视觉的图像中的前景图像的高度信息,来得到高于某一高度 阔值的区块,并通过改变高度阔值一次或多次来得到满足预定单目标条件或预定多目标条 件的区块,从而检测到该立体图像中的目标所在的区块。在一个例子中,该种基于前景图像 的高度信息和高度阔值的设置和改变来检测目标区块的方式能够很好地检测有高度变化 的通常直立的目标、例如行人、车辆、建筑物。
[0095] 图10示出了根据本发明的另一实施例的基于立体视觉的目标检测系统的方框 图。
[0096] 图10所示的基于立体视觉的
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1