稀疏视差图像处理方法和装置以及物体检测方法和装置制造方法

稀疏视差图像处理方法和装置以及物体检测方法和装置制造方法
【专利摘要】提供了适于物体检测的稀疏视差图像处理方法和装置和基于此的物体检测方法和装置。该稀疏视差图像处理方法包括：获得要从中检测预定物体的视差图像；确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制；确定水平方向上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视差点的填充；确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；以及确定垂直方向上的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。本发明能够获得适于物体检测的视差点被填充的图像，有利于物体检测。
【专利说明】稀疏视差图像处理方法和装置以及物体检测方法和装置

【技术领域】
[0001] 本发明总体地涉及视差图像处理，更具体地涉及稀疏视差图像处理方法和装置和 基于其的物体检测方法和装置。

【背景技术】
[0002] 已经开发了许多基于视差图像检测物体的方法，例如基于视差图像检测道路上的 车辆、栅栏等。
[0003] 但是，有时，由于相机的性能限制或者场景本身的特性等因素，可能会得到视差点 比较稀疏的视差图，后文称之为稀疏视差图。由于稀疏视差图效应，可能使得难于检测到物 体如车辆等。而且，实践中，常常需要将原始视差图进行水平方向或垂直方向上的投影来得 到U视差图或V视差图，然后在U视差图或V视差图上进行物体检测，这时常常由于U或V 投影导致的遮挡或者因为视差点稀疏使得U或V视差图上物体特征很弱，从而使得难以检 测物体。例如，在作者为 Zhencheng Hu, Francisco Lamosa and Keiichi Uchimura，题为 "A Complete U-V-Disparity Study for Stereovision Based3D Driving Environment Analysis"发表于2005年第5届3D数字成像和建模世界大会（Proceedings of the Fifth International Conference on3_D Digital Imaging and Modeling2005)上的文章介绍了 根据UV视差图平面特性进行物体定位和分割检测的方法。
[0004] 在发明人为 HRL LABORATORIES, LLC 的 Owechko, Yuri 等的题为 "Method and apparatus for three-dimensional shape estimation using constrained disparity propagation"的美国专利US7561732中公开了一种基于受限制的视差图膨胀方法的估计 物体三维形状的方法和装置，其中从物体特征开始估计视差值，进而前进到从非物体特征 估计视差值，接下来根据视差值限制进行反复的估计物体视差值的估计，直到趋于稳定，最 后估计出物体三维形状和对应的视差图。


【发明内容】

[0005] 希望提供更适于物体检测的稀疏视差图像处理方法和装置和基于此的物体检测 方法和装置。
[0006] 根据本发明的一个方面，提供了一种基于待检测的预定物体的特性处理稀疏视差 图像的方法，可以包括：获得要从中检测预定物体的视差图像；基于在视差图像的水平方 向上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的水平 方向上的距离限制和视差差异限制；对于视差图中水平方向上的各行，基于水平方向上的 距离限制和视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于 水平方向上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点 之间的空白视差点的填充；基于在视差图像的垂直方向上要检测的物体的特性，确定作为 填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制； 以及对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定 垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起 始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
[0007] 根据本发明的另一方面，提供了一种基于稀疏视差图像的物体检测方法，可以包 括：获得要从中检测预定物体的视差图像；基于在视差图像的水平方向上要检测的物体的 特性，确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和 视差差异限制；对于视差图中水平方向上的各行，基于水平方向上的距离限制和视差差异 限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上的作为填 充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视差点的 填充；基于在视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和 终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；对于视差图中垂直 方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定垂直方向上的作为填充 基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起始点和终止点的对，进 行垂直方向上位于起始点和终止点之间的空白视差点的填充；分割经填充处理后的视差图 像；以及根据待检测物体的特性对于分割的区域进行物体检测。
[0008] 根据本发明的另一方面，提供了一种基于待检测的预定物体的特性处理稀疏视差 图像的装置，可以包括：视差图像获得部件，获得要从中检测预定物体的视差图像；水平方 向限制确定部件，基于在视差图像的水平方向上要检测的物体的特性，确定作为填充基础 的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制；水平方向 填充部件，对于视差图中水平方向上的各行，基于水平方向上的距离限制和视差差异限制， 确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上的作为填充基础 的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视差点的填充； 垂直方向限制确定部件，基于在视差图像的垂直方向上要检测的物体的特性，确定作为填 充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；以 及垂直方向填充部件，对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和视 差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上的 作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视 差点的填充。
[0009] 根据本发明的再一方面，提供了一种基于稀疏视差图像的物体检测装置，可以包 括：视差图像获得部件，获得要从中检测预定物体的视差图像；水平方向限制确定部件，基 于在视差图像的水平方向上要检测的物体的特性，确定作为填充基础的起始点和终止点的 对之间应该满足的水平方向上的距离限制和视差差异限制；水平方向填充部件，对于视差 图中水平方向上的各行，基于水平方向上的距离限制和视差差异限制，确定水平方向上的 作为填充基础的起始点和终止点的对，基于水平方向上的作为填充基础的起始点和终止点 的对，进行水平方向上位于起始点和终止点之间的空白视差点的填充；垂直方向限制确定 部件，基于在视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和 终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；垂直方向填充部件， 对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定垂直 方向上的作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起始点 和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充；分割部件， 分割经填充处理后的视差图像；以及物体检测部件，根据待检测物体的特性对于分割的区 域进行物体检测。
[0010] 根据本发明上述实施例的稀疏视差图像处理方法、装置以及包括这样的稀疏视差 图像处理的物体检测方法和装置，通过基于要检测的物体在水平方向上的特性和垂直方向 上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂 直方向上的距离限制和视差差异限制，并基于所确定的水平方向上的限制来对视差图像进 行水平方向上的视差点填充，以及基于所确定的垂直方向上的限制来对视差图像进行垂直 方向上的视差点填充，使得能够获得适于物体检测的视差点被填充的图像，从而适合于在 此填充了视差点的图像上直接进行物体检测。

【专利附图】

【附图说明】
[0011] 在附图中图示各种示例实施例，意图这些例子不是限制性的。应理解，为了图示的 简化和清楚，以下引用的图中所示的元件不一定被画成成比例的。而且，在认为适当时，可 以在附图之间重复使用附图标记来指示相同的、对应的或类似的元件。在附图中：
[0012] 图1示出了根据本发明实施例的示例性稀疏视差图像处理方法的总体流程。
[0013] 图2示出了根据本发明一个实施例的水平方向上的视差点填充处理方法的流程 图。
[0014] 图3的（a)表示一个示例性的原始视差图，（b)表示经过示例性的水平方向的视差 填充处理或者说x-connect处理后的视差图。
[0015] 图4示出了根据本发明一个实施例的垂直方向上的视差点填充处理方法1500的 流程图。
[0016] 图5的（a)表示一个示例性的原始视差图，（b)表示经过示例性的垂直方向的视差 填充处理或者说y-connect处理后的视差图。
[0017] 图6中的（a)是图4的（b)的x-connect连接后的结果，图6中的（b)是对图6 中的（a)进行示例性y-connect处理后的结果。
[0018] 图7示出了根据本发明一个实施例的基于稀疏视差图像的物体检测方法2000的 流程图。
[0019] 图8中的（a)示意性地示出了原始灰度图像连同其上检测到的视差点，视差点为 其中的浅色毛刺型点；图8中的（b)示意性地示出了对原始视差图进行水平方向上的空白 视差点填充后得到的视差图；图8中的（c)示意性地示出了对于图8(b)中的视差图进行垂 直方向上的空白视差点填充后得到的视差图；图8中的（d)示意性地示出了对于图8(c)中 的视差图进行水平方向上的空白视差点填充后得到的视差图；图8中的（e)示意性地示出 了对于图8(d)中的视差图进行垂直方向上的空白视差点填充并且经区域分割后得到的示 意性结果；图8中的（f)示意性地示出了在图像分割后的物体检测结果。
[0020] 图9示出了根据本发明一个实施例的稀疏视差图像处理装置3000的示例性配置 框图。
[0021] 图10示出了根据本发明一个实施例的基于稀疏视差图像的物体检测装置4000的 示例性配置框图。
[0022] 图11是示出按照本发明实施例的稀疏视差图像处理/物体检测系统6000的硬件 配置的概念图。

【具体实施方式】
[0023] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。另外，为了避免混淆本发明的要点，对于一些本领域公知的技术将不 做详细说明。
[0024] 将按如下顺序进行描述：
[0025] 1、稀疏视差图像处理方法示例
[0026] 1. 1、稀疏视差图像处理方法的总体流程示例
[0027] 1. 2、水平方向上的视差点填充处理方法示例
[0028] 1. 3、垂直方向上的视差点填充处理方法示例
[0029] 2、基于稀疏视差图像的物体检测方法
[0030] 3、稀疏视差图像处理装置
[0031] 4、基于稀疏视差图像的物体检测装置
[0032] 5、系统硬件配置
[0033] 6、总结
[0034] 1、稀疏视差图像处理方法不例
[0035] 1. 1、稀疏视差图像处理方法的总体流程示例
[0036] 下面参考图1描述根据本发明实施例的稀疏视差图像处理方法1000的总体流程 示例。
[0037] 图1示出了根据本发明实施例的示例性稀疏视差图像处理方法的总体流程。
[0038] 如图1所示，在步骤S1100中，获得要从中检测预定物体的视差图像。
[0039] 任何现有的获取视差图的方法均可以用于本发明。例如，可以通过双目相机、多目 相机、立体相机拍摄并计算得到包括该连续型道路分割物部分的视差图，具体地，例如，可 以通过双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图。或者，可以 从立体视图中获得深度图，根据深度图得到视差图。
[0040] 另外，该视差图也可以是经由网络如无线网络从本地或远程传送来的。
[0041] 在步骤S1200中，基于在视差图像的水平方向上要检测的物体的特性，确定作为 填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制。 [0042] 根据一个示例，确定作为填充基础的起始点和终止点的对之间在水平方向上的距 离应该小于预定水平距离上限阈值，以及起始点和终止点的对之间在视差上的绝对差应该 小于预定视差差异上限阈值。以双目相机对着汽车尾部拍摄得到的视差图为例，此时考虑 到汽车尾部左右边界之间的距离，可以设置上述预定水平距离上限阈值对应于汽车尾部左 右边界之间距离；同时考虑到去除例如旗杆、柱子之类的坚直孤立物体的干扰的目的，这些 干扰通常是宽度较小的物体，可以设置预定水平距离下限阈值，即只有作为填充基础的起 始点和终止点的对之间在水平方向上的距离同时大于预定水平距离下限阈值时，才可能被 选择作为合格的填充基础。
[0043] 在步骤S1300中，对于视差图中水平方向上的各行，基于水平方向上的距离限制 和视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向 上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空 白视差点的填充。
[0044] 根据一个示例，在进行水平方向上的视差点填充之前，可以进行垂直方向的边缘 检测以定位物体的垂直边界；其中，所述水平方向上的视差点填充是在物体的垂直边界的 范围内进行的。这样可以提到视差填充的效率。
[0045] 后面将参考图2和图3详细描述水平方向上视差点填充的操作方法示例。
[0046] 在步骤S1400中，基于在视差图像的垂直方向上要检测的物体的特性，确定作为 填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制。
[0047] 与上述步骤S1200中的操作类似，此步骤的不同在于是针对垂直方向的视差点填 充来确定距离限制和视差差异限制。
[0048] 根据一个示例，确定作为填充基础的起始点和终止点的对之间在垂直方向上的距 离应该小于预定垂直距离上限阈值，以及起始点和终止点的对之间在视差上的绝对差应该 小于预定视差差异上限阈值。以双目相机对着汽车尾部拍摄得到的视差图为例，此时考虑 到汽车尾部上下边界之间的距离，可以设置上述预定水平距离上限阈值对应于汽车尾部上 下边界之间距离；同时考虑到去除例如车道线之类的物体的干扰的目的，这些干扰通常是 高度较小且视差在垂直方向上渐变的物体，可以设置预定垂直距离下限阈值，即只有作为 填充基础的起始点和终止点的对之间在垂直方向上的距离同时大于预定垂直距离下限阈 值时，才可能被选择作为合格的填充基础。
[0049] 在步骤S1500中，对于视差图中垂直方向上的各列，基于垂直方向上的距离限制 和视差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向 上的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的视 差点的填充。
[0050] 后面将参考图4、5、6详细描述垂直方向上视差点填充的操作方法示例。
[0051] 在一个示例中，在视差点的填充过程中，同时进行噪声的删除处理。具体地，在确 定水平方向上和/或垂直方向上的作为填充基础的起始点和终止点的对的过程中，可以去 除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点。例如，以检测车辆为 例，在进行垂直方向上的作为填充基础的起始点和终止点的对的过程中，如果发现位于视 差图较底部的视差在垂直方向上渐变的连续视差点，可以认为其倾向于表示车道线等物 体，而将其从视差图上去除。
[0052] 另外，在一个示例中，所述填充的视差点可以被赋予相关联的置信度值，在进行水 平方向上一行或垂直方向上一列的视差点填充时，如果一个空白视差点能够以较多对起始 点和终止点为基础进行填充，则该填充的视差点被赋予较高的置信度。后面将在结合图2、 3的水平方向上的视差填充处理和结合图4、5、6的垂直方向上的视差填充处理中具体详细 描述为填充的视差点赋予置信度的示例。
[0053] 需要说明的是，在图1中示出为水平方向上的视差点填充步骤S1300位于垂直方 向上的视差点填充步骤S1500之前，不过这并不是意味着对两者实际执行顺序上的限制。 实际上，可以根据待检测物体的特性和视差图的特点来决定水平方向视差点填充和垂直方 向视差点填充两者之间的先后顺序。
[0054] 根据一个示例，当待检测的预定物体在水平方向上特征缺乏时，如缺乏水平边界 时，可以首先进行水平方向上的视差点填充，然后进行垂直方向上的视差点填充。例如，当 双目相机正对着前面一个车辆的尾部时，则所拍摄的车辆的视差图通常具有较清晰的垂直 方向的边缘（即，左右边界，即物体左侧和右侧的在垂直方向上延伸的边界）而在水平方向 的边缘(上下边界)可能相对不那么清晰。同时考虑到这样的车辆后部水平方向上的视差值 应相近，因此可能较适合对这样的检测对象首先进行水平方向上的视差点填充，由此可以 确保增加有效视差点。
[0055] 根据另一个示例，当待检测的预定物体在垂直方向上特征缺乏时，可以首先进行 垂直方向上的视差点填充，然后进行水平方向上的视差点填充。
[0056] 另外，需要说明的是，水平方向上的视差点填充和/或垂直方向上的视差点填充 可以重复进行，直到获得较满意的视差图像为止。另外，根据一个示例，可以针对每次填充 处理之后获得的视差图像进行物体检测，并基于物体检测的结果来判定是否继续重复进行 水平方向或垂直方向上的视差点填充。
[0057] 根据本发明上述实施例的稀疏视差图像处理方法，通过基于要检测的物体在水平 方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止点的对之间应该 满足的水平方向上以及垂直方向上的距离限制和视差差异限制，并基于所确定的水平方向 上的限制来对视差图像进行水平方向上的视差点填充，以及基于所确定的垂直方向上的限 制来对视差图像进行垂直方向上的视差点填充，使得能够获得适于物体检测的视差点被填 充的图像，从而适合于在此填充了视差点的图像上直接进行物体检测。
[0058] 在得到经图1所示的稀疏视差图像处理方法处理后的视差图像后，可以分割经填 充处理后的视差图像；以及根据待检测物体的特性对于分割的区域进行物体检测。后面将 结合图7对于包括稀疏视差图填充处理的物体检测方法进行详细描述。
[0059] 在图8的（a)到（f)中给出了根据一个示例的应用本发明实施例的稀疏视差图像 处理方法处理结果以及基于这样的处理后的图像进行分割和物体检测的效果图。图8中的 (a)示意性地示出了原始灰度图像连同其上检测到的视差点，视差点为其中的浅色毛刺型 点。图8中的（b)示意性地示出了对原始视差图进行水平方向上的视差点填充后得到的视 差图，可见其中很多横线缺失的视差点被填充出来了。图8中的（c)示意性地示出了对于 图8(b)中的视差图进行垂直方向上的视差点填充后得到的视差图。图8中的（d)示意性 地示出了对于图8(c)中的视差图进行水平方向上的视差点填充后得到的视差图。图8中 的（e)示意性地示出了对于图8(d)中的视差图进行垂直方向上的视差点填充后得到的视 差图以及以矩形框示出的图像分割结果。图8中的（f)示意性地示出了在图像分割后的物 体检测结果。
[0060] 1. 2、水平方向上的视差点填充处理方法示例
[0061] 下面参考图2描述根据本发明一个实施例的水平方向上的视差点填充处理方法 1300,该方法1300可以应用于图1所示的步骤S1300。下文为描述方便，水平方向上的视差 点填充处理也称为x-connect处理，S卩如名字所暗示的，水平方向上的视差点填充处理类 似于在水平方向即X方向上的起始点和结束点之间的连接处理。
[0062] 图2示出了根据本发明一个实施例的水平方向上的视差点填充处理方法的流程 图。
[0063] 如图2所示，在步骤S1301处，系统开始扫描读取视差图中的每一行，扫描顺序可 以是从顶部到底部或者从底部到顶部。
[0064] 然后在步骤S1302处，判断是否有新的一行，并且如果有新的一行，新的一行将被 读取以供后续处理，否则x-connect处理在此处终止。
[0065] 在步骤S1303处，水平的遍历每一行的视差点，从左到右或从右到左，来逐个判断 视差点的值，视差值为〇可以视为无视差值，也可称为无视差点。在本示例中，扫描顺序为 从左到右。
[0066] 在步骤S1304处，如果一个视差点存在，则前进到步骤S1305,如果没有视差点则 返回步骤S1301开始新的一行的扫描。
[0067] 在步骤S1305处，将步骤S1304处判定存在的视差点设置为起始点Ps(i)，此处i 表示成对的起始点和终止点的对数。
[0068] 在步骤S1306处，继续水平方向上向右水平搜索以寻找满足距离和视差差异限制 的相邻视差点Ptmp。
[0069] 在步骤S1307处判断是否存在满足与起始点Ps (i)在距离上和视差值上的限制的 新视差点Ptmp存在。有关距离限制和视差差异上的限制如前文结合图1的步骤S1200所 描述的那样得到。例如，在一个示例中，起始点和终止点之间在水平方向上的距离设定为 应该小于等于9个像素，此处距离的限制可以由待检测物体的水平方向上尺寸特征进行调 整。在一个示例中，起始点和终止点的视差值之间的差设定为应例如小于等于5,此处的视 差值之差的限制可以根据被检测物体的位置和纵深上视差值分布来调整。
[0070] 如果在步骤S1307中判定存在满足与起始点Ps (i)在距离上和视差值上的限制的 新视差点Ptmp，则前进到步骤S1308。
[0071] 在步骤S1308处将这个新视差点Ptmp设置为对应的终止点Pn(i)，之后返回到步 骤S1306处继续向右寻找是否有新的满足与起始点Ps (i)在距离上和视差值上的限制的可 对应于该起始点的终止点。在本示例中，会以最后一个找到的满足与起始点Ps(i)在距离 上和视差值上的限制的点作为终止点。
[0072] 如果在步骤S1307处判断未找到满足与起始点Ps (i)在距离上和视差值上的限制 的新视差点Ptmp，则前进到步骤S1309。
[0073] 在步骤S1309,判断是否找到与起始点Ps(i)对应的终止点Pn(i)。
[0074] 如果在步骤S1309中确定没有找到与Ps⑴对应的终止点Pn⑴（步骤S1309中 的否)，则返回到步骤S1303,继续在原行上向右(假定扫描方向是从左向右的话）扫描寻找 视差点，在本示例中，从搜索Ps(i)的终止点过程中最后碰到的点起继续向右扫描寻找视 差点。
[0075] 如果在步骤S1309确定找到了与Ps(i)对应的终止点Pn(i)(步骤S1309中的是)， 则前进到步骤S1310。
[0076] 在步骤S1310中，将起始点与终止点之间的视差点进行填充赋值，赋值可以全部 等于起始点Ps (i)或终止点Pn (i)，或他们中间的一个值，例如平均值，或者也可以等于渐 变的数值来更好的平滑连接的视差值。这里，对于起始点和终止点之间存在的非空视差点， 可以保留原值不变，或者替代地可以将其视为空视差点同样进行填充处理。在本示例中，对 于起始点和终止点之间存在的非空视差点，保留原值不变。在步骤S1310后，前进到步骤 S1311。
[0077] 在步骤S1311中，将终止点Pn(i)设置为新起始点，然后返回到步骤S1306,从而继 续在该行沿原方向进行水平搜索以寻找与此新起始点之间满足距离和视差差异限制的可 能作为终止点候选的视差点。
[0078] 如此继续下去，直到对所有行都进行了扫描和可能的填充操作。
[0079] 为了更好地理解x-connect处理，下面结合图3举了一个具体操作示例：图3中的 表格代表一张视差图，表格中的数值代表各像素点存在的视差值，任务目标是用x _connect 方法将该视差图进行连接处理。这里，假设距离限制为小于等于9个像素，视差值差限制为 5。图3的（a)表示一个示例性的原始视差图，（b)表示经过示例性的水平方向的视差填充 处理或者说x-cormect处理后的视差图。
[0080] 如前所述，在水平方向上的视差点填充前，可以包括一些前处理以提高效率，例 如先进行垂直主体边缘或者强边缘检测，用来定位物体的垂直边界，这样可以帮助去除 噪声，而且后续将仅在垂直边界内部进行水平方向上的视差点填充处理，从而可以提高 x-connect方法的效率。垂直边界检测例如可以用Sobel边界检测。
[0081] 参照图3,根据一个示例，x-connect方法可以如下进行：从左上角第一行虚线方 框标注的视差值为23的视差点开始，也是起始点，开始水平向右寻找，先后找到右侧相邻 的两个虚线矩形框对应的视差值为19和22的点，他们都满足距离和视差值差的限制，并 且再向右已经没有满足要求的视差点，在本示例中可以以值为22的视差点为终止点，起始 点和终止点之间的空的视差值将被填充，填充的值是起始点和终止点的视差的平均值。在 本示例中，假设距离限制为小于等于9个像素，视差值差限制为5。在第2行和第5行上的 另外两个实线矩形框标注的视差值为61和58的两个视差点由于不满足视差值要求，将不 进行处理；还有倒数第二行的两个实线矩形框标注的视差值为19的视差点，由于之间距离 不满足距离限制，因此不进行处理。这里，圈以实线框的视差值表示在进行起始点或终止 点的扫描过程中该视差值不符合用作起始点或终止点的视差值候选的要求。第一行中的圈 以虚线框的视差值用于举例指示该视差值符合用作起始点或终止点的视差值候选的要求。 图3中的椭圆表示检测出来的主要垂直边界，在本示例中的水平方向上视差点填充处理机 x-connect处理从边界上开始。
[0082] 另外，在一个示例中，在实际操作过程中，为了提高连接性能，可以增加设置视差 值的置信度。例如，如图3所示，第一行中的"23/1"表示该点的视差值为23,置信度为1 (即，表示原始存在的视差点)，接下来的"21/0. 6?示该点的视差值为21，置信度为0. 6(经 填充得到的视差值，其置信度为〇. 6)。
[0083] 一般地，在进行水平方向上一行的视差点填充时，如果一个空白视差点能够以较 多对起始点和终止点为基础进行填充，则该填充的视差点被赋予较高的置信度。
[0084] 在一个示例中，置信度的设置规则可以是如下所述：从起始点开始找到一个符合 要求的视差点终止点，则中间新连接赋值的视差点被设置成〇. 5,如果找到终止点后继续向 右寻找直到找到距离限制(例如设置为12个像素点）处，看是否有新的视差点符合要求，如 果有则设置新的点为终止点，同时中间新连接赋值的视差点的置信度增加〇. 1。根据一个示 例，也可以设置惩罚措施，例如不满足要求置信度下调，或者其他的调整方式。原始视差点 的置信度被设置成1. 〇,并且不会因为x-connect处理而改变。
[0085] 这样置信度给出了在规定的距离限制和视差值差限制之内新连接出现的视差点 的可靠性的度量。为视差值赋予置信度的一个好处在于，后续的处理或者检测操作可以根 据置信度进行酌情处理，例如信赖度高于0. 7的才被用来检测等等。
[0086] 图8中的（b)示意性地示出了对原始视差图进行水平方向上的空白视差点填充后 得到的视差图，可见其中很多横线缺失的视差点被填充出来了。
[0087] 1. 3、垂直方向上的视差点填充处理方法示例
[0088] 下面参考图4描述根据本发明一个实施例的垂直方向上的视差点填充处理方法 1500,该方法1500可以应用于图1所示的步骤S1500。下文为描述方便，垂直方向上的视差 点填充处理也称为y-connect处理，S卩如名字所暗示的，垂直方向上的视差点填充处理类 似于在垂直方向即y方向上的起始点和结束点之间的连接处理。
[0089] 图4示出了根据本发明一个实施例的垂直方向上的视差点填充处理方法1500的 流程图。图4所示的示例性的y-connect处理与前文参考图2描述的x-connect处理类似， 不过是在垂直方向上即y方向上进行的。
[0090] 如图4所示，在步骤S1501处，系统开始扫描读取视差图中的每一列，扫描顺序可 以是从左到右或者从右到左。
[0091] 然后在步骤S1502处，判断是否有新的一列，并且如果有新的一列，新的一列将被 读取以供后续处理，否则x-connect处理在此处终止。
[0092] 在步骤S1503处，垂直地遍历每一列的视差点，来逐个判断视差点的值，视差值为 〇可以视为无视差值，也可称为无视差点。这里，遍历方向可以是从上到下或从下到上，在本 示例中，假设遍历方向是从上到下。
[0093] 在步骤S1504处，如果一个视差点存在，则前进到步骤S1505,如果没有视差点则 返回步骤S1501开始新的一列的扫描。
[0094] 在步骤S1505处，将步骤S1504处判定存在的视差点设置为起始点Ps(i)，此处i 表示成对的起始点和终止点的对数。
[0095] 在步骤S1506处，继续垂直方向上向下垂直搜索以寻找满足距离和视差差异限制 的相邻视差点Ptmp。
[0096] 在步骤S1507处判断是否存在满足与起始点Ps (i)在距离上和视差值上的限制的 新视差点Ptmp存在。
[0097] 有关距离限制和视差差异上的限制如前文结合图1的步骤S1200所描述的那样得 至|J。例如，在一个示例中，起始点和终止点之间在垂直方向上的距离应该小于等于9个像 素，此处距离的限制可以由待检测物体的垂直方向上尺寸特征进行调整。在一个示例中，起 始点和终止点的视差值之间的差例如小于等于5,此处的视差值之差的限制可以根据被检 测物体的位置和纵深上视差值分布来调整。另外，在一个示例中，垂直方向上距离限制还 包括大于等于4个像素。此处距离限制设置不同于上文结合x-connect连接的距离限制， 这是基于针对检测物体要求而变化的：由于视差图在垂直方向上的会有地面影响，造成视 差图纵向上的延伸，因此为了避免地面渐变的视差点被不必要的连接，所以加上大于等于 最小值4这个限制。一般而言，当视差图上存在不是待检测对象的、视差在垂直方向上渐变 的对象时，所述垂直方向上的距离限制包括起始点和终止点的对之间的垂直距离大于预定 正数。类似的，如果为了避免垂直的面在x-connect造成的影响，则也可以在前文所述的 x-connect方法中加上距离最小值限制。
[0098] 如果在步骤S1507中判定存在满足与起始点Ps (i)在距离上和视差值上的限制的 新视差点Ptmp，则前进到步骤S1508。
[0099] 在步骤S1508处将这个新视差点Ptmp设置为对应的终止点Pn (i)，之后返回到步 骤S1506处继续向下寻找是否有新的满足与起始点Ps (i)在距离上和视差值上的限制的可 对应于该起始点的终止点。在本示例中，会以最后一个找到的满足与起始点Ps(i)在距离 上和视差值上的限制的点作为终止点。
[0100] 如果在步骤S1507处判断未找到满足与起始点Ps(i)在距离上和视差值上的限制 的新视差点Ptmp，则前进到步骤S1509。
[0101] 在步骤S1509,判断是否找到与起始点Ps(i)对应的终止点Pn(i)。
[0102] 如果在步骤S1509中确定没有找到与Ps(i)对应的终止点Pn(i)(步骤S1509中 的否)，则返回到步骤S1503,继续在原列中向下(假定扫描方向是从上向下的话，反之亦然） 扫描寻找视差点，在本示例中从搜索Ps(i)的终止点过程中最后碰到的点起继续向下扫描 寻找视差点。
[0103] 如果在步骤S1509确定找到了与Ps(i)对应的终止点Pn(i)(步骤S1509中的是)， 则前进到步骤S1510。
[0104] 在步骤S1510中，将起始点与终止点之间的空视差点进行填充赋值。赋值可以全 部等于起始点Ps (i)或终止点Pn (i)，或他们中间的一个值，例如平均值，或者也可以等于 渐变的数值来更好的平滑连接的视差值。这里，在本示例中，在填充过程中进行了去噪的处 理，例如去除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点，去除的点 例如可以是那些不满足连接要求的点，例如孤立的，或者短距离连续的像白线，而那些起始 点和终止点，以及在它们之间的有效点将被保留。在步骤S1510后，前进到步骤S1511。
[0105] 在步骤S1511中，将终止点Pn(i)设置为新起始点，然后返回到步骤S1506,从而继 续在该行沿原方向进行垂直搜索以寻找与此新起始点之间满足距离和视差差异限制的可 能作为终止点候选的视差点。
[0106] 如此继续下去，直到对所有行都进行了扫描和可能的填充操作。
[0107] 为了更好地理解y-connect处理，下面结合图5举了一个实施例：图5的表格代表 一张视差图，里面的数值代表各像素点存在的视差值，任务目标是用y-connect方法将该 视差图进行连接处理。此处的距离限制为小于等于12个像素并且大于等于4个像素，视差 值差限制为5。如前所述，此处距离设置不同是因为针对检测物体要求而变化的：由于视差 图在垂直方向上的会有地面影响，造成视差图纵向上的延伸，因此为了避免地面渐变的视 差点被不必要的连接，所以加上大于等于最小值4这个限制。图5的（a)表示一个示例性 的原始视差图，（b)表示经过示例性的垂直方向的视差填充处理或者说y-connect处理后 的视差图，其中实线框标注的视差值表示满足连接要求的起始点，以及虚线框标注的视差 值表示不满足连接要求的视差点。
[0108] 参照图5,根据一个示例，y-connect方法可以如下进行：从左上角第2列的实线方 框标注的视差值为20的视差点开始，也是起始点，系统开始垂直的向下寻找，找到下面实 线矩形框标注的视差值为22的点，满足距离和视差值差的限制，并且再向下已经没有满足 要求的视差点，所以在值为22的视差点为终止点，他们中间的所有视差值将被填充，填充 的值是他们相邻点的平均值。在第5列的两个虚线矩形框标注的视差值为61和24的视差 点不满足距离和数值的要求；倒数第3列的两个虚线矩形框标注的视差值为18的两个视差 点超出了距离限制，因此都不被连接处理，而且这样的不满足连接要求的原始视差点视为 噪声不被保留。另外，在实际操作过程中，为了提高连接性能，可以增加设置视差值的置信 度，并且设置方法可以同x-connect相似，这里不再赘述。
[0109] 前面图5示出的是在原始视差图上进行y-connect连接的示例。
[0110] 下面参考图6给出在图4的（b)的x-connect连接后进行y-connect连接的结果 示例。其中图6中的（a)是图4的（b)的x-connect连接后的结果，其中的实线框标注的 视差值表示满足连接要求的起始点，虚线框标注的视差值表示不满足连接要求的视差点； 图6中的（b)是对图6中的（a)进行y-connect处理后的结果，其中实线框标注的视差值表 示满足连接要求的起始点，以及虚线框标注的视差值表示不满足连接要求的视差点，由图6 中的（b)可见，结果中去除了不满足连接要求的视为噪声的视差点，其中的图6中的（b)中 的坚条形虚线方框表示由于该列中两个不满足要求的点（如图6中的（a)中的被虚线框标 注的61/1和58/1所示）的存在，使得该整列具有很高的概率为噪声，因此去除了该整列。
[0111] 需要说明的是，在本示例中，在检测路上车辆的背景下，在进行y-connect处理 时，将不满足连接要求的原始视差点作为噪声去除。不过这仅为示例，而不是限制。可以根 据检测对象的不同和实践的需要，而设计不同的噪声检测的准则并进行噪声去除。
[0112] 这里，与x-connect连接类似，也可以增加设置视差值的置信度，并且一般地，在 进行垂直方向上一行的视差点填充时，如果一个空白视差点能够以较多对起始点和终止点 为基础进行填充，则该填充的视差点被赋予较高的置信度。
[0113] 不过，由于此处y-connect在x-connect之后，因此此处操作的视差点有的已经 是先前经过连接并且有置信度的。在一个示例中，在y-connect方法中新连接的视差点 的置信度会乘以原来的置信度影响，例如当前置信度是Cc(i)，上一步方法获得的起始点 和终止点的置信度分别是Cs(i)和Cn(i)，新的置信度可以是乘以前两者的平均值，Cc(i) x(Cs(i)+Cn(i))/2。
[0114] 如此步骤下来操作整个视差图，新的视差图将会像图8中的（c)所示，很多垂直的 线被连接起来，也就是垂直方向上填充了视差点。如图8中的（c)所示，车辆的主体部分在 垂直方向上视差店得到了加强，在非车辆的地方例如车道线，很多视差点被去掉了。
[0115] 2、基于稀疏视差图像的物体检测方法
[0116] 下面参考图7描述根据本发明一个实施例的基于稀疏视差图像的物体检测方法。
[0117] 图7示出了根据本发明一个实施例的基于稀疏视差图像的物体检测方法2000的 流程图。
[0118] 如图7所示，在步骤S2100中，获得要从中检测预定物体的视差图像。
[0119] 在步骤S2200中，基于在视差图像的水平方向上要检测的物体的特性，确定作为 填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制。
[0120] 在步骤S2300中，对于视差图中水平方向上的各行，基于水平方向上的距离限制 和视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向 上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空 白视差点的填充。
[0121] 在步骤S2400中，基于在视差图像的垂直方向上要检测的物体的特性，确定作为 填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制。
[0122] 在步骤S2500中，对于视差图中垂直方向上的各列，基于垂直方向上的距离限制 和视差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向 上的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空 白视差点的填充。
[0123] 在步骤S2600中，分割经填充处理后的视差图像。分割方法可以为现有的分割方 法中的一种，例如CCA，k-means，等等。作为一个例子，可以使用一个基于CCA的分割方法。 图8中的（e)示出了对于经填充处理的视差图像进行分割后的示意性效果图，其中各个矩 形框代表分割结果，其中最大的矩形框代表作为最终的检测结果的车辆。在步骤S2600后， 前进到步骤S2700。
[0124] 在步骤S2700中，根据待检测物体的特性对于分割的区域进行物体检测。物体检 测方法可以是任何现有的检测方法中的一种，例如基于颜色，梯度，对称性，物体尺寸位置 等等。在一个示例中，考虑到车辆视差图的特殊性，可以采用一个非常简单的尺寸过滤的方 法：宽度，高度和宽高比满足要求的分割出的区域被输出为检测结果。图8中的（f)就是视 差图的检测结果对应在灰度图上的结果，其中最大的矩形框代表最终检测结果。
[0125] 上述步骤S2100-S2500与结合图1描述的步骤S1100-S1500的功能和实现类似， 这里不再赘述。
[0126] 根据本发明上述实施例的基于稀疏视差图像的物体检测方法，因为通过基于要检 测的物体在水平方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止 点的对之间应该满足的水平方向上以及垂直方向上的距离限制和视差差异限制，并基于所 确定的水平方向上的限制来对视差图像进行水平方向上的视差点填充，以及基于所确定的 垂直方向上的限制来对视差图像进行垂直方向上的视差点填充，使得能够获得适于物体检 测的视差点被填充的图像，从而适合于在此填充了视差点的图像上直接进行物体检测，结 果能够提高物体检测准确度。
[0127] 3、稀疏视差图像处理装置
[0128] 下面参考图9描述根据本发明一个实施例的稀疏视差图像处理装置的示例性配 置。
[0129] 图9示出了根据本发明一个实施例的稀疏视差图像处理装置3000的示例性配置 框图。
[0130] 如图9所示，稀疏视差图像处理装置3000可以包括：用于获得要从中检测预定物 体的视差图像的视差图像获得部件3100和填充处理部件3200。填充处理部件3200可以 包括：水平方向限制确定部件3210,基于在视差图像的水平方向上要检测的物体的特性， 确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差 差异限制；水平方向填充部件3220,对于视差图中水平方向上的各行，基于水平方向上的 距离限制和视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于 水平方向上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点 之间的空白视差点的填充；垂直方向限制确定部件3230,基于在视差图像的垂直方向上要 检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上 的距离限制和视差差异限制；以及垂直方向填充部件3240，对于视差图中垂直方向上的各 列，基于垂直方向上的距离限制和视差差异限制，确定垂直方向上的作为填充基础的起始 点和终止点的对，基于垂直方向上的作为填充基础的起始点和终止点的对，进行垂直方向 上位于起始点和终止点之间的空白视差点的填充。
[0131] 关于视差图像获得部件3100和填充处理部件3200所包括的水平方向限制确定部 件3210、水平方向填充部件3220、垂直方向限制确定部件3230以及垂直方向填充部件3240 的功能和实现可以参考结合图1描述的步骤S1100-S1500的描述，这里省略其描述。
[0132] 4、基于稀疏视差图像的物体检测装置
[0133] 下面参考图10描述根据本发明一个实施例的基于稀疏视差图像的物体检测装置 的示例性配置。
[0134] 图10示出了根据本发明一个实施例的基于稀疏视差图像的物体检测装置4000的 示例性配置框图。
[0135] 如图10所示，物体检测装置4000可以包括：视差图像获得部件4100,用于获得 要从中检测预定物体的视差图像；填充处理部件4200 ;分割部件4300,分割经填充处理后 的视差图像；以及物体检测部件4400,根据待检测物体的特性对于分割的区域进行物体检 测。填充处理部件4200可以包括：水平方向限制确定部件4210,基于在视差图像的水平方 向上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的水平 方向上的距离限制和视差差异限制；水平方向填充部件4220,对于视差图中水平方向上的 各行，基于水平方向上的距离限制和视差差异限制，确定水平方向上的作为填充基础的起 始点和终止点的对，基于水平方向上的作为填充基础的起始点和终止点的对，进行水平方 向上位于起始点和终止点之间的空白视差点的填充；垂直方向限制确定部件4230,基于在 视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之 间应该满足的垂直方向上的距离限制和视差差异限制；以及垂直方向填充部件4240,对于 视差图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定垂直方向 上的作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起始点和终 止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
[0136] 关于视差图像获得部件3100和填充处理部件3200所包括的水平方向限制确定 部件3210、水平方向填充部件3220、垂直方向限制确定部件3230以及垂直方向填充部件 3240、分割部件3300和物体检测部件3400的功能和实现可以参考结合图7描述的步骤 S2100-S2700的描述，这里省略其描述。
[0137] 5、系统硬件配置
[0138] 本发明还可以通过一种能够实施上述处理稀疏视差图像的方法和物体检测方法 的系统来实施。图11是示出按照本发明实施例的稀疏视差图像处理/物体检测系统6000 的硬件配置的概念图。如图17所示，稀疏视差图像处理/物体检测系统6000可以包括：输 入设备6100,用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍 摄的立体视频等，该输入设备例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程 输入设备等等；处理设备6200,用于实施上述的按照本发明实施例的稀疏视差图像处理方 法和/或物体检测方法，或者实施为上述的按照本发明实施例的稀疏视差图像处理装置， 例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因 特网的网络(未示出），根据处理过程的需要而从网络获取数据例如左右图像等等；输出设 备6300,用于向外部输出实施上述稀疏视差图像处理/物体检测所得的结果，例如可以包 括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备6400,用 于以易失或非易失的方式存储上述稀疏视差图像处理/物体检测过程所涉及的图像、所得 的结果、命令、中间数据等等，例如视差图像、水平方向上的距离限制和视差差异限制、垂直 方向上的距离限制和视差差异限制、水平填充结果、垂直填充结果、区域分割结果和物体检 测结果等，例如可以包括随机存取存储器（RAM)、只读存储器（ROM)、硬盘、或半导体存储器 等等的各种易失或非易失性存储器。
[0139] 6、总结
[0140] 上文描述了根据本发明实施例的基于待检测的预定物体的特性处理稀疏视差图 像的方法、装置和基于稀疏视差图像的物体检测方法和装置。
[0141] 根据本发明的一个方面，基于待检测的预定物体的特性处理稀疏视差图像的方法 可以包括：获得要从中检测预定物体的视差图像；基于在视差图像的水平方向上要检测的 物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离 限制和视差差异限制；对于视差图中水平方向上的各行，基于水平方向上的距离限制和视 差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上的 作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视 差点的填充；基于在视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起 始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；以及对于视差 图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定垂直方向上的 作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起始点和终止点 的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
[0142] 一种基于稀疏视差图像的物体检测方法可以包括：获得要从中检测预定物体的视 差图像；基于在视差图像的水平方向上要检测的物体的特性，确定作为填充基础的起始点 和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制；对于视差图中水平 方向上的各行，基于水平方向上的距离限制和视差差异限制，确定水平方向上的作为填充 基础的起始点和终止点的对，基于水平方向上的作为填充基础的起始点和终止点的对，进 行水平方向上位于起始点和终止点之间的空白视差点的填充；基于在视差图像的垂直方向 上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的垂直方 向上的距离限制和视差差异限制；对于视差图中垂直方向上的各列，基于垂直方向上的距 离限制和视差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂 直方向上的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之 间的空白视差点的填充；分割经填充处理后的视差图像；以及根据待检测物体的特性对于 分割的区域进行物体检测。
[0143] 一种基于待检测的预定物体的特性处理稀疏视差图像的装置可以包括：视差图像 获得部件，获得要从中检测预定物体的视差图像；水平方向限制确定部件，基于在视差图像 的水平方向上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满 足的水平方向上的距离限制和视差差异限制；水平方向填充部件，对于视差图中水平方向 上的各行，基于水平方向上的距离限制和视差差异限制，确定水平方向上的作为填充基础 的起始点和终止点的对，基于水平方向上的作为填充基础的起始点和终止点的对，进行水 平方向上位于起始点和终止点之间的空白视差点的填充；垂直方向限制确定部件，基于在 视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之 间应该满足的垂直方向上的距离限制和视差差异限制；以及垂直方向填充部件，对于视差 图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定垂直方向上的 作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起始点和终止点 的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
[0144] 一种基于稀疏视差图像的物体检测装置可以包括：视差图像获得部件，获得要从 中检测预定物体的视差图像；水平方向限制确定部件，基于在视差图像的水平方向上要检 测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的 距离限制和视差差异限制；水平方向填充部件，对于视差图中水平方向上的各行，基于水平 方向上的距离限制和视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的 对，基于水平方向上的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点 和终止点之间的空白视差点的填充；垂直方向限制确定部件，基于在视差图像的垂直方向 上要检测的物体的特性，确定作为填充基础的起始点和终止点的对之间应该满足的垂直方 向上的距离限制和视差差异限制；垂直方向填充部件，对于视差图中垂直方向上的各列，基 于垂直方向上的距离限制和视差差异限制，确定垂直方向上的作为填充基础的起始点和终 止点的对，基于垂直方向上的作为填充基础的起始点和终止点的对，进行垂直方向上位于 起始点和终止点之间的空白视差点的填充；分割部件，分割经填充处理后的视差图像；以 及物体检测部件，根据待检测物体的特性对于分割的区域进行物体检测。
[0145] 根据本发明上述实施例的稀疏视差图像处理方法、装置以及包括这样的稀疏视差 图像处理的物体检测方法和装置，通过基于要检测的物体在水平方向上的特性和垂直方向 上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂 直方向上的距离限制和视差差异限制，并基于所确定的水平方向上的限制来对视差图像进 行水平方向上的视差点填充，以及基于所确定的垂直方向上的限制来对视差图像进行垂直 方向上的视差点填充，使得能够获得适于物体检测的视差点被填充的图像，从而适合于在 此填充了视差点的图像上直接进行物体检测。
[0146] 本发明实施例的描述仅为示例，本领域技术人员可以根据需要进行变化、替代或 组合。
[0147] 例如，前文以待检测的对象为车辆为例说明了基于待检测的预定物体的特性填充 稀疏视差图像的处理，但是，这仅为示例，本发明并不局限于此，而是可以应用于待检测的 对象为诸如栅栏、行人等的其他对象。
[0148] 前文以先进行水平方向的填充（即x-connect)处理然后进行垂直方向的填充（即 y-connect)处理为例说明了稀疏视差图像的填充处理。不过这仅为示例，根据待检测的对 象和视差图像的特性等实际需要，可以先进行y-cormect然后进行x-connect处理。而且 x-connect和y-connect的重复次数也可以根据需要来设定。
[0149] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的 普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在 任何计算装置(包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者 它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们 的基本编程技能就能实现的。
[0150] 因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来 实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包 含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构 成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以 是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0151] 还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和 /或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列 处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序 执行。某些步骤可以并行或彼此独立地执行。
[0152] 上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明 白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何 在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围 之内。
【权利要求】
1. 一种基于待检测的预定物体的特性处理稀疏视差图像的方法，包括： 获得要从中检测预定物体的视差图像； 基于在视差图像的水平方向上要检测的物体的特性，确定作为填充基础的起始点和终 止点的对之间应该满足的水平方向上的距离限制和视差差异限制； 对于视差图中水平方向上的各行，基于水平方向上的距离限制和视差差异限制，确定 水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上的作为填充基础的起 始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视差点的填充； 基于在视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和终 止点的对之间应该满足的垂直方向上的距离限制和视差差异限制；以及 对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定 垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起 始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
2. 根据权利要求1的处理稀疏视差图像的方法，还包括： 当待检测的预定物体在水平方向上特征缺乏时，首先进行水平方向上的视差点填充， 然后进行垂直方向上的视差点填充。
3. 根据权利要求1的处理稀疏视差图像的方法，还包括： 当待检测的预定物体在垂直方向上特征缺乏时，首先进行垂直方向上的视差点填充， 然后进行水平方向上的视差点填充。
4. 根据权利要求1的处理稀疏视差图像的方法，还包括： 在进行水平方向上的视差点填充之前，进行垂直方向的边缘检测以定位物体的垂直边 界； 其中，所述水平方向上的视差点填充是在物体的垂直边界的范围内进行的。
5. 根据权利要求1的处理稀疏视差图像的方法，其中： 当视差图上存在不是待检测对象的、视差在垂直方向上渐变的对象时，所述垂直方向 上的距离限制包括起始点和终止点的对之间的垂直距离大于预定正数。
6. 根据权利要求1的处理稀疏视差图像的方法，还包括： 在确定水平方向上和/或垂直方向上的作为填充基础的起始点和终止点的对的过程 中，去除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点。
7. 根据权利要求1的处理稀疏视差图像的方法，其中： 所述填充的视差点具有相关联的置信度值，在进行水平方向上一行或垂直方向上一列 的视差点填充时，如果一个空白视差点能够以较多对起始点和终止点为基础进行填充，则 该填充的视差点被赋予较高的置信度。
8. -种基于稀疏视差图像的物体检测方法，包括： 获得要从中检测预定物体的视差图像； 基于在视差图像的水平方向上要检测的物体的特性，确定作为填充基础的起始点和终 止点的对之间应该满足的水平方向上的距离限制和视差差异限制； 对于视差图中水平方向上的各行，基于水平方向上的距离限制和视差差异限制，确定 水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上的作为填充基础的起 始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白视差点的填充； 基于在视差图像的垂直方向上要检测的物体的特性，确定作为填充基础的起始点和终 止点的对之间应该满足的垂直方向上的距离限制和视差差异限制； 对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和视差差异限制，确定 垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上的作为填充基础的起 始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白视差点的填充； 分割经填充处理后的视差图像；以及 根据待检测物体的特性对于分割的区域进行物体检测。
9. 一种基于待检测的预定物体的特性处理稀疏视差图像的装置，包括： 视差图像获得部件，获得要从中检测预定物体的视差图像； 水平方向限制确定部件，基于在视差图像的水平方向上要检测的物体的特性，确定作 为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限 制； 水平方向填充部件，对于视差图中水平方向上的各行，基于水平方向上的距离限制和 视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上 的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白 视差点的填充； 垂直方向限制确定部件，基于在视差图像的垂直方向上要检测的物体的特性，确定作 为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限 制；以及 垂直方向填充部件，对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和 视差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上 的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白 视差点的填充。
10. -种基于稀疏视差图像的物体检测装置，包括： 视差图像获得部件，获得要从中检测预定物体的视差图像； 水平方向限制确定部件，基于在视差图像的水平方向上要检测的物体的特性，确定作 为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限 制； 水平方向填充部件，对于视差图中水平方向上的各行，基于水平方向上的距离限制和 视差差异限制，确定水平方向上的作为填充基础的起始点和终止点的对，基于水平方向上 的作为填充基础的起始点和终止点的对，进行水平方向上位于起始点和终止点之间的空白 视差点的填充； 垂直方向限制确定部件，基于在视差图像的垂直方向上要检测的物体的特性，确定作 为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限 制； 垂直方向填充部件，对于视差图中垂直方向上的各列，基于垂直方向上的距离限制和 视差差异限制，确定垂直方向上的作为填充基础的起始点和终止点的对，基于垂直方向上 的作为填充基础的起始点和终止点的对，进行垂直方向上位于起始点和终止点之间的空白 视差点的填充； 分割部件，分割经填充处理后的视差图像；以及 物体检测部件，根据待检测物体的特性对于分割的区域进行物体检测。
【文档编号】G06T7/00GK104112268SQ201310141351
【公开日】2014年10月22日 申请日期:2013年4月22日 优先权日:2013年4月22日
【发明者】刘殿超, 刘媛, 陈超, 师忠超, 鲁耀杰 申请人:株式会社理光