支持像素选择方法、装置、视差值确定方法
【技术领域】
[0001] 本发明总体涉及图像处理，更具体地，涉及立体匹配技术中的支持像素选择方法、 装置及视差值确定方法。
【背景技术】
[0002] 立体匹配的基本原理是对通过例如立体相机拍摄的两个或更多个不同视角下同 一物体的图像(参考图像和目标图像）进行比较，通过寻找对应像素来计算图像的像素点之 间的位置偏差，从而得到视差信息。立体匹配在诸如机器人、监控以及智能车辆等众多领域 有着广泛的应用。例如，以智能车辆为例，通过由立体匹配获得的视差信息，可以容易地检 测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌 控车辆的整体行驶状况。
[0003] 常用的立体匹配方法包括局部立体匹配方法和全局立体匹配方法，其均包含下面 的四个步骤或其中的几步：匹配代价计算、支持求和、视差计算/优化以及视差改进，其中 支持求和是这几个步骤中的关键步骤，而选择支持像素则是支持求和步骤的关键。
[0004] 一个像素的支持像素是与之具有近似的视差值的所有像素。本领域中对于如何确 定一个像素的支持像素已经有了一些研究。下面，将参考图1和图2对目前常用的支持像 素选择方式进行简要的介绍。
[0005] -种常用的方式是选择灰度图中目标像素的相邻像素(包括该目标像素本身)，作 为该目标像素的支持像素。例如，图1是灰度图的数值化表示图，其中的各个小矩形框表示 灰度图中的各个像素，而各个数值则表示像素的灰度值，对于图1中所示的目标像素，选择 与其相邻的8个像素及该目标像素本身作为支持像素，并且为每个支持像素分配相同的权 重值。作为对图1中例示的方式的改进，可以进一步根据支持像素与目标像素的灰度值的 差的大小，为各个支持像素分配不同的权重。
[0006] 另一种常用的方式是选择灰度图中与目标像素处于同一区域块上的相邻像素(包 括该目标像素本身）作为该目标像素的支持像素。图2示出了灰度图的数值化表示图中的 区域块划分的示意图。如图2中的左图所示，整幅灰度图的数值化表示图按照灰度值被划 分为三个区域块，即对应的灰度图按照灰度值被划分为三个区域块，其中灰度值相近的像 素分在同一个区域块中。在以这一划分方式下，对于如图2中所示的目标像素，选择与其相 邻的且与其位于同一区域块中的5个像素及该目标像素本身作为支持像素，其中各个支持 像素可以分配相同或不同的权重。
[0007] 上述常用的支持像素选择方法选择灰度图中与目标像素相邻的像素或者相邻且 具有相近灰度值的像素作为支持像素，但是，实际上这些像素的视差值可能与目标像素的 视差值并不相近，尤其是当目标像素位于视差边缘位置时，而如果选择了错误的支持像素 则会导致错误的立体匹配进而导致错误的视差图。下面将结合图3和4对此进行进一步的 说明。
[0008] 图3示出了需要进行支持像素选择的示例性场景以及在该场景中应用上述第一 种常用方式进行支持像素选择的结果。图3中的左图为立体相机拍摄的某一帧的参考图 像，右图为左图中框选部分的放大图像。从图3中的右图可以看出，行人位于树的前方，它 们在图像坐标系统上是相邻的，并且具有相近的灰度值，但是由于行人和树具有不同的深 度值，因此它们的视差值是不同的。在这一场景中，如果来自行人并且位于行人和树的边界 位置的一个像素（即位于视差边缘位置的像素，图中用白色实心圆点表示）是需要选择支持 像素的目标像素，则按照上述第一种常用方式，包括来自树上的像素的所有3X3范围内的 相邻像素（图中的白色空心圆圈)都被选择作为支持像素。显然，这一结果是不正确的，因为 来自树的像素的视差值与来自行人的像素的视差值并不相同，来自树的像素不应该成为来 自行人的像素的支持像素。
[0009] 图4示出了应用上述第二种常用的方式在图3所示的示例性场景中进行支持像素 选择的结果。图4中的左图例示了利用灰度值对图3中的左图进行区域块划分的结果，其 中同一区域块的像素具有相同的颜色；中间图像和右图分别是左图中框选部分的放大图像 以及相应的参考图像的子图像。中间图像中的白色实心圆点表示来自行人的需要选择支持 像素的目标像素，白色空心圆圈表示其周围3X3范围内的相邻像素，可以看出该3X3范围 内右下角的像素与目标像素不在同一区域块中。因此，如右图所示，该右下角的像素没有被 选择为支持像素。然而，这一结果也是不正确的，因为其同样选择了来自树的像素作为支持 像素，而来自树的像素的视差值与来自行人的像素的视差值并不相同，因此来自树的像素 不应该成为来自行人的像素的支持像素。
【发明内容】
[0010] 根据本发明的实施例，提供了一种支持像素选择方法，包括：对于由立体相机拍摄 的当前帧参考图像中需要选择支持像素的目标像素，利用预先确定的光流信息，确定其在 前一帧参考图像中的对应目标像素；确定所述对应目标像素在前一帧参考图像中的各个支 持像素；利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧参考图 像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
[0011] 根据本发明的另一实施例，提供了一种视差值确定方法，包括：对于由立体相机拍 摄的当前帧参考图像中需要确定视差值的目标像素，利用预先确定的光流信息，确定其在 前一帧参考图像中的对应目标像素；确定所述对应目标像素在前一帧参考图像中的各个支 持像素；利用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧，参考 图像中的各个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素；利用所 述当前帧参考图像中的目标像素的支持像素，通过立体匹配确定该目标像素在当前帧参考 图像和当如帧目标图像之间的视差值。
[0012] 根据本发明的另一实施例，提供了一种支持像素选择装置，包括：在先目标像素确 定单元，对于由立体相机拍摄的当前帧参考图像中需要选择支持像素的目标像素，利用预 先确定的光流信息，确定其在前一帧参考图像中的对应目标像素；在先支持像素确定单元， 确定所述对应目标像素在前一帧参考图像中的各个支持像素；当前支持像素确定单元，利 用所述光流信息，确定所述前一帧参考图像中的各个支持像素在当前帧的参考图像中的各 个对应支持像素，作为当前帧参考图像中的所述目标像素的支持像素。
[0013] 根据本发明实施例的支持像素选择以及视差值确定技术能够准确地选择支持像 素，而不受目标像素的位置的影响，进而能够获得正确的视差值，生成正确的视差图。
【附图说明】
[0014] 图1示出了一种常用的支持像素选择方式的示意图。
[0015] 图2示出了另一种常用的支持像素选择方式的示意图。
[0016] 图3示出了需要进行支持像素选择的示例性场景及在该场景中应用图1示出的方 式进行支持像素选择的结果。
[0017] 图4示出了需要进行支持像素选择的示例性场景及在该场景中应用图2示出的方 式进行支持像素选择的结果。
[0018] 图5例示了根据本发明实施例的支持像素选择方法的示意性流程图。
[0019] 图6(a)示出了由立体相机拍摄的前后两帧参考图像中的在前帧参考图像及其部 分图像的放大图像；图6(b)示出了所述前后两帧参考图像中的在后帧参考图像及其部分 图像的放大图像；图6 (c)示出了图6 (a)和图6 (b)各自的参考图像中的部分图像的光 流计算结果。
[0020] 图7 (a)示出了利用光流信息来确定在后帧参考图像中的目标像素在在前帧参考 图像中的对应目标像素的示意图；图7 (b)示出了利用光流信息来确定在前帧参考图像中 的各个支持像素在在后帧参考图像中的各个对应支持像素的示意图。
[0021] 图8例示了根据本发明实施例的支持像素选择方法确定在前帧参考图像中的对 应目标像素在该在前帧中的各个支持像素的示意性流程图。
[0022] 图9示出了根据本发明实施例的视差值确定方法的示意性流程图。
[0023] 图10示出了根据本发明实施例的支持像素选择装置的功能配置框图。
[0024] 图11示出了根据本发明实施例的支持像素选择系统的总体硬件框图。
【具体实施方式】
[0025] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0026] 首先对本发明的支持像素选择技术的基本思想进行简要的描述。可以认为同一物 体的两个像素之间的物理距离在前后两个视频帧中不发生改变，因此如果前一帧中为目标 像素选择的支持像素是正确的，那么当前帧中这些支持像素的对应