配置视差值的方法和系统的制作方法
【专利摘要】本发明公开了一种配置视差值的方法和系统，该方法包括：根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。根据本发明的各个实施例，可以更准确地配置视差值。
【专利说明】配置视差值的方法和系统
【技术领域】
[0001] 本发明一般涉及图像处理领域，且更具体地，涉及一种在立体匹配中配置视差值 的方法和系统。
【背景技术】
[0002] 立体视觉近年来成为计算机视觉领域最热门的研究课题之一。立体视觉的基本原 理是结合两个(双目）或更多视点的信息，以获得不同视角下同一物体的图像，并利用三角 测量原理来计算图像的像素点之间的位置偏差，从而获得物体的立体信息。该立体视觉包 括图像获取、摄像机定标、特征提取、立体匹配、深度及内插等处理，其中，立体匹配的目的 是寻求同一空间中的物体在不同视点下拍摄的图像的像素点之间的对应关系。通过立体匹 配技术得到的视差信息(深度信息)可用来估量摄像机和物体之间的相对距离。这些视差信 息能够应用于诸多场合，例如诸如三维电影、机器人、监控、基于三维技术的道路检测、行人 检测、自动驾驶、智能车辆等等。以智能车辆为例，基于由视差信息组成的视差图，能够容易 地检测到行人、车辆、路面、白线和栅栏等对象，从而可以检测目标或对目标进行分类，由此 控制和管理车辆的行驶状况。可见，获得鲁棒和准确的视差图在立体视觉中起着重要的作 用。
[0003] 当前的立体匹配的技术大致分为两类，一类是基于像素的算法，另一类是基于分 割的算法。
[0004] 基于像素的算法单独考虑每个像素。例如在XU LI-QUN等人的2011年8月30日 授权的另一美国专利号US8009897B2中公开了一种基于像素的立体匹配方法，其根据灰度 相似性对当前待匹配像素构造连通像素序列，以此作为匹配元素。在该专利中，匹配算法是 基于像素级别的处理方法。由于一些目标的内部缺少纹理信息，例如，道路，单独考虑每个 像素而得到的这些目标的视差图存在有无效区域和噪声过多等问题(如图1A所示)，因此获 得的视差图不够准确。
[0005] 为了解决基于像素的算法出现的问题，出现了基于分割的立体匹配算法，其首先 基于彩色信息或灰度信息将图像分割为多个区域块，这些区域块具有类似的彩色信息或灰 度信息。分割区域块的目的是使得每个区域块尽可能地对应于实际场景中的每个平面。然 后，利用每个区域块中的有效视差值来估计该区域块中的无效视差值，从而估计该区域块 的视差分布图。如图1B所示，通常，P1是一个有效像素，因为和P2相比，P1距离边缘(区域 块的边界)较近，从而可以很容易并正确找到与它相对应的像素。基于分割的算法在很大程 度上解决了基于像素的算法所存在的问题。尽管基于分割的算法可以解决基于像素的算法 所存在的问题，它带来一个新问题：在一些区域存在严重错误的视差值，具体见图1C，路面 区域的视差图向右倾斜，存在错误。路面区域正确的视差图应该是由很多水平线组成，因为 对于路面区域来说，每条水平线上的深度值是恒定的。出现上述错误的原因是典型的基于 分割的立体匹配算法假设每个区域块都是实际场景中的一个平面，但在图1C的分割结果 中，两个平面(路面和栅栏）被错误地分割到一个区域块中，因此基于分割的算法的立体匹 配是否准确很大程度上取决于区域块的分割是否准确。可见，鲁棒和准确的区域块的分割 在立体匹配和生成视差图中也起着重要作用。
[0006] 例如在HONG LI等人的2008年2月12日授权的美国专利号US7330593B2中公开 了一种基于分割的立体匹配和生成视差图的方法。其用彩色信息对参考图像进行分割，然 后，用基本的局部立体匹配算法生成初始视差图，然后用平面拟合方法对每个分割的区域 块建立平面模型，最后用置信传播方法生成优化的视差图。但是，该专利只采用彩色信息进 行图像分割，有时彩色信息并不能完全指示像素点是否处于同一平面，例如在彩色信息相 同的两个点有可能来自不同的平面，因此通过该方法分割图像得到的区块块并非都是实际 场景中的一个平面，因此通过该方法获得的视差图也不够准确。
[0007] 因此，现有的图像分割和生成视差图的技术无法获得较准确的视差图。因此，需要 提供更准确地配置视差图中的视差值的方法和系统。
【发明内容】
[0008] 鉴于上述现有技术中的问题，本发明的目的在于提供更准确地配置视差图中的视 差值的方法和系统。
[0009] 根据本发明的一个方面，提供一种配置视差值的方法，包括：根据关于参考图像的 包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块 的至少一个块中的至少一部分点的所述特征符合预定规则；以及分析所述多个块的至少一 个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。
[0010] 在一个实施例中，所述初始视差值的空间变化特性可以包括如下中的一种或多 种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向 上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上 的导数，计算得到的视差梯度角度信息。
[0011] 在一个实施例中，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一 种。
[0012] 在一个实施例中，所述预定规则可以包括相同、相差的差值小于预定阈值中的至 少一种。
[0013] 在一个实施例中，分析所述多个块的至少一个块中的各个初始视差值，向所述至 少一个块中的一个或多个点重新分配视差值的步骤可以包括：根据所述至少一个块中的各 个有效的初始视差值，对所述至少一个块进行平面拟合；以及根据平面拟合的结果，对所述 至少一个块中的一个或多个点计算新的视差值。
[0014] 在一个实施例中，分析所述多个块的至少一个块中的各个初始视差值，向所述至 少一个块中的一个或多个点重新分配视差值的步骤可以包括：根据所述至少一个块中的各 个有效的初始视差值，计算所述至少一个块的视差值的平均值；以及用所计算的平均值，作 为所述至少一个块中的一个或多个点的视差值。
[0015] 在一个实施例中，所述一个或多个点可以包括具有无效的初始视差值的点。
[0016] 在一个实施例中，所述初始视差值在一个或多个方向上的导数可以通过如下方式 计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效 初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或 多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多 个方向上的初步导数。
[0017] 在一个实施例中，所述初始视差值在一个或多个方向上的初步导数还可以通过如 下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的 导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预 定范围内的各个点的导数包括所述各个点的初步导数或优化导数。
[0018] 根据本发明的另一方面，提供一种配置视差值的系统，包括：分割单元，被配置为 根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为 多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分配 单元，被配置为分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中 的一个或多个点重新分配视差值。
[0019] 在一个实施例中，所述初始视差值的空间变化特性可以包括如下中的一种或多 种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向 上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上 的导数，计算得到的视差梯度角度信息。
[0020] 在一个实施例中，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一 种。
[0021] 在一个实施例中，所述预定规则可以包括相同、相差的差值小于预定阈值中的至 少一种。
[0022] 在一个实施例中，所述分配单元可以包括：根据所述至少一个块中的各个有效的 初始视差值，对所述至少一个块进行平面拟合的装置；以及根据平面拟合的结果，对所述至 少一个块中的一个或多个点计算新的视差值的装置。
[0023] 在一个实施例中，所述分配单元可以包括：根据所述至少一个块中的各个有效的 初始视差值，计算所述至少一个块的视差值的平均值的装置；以及用所计算的平均值，作为 所述至少一个块中的一个或多个点的视差值的装置。
[0024] 在一个实施例中，所述一个或多个点可以包括具有无效的初始视差值的点。
[0025] 在一个实施例中，所述初始视差值在一个或多个方向上的导数可以通过如下方式 计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效 初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或 多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多 个方向上的初步导数。
[0026] 在一个实施例中，所述初始视差值在一个或多个方向上的初步导数还可以通过如 下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的 导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预 定范围内的各个点的导数包括所述各个点的初步导数或优化导数。
[0027] 根据本发明的各个方面，可以更准确地配置视差图中的视差值。
【专利附图】
【附图说明】
[0028] 图1A-1C示出了现有技术中的图像分割和视差图生成的方法的示意图。
[0029] 图2示出了应用本发明的实施例的方法和系统的硬件框图。
[0030] 图3示出了根据本发明的一个实施例的配置视差值的方法的流程图。
[0031] 图4示出了如图3所示的配置视差值的方法中的步骤S301的一个可选实施例的 流程图。
[0032] 图5更详细地示出了如图4所示的可选实施例中的步骤S402的流程图。
[0033] 图6A和6B分别示出了用于说明计算X方向上的导数和计算y方向上的导数的过 程的示意图。
[0034] 图7示出了根据本发明的实施例的采用新特征而得到的分割算法的示例结果。
[0035] 图8示出了图3所示的配置视差值的方法300中的步骤S302的一个可选实施例 的流程图。
[0036] 图9示出了使用根据可选实施例所得到的配置视差值后的视差图的示例示意图。
[0037] 图10示出了根据本发明的另一个实施例的配置视差值的系统的方框图。
【具体实施方式】
[0038] 现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结 合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆 盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这 里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被 实现为物理实体或逻辑实体、或者两者的组合。
[0039] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0040] 图2示出了应用本发明的实施例的方法和系统的硬件框图。
[0041] 图2所示的硬件包括：立体相机11，用于从两个或更多视点拍摄两个或更多图像； 解码器12,用于从立体相机11拍摄的图像中提取与像素相关的图像信息、例如灰度信息、 彩色信息等；数字信号处理器13,用于对解码器12输出的各种信息进行数字信号处理；存 储器14,与数字信号处理器13耦合，用于存储数字信号处理器处理的数据或向数字信号处 理器提供数据；以及与应用相同的其他模块15,用于利用数字信号处理器13处理的结果进 行进一步的动作。
[0042] 根据本发明的实施例的方法和系统可以应用于图2所示的数字信号处理器13中。 当然，这种应用仅是示例，而非限制。
[0043] 图3示出了根据本发明的一个实施例的配置视差值的方法300的流程图。
[0044] 该配置视差值的方法300包括：步骤S301，根据关于参考图像的包括所述初始视 差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中 的至少一部分点的所述特征符合预定规则；以及步骤S302,分析所述多个块的至少一个块 中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。
[0045] 此处的初始视差值可以通过任何已知的得到视差值的技术来得到、例如在背景技 术中提到的基于像素的算法和利用灰度或彩色信息来进行的基于分割的算法来得到的初 始视差图中的视差值。在此不详细描述。而本发明的实施例可以在用已知方法得到的初始 视差值的基础上通过重新分配视差值来进一步优化视差值。
[0046] 由于假设分割得到的每个块对应于实际场景中的一个平面，因此，同一平面内的 像素的视差值的空间变化特性应该是一致的，而处在不同平面内的像素的视差值的空间变 化特性应该是不同的。由此，通过寻找具有符合预定规则(例如，相同或相似)的视差的空间 变化特性的像素点，可以更准确地将更可能实际上处于同一平面的像素点分割为一个块， 从而根据各个块的平面特点，分析所分割的各个块中的初始视差值来重新分配部分视差 值，能够更准确地配置视差图中的各个视差值。
[0047] 根据一个实施例，所述初始视差值的空间变化特性可以包括如下中的一种或多 种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向 上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上 的导数，计算得到的视差梯度角度信息。当然，除了上述一种或多种以外，该初始视差值的 空间变化特性还可以包括其他空间变化特性，例如，初始视差值的空间分布、直方图、频谱 信息等等体现初始视差值在空间上的变化特性的参数。可选地，根据一个实施例，所述初始 视差值的空间变化特性可以包括根据初始视差值在横轴（X)方向上的导数和在纵轴（y)方 向上的导数而计算得到的视差梯度幅值信息以及视差梯度角度信息两者。以下参考图4-6 还将更详细地描述生成视差梯度幅值信息和视差梯度角度信息的过程。
[0048] 根据一个实施例，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一 种。当然，上述特征还可以包括其他有助于区分处于不同平面的块的特征。可选地，可以利 用诸如视差梯度幅值信息、视差梯度角度信息的空间变化特性以及灰度信息作为特征。这 样，相比于只使用包括灰度信息作为特征，或只使用诸如视差梯度幅值信息和视差梯度角 度信息的空间变化特性作为特征，通过诸如视差梯度幅值信息、视差梯度角度信息的空间 变化特性以及灰度信息的特征来寻找具有相同或相似的特征的像素点，可以更准确地找到 更可能实际上处于同一平面的像素点，并将它们作为一个块来分割。
[0049] 根据一个实施例，所述预定规则可以包括相同、相差的差值小于预定阈值中的至 少一种。当然，上述预定规则还可以包括根据所选择的特征而制定的其他规则。
[0050] 根据一个实施例，S302的步骤可以包括：根据所述至少一个块中的各个有效的初 始视差值，对所述至少一个块进行平面拟合；以及根据平面拟合的结果，对所述至少一个块 中的一个或多个点计算新的视差值。可选地，对于分割的较大的块，可以进行平面拟合；以 及根据平面拟合的结果、例如平面方程，对该较大的块中的一个或多个点(例如，具有无效 视差值的点或全部点）计算新的视差值。
[0051] 根据一个实施例，S302的步骤可以包括：根据所述至少一个块中的各个有效的初 始视差值，计算所述至少一个块的视差值的平均值；以及用所计算的平均值，作为所述至少 一个块中的一个或多个点的视差值。可选地，对于分割的较小的块，可以计算该较小的块的 视差值的平均值；以及用所计算的平均值，作为该较小的块中的一个或多个点(例如，具有 无效视差值的点或全部点）的视差值。
[0052] 根据一个实施例，所述一个或多个点可以包括具有无效的初始视差值的点（S卩，初 始视差值为零的点)。当然，所述一个或多个点也可以是该块内的全部的点。
[0053] 根据一个实施例，所述初始视差值在一个或多个方向上的导数可以通过如下方式 计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效 初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或 多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多 个方向上的初步导数。通过这样做，可以在考虑计算误差的情况下考虑第一预定范围内的 各个点与当前点的有效初始视差值的差而求得的导数来更准确地估计一个点处的初步导 数。
[0054] 根据一个实施例，所述初始视差值在一个或多个方向上的初步导数还可以通过如 下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的 导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预 定范围内的各个点的导数包括所述各个点的初步导数或优化导数。这样，通过这样做，可以 在考虑计算误差的情况下利用第二预定范围内的多个点的如上所述地(考虑第一预定范围 内的各个点与当前点的有效初始视差值而）求得的各个初步导数(或已优化的优化导数）的 平均值来更准确地得到一个点处的优化导数。
[0055] 由于对于实际场景中的每个平面来说，其视差分布应该满足平面约束，因此其视 差的空间变化特性应该保持恒定。从而，根据图3所示的配置视差值的方法300,通过利 用包括所述初始视差值的空间变化特性的特征来寻找具有相同或相似的特征的像素点，例 如，是否具有相同或相似的视差的空间变化特性，可以更准确地将更可能实际上处于同一 平面的像素点分割为一个块。另外，对于分割的块，可以通过平面拟合或计算视差值的平均 值等的方式；以及根据该平面拟合的结果或该视差值的平均值，重新分配该块中的一个或 多个点(例如，具有无效视差值的点或全部点）的视差值。这使得能够更准确地配置视差图 中的各个视差值。
[0056] 下面参考图4-7来描述根据本发明的配置视差值的方法的一个可选实施例。
[0057] 可选地，所述初始视差值的空间变化特性可以包括根据初始视差值在横轴（X)方 向上的导数和在纵轴（y)方向上的导数而计算得到的视差梯度幅值信息以及视差梯度角度 信息两者。可选地，而用来确定像素点是否具有相同或相似的特征的特征包括该视差梯度 幅值信息以及视差梯度角度信息以及参考图像的灰度值。
[0058] 参考图4,图4示出了如图3所示的配置视差值的方法中的步骤S301的一个可 选实施例的流程图。该步骤S301可以包括：步骤S401，接收参考图像和初始视差图；步骤 S402,生成初始视差图的X方向和y方向的导数图；步骤S403,根据视差导数图来生成梯度 幅值图和梯度角度图；步骤S404,将参考图像的灰度值和视差梯度幅值和角度信息作为特 征，将参考图像分割为每个块的各个点的特征相同或相似的多个块。
[0059] 图5更详细地示出了如图4所示的可选实施例中的步骤S402的流程图。参考图 5所示，步骤S402可以包括：步骤S4021，接收参考图像的初始视差值图像；步骤S4022,计 算X方向导数；步骤S4023,计算y方向导数；步骤S4024,对X方向导数进行均值滤波；步 骤S4025,对y方向导数进行均值滤波；步骤S4026,得到X方向导数图和y方向导数图。
[0060] 具体地，在步骤S4021中，接收参考图像的相应的初始视差图。可以采用任何已知 的立体匹配算法来得到初始视差图。
[0061] 在步骤S4022和S4023中，对初始视差图中的每一个像素计算X方向导数和y方 向导数。在一个实施例中，可以使用处在一定范围(例如，第一预定范围）内并与该像素具有 相同y坐标(即，X方向上)的有效像素来计算该像素在X方向上的导数；可以使用处在一定 范围(例如，第一预定范围）内并与该像素具有相同X坐标(即，y方向上）的有效像素来计算 该像素在y方向上的导数。当然，考虑一定范围内的其他像素可以加强计算的χ方向上的 导数和y方向上的导数的有效性和准确性，但是这是可选的，而不是限制的。
[0062] 具体地，假设d(x，y)是初始视差图，Dx(x，y)和Dy(x，y)分别是d(x，y)的χ方向 导数图像和y方向导数图像，Dx(x，y)和Dy(x，y)的计算公式如下公式（1)和（2)所示：
【权利要求】
1. 一种配置视差值的方法，包括： 根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分 割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及 分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多 个点重新分配视差值。
2. 根据权利要求1所述的方法，其中，所述初始视差值的空间变化特性包括如下中的 一种或多种： 所述初始视差值在一个或多个方向上的导数； 根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以 及 根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。
3. 根据权利要求1所述的方法，其中，所述特征还包括灰度信息、彩色信息、纹理信息 中的至少一种。
4. 根据权利要求1所述的方法，其中，所述预定规则包括相同、相差的差值小于预定阈 值中的至少一种。
5. 根据权利要求1所述的方法，其中，分析所述多个块的至少一个块中的各个初始视 差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤包括： 根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合； 以及 根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值。
6. 根据权利要求1所述的方法，其中，分析所述多个块的至少一个块中的各个初始视 差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤包括： 根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平 均值；以及 用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值。
7. 根据权利要求1所述的方法，其中，所述一个或多个点包括具有无效的初始视差值 的点。
8. 根据权利要求2所述的方法，其中，所述初始视差值在一个或多个方向上的导数通 过如下方式计算： 针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初 始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多 个点的各个导数； 将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初 步导数。
9. 根据权利要求8所述的方法，其中，所述初始视差值在一个或多个方向上的导数还 通过如下方式计算： 对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所 述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预定范围内的 各个点的导数包括所述各个点的初步导数或优化导数。
10. -种配置视差值的系统，包括： 分割单元，被配置为根据关于参考图像的包括所述初始视差值的空间变化特性的特 征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特 征符合预定规则；以及 分配单元，被配置为分析所述多个块的至少一个块中的各个初始视差值，向所述至少 一个块中的一个或多个点重新分配视差值。
【文档编号】G06T7/00GK104123715SQ201310152896
【公开日】2014年10月29日 申请日期:2013年4月27日 优先权日:2013年4月27日
【发明者】刘振华, 刘媛, 师忠超, 王刚 申请人:株式会社理光