计算视差的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及计算视差值的方法和装置，更具体地，本发明涉及基于匹配代价曲线 的计算视差值的方法和装置。
【背景技术】
[0002] 随着三维重建、虚拟现实等技术的发展，指示相机和所拍摄的特定对象之间距离 的视差信息已被广泛使用。通过立体图像匹配技术，可在关于相同三维场景的基准图像和 参照图像中找到匹配的像素点对，计算出每个像素点坐标对应的视差值。进而可利用视差 值来准确地描述场景的三维空间信息。
[0003] 在视差计算的过程中，已经提出了通过计算匹配代价曲线并且将匹配代价曲线中 匹配代价的最小值所对应的偏移作为第一像素点的视差值的视差值计算方法。然而，无纹 理或者有噪音的区域会导致错误的匹配代价曲线。
[0004] 图Ia示意性地示出了一示例区域的基准图像，并且图Ib示意性地示出了所述示 例区域的参照图像。图Ia和图Ib所示的示例区域为无纹理或者有噪音的区域。图2a是 示出了按照传统方法根据图Ia所示的基准图像和图Ib所示的参照图像获得的图Ia中的 像素点A的匹配代价曲线的示意性说明图。如图2a所示，无纹理或者有噪音的区域会导致 产生错误的匹配代价曲线，并且难以根据匹配代价曲线获得有效的视差值。图2b示意性地 示出了按照传统方法根据图Ia所示的基准图像和图Ib所示的参照图像获得的匹配代价曲 线确定的视差值构成的视差图。如图2b所示，在无纹理或者有噪音的区域中，根据传统的 计算方法获得的视差值不能准确地反映拍摄对象的深度信息。
[0005] 目前提出了通过设定阈值来改善根据匹配代价曲线获得的视差值。具体地，如果 匹配代价曲线中匹配代价的最小值与该曲线的第二小值之间的差值大于设定的阈值，则保 留该视差值；并且如果匹配代价曲线中匹配代价的最小值与该曲线的第二小值之间的差值 小于或等于设定的阈值，则舍弃该视差值，从而可去除不可靠的视差值，并且得到更准确的 视差图。
[0006] 图3示意性地示出了由视差值构成的视差图，其中所述视差值是通过图Ia所示的 基准图像和图Ib所示的参照图像获得的匹配代价曲线以及预先设定的阈值确定的。可以 容易地看出，与图2b中示出的由未经过与预先设定的阈值进行比较而获得的视差值构成 的视差图相比，图3中所示的视差图更加可靠。
[0007] 然而，由于阈值是人为设定的，因此存在所确定的阈值较为主观，而不适用于所有 的情况的问题。此外，为了不引入错误的视差值通常将阈值设置为较大值，这导致大量正确 的视差值被舍弃。
【发明内容】
[0008] 本发明实施例的目的在于提供一种计算视差的方法和装置，以解决上述问题。
[0009] 本发明的一个实施例提供了一种计算视差值的方法，包括：根据基准图像和参照 图像获得基准图像中第一像素点的初始匹配代价曲线；确定初始匹配代价曲线中匹配代价 的最小值和倒数第二小值之间的差值是否大于预定值；当差值大于预定值时，将初始匹配 代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值；以及当差值小于 或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，并且将修正匹配代 价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
[0010] 本发明的另一实施例提供了一种计算视差值的装置，包括：初始曲线获取单元，配 置来根据基准图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线；差值确定 单元，配置来确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否 大于预定值；视差值确定单元，配置来当差值大于预定值时，将初始匹配代价曲线中匹配代 价的最小值所对应的视差值作为第一像素点的视差值；修正曲线获取单元，配置来当差值 小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，其中视差值确 定单元还配置来当差值小于或等于预定值时，将修正匹配代价曲线中匹配代价的最小值所 对应的视差值作为第一像素点的视差值。
[0011] 在上述发明实施例提供的计算视差值的方法和装置中，对于视差值不可靠的点， 通过灰度信息来重新计算该点的匹配代价曲线，并根据重新计算的匹配代价曲线的来获得 更准确的时差值，从而获得比传统方法更加准确稠密的视差图。
【附图说明】
[0012] 图Ia示意性地示出了一示例区域的基准图像；
[0013] 图Ib示意性地示出了所述示例区域的参照图像；
[0014] 图2a是示出了按照传统方法、根据图Ia所示的基准图像和图Ib所示的参照图像 获得的图Ia中的像素点A的匹配代价曲线的示意性说明图；
[0015] 图2b示意性地示出了按照传统方法、根据图Ia所示的基准图像和图Ib所示的参 照图像获得的匹配代价曲线确定的视差值构成的视差图；
[0016] 图3示意性地示出了由视差值构成的视差图，其中所述视差值是通过图Ia所示的 基准图像和图Ib所示的参照图像获得的匹配代价曲线以及预先设定的阈值确定的；
[0017] 图4是描述了根据本发明一个实施例的计算视差的方法的流程图；
[0018] 图5是描述了根据本发明一个实施例的获得第一像素点的初始匹配代价曲线的 方法的流程图；
[0019] 图6是描述了根据本发明一个实施例的获得第一像素点的修正匹配代价曲线的 方法的流程图；
[0020] 图7是描述了根据本发明一个实施例利用调整后的惩罚参数估算该路径的修正 匹配代价的方法的流程图；
[0021] 图8a是示出了按照本发明一个实施例利用调整后的惩罚参数、根据图Ia所示的 基准图像和图Ib所示的参照图像获得的图Ia中的像素点A的修正匹配代价曲线的示意性 说明图；
[0022] 图8b是示出了按照本发明一个实施例利用调整后的惩罚参数、根据图Ia所示的 基准图像和图Ib所示的参照图像获得的修正匹配代价曲线确定的视差值构成的视差图；
[0023] 图9是示出了根据本发明的一个实施例的计算视差值的装置的示范性结构框图。
[0024] 图10是示出了根据本发明的一个实施例的初始曲线获取单元的示范性结构框 图。
[0025] 图11是示出了根据本发明的一个实施例的修正曲线获取单元的示范性结构框 图。
[0026] 图12是示出了根据本发明的一个实施例的第二估算模块的示范性结构框图。
[0027] 图13是示出按照本发明实施例的计算视差值的硬件系统的总体硬件框图。
【具体实施方式】
[0028] 为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实 施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示， 且对这些步骤和元素的重复解释将被省略。
[0029] 图4是描述了根据本发明一个实施例的计算视差的方法的流程图。下面，将参照 图4来描述根据本发明实施例的计算视差的方法。如图4所示，在步骤S401中，根据基准 图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线。根据本发明的一个示 例，可通过双目相机，拍摄得到左图像和右图像，并且可以任选左图像和右图像中的一个作 为参考图像，而将另一个作为匹配图像。
[0030] 为了获得更加准确的匹配点，在步骤S401中，可综合不同的到达第一像素点的路 径的初始匹配代价来生成第一像素点的初始匹配代价曲线。可根据具体需要来选择到达第 一像素点的路径，例如，可选择5个路径，8个路径，16个路径等等。以下将结合图5来描述 根据本发明一个实施例的获得第一像素点的初始匹配代价曲线的方法。图5是描述了根据 本发明一个实施例的获得第一像素点的初始匹配代价曲线的方法的流程图。
[0031] 如图5所示，在步骤S501中，利用惩罚参数，对于到达第一像素点的多个路径中的 每一个路径来估算初始匹配代价。优选地，惩罚参数可包括关于微小视差值变化的第一惩 罚参数，和关于较大视差值变化的第二惩罚参数。例如，在斜面或曲面可产生微小视差值变 化，而物体之间中断可产生较大的视差变化。
[0032] 根据本发明的一个示例，可通过以下公式（1)来计算到达第一像素点p的路径r 的初始匹配代价Ljp，d):
[0033] Lr (p, d) =C (p, d) +f (Lr (p-r, d))...... (1)
[0034] 其中d为视差值，C(p，d)为第一像素点的初始匹配代价，f (Ljp-r，d))为关于第 二像素点的匹配代价的函数，其中可预先确定所述视差值d的取值范围，以及所述第二像 素点为第一像素点沿该路径的前一像素点。
[0035] 可通过各种已知方案来获得第一像素点的初始匹配代价。例如，可利用互信息 (MI)来计算在基准图像和参考图像中，第一像素点的初始匹配代价。此外，可通过第一惩罚 参数和第二惩罚参数来确定关于第二像素点的匹配代价。例如，可通过以下公式（2)来确 定关于第二像素点的匹配代价的函数f (Ljp-r，d)):
[0036] f (Lr (p-r, d)) =min (Lr (p-r, d), Lr (p-r, d-1) +P1,
[0037] Lr (p-r, d+1) +P1, HiiniLr (p-r, i) +P2)...... (2)
[0038] 其中P1为第一惩罚参数，P2为第二惩罚参数，i为在视差值d的取值范围中除了 视差值d，d-Ι和d+Ι的当前取值以外的值。此外，为了防止第一像素点的匹配代价的值过 大，优选地，可从1^(口-1'，(1)、1^(口-1'，(1-1)+?1、1^(口-1'，(1+1)+? 1以及111；[11山1^-1'，;0+?2的最小 值中