计算视差的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及计算视差的方法和装置，更具体地，本发明涉及基于先前获得的视差 来计算当前视差的方法和装置。
【背景技术】
[0002] 随着Η维重建、虚拟现实等技术的发展，指示相机和所拍摄的特定对象之间距离 的视差信息已经在例如辅助驾驶等应用中被广泛使用。通过立体图像匹配技术，可在关于 相同Η维场景的基准图像和参照图像中找到匹配的像素点对，计算出每个像素点坐标对应 的视差。进而可利用视差来准确地描述场景的Η维空间信息。
[0003] 对于每个图像顿单独进行视差计算，可W得到精确的计算结果，但是在整幅图像 的范围内对视差进行计算需要花费大量时间，同时也会产生不必要的噪声。为了节省视差 计算时间，已经提出了视差继承方法，在该视差继承方法中，通过使后一顿中的像素点继承 该像素点在前一顿中的对应像素点的视差来获得该后一顿中的像素点的视差。图1是示出 了通过视差继承方法获得的示例性视差图100。如图1所示，由于此方法完全接收前一顿的 视差结果，当前顿的视差结果中会混入大量的噪声和错误视差。例如，车辆110和墙壁120 上存在显著的噪声。
【发明内容】
[0004] 本发明实施例的目的在于提供一种计算视差的方法和装置，W解决上述问题。
[0005] 本发明的一个实施例提供了一种计算视差的方法，包括：根据立体相机在前一时 刻拍摄的第一图像顿的视差图，在所述第一图像顿中选择其视差可靠的可靠像素点；预测 每个可靠像素点在立体相机在当前时刻拍摄的第二图像顿中的对应像素点；确定至少一部 分可靠像素点为选取像素点；对于每个选取像素点，在当前时刻拍摄的第二图像顿中确定 该选取像素点的对应像素点的视差计算范围；W及根据每个选取像素点的视差计算范围， 计算该选取像素点在第二图像顿中的视差。
[0006] 本发明的另一实施例提供了一种计算视差的装置，包括：像素点选择单元，配置来 根据立体相机在前一时刻拍摄的第一图像顿的视差图，在所述第一图像顿中选择其视差可 靠的可靠像素点；像素点预测单元，配置来预测每个可靠像素点在立体相机在当前时刻拍 摄的第二图像顿中的对应像素点；第一像素点确定单元，配置来确定至少一部分可靠像素 点为选取像素点；范围确定单元，配置来对于每个选取像素点，在当前时刻拍摄的第二图像 顿中确定该选取像素点的对应像素点的视差计算范围；W及视差计算单元，配置来根据每 个选取像素点的视差计算范围，计算该选取像素点在第二图像顿中的视差。
[0007] 在上述发明实施例提供的计算视差的方法和装置中，可选择在前一时刻拍摄的图 像顿中具有可靠视差的像素点，在当前时刻拍摄的图像顿中确定与被选取的像素点对应的 像素点，并且在特定的视差计算范围内计算送些对应的像素点的视差，从而可W更加快速 地得到准确的视差。
【附图说明】
[0008] 图1是示出了通过视差继承方法获得的示例性视差图。
[0009] 图2是描述了根据本发明一个实施例的计算视差的方法的流程图。
[0010] 图3是描述了根据本发明一个实施例，从可靠像素点中选择选取像素点的方法的 流程图。
[0011] 图4是示出了通过上述本发明实施例提供的视差计算的方法获得的示例性视差 图。
[0012] 图5是示出了根据本发明的一个实施例的计算视差的装置的示范性结构框图。
[0013] 图6是示出了根据本发明的一个实施例的第一像素点确定单元的示范性结构框 图。
[0014] 图7是示出按照本发明实施例的计算视差的硬件系统的总体硬件框图。
【具体实施方式】
[0015] 为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实 施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示， 且对送些步骤和元素的重复解释将被省略。
[0016] 图2是描述了根据本发明一个实施例的计算视差的方法200的流程图。下面，将 参照图2来描述根据本发明实施例的计算视差的方法200。如图2所示，在步骤S201中，根 据立体相机在前一时刻拍摄的第一图像顿的视差图，在第一图像顿中选择其视差可靠的可 靠像素点。优选地，可首先对在前一时刻立体相机拍摄的第一图像顿进行校准，然后使用校 准后的图像来计算视差。
[0017] 在步骤S201中，可采用任何已知的视差计算方法。例如，可采用半全局匹配算法 (SGM)来计算视差。在SGM算法中，用于计算像素点的视差的搜索范围[0，cU]，其中cU是 预先确定的搜索视差的最大阔值。例如，可根据相机拍摄的图片的尺寸来确定dm。、。对于每 个像素点均在整个范围[0，dmJ内进行搜索，并将匹配代价曲线的最低点对应的值作为该 像素点最终的视差。然后可判断第一图像顿中的每个像素点的视差是否可靠。例如，可通 过W下公式（1)来确定第一图像顿中的像素点P(t-l)的视差是否可靠：
[001 引 Cost (P (t-1)，dmin) ?Cost (P (t-1)，dsecmin) ......W
[001引其中dmm为匹配代价曲线的最低点对应的视差，屯。。"。为匹配代价曲线的倒数第二 低点对应的视差。当满足公式（1)时，确定像素点P(t-l)是可靠像素点。
[0020] 然后，在步骤S202中，预测每个可靠像素点在立体相机在当前时刻拍摄的第二图 像顿中的对应像素点。在步骤S202中，可采用例如光流法等任何已知的计算方法来预测每 个可靠像素点在立体相机在当前时刻拍摄的第二图像顿中的对应像素点。
[0021] 此外在步骤S203中，可确定至少一部分可靠像素点为选取像素点。应注意，图2 中所示的方法的各个步骤不必按照所示的顺序执行。可W颠倒或并行地执行某些步骤。根 据本发明的一个示例，在步骤S203中，可将所有在步骤S201获得的可靠像素点都作为选取 像素点。在此情况下，在第一图像顿中选择其视差可靠的可靠像素点（步骤S201)和确定 至少一部分可靠像素点为选取像素点（步骤S203)可W是同时执行的。并且可W先确定至 少一部分可靠像素点为选取像素点（步骤S203)再预测每个可靠像素点在立体相机在当前 时刻拍摄的第二图像顿中的对应像素点（步骤S202)。
[0022] 可替换地，根据本发明的另一示例，在步骤S203中，可根据运动信息从在步骤 S201获得的可靠像素点中选择选取像素点。图3是描述了根据本发明一个实施例，从可靠 像素点中选择选取像素点的方法300的流程图。可对于第一图像顿中的各个可靠像素点分 别执行图3中所示的方法300。
[0023] 如图3所示，在步骤S301中，获取一可靠像素点的运动信息。根据本发明的一个 示例，运动信息可W是当将第一图像顿和第二图像顿置于相同坐标系中时，从一可靠像素 点到该可靠像素点的对应像素点的位移。
[0024] 在步骤S302中，确定所计算的运动信息是否在预定信息范围内。并且当所计算的 运动信息在预定信息范围内时，在步骤S303中将该可靠像素点确定为选取像素点。例如， 在运动信息为一可靠像素点到该可靠像素点的对应像素点的位移的情况下，在步骤S302 中，可确定所计算的位移量是否在预定位移范围内。优选地，可预先设置预定位移范围不 包括幅值小于第一阔值的位移，W去除噪声，并且预定位移范围不包括幅值大于的第二阔 值的位移，W去除运动过大的像素点。并且当所计算的位移量在预定信息范围内时，在步骤 S303中，将该可靠像素点确定为选取像素点。
[00巧]此外根据本发明的另一示例，立体相机可W是包括两个图像采集单元的双目相 机。在此情况下，立体相机所拍摄的第一图像顿可包括第一基准图像顿和第一参考图像顿， 并且第二图像顿可包括第二基准图像顿和第二参考图像顿。在步骤S201中，在第一图像顿 中选择其视差可靠的可靠像素点可包括从第一基准图像顿中选择其视差可靠的可靠像素 点，并且从第一参考图像顿中获得与可靠像素点一一对应的参考像素点。此外，根据图3中 所示的从可靠像素点中选择选取像素点的方法300,在步骤S301中，可根据第一基准图像 顿和第二基准图像顿