视差运算系统、信息处理装置、信息处理方法和记录介质的制作方法

视差运算系统、信息处理装置、信息处理方法和记录介质的制作方法
【专利摘要】信息处理装置包括关联单元，其将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离的距离信息与组成由图像拾取单元拍摄的图像的第一图像中的第一像素关联，所述距离信息基于电磁波的反射后的波获得并且所述第一像素与所述电磁波的照射位置对应；以及生成单元，其通过使用与所述第一像素关联的距离信息生成视差图像，用于组成图像的第二图像中的像素的视差计算。
【专利说明】
视差运算系统、信息处理装置、信息处理方法和记录介质
技术领域
[0001] 本发明涉及视差运算系统、信息处理装置、信息处理方法和记录介质。
【背景技术】
[0002] 传统上，已知通过对由立体相机的多个图像拾取单元等拍摄的图像(立体图像）中 包括的物体的图像执行视差计算来计算到物体的距离的距离测量技术。例如，由距离测量 技术产生的视差图像的使用便于检测到运行车辆前面的障碍物。

【发明内容】

[0003] 本发明要解决的问题
[0004] 然而，对其执行视差计算的立体图像通常包括具有平滑纹理的图像部分、饱和图 像部分、强阴影图像(SO I i dl y shaded image)部分等。在立体图像包括这样的图像部分的 情况下，难于确保立体图像之间的匹配精度并且视差计算的精度被显著劣化。出于这个原 因，在距离测量技术的领域，需要即使当立体图像包括具有平滑纹理的图像部分、饱和图像 部分和强阴影图像部分等的图像时，也允许以良好精度执行视差计算。
[0005] 因此，鉴于上面描述的问题，本发明目标在于增加由多个图像拾取单元拍摄的图 像的视差计算的精度。
[0006] 解决问题的方案
[0007] 在一个方面，本发明提供能够增加由多个图像拾取单元拍摄的立体图像的视差计 算的精度的信息处理装置。
[0008] 在一个实施例中，本发明提供一种信息处理装置，其基于由多个图像拾取单元拍 摄的图像生成视差图像，信息处理装置包括:处理器；以及存储器，存储计算机可读代码，当 计算机可读代码由处理器执行时使得处理器充当关联单元，配置来将指示到多个图像拾取 单元的拍摄方向上照射的电磁波的照射位置的距离的距离信息与组成图像的第一图像中 的第一像素关联，距离信息基于电磁波的反射后的波获得并且第一像素与电磁波的照射位 置对应；以及生成单元，配置来通过使用与第一像素关联的距离信息生成视差图像，以用于 组成图像的第二图像中的像素的视差计算。
[0009] 根据本发明的实施例，能够增加由多个图像拾取单元拍摄的立体图像的视差计算 的精度。
[0010] 当结合附图阅读时时实施例的其他目的、特征和优点将从下面的描述显而易见。
【附图说明】
[0011] 图1是示出根据实施例的视差运算系统的整体配置的框图。
[0012] 图2是示出根据实施例的视差运算系统所应用的车辆的图。
[0013] 图3A和3B是示出由组成视差运算系统的一部分的激光雷达距离测量模块的激光 束的照射范围的图。
[0014] 图4A、4B到4C是示出由组成视差运算系统的一部分的立体图像运算模块的立体图 像的拍摄范围的图。
[0015] 图5是说明由激光雷达距离测量模块的激光束的照射位置和立体图像的像素位置 之间的关系的图。
[0016] 图6是示出激光雷达距离测量模块的功能配置的框图。
[0017] 图7是示出立体图像运算模块的功能配置的框图。
[0018] 图8是说明由组成立体图像运算模块的一部分的成本计算单元执行的成本计算处 理的图。
[0019] 图9是说明由成本计算单元执行的成本计算处理的图。
[0020] 图IOA和IOB是说明立体图像的预定像素的视差和SAD之间的关系的图。
[0021 ] 图11是说明通过使用密集匹配算法(dense matching algorithm)计算传播参数 的处理的图。
[0022]图12是示出密集匹配算法的示例的图。
[0023] 图13是说明由能量计算单元计算出的能量值和视差之间的关系的图。
[0024] 图14是说明由能量计算单元执行的能量计算处理的流程图。
[0025]图15是说明由视差计算单元执行的视差计算处理的流程图。
[0026] 图16是示出立体图像运算模块的另一功能配置的图。
[0027] 图17是说明激光束的照射位置和立体图像的像素位置之间的关系的图。
[0028] 图18是说明由组成立体图像运算模块的一部分的视差计算单元执行的视差计算 处理的图。
[0029]图19是说明由视差计算单元执行的视差计算处理的流程图。
[0030]图20是示出立体图像运算模块的另一功能配置的图。
[0031]图21A和21B是说明由组成立体图像运算模块的一部分的信息嵌入单元执行的信 息嵌入处理的图。
[0032]图22是说明由信息嵌入单元执行的信息嵌入处理的流程图。
[0033] 图23是示出立体图像运算模块的另一功能配置的图。
【具体实施方式】
[0034] 现在将参考附图给出实施例的描述 [0035] 第一实施例
[0036] 首先，说明根据实施例的视差运算系统的整体配置。图1是示出根据本实施例的视 差运算系统100的整体配置的图。如图1中所示，视差运算系统100包括激光雷达距离测量模 块110和立体图像运算模块120。
[0037] 激光雷达距离测量模块110配置来当由组成立体图像运算模块120的立体相机拍 摄立体图像时在拍摄方向上照射激光束，并且配置来接收反射后的光束以测量到激光束的 反射位置的距离。由激光雷达距离测量模块110测量出的距离和光束接收定时信息被输入 到立体图像运算模块120作为距离信息。
[0038]立体图像运算模块120包括立体相机并且基于由立体相机以预定帧时段拍摄的立 体图像计算视差图像。立体图像运算模块120被配置来当计算视差图像时基于距离信息中 包括的反射定时信息来标识帧。另外，立体图像运算模块120被配置来将距离信息中包括的 距离数据与立体图像的对应帧中与激光束的照射位置对应的像素关联。立体图像运算模块 120被配置来在计算视差图像时使用基于与对应像素关联的距离数据(基于距离数据计算 出的值）。
[0039]由此，在计算视差图像时，可以通过使用由激光雷达距离测量模块110测量出的距 离增加视差计算的精度。
[0040] 例如，由立体图像运算模块120计算出的视差图像使得能够精确检测到在道路上 运转的车辆前面的道路表面上的物体、人等。另一方面，在具有诸如道路表面之类的平滑纹 理的图像部分的情况下，视差计算的精度劣化。为了避免这一点，立体图像运算模块120配 置来在计算视差图像时使用由激光雷达距离测量模块110测量出的距离。
[0041] 接着，说明视差运算系统100的应用的示例。图2是示出根据实施例的视差运算系 统100所应用到的车辆200的图。在图2的示例中，激光雷达距离测量模块110和立体图像运 算模块120安装在车辆200的前窗口的内部中间位置处。激光雷达距离测量模块110和立体 图像运算模块120安装为面向车辆200的朝前方向，并且激光雷达距离测量模块110布置在 组成立体图像运算模块120的一部分的立体相机(两个图像拾取单元)之间。
[0042]接着，说明由激光雷达距离测量模块110的激光束的照射范围。图3A和3B是示出由 激光雷达距离测量模块110的激光束的照射范围的图。图3A是车辆200的顶视图并且图3B是 车辆200的侧视图。
[0043]如图3A中所示，激光雷达距离测量模块100在车辆200的朝前方向上线性照射激光 束。当车辆200的行进的方向定义为角度0°时，当从其上位置观看车辆200时，在转向方向 (turning direction，与水平方向平行)上的激光束的照射角度被固定为时的角度0°。 [0044]此外，激光雷达距离测量模块110朝车辆200前面的道路表面部分照射激光束。具 体地，如图3B所示，道路表面上激光雷达距离测量模块110的激光束的照射范围被设置为从 相对于激光雷达距离测量模块110的安装位置测量的距离Dl到距离D2。
[0045] 即，激光雷达距离测量模块110被安装，以使得激光束的照射方向可以在仰角方向 (与垂直方向平行)上旋转。由此，可以在从依据激光雷达距离测量模块110的安装位置而测 量出的距离Dl到距离D2的照射范围内，向道路表面照射激光束。
[0046]接着，说明由立体图像运算模块120的立体图像的拍摄范围。图4A、4B和4C是说明 立体图像运算模块120的立体图像的拍摄范围的图。图4A是当从其上部分观看时车辆200的 顶视图。如图4A中所示，立体图像运算模块120的立体相机安装为面向车辆200的朝前方向 并且拍摄车辆的朝前方向上的图像(包括道路表面和天空）。
[0047]图4B和4C示出由立体相机拍摄的每个立体图像中的一个帧。图4B示出由安装在组 成立体图像运算模块120的立体相机的图像拾取单元的左手侧的左图像拾取单元拍摄的立 体图像的一个帧。图4C示出由安装在组成立体图像运算模块120的立体相机的图像拾取单 元的右手侧的右图像拾取单元拍摄的立体图像的一个帧。
[0048]左图像拾取单元和右图像拾取单元以两个图像拾取单元之间的已知距离相互平 行设置。因此，图4B中所示的立体图像410内的物体的位置和图4C中所示的立体图像420内 的相同物体的位置在水平方向上相互偏离。
[0049]立体图像运算模块120配置来通过计算组成图像410中的物体的每个像素和组成 图像420中的物体的像素的对应像素之间的偏移量(称为"视差"），生成和输出视差图像。
[0050] 接着，说明激光雷达距离测量模块110的激光束的照射位置与由立体图像运算模 块120拍摄的立体图像(参考图像）中的像素位置之间的关系。图5是说明激光束的照射位置 和立体图像(参考图像)的像素位置之间的关系的图。
[0051] 如上面描述，激光雷达距离测量模块110安装在立体图像运算模块120的立体相机 (两个图像拾取单元)之间，以使得在转向方向上激光雷达距离测量模块110的激光束的照 射角度被固定为角度〇°，并且激光雷达距离测量模块Iio被安装为在仰角方向上可旋转。
[0052] 因此，图像420中激光束的照射范围与由图5中的照射范围520指示的图像部分对 应。即，图像420中预定位置处的像素是照射范围520中的预定位置处的像素。
[0053]在本实施例中，假设像素(Pxl，Pyl)、像素(Pxl，P y2)、像素(Pxl，Py3)和像素(Pxl，P y4) 与测量出距离的位置对应。因此，由激光雷达距离测量单元110测量出的距离可以与这些像 素关耳关。
[0054] 在图5中所示的图像420中，距离数据LD1与像素(Pxl，Pyl)关联，距离数据LD 2与像素 (Pxl，Py2 )关联，距离数据LD3与像素(Pxl，Py3 )关联，并且距离数据LD4与像素(Pxl，Py4 )关联。
[0055] 因为距离数据LD1-LD4与图像420 中的像素(Pxl，Pyl )、（Pxl，Py2 )、（Pxl，Py3)和(Pxl， Py4)关联，所以可以计算相对于图像420(参考图像）中这些像素与图像410(比较图像）中对 应于这些像素的像素的视差。具体地，可以基于距离数据LD 1W及立体相机之间的已知距离 计算图像410中的像素(Pxl，Pyl)的视差。类似地，可以基于距离数据LD 2以及立体相机之间的 已知距离计算图像410中的像素(Pxl，Py2)的视差，可以基于距离数据LD 3以及立体相机之间 的已知距离计算图像410中的像素(Pxl，Py3)的视差，以及可以基于距离数据LD 4和立体相机 之间的已知距离计算图像410中的像素 (P x i，P y 4)的视差。
[0056]接着，说明激光雷达距离测量模块110的功能配置。图6是示出激光雷达距离测量 模块110的功能配置的框图。
[0057]如图6中所示，在激光雷达距离测量模块110中，响应于从信号处理单元601接收到 指令，仰角方向扫描驱动单元602驱动马达603以在仰角方向上旋转仰角方向扫描镜604。由 此，可以在仰角方向上旋转仰角方向扫描镜604。
[0058]在激光雷达距离测量模块110中，响应于从信号处理单元601接收到指令，激光驱 动器609驱动激光输出单元608以输出激光束。此时，在时间间隔计数器607中临时存储输出 激光束的定时。由激光输出单元608输出的激光束由在仰角方向上旋转的仰角方向扫描镜 604反射到外部，以使得反射后的激光束的照射覆盖预定照射范围。
[0059]由激光雷达距离测量模块110输出的激光束被道路表面上的照射位置反射，并且 反射后的光束通过仰角方向扫描镜604由激光束接收单元605接收到。激光束接收单元605 包括在垂直方向上布置的多个光电检测器(PD)，反射后的光束由任一个光电检测器接收 到，并且接收到的束由相关光电检测器转换为电信号。
[0000]转换后的信号由信号放大器606放大并且来自信号放大器605的放大后的信号被 输入到时间间隔计数器607。时间间隔计数器607基于激光输出单元608输出激光束的定时 和激光束接收单元605接收反射后的光束的定时，计算时间间隔。
[0061]由时间间隔计数器607计算出的时间间隔由信号处理单元601转换为距离数据，并 且信号处理单元601向立体图像运算模块120发送指示距离数据的距离信息和指示接收定 时的接收定时信息。
[0062]接着，说明立体图像运算模块120的功能配置。图7是示出立体图像运算模块120的 功能配置的框图。
[0063]如图7中所示，立体图像运算模块120包括图像拾取单元710、图像拾取单元720和 视差运算单元730。视差运算单元730组成根据本实施例的信息处理装置。图像拾取单元710 和图像拾取单元720组成立体图像照相机。
[0064]在本实施例中，由图像拾取单元710拍摄的图像用作比较图像，并且由图像拾取单 元720拍摄的图像用作参考图像。
[0065] 视差运算单元730包括成本计算单元731、能量计算单元732和视差计算单元733。 下面，将说明组成视差运算单元730的成本计算单元731、能量计算单元732和视差计算单元 733中的每个。下面将说明的成本计算单元731、能量计算单元732和视差计算单元733可以 由一个或者多个专用电子电路实现。可替代地，单元731-733的功能可以由执行代表使得计 算机执行单元731-733的功能的计算机可读代码的程序的计算机(或者立体图像运算模块 120的处理器或者CPU)实现。
[0066]成本计算单元731执行成本计算处理。具体地，由成本计算单元731执行的成本计 算处理通过获取由图像拾取单元710拍摄的图像(比较图像)和由图像拾取单元720拍摄的 图像(参考图像），并且比较这两个图像，来计算组成图像（比较图像）的每个像素的成本C (p,d)〇
[0067]成本是当一个图像（比较图像)在水平向右/向左方向上偏移时两个图像（比较图 像和参考图像）中的一个（比较图像)与另一个图像(参考图像)一致性的程度的指标，这两 个图像组成立体图像。SAD(sum of absolute difference,绝对差之和)可以用作成本的示 例。然而，成本不限于SAD。例如，SSD(sum of squared differences，均方差之和）、NCC (normalized cross-correlation，归一化互关联)等也可以用作成本的另一示例。
[0068]图8和9是说明由成本计算单元731执行的成本计算处理的图。图8示出成本计算处 理计算SAD作为包括由图像拾取单元710拍摄的图像410和由图像拾取单元720拍摄的图像 420的立体图像中的注意到的像素 p = ( Px3，Py5)的成本的示例。
[0069]如图8中所示，图像410的拍摄位置与图像420的拍摄位置不同，并且即使从立体图 像的相同位置读取注意到的像素 P=(Px3，Py5)，立体图像中的两个像素不指向相同物体，而 是指向在水平向右/向左方向上相互偏离的不同位置。
[0070] 因此，图像420中的注意到的像素 P =(Px3，Py5)和图像410中的注意到的像素 P = (Px3，Py5)之间的辉度值之间的差(其等于块大小是Ixl个像素的情况下的SAD)比较大。
[0071] 这里，图像410(比较图像）中的注意到的像素 p朝右偏移一个像素，并且计算当视 差d = l时的SAD的值。具体地，计算图像420中的注意到的像素 p=(Px3，Py5)的辉度值和图像 410中的注意到的像素 p = (Px3+1，Py5)的辉度值之间的差值(SAD)。在图8的示例中，当视差d =1时，SAD的值比较大。
[0072] 类似地，视差改变为d = 2、3...，并且相应地计算对应SAD的值。在图8的示例中，当 视差d = 3时，图410中的注意到的像素 p =( Px3+3，Py 5)指向的物体变成与图像420中注意到的 像素 P = (PX3，Pys)指向的物体相同的物体。出于这个原因，当视差d = 3时的SAD的值小于当 视差d矣3时SAD的值。
[0073]图IOA示出图形(视差-SAD图形），该图形示出当水平轴表示视差d并且垂直轴表示 SAD时注意到的像素 p = (PX3，Py5)的SAD对视差d的变化。如图IOA所示，当视差d = 3时注意到 的像素口=忆3心5)的340的值是最小的，并且可以确定注意到的像素？=忆 3义5)的视差(1 等于3〇
[0074]另一方面，图9示出这样的示例，在该示例中，成本计算处理计算SAD作为包括由图 像拾取单元710拍摄的图像410和由图像拾取单元720拍摄的图像420的立体图像中注意到 的像素 P = (Ρχ4，Py6)的成本。
[0075]如图9中所示，图像410的拍摄位置与图像420的拍摄位置不同，并且即使从立体图 像的相同位置读取注意到的像素 P=(Px4，Py6)，立体图像中的两个像素也不指向相同物体， 而是指向在水平向右/向左方向上相互偏离的不同位置。
[0076]因此，图像420中的注意到的像素 P= (Px4，Py6)和图像410中的注意到的像素 P = (Px4，Py6)之间的辉度值的差(其等于块大小Ixl像素的情况下的SAD)比较大。
[0077]这里，类似于图8,图像410(比较图像）中的注意到的像素 P向右位移一个像素，并 且计算出当视差d=l时的SAD的值。具体地，计算图像420中的注意到的像素 p=(Px4，Py6)和 图像410中的注意到的像素 P= (Px4+1，Py6)的辉度值之间的差值(SAD)。在图9的示例中，同 样，当视差d = 1时，SAD的值比较大。
[0078]类似地，视差改变为d = 2、3...，并且相应地计算对应的SAD的值。在图9的示例中， 当视差d = 3时，图像410中注意到的像素 p =( PX4+3，Py6)所指向的物体变成与图像420中注意 至_像素 P=(Px4，Py6)所指向的物体相同的物体。在图9的示例中，然而，图像部分与道路表 面对应，并且图像部分的对应像素原始地具有平滑纹理。因此，对应像素的SAD的变化也小。 [0079]图IOB示出图形（视差SAD图形），该图形示出相对于注意到的像素 P= (Px4，Py6)的 视差的SAD的变化，其中，水平轴表示视差d并且垂直轴表示SAD。如图IOB中所示，注意到的 像素 P = (Px4，Py6)的SAD的变化对视差d的改变是小的，并且不能提取视差。
[0080] 由此，存在其视差不能由通过成本计算单元731执行的成本计算处理确定的像素， 并且视差运算单元730的能量计算单元732配置来执行能量计算处理，以允许视差被确定。
[0081] 能量计算单元732配置来执行能量计算处理，其通过使用密集匹配算法计算传播 参数Lr并且使用计算出的传播参数Lr计算注意到的像素 P的能量值S(P，d)。
[0082] 首先，先说明通过使用密集匹配算法计算传播参数Lr的能量计算处理中的处理。 图11是说明通过使用密集匹配算法计算传播参数Lr的处理的图。
[0083]图11中图示确定作为注意到的像素 P的像素1100的四个方向上的传播参数Lr的的 情况。具体地，关于作为注意到的像素 P的像素1100，确定箭头1111方向上的传播参数Li、箭 头1112方向上的传播参数L2、箭头1113方向上的传播参数L 3和箭头1114方向上的传播参数 L4。然而，对于像素1100确定传播参数的方向（r)不限于四个方向。例如，方向（r)可以是八 个方向或者两个方向。
[0084]如图11中所示，可以根据下面的公式确定箭头111 1方向上的传播参数Lr:
[0085] C(p.t/) + min{z,(/; - I.i/):L1 (/; - I,(6/ - ])+ P,,L^p -],<J -:-1)+ P.,minΙ^(ρ ?,/)+ Ρ·, i ? ?
[0086] 其中，P表示像素1100的坐标，并且d表示视差。
[0087] 以这样的方式，可以以视差(d-Ι)、视差d和视差(d+Ι)中的每个，使用像素1100的 成本C(p，d)和位于像素1100的左手侧并且离开像素1100-个像素的相邻像素的传播参数， 计算传播参数Li(p，d)。即，箭头111方向上的传播参数在从左向右的方向上顺序计算。以从 左向右计算传播参数的传播间隔不限于一个像素。可替代地，可以以视差(d-Ι)、视差d和视 差(d+Ι)使用像素1100的左手侧上并且离开像素1100 "a"个像素（"a" g2)的附近像素的传 播参数计算传播参数Li(p，d)。
[0088] 类似地，在从上到下的方向上顺序计算箭头1112方向上的传播参数L2，在从右到 左的方向上顺序计算箭头1113方向上的传播参数L 3,并且在从下到上的方向上顺序计算箭 头1114方向上的传播参数L4。
[0089] 接着，说明使用计算出的传播参数Lr计算注意到的像素 p的能量值S(p，d)的能量 计算处理中的处理。
[0090] 如上面描述，能量计算单元732配置来根据下面的公式，基于针对像素计算出的各 个方向上的所有传播参数计算每个像素的能量值S(p，d)。
[0091 ] S(p.ii)^^Lr(p,d)
[0092] 在图11的示例中，可以根据公式:5(口，(1)=]^1(口，(1)+1^(口，(1)+]^3(口，(1)+]^4(口，(1)计 算能量值S(p，d)。
[0093] 接着，说明密集匹配算法的示例，并且说明对从激光雷达距离测量模块110发送的 距离数据的密集匹配算法的应用。
[0094] 图12是示出从传播参数L1(Pj)确定传播参数LKp+lj)的密集匹配算法的示例的 图。在图12中，假设像素1220是图像420中的注意到的像素 p =(PX4，Py6)，像素1210是图像 410中的注意到的像素 P= (Px4，Py6)，并且像素1211-1214分别是像素1210的视差d等于1-4 时的像素。
[0095]这里，假设图像420中的像素1220是针对其由激光雷达距离测量模块110测量出到 达由该像素指示出的物体的距离数据的像素(并且距离数据与像素1220关联）。当测量出到 由像素1220指示的物体的距离时，可以使用图像拾取单元710和图像拾取单元720之间的已 知距离，计算与像素1220对应的图像410中的像素的视差。
[0096]在图12的示例中，假设与距离数据与其关联的像素1220对应的图像410中的像素 1210的视差d等于4(d = 4)。即，假设由图像410中的像素1214指示的位置与由距离数据与其 关联的图像420中的像素指示的位置相同。
[0097]在这种情况下，图像420中的像素1220的辉度值和图像410中的像素1214的辉度值 相同，并且像素1214的传播参数L1(Pj)等于0。
[0098] 当像素1214的传播参数LKp，4)等于0时，像素1213的传播参数LKp，3)设置为C(p， 3)+0。也就是，可以基于像素1213的辉度值和像素1220的辉度值之间的差值计算出像素 1213的传播参数Li(p，3)。
[0099] 类似地，像素1212的传播参数LKp，2)设置为C(p，2)+0,并且可以基于像素1212的 辉度值和像素1220的辉度值之间的差值计算出像素1212的传播参数L 1(PJ)13
[0100]类似地，也可以基于像素1211的辉度值和像素1220的辉度值之间的差值以及像素 1210的辉度值和像素1220的辉度值之间的差值，计算像素1211的传播参数L1(PJ)和像素 1210的传播参数L 1 (p，0)。即，基于图像410中的像素和图像420中的对应像素之间的相似 性，可以计算像素1210-1214的传播参数L 1(PW)-LKp, 4)。
[0101] 在计算出图像410中的像素1210-1214的传播参数L1(Pj)-LKp, 4)之后，可以计算 像素1223的传播参数Li(p+1，d)。
[0102] 具体地，根据公式Li(p+1，3) = C(p+l，3)+min{Li(p，3)，Li(p，2)+Pi，Li(p，4)+PiH+ 算传播参数Li(p+1，3)。在这个公式中，P 1是常数并且L1(Pd)=O,并且，如上面描述,LKp， 3)等于C(p，3)并且Li(p，2)等于C(p，2)。
[0103]通过重复相同的处理，可以确定像素1222、1221......的传播参数，并且由此可以 计算图像410中所有像素的传播参数。
[0104] 因此，能量计算单元732配置来基于从激光雷达距离测量模块110接收到的距离数 据，计算与图像420(参考图像）中的距离数据与其关联的像素对应的图像410(比较图像）中 的像素的视差d。另外，通过假设与距离数据与其关联的像素对应的像素的视差d的传播参 数1^(?，(1)等于0,能量计算单元732配置来通过使用传播参数L 1(Pj)作为开始点，顺序计算 与对应像素不同的像素的传播参数。
[0105] 以这样的方式，能量计算单元732使用与由激光雷达距离测量模块110测量出的距 离与其关联的参考图像中的像素对应的比较图像中的像素，作为当计算其他像素的传播参 数时的开始点。通过假设对应像素的视差d的传播参数等于0,可以增加使用作为开始点的 对应像素的视差d的传播参数顺序计算出的其他像素的传播参数的精度。因此，可以增加视 差计算的精度。
[0106] 接着，说明由能量计算单元732计算出的能量值S(p，d)和视差之间的关系。图13是 说明由能量计算单元732计算出的能量值和视差之间的关系的图。
[0107] 在图13中示出的示例中，对于在视差d = 0到10的范围内变化的视差分别计算四个 方向上的像素1301的传播参数LjIjL4。通过对于视差中的对应一个的四个方向上的传播参 数1^-1^4求和，计算各个视差的能量值S (p，0)-S (p，10)。
[0108] 在图13的下部分指示的视差能量图1311中，水平轴表示视差d，垂直轴表示能量值 S(p)，并且点绘对于像素1301计算出的能量值S(p，0)-S(p，10)。如视差-能量图1311中所 示，能量值S(p)在视差d的某一值急剧下降。
[0109] 如前面说明显而易见，在这个实施例中，对于具有光滑纹理(诸如道路表面之类） 的图像部分计算能量值S(P)，并且根据视差d的变化的能量值S(P)的变化可能足够大来增 加视差计算的精度。另一方面，在相关领域，对于具有光滑纹理(诸如道路表面之类)的图像 部分计算SAD，并且根据视差d的变化的SAD的变化可能太小以至于不能增加视差计算的精 度。因此，根据本实施例能够以足够的精度计算视差。
[0110] 也可以对应其他像素1302、1303......执行相同的处理，并且可以通过计算能量 值S(p)以足够的精度计算其他像素的视差。
[0111]接着，说明由能量计算单元732执行的能量计算处理的流程。图14是说明由能量计 算单元732执行的能量计算处理的流程图。
[0112]在成本计算单元731的成本计算处理的结束之后，能量计算单元732开始执行图14 中所示的能量计算处理。应当注意，对于立体图像的每个帧，基于逐帧重复执行图14所示的 能量计算处理，并且在图14的示例中，对于立体图像的一帧执行能量计算处理。
[0113]如图14中所示，在步骤S1401，能量计算单元732从激光雷达距离测量模块110读取 与要处理的立体图像的多个帧之一对应的距离数据。
[0114] 在步骤S1402,能量计算单元732标识距离数据与其关联的要处理的帧的参考图像 中的像素之中的像素。另外，在步骤S1402,能量计算单元732基于距离数据以及图像拾取单 元710和720之间的已知距离，计算与参考图像中的标识出的像素对应的比较图像中的像素 的视差d。
[0115] 在步骤S1403,能量计算单元732计算与距离数据与其关联的像素对应的比较图像 中的像素的视差d的传播参数。
[0116] 在步骤S1404,计数器r设置为1(计数器r=l表示四个方向上的传播参数之中的由 图11中的箭头1111指示出的方向上的传播参数）。
[0117] 在步骤S1405,能量计算单元732在假设在步骤S1403计算出的传播参数是开始点 的情况下，通过使用密集匹配算法计算"r"方向上的所有其他像素的传播参数L 1(Pj)13 [0118] 在步骤S1406,能量计算单元732确定计数器r是否大于或等于4(rg4)。当计数器r 小于4时(K4)，处理行进到计数器r递增(r = r+l)的步骤S1407,并且返回步骤S1405。在步 骤S1405,能量计算单元732在假设在步骤S1403计算出的传播参数是开始点的情况下，通过 使用密集匹配算法计算"r"方向上的所有其他像素的传播参数L 2(p，d)。
[0119] 类似地，由能量计算单元732计算传播参数L3(p，d)和L4(p，d)。当在步骤S1406确定 完成四个方向上的传播参数的计算时(r^4)，处理行进到步骤S1408。
[0120]在步骤S1408，能量计算单元732通过对视差中的对应一个的四个方向上的传播参 数1^(?，(1)-1^(?，(1)求和，针对各个视差计算每个像素的能量值5(?)。随后，能量计算单元 732基于计算出的能量值S(p)，生成视差-能量图形，如图13中所示。
[0121]接着，说明视差计算单元733。图15是说明由视差计算单元733执行的视差计算处 理的流程图。
[0122] 在由能量计算单元732的能量计算处理的结束之后，视差计算单元733开始执行视 差计算处理，如图15中所示。应当注意，对于立体图像的每个帧，基于逐帧重复执行图15所 示的能量计算处理，并且在图15的示例中，对于立体图像的一个帧中包括的比较图像执行 视差计算处理。
[0123] 如图15中所示，在步骤S1501，像素计数器p设置为1。在步骤S1502,读取比较图像 中的注意到的像素 P(由像素计数器P指示)的视差-能量图形。如上面描述，由能量计算单元 732计算比较图像中的每个像素的视差-能量图形，并且在步骤1502读取那些视差-能量图 形之中的注意到的像素 P的视差-能量图形。
[0124] 在步骤S1503,视差计算单元733计算在预定阈值之下的、读取出的视差-能量图形 中的最低点，并且从读取出的视差-能量图形提取最低点作为视差D(p)。在步骤S1504,视差 计算单元733确定是否对于要处理的帧中的所有像素提取视差D(p)。
[0125] 当在步骤S1504确定存在对于其没有提取视差D(p)的像素时，处理返回步骤 S1502〇
[0126] 另一方面，当在步骤S1504确定对于要处理的帧的所有像素提取视差D(p)时，视差 计算单元733在步骤S1505基于提取出的视差D(p)，生成和输出要处理的帧的视差图像。
[0127] 如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的 激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的 这些模块如下配置。
[0128] -激光雷达距离测量模块110配置来与由组成立体相机的图像拾取单元710和720 拍摄的立体图像同步，以使得可以测量预定照射的距离。
[0129] -立体图像运算模块120配置来将从激光雷达距离测量模块110读取出的距离数据 与对应立体图像(参考图像)的帧中的像素关联。
[0130]-立体图像运算模块120配置来基于距离数据和立体相机之间的已知距离，计算与 距离数据与其关联的参考图像中的像素对应的比较图像中的像素的视差。
[0131] -立体图像运算模块120配置来通过将与距离数据与其关联的参考图像中的像素 对应的比较图像中的像素的视差d的传播参数作为开始点，通过密集匹配算法顺序计算帧 中的其他像素的传播参数。
[0132] 以这样的方式，通过使用与由激光雷达距离测量模块110测量出的距离与其关联 的参考图像中的像素对应的比较图像中的像素的视差d的传播参数，作为当计算其他像素 的传播参数时的开始点，根据本实施例的视差运算系统100可以以良好的精度确定其他像 素的传播参数。因此，根据本实施例的视差运算系统能够通过使用比较图像中的像素的视 差d的传播参数作为开始点增加顺序计算出的其它像素的传播参数的精度。因此，根据本实 施例的视差运算系统100能够增加视差计算的精度。
[0133] 第二实施例
[0134] 在上面的第一实施例中，已经描述由能量计算单元732使用由激光雷达距离测量 模块110测量出的距离的情况。然而，本发明不限于这个实施例。例如，当执行视差计算处理 时可以由视差计算单元733使用由激光雷达距离测量模块110测量出的距离。
[0135] 接着，说明根据第二实施例的视差运算系统100。下面，将仅说明根据第二实施例 的视差运算系统100和根据第一实施例的视差运算系统100的区别。
[0136] 说明根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置。图 16是示出根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置的框图。
[0137] 图16中所示的根据本实施例的立体图像运算模块120与图7中所示的第一实施例 的不同之处在于从激光雷达距离测量模块110发送的距离信息被输入到视差计算单元733。 在根据本实施例的视差运算系统100中，激光雷达距离测量模块110包括转向方向扫描镜 (未示出），并且配置来当由图像拾取单元710和720拍摄立体图像时，通过使用转向方向扫 描镜围绕转向方向相对于车辆的前向方向改变激光束的照射方向。例如，可以以与车辆的 前向方向不同的三个照射角度围绕转向方向照射激光束。因此，在从激光雷达距离测量模 块110接收到的距离信息中包括与几个照射方向对应的两个或者更多距离信息项。
[0138] 说明由根据本实施例的视差运算系统100使用的激光束的照射位置和立体图像的 像素位置之间的关系。图17是说明根据本实施例的视差运算系统100中的激光束的照射位 置和立体图像的像素位置之间的关系的图。在根据本实施例的视差运算系统100中，激光雷 达距离测量模块110安装在立体图像运算模块120的立体相机之间，以使得激光雷达距离测 量模块110在转向方向上可旋转，并且在仰角发方向的预定照射范围中照射激光束。
[0139] 因此，如图17中所示，在几个照射角度上，图像420的预定位置处的像素与激光束 的照射位置对应。在图17中，附图标记1711-1713表示图像420中的激光束的照射范围。
[0140] 具体地，如图17中所示，像素（Pxll，Pyl)、像素（Pxl2，Py2)、像素（Pxl3，Py3)和像素 (P xl4，Py4)与测量照射范围1711的距离的位置对应。因此，这些像素与由激光雷达距离测量 模块Iio测量出的距离关联。
[0141] 在图420的示例中，距离数据LD11与像素 (Pxll，Pyl)关联，距离数据LD12与像素 (Pxl2， Py2)关联，距离数据LDl3与像素 (Pxl3，Py3)关联，并且距离数据LDl4与像素 (Pxl4，Py4)关联。
[0142] 类似地，像素(Px2，Py!)、像素(Px2，Py2)、像素(P x2，Py3)和像素(Px2，Py4)与测量照射 范围1712的距离的位置对应。因此，距离数据LD 21与像素(Px2，Pyl)关联，距离数据LD22与像素 (Px2，Py 2 )关联，距离数据LD23与像素(Px2，Py3 )关联，并且距离数据LD24与像素(Px2，Py4)关联。
[0143] 类似地，像素(Px31，Pyl)、像素(Px32，Py2)、像素(P x33，Py3)和像素(Px34，Py4)与测量照 射范围1713的距离的位置对应。因此，距离数据LD 31与像素(Px31，Pyl)关联，距离数据LD32与 像素(Px32，Py 2)关联，距离数据LD33与像素(Px33，Py3)关联，并且距离数据LDm与像素(Px34， Py4)关联。
[0144] 因为已知组成立体相机的图像拾取单元710和图像拾取单元720之间的距离，所以 可以分别基于距离数据LD11-LD 34正确地计算出距离数据与其关联的这些像素的视差。
[0145] 接着，说明由视差计算单元733执行的视差计算处理。图18是说明由视差计算单元 733执行的视差计算处理的图。具体地，图18示出包括与距离数据与其关联的图像420(参考 图像）中的像素对应的像素的图像410(比较图像）的图像部分。在图18中，假设阴影像素是 与距离数据与其关联的图像420中的像素对应的图像410中的像素。换言之，图18中的阴影 像素是已经基于距离数据计算出其视差的像素。
[0146] 另外，假设像素1801和像素1802是未由能量计算单元732提取其视差的像素。具体 地，假设由能量计算单元732计算出的这些像素的能量值S(p)，没有示出对于视差变化的大 变化，并且没有找到预定阈值之下的视差-能量图形中的最低点。
[0147] 视差计算单元733配置来使用已经基于距离数据计算出的视差内插这些像素1801 和1802的视差。换言之，使用对应像素的计算出的视差，内插与其视差已经基于距离数据计 算出的像素不同的像素的视差。
[0148] 例如，像素1801位于计算出其视差的像素(Px2，Py3)和像素(Px2，P y2)之间，其距离像 素(px2，py3)-个像素，并且距离像素（p x2，py2)两个像素。这里，假设d23表示基于距离数据 LD23计算出的像素(Px2，Py3)的视差，并且d22表示基于距离数据LD 22计算出的像素(Px2，Py2)的 视差。在这种情况下，视差计算单元733通过公式:像素1801的视差= d23x2/3+d22xl/3计算 像素1801的视差。
[0149] 此外，像素1802相邻于计算出其视差的像素(Px32，Py2)和像素(Px33，P y3)。这里，假 设d32表示基于距离数据D32计算出的像素(P x32，Py3)的视差，并且d33表示基于距离数据D33计 算出的像素(P x33，Py3)的视差。在这种情况下，视差计算单元733通过公式:像素1802的视差 = d32x3/4+d33xl/4计算像素1802的视差。
[0150]以这样的方式，视差计算单元733通过使用已经基于距离数据计算出的附近像素 的视差，计算未由能量计算单元732计算出的像素的视差。此外，当使用基于距离数据计算 出其视差的附近像素时，根据附近像素和未由能量计算单元732计算出其视差的像素之间 的距离的执行加权的视差计算。
[0151]这使得能够计算图像410的帧中的所有像素的视差。因此，能够增加视差计算的精 度。
[0152]接着，说明由视差计算单元733的视差计算的流程。图19是说明由视差计算单元 733执行的视差计算处理的流程图。
[0153]类似于上面描述的第一实施例，在能量计算单元732的能量计算处理之后，视差计 算单元733开始执行图19中所示的视差计算处理。应当注意，对于立体图像的每个帧，基于 逐帧重复执行图19中所示的视差计算处理，并且在图19的示例中，对立体图像的一个帧执 行视差计算处理。
[01 M] 如图19中所示，在步骤S1901，视差计算单元733读取由能量计算单元732计算出的 比较图像中的每个像素的视差。
[0155] 在步骤S1902，视差计算单兀7 33确定在步骤S1901读取其视差的像素之中是否存 在没有计算出其视差的像素。当在步骤S1902确定不存在其视差没有计算出的像素时，处理 行进到步骤S1907。
[0156] 另一方面，当在步骤S1902确定存在没有计算出其视差的像素时，处理行进到步骤 S1903。在步骤S1903,视差计算单元733读取在视差没有计算出的像素的附近并且已经基于 距离数据计算出其视差的附近像素。
[0157] 随后，在步骤S1904,视差计算单元733根据视差计算出的附近像素和视差没有计 算出的像素之间的距离，计算每个附近像素的加权因子。在步骤S1905,视差计算单元733通 过在步骤S1903读取的附近像素的视差和在步骤S1904计算出的加权因子的乘积和，计算其 视差没有由能量计算单元732计算出的像素的视差。
[0158]在步骤S1906,视差计算单元733确定是否计算出要处理的帧中的所有的像素的视 差。当在步骤S1906确定出存在其视差没有计算出的像素时，处理返回步骤S1903。
[0159]另一方面，当在步骤S1906确定计算出要处理的帧中的所有像素的视差时，处理行 进到步骤S1907。在步骤S1907,视差计算单元733基于要处理的帧中的所有像素的计算出的 视差，生成和输出视差图像。
[0160]如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的 激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的 模块如下配置。
[0161] -激光雷达距离测量模块110配置来与由组成立体相机的图像拾取单元710和720 拍摄的立体图像同步，以使得可以在转向方向上的几个照射角度测量预定照射范围。
[0162] -立体图像运算模块120配置来将从激光雷达距离测量模块110读取出的距离数据 与对应立体图像(参考图像)的帧中的像素关联。
[0163] -立体图像运算模块120配置来基于距离数据和立体相机之间的已知距离，计算与 距离数据与其关联的像素对应的比较图像中的像素的视差。
[0164] -立体图像运算模块120配置来当基于立体图像计算出视差的帧的像素中存在没 有计算出其视差的像素时，通过使用基于距离数据计算出其视差的附近像素，计算视差没 有计算出的像素的视差。
[0165] 以这样的方式，根据本实施例的视差运算系统100配置来使用基于由激光雷达距 离测量模块110测量出的距离计算出的视差，内插基于立体图像计算出的视差，并且根据本 实施例的视差运算系统100能够增加视差计算的精度。
[0166] 第三实施例
[0167] 在上面描述的第一实施例中，已经说明由能量计算单元732使用由激光雷达距离 测量模块Iio测量出的距离的情况，并且在上面描述的第二实施例中，说明由视差计算单元 733使用由激光雷达距离测量模块110测量出的距离的情况。
[0168] 然而，本发明不限于这些实施例。可替代地，可以通过将距离数据与其关联的参考 图像中的像素的辉度值和来自与参考图像中的像素对应的比较图像中的像素在视差d的位 置处的像素的辉度值，改变为预定辉度值，来处理立体图像。这是因为，可以通过处理立体 图像中具有平滑纹理的图像部分中的像素，便于视差计算。
[0169] 接着，说明根据第三实施例的视差运算系统。下面，将仅描述第三实施例与上面描 述的第一和第二实施例的区别。
[0170] 首先，说明根据本实施例的视差运算系统100中的立体图像运算模块120的功能配 置。图20是示出根据本实施例的视差运算系统100中的立体图像运算模块120的功能配置的 框图。
[0171] 图20中所示的根据本实施例的立体图像运算模块120与图7中所示的立体图像运 算模块120不同之处在于从激光雷达距离测量模块110发送的距离信息被输入到信息嵌入 单元2001。
[0172]信息嵌入单元2001配置来从由图像拾取单元720拍摄的图像420的像素中提取从 激光雷达距离测量模块110接收到的距离数据与其关联的像素。另外，信息嵌入单元2001配 置来从与图像420中提取出的像素对应的图像410中的像素中提取在视差d的位置的像素。
[0173] 此外，信息嵌入单元2001配置来将图像410中的提取出的像素的辉度值和图像420 中的提取出的像素的辉度值(两个提取出的像素相互对应并且指示相同物体)改变为预定 辉度值。具体地，信息嵌入单元2001配置来将那些初始辉度值改变为使得随后由能量计算 单元732计算的能量值S(p)的变化能够相对于视差的变化扩大的辉度值。即，初始辉度值改 变为与提取出的像素周围的像素的平均辉度值显著区别并且对于图像410和图像420完全 相同的辉度值。
[0174] 由此，即使在具有平滑纹理的图像部分的情况下，可以确定地执行提取出的像素 的视差的计算，并且能够增加视差计算的精度。
[0175] 接着，说明由信息嵌入单元2001执行的信息嵌入处理。图21A和21B是说明由信息 嵌入单元2001执行的信息嵌入处理的图。
[0176] 假设在图21A所示的图像420中，距离数据与在激光束的照射范围520内的像素 (Pxl，Pyl)、像素(Pxl，Py2)、像素(Pxl，Py3)和像素(Pxl，Py4)中的每个关联。
[0177] 这里，假设Cl1表示基于与像素(Pxl，Pyl)关联的距离数据UM+算出的视差，d 2表示 基于与像素(Pxl，Py2)关联的距离数据LD2计算出的视差，d 3表示基于与像素(pxl，py3)关联的 距离数据LD3计算出的视差，并且d 4表示基于与像素(Pxl，Py4)关联的距离数据LD4计算出的 视差。
[0178] 在这种情况下，指示与由图像420中像素(Pxl，Pyl)、（Pxl，P y2)、（Pxl，Py3)JP(Pxl， Py4 )指示的物体相同的物体的图像410中的像素如下。
[0179] -(Pxi ,Pyi)->(Pxi+di ,Pyi)
[0180] -(Pxl,Py2)->(Pxl+d2,Py2)
[0181] -(Pxl,Py3)->(Pxl+d3,Py3)
[0182] -(Pxl, Py4)_> (Pxl+d4 , Py4)
[0183] 信息嵌入单元2001配置来将图像410中的提取出的像素的初始辉度值和图像420 中的提取出的像素的辉度值(两个提取出的像素相互对应并且指示相同物体），改变为与提 取出的像素周围的像素的平均辉度值显著不同并且对于图像410和图像420完全相同的第 二辉度值。
[0184] 图21B示出通过信息嵌入单元2001将指示相同位置的像素的初始辉度值改变为第 二辉度值的状态。具体地，在图21B中，图像410中的像素(P xl+cU，Pyl)和图像420中的像素 (Pxi，Pyi)的辉度值改变为gi，图像410中的像素(P xl+d2，Py2)和图像420中的像素(Pxl，P y2)的 辉度值改变为g2，图像410中的像素(Pxl+d3，P y3)和图像420中的像素(Pxl，Py3)的辉度值改变 为g 3,并且图像410中的像素(Pxl+d4，Py4)和图像420中的像素(P xl，Py4)的辉度值改变为g4。 [0185]假设辉度值gl、g2、g3和g4与周围像素的平均辉度值显著不同。以这样的方式，可以 通过基于从激光雷达距离测量模块110接收到的距离信息标识指示立体图像中的相同物体 的像素并且改变标识出的像素的初始辉度值，确定地执行能量计算单元732的视差的计算。 因此，能够增加视差计算的精度。
[0186] 接着，说明由信息嵌入单元2001执行的信息嵌入处理的流程。图22是说明由信息 嵌入单元2001执行的信息嵌入处理的流程图。一旦开始由图像拾取单元710和图像拾取单 元720的拍摄，信息嵌入单元2001就开始执行图22中所示的信息嵌入处理。应当注意，对于 立体图像的每个帧，基于逐帧重复执行图22中所示的信息嵌入处理，并且在图22的示例中， 对立体图像的一个帧执行信息嵌入处理。
[0187] 如图22中所示，在步骤S2201，信息嵌入单元2001读取由图像拾取单元710拍摄的 图像和由图像拾取单元720拍摄的图像。在步骤S2202,信息嵌入单元2001读取与在步骤 S2201读取图像同步地测量出的距离。
[0188] 在步骤S2203,信息嵌入单元2001基于在步骤S2202读取的距离数据标识在步骤 S2201读取的每个图像中指示相同物体的像素。
[0189] 在步骤S2204,信息嵌入单元2001以上面描述的方式分别改变在步骤S2203标识出 的像素的辉度值。在步骤S2205,信息嵌入单元2001向成本计算单元731输出在步骤S2204改 变标识出的像素的辉度值的图像。
[0190]如前面描述，根据本实施例的视差运算系统100包括通过使用激光束测量距离的 激光雷达距离测量模块110和计算视差图像的立体图像运算模块120。视差运算系统100的 这些模块如下配置。
[0191] -立体图像运算模块120(或者信息嵌入单元2001)配置来基于从激光雷达距离测 量模块110读取的距离数据，从每个立体图像的帧中包括的像素之中标识指示相同物体的 像素。
[0192] -立体图像运算模块120(或者信息嵌入单元2001)配置来将基于距离数据标识出 的像素的初始辉度值改变为与提取出的像素周围的像素的平均辉度值显著不同并且对于 比较图像和参考图像完全相同的第二辉度值。将初始辉度值改变为粗糙纹理的方向上的第 二辉度值。
[0193] 以这样的方式，根据本实施例的视差运算系统100配置来基于从激光雷达距离测 量模块110读取出的距离数据，改变每个立体图像的帧中的像素的辉度值，这可以有助于能 量计算单元732的视差的提取。因此，能够增加视差计算的精度。
[0194] 第四实施例
[0195] 在前面的实施例中，已经描述由图像拾取单元710拍摄的图像和由图像拾取单元 720拍摄的图像直接输入到视差运算单元730的情况。然而，本发明不限于这样的实施例。图 23是示出立体图像运算模块120的另一功能配置的图。如图23中所示，可以在视差运算单元 730前面布置预处理单元2301和预处理单元2302。即，在对由图像拾取单元720拍摄的图像 和由图像拾取单元710拍摄的图像执行预处理之后，预处理后的图像可以输入到视差运算 单元730。
[0196] 由预处理单元2301和2302执行的预处理可以包括噪声消除处理、失真校正处理、 伽玛转换处理等。通过执行预处理，能够增加视差计算的精度。
[0197] 第五实施例
[0198] 在前面的实施例中，在照射范围中的四个测量点处由激光雷达距离测量模块110 测量距离数据。然而，本发明不限于这些实施例。根据本发明的视差运算系统在照射范围中 的一个或者多个测量点处测量距离数据是足够的。
[0199] 在上面的第一实施例中，通过能量计算单元732,用作传播参数的计算的开始点的 像素的数目是一个。然而，本发明不限于这个实施例。用作传播参数的计算的开始点的像素 的数目可以是两个或者更多。
[0200] 在上面的第一实施例中，当计算成本时由能量计算单元732使用的块大小设置为 Ixl个像素。然而，本发明不限于这个实施例。当计算成本时由能量计算单元732使用的块大 小可以是两个或者更多像素。
[0201] 在上面的第一实施例中，（由整数单元)逐像素执行从视差-能量图形的视差的提 取。然而，本发明不限于这个实施例。可以由分数单元执行从视差-能量图形的视差的提取。
[0202] 在上面的第一实施例中，当生成视差-能量图形时，在范围p = 0-10中变化视差p。 然而，本发明不限于这个实施例。可以在更宽的范围或者更窄的范围中变化视差。
[0203]在上面的第一实施例中，与由激光雷达距离测量模块110测量出的距离与其关联 的参考图像中的像素对应的比较图像中的像素的视差d的传播参数被用作传播参数的计算 的开始点。然而，本发明不限于这个实施例。可替代地，视差d可以包括在另一方法的密集匹 配算法中。
[0204]在上面的第二实施例中，激光雷达距离测量模块配置来在转向方向上的三个照射 角度照射激光束。然而，本发明可以不限于这个实施例。激光束可以在转向方向上的两个照 射角度或者转向方向上的四个或者更多照射角度照射。
[0205]在前面的实施例中，激光雷达距离测量模块110被配置，以使得激光束的照射方向 可以在仰角方向上旋转。然而，本发明不限于这个示例。激光雷达距离测量模块110也可以 配置来在不需要旋转激光束的照射方向的情况下，照射多个激光束。此外，在上面的第五实 施例中，也可以使用利用单个固定激光束的配置。
[0206] 在前面的实施例中，视差计算的精度的增加描述为针对立体图像运算模块120的 视差图像的产生使用由激光雷达距离测量模块110测量出的距离的有利效果。本发明的有 利效果不限于实施例。例如，由于增加视差计算的精度而增加道路表面上的物体的识别率 的效果，可以包括在本发明的有利效果中。
[0207] 在前面的实施例中，基于从激光雷达距离测量模块110照射的激光束的反射后的 激光束，获取指示到激光束的照射位置的距离的距离信息。然而，本发明不限于实施例。可 以基于从与激光雷达距离测量模块110不同的电磁波距离测量模块照射的电磁波的反射后 的波，获取指示到照射位置的距离的距离信息。
[0208] 根据本发明的图像处理装置和视差运算系统不限于上面描述的实施例，并且可以 在不脱离本发明的范围的情况下，作出各种变型和修改。
[0209] 本申请基于并且要求2013年12月26日提交的日本专利申请第2013-268506和2014 年12月19日提交的日本专利申请第2014-256864的优先权的权益，其全部内容通过引用的 方式并入本文。
[0210] 附图标记的描述
[0211] 100视差运算系统
[0212] 110激光雷达距离测量模块
[0213] 120立体图像运算模块
[0214] 200 车辆
[0215] 410 图像
[0216] 420 图像
[0217] 520照射范围
[0218] 601信号处理单元
[0219] 602仰角方向扫描驱动单元
[0220] 603 马达
[0221] 604仰角方向扫描镜
[0222] 605激光束接收单元
[0223] 606信号放大器
[0224] 607时间间隔计数器
[0225] 608激光输出单元
[0226] 609激光驱动器
[0227] 710图像拾取单元
[0228] 720图像拾取单元
[0229] 730视差运算单元
[0230] 731成本计算单元
[0231] 732能量计算单元
[0232] 733视差计算单元
[0233] 1210-1214 像素
[0234] 1220 像素
[0235] 1711照射范围
[0236] 1712照射范围
[0237] 1713照射范围
[0238] 1801 像素
[0239] 1802 像素
[0240] 2001信息嵌入单元
[0241 ] 2301预处理单元
[0242] 2302预处理单元
[0243] 现有技术文件
[0244][专利文献]
[0245] [专利文献1 ]日本专利第3，212，218
[0246] [专利文献2]日本专利第4,265,931
【主权项】
1. 一种信息处理装置，其基于由多个图像拾取单元拍摄的图像生成视差图像，信息处 理装置包括： 处理器；以及 存储器，其存储计算机可读代码，当计算机可读代码由所述处理器执行时使得处理器 充当 关联单元，配置来将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置 的距离的距离信息与组成图像的第一图像中的第一像素关联，距离信息基于所述电磁波的 反射后的波获得并且所述第一像素与所述电磁波的照射位置对应;以及 生成单元，配置来通过使用与所述第一像素关联的所述距离信息生成视差图像，用于 组成图像的第二图像中的像素的视差计算。2. 如权利要求1所述的信息处理装置，其中，所述生成单元配置为基于与所述第一像素 关联的所述距离信息和多个像素拾取单元之间的已知距离，计算与所述第一图像中的所述 第一像素对应的所述第二图像中的像素之中的第二像素的视差。3. 如权利要求2所述的信息处理装置，其中，所述生成单元配置来基于所述第一图像中 的像素和所述第二图像中的像素的相似性，通过使用密集匹配算法顺序计算所述第二图像 中的像素的传播参数，根据与所述第一图像中的对应像素的偏移量计算所述第二图像中的 像素的能量值，并且根据所述偏离量的变化基于所述第二图像中的计算出的像素的能量值 的变化，计算所述第二图像中的像素的视差。4. 如权利要求3所述的信息处理装置，其中，所述生成单元配置来包括密集匹配算法中 的所述第二像素的视差，并且顺序计算所述传播参数。5. 如权利要求3所述的信息处理装置，其中，所述生成单元配置来基于与所述第一像素 关联的距离信息和多个图像拾取单元之间的已知距离计算所述第二图像中的像素的视差， 并且配置为当存在其视差没有基于根据所述偏离量的变化对于所述第二图像中的像素计 算出的能量值的变化而计算出的像素时，通过使用基于与所述第一像素关联的距离信息计 算出的所述第二像素的视差，内插视差没有计算出的像素的视差。6. 如权利要求2所述的信息处理装置，其中，所述生成单元配置来将所述第一图像中的 所述第一像素的辉度值和在根据所述第二图像中的所述第二像素的视差的位置处的所述 第二图像中的像素的辉度值，改变为第二辉度值，并且处理所述第一像素的辉度值和该像 素的辉度值改变为第二辉度值之后的图像。7. -种视差运算系统，包括多个图像拾取单元、电磁波距离测量单元和信息处理装置， 所述信息处理装置包括存储计算机可读取代码的存储器，当计算机可读代码由处理器执行 时将处理器配置为： 获取单元，配置来获取由多个图像拾取单元拍摄的图像； 关联单元，配置来将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置 的距离与组成图像的第一图像中的第一像素关联，所述距离信息基于所述电磁波的反射后 的波获得并且所述第一像素与所述电磁波的照射位置对应;以及 生成单元，配置来通过使用与所述第一像素关联的所述距离信息生成视差图像，用于 组成图像的第二图像中的像素的视差计算。8. 如权利要求7所述的视差运算系统，其中，所述电磁波距离测量单元配置来照射电磁 波，以使得所述电磁波的照射范围设置在由多个图像拾取单元拍摄的图像中包括的道路表 面部分中。9. 如权利要求7或8所述的视差运算系统，其中，所述电磁波距离测量单元配置为当由 多个图像拾取单元拍摄图像时，通过改变所述电磁波的照射方向接收多个距离信息项。10. -种在视差运算系统中使用的信息处理方法，所述视差运算系统包括多个图像拾 取单元、电磁波距离测量单元和信息处理装置，该方法包括： 获取由多个图像拾取单元拍摄的图像； 将指示到多个图像拾取单元的拍摄方向上照射的电磁波的照射位置的距离与组成图 像的第一图像中的第一像素关联，所述距离信息基于所述电磁波的反射后的波获得并且所 述第一像素与所述电磁波的照射位置对应;以及 通过使用与所述第一像素关联的所述距离信息生成视差图像，用于组成图像的第二图 像中的像素的视差计算。11. 一种非临时计算机可读记录介质，存储计算机可读代码的程序，当计算机可读代码 由计算机执行时，使得计算机执行权利要求10所述的信息处理方法。
【文档编号】G01C3/06GK105849504SQ201480070211
【公开日】2016年8月10日
【申请日】2014年12月22日
【发明人】关口洋义, 横田聪郎, 横田聪一郎, 铃木修, 铃木修一, 青木伸, 关海克, 吉田淳, 中岛充, 藤本英臣
【申请人】株式会社理光