距离测量装置和视差计算系统的制作方法

距离测量装置和视差计算系统的制作方法
【专利摘要】距离测量装置包括，多个图像采集部件；第一距离信息获取部件，从由多个图像采集部件采集的采集图像获取物体的距离信息以用于距离测量；电磁波发射部件，发射电磁波；反射波接收部件，接收从所述电磁波发射部分发射的电磁波的反射波；以及第二距离信息获取部件，从由所述反射波接收部件接收的反射波获取所述物体的距离信息以用于距离测量，其中在所述多个图像采集部件的光轴之下执行用从所述电磁波发射部件发射的电磁波的照射。
【专利说明】
距离测量装置和视差计算系统
技术领域
[0001] 本发明的方面涉及距离测量装置和视差计算系统的至少一个。
【背景技术】
[0002] 传统上已知距离测量技术，其中对包含在采集图像(立体图像）中的物体执行视差 计算，该采集图像(立体图像)通过使用诸如立体相机的多个图像采集部件采集，使得计算 这样的物体的距离(见，例如，日本专利申请公开号2000-329852)。
[0003] 但是，由于在上述距离测量技术的情况中在横向方向中的重复的图案被包含在将 经受视差计算的立体图像中，因此，提供了一种特征，使得在视差计算中的误差出现的频率 增加。

【发明内容】

[0004] 根据本发明的一个方面，提供了一种距离测量装置，包括多个图像采集部件;第一 距离信息获取部件，从由多个图像采集部件采集的采集图像获取物体的距离信息以用于距 离测量；电磁波发射部件，发射电磁波;反射波接收部件，接收从所述电磁波发射部分发射 的电磁波的反射波；以及第二距离信息获取部件，从由所述反射波接收部件接收的反射波 获取所述物体的距离信息以用于距离测量，其中在所述多个图像采集部件的光轴之下执行 用从所述电磁波发射部件发射的电磁波的照射。
[0005] 根据本发明的另一方面，提供了一种视差计算系统，基于由多个图像采集部件采 集的采集图像执行视差计算，该视差计算系统包括测量部件，用电磁波照射通过采集位于 用于所述多个图像采集部件的图像采集方向中的道路表面的图像而在采集图像中作为呈 现为道路图像的照射物体的区域，并且从所述区域接收反射波；以及判定部件，基于在所述 测量部件中的接收的结果判定在所述照射物体中的道路标记的存在或者不存在，其中执行 取决于由判定部件判定的结果的所述视差计算。
【附图说明】
[0006] 图1是示出根据实施例的视差计算系统的配置的示意图。
[0007] 图2是示出根据实施例的视差计算系统的硬件配置的示意图。
[0008] 图3是示出组成视差计算系统的图像处理部件的硬件配置的示意图。
[0009] 图4是示出组成视差计算系统的激光信号处理部件的硬件配置的示意图。
[0010]图5是示出根据第一实施例的由组成视差计算系统的立体相机部件采集的范围图 像以及用来自激光光线投射和接收部件的激光光线照射的范围的示意图。
[0011] 图6是示出在由立体相机部分采集的采集图像中的用激光光线照射的范围（道路 图像上的照射的范围）的示意图。
[0012] 图7是示出在由立体相机部分采集的采集图像中的用激光光线照射的范围（道路 图像上的照射的范围）的示意图。
[0013] 图8是示出在并行的计算系统中的视差计算过程的流程的流程图。
[0014] 图9是示出激光雷达距离测量部件中的道路测量过程的流程的流程图。
[0015]图10A和图10B是示出在道路测量过程时在激光雷达距离测量部件中将被处理的 每个信号的示意图。
[0016] 图11是示出根据第一实施例的组成视差计算系统的图像处理部件中的立体图像 过程的内容的示意图。
[0017] 图12A和图12B是示出在立体图像过程中设置的视差探测范围的示意图。
[0018] 图13是示出根据第二实施例的由组成视差计算系统的立体相机部件采集的范围 图像以及用来自激光光线投射和接收部件的激光光线照射的范围的示意图。
[0019] 图14是示出在由立体相机部分采集的采集图像中用激光光线照射的范围（道路图 像上的照射的范围）的示意图。
[0020]图15是示出根据第三实施例的由组成视差计算系统的立体相机部件采集的范围 图像以及用来自激光光线投射和接收部件的激光光线照射的范围的示意图。
[0021]图16是示出在由立体相机部分采集的采集图像中用激光光线照射的范围（道路图 像上的照射的范围）的示意图。
[0022]图17A和图17B是示出根据第四实施例的在组成视差计算系统的激光雷达距离测 量部件中在道路测量过程时将被处理的每个信号的示意图。
[0023]图18A和图18B是示出根据第五实施例的在组成视差计算系统的激光雷达距离测 量部件中在道路测量过程时将被处理的每个信号的示意图。
[0024]图19是示出根据第六实施例的在组成视差计算系统的激光雷达距离测量部件中 在道路测量过程时将被处理的每个信号的示意图。
[0025]图20是示出根据第七实施例的组成视差计算系统的激光雷达距离测量部件中的 道路标记存在或者不存在判定过程的流程的流程图。
[0026] 图21是示出根据第七实施例的在组成视差计算系统的激光雷达距离测量部件中 在道路测量过程时将被处理的每个信号的示意图。
[0027] 图22是示出根据第八实施例的组成视差计算系统的激光雷达距离测量部件中的 道路标记存在或者不存在判定过程的流程的流程图。
[0028]图23是示出根据第八实施例的在组成视差计算系统的激光雷达距离测量部件中 在道路测量过程时将被处理的每个信号的示意图。
【具体实施方式】
[0029] 将在下面参考附图描述本发明的实施例。这里，在本公开和附图中，具有基本上相 同的功能性配置的组件将被提供相同的参考标号或字母以省略冗余的(一个或多个)说明。
[0030] [第一实施例]
[0031] 第一实施例主要解决在横向方向中的重复的图案被包含在道路上的情况中、在视 差计算中的误差存在的频率增加的问题。
[0032] 对于横向方向中的重复的图案被包含在道路上的情况，例如可以提供包含人行横 道的道路标记的情况。人行横道的道路标记通常是白色的，并且用良好地反射光线的涂料 画出以便于增强可见性，并且认为在执行视差计算的情况中、增加误差存在的频率的倾向 特别地高。将在下面描述第一实施例，其中人行横道的道路标记被提供作为示例。
[0033] 〈1.视差计算系统的整体配置〉
[0034] 首先，将描述根据本实施例的视差计算系统的整体配置。图1是示出根据本实施例 的视差计算系统100的配置的示意图。如图1所示，视差计算系统100被提供有立体相机部件 110、激光雷达距离测量部件120和图像处理部件130。
[0035] 立体相机部件110被提供有单目镜的相机部分（图像采集部分）111和单目镜的相 机部分（图像采集部分）112,并且单目镜相机部件111和112的每一个在预定的帧周期执行 图像采集，并且将采集图像发送到图像处理部件130。
[0036]激光雷达距离测量部件120被提供有激光光线投射和接收部件121和激光信号处 理部件122。激光光线投射和接收部件121发射导向在与立体相机部件110的图像采集方向 相同的方向中的激光光线，并且接收从其反射光线以输出激光光线接收信号。激光信号处 理部件122基于从激光光线投射和接收部件121输出的激光光线接收信号，判定道路上提供 的道路标记的存在或者不存在。此外，判定的结果被发送到图像处理部件130。
[0037]图像处理部件130使用从立体相机部件110发送的采集图像来执行视差计算并且 产生视差图像。这里，图像处理部件130使用从激光雷达距离测量部件120发送的判定的结 果来执行视差计算。就是说，图像处理部件130被配置为取决于道路标记的存在或者不存在 (其中将在之后对其详细描述)执行视差计算。
[0038]因此，在根据本实施例的视差计算系统100中，激光雷达距离测量部件120判定作 为视差计算中的误差的出现的因素的道路标记的存在或者不存在，并且图像处理部件130 取决于道路标记的存在或者不存在执行视差计算。因此，根据本实施例可以减少视差计算 中的误差的出现的频率。
[0039] 〈2.视差计算系统的硬件配置〉
[0040]接着，将描述视差计算系统100的硬件配置。图2是示出视差计算系统100的硬件配 置的示意图。
[0041 ]如图2中所示，视差计算系统100具有相机支柱(stay)230和控制板包含部件240。 [0042]单目镜相机部件111和112以及激光光线投射和接收部件121整体地安装在相机支 柱230上。因此，可以最小化并且减少视差计算系统100的成本。
[0043]激光信号处理部件122和图像处理部件130被包含在控制板包含部件240中。激光 信号处理部件122被配置为与激光光线投射和接收部件121分开，并且因此，可以减小激光 光线投射和接收部件121的尺寸。因此，根据本实施例可以将激光光线投射和接收部件121 布置在单目镜相机部件111和单目镜相机部件112之间。
[0044]这里，尽管激光信号处理部件122和图像处理部件130在图2的示例中被配置为分 开的电路板，但是激光信号处理部件122和图像处理部件130可以由共同的电路板配置。这 是因为电路板的数量减少并且从而可以获得成本的减少。
[0045]如图2中所示，单目镜相机部件111被提供有相机透镜201、图像采集元件202和传 感器板203。在入射到相机透镜201上的外部光由图像采集元件202接收，并且在预定的帧周 期被光电转换之后，关于每一个帧的采集图像在传感器板203中产生。产生的采集图像被顺 序地发送到图像处理部件130。
[0046]这里，单目镜相机部件112也具有与单目镜相机部件111类似的配置，并且用单目 镜相机部件111同时产生的采集图像被顺序地发送到图像处理部件130。图像处理部件130 使用从单目镜相机部件111和112发送的采集图像来执行视差计算，并且产生视差图像。
[0047] 激光光线投射和接收部件121被提供有光源驱动电路221、激光光线源222和光投 射透镜223。光源驱动电路221根据来自激光信号处理部件122的指令操作，并且将调制的电 流(光源光线发射信号)施加到激光光线源222。因此，激光光线源222发射激光光线。从激光 光线222发射的激光光线通过光投射透镜223去往外部。
[0048] 这里，在本实施例中，红外线的半导体激光二极管(LD)被用于激光光线源222,并 且发射具有8〇〇 nm-950nm的波长的近红外线光以用于激光光线。此外，以取决于由光源驱动 电路221施加的调制的电流(光源光线发射信号)周期地发射具有脉冲式波形的激光光线的 方式来控制激光光线源222。这里，以周期性地发射具有几纳秒到几百纳秒的小脉冲宽度的 脉冲式激光光线的方式来控制在本实施例中的激光光线源222。
[0049] 从激光光线源222发射的脉冲式激光光线通过光投射透镜223提供具有预定的扩 散角的光束，该光束作为投射束被发射到外部，并且之后，照射预定的位置(预定的照射物 体）。但是，由投射透镜223准直(collimate)从激光光线源222发射的激光光线以提供近似 准直的光线，并且因此，可以在照射的位置处提供照射范围作为预置的微观的表面区域。
[0050] 激光光线投射和接收部件121还被提供有光线接收透镜224、光线接收元件225和 接收的光线信号放大电路226。在统一的方向中散射照射预定的位置的激光光线，并且仅将 穿过并且被反射在与从激光光线投射和接收部件121发射的激光光线相同的光路径上的光 分量作为反射光线通过激光光线投射和接收部件121的光线接收透镜224引入到光线接收 元件225中。
[0051] 这里，在本实施例中，硅PIN光电二极管或雪崩光电二极管被用于光线接收元件 225。光线接收元件225将反射光线光电转换以产生激光光线接收信号，并且光线接收信号 放大电路226放大、并且之后将产生的激光光线接收信号发送到激光信号处理部件122。激 光信号处理部件122基于从激光光线投射和接收部件121发射的激光光线接收信号判定道 路上提供的道路标记的存在或者不存在。此外，判定的结果被发送到图像处理部件130。 [0052] 〈3.图像处理部分的配置〉
[0053]接着，将描述图像处理部件130的配置。如上所示，图像处理部件130产生视差图 像。这里，产生的视差图像例如被用于计算在采集图像中包含的每个物体的距离。
[0054]然后，将在下面首先并且简要描述，基于由图像处理部件130产生的视差图像计算 在采集图像中包含的每个物体的距离的距离测量技术(立体的距离测量技术)的总结，以用 于解释图像处理部件130的配置。
[0055] 〈3.1立体的距离测量技术的总结〉
[0056] 一般来说，在立体的距离测量技术中，获得从布置在左边和右边的两个单目镜相 机部件发送的一对采集图像的相关性(相似性）以采样相同点，并且关于采样的相同点计算 视差来根据三角测量的方式计算这样的相同点的距离。
[0057]具体地，从一对采集图像采样具有呈现的相同的物体的一部分，从两个单目镜相 机部件发送该一对采集图像。在两个单目镜相机部件被放置在左边和右边的情况中，在一 对采集图像中的呈现的相同的物体的位置被向左边和右边移位。然后，而在预定的范围（视 差探测范围）中在左和右的方向中逐个像素地将一个采集图像从另一个采集图像移动的情 况下，获得最佳重叠(相似性)的位置以便于提供在一对采集图像中的这样的相同的物体中 的相应的相同点。然后，计算相应的相同点(视差)之间的移位的量，并且从与两个单目镜相 机部件的光轴之间的距离的关系计算这样的相同点的距离。
[0058]这里，可以根据以下公式计算相同的物体中的相同点距离Z:
[0060] 其中η是这里移动的像素的数量，f是单目镜的相机的部分的相机透镜的焦距，B是 基线的长度(单目镜的相机的光轴之间的距离），并且d是像素的间距。这里，公式1的分母(η X d)是视差。
[0061] 〈3.2执行视差计算以用于实现立体的距离测量技术的图像处理部件的配置〉 [0062]接着，将描述如上所示执行视差计算以用于实现立体的距离测量技术的图像处理 部件130的配置。图3是示出如上所示执行视差计算以用于实现立体的距离测量技术的图像 处理部件130的配置的示意图。
[0063] 如图3中所示，图像处理部件130被提供有中央处理器(CPU)301、随机存取存储器 (RAM)302、储存装置303和输入和输出部件304。这里，图像处理部件130的各个部件通过总 线305共同连接。
[0064] CPU 301是执行储存在储存装置303中的程序（用于用作立体图像处理装置310的 程序）的计算机。CPU 301执行这样的程序，并且因此，图像处理部件130校正从立体相机部 件110发送的采集图像，并且基于校正的采集图像执行视差计算以产生视差图像。
[0065] RAM 302是主储存装置--诸如动态随机存取存储器(DRAM)或静态随机存取存储 器(SRAM) JAM 302用作在储存在储存装置303中的程序由CPU 301执行的情况中开发的工 作区域。
[0066] 储存装置303是存储器--诸如EPROM或EEPR0M，并且储存用于将CPU 301用作立 体图像处理部件310的程序。立体图像处理部件310还具有图像校正部件311和视差图像产 生部件312。
[0067]图像校正部件311将每种校正过程一一诸如伽马（gamma)校正或失真校正施加到 从传感器板203或213发送的采集图像。
[0068]视差图像产生部件312提供由图像校正部件311校正的采集图像中的视差探测范 围中的相应的相同点以计算视差。然后，为在采集图像中的每个像素计算视差以产生视差 图像。这里，视差图像产生部件312基于从激光信号处理部件122输出的判定的结果来改变 用于计算视差的视差探测范围。
[0069]输入和输出部件304是用于与传感器板203或213或者激光信号处理部件122通信 的接口部件。
[0070] 〈4.激光信号处理部分的配置〉
[0071]接着，将描述激光信号处理部件122的配置。图4是示出激光信号处理部件122的配 置的示意图。
[0072]如图4中所示，激光信号处理部件122被提供有中央处理器(CPU)401、随机存取存 储器(RAM)402、储存装置403和输入和输出部件404。这里，图像处理部件130的各个部件通 过总线405共同连接。
[0073] CPU 401是执行储存在储存装置403中的每个程序（用于用作道路测量部件410的 程序）的计算机。CPU 401执行这样的程序，并且因此，激光信号处理部件122控制由激光光 线投射和接收部件121的脉冲式激光光线的光线投射或接收，并且基于在激光光线投射和 接收部件121中产生的激光光线接收信号来判定道路标记的存在或者不存在。
[0074] RAM 402是主储存装置--诸如动态随机存取存储器(DRAM)或静态随机存取存储 器(SRAM) JAM 402用作在储存在储存装置403中的程序由CPU 401执行的情况中开发的工 作区域。
[0075] 储存装置403是存储器--诸如EPROM或EEPR0M，并且储存用于使得CPU 401用作 道路测量部件410的程序。
[0076]道路测量部件410提供具有用于脉冲式激光光线的发射的指令的光源驱动电路 221，并且从接收的光线信号放大电路226获取激光光线接收信号。此外，基于获取的激光光 线接收信号的强度提供关于在用激光光线照射的位置处的道路标记的存在或者不存在的 判定。此外，判定的结果被发送到图像处理部件130。
[0077]输入和输出部件404是用于与光源驱动电路221、接收的光线信号简化电路226和 图像处理部件130通信的接口部件。
[0078] 〈5.用于视差计算系统的布置方法和设置方法〉
[0079] 接着，将描述用于视差计算系统100的布置方法和用于立体相机部件110的设置方 法和组成视差计算系统100的激光光线接收部件121。
[0080] 图5是示出用于视差计算系统100的布置方法和用于立体相机部件110的设置方法 以及激光光线投射和接收部件121的示意图。在这些之中，图5(A)示出了以具有视差计算系 统100安装在其上的车辆501相对于其移动的方向的一侧观察的方式的情况，并且图5(B)示 出了以具有视差计算系统100安装在其上的车辆501相对于其移动的方向从顶部观察的方 式的情况。将在下面参考图5描述用于视差计算系统100的布置方法和用于立体相机部件 110的设置方法和激光光线投射和接收部件121。
[0081] 〈5.1用于视差计算系统(位置和方向）的布置方法〉
[0082] 如图5(A)所示，视差计算系统100被放置在靠近其挡风玻璃的车辆501的天花板部 件上（从道路530的高度Η处的位置）。此外，如图5(B)所示，在关于车辆501的宽度的大致中 心位置处执行布置。
[0083]此外，以立体相机部件110的每个单目镜相机部件111或112的图像采集方向是车 辆501向前移动的方向的方式来放置视差计算系统100。
[0084] 这里，激光光线投射和接收部件121以激光光线的发射的方向与单目镜相机部件 111或112的图像采集方向相同的方式被放置在相机支柱230上，并且因此，这样的激光光线 的发射的方向也是车辆501向前移动的方向。
[0085] 〈5.2用于立体相机部件的设置方法和激光光线投射和接收部件(倾斜角和旋转 角)>
[0086] 接着，将描述用于立体相机部件110的设置方法和组成视差计算系统100的激光光 线投射和接收部件121 (倾斜角和旋转角）。
[0087] 如图5(A)所示，立体相机部件110的图像采集方向（围绕X-轴的角度）的倾斜角以 以下方式设置：图像采集范围510包括穿过立体相机部件110的布置的位置、并且平行于道 路530的直线502,并且包括道路530。这里，在图5(A)的示例中，以以下方式进一步提供设 置：图像采集范围510的中心线512(单目镜的相机的光轴部件111或112)被放置在直线502 之下。
[0088]此外，来自激光光线投射和接收部件121的激光光线的发射的方向的倾斜角（围绕 X-轴的角度）以以下方式设置:激光光线照射范围520被包含在立体相机部件110的图像采 集范围510中，并且在关于直线502的向下的方向提供在角度θ νΚ处。这里，0vR大于零并且大 于关于直线502的单目镜的相机的光轴部件111或112的角度的值。就是说，激光光线的光轴 被引导比单目镜的相机的光轴部件111或112更加向下。
[0089] 此外，如图5 (B)所示，立体相机部件110的图像采集方向中的旋转角（围绕y-轴的 角）以以下方式设置:图像采集范围511关于(未示出的)长轴对称，该长轴穿过车辆501的在 其宽度的方向的中心。具体地，以以下方式提供设置，穿过车辆501的在其宽度的方向的中 心的长轴与单目镜的相机的光轴部件111或112平行。
[0090] 此外，来自激光光线投射和接收部件121的激光光线的发射的方向中的旋转角（围 绕y-轴的角）以以下方式设置:激光光线照射范围521被包含在立体相机部件110的图像采 集范围510中。这里，尽管在图5(B)的示例中，来自激光光线投射和接收部件121的激光光线 的发射的方向的旋转角以以下方式设置:单目镜的相机的光轴部件111或112与激光光线照 射范围521的(未示出的）中心线平行，但是本发明不限于此。
[0091] 〈5.3立体相机部件的图像采集范围和激光光线投射和接收部件的激光光线照射 范围〉
[0092]在本实施例中，立体相机部件110的图像采集范围的视角在垂直的方向（y_轴的方 向）中被设置在大致15[度]-20[度]处，如图5(A)所示。此外，执行设置以在水平的方向（X-轴的方向）中提供大致40[度]-60[度]，如图5(B)所示。
[0093]此外，激光光线投射和接收部件121的激光光线照射范围520的扩展角被设置为垂 直的方向（y-轴的方向）和水平的方向（X-轴的方向）两者中小于立体相机部件110的图像采 集范围510和511，如图5所示。
[0094]这里，在检测到存在于车辆501向前移动的方向中的Lc[m]的位置处的道路标记 (人行横道531)的情况中，如图5(A)所示，成立以下公式：
[0096]此外，可以根据以下公式获得在垂直的方向（y-轴的方向）中的激光光线照射范围 520的扩展角ΔθνΚ:
[0098] 其中AL是在前侧处在道路530上的深度(ζ-轴的方向）的方向中的激光光线照射 范围523的长度。
[0099] 相应地，例如，由于AL = 2[m](在适用于道路标记的检测的深度（ζ-轴的方向）的 方向中的长度)被提供在H=1.4[m]和U=10[m]处，Δ 0vR = 〇.〇28[rad](l .6[度])被提供在 9vr = 0.14[rad] (8[度])处。
[0100]另一方面，在用于激光光线投射和接收部件121的水平的方向（x-轴的方向）中的 激光光线照射范围521的扩展角△ 0hR优选地以以下方式设置:在道路上在水平的方向（X-轴 的方向）中的照射范围523的长度是取决于道路标记的合适的长度。这是因为即使在照射范 围的中心在水平的方向（X-轴的方向）中稍微改变的情况中，也可以以重复的图案(人行横 道531)可靠地判定道路标记的存在或者不存在。
[0101]例如，人行横道531使得具有大致0.5m的宽度的白色的线和柏油表面以相等的间 隔对齐，并且重复的图案的参考间距为大致lm。因此，在道路上在水平的方向中的激光光线 照射范围523的长度优选地大致为l[m]，以便于可靠地检测在向前移动的方向中的10m的位 置处的人行横道。就是说，在水平的方向（X-轴的方向）中的激光光线照射范围521的扩展角 A 9hR被优选地设置为，例如，大致6 [度]。
[0102] 〈5.4与采集图像的关联〉
[0103] 如上所示，来自激光光线投射和接收部件121的激光光线的发射的方向的倾斜角 已经被描述为使得：
[0104] *激光光线照射范围520被包含在立体相机部件110的图像采集范围510的范围中； 并且
[0105] *激光光线照射范围520的中心线522被引导关于直线502以Δ 0vR的角度(其中Δ 0vR>O)向下，其中该直线502穿过视差计算系统100并且与道路530平行。
[0106]此外，来自激光光线投射和接收部件121的激光光线的发射的方向的旋转角已经 被描述为使得：
[0107] *激光光线照射范围521包含在立体相机部件110的图像采集范围511的范围中。
[0108] 但是，用于来自激光光线投射和接收部件121的激光光线的发射的方向的倾斜角 和旋转角的设置方法不限于如上所示，并且可以进一步基于与在立体相机部件110中采集 的采集图像的关联限定。
[0109] 图6是用于示出进一步限定来自激光光线投射和接收部件121的激光光线的发射 的方向的倾斜角和旋转角的设置方法的示意图。在立体相机部件110由如上所示的设置方 法设置的情况中，道路图像610(阴影部分)如在图6中的采集图像600所示地被呈现在采集 图像600中。
[0110]这里，根据本实施例的激光雷达距离测量部件120基于由立体相机部件110采集的 采集图像检测作为视差计算中的误差的出现的因素的道路标记是足够的。因此，使激光光 线的发射的方向的倾斜角和旋转角以以下方式设置的足够的:在道路530上在车辆501向前 移动的方向中在采集图像中呈现为道路图像610的区域的一个位置在这样的道路上(或者 作为将被照射的物体)的照射范围中。
[0111] 图7是示出在从具有如此设置的倾斜角和旋转角的激光光线投射和接收部件121 发射的激光光线的情况中、作为在采集图像600中的照射范围图像701的在道路上的照射范 围523的不意图。
[0112] 当在采集图像600中呈现为道路图像610的区域的一个位置被提供在道路上的照 射范围中时，图7的示例中的照射范围图像701被布置在图像采集范围510的中心线512 (在 对应于倾斜角0vR的位置处)之下。换句话说，由于照射范围被提供在单目镜的相机的光轴部 件111或112之下，照射范围图像701被布置在具有呈现的道路的位置处。此外，在图像采集 范围511的中心线上执行布置。这里，呈现的照射范围图像701的尺寸是取决于在水平的方 向中的激光光线照射范围520的扩展角△ θν[^Ρ在水平的方向中的照射范围521的扩展角Δ 0hR的尺寸。
[0113] 〈6.视差计算系统中的过程的流程〉
[0114] 接着，将描述视差计算系统100中的视差计算过程的流程。图8是示出视差计算系 统100中的视差计算过程的流程的流程图。
[0115] 在步骤S801处，随着视差计算系统100开始视差计算过程，基于来自图像处理部件 130的指令执行图像采集过程，其中单目镜相机部件111和112共同地同步以执行图像采集。
[0116] 此外，在步骤S802处，激光雷达距离测量部件120执行道路测量过程。具体地，激光 光线投射和接收部件121首先基于来自激光信号处理部件122(激光信号处理部件122的道 路测量部件410,其中下面同样适用）的指令，执行脉冲式激光光线的光线投射或接收。此 外，激光信号处理部件122基于由于激光光线的光线投射或接收在激光光线投射和接收部 件121中产生的激光光线接收信号，判定道路标记的存在或者不存在，并且将判定的结果发 送到图像处理部件130。
[0117] 这里，在步骤S801处的图像采集过程和在步骤S802处的道路测量过程并行执行。 就是说，当单目镜相机部件111和112在一个帧中执行采集图像的图像采集时，激光光线投 射和接收部件121执行脉冲式激光光线的一个脉冲光线投射或接收。
[0118] 在步骤S803处，图像处理部件130基于在一个帧中的采集图像执行视差计算过程 并且执行产生视差图像的立体图像过程。这里，在存在道路标记的判定的结果在道路测量 过程中被发送到图像处理部件130,其中执行道路测量过程以对应于在这样的帧中的图像 采集过程的情况中，基于这样的判定的结果改变视差探测范围。
[0119] 在步骤S804处，执行关于是否输入用于视差计算过程的结束的指令的判定，并且 如果判定没有输入，执行返回到步骤S801和步骤S802。然后，执行图像采集过程以用于下一 帧并且执行脉冲式激光光线的下一个光线投射或接收使得执行道路测量过程。
[0120]之后，直到输入用于视差计算过程的结束的指令，图像采集过程以帧为单位执行 并且执行道路测量过程以用于每个帧中的一个脉冲，而立体图像过程以帧为单位执行。
[0121] 另一方面，在步骤S804处，在提供判定使得输入用于视差计算过程的结束的指令 的情况中结束过程。
[0122] 〈7.道路测量过程的流程〉
[0123] 接着，将参考图9、图10A和图10B描述激光雷达距离测量部件120中的道路测量过 程(步骤S802)的详细的流程。图9是示出激光雷达距离测量部件120中的道路测量过程(步 骤S802)的详细的流程的流程图。此外，图10A和图10B是示出在道路测量过程时在激光雷达 距离测量部件120中的将被处理的每个信号的示意图。在这些之中，图10A示出了在道路测 量过程在道路标记存在于将用激光光线照射的道路上的照射范围523中的条件下执行的情 况中的每个信号。此外，图10B示出了在道路测量过程在道路标记在将用激光光线照射的道 路上的照射范围523中不存在的条件下执行的情况中的每个信号。
[0124] 将在下面根据图9中的流程图参考图10A和图10B描述道路测量过程的流程。
[0125] 在步骤S901处，激光光线投射和接收部件121基于用于激光信号处理部件122的指 令（图10A和图10B中示出的触发信号1001)产生光源光线发射信号（图10A和图10B中的光源 光线发射信号1002)。因此，激光光线投射和接收部件121发射脉冲式激光光线。
[0126] 在步骤S902处，在自发射脉冲式激光光线起流逝预定的时间段之后，激光光线投 射和接收部件121从道路接收反射光线，并且产生激光光线接收信号。然后，产生的激光光 线接收信号被输出到激光信号处理部件122。
[0127] 图10A中的激光光线接收信号1003是在道路标记存在于道路上用激光光线照射的 照射范围中的情况中基于反射光线产生的信号。另一方面，图10B中的激光光线接收信号 1013是在道路标记在道路上用激光光线照射的照射范围中不存在的情况中基于反射光线 产生的信号。
[0128] 如从激光光线接收信号1003和激光光线接收信号1013之间的组成(composition) 清楚的是，激光光线接收信号的强度取决于道路标记的存在或者不存在而不同。具体地，在 存在道路标记的情况中的激光光线接收信号1003的强度高于激光光线接收信号1013在不 存在道路标记的情况中的强度。
[0129] 在步骤S903到S905处，激光信号处理部件122执行用于判定道路标记的存在或者 不存在的过程。首先，步骤S903,激光信号处理部件122判定在步骤S902处产生的激光光线 接收信号是否大于或等于预定的阈值。具体地，激光光线接收信号1003或1013以设置的预 定的阈值被输入到比较器。
[0130]在步骤S903处，在执行判定以便于大于或等于预定的阈值（比较器阈值）（在通过 执行到比较器的输入而输出光线接收时间信号1004的情况中）的情况中，执行行进到步骤 S904。在步骤S904处，激光信号处理部件122判定道路标记存在于道路的激光光线照射范围 中。
[0131]另一方面，在步骤S903处，在执行判定以便于小于预定的阈值(比较器阈值）（在通 过执行到比较器的输入而不输出光线接收时间信号的情况中（见图10B中的光线接收时间 信号1014))的情况中，执行行进到步骤S905。在步骤S905处，激光信号处理部件122判定道 路标记不存在于道路上的激光光线照射范围中。
[0132] 在步骤S906处，激光信号处理部件122输出判定的结果(光线接收时间信号1004或 1014)到图像处理部件130。
[0133] 〈8.图像处理部分中的立体图像过程〉
[0134] 接着，将参考图11、图12A和图12B描述图像处理部件130中的立体图像过程(步骤 S803)的详细的流程。图11是示出图像处理部件130中的立体图像过程(步骤S803)的详细的 流程的流程图。此外，图12A和图12B是示出当在一对采集图像中的一个采集图像(参考图 像)关于另一个采集图像(标准的图像)逐个像素的移动以便于计算用于预定的像素的视差 时、在每个移动的位置处计算的相似性的改变的一个示例的示意图。这里，图12A和图12B中 指示的长轴被归一化以便于当相似性增加时提供较小的值并且当相似性降低时提供较大 的值。
[0135] 在图11中的步骤S1101处，图像校正部件311获取用于来自单目镜相机部件111和 112的每一个的一个帧的采集图像。
[0136] 在步骤S1102处，图像校正部件311对于在步骤S1101处获取的一个帧中的采集图 像(一对采集图像)执行校正过程--诸如gamma校正或失真校正。
[0137] 在步骤S1103处，视差图像产生部件312在包含在参考图像中的像素之中设置作为 将经受视差计算的目标的目标像素。
[0138] 在步骤S1104处，视差图像产生部件312判定对象像素是否是靠近对应于参考图像 中的道路上的激光光线照射范围的像素(组成照射范围图像701的像素)的像素。此外，视差 图像产生部件312基于从激光信号处理部件122输出的判定的结果(光线接收时间信号）判 定是否以以下方式提供判定:道路标记存在于这样的道路上的激光光线照射范围中。
[0139] 具体地，已知参考图像中的每个组成照射范围图像701的像素的坐标，并且因此， 在步骤S1104处提供关于在步骤S1103处基于这样的坐标设置的目标像素是否是靠近这样 的已知的像素的像素的判定。
[0140] 此外，当采集在步骤S1101处获取的采集图像时，提供关于光线接收时间信号1004 是否从激光信号处理部件122发送、或光线接收时间信号1014是否从其发送的判定。
[0141] 在判定以目标像素是靠近参考图像中的照射范围图像的像素的方式提供，并且判 定以道路标记在道路上的这样的激光光线照射范围中存在的方式提供的情况中，执行行进 到步骤S1105。
[0142] 在步骤S1105处，视差图像产生部件312设置窄的视差探测范围。图12A中的视差探 测范围1200示出了在步骤S1105处设置的视差探测范围的一个示例。
[0143] 因此，在存在道路标记的情况中，存在多个局部最小点(存在多个视差候选），并且 因此，传统上存在视差候选的采样（图12A中的视差候选2)不同于将被采样的视差候选（图 12A中的视差候选1)的概率。另一方面，在以存在道路标记的方式提供判定的情况中，在本 实施例中设置窄的视差探测范围。因此，可以避免视差候选的采样（图12A中的视差候选2) 不同于将被采样的视差候选(图12A中的视差候选1)。
[0144] 这里，在步骤S1104处，以目标像素不是靠近参考图像中的照射范围图像701的像 素的方式提供判定的情况中，或者在以道路标记不存在于道路上的这样的激光光线照射范 围中的方式提供判定的情况中，执行行进到步骤S1106。
[0145] 在步骤S1106处，图像处理部件130设置默认的视差探测范围1210(比在步骤S1105 处设置的视差探测范围1200更宽的视差探测范围）。
[0146] 在没有存在道路标记的位置处也没有产生多个局部最小点（多个视差候选也没存 在）。因此，即使在默认的视差探测范围1210如图12B中设置的情况中，可以仅采样将被采样 的一个视差候选。
[0147] 在步骤S1107处，在步骤S1105或步骤S1106处设置的视差探测范围中执行视差探 测并且采样的视差候选被提供为视差。
[0148] 在步骤S1108处，提供关于视差探测是否已经对于在步骤S1101处获取的一个帧中 的采集图像中的所有像素执行的判定。在步骤S1108处以存在没有执行视差探测的像素的 方式提供判定的情况中，返回到步骤S1103并且执行将下一个像素设置为目标像素并且执 行在步骤1104到步骤S1107处的过程。
[0149] 另一方面，在步骤S1108处以已经对所有的像素进行了视差探测的方式提供判定 的情况中，执行行进到步骤S1109使得输出用于这样的采集图像的视差图像。
[0150] 〈9.总结〉
[0151]如从以上说明清楚的是，根据本实施例的视差计算系统100是：
[0152] *以以下方式配置，激光雷达距离测量部件被布置为设置从激光雷达距离测量部 件发射的激光光线的光轴在单目镜的相机部分的光轴之下。
[0153 ]因此，可以检测作为在视差计算中存在误差的情况的道路标记。
[0154] 此外，根据本实施例的视差计算系统100是：
[0155] *以以下方式配置，从基于照射道路的激光光线的反射光线产生的激光光线接收 信号的强度提供关于是否存在道路标记的判定;并且
[0156] *以以下方式配置，基于由立体相机部分采集的采集图像，在以存在道路标记的方 式提供判定的情况中的视差探测范围被设置为比在不以存在道路标记的方式提供判定的 情况中将使用的视差探测范围更窄，以用于视差计算。
[0157] 因此，即使在作为道路上的重复的图案的道路标记被包含在将被用于视差计算的 采集图像中的情况中，也可以避免在视差探测中采样将不被采样的视差候选的情况。
[0158] 就是说，可以通过使用由使用多个单目镜相机部件采集的采集图像、在执行视差 计算的情况中减少误差存在的频率。
[0159] [第二实施例]
[0160] 尽管上述的第一实施例以以下方式配置，在一个帧中的采集图像的图像采集期间 发射脉冲式激光光线的一个脉冲，但是本发明不限于此。例如，配置可以为使得脉冲式激光 光线的多个脉冲在一个帧中的采集图像的图像采集期间发射。
[0161] 由于提供配置以便于发射脉冲式激光光线的多个脉冲，可以在一个帧中的采集图 像中提供多个照射范围，例如，在深度方向（z-轴的方向）中的不同的位置(靠近自己的车辆 的位置或者远离自己的车辆的位置)处。就是说，可以增加改变视差探测范围的频率。
[0162] 这里，对于在一个帧中的采集图像的图像采集期间发射脉冲式激光光线的多个脉 冲式配置，例如，可以考虑如下配置。
[0163] *多个激光光线投射和接收部件被安装在视差计算系统中。
[0164] *激光光线扫描装置一一诸如多角镜或MEMS镜被布置在激光光线投射和接收部件 中，其中在一个帧中的采集图像的图像采集期间在车辆移动的正向和反向方向中执行扫 描，并且在每个扫描位置处发射脉冲式激光光线。
[0165] *分束器和被调节为提供不同的激光光线的发射的方向的多个调节透镜被布置在 激光光线投射和接收部件中。然后，一般准直的束由光投射透镜223产生，接着该束由分束 器分割，并且经由每个调节透镜发射脉冲式激光光线。
[0166] 这里，根据发射脉冲式激光光线的多个脉冲式配置，多个光线接收元件被布置在 激光光线投射和接收部件121中。
[0167] 图13是示出在以在一个帧中的采集图像的图像采集期间，道路上的两个照射范围 的每一个用脉冲式(pulsed)激光光线(第一激光光线和第二激光光线）照射的方式提供配 置的情况中，用于设置视差计算系统1〇〇的方法的示意图。这里，照射范围在如图13中所示 的第一激光光线的发射的方向的垂直的方向和水平的方向中的倾斜角、旋转角和扩展角， 与如图5所示的激光光线的那些相同，并且因此，将提供相同的参考标号或字母以在此省略 对其的（一个或多个)描述。此外，在垂直的方向和水平的方向中的第二激光光线的照射范 围的扩展角以及第二激光光线的发射的方向的旋转角与在垂直的方向和水平的方向中的 第一激光光线的照射范围的照射范围以及第一激光光线的发射的方向的旋转角相同。因 此，这里将省略对其的(一个或多个)描述。
[0168] 与图5的不同在于从激光光线投射和接收部件121发射的第二激光光线的发射的 方向的倾斜角和道路上的照射范围1323。
[0169] 如图13(a)中所示，从激光光线投射和接收部件121发射的第二激光光线的发射的 方向的倾斜角（围绕X-轴的角度）以以下方式设置:第二激光光线的照射范围1320被包含在 立体相机部件110的图像采集范围510中。此外，照射范围1320的中心线1322被设置为在关 于直线502的向下的方向中在角度0^ 2处。这里，0vR2是大于零并且大于关于直线502的单目 镜的相机的光轴部件111或112的角度的值，并且提供9 vr> 0vR2。就是说，第二激光光线的光轴 也被引导关于单目镜的相机的光轴部件111或112向下。
[0170] 这里，尽管在图13(b)的示例中的第一和第二激光光线的发射的方向的旋转角（围 绕y-轴的角度）以以下方式被设置，第一和第二激光光线的发射的方向与单目镜的相机的 光轴部件111或112的相同，但是本发明不限于此。第一和第二激光光线的发射的方向的一 个或两者可以被设置为不同于单目镜的相机的光轴部件111或112。
[0171] 这里，在检测到存在于如图13(a)中所示的车辆501的前面的1^[!11]的位置处的道 路标记(人行横道531)的情况中，成立以下公式：
[0173]此外，可以根据以下公式获得第二激光光线在垂直的方向中（y-轴的方向）的照射 范围1320的扩展角ΔθνΚ2:
[0175] 其中AL2是在深度方向（ζ-轴的方向）中在前侧处的道路530上的照射范围1323的 长度。
[0176] 这里，其中提供H = 1 · 4[m]，Lc2 = 20[m]，θνΚ2 = 〇 · 〇7[rad] (4[度])，并且 Δ θνΚ2 = 0.028[rad] (1.6[度])，在深度方向（ζ-轴的方向）中的道路上的照射范围1323的长度为4.0 [m]。就是说，提供 Δ L2 = 4.0[m]。
[0177] 另一方面，其中来自激光光线投射和接收部件121的第二激光光线在水平的方向 中（X-轴的方向）的照射范围1321扩展角Δ 0hR2是6 [度]，在道路上在水平的方向中的照射范 围1323是2.0[m]。
[0178] 图14是示出在第一和第二激光光线从如上设置的激光光线投射和接收部件121发 射的情况中的在道路上的照射范围523和1323、作为在采集图像1400中的照射范围图像 1401和1402的示意图。
[0179]如图14中所示，照射范围图像1401或1402根据图13中所示的设置方法在采集图像 1400中被布置在(在对应于倾斜角0vR^0vR的位置处）图像采集范围510的中心线512之下。 此外，在图像采集范围511的中心线上执行布置。换句话说，照射范围被提供在单目镜的相 机的光轴部件111或112之下，并且因此，照射范围图像1401或1402被布置在呈现的道路的 位置处。
[0180]这里，第一激光光线和第二激光光线的照射范围的扩展角相互相同，并且因此，照 射范围图像1401和1402呈现为米集图像1400中的相同的尺寸。
[0181]如从以上说明清楚的是，提供配置以便于发射脉冲式激光光线的多个脉冲，并且 因此，可以例如在一个帧中的采集图像中，在深度方向（靠近自己的车辆的位置以及靠近自 己的车辆的位置或者远离自己的车辆的位置）中的不同的位置处提供多个照射范围。从该 结果，可以增加改变视差探测范围的频率，并且可以进一步减少误差存在的频率。
[0182] [第三实施例]
[0183] 上述第二实施例以以下方式配置，发射脉冲式激光光线的多个脉冲，其中照射范 围的扩展角对于激光光线的多个脉冲设置为相同，而仅改变倾斜角的设置。
[0184] 相应地，配置是使得道路上的照射范围的尺寸在激光光线的多个脉冲之中不同。 但是，本发明不限于此，并且例如，配置可以为使得照射范围在水平的方向和垂直的方向中 的扩展角以以下方式设置:道路上的照射范围的尺寸在激光光线的多个脉冲之中相同（就 是说，提供取决于道路标记的合适的尺寸）。
[0185] 图15是示出在配置是使得第一和第二激光光线在一个帧中的采集图像的图像采 集期间发射的情况中用于设置组成根据本实施例的视差计算系统1〇〇的立体相机部件110 和激光光线投射和接收部件121的方法的示意图。将在下面参考图15描述用于设置在根据 本实施例的视差计算系统100中的激光光线投射和接收部件121的方法。
[0186] 这里，用于设置如图15中所示的立体相机部件110的方法与上述的第一实施例的 相同，并且因此，将在下面省略对其的（一个或多个)描述。此外，第一激光光线的发射的方 向的倾斜角和旋转角以及照射范围在垂直的方向和水平的方向中的扩展角与图13的相同， 并且因此，将在下面省略对其的（一个或多个)描述。此外，第二激光光线的发射的方向的倾 斜角和旋转角也与图13的相同，并且因此，将在下面省略对其的(一个或多个)描述。
[0187] 〈1.来自激光光线投射和接收部件的激光光线的照射范围〉
[0188] 如图15中所示，来自激光光线投射和接收部件121的第二激光光线的照射范围 1520和1521的在垂直的方向和水平的方向中的中的扩展角△ 0冰2和4 0此2以以下方式设置： 道路上的照射范围1523的尺寸是取决于道路标记的合适的尺寸。就是说，道路上的第二激 光光线的照射范围1523的尺寸被设置为可与道路上的第一激光光线的照射范围的尺寸比 较。
[0189] 具体地，第二激光光线的照射范围1320在垂直的方向中（y-轴的方向）的扩展角Δ 9VR2被设置为大约0.6[度]。此外，照射范围1521在水平的方向中（X-轴的方向）的扩展角Δ 0vh2被设置为大约3[度]。因此，道路上的照射范围1523为使得在水平的方向中的长度为1.0 [m]并且在垂直的方向中的长度为2.0[m](就是说，提供了 △LsiS.ODn])。
[0190] 这里，图16是示出，在第一和第二激光光线从如上所示的设置的激光光线投射和 接收部件121发射的情况中的道路上的照射范围523和1523、作为采集图像1600中的照射范 围图像1601和1602的示意图。
[0191] 由于第一激光光线和第二激光光线在垂直的方向和水平的方向中的照射范围的 扩展角相互不同，具有不同的高度和宽度的照射范围图像1601和1602被呈现在如图16中示 出的采集图像1600中。
[0192] 〈2.总结〉
[0193] 如从以上说明清楚的是，根据本实施例的视差计算系统100是：
[0194] *以以下方式配置，在一个帧中的采集图像的图像采集期间在立体相机部件中发 射脉冲式激光光线的多个脉冲;并且
[0195] *以以下方式配置，激光光线在水平的方向和垂直的方向中的照射范围的扩展角 以以下方式设置:道路上的多个照射范围的每一个是取决于道路标记的合适的尺寸。
[0196] 因此，根据本实施例的视差计算系统100可以获益于上述的第一实施例的在采集 图像中的多个位置处的效应。因此，可以减少误差存在的频率。
[0197] [第四实施例]
[0198] 在上述第二和第三实施例中描述用于在立体相机部件中在一个帧中的采集图像 的图像采集期间用脉冲式激光光线的多个脉冲照射的配置。然后，已经参考激光雷达距离 测量部件120中的道路测量过程的细节，并且例如，配置可以是使得用与基于每个反射光线 产生的激光光线接收信号不同的激光雷达距离测量部件120执行道路测量过程。
[0199] 图17A和图17B示出了根据本实施例的视差计算系统100的激光雷达距离测量部件 120中的将被处理的每个信号的细节。这里，图17A示出了道路标记存在于道路上的第一激 光光线的照射范围中的情况，并且图17B示出了道路标记存在于道路上的第二激光光线的 照射范围中的情况。在这些之中，图17A与图10A相同，并且因此，将在此处描述对其的（一个 或多个)描述。
[0200] 这里，道路标记的反射特征即使在测量距离(离开激光光线的发射的位置的距离） 不同时也很少改变。从道路标记反射的反射光线通常向所有定向发散，并且由激光光线投 射和接收部件121接收这样的发散的光线的一部分。因此，随着测量距离增加，由激光光线 投射和接收部件121接收的反射光线的强度降低(见图17B中的激光光线接收信号1703)。
[0201] 因此，用于基于第二激光光线的反射光线判定道路标记的存在或者不存在的比较 器阈值被设置为低于用于基于第一激光光线的反射光线判定道路标记的存在或者不存在 的比较器阈值。
[0202] 图17B中示出的比较器阈值示出了用于基于第二激光光线的反射光线判定道路标 记的存在或者不存在的比较器阈值。因此，比较器的不同的阈值被设置为用于第一激光光 线和第二激光光线，并且因此，可以区别在不存在道路标记的情况中的激光光线接收信号 1003'或1703'以及在存在道路标记的情况中的激光光线接收信号1003或1703。就是说，可 以检测光线接收时间信号1004或1704并且判定道路标记的存在或者不存在。
[0203][第五实施例]
[0204]尽管上述第四实施例的配置是使得取决于每个激光光线接收信号的强度的比较 器阈值以以下方式设置:可以基于多个激光光线的每个反射光线判定道路标记的存在或者 不存在，但是本发明不限于此。
[0205]例如，配置可以是使得多个激光光线的每个光源光线发射信号的强度以可以设置 共同的比较器阈值的方式取决于用于多个激光光线的每个测量距离而改变。
[0206] 这里，对于改变用于多个激光光线的光源的光线发射的强度的方法，提供了如下 方法。
[0207] *在安装多个激光光线投射和接收部件的情况中，每个激光光线投射和接收部件 的光源的光线发射的强度被单独地设置。
[0208] *在配置是使得激光光线扫描装置布置在激光光线投射和接收部件中并且脉冲式 激光光线从每个扫描位置发射的情况中，在每个扫描位置处改变施加的电流(光源光线发 射信号）。
[0209] *在由分束器分割光束的情况中，控制光量分支的比率。
[0210] 图18A和图18B是用于示出在在配置是使得在一个帧中的采集图像的图像采集期 间发射多个脉冲式激光光线(第一激光光线和第二激光光线）的情况中，在激光雷达距离测 量部件120中的将被处理的每个信号的示意图。在这些之中，图18A与图17A相同，并且因此， 将在此处描述对其的(一个或多个)描述。
[0211] 如图18B中所示，将基于触发信号1701产生的第二激光光线的光源光线发射信号 1802的强度P2大于将基于触发信号1701产生的第一激光光线的光源光线发射信号1002的 强度P:。因此，在道路标记存在于用第二激光光线照射的道路上的照射范围中的情况中的 激光光线接收信号1803的强度一般与在道路标记存在于用第一激光光线照射的道路上的 照射范围中的情况中的激光光线接收信号1003的强度相同。
[0212] 因此，可以在一般相等的值处设置用于基于激光光线接收信号1003判定道路标记 的存在或者不存在的比较器阈值、以及用于基于激光光线接收信号1803判定道路标记的存 在或者不存在的比较器阈值。
[0213][第六实施例]
[0214]上述第二到第五实施例中的配置是使得多个光线接收元件根据发射脉冲式激光 光线的多个脉冲式配置布置在激光光线投射和接收部件121中。但是，本发明不限于此，并 且可以以以下方式配置，共同的光线接收元件被提供在激光光线投射和接收部件121中，并 且由这样的共同的光线接收元件接收在一个帧中的采集图像的图像采集期间发射的激光 光线的多个脉冲式反射光线。
[0215] 这里，在配置是使得由共同的光线接收元件接收用于激光光线的多个脉冲式反射 光线的情况中，必要的是，以可以区分并且检测各个反射光线的方式控制脉冲宽度。
[0216] 然后，将在下面研究脉冲宽度，其中用第一激光光线照射的道路上的照射范围的 距离1^是1〇111并且用第二激光光线照射的道路上的照射范围的距离U 2是20m。
[0217] 图19是示出在反射光线通过使用共同的光线接收元件接收的情况中的激光雷达 距离测量部件120中的将被处理的每个信号的示意图，其中距离L cl是10m并且距离1^2是 20m 〇
[0218] 这里，图19的示例为使得用于第一和第二激光光线的光源光线发射强度PjPP2& 以下方式设置:基于第一激光光线的激光光线接收信号1003的强度与基于第二激光光线的 激光光线接收信号1803的强度相同。
[0219] 这里，去往用激光光线照射的道路上的照射范围的来回所需要的时间段将被称为 "激光光线接收时间"，并且去往用第一和第二激光光线的每一个照射的道路上的照射范围 的来回所需要的时间段将被称为激光光线接收时间TjPT 2。
[0220]在用第一激光光线照射的道路上的照射范围（第一测量距离）的距离和用第二激 光光线照射的道路上的照射范围（第二测量距离）的距离之间的差为l〇m的情况中，激光光 线接收时间（T2-T〇之间的差大约为67nsec。因此，所期望的是，脉冲宽度知小于或等于激光 光线接收时间（Τ2-??之间的差(例如，小于或等于大约40nsec)以便于区别，并且检测激光 光线接收信号1003和激光光线接收信号1803。
[0221]因此，在配置是使得用于多个脉冲式激光光线的反射光线由共同的光线接收元件 接收的情况中，取决于激光光线接收时间之间的差而设置脉冲宽度，并且因此，可以区分并 且检测各个反射光线。
[0222][第七实施例]
[0223] 上述第一到第六实施例中的配置以以下方式提供，道路标记的存在或者不存在取 决于激光光线接收信号的强度是否大于或等于预定的阈值而判定。但是，不是基于具有强 度大于或等于检测的预定的阈值的激光光线接收信号而检测的所有光线接收时间信号都 由道路标记导致。
[0224] 另一方面，在光路径上不存在障碍物的情况中，脉冲式从激光光线投射和接收部 件121发射的激光光线达到道路530并且从道路530反射。因此，可以基于测量距离初步计算 用于由道路标记导致的检测的光线接收时间信号的激光光线接收时间。就是说，可以通过 参考初步计算的激光光线接收时间（其将在这里被称为"Trrf"）判定检测的光线接收时间信 号是否由道路标记导致。
[0225] 例如，在不同于基于测量距离初步计算的激光光线接收时间Tre3f的时间时检测光 线接收时间信号。在这样的情况中，可以判定这样的光线接收时间信号不是由从道路530反 射的接收光线产生的光线接收时间信号。
[0226] 换句话说，在检测光线接收时间信号的情况中，激光信号处理部件122判定激光光 线接收时间（其在这里是T)是否大致等于取决于测量距离计算的激光光线接收时间T ref。然 后，在提供大致相等的判定的情况中，以以下方式提供判定，这样的光线接收时间信号是由 从道路标记反射而产生的光线接收时间信号。另一方面，即使在检测光线接收时间信号的 情况中，以以下方式提供判定，当激光光线接收时间T极其不同于取决于测量距离计算的激 光光线接收时间Trrf时，这样的光线接收时间信号不由从道路标记反射而产生。
[0227] 将在下面根据图20中的流程图并且参考图21，描述用于在组成根据本实施例的视 差计算系统1〇〇的激光雷达距离测量部件120中判定道路标记的存在或者不存在的过程的 流程(对应于图9中的S903到S905的过程）。
[0228] 图20是示出用于判定激光雷达距离测量部件120的激光信号处理部件122中道路 标记的存在或者不存在过程的流程的流程图。图21是示出激光雷达距离测量部件120中将 被处理的每个信号的细节的示意图。
[0229] 在图20中，在步骤S2001处，激光信号处理部件122判定激光光线接收信号的强度 是否大于或等于阈值并且检测光线接收时间信号2104。在步骤S2001处的判定以检测光线 接收时间信号2104的方式提供的情况中，执行行进到步骤S2002。
[0230] 在步骤S2002处，激光信号处理部件122判定在步骤S2001处检测的光线接收时间 信号2104的激光光线接收时间T是否存在于预定的时间范围2110 (时间Τα和时间TB之间）中。 在步骤S2002处，在光线接收时间信号2104的激光光线接收时间T存在于预定的时间范围 (时间Τα和时间T B之间）中的情况中，执行行进到步骤S2003以判定其为道路标记。
[0231] 另一方面，在步骤S2002处，在光线接收时间信号2104的激光光线接收时间T在预 定的时间范围2110(时间Τα和时间T B之间）中不存在的情况中，以不是道路标记的方式提供 判定。在图21的示例中，光线接收时间信号2104在预定的时间范围2110(时间Τα和时间T B之 间）中不存在，并且因此，以以下方式提供判定，产生的光线接收时间信号不由道路标记导 致。
[0232] 如从以上说明清楚的是，即使在大于或等于比较器阈值的激光光线接收信号由除 了这样的道路标记以外的因素产生以检测光线接收时间信号的情况中，可以根据本实施例 区分由道路标记导致的检测的光线接收时间信号。
[0233] 因此，可以避免错误地判定道路标记的存在或者不存在的情况。
[0234] [第八实施例]
[0235] 尽管上述第七实施例中的配置是使得，基于光线接收时间信号的激光光线接收时 间T来区分是否是道路标记，但是本发明不限于此。例如，配置可以是使得，基于激光光线接 收信号的强度范围来区分是否是道路标记。
[0236] 将根据图22中的流程图并且参考图23,在下面描述用于判定在根据本实施例的视 差计算系统1〇〇中的激光信号处理部件122上的道路标记的存在或者不存在的过程的流程。
[0237] 图22是示出用于判定激光信号处理部件122中的道路标记的存在或者不存在的过 程的流程的流程图。图23是示出激光雷达距离测量部件120中的将被处理的每个信号的细 节的示意图。
[0238] 在图22中，在步骤S2201处，激光信号处理部件122判定是否检测到光线接收时间 信号2304,其中激光光线接收信号的强度大于或等于阈值Pa。在步骤S2201处的判定以检测 到光线接收时间信号2304的方式提供的情况中，执行行进到步骤S2202。
[0239] 在步骤S2202处，激光信号处理部件122判定对应于光线接收时间信号2304的激光 光线接收信号的强度2303是否小于或等于阈值P B(就是说，提供关于是否存在于预定的强 度范围2310中的判定）。在步骤S2202处，在以以下方式提供判定，对应于光线接收时间信号 2304的激光光线接收信号2303的强度小于或等于阈值P B(就是说，存在于预定的强度范围 2310中的情况)的情况中，执行行进到步骤S2203以判定其为道路标记。
[0240]另一方面，在步骤S2202处以对应于光线接收时间信号2304的激光光线接收信号 的强度小于或等于阈值Pb的方式提供判定的情况中，以以下方式提供判定，其不是道路标 记。在图23的示例中，激光光线接收信号2303的强度不小于或等于阈值P B，并且因此，以以 下方式提供判定，产生的光线接收时间信号不由道路标记导致。
[0241] 如从以上说明清楚的是，即使在大于或等于比较器阈值的激光光线接收信号由除 了道路标记以外的因素产生并且从而检测光线接收时间信号的情况中，可以根据本实施例 区分由道路标记导致的发送的光线接收时间信号。
[0242] 因此，可以避免错误地判定关于道路标记的存在或者不存在。
[0243] 这里，尽管提供对于通过仅使用激光光线接收信号的强度范围来区分是否是道路 标记的配置的上述说明，这样的配置可以与上述第七实施例组合。就是说，配置可以是使得 在光线接收时间信号存在于预定的时间范围中并且激光光线接收信号的强度存在于预定 的强度范围中的情况中判定道路标记。
[0244] [其它实施例]
[0245] 尽管上述每个实施例以以下方式配置，在以存在道路标记的方式提供判定的情况 中改变用于靠近照射范围图像的像素的视差探测范围，但是本发明不限于此。例如，配置可 以是使得对于存在于远离采集图像中的照射范围图像的位置处的像素改变视差探测范围， 其中像素存在于这样的照射范围图像相同的高度处。
[0246] 尽管上述每个实施例以以下方式配置，在激光光线从激光雷达距离测量部件120 发射的情况中，作为光线接收的结果(判定的结果）的光线接收时间信号被基于反射光线而 输出，但是本发明不限于此。配置可以是使得作为信号接收的结果(判定的结果）的信号接 收时间信号在用来自电磁波距离测量部件而不是激光雷达距离测量部件的电磁波照射的 情况中基于反射波输出。
[0247] 在该情况中，布置用于发射电磁波而不是激光光线源222的电磁波发射部件，并且 提供用于接收电磁波的反射波的反射波接收部件而不是光线接收元件225。
[0248] 此外，尽管上述每个实施例以以下方式配置，视差图像从图像处理部件130输出， 但是本发明不限于此。例如，配置可以是使得物体的距离(测量物体)基于产生的视差图像 而计算以输出距离信息。在该情况中，图像处理部件130用作第一距离信息获取部件，并且 激光信号处理部件122用作第二距离信息获取部分。此外，视差计算系统100用作距离测量 装置。
[0249] 这里，可以提供上述实施例中提供的配置等与另外的元件等的组合，并且本发明 不限于这里所述的配置。可以在不脱离本发明的范围中改变这些点，并且可以取决于其应 用适当地判定。
[0250] [附录]
[0251] 〈视差计算系统和距离测量装置(一个或多个)示意性实施例〉
[0252] 本发明的至少一个示意性实施例可以涉及视差计算系统和距离测量装置。
[0253] 可以通过考虑如上所示的问题并且旨在在执行视差计算的情况中通过使用由使 用多个图像采集部件采集的采集图像检测误差的产生的原因而提供本发明的至少一个示 意性实施例。
[0254] 根据本发明的至少一个示意性实施例，可能提供具有如下所提供的配置的距离测 量装置。就是说，可以提供距离测量装置，其特征为具有多个图像采集部件;第一距离信息 获取部件，从由多个图像采集部件采集的采集图像获取用于距离测量的物体的距离信息； 电磁波发射部件，发射电磁波;反射波接收部件，接收从所述电磁波发射部分发射的电磁波 的反射波；以及第二距离信息获取部件，从由所述反射波接收部件接收的反射波获取所述 物体的距离信息以用于距离测量，其中在所述多个图像采集部件的光轴之下执行用从所述 电磁波发射部件发射的电磁波的照射。
[0255] 示意性实施例（1)是距离测量装置，其中距离测量装置的特征为具有多个图像采 集部件;第一距离信息获取部件，从由多个图像采集部件采集的采集图像获取物体的距离 信息以用于距离测量；电磁波发射部件，发射电磁波;反射波接收部件，接收从所述电磁波 发射部分发射的电磁波的反射波；以及第二距离信息获取部件，从由所述反射波接收部件 接收的反射波获取所述物体的距离信息以用于距离测量，其中在所述多个图像采集部件的 光轴之下执行用从所述电磁波发射部件发射的电磁波的照射。
[0256] 示意性实施例(2)是如示意性实施例（1)中所述的距离测量装置，特征为还具有判 定部件，基于由所述反射波接收部件接收的反射波判定在用所述电磁波照射的位置处的道 路标记的存在或者不存在，其中第一距离信息获取部件取决于由判定部件判定的结果来执 行视差计算以获取所述距离信息。
[0257] 示意性实施例(3)是如示意性实施例(2)中所述的距离测量装置，特征在于在执行 视差探测以用于所述视差计算的情况中取决于由所述判定部件的判定的结果而改变视差 探测范围。
[0258] 示意性实施例(4)是如示意性实施例(3)中所述的距离测量装置，特征在于在所述 判定部件判定道路标记存在的情况中的所述视差探测范围被设置为比所述判定部件判定 道路标记不存在的情况更窄。
[0259] 示意性实施例（5)是如示意性实施例（1)到(4)中的任一个所述的距离测量装置， 特征在于当所述多个图像采集部件采集用于一个帧的采集图像时，所述电磁波发射部件用 电磁波照射多个物体以用于距离测量，并且所述反射波接收部件接收反射波。
[0260] 示意性实施例(6)是如示意性实施例(5)中所述的距离测量装置，特征在于所述电 磁波发射部件在用所述电磁波分别照射在相互不同的距离处存在的用于距离测量的所述 多个物体的情况中，以照射范围是大致相等的幅度的方式设置所述电磁波发射部件。
[0261] 示意性实施例(7)是如示意性实施例(6)中所述的距离测量装置，特征在于所述电 磁波发射部件以以下方式设置:分别从用于距离测量的所述多个物体接收的反射波的强度 是大致相等的幅度。
[0262] 示意性实施例(8)是如示意性实施例（5)到（7)的任一个中所述的距离测量装置， 特征在于取决于用于距离测量的所述多个物体的各个距离之间的差，所述电磁波发射部件 设置照射用于距离测量的多个物体的脉冲式电磁波的脉冲宽度。
[0263] 示意性实施例(9)是如示意性实施例(2)中所述的距离测量装置，特征在于所述判 定部件基于由反射波接收部件接收的反射波的强度判定所述道路标记的存在或者不存在。
[0264] 示意性实施例（10)是如示意性实施例（2)中所述的距离测量装置，特征在于所述 判定部件基于由所述反射波接收部件接收的反射波的强度大于或等于预定的阈值的判定 的时刻是否被包含在预定的时间段中而判定所述道路标记的存在或者不存在。
[0265] 示意性实施例（11)是基于由多个图像采集部件采集的采集图像执行视差计算的 视差计算系统，其中所述视差计算系统的特征是具有测量构件，用电磁波照射通过采集位 于用于所述多个图像采集部件的图像采集方向中的道路表面的图像而在采集图像中作为 呈现为道路图像的照射物体的区域，并且从所述区域接收反射波，以及判定构件，基于在所 述测量构件中接收的结果判定在所述照射物体中的道路标记的存在或者不存在，其中执行 取决于由所述判定构件判定的结果的所述视差计算。
[0266] 示意性实施例（12)是如示意性实施例（11)中所述的视差计算系统，特征在于在执 行视差探测以用于所述视差计算的情况中所述视差探测范围取决于由判定构件判定的结 果而改变。
[0267] 示意性实施例（13)是如示意性实施例（12)中所述的视差计算系统，特征在于在所 述判定构件判定道路标记存在的情况中的视差探测范围被设置为比所述判定构件判定道 路标记不存在的情况更窄。
[0268] 示意性实施例（14)是如示意性实施例（11)到（13)的任一个所述的视差计算系统， 特征在于当所述多个图像采集部件采集用于一个帧的采集图像时，所述测量构件用电磁波 照射多个照射物体并且接收反射波。
[0269] 示意性实施例（15)是如示意性实施例（14)中所述的视差计算系统，特征在于在用 电磁波分别照射在相互不同的距离处存在的多个照射物体的情况中，以照射范围是大致相 等的幅度的方式设置所述测量构件。
[0270]示意性实施例（16)是如示意性实施例（15)中所述的视差计算系统，特征在于测量 构件以以下方式设置:分别从所述多个照射物体接收的反射波的强度是大致相等的幅度。 [0271 ]示意性实施例（17)是如示意性实施例（14)到（16)的任一个所述的视差计算系统， 特征在于测量构件取决于所述多个照射物体的各个距离之间的差而设置照射多个照射物 体的脉冲式电磁波的脉冲宽度。
[0272] 示意性实施例（18)是如示意性实施例（11)到（17)的任一个所述的视差计算系统， 特征在于判定构件基于由所述测量构件接收的反射波的强度判定道路标记的存在或者不 存在。
[0273] 示意性实施例（19)是如示意性实施例（11)到（18)的任一个所述的视差计算系统， 特征在于判定构件基于由测量构件接收的反射波的强度大于或等于预定的阈值的判定的 时刻是否被包含在预定的时间段中，判定道路标记的存在或者不存在。
[0274] 根据本发明的示意性实施例的至少每一个，可能的是在执行视差计算的情况中通 过使用由使用多个图像采集部件采集的采集图像检测误差的产生的原因。
[0275] 尽管已经参考附图描述了本发明的（一个或多个)示意性实施例和(一个或多个） 特定示例，但是本发明不限于(一个或多个)示意性实施例和(一个或多个)特定示例的任一 个，并且(一个或多个)示意性实施例和(一个或多个)特定示例可以在不脱离本发明的范围 的情况下被改变、修改或者组合。
[0276] 本申请基于于2014年2月25日提交的日本专利申请号2014-033681和于2015年2月 19日提交的日本专利申请号2015-030368要求优先权益，其全部内容通过引用结合于此。
【主权项】
1. 一种距离测量装置，包括： 多个图像采集部件； 第一距离信息获取部件，从由多个图像采集部件采集的采集图像获取物体的距离信息 以用于距离测量； 电磁波发射部件，发射电磁波； 反射波接收部件，接收从所述电磁波发射部分发射的电磁波的反射波；以及 第二距离信息获取部件，从由所述反射波接收部件接收的反射波获取所述物体的距离 信息以用于距离测量， 其中在所述多个图像采集部件的光轴之下执行用从所述电磁波发射部件发射的电磁 波的照射。2. 如权利要求1所述的距离测量装置，还包括： 判定部件，基于由所述反射波接收部件接收的反射波判定在用所述电磁波照射的位置 处的道路标记的存在或者不存在， 其中所述第一距离信息获取部件取决于由判定部件判定的结果来执行视差计算以获 取所述距离信息。3. 如权利要求2所述的距离测量装置，其中在执行视差探测以用于所述视差计算的情 况中取决于由所述判定部件的判定的结果而改变视差探测范围。4. 如权利要求3所述的距离测量装置，其中在所述判定部件判定道路标记存在的情况 中的所述视差探测范围被设置为比所述判定部件判定道路标记不存在的情况更窄。5. 如权利要求1到4的任一个所述的距离测量装置，其中当所述多个图像采集部件采集 用于一个帧的采集图像时，所述电磁波发射部件用电磁波照射多个物体以用于距离测量， 并且所述反射波接收部件接收反射波。6. 如权利要求5所述的距离测量装置，其中所述电磁波发射部件在用所述电磁波分别 照射在相互不同的距离处存在的用于距离测量的所述多个物体的情况中，以照射范围是大 致相等的幅度的方式设置所述电磁波发射部件。7. 如权利要求6所述的距离测量装置，其中所述电磁波发射部件以以下方式设置:分别 从用于距离测量的所述多个物体接收的反射波的强度是大致相等的幅度。8. 如权利要求5到7的任一个所述的距离测量装置，其中取决于用于距离测量的所述多 个物体的各个距离之间的差，所述电磁波发射部件设置照射用于距离测量的多个物体的脉 冲式电磁波的脉冲宽度。9. 如权利要求2所述的距离测量装置，其中所述判定部件基于由反射波接收部件接收 的反射波的强度判定所述道路标记的存在或者不存在。10. 如权利要求2所述的距离测量装置，其中所述判定部件基于由所述反射波接收部件 接收的反射波的强度大于或等于预定的阈值的判定的时刻是否被包含在预定的时间段中 而判定所述道路标记的存在或者不存在。11. 一种视差计算系统，基于由多个图像采集部件采集的采集图像执行视差计算，包 括： 测量部件，用电磁波照射通过采集位于用于所述多个图像采集部件的图像采集方向中 的道路表面的图像而在采集图像中作为呈现为道路图像的照射物体的区域，并且从所述区 域接收反射波；以及 判定部件，基于在所述测量部件中的接收的结果判定在所述照射物体中的道路标记的 存在或者不存在， 其中执行取决于由判定部件判定的结果的所述视差计算。12. 如权利要求11所述的视差计算系统，其中所述在执行视差探测以用于所述视差计 算的情况中取决于由所述判定部件的判定的结果而改变视差探测范围。13. 如权利要求12所述的视差计算系统，其中在所述判定部件判定道路标记存在的情 况中的所述视差探测范围被设置为比所述判定部件判定道路标记不存在的情况更窄。14. 如权利要求11到13的任一个所述的视差计算系统，其中当所述多个图像采集部件 采集用于一个帧的采集图像时，所述测量部件用电磁波照射多个照射物体并且接收反射 波。15. 如权利要求14所述的视差计算系统，其中在用所述电磁波分别照射在相互不同的 距离处存在的所述多个照射物体的情况中，以照射范围是大致相等的幅度的方式设置所述 测量部件。16. 如权利要求15所述的视差计算系统，其中所述测量部件以以下方式设置:分别从所 述多个照射物体接收的反射波的强度是大致相等的幅度。17. 如权利要求14到16的任一个所述的视差计算系统，其中所述测量部件取决于所述 多个照射物体的各个距离之间的差设置照射所述多个照射物体的脉冲式电磁波的脉冲宽 度。18. 如权利要求11到17的任一个所述的视差计算系统，其中所述判定部件基于由所述 测量部件接收的反射波的强度判定所述道路标记的存在或者不存在。19. 如权利要求11到18的任一个所述的视差计算系统，其中所述判定部件基于由所述 测量部件接收的反射波的强度大于或等于预定的阈值的判定的时刻是否被包含在预定的 时间段中而判定所述道路标记的存在或者不存在。
【文档编号】G01S17/48GK106030243SQ201580009299
【公开日】2016年10月12日
【申请日】2015年2月24日
【发明人】铃木修, 铃木修一, 中岛充, 关口洋义, 关海克, 横田聪郎, 横田聪一郎
【申请人】株式会社理光