信息处理设备、信息处理方法和程序与流程

本技术涉及信息处理设备、信息处理方法和程序，并具体地涉及通过其例如可以以高精确度确定距物体的距离的信息处理设备、信息处理方法和程序。

背景技术：

ADAS(Advanced Driver Assistance System：先进驾驶者辅助系统)等的技术已被提出，其根据从诸如例如汽车的车辆中包括的摄像机或毫米波雷达之类的传感器输出的传感器数据来确定距车辆外的物体的距离或物体的移动量，并支持使用所述距离或所述移动量来驱动所述车辆的驾驶者。

根据诸如摄像机或毫米波雷达之类的传感器的传感器数据确定的距离或移动量以例如取决于环境、感测目标的物体等的精确度而变化。因此，近来提出了被称为融合(fusion)的技术，其使用车辆中包括的诸如摄像机和毫米波雷达之类的多个(种类的)传感器的传感器数据综合地确定距离或移动量。

例如，PTL1提出了下面的技术。具体地，对于多个传感器中的每个传感器，基于以传感器的输出值的真值为中心的正态分布来计算三维物体的存在概率，并基于传感器的识别率来校正所述存在概率。然后，校正后的关于个别传感器的存在概率被融合以设置总存在概率。

【引用列表】

【专利文献】

【PTL 1】JP 2007-310741A

技术实现要素：

【技术问题】

近来，需要提出使得可以以高精确度确定距物体的距离的技术。

本技术在上述的情况下进行，并使得可以以高精确度确定距物体的距离。

【对问题的解决方案】

本技术的信息处理设备或程序是一种信息处理设备或者一种用于使得计算机用作所述信息处理设备的程序，所述信息处理设备包括：可能性计算单元，所述可能性计算单元根据通过多种距离测量方法中的每种距离测量方法获取的信息来计算距物体的距离为多个距离中的每个距离的可能性(likelihood)；以及整合(integration)单元，所述整合单元被配置用于对根据所述多种距离测量方法的距离可能性(distance likelihood)进行整合，以确定所述多个距离中的每个距离的整合可能性(integration likelihood)。

本技术的信息处理方法是一种信息处理方法，包括：根据通过多种距离测量方法中的每种距离测量方法获得的信息来计算距物体的距离为多个距离中的每个距离的距离可能性；以及对根据所述多种距离测量方法的所述距离可能性进行整合，以确定所述多个距离中的每个距离的整合可能性。

在本技术的信息处理设备、信息处理方法和程序中，根据通过多种距离测量方法中的每种距离测量方法获得的信息，计算距物体的距离为多个距离中的每个距离的距离可能性。然后，对根据所述多种距离测量方法的距离可能性进行整合，以确定所述多个距离的每个距离的整合可能性。

应当注意，所述信息处理设备可以是独立的设备，或者可以是对一个设备进行配置的内部模块。

此外，可以通过经由传输介质发送程序或通过将程序记录在记录介质上来提供所述程序。

【本发明的有利效果】

利用本技术，可以以高精确度确定距物体的距离。

应当注意，这里描述的效果不一定是限定性的，而是可以是在此描述的效果中的任一个。

附图说明

图1是描述本技术所应用于的行程控制(travel controlling)设备的实施例的配置的示例的概述的框图；

图2是示出了采样点的视图；

图3是示出了所述行程控制设备的处理的示例的流程图；

图4是示出了整合方法的效果的视图；

图5是描述本技术所应用于的行程控制设备的第一详细配置示例的框图；

图6是示出了由同步单元24进行的同步的视图；

图7是示出了所述行程控制设备的处理的示例的流程图；

图8是示出了用于根据立体摄像机21的传感器数据确定根据立体摄像机21的距离可能性的处理的示例的流程图；

图9是示出了用于根据毫米波雷达22的传感器数据确定根据毫米波雷达22的距离可能性的处理的示例的流程图；

图10是示出了整合方法的概述的视图；

图11是示出了用于减少用于整合的处理的负荷的减少处理的概述的视图；

图12是描述本技术所应用于的行程控制设备的第二详细配置示例的框图；

图13是示出了根据飞行时间(ToF)传感器51的距离可能性的计算方法的示例的视图；

图14是示出了用于根据ToF 51的传感器数据确定关于ToF传感器51的距离可能性的处理的示例的流程图；

图15是描述本技术所应用于的行程控制设备的第三详细配置示例的框图；

图16是描述本技术所应用于的行程控制设备的第四详细配置示例的框图；

图17是示出了行程控制设备的处理的示例的流程图；

图18是示出了用于根据立体摄像机21的传感器数据来确定依据立体摄像机21的移动量可能性的处理的示例的流程图；

图19是示出了用于根据毫米波雷达22的传感器数据来确定依据毫米波雷达22的移动量可能性的处理的示例的流程图；

图20是本技术所应用于的行程控制设备的第五详细配置示例的框图；

图21是描述本技术所应用于的计算机的一个实施例的配置的示例的框图。

具体实施方式

【本技术所应用于的行程控制设备的实施例的概述】

图1是描述本技术所应用于的行程控制设备的实施例的配置的示例的概述的框图。

所述行程控制设备被容纳在诸如例如汽车的车辆、船、潜艇、飞机或无人机之类的移动主体中，并控制所述移动主体的行程(移动)。

应当注意，假设在本实施例中所述行程控制设备被容纳在例如汽车中。

在图1中，所述行程控制设备包括多个的N个传感器11₁、11₂、……、11_N、可能性计算单元12、规范化(Normalization)单元13、整合单元14、距离/移动量计算单元15、以及行程控制单元16。

行程控制设备执行用于支持驾驶者的各种行程控制，所述驾驶者驱动其中容纳行程控制设备的汽车。

传感器11_n(n＝1、2、……、N)是用于预定的距离测量方法的距离测量或预定的移动检测方法的移动量检测的传感器，并感测预定的物理量且将作为感测结果的传感器数据提供给可能性计算单元12。

这里，对于传感器11_n，例如，可以采用可执行光测量或移动量检测的单镜头摄像机、诸如立体摄像机之类的多眼摄像机、诸如毫米波雷达之类的雷达、ToF(飞行时间)传感器、LIDAR(激光雷达)和其它任意的传感器。

此外，传感器11_n和另一传感器11_n’(n≠n’)是不同类型的传感器。相应地，它们用于根据不同的距离测量方法的距离测量或根据不同的移动检测方法的移动量检测。

由于图1的行程控制设备包括上述的这种多个传感器11₁至11_N，即，用于根据不同的距离测量方法的距离测量或用于根据不同的移动检测方法的移动量检测的多种(类型的)传感器11₁至11_N，执行根据多种(类型的)距离测量方法的距离测量或根据多种(类型的)移动检测方法的移动量检测。

相应地，一种距离测量方法或一种移动检测方法对应于一个传感器11_n。

应当注意，传感器11₁至11_N被布置在汽车空间中的顶棚的前端部分处或在汽车风挡的末端部分处等，并输出用于确定距汽车前的物体的距离或所述物体的移动量的传感器数据。

可能性计算单元12针对所述多个(即，N个)传感器11₁至11_N的每个传感器而根据传感器11_n的传感器数据(从传感器11_n输出的传感器数据)来计算距物体的距离分别是多个距离的距离可能性。

具体地，现在假设，根据传感器11_n的传感器数据，可以以ΔZ的精确度检测在从0至ΔZ×K的范围内的距离。可能性计算单元12计算距物体的距离分别是多个(即，K+1个)距离0、ΔZ、ΔZ×2、…、ΔZ×K的距离可能性。

应当注意，不同的传感器11_n和11_n’有时在可被其检测到的距离的精确度和范围方面是不同的，相应地，针对其计算所述距离可能性的所述多个距离有时互不相同。

可能性计算单元12针对所述多个传感器11₁至11_N中的每个传感器而根据传感器11_n的传感器数据来计算距物体的距离分别是多个距离的距离可能性、以及还计算所述物体的移动量分别是多个移动量的移动量可能性。

可能性计算单元12将针对所述多个传感器11₁至11_N的每个传感器所计算的多个距离的每个距离的距离可能性以及多个移动量的每个移动量的移动量可能性提供给规范化单元13。

规范化单元13对来自所述可能性计算单元12的针对所述多个传感器11₁至11_N的每个传感器的多个距离的每个距离的距离可能性进行规范化。

这里，如上文所述，关于其计算距离可能性的多个距离有时在不同的传感器11_n和传感器11_n’之间是不同的。

具体地，假设现在K≠K’且ΔZ≠ΔZ’，对于传感器11_n，确定K+1个距离0,ΔZ,ΔZ×2,...,ΔZ×K的距离可能性，并且对于传感器11n’，有时确定K’+1个距离0,ΔZ’,ΔZ’×2,...,ΔZ’×K’的距离可能性。

如上文所述，因此，在不同的传感器11_n和传感器11_n’之间，其距离可能性被计算的距离或其距离可能性被计算的多个距离的粒度不同。

因此，规范化单元13执行用于针对所有的N个传感器11₁至11_N的关于其存在距离可能性的多个距离的规范化。

所述规范化可以通过用于增大(与上述的K或K’相对应的)关于其存在距离可能性的多个距离的数量的上采样，例如通过内插来执行。

规范化13也以与距离可能性的规范化相类似的方式执行根据来自可能性计算单元12的N个传感器11₁至11_N的多个移动量的每个移动量的移动量可能性的规范化。

然后，规范化单元13将根据N个传感器11₁至11_N的规范化后的距离可能性和移动量可能性提供给整合单元14。

整合单元14针对所述多个距离的每个距离而对根据N个传感器11₁至11_N的多个距离的每个距离的距离可能性分别进行整合。

具体地，如果关于其存在规范化后的距离可能性的多个距离当中的某个距离z被确定为被关注的关注距离z，则在所述规范化单元13的规范化之后，关于所有的N个传感器11₁至11_N存在所述关注距离z的距离可能性。

整合单元14对关于所述N个传感器11₁至11_N的关注距离z的距离可能性(即，N个距离可能性)进行整合，以确定所述关注距离z的整合可能性。

这里，N个距离可能性的整合可以例如由贝叶斯系统(Bayesian system)执行，即，通过采用N个距离可能性的乘积(其中所述距离可能性是通过采用求和的对数可能性)执行。

此外，N个距离可能性的整合可以通过执行对学习模型的学习来执行，其中例如预先输入N个距离可能性并输出一个整合可能性，并提供N个距离可能性作为对所述距离模型的输入。

整合单元14针对多个距离的每个距离而对根据N个传感器11₁至11_N的多个距离的每个距离的距离可能性进行整合，以确定所述多个距离的整合可能性，并将所确定的整合可能性提供给距离/移动量计算单元15。

此外，整合单元14以与距离可能性的整合相类似的方式针对多个移动量的每个移动量根据N个传感器11₁至11_N对多个移动量的每个移动量的移动量可能性进行整合，并将通过所述整合所获得的多个移动量的每个移动量的整合可能性提供给距离/移动量计算单元15。

距离/移动量计算单元15使用来自整合单元14的多个距离的每个距离的整合可能性来确定距物体的距离，并将所述距离提供给行程控制单元16。具体地，距离/移动量计算单元15例如从来自整合单元14的多个距离的每个距离的整合可能性当中确定最高的整合可能性的距离作为距物体的距离，并将所述距离提供给行程控制单元16。

此外，距离/移动量计算单元15使用来自整合单元14的多个移动量的每个移动量的整合可能性来确定物体的移动量，并将所述移动量提供给行程控制单元16。具体地，距离/移动量计算单元15例如从来自整合单元14的多个移动量的每个移动量的整合可能性当中确定最高的整合可能性的移动量作为物体的移动量，并将所述移动量提供给行程控制单元16。

行程控制单元16使用从距离/移动量计算单元15提供的距物体的距离或物体的移动量作为场合需求(occasion demand)来执行车辆的行程控制。

具体地，行程控制单元16使用从距离/移动量计算单元15提供的距物体的距离或物体的移动量作为场合需求来生成例如障碍物地图(obstacle map)作为关于车辆前方存在的障碍物的障碍物信息。然后，行程控制单元16执行对障碍物存在的警告、控制制动器等。

图2是示出了采样点的视图。

这里，采样点表示图1的可能性计算单元12针对其计算了距离可能性或移动量可能性的位置(点)。

此外，假设，虽然传感器11_n具有用于接收光信号等(接收光)的接收单元(光接收单元)作为感测目标的物理量，但是在本实施例中，根据三维(笛卡尔)坐标系来表示三维位置(x,y,z)和二维位置(x,y)，所述三维坐标系的z方向被定义为其中容纳图1的行程控制设备的车辆的前进方向，并且其x方向和y方向被定义为在正交于z方向并经过传感器11_n的接收单元的接收部分的平面上的水平方向(向左和向右的方向)和垂直方向(向上和向下的方向)。

例如，在传感器11_n是立体摄像机的情况下，位置(x,y)表示由立体摄像机(配置立体摄像机的两个摄像机之一)拍摄的图像(例如在下文中描述的标准图像)的像素的位置，并且位置(x,y,z)表示距位置(x,y)处的像素上反射的物体的距离为z。

位置(x,y,z)可以被转换为真实空间中的位置，即，位置(x,y)处的像素上反射的物体在真实空间中的位置。

在下文中，采用距离可能性作为示例来描述采样点。

例如，如果某个传感器11_n是立体摄像机，则具有互不相同的视点(visual point)的两个图像被获取为作为立体摄像机的传感器11_n的传感器数据。

如果假设所述两个图像之一被称为标准图像且所述两个图像的另一个图像被称为参考图像，则对于标准图像的每个像素，来自参考图像的视差为不同值的视差量D1、D2、…，可以确定所述视差量D1、D2、…的可能性。

现在，假设标准图像的某个像素是要被关注的关注像素，则当假设来自参考图像的视差为视差量D1、D2、…时的视差量D1、D2、…的距离可能性可以被用作当假设距关注图像上反射的物体的距离分别为对应于视差量D1、D2、…的距离z1、z2、…时的距离z1、z2、…的距离可能性。

相应地，对于关注像素的位置(x,y)，可以获得当位置(x,y)的距离z(距位置(x,y)处的像素上反射的物体的距离z)为距离z1、z2、…时的距离可能性。

以此方式，针对位置(x,y,z)可以获得距离可能性，并且以此方式获得距离可能性的位置(x,y,z)为采样点。

例如，在某个传感器11_n为雷达的情况下，根据作为雷达的传感器11_n的传感器数据(角范围地图)，当假设方向r上的距物体的距离d为距离d1、d2、…中的每个距离的距离d1、d2、…时的可能性可以被确定为距离可能性。

在雷达中，可以获得距离可能性的方向r和距离d分别为极坐标系中的幅角(argument angle)和距离，并且在方向r上的距离d处的位置可以通过坐标变换而被变换为三维坐标系的位置(x,y,z)。

相应地，也是在雷达中，在三维坐标系中的位置(x,y,z)为采样点的情况下，可以与立体摄像机的情况相类似地获取针对采样点的距离可能性。

例如，如果某个传感器11_n为ToF传感器，则在ToF传感器中，例如，大量的以高速发射的传输脉冲(transmission pulse)被布置在矩阵中的多个接收单元接收。然后，根据作为每个接收单元接收的传输脉冲的接收信号，确定接收单元的位置(x,y)的距离L(距物体的距离，与位置(x,y)处的接收单元所接收的接收信号相对应的传输脉冲通过所述距物体的距离而被反射)。

在ToF传感器中，根据接收单元从作为预定的时间段T的时间帧T的时段内发送的多个传输脉冲所接收的多个接收信号来分别确定多个距离L。然后，在所述时间帧T的时段内获得的所述多个距离L的平均值等被确定为光接收单元的位置(x,y)的最终距离z。

如果传感器11_n为ToF传感器，则例如在时间帧T的时段内确定的多个距离L可以被获得为作为ToF传感器的传感器11_n的传感器数据。

然后，基于时间帧T中的多个距离L的分布，可以获得当光接收单元的位置(x,y)的距离为距离z1、z2、…时的距离可能性。

相应地，也是在ToF传感器中，在三维坐标系中的位置(x,y,z)为采样点的情况下，可以以与立体摄像机的情况相类似地为采样点获取距离可能性。

应当注意，在不同的传感器11_n和11_n’之间，即，例如在立体摄像机、雷达和ToF传感器当中的两个任意的传感器之间，确定了距离可能性的采样点的位置(x,y,z)(以及粒度)有时与差分或距离测量方法等不相同。

在图1的规范化单元13中，通过增大采样点数量(例如通过内插)的上采样来执行规范化，所述规范化使得针对所有的N个传感器11₁至11_n存在的距离可能性的采样点相互一致。

在图2中，对于作为三个传感器11₁至11₃的立体摄像机、雷达和ToF传感器，执行用于对x、y和z方向上的采样点的粒度进行规范化的规范化以成为预定的Δx、Δy和Δz。

通过上述的这种规范化，使得用于可以分别从不同的距离测量方法的立体摄像机、雷达和ToF传感器获得的距离可能性的采样点相互一致。

作为结果，图1的整合单元14可以整合以采样点为单位从不同的距离测量方法的立体摄像机、雷达和ToF传感器获得的距离可能性，以确定每个采样点的整合可能性。

上述也类似地应用于移动量可能性。

应当注意，尽管关于距离可能性，针对作为三维坐标系中的位置的位置(x,y,z)确定距离z的可能性，但是关于移动量可能性，如果x、y和z方向上的移动量由vx、vy和vz表示，则针对作为六维(笛卡尔)坐标系中的位置的采样点(x，y，z，vx，vy，vz)确定移动量(vx，vy，vz)的可能性。

图3是示出了图1的行程控制设备的处理示例的流程图。

在步骤S11处，N个传感器11₁至11_N执行感测并将作为感测结果获得的传感器数据提供给可能性计算单元12，然后处理前进到步骤S12。

在步骤S12处，可能性计算单元12针对N个传感器11₁至11_N的每个传感器而根据传感器11_n的传感器数据计算多个距离z的每个距离的距离可能性以及多个移动量(vx，vy，vz)的每个移动量的移动量可能性。然后，可能性计算单元12将针对传感器11₁至11_N的多个距离z的距离可能性以及多个移动量(vx，vy，vz)的移动量可能性提供给规范化单元13。然后，处理从步骤S12前进至步骤S13。

在步骤S13处，规范化单元13针对来自可能性计算单元12的根据多个传感器11₁至11_N的距离可能性而执行用于调节关于其存在距离可能性的采样点(x,y,z)的规范化(以使这种采样点(x,y,z)相互一致)。

此外，规范化单元13针对来自可能性计算单元12的根据多个传感器11₁至11_N的移动量可能性执行规范化，以布置关于其存在移动量可能性的采样点(x，y，z，vx，vy，vz)。

然后，规范化单元13将根据所述多个传感器11₁至11_N的规范化后的距离可能性和移动量可能性提供给整合单元14。然后，处理从步骤S13前进到步骤S14。

应当注意，可以执行用于布置根据所述多个传感器11₁至11_N的距离可能性的采样点(x,y,z)的规范化，使得采样点(x,y,z)的每个方向(即，x方向、y方向和z方向的每个方向)上的采样点(x,y,z)的数量被调节至最大距离可能性。

具体地，例如，如果假设现在立体摄像机和雷达的两个传感器被采用为所述多个传感器11₁至11_N，则根据立体摄像机(的传感器数据)确定的距离z的分辨率低于根据雷达确定的距离z的分辨率。

因此，在根据立体摄像机的距离可能性的规范化中，通过内插来增大用于根据立体摄像机的距离可能性的(采样点(x,y,z)的)数量，使得用于根据立体摄像机的距离可能性的采样点(x,y,z)的z方向上的位置和数量被调节为用于根据雷达的距离可能性的采样点(x,y,z)的z方向上的位置和数量。

此外，关于雷达，由于作为方向(方位)的分辨率的角分辨率是低的，因此在三维坐标系上，雷达的x方向和y方向上的分辨率低于立体摄像机的x方向和y方向上的分辨率。

因此，在根据雷达的距离可能性的规范化中，通过内插来增大用于根据雷达的距离可能性的(采样点(x,y,z)的)数量，使得用于根据雷达的距离可能性的采样点(x,y,z)的x方向和y方向上的位置和数量被调节为用于根据立体摄像机的距离可能性的采样点(x,y,z)的x方向和y方向上的位置和数量。

这里，可以通过除了内插之外的方法来执行距离可能性的规范化。

例如，关于立体摄像机，通过执行对具有比像素的精确度更精细的精确度的视差的检测，可以改善用于根据立体摄像机的距离可能性的距离z的分辨率，即，增大采样点(x,y,z)的在z方向上的数量。因此，根据立体摄像机的采样点(x,y,z)的在z方向上的位置和数量可以被调节为用于根据雷达的距离可能性的采样点(x,y,z)在z方向上的位置和数量。

此外，例如，关于雷达，通过使用时间方向上的超分辨率技术，可以增大角分辨率，即，增大用于根据雷达的距离可能性的采样点(x,y,z)的在x方向(和y方向)上的数量，因此，用于根据雷达的距离可能性的采样点(x,y,z)的在x方向上的位置和数量可以被调节为用于根据立体摄像机的距离可能性的采样点(x,y,z)的在x方向上的位置和数量。

应当注意，用于雷达的距离可能性的采样点(x,y,z)的数量的增大可以不在三维坐标系上执行，而是在变换到三维坐标系中之前在极坐标系上执行。

此外，可以与上述的以比像素的精确度更精细的精确度来检测视差、时间方向上的超分辨率技术以及内插相结合地执行采样点(x,y,z)的数量的增大。

前述的类似地也应用于移动量可能性的规范化。

在步骤s14处，整合单元14针对每个采样点(x,y,z)对根据传感器11₁至11_N的距离可能性进行整合，以确定用于每个采样点(x,y,z)的整合可能性。此外，整合单元14针对每个采样点(x，y，z，vx，vy，vz)对根据传感器11₁至11_N的移动量可能性进行整合，以确定针对每个采样点(x，y，z，vx，vy，vz)的移动量的整合可能性。

然后，整合单元14将距离和移动量的整合可能性提供给距离/移动量计算单元15，然后处理从步骤S14前进至S15。

在步骤S15处，距离/移动量计算单元15使用来自整合单元14的距离的整合可能性来确定距物体的距离，并将所确定的距离提供给行程控制单元16。具体地，距离/移动量计算单元15针对每个位置(x,y)确定(例如针对来自整合单元14的每个采样点(x,y,z)的距离的整合可能性当中的)其整合可能性最高的距离z，并将所述距离z提供给行程控制单元16。

此外，距离/移动量计算单元15使用来自整合单元14的移动量的整合可能性来确定物体的移动量，并将物体的移动量提供给行程控制单元16。具体地，距离/移动量计算单元15确定例如来自整合单元14的针对每个采样量(x，y，z，vx，vy，vz)的移动量的整合可能性当中的、对于每个位置(x,y,z)其整合可能性最高的移动量(vx，vy，vz)，或确定其移动量的整合可能性最大的移动量(vx，vy，vz)和距离z，并将移动量(vx，vy，vz)和距离z提供给行程控制单元16。

然后，处理从步骤S15前进到步骤S16，在步骤S16处行程控制单元16使用从距离/移动量计算单元15提供的距离z或移动量(vx，vy，vz)作为场合需求来执行对车辆的行程控制，然后处理结束。

应当注意，根据图3的流程图的处理是在流水线(pipeline)中重复地执行的。

图4是示出了使用通过针对传感器11₁至11_N的每个传感器对距离可能性或移动量可能性进行整合而获得的整合可能性来确定距物体的距离或物体的移动量的方法(在下文中称为整合方法)的效果的视图。

如上文参照图1所述的，例如可以采用立体摄像机或毫米波雷达作为传感器11_n。

立体摄像机和毫米波雷达可以测量距物体的距离(执行距离测量)。

顺便提及，由于立体摄像机通过检测图像之间的视差来执行距离测量，因此在黑暗处，距离测量的精确度降低。此外，在立体摄像机中，随着距离增大，距离的分辨率(分辨率)降低，并且距离测量的精确度根据物体的纹理(设计)而变化。此外，在立体摄像机中，距离测量的精确度根据外部环境例如雨、雪或背光而降低。

另一方面，由于毫米波雷达通过发送毫米波和接收物体反射的毫米波的反射光来执行距离测量，因此容易受损于通道等中的多次反射，并且有时在发生多次反射(多径)的环境中出现鬼像。鬼像有时取决于距离测量的目标的物体的位置或姿态而出现。此外，在毫米波雷达中，垂直方向上的位置的距离测量的分辨率(y方向上的分辨率)是低的，并且有时难以执行目标为诸如路面之类的相对于要被透射的毫米波的角度窄的障碍物的距离测量。此外，在毫米波雷达中，作为方向(方位)中的分辨率的角度分辨率和距离测量中的精确度取决于作为距离测量的目标的物体的材料而变化。

因此，当距离测量仅使用立体摄像机执行或者当距离测量仅使用毫米波雷达执行时，距离测量的精确度较低。

相应地，距离测量的精确度的降低在不同的距离测量方法的多个传感器(例如立体摄像机和毫米波雷达)之间或之中是不同的。

因此，在整合方法中，通过对根据传感器11₁至11_N的距离可能性进行整合并使用作为整合结果获得的整合可能性，以高精确度确定距物体的距离。

图4描述了从三个传感器11₁至11₃获得的每个距离z的距离可能性以及对关于三个传感器11₁至11₃的距离可能性进行整合而获得的整合可能性的示例。

在图4中，附图标记P1、P2和P3表示根据各个传感器11₁至11₃的距离可能性。

在可靠性低的距离处，距离可能性P_n(这里n＝1，2，3)是低的。此外，在获得距离可能性P_n之处的传感器11_n的距离测量的精确度降低的情况下，距离可能性P_n在宽的范围内在低值中散布，例如在利用传感器11_n可以进行距离测量的范围内。

作为传感器的距离测量的精确度降低的情况，例如，在传感器11_n为立体摄像机的情况下，执行对距被反射为平面图像的物体的距离的距离测量的情况等是可行的。同时，在传感器11_n为ToF传感器的情况下，对距黑暗物体的距离的距离测量的情况或类似的情况对应于传感器11_n的距离测量中的精确度降低的情况。此外，在传感器11_n为雷达的情况下，在多径现象发生的情况下执行距离测量的情况下对应于传感器11_n的距离测量中的精确度降低的情况。

在图4中，在从传感器11₁至11₃之中的传感器11₁的距离测量中的精确度降低的情况下执行距离测量。因此，根据传感器111的距离可能性在宽的距离z的范围上在低值中散布。

在所述整合方法中，对根据传感器11₁至11_N的距离可能性P1至P₃进行整合以确定整合可能性P。具体地，例如，根据传感器11₁至11_N的距离可能性P₁至P₃的乘积被确定为整合可能性P。

在通过采用距离可能性P₁至P₃的乘积来确定整合可能性P的情况下，根据传感器11₁的在距离测量方面较低的距离可能性P₁，即，在低的值中散布的距离可能性P₁具有对任何距离z的整合可能性P的小的影响(具有基本上相等的量的影响)。

因此，由于根据传感器11₁的在距离测量方面的精确度较低的距离可能性P₁不具有对每个距离z处的整合可能性的优势或劣势的影响，因此通过计算这种整合可能性P为最高之处的距离z作为距物体的距离，作为结果，可以在不使用(不依赖于)距离测量的精确度较低的传感器11₁的情况下确定距物体的距离，即，以高精确度确定距物体的距离。

此外，在所述整合方法中，可以执行相对于环境等健壮的距离测量，或执行具有不能通过仅使用单个传感器的距离测量实现的分辨率的距离测量。

例如，在仅通过立体摄像机执行距离测量的情况下，长距离的分辨率(分辨率)降低。然而，在采用体力摄像机和雷达作为两个传感器11_n和11_n’的情况下，作为距离的分辨率，即使在距离大的情况下也可以实现高分辨率。

应当注意，上述也可以类似地应用于对移动量可能性进行整合以确定整合可能性并使用所述整合可能性来确定移动量(vx，vy，vz)的情况。

<本技术所应用于的行程控制设备的第一详细配置示例>

图5是描述本技术所应用于的行程控制设备的第一详细配置示例的框图。

在图5中，行程控制设备包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、可能性计算单元25、规范化单元26、整合单元27、距离计算单元28、障碍物地图产生单元29、行程控制单元30和缓冲器31。

立体摄像机21和毫米波雷达22对应于图1的N个传感器11₁至11_N。

立体摄像机21具有两个摄像机21L和21R。摄像机21L和21R从视图的不同的点拍摄图像，并将通过图像拍摄获得的图像数据作为传感器数据输出到发送单元23。

毫米波雷达22发送毫米波。如果从毫米波雷达22发送到毫米波被物体反射并返回到毫米波雷达22，则毫米波雷达22接收返回到毫米波。然后，毫米波雷达将作为接收的毫米波的接收信号作为传感器数据输出到发射单元23。

发送单元23针对从立体摄像机21(的摄像机21L和21R)以及毫米波雷达22输出的传感器数据执行必要的处理，并将作为结果的数据发送(提供)给同步单元24。

发送单元23针对从立体摄像机21输出的图像数据执行显影处理等。

同步单元24将从作为两个不同的传感器的立体摄像机21和毫米波雷达22输出并从发送单元提供的传感器数据相互合成，并将合成的传感器数据输出到可能性计算单元25。

可能性计算单元25对应于图1的可能性计算单元12。

针对每个采样点(x,y,z)(即，针对作为立体摄像机21的传感器数据的图像数据的每个像素的每个位置(x,y)以及立体摄像机21可以测量的距离的范围内的每个距离z)，可能性计算单元25根据来自同步单元24的立体摄像机21的传感器数据计算根据立体摄像机21的距离可能性，并将所述距离可能性提供给规范化单元26。

此外，可能性计算单元25根据来自同步单元24的毫米波雷达22的传感器数据计算根据毫米波雷达22的关于每个采样点(x,y)的距离可能性，并将该距离可能性提供给规范化单元26。

具体地，可能性计算单元25根据来自同步单元24的毫米波雷达22的传感器数据确定当假设每个方向(方位)r上的距物体的距离d是可被毫米波雷达22测量的距离的范围内的每个距离时、每个距离的距离可能性。

然后，可能性计算单元根据坐标信息将从中获得根据毫米波雷达22的距离可能性的极坐标系中的每个方向r和每个距离d(的距离可能性)变换为三维坐标系中的每个位置(x,y,z)(的距离可能性)，并将作为三维坐标系中的位置(x,y,z)的每个采样点的距离可能性提供给规范化单元26。

规范化单元26对应于图1的规范化单元13。

规范化单元26执行用于使来自可能性计算单元25的采样点(x,y,z)与根据立体摄像机21的采样点(x,y,z)的距离可能性以及根据毫米波雷达22的采样点(x,y,z)的距离可能性相一致的规范化，并将规范化的采样点(x,y,z)提供给整合单元27。

整合单元27对应于图1的整合单元14。

整合单元27针对每个采样点(x,y,z)对来自规范化单元26的根据立体摄像机21的距离可能性以及根据毫米波雷达22的距离可能性进行整合，并将整合后的距离可能性提供给距离计算单元28。

应当注意，整合单元27可以使用存储在缓冲器31中的信息作为场合需求来执行根据立体摄像机21的距离可能性以及根据毫米波雷达22的距离可能性的整合。

距离计算单元28对应于图1的距离/移动量计算单元15。

距离计算单元28使用来自整合单元27的针对每个采样点(x,y,z)的距离的整合可能性来确定距物体的距离。具体地，距离计算单元28针对每个位置(x,y)确定关于其的距离的整合可能性最大的距离z，作为在位置(x,y)处的像素上反射的物体的距离。

然后，距离计算单元28将使用针对距离的整合可能性而确定的每个位置(x,y)的距离z提供给障碍物地图生成单元29和缓冲器31。

障碍物地图生成单元29使用来自距离计算单元28的距离z来生成障碍物地图作为关于车辆前方存在的障碍物的障碍物信息。然后，障碍物地图生成单元29将所述障碍物地图提供给行程控制单元30和缓冲器31。

行程控制单元30对应于图1的行程控制单元16。

行程控制单元30使用来自障碍物地图生成单元29的障碍物地图来执行对驾驶车辆的驾驶者的障碍物存在警告、对自动驾驶的控制等。

缓冲器31暂时存储从距离计算单元28提供的各个位置(z，y)的距离z以及从障碍物地图生成单元29提供的障碍物地图。

当整合单元27执行下次整合时，存储在缓冲器31中的距离z和障碍物地图被整合单元27使用作为场合需求。

具体地，当整合单元27执行对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性的整合时，其使用在上次确定的并存储在缓冲器31中的距离z或障碍物地图作为场合需求。

这里，由于在距离可能性的规范化之后采样点(x,y,z)的数量非常大，因此由整合单元27进行的整合是高负荷的处理。

整合单元27通过在整合时使用在上次确定的距离z或障碍物地图来减少整合处理的负荷。

例如，整合单元27从先前操作周期中确定的障碍物地图中识别在车辆前方存在的物体的形状，并根据其中容纳图5的行程控制设备的车辆的速度估计当前操作周期中的合成时物体的存在范围。

然后，整合单元27确定在当前的操作周期中在整合时与物体的存在范围内的点相对应的采样点(x,y,z)作为距离可能性的赠盒的目标，并对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合，以确定整合可能性。

另一方面，关于其它的采样点，整合单元27按原样使用根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性之一作为整合可能性。

在此情况下，由于仅对与物体的存在范围内的点相对应的采样点(x,y,z)执行整合，因此成为整合处理的目标的采样点(x,y,z)的数量减少，并且可以减少整合处理的负荷。

此外，例如，整合单元27从上次确定的障碍物地图中识别路面，并且针对与路面上的点相对应的采样点(x,y,z)可以从整合的目标中排除根据如同雷达之类的、难以接收从路面反射的信号并且在目标为路面的距离测量的精确度方面较低的传感器的距离可能性。

在此情况下，由于成为整合目标的距离可能性的数量减少，因此可以减少整合处理的负荷。

图6是示出了图5的同步单元24的同步的视图。

在所述整合方法中，例如，对根据作为传感器11₁至11_N的立体摄像机21和毫米波雷达22的距离可能性分别进行整合，并使用作为结果的整合可能性来确定距物体等的距离。因此，必要的是对要使用的立体摄像机21和毫米波雷达22的传感器数据进行同步，以确定目标是以高的精确度相互整合的距离可能性。

图6描述了作为从立体摄像机21输出的传感器数据以及从毫米波雷达22输出的传感器数据的图像数据之间的同步的示例。

在图6中，(由摄像机21L和21R构成的)立体摄像机21包括例如未描述的互补金属氧化物半导体(CMOS)图像传感器，并以60Hz的帧速率拍摄在一个帧中具有400个(水平)线的图像。

此外，由于立体摄像机21例如通过卷帘快门(rolling shutter)方法来拍摄图像，因此曝光时间逐渐地移位(显示)在一个帧的不同的线之间。

另一方面，在图6中，毫米波雷达22例如以1200Hz的周期输出传感器数据。

因此，在图6中，对于从立体摄像机21输出的图像数据的一个帧，毫米波雷达22输出1200个传感器数据。

现在，如果假设当立体摄像机21拍摄一个帧的图像时对于每个线的曝光时间段由TE表示，则立体摄像机21对于图像传感器的每个线接收用于曝光时间段TE的光，并且所述光的光电转换的结果被作为一个帧的图像数据而输出。

同步单元24对例如一个帧的第一线(从上方起的第一线)的曝光时间段TE内从毫米波雷达22输出的传感器数据进行积分(相加)，并输出相互同步的具有在其中执行所述整合的曝光时间段TE内曝光的第一线的整合的结果和帧图像数据。结果，通过同步单元对作为从立体摄像机21输出的传感器数据和从毫米波雷达22输出的传感器数据的图像数据进行相互合成。

图7是示出了图5的行程控制设备的处理的示例的流程图。

在步骤S21，立体摄像机21和毫米波雷达22执行感测。

具体地，在步骤S21处，立体摄像机21从不同的视角拍摄图像，并将作为结果的图像数据作为传感器数据输出到发送单元23。

此外，在步骤S21处，毫米波雷达22发送毫米波，接收由物体反射并从物体返回到毫米波，并将接收的毫米波作为传感器数据输出到发送单元23。

发送单元23将从立体摄像机21和毫米波雷达22输出的传感器数据发送到同步单元24，并且处理从步骤S21前进到步骤S22。

在步骤S22处，同步单元24对来自发送单元23的立体摄像机21和毫米波雷达22的传感器数据进行相互同步，并将作为与一个帧的图像数据相对应的立体摄像机21的传感器数据和毫米波雷达22的传感器数据的一个帧的图像数据输出到可能性计算单元25。然后，处理前进到步骤S23。

在步骤S23处，可能性计算单元25根据来自同步单元24的立体摄像机21的传感器数据计算关于每个采样点(x,y,z)的根据立体摄像机21的距离可能性，并将计算的距离可能性提供给规范化单元26。

此外，可能性计算单元25根据来自同步单元24的毫米波雷达22的传感器数据计算关于每个采样点(x,y,z)的根据毫米波雷达22的距离可能性，并将计算的距离可能性提供给规范化单元26。

然后处理从步骤S23前进到步骤S24，在步骤S24处，规范化单元26执行规范化，以用于使采样点(x,y,z)在来自可能性计算单元25的根据立体摄像机21的采样点(x,y,z)的距离可能性以及根据毫米波雷达22的所述采样点的距离可能性的方面相互一致。

规范化单元26将规范化后的根据立体摄像机21的采样点(x,y,z)的距离可能性以及根据毫米波雷达22的采样点采样点(x,y,z)的距离可能性以及根据毫米波雷达22的所述采样点的距离可能性的的距离可能性提供给整合单元27，并且处理从步骤S24前进到步骤S25。

在步骤S25处，整合单元27针对各个采样点(x,y,z)对来自规范化单元26的根据立体摄像机21的亮度可能性和根据毫米波雷达22的距离可能性进行整合。

然后，整合单元27将被获取作为整合结果的针对各个采样点(x,y,z)的整合可能性提供给距离计算单元28，并且处理从步骤S25前进到步骤S26。

应当注意，如参照图5所描述的，整合单元27可以使用上次确定的并存储在缓冲器31中作为场合需求的距离z和障碍物地图来执行根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性之间的整合。结果可以减少整合处理的负荷。

在步骤S26处，距离计算单元28使用来自整合单元27的针对每个采样点(x,y,z)的距离可能性的整合，以针对每个位置(x,y)确定其整合距离可能性最大的距离z，作为距位置(x,y)处的像素所反射的物体的距离。

然后，距离计算单元28将针对每个位置(x,y)的距离z提供给障碍物地图生成单元29和缓冲器31，并且处理从步骤S26前进到步骤S27。

在步骤S27处，缓冲器31对从距离计算单元28提供的针对各个位置(x,y)的距离z进行缓冲(暂时存储)，并且处理前进到步骤S28。

这里，当整合单元27执行下个整合时，存储在缓冲器31中的针对每个位置(x,y)的距离z被使用作为场合需求。

在步骤S28处，障碍物地图生成单元29使用来自距离计算单元28的距离z来生成障碍物地图作为关于车辆前方存在的障碍物的障碍物信息。然后，障碍物地图生成单元29将障碍物地图提供给行程控制单元30和缓冲器31，并且处理从步骤S28前进到步骤S29。

在步骤S29处，缓冲器31对从障碍物地图生成单元29提供的障碍物地图进行缓冲，并且处理前进到步骤S30。

这里，当整合单元27执行下个整合时，存储在缓冲器31中的障碍物地图被用作场合需求。

在步骤S30处，行程控制单元30使用来自障碍物地图生成单元29的障碍物地图来执行对车辆的行程控制，然后处理结束。

应当注意，根据图7的流程图的处理在流水线中重复地执行。

图8是示出了根据图7的步骤S23处的用于根据立体摄像机21的传感器数据来确定根据立体摄像机21的距离可能性的处理的示例的流程图。

在步骤S41处，可能性计算单元25从同步单元24接收(获取)图像数据作为立体摄像机21的传感器数据，并且处理前进到步骤S42。

在步骤S42处，可能性计算单元25执行对作为立体摄像机21的传感器数据的图像数据的校正，并且处理前进到步骤S43。

这里，作为步骤S42处的对图像数据的校正，例如，像差的校正、用于匹配立体摄像机21和毫米波雷达22之间的水平方向上的角度的图像数据的校正等是可行的。

使用用于校正立体摄像机21和毫米波雷达22之间的安装位置或姿态的移位的校准信息来执行这种图像数据的校正，以使立体摄像机21和毫米波雷达22之间的水平相一致。

通过立体摄像机21和毫米波雷达22所执行的校准来预先确定校准信息。

在步骤S43处，可能性计算单元25确定作为立体摄像机21的传感器数据的、由摄像机21L和摄像机21R拍摄的不同的视角的两个图像的一个和另一个，作为标准图像和基准图像，并执行用于确定与标准图像的像素相对应的作为对应于例如块匹配等的像素的基准图像的像素的点的匹配。

具体地，可能性计算单元25连续地(successively)选择标准图像的像素作为关注的图像，并执行从以关注的像素分别移位多个视差的位置处为中心的基准图像的块与以关注的像素为中心的标准图像的块之间的块匹配。

结果，对于分别对应于相对于关注像素的多个视差的多个距离z中的每个距离，确定块匹配中的匹配误差(例如标准图像的块和基准图像的块的像素的像素值的绝对差值和等)。

然后，处理从步骤S43前进到步骤S44，在步骤S44处可能性计算单元25使用所述匹配误差根据作为立体摄像机21的传感器数据的图像数据的像素(这里是标准图像的像素)的位置(x,y)和距离z(视差)确定距位置(x,y)处反射的物体的距离为距离z的距离可能性，然后处理结束。

这里，用成本(x,y,z)(cost(x,y,z))表示针对位置(x,y)和距离z的块匹配(即，当假设距在位置(x,y)处的像素上反射的物体的距离为距离z时)中的匹配误差。

在此情况下，例如根据表达式P_ST(x,y,z)＝exp(-cost(x,y,z))，可以确定位置(x,y)处反射的距物体的距离为距离z的距离可能性P_ST(x,y,z)。

图9是示出了在图7的步骤S23处的用于根据毫米波雷达22的传感器数据来确定根据毫米波雷达22的距离可能性的处理的示例的流程图。

在步骤S51处，可能性计算单元25接收(获取)来自同步单元24的毫米波雷达22的传感器数据，并且处理前进到步骤S52。

在步骤S52处，可能性计算单元25执行对毫米波雷达22的传感器数据的快速傅立叶变换(FFT)，并且处理前进到步骤S53。

这里，在本实施例中，假设关于毫米波雷达22的传感器数据，所述传感器数据的FFT结果的强度(intensity)表示物体将在与该强度的频率相对应的距离处的可能性。

在步骤S53处，可能性计算单元25执行对毫米波雷达22的传感器数据的FFT结果的校正，并且处理前进到步骤S54。

这里，毫米波雷达22的传感器数据，即，由物体反射的毫米波，以随着距物体的距离增大而增大的量衰减。因此，为了抵消所述衰减的影响，可能性计算单元25执行用于增大毫米波雷达22的传感器数据的FFT结果的高频区域中的频率分量的校正。

此外，可能性计算单元25使用上文中参照图8描述的校准信息来执行对毫米波雷达22的传感器数据的FFT结果的校正，以抵消立体摄像机21和毫米波雷达22的安装位置和姿态的位移。

在步骤S54处，当假设距位于方向r上的物体的距离为距离d时，可能性计算单元25根据毫米波雷达22的传感器数据的FFT结果来针对毫米波雷达22的感测范围的每个方向(方位)r和每个距离d而确定距离d的距离可能性。

这里，如果与方位r和距离d相对应的毫米波雷达22的传感器数据的FFT变换(的频率分量)用fre(r，d)表示，则可以例如根据表达式P_R＝fre(r,d)/Σ_(d)fre(r,d)来确定距方位r上的物体的距离为距离d的距离可能性P_R。

表达式P_R＝fre(r,d)/Σ_(d)fre(r,d)的Σ_(d)fre(r,d)表示当距离d被改变为要对其确定距离可能性的每个距离时的fre(r,d)的总和。

然后，处理从步骤S54前进到步骤S55，在步骤S55处，可能性计算单元25通过坐标变换将针对其获得根据毫米波雷达22的距离可能性的极坐标系的每个方向r和每个距离d(定义方向和距离)变换为三维坐标系的位置(x,y,z)，以确定针对作为三维坐标系中的位置(x,y,z)的每个采样点(x,y,z)的距离可能性。然后，处理结束。

这里，可以使用上文中参照图8描述的校准信息作为场合需求来执行步骤S55处的坐标变换。

应当注意，可以以另外的方式执行根据立体摄像机21、毫米波雷达22等的传感器数据的距离可能性的生成，例如根据预先基于经验规则设计的用于将传感器数据变换为距离可能性的变换规则。

此外，可以通过预先使用传感器数据作为输入并将传感器数据作为输入提供给学习模型而执行用于输出距离可能性的学习模型的学习，来执行根据传感器数据的距离可能性的生成。

上述也类似地应用于移动量可能性。

此外，在图7的步骤S25处针对每个采样点(x,y,z)对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合之后，可以在距位置(x,y)处的像素上反射的物体的距离之前使用步骤S26处的整合可能性执行整合可能性的优化。

具体地，尽管在步骤S26处，针对每个位置(x,y)确定了其距离的整合可能性最大的距离z作为距在位置(x,y)处的像素上反射的对象的距离，但是位置(x,y)的整合可能性有时在所有距离z上是低的，在这种情况下，任何距离z不可能作为距物体的距离。

因此，在整合可能性的优化中，当位置(x,y)的整合可能性在所有距离z上是低的时，位置(x,y)的整合可能性被校正，以使根据在位置(x,y)周围的位置(x’，y’)的整合可能性确定的、在距位置(x’，y’)处的像素上反射的物体的距离附近的距离可以被容易地确定为距位置(x,y)处的像素上反射的物体的距离。

具体地，在采样点(x,y,z)处的根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性分别由p1(x,y,z)和p2(x,y,z)表示。

此外，当某个位置(x,y)周围的位置(x’，y’)(距位置(x’，y’)处的像素上反射的物体的距离)为距离z’时，位置(x,y)的距离为距离z的可能性由p(x,y,z|z’)表示。

例如，基于学习、经验规则等预先确定可能性p(x,y,z|z’)。

根据表达式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π_(x’,y’)p(x,y,z|z’)执行整合可能性的优化，其中优化之后的整合可能性由pa(x,y,z)表示。

这里，表达式pa(x,y,z)＝P1(x,y,z)×P2(x,y,z)×Π_(x’,y’)p(x,y,z|z’)中的P1(x,y,z)×P2(x,y,z)表示采样点(x,y,z)的整合可能性。此外，Π_(x’,y’)p(x,y,z|z’)表示可能性p(x,y,z|z’)的乘积，其中位置(x’,y’)被改变为位置(x,y)周围的位置。

图10是示出了整合方法的概述的视图。

在所述整合方法中，针对作为立体摄像机21的传感器数据的图像数据的每个位置(x,y)以及每个像素的每个距离z的、距位置(x,y)处反射的物体的距离为距离z的距离可能性被确定为根据立体摄像机21的距离可能性。

相应地，在作为三维坐标系的位置(x,y,z)的每个采样点(x,y,z)存在根据立体摄像机21的距离可能性。在下文中，将在三维坐标系的每个位置(x,y,z)处存在的根据立体摄像机21的距离可能性的集合称为立体可能性量(volume)。

此外，在所述整合方法中，对于毫米波雷达22的感测范围内的每个方向r和每个距离d，确定距方向r上存在的物体的距离为距离d的距离可能性。

针对每个方向r和每个距离d确定的距离可能性的集合是由方向r和距离d限定的极坐标系上的点的集合，并且在下文中也称为雷达可能性量。

在所述整合方法中，对立体可能性量进行规范化。

此外，在所述整合方法中，极坐标系的雷达可能性量被坐标变换为由位置(x,y,z)限定的三维坐标系的点的集合，并被进一步规范化。

在坐标变换之后的立体可能性量和雷达可能性量中，规范化之后在其处存在距离可能性的采样点(x,y,z)相互一致。

现在，当坐标变换之后的立体可能性量和雷达可能性量中的其处存在距离可能性的采样点(x,y,z)以这种方式相互一致时，其中存在采样点(x,y,z)的区域被称为融合域。

由于在融合域中在其处存在根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性的采样点(x,y,z)相互一致，因此可以针对每个采样点(x,y,z)对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合。

因此，在所述整合方法中，针对每个采样点(x,y,z)对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合，并且使用针对每个采样点(x,y,z)获得的整合可能性来确定距每个位置(x,y,z)处的像素上反射的物体的距离。

这里，所述融合域中的每个采样点(x,y,z)的整合可能性的集合也称为整合可能性量。

图11是示出了用于减少图5的整合单元27的整合中的整合处理的负荷的减少处理的概述的视图。

如上文中参照图5或7所描述的，整合单元27在整合时可以执行用于通过使用在上次确定的针对每个位置(x,y)的距离z或障碍物地图来减少整合处理的负荷的减少处理。

例如，整合单元27根据上次确定的作为障碍物信息的障碍物地图来识别毫米波雷达22对其的距离的检测精确度不高的路面。此外，整合单元27执行用于将路面的区域中的点变换为所述融合域中的采样点(x,y,z)的域变换。

然后，当如上文参照图10所描述的针对每个采样点(x,y,z)对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合时，整合单元27选通针对路面的区域中的采样点(x,y,z)的根据毫米波雷达22的距离可能性。

具体地，整合单元27针对除了路面的区域中的采样点(x,y,z)之外的采样点(x,y,z)而对根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性进行整合，以确定整合可能性。

另一方面，针对路面的区域中的采样点，整合单元27从整合的目标中排除根据毫米波雷达22的距离可能性。作为结果，针对路面的区域中的采样点，使用根据立体摄像机21的距离可能性自身作为整合可能性。

关于路面，由于根据毫米波雷达22的距离的检测精确度不高，因此在要确定整合可能性的情况下，即使从整合目标中排除(不包括)根据毫米波雷达22的距离可能性，但是这对根据整合可能性确定的距离的精确度没有(很少有)影响。

相应地，通过执行用于从整合的目标中排除针对路面的根据毫米波雷达22的距离可能性的减少处理，可以以高的精确度确定距物体的距离并减少整合处理的负荷。

<本技术所应用于的行程控制设备的第二详细配置示例>

图12是描述本技术所应用于的行程控制设备的第二详细配置示例的框图。

应当注意，在下面的描述中适当地省略对图12中用相似的附图标记表示的与图5的情况中的部分相对应的部分及其描述。

在图12中，行程控制设备包括立体摄像机21、发送单元23、同步单元24、可能性计算单元25、规范化单元26、整合单元27、距离计算单元28、障碍物地图生成单元29、行程控制单元30、缓冲器31和ToF传感器51。

相应地，图12的行程控制设备在其包括立体摄像机21以及从发送单元23至缓冲器31的部件的方面与图5的行程控制设备是共同的。

然而，图12的行程控制设备与图5的行程控制设备的区别在于其包括替代毫米波雷达22的ToF传感器51。

相应地，在图12的行程控制设备中，除了使用ToF传感器51的传感器数据替代毫米波雷达22的传感器数据之外，执行与上文中参照图7描述的处理相类似的处理。

图13是示出了根据图12的ToF传感器51的距离可能性的计算方法的示例的视图。

ToF传感器51具有例如以80×60的长度×宽度的矩阵等布置的光接收单元(未描述)，以高速发射传输脉冲，并接收由物体反射并从物体返回的所述传输脉冲的反射光作为接收脉冲，以检测距所述物体的距离。

具体地，在经过从图13中描述的发送脉冲的发送时间t₀起的时间段T_D之后，接收脉冲被接收，从时间t₀起经过接收脉冲的脉冲宽度T₀时的时间被表示为t₁，并且从时间t₁起经过所述脉冲宽度T₀时的时间被表示为t₂。

此外，在从时间t₀到时间t₁的时间段内呈现高(High)水平的脉冲被称为阶段1脉冲，并且在从时间t₁到时间t₂的时间段内呈现高水平的脉冲被称为阶段2脉冲。

此外，当ToF传感器51的光接收单元接收脉冲时，阶段1脉冲的时间段(从时间t₀至时间t₁的时间段)内的光接收量(填充量)被表示为N₁，并且阶段2脉冲的时间段(从时间t₁至时间t₂的时间段)内的光接收量被表示为N₂。

在ToF传感器51中，在作为预定的时间段T的时间帧T的时间段内发送大量的传输脉冲，并且与所述传输脉冲相对应的接收脉冲被光接收单元接收。

然后，在ToF传感器51中，根据表达式L＝cT₀N₂/(2(N₁+N₂))从每个接收脉冲确定距离L。这里，c表示光速。

ToF传感器51将以上述的这种方式从与时间帧T的时间段内发送的大量的传输脉冲相对应的接收脉冲确定的多个(大量的)距离L输出作为传感器数据。

然后，图12的可能性计算单元25基于作为时间帧T内的ToF传感器的传感器数据的多个距离的分布来确定距ToF传感器51的每个光接收单元的位置(x,y)的距离(即，距与位置(x,y)处的光接收单元所接收的接收脉冲相对应的传输脉冲被其反射的物体的距离)为所述多个距离z的每个距离的距离可能性。

可能性计算单元25以上述的这种方式根据ToF传感器51的传感器数据确定由ToF传感器51的光接收单元的位置(x,y)和距离z表示的三维坐标系的每个位置(x,y,z)为采样点的距离可能性。

图14是示出了用于根据图12的ToF传感器51的传感器数据确定根据ToF传感器51的距离可能性的处理的示例的流程图。

在步骤S61处，图12的可能性计算单元25接收(获取)从ToF传感器51的多个(M1)个光接收单元获得的时间帧T的时间段内的多个(M2个)距离L，作为从同步单元24提供的ToF传感器51的传感器数据，并且处理前进到步骤S62。

在步骤S62处，可能性计算单元25根据场合需求对作为ToF传感器51的传感器数据的M2个距离L进行校正，并且处理前进到步骤S63。

这里，由于步骤S62处的对ToF传感器51的传感器数据的校正，例如，用于抵消立体摄像机21和ToF传感器51的安装位置或姿态的位移的校正是可行的。可以通过针对立体摄像机21和ToF传感器51执行的校正使用预先确定的校正信息来执行该校正。

在步骤S63处，可能性计算单元25针对M1个接收单元的每个接收单元的每个位置(x,y)以及ToF传感器51的感测范围中的每个距离z，使用作为ToF传感器51的传感器数据的在时间帧T的时间段内获得的M2个距离L来确定距位置(x,y)处的光接收单元所接收的接收脉冲被其反射的障碍物的距离为距离z的距离可能性。

这里，可能性计算单元25例如基于在时间帧T的时间段内获得的M2个距离L的分布来确定距物体的距离为多个距离z的每个距离的距离可能性。

具体地，可能性计算单元25确定例如M2个距离L的平均值和变化，并确定由所述平均值和变化限定的高斯分布。然后，可能性计算单元25针对每个距离z确定根据由所述M2个距离L的所述平均值和所述变化限定的高斯分布的值作为距离可能性。

此外，可能性计算单元25确定例如M2个距离L的频率分布，并针对每个距离z确定与所述频率分布的频率相对应的值作为距离可能性。

<本技术所应用于的行程控制设备的第三详细配置示例>

图15是描述了本技术所应用于的行程控制设备的第三详细配置示例的框图。

应当注意，在图15中，与图5或12的部分相对应的部分由相似的附图标记来表示，并且在下面的描述中省略对其的描述。

在图15中，所述行程控制设备包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、可能性计算单元25、规范化单元26、整合单元27、距离计算单元28、障碍物地图生成单元29、行程控制单元30、缓冲器31和ToF传感器51。

相应地，图15的行程控制设备与图5的行程控制设备相同之处在于其包括从立体摄像机21到缓冲器31的部件。

然而，图15的行程控制设备与图5的行程控制设备的不同之处在于重新设置图12的ToF传感器51。

在图15的行程控制设备中，除了在立体摄像机21的传感器数据和毫米波雷达22的传感器数据以外还使用ToF传感器51的传感器数据之外，执行与上文中参照图7描述的处理相类似的处理。

相应地，在图15的行程控制设备中，除了根据立体摄像机21的距离可能性和根据毫米波雷达22的距离可能性之外，对根据ToF传感器51的距离可能性进行整合以确定整合可能性。

<本技术所应用于的行程控制设备的第四详细配置示例>

图16是描述本技术所应用于的行程控制设备的第四详细配置示例的框图。

应当注意，在图16中，用相似的附图标记表示与图5的情况下的部分相对应的部分，并在下面的描述中适当地省略对其的描述。

在图16中，所述行程控制设备包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、行程控制单元30、缓冲器31、可能性计算单元61、规范化单元62、整合单元63、移动量计算单元64和障碍物地图生成单元65。

相应地，图16的行程控制设备与图5的行程控制设备的相同之处在于其包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、行程控制单元30和缓冲器31。

然而，图16的行程控制设备与图5的行程控制设备的不同之处在于可能性计算单元61、规范化单元62、整合单元63、移动量计算单元64和障碍物地图生成单元65被设置在可能性计算单元25、规范化单元25、整合单元27、距离计算单元28和障碍物地图生成单元29的位置中。

可能性计算单元61对应于图1的可能性计算单元12。

可能性计算单元61针对每个采样点(x,y,z,vx,vy,vz)(即，针对作为立体摄像机21的传感器数据的图像数据的每个像素的每个位置(x,y))，根据来自同步单元24的立体摄像机21的传感器数据、距所述位置处反射的物体的距离z、以及可通过使用作为立体摄像机21的传感器数据的图像来执行的移动检测而检测到的移动范围内的每个移动量(vx,vy,vz)(相对于其中容纳所述行程控制设备的车辆的相对移动量)，来计算根据立体摄像机21的移动量可能性，并将所述移动量可能性提供给规范化单元62。

这里，关于移动量可能性，采样点(x,y,z,vx,vy,vz)是上文中参照图2描述的具有x、y、z、vx、vy和vz的轴的六维(正交)坐标系上的点。

可能性计算单元61还针对每个采样点(x,y,z,vx,vy,vz)根据来自同步单元24的毫米波雷达22的传感器数据计算根据毫米波雷达22的移动量可能性，并将所述移动量可能性提供给规范化单元62。

具体地，当假设极坐标系上的在每个方向(方位)r上的每个距离d处的位置(r,d)的移动量为可被毫米波雷达22检测到的移动量范围内的移动量时，可能性计算单元62根据来自同步单元24的毫米波雷达22的传感器数据确定每个距离的移动量可能性。

然后，可能性计算单元61通过坐标变换将根据其获得根据毫米波雷达22的移动量可能性的极坐标系中的每个位置(r,d)和每个移动量变换为六维坐标系中的每个位置(x,y,z,vx,vy,vz)，并将作为六维坐标系中的位置(x,y,z,vx,vy,vz)的每个采样点(x,y,z,vx,vy,vz)的移动量可能性提供给规范化单元62。

规范化单元62对应于图1的规范化单元13。

规范化单元62通过内插等来执行用于使来自可能性计算单元61的采样点(x,y,z,vx,vy,vz)在根据立体摄像机21的采样点(x,y,z,vx,vy,vz)的移动量可能性和根据毫米波雷达22的采样点(x,y,z,vx,vy,vz)的移动量可能性之间相一致的规范化，并将规范化后的采样点(x,y,z,vx,vy,vz)提供给整合单元63。

整合单元63对应于图1的整合单元14。

整合单元63针对每个采样点(x,y,z,vx,vy,vz)对来自规范化单元62的根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性进行整合，并将整合的移动量可能性提供给移动量计算单元64。

应当注意，整合单元63可以使用存储在缓冲器31中的信息作为场合需求来执行对根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性的整合。

具体地，在图16中，在下文中描述的由移动量计算单元64计算的移动量以及在下文中描述的由障碍物地图生成单元65生成的障碍物地图被存储到缓冲器31中。

整合单元63可以通过使用在上次确定的移动量或存储在缓冲器31中的障碍物地图执行对根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性的整合来减少整合处理的负荷。

具体地，例如，整合单元63使用上次确定的并存储在缓冲器31中的移动量和障碍物地图来检测移动物体，并指定所述移动物体的范围内的(以预定的余量在所述移动物体周围的范围内的)位置(x,y,z)。然后，整合单元63仅针对包括所述移动物体的范围内的位置(x,y,z)的采样点(x,y,z,vx,vy,vz)而执行移动量可能性的整合。此外，针对其它的采样点(x,y,z,vx,vy,vz)，整合单元63确定根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性中的一种移动量可能性自身作为整合可能性。

这里，所述移动物体不仅可以根据移动量或使用存储在缓冲器31中的障碍物地图来检测，而且可以根据毫米波雷达22的传感器数据来检测。

例如，在毫米波雷达22的传感器数据为根据其通过执行两次FFT可以确定物体的移动量的传感器数据的情况下，可以根据执行两次的毫米波雷达22的传感器数据的FFT的结果来确定物体的移动量(例如z方向上的移动量)，并基于所述移动量来检测所述移动物体。

应当注意，与图5的整合单元27相类似地，整合单元63在其对根据立体摄像机21的移动量可能性和根据毫米波雷达22的移动量可能性进行整合之后执行对整合可能性的优化。

移动量计算单元64对应于图1的距离/移动量计算单元15。

移动量计算单元64使用来自整合单元63的针对每个采样点(x,y,z,vx,vy,vz)的移动量的整合可能性来确定物体的移动量。换言之，移动量计算单元64针对每个位置(x,y,z)确定关于其的移动量的整合可能性最大的移动量(vx,vy,vz)作为所述位置(x,y,z)的移动量。

然后，移动量计算单元64将使用移动量的整合可能性确定的移动量(vx,vy,vz)提供给缓冲器31和障碍物地图生成单元65。

应当注意，移动量计算单元64还可以例如针对每个位置(x,y)而确定关于其的移动量的整合可能性最大的移动量(vx,vy,vz)和距离z，作为在位置(x,y)的像素上反射的物体的移动量以及距所述物体的距离。

障碍物地图生成单元65使用来自移动量计算单元64的移动量(vx,vy,vz)来生成障碍物地图，作为关于车辆前方存在的障碍物的障碍物信息。然后，障碍物地图生成单元65将所述障碍物地图提供给行程控制单元30和缓冲器31。

这里，在要确定移动量的情况下，作为图1的多个传感器11₁至11_N之一，实质上需要用于使用图像检测移动量的传感器，即，拍摄图像的图像传感器。

作为图像传感器，不仅可以采用图16中描述的立体摄像机21，而且可以采用构成立体摄像机21的所谓的单眼摄像机如摄像机21L或21R。

在采用单眼摄像机作为图像传感器时，在其中容纳行程控制设备的车辆正在移动(行进)的情况下，可以与根据立体摄像机21所拍摄的图像来确定距离(视差)的情况相类似地使用在互不相同的时间(位置)拍摄的图像(例如两个连续帧的图像)来确定z方向上的位置(距离z)。

应当注意，在采用单眼摄像机作为图像传感器时，在其中容纳行程控制设备的车辆处于停止状态的情况下，不能确定z方向上的位置(距离z)。在此情况下，关于z方向上的位置，例如可以采用相同的移动量可能性(忽略关于z方向上的位置的移动量可能性)。

另一方面，在单眼摄像机被采用作为图像传感器时，可以在不使用整合方法的情况下确定移动量(vx,vy,vz)。在此情况下，可以通过使用单眼摄像机所拍摄的图像执行移动检测来确定x方向和y方向上的移动量vx和vy，并且可以根据毫米波雷达22等的传感器数据来确定z方向上的移动量。如上文所述，在不使用整合方法确定移动量(vx,vy,vz)的情况下，由于z方向上的移动量vz不是根据单眼摄像机的图像确定的，并且x方向和y方向上的移动量vx和vy不是根据毫米波雷达22的传感器数据等确定的，因此与使用整合方法的替代性情况相比可以减少计算量。

此外，例如，可以通过其中使用单眼摄像机和不同的传感器的整合方法来确定移动量vx和vy，以及通过使用毫米波雷达和不同的传感器的整合方法来确定移动量vz。

图17是示出了图16的行程控制设备的处理的示例的流程图。

在步骤S121处，与图7的步骤S21相类似地，立体摄像机21从不同的视角拍摄图像，并将作为拍摄的图像的结果而获得的图像数据作为传感器数据输出到发送单元23。

此外，在步骤S121处，与图7的步骤S21相类似地，毫米波雷达22发送毫米波、接收从物体反射和返回的毫米波、并将接收的毫米波作为传感器数据输出到发送单元23。

发送单元23将从立体摄像机21和毫米波雷达22输出的传感器数据发送到同步单元24，并且处理从步骤S121前进到步骤S122。

在步骤S122处，与图7的步骤S22相类似地，同步单元24对来自发送单元23的立体摄像机21和毫米波雷达22的传感器数据进行相互同步，并将同步后的传感器数据输出到可能性计算单元61，并且处理前进到步骤S123。

在步骤S123处，可能性计算单元61针对每个采样点(x,y,z,vx,vy,vz)根据来自同步单元24的立体摄像机21的传感器数据来计算根据立体摄像机21的移动量可能性，并将所述移动量可能性提供给规范化单元62。

此外，可能性计算单元61针对每个采样点(x,y,z,vx,vy,vz)根据来自同步单元24的毫米波雷达22的传感器数据来计算根据毫米波雷达22的移动量可能性，并将所述移动量可能性提供给规范化单元62。

然后，处理从步骤S123前进到步骤S124，在步骤S124处，规范化单元62执行规范化以使来自可能性计算单元61的采样点(x,y,z,vx,vy,vz)在根据立体摄像机21的采样点(x,y,z,vx,vy,vz)的移动量可能性以及根据毫米波雷达22的采样点(x,y,z,vx,vy,vz)的移动量可能性之间相互一致。

规范化单元62将规范化后的根据立体摄像机21的采样点(x,y,z,vx,vy,vz)的移动量可能性以及根据毫米波雷达22的采样点(x,y,z,vx,vy,vz)的移动量可能性提供给整合单元63。然后，处理从步骤S124前进到步骤S125。

在步骤S125处，整合单元63针对每个采样点(x,y,z,vx,vy,vz)对来自规范化单元62的根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性进行整合。

然后，整合单元63将作为整合的结果而获得的针对采样点(x,y,z,vx,vy,vz)的移动量的整合可能性提供给移动量计算单元64，并且处理从步骤S125前进到步骤S126。

应当注意，如图16所示，整合单元63可以使用在上次确定的并存储在缓冲器31中的移动量(vx,vy,vz)和障碍物地图作为场合需求来执行对根据立体摄像机21的移动量可能性以及根据毫米波雷达22的移动量可能性的整合。结果，可以减少整合处理的负荷。

此外，与图5的整合单元27相类似地，整合单元63可以针对作为整合的结果而获得的移动量的整合可能性执行对整合可能性的优化。

在步骤S126处，移动量计算单元64使用来自整合单元63的各个采样点(x,y,z,vx,vy,vz)的移动量的整合可能性来确定整合可能性最高的移动量(vx,vy,vz)作为位置(x,y,z)或位置(x,y)处的障碍物的移动量。

然后，移动量计算单元64将移动量(vx,vy,vz)提供给障碍物地图生成单元65和缓冲器31，并且处理从步骤S126前进到步骤S127。

在步骤S127处，缓冲器31缓冲(暂时存储)从移动量计算单元64提供的移动量(vx,vy,vz)，并且处理前进到步骤S128。

这里，当整合单元63执行下个整合时，提供给缓冲器31的移动量(vx,vy,vz)用作场合需求。

在步骤S128处，障碍物地图生成单元65使用来自移动量计算单元64的移动量(vx,vy,vz)生成障碍物地图作为关于车辆前方存在的障碍物的障碍物信息。然后，障碍物地图生成单元65将障碍物地图提供给行程控制单元30和缓冲器31，并且处理从步骤S128前进到步骤S129。

在步骤S129处，缓冲器31缓冲从障碍物信息生成单元65提供的障碍物地图，并且处理前进到步骤S130。

这里，当整合单元63执行下个整合时，存储在缓冲器31中的障碍物地图被用作场合需求。

在步骤S130处，行程控制单元30使用来自障碍物地图生成单元65的障碍物地图执行对车辆的行程控制，并且处理结束。

应当注意，根据图17的流程图的处理在流水线中重复地执行。

图18是示出了用于根据图17的步骤S123处的立体摄像机21的传感器数据来确定根据立体摄像机21的移动量可能性的处理的示例的流程图。

在步骤S141和S142处，执行与图8的步骤S41和S42处的处理相类似的处理。

在步骤S143处，与图8的步骤S43相类似地，可能性计算单元61将作为立体摄像机21的传感器数据的摄像机21L和摄像机21R所拍摄的不同视角的两个图像的一个和另一个确定为标准图像和基准图像，并针对标准图像的每个像素执行用于确定与所述像素相对应的作为基准图像的像素的对应点的匹配，例如通过块匹配等。

此外，可能性计算单元61根据针对标准图像的像素与针对该像素而获得的基准图像的对应点之间的视差来确定距标准图像的每个像素上反射的物体的距离，作为标准图像的像素的位置(x,y)的距离z，并且处理从步骤S143前进到步骤S144。

在步骤S144处，可能性计算单元61针对每个位置(x,y)和距离z以及作为立体摄像机21的传感器数据的标准图像的每个像素的每个移动量(vx,vy,vz)，例如通过执行标准图像的位置(x,y)处的像素的移动检测，来确定位置(x,y)处的物体的移动量和距离z为移动量(vx,vy,vz)的移动量可能性，并且处理结束。

具体地，可能性计算单元61选择例如标准图像的最近的帧作为关注帧，并连续地选择所述关注帧的像素作为关注像素。此外，可能性计算单元61执行在关注帧的前一个帧的且中心位于从关注像素起在x方向和y方向上位移多个移动量(vx,vy)的位置处的先前帧的块与中心位于关注像素处的关注帧的块之间的块匹配。

结果，针对多个移动量(vx,vy)的每个移动量相对于关注像素确定块匹配的匹配误差。

此外，可能性计算单元61根据已经使用先前帧作为关注帧并针对从关注像素分别位移移动量(vx,vy)的每个位置处的先前帧的像素确定的距离、以及在紧挨着的先前的步骤S143处针对关注像素确定的距离z，来确定z方向上的移动量vz。

从上述来看，针对关注像素的每个像素的每个位置(x,y)和距离z，确定当位置(x,y)处的物体的移动量和距离z为移动量(vx,vy,vz)时的匹配误差。

然后，针对关注像素的每个像素的每个位置(x,y)和距离z，可能性计算单元61使用所述匹配误差来确定位置(x,y)处的物体的移动量和距离z为移动量(vx,vy,vz)的移动量可能性。

具体地，如果针对定位置(x,y)和距离z以及移动量(vx,vy,vz)的匹配误差被表示为成本(cost)(x,y,z,vx,vy,vz)，则可能性计算单元61确定定位置(x,y)处的物体的移动量和距离z为移动量(vx,vy,vz)的移动量可能性P_ST(x,y,z,vx,vy,vz)，例如根据表达式P_ST(x,y,z,vx,vy,vz)＝exp(-cost(x,y,z,vx,vy,vz)。

图19是示出了图17的步骤S123处的用于根据毫米波雷达22的传感器数据确定根据毫米波雷达的移动量可能性的处理的流程图。

在步骤S151处，可能性计算单元61接收(获取)来自同步单元24的毫米波雷达22的传感器数据，并且处理前进到步骤S152。

在步骤S152处，可能性计算单元61执行对毫米波雷达22的传感器数据的FFT，并进一步执行对FFT的结果的FFT，并且处理前进到步骤S153。

这里，在本实施例中，假设在毫米波雷达22的传感器数据中，FFT结果的FFT结果(即，第二次的FFT结果的强度)表示物体正以与所述强度的时间点相对应的移动量移动的可能性。

应当注意，对于毫米波雷达22的传感器数据的FFT结果，可以执行与图9的步骤S53的情况相类似的校正。

在步骤S153处，当假设针对毫米波雷达22的感测范围中的每个方向(方位)r和每个距离d以及每个移动量(vx,vy,vz)、在方向r上和距离d处的物体的移动量为移动量(vx,vy,vz)时，可能性计算单元61根据毫米波雷达22的传感器数据的第二次FFT结果来确定每个移动量(vx,vy,vz)的移动量可能性。

这里，如果与方向r、距离d和移动量(vx,vy,vz)相对应的毫米波雷达22的传感器数据的第二次FFT结果被表示为fft2(r,d,vx,vy,vz)，则可以例如根据表达式P_R＝fft2(r,d,vx,vy,vz)/Σ_(vx,vy,vz)fft2(r,d,vx,vy,vz)来确定在方向r上和距离d处存在的物体的移动量为移动量(vx,vy,vz)的情况下的移动量可能性。

当移动量(vx,vy,vz)被用于确定移动量可能性的每个移动量替代时，移动量可能性P_R＝fft2(r,d,vx,vy,vz)/Σ_(vx,vy,vz)fft2(r,d,vx,vy,vz)的Σ_(vx,vy,vz)fft2(r,d,vx,vy,vz)表示fft2(r,d,vx,vy,vz)的总和。

然后，处理从步骤S154前进到步骤S155，在步骤s155处可能性计算单元61将利用其获得根据毫米波雷达22的移动量可能性的方向r和距离d以及移动量(vx,vy,vz)通过坐标变换而变换为作为六维坐标系的每个位置(x,y,z)的每个位置(x,y,z,vx,vy,vz)，以确定作为六维坐标系的每个位置(x,y,z)的每个采样点(x,y,z,vx,vy,vz)的移动量可能性。然后，处理结束。

应当注意，虽然在图16中除了作为图像传感器的立体摄像机21之外还设置了毫米波雷达22作为除了作为图像传感器的立体摄像机21之外的传感器，但是例如可以使用图12所描述的ToF传感器51来替代毫米波雷达22。

此外，作为除了作为图像传感器的立体摄像机21之外的传感器，例如，可以使用图15所描述的毫米波雷达22和ToF传感器51。

<本技术所应用于的行程控制设备的第五详细配置示例>

图20是描述本技术所应用于的行程控制设备的第五详细配置示例的框图。

应当注意，在图20中，用相似的附图标记来表示与图5中的部分相对应的部分，并在下面的描述中适当地省略对其的描述。

在图20中，行程控制设备包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、行程控制单元30、缓冲器31、ToF传感器51、激光雷达71、可能性计算单元81、规范化单元82、整合单元83、距离/移动量计算单元84和障碍物地图生成单元85。

相应地，图20的行程控制设备与图5的行程控制设备的相同之处在于其包括立体摄像机21、毫米波雷达22、发送单元23、同步单元24、行程控制单元30和缓冲器31。

然而，图20的行程控制设备与图5的行程控制设备的不同之处在于，其包括替代可能性计算单元25、规范化单元26、整合单元27、距离计算单元28和障碍物地图生成单元29的可能性计算单元81、规范化单元82、整合单元83、距离/移动量计算单元84和障碍物地图生成单元85。

此外，图20的行程控制设备与图5的行程控制设备的不同之处在于其新包括图12的ToF传感器51和激光雷达71。

可能性计算单元81具有与图5的可能性计算单元25和图16的可能性计算单元61的功能相类似的功能。规范化单元82具有与图5的规范化单元26和图16的规范化单元62的功能相类似的功能。整合单元83具有与图5的整合单元27和图16的整合单元63相类似的功能。距离/移动量计算单元84具有与图5的距离计算单元28和图16的移动量计算单元64相类似的功能。

在图20的行程控制设备中，针对立体摄像机21、毫米波雷达22、ToF传感器51和激光雷达71的传感器数据执行与图5和图16的行程控制设备相类似的处理，并且距离/移动量计算单元84由此确定距离和移动量。

然后，障碍物地图生成单元85使用通过距离/移动量计算单元84确定的距离和移动量生成障碍物地图。

应当注意，虽然在图5的行程控制设备中，针对每个位置(x,y)，使用整合单元27所确定的针对各个采样点(x,y,z)的距离的整合可能性根据距离的整合可能性来确定整合可能性最高的距离z作为距该位置(x,y)处的像素上反射的物体的距离，但是可以确定除了距物体的距离之外的信息。

具体地，例如，针对对于每个采样点(x,y,z)的距离的整合可能性当中的、整合可能性(图10中的整合可能性量)最高的每个(x,y,z)，可以检测和确定由点(x,y,z)构成的、所计算的y值为基本上固定的值的区域，作为路面区域。

类似地，也是根据针对每个采样点(x,y,z,vx,vy,vz)的移动量的整合可能性，可以使用移动量的整合可能性来确定除了移动量之外的信息。

<本技术所应用于的计算机的描述>

现在，虽然由诸如图1的可能性计算单元12、规范化单元13或整合单元14之类的每个模块执行的一系列处理可以通过硬件来运行，但是可以以其它的方式通过软件来运行。在通过软件运行所述系列处理的情况下，对软件进行解释的程序被安装到计算机中以用于专用等。

因此，图21描述了用于运行上述的系列处理的程序所安装到其中的计算机的实施例的配置示例。

所述程序可以预先记录在硬盘105或只读存储器103中，作为在计算机中内置的记录介质。

替代性地，所述程序可以被存储(记录)在可移除记录介质111中。刚描述的这种可移除记录介质111可以被设置为所谓的软件包。这里，作为可移除记录介质111，例如，软盘、压缩盘只读存储器(CD-ROM)、磁光(Magneto Optical)盘、数字通用盘(DVD，Digital Versatile Disc)、磁盘、半导体存储器等是可用的。

应当注意，除了将程序从上述的这种可移除记录介质111安装到计算机中之外，程序可以通过通信网络或广播网络下载到计算机中，并被安装到内置在计算机中的硬盘105中。具体地，程序可以例如通过无线通信经由用于数字微信广播的人造卫星从下载站点传送到计算机，或者可以通过有线通信经由诸如局域网(LAN)或互连网的网络传送到计算机。

所述计算机具有内置的中央处理单元(CPU)102，并且输入/输出接口110经由总线101连接到CPU102。

如果输入单元107被用户操作等以经由输入/输出接口110输入指令，则CPU102根据所述指令运行存储在只读存储器(ROM)103中的程序。此外，CPU 102将存储在硬盘105中的程序加载到随机存取存储器(RAM)中，并运行该程序。

结果，CPU 102执行根据上文中描述的流程图的处理或由上文中描述的模块图的部件执行的处理。然后，CPU102使得处理的结果例如经由输入/输出接口110从输出单元106输出、从通信单元108发送、经由输入/输出接口110被记录到硬盘105等中作为场合需求。

应当注意，由键盘、鼠标、麦克风等来配置输入单元107。同时，由液晶显示器(LCD)、扬声器等来配置输出单元106。

这里，在本说明书中，计算机根据所述程序所执行的处理可以不必以根据流程图中描述的顺序的时间序列来执行。换言之，根据所述程序执行的处理还包括并行地或分离地运行的处理(例如并行处理或由物体进行的处理)。

此外，所述程序可以通过单个计算机(处理器)来进行处理或可以以分布式方式由多个计算机来进行处理。此外，所述程序可以被传送到远程计算机并被远程计算机运行。

此外，在本说明书中，术语系统用于表示由多个构成元件(装置、模块(部分)等)构成的聚合，并且是否所有的构成元件都被容纳在相同的壳体内是无关紧要的。相应地，单个壳体中容纳的通过网络相互连接的多个设备构成了系统，并且容纳在单个壳体中的包括多个模块的一个设备构成了系统。

应当注意，本技术的实施例不限于上述的实施例，并且可以以各种方式改变而不背离本技术的主题。

例如，本技术可以假设其中由多个设备经由网络共享并合作地处理一个功能的集群计算机(crowd computer)的配置。

此外，参照上文描述的流程图所描述的步骤不仅可以由一个设备运行，而且可以由多个设备共享和运行。

此外，在多个处理被包括在一个步骤中的情况下，所述一个步骤中包括的多个处理可以由单个设备运行，或者可以由多个设备共享和运行。

此外，在此描述的效果最终是示例性的，而非限定性的，可以涉及到其它的效果。

应当注意，本技术可以采取以下配置：

<1>

一种信息处理设备，包括：

可能性计算单元，被配置用于根据通过多种距离测量方法中的每种距离测量方法获得的信息来计算距物体的距离为多个距离中的每个距离的距离可能性；以及

整合单元，被配置用于对根据所述多种距离测量方法的距离可能性进行整合，以确定所述多个距离中的每个距离的整合可能性。

<2>

根据<1>所述的信息处理设备，还包括：

距离测量单元，被配置用于使用所述整合可能性来确定所述距物体的距离。

<3>

根据<2>所述的信息处理设备，还包括：

生成单元，被配置用于使用所述距物体的距离来生成与障碍物相关的障碍物信息。

<4>

根据<3>所述的信息处理设备，其中

所述整合单元使用在上次获得的所述距离或所述障碍物信息来对根据所述多种距离测量方法的距离可能性进行整合。

<5>

根据<1>-<4>中任一所述的信息处理设备，还包括：

同步单元，被配置用于对从用于所述多种距离测量方法的距离测量的多个传感器输出的传感器数据进行同步。

<6>

根据<1>-<5>中任一所述的信息处理设备，其中：

用于所述多种距离测量方法的距离测量的传感器为立体摄像机、雷达、飞行时间传感器和激光雷达中的两个或多个传感器。

<7>

一种信息处理方法，包括：

根据通过多种距离测量方法中的每种距离测量方法获得的信息，计算距物体的距离为多个距离中的每个距离的距离可能性；以及

对根据所述多种距离测量方法的距离可能性进行整合，以确定所述多个距离中的每个距离的整合可能性。

<8>

一种程序，用于使计算机用作：

可能性计算单元，被配置用于根据通过多种距离测量方法中的每种距离测量方法获得的信息来计算距物体的距离为多个距离中的每个距离的距离可能性；以及

整合单元，被配置用于对根据所述多种距离测量方法的距离可能性进行整合，以确定所述多个距离中的每个距离的整合可能性。

【附图标记列表】

11₁至11_N传感器,

12 可能性计算单元,

13 规范化单元,

14 整合单元,

15 距离/测量量计算单元,

16 行程控制单元,

21 立体摄像机,

21L,21R 摄像机,

22 毫米波雷达,

23 发送单元,

24 同步单元,

25 可能性计算单元,

26 规范化单元,

27 整合单元,

28 距离计算单元,

29 障碍物地图生成单元,

30 行程控制单元,

31 缓冲器,

51 飞行时间传感器,

61 可能性计算单元,

62 规范化单元,

63 整合单元,

64 移动量计算单元,

71 激光雷达,

81 可能性计算单元,

82 规范化单元,

83 整合单元,

84 距离/移动量计算单元,

85 障碍物地图生成单元,

101 总线,

102 中央处理器,

103 只读存储器,

104 随机存取存储器,

105 硬盘,

106 输出单元,

107 输入单元,

108 通信单元,

109 驱动器,

110 输入/输出接口,

111 可移除记录介质