距离信息取得装置、多路径检测装置及多路径检测方法与流程

本发明涉及通过tof(timeofflight，飞行时间)方式测定距离的距离信息取得装置、多路径检测装置及多路径检测方法。

背景技术：

通常，在基于来自目标的反射光的飞行时间来测定距离的tof相机系统中，在直接反射光和间接反射光混杂的多路径环境下测定误差变大为测定精度变差。相对于此，例如专利文献1及非专利文献1提出了减轻多路径的影响的tof相机。

现有技术文献

专利文献

专利文献1：国际公开第2015/189311号

非专利文献

非专利文献1：d.freedman，e.krupka，y.smolin，i.leichter，andm.schmidt，″sra：fastremovalofgeneralmultipathfortofsensors.″inproceedingsofthe13theuropeanconferenceoncomputervision(eccv′14).234--249

技术实现要素：

发明要解决的课题

但是，在专利文献1的tof相机系统中，由于具备特别的专用的照明单元，所以有装置成本变高的问题。在非专利文献1的tof相机系统中，存在用于判定有无多路径的计算量较多、即处理负荷较重的问题。因此，非专利文献1的有无多路径的判定在具有较高的处理能力的pc等计算机中能够进行实时处理，但是有不适合于不是这样的小型的tof相机系统中的实时处理的问题。

本发明的目的是提供一种能够减轻用来检测多路径的处理负荷并降低成本的距离信息取得装置、多路径检测装置及多路径检测方法。

用来解决课题的手段

为了解决上述课题，有关本发明的一技术方案的距离信息取得装置具备：发光部，按照指示发光的发光脉冲进行发光；固体摄像元件，按照指示曝光的曝光脉冲进行曝光；发光曝光控制部，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个组的发光脉冲与曝光脉冲之间的时间差相互不同；以及多路径检测部，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与参照数据进行比较，根据比较结果的差异来判定是否有多路径，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据。

此外，有关本发明的一技术方案的多路径检测装置，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件来检测多路径的多路径检测装置，其中，具备：发光曝光控制部，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个组的发光脉冲与曝光脉冲之间的时间差相互不同；以及多路径检测部，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与参照数据进行比较，根据比较结果的差异来判定是否有多路径，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据。

进而，有关本发明的一技术方案的多路径检测方法，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件来检测多路径的多路径检测方法，其中，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个组的发光脉冲与曝光脉冲之间的时间差相互不同；通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列；将所取得的上述受光信号序列与参照数据进行比较，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据；根据比较结果的差异来判定是否有多路径。

发明效果

根据有关本发明的距离信息取得装置、多路径检测装置及多路径检测方法，能够减轻用来检测多路径的处理负荷并降低成本。

附图说明

图1是表示在作为比较例的距离信息取得装置中不存在多路径的情况下的测距动作的说明图。

图2是用来说明tof方式(其1)的时间图。

图3是用来说明tof方式(其2)的时间图。

图4是在比较例的距离信息取得装置中表示多路径环境的一例的测距动作的说明图。

图5是用来说明tof方式(其1)中的产生因多路径环境带来的测定误差的动作的时间图。

图6是用来说明tof方式(其2)中的产生因多路径环境带来的测定误差的动作的时间图。

图7a是表示有关实施方式1的距离信息取得装置的结构例的框图。

图7b是表示有关实施方式1的多路径检测部的结构例的框图。

图8a是表示有关实施方式1的多路径检测部的发光曝光定时的第1动作例的图。

图8b是表示有关实施方式1的多路径检测部的第1动作例的受光信号序列的一例的图。

图9是表示有关实施方式1的多路径检测部的第1动作例的多路径检测的说明图。

图10是表示有关实施方式1的多路径检测部的第1动作例的修正方法的图。

图11a是表示有关实施方式1的多路径检测部的发光曝光定时的第2动作例的图。

图11b是表示有关实施方式1的多路径检测部的第2动作例的受光信号序列的一例的图。

图11c是表示有关实施方式1的多路径检测部的第2动作例的被标准化的受光信号序列的一例和参照数据的图。

图12a是表示有关实施方式1的多路径检测部的发光曝光定时的第3动作例的图。

图12b是表示有关实施方式1的多路径检测部的第3动作例的被标准化的参照数据的一例的图。

图13是表示以具有波形钝化的脉冲波形为对象的修正的说明图。

图14a是表示有关实施方式2的多路径检测部的第1动作例的图。

图14b是表示有关实施方式2的多路径检测部的第1动作例的受光信号序列的一例的图。

图15a是表示有关实施方式2的多路径检测部的第2动作例的图。

图15b是表示有关实施方式2的多路径检测部的第2动作例的受光信号序列的一例的图。

图16是表示有关实施方式2的多路径检测部的多路径检测方法的说明图。

图17是表示有关实施方式2的多路径检测部的多路径检测方法的一例的流程图。

图18是表示有关实施方式2的多路径检测部的修正系数计算例的说明图。

图19是表示有关实施方式2的多路径检测部的修正系数计算例的说明图。

图20是表示有关实施方式3的距离信息取得装置的结构例的框图。

具体实施方式

(发明者的认识)

本发明者关于在“背景技术”栏中记载的照明装置，发现会发生以下的问题。

首先，作为比较例而说明有关本发明者的认识的距离信息取得装置。

图1是表示有关本发明者的认识的比较例的距离信息取得装置的结构的图。在该图中，也图示了作为取得距离信息的对象物的物体obj。该图的距离信息取得装置是基于tof方式的测距装置，具备发光曝光控制部101、固体摄像元件102及发光部104。

发光曝光控制部101生成具有向发光部104指示发光的发光脉冲的发光控制信号、和具有向固体摄像元件102指示曝光的曝光脉冲的曝光控制信号。

固体摄像元件102按照曝光控制信号的曝光脉冲进行曝光即摄像。

发光部104按照发光控制信号的发光脉冲进行发光即发出照明光。

距离运算部112根据通过至少3种曝光处理得到的接收信号序列，按每个像素计算距离。

接着，作为比较例的距离信息取得装置的动作例，对tof方式(其1)及tof方式(其2)进行说明。

图2是用来说明tof方式(其1)的时间图。在该图中，还记载有所拍摄的图像例。该图表示了(2a)具有发光脉冲的发光控制信号(或来自发光部104的照射光)、(2b)向固体摄像元件102的入射光、和(2c)具有曝光脉冲的曝光控制信号。该图的发光脉冲是用高电平表示激活的正逻辑，曝光脉冲是用低电平表示激活的负逻辑。(2b)入射光包含来自受到照射光的物体obj的反射光和背景光。反射光根据从距离信息取得装置到物体的距离而相对于照射光具有延迟时间。入射光中的该图的涂黑部分(一处)及阴影线部分(两处)相当于每个像素的受光信号。

用于测距的发光曝光处理包括s0曝光、s1曝光及bg曝光。

在s0曝光中，曝光脉冲与发光脉冲的开始同时成为激活。即，曝光与发光同时开始。此外，曝光脉冲的脉冲宽度比发光脉冲的脉冲宽度长。在s0曝光中，例如能够将反射光中的开头部分或整体曝光。

在s1曝光中，曝光脉冲与发光脉冲的结束同时成为激活。即，曝光在发光的结束时间点开始。此外，曝光脉冲的脉冲宽度与发光脉冲的脉冲宽度相同。在s1曝光中，例如在照明光的结束后，能够将延迟的反射光的部分曝光。

在bg曝光中，在没有发光脉冲的状态下将曝光脉冲设为有效，将不存在反射光的背景光曝光。

距离运算部112使用s0曝光、s1曝光、bg曝光中的每个像素的受光信号量(信号电荷量)，按每个像素计算距离l。如果设s0曝光、s1曝光、bg曝光中的每个像素的受光信号量(即通过受光产生的信号电荷的量)为s0、s1、bg，则每个像素的距离l可通过数式1计算。c是光速(约299792458m/s)，tl0是发光脉冲的时间宽度。

[数学式1]

接着，作为比较例的距离信息取得装置的动作例，对tof方式(其2)进行说明。

图3是用来说明tof方式(其2)的时间图。该图与图2同样，表示了(3a)发光控制信号(或来自发光部104的照射光)的波形、(3b)入射光的波形、和(3c)曝光控制信号的波形。图3与图2相比，曝光脉冲的宽度与发光脉冲的宽度相同这一点不同。在此情况下，按每个像素，通过数式2计算距离l。

[数学式2]

这样的tof方式(其1)及tof(其2)有在直接反射光与间接反射光混杂的多路径环境下产生测定误差的问题。

接着，对在多路径环境下的比较例的距离信息取得装置的动作中产生测定误差的机理进行说明。

图4是在比较例的距离信息取得装置中表示多路径环境的一例的测距动作的说明图。在该图中，也图示了作为测距对象的物体obj-1、以及将照射光反射而成为间接照明光的原因的物体obj-2。

在该图中，表示了存在直接照射光d-path1、直接反射光d-path2、间接照射光m-path1、m-path2及间接反射光m-path3的多路径环境的例子。

图5是用来说明tof方式(其1)中的产生由多路径环境带来的测定误差的动作的时间图。该图表示了(5a)发光控制信号或照射光、(5b)直接反射光d-path、(5c)间接反射光m-path、(5d)作为直接反射光与间接反射光之和的混合反射光、和(5e)曝光控制信号。其中，(5a)发光控制信号或照射光、(5b)直接反射光d-path及(5e)曝光控制信号与图2所示的(2a)发光控制信号(或照射光)、(2b)入射光及(2c)曝光控制信号相同。即，图5为相对于图2追加了(5c)间接反射光m-path和(5d)混合反射光的图。

s0曝光中的受光信号量s0为由直接反射光带来的受光信号量d0与由间接反射光带来的受光信号量m0的合计。同样，s1曝光中的受光信号量s1为由直接反射光带来的受光信号量d1与由间接反射光带来的受光信号量m1的合计。

通过toh方式(其1)求出每个像素的距离l的数式1如果应用图5则成为数式3。其中，设由背景光带来的受光信号量bg为0，假设为小到能够忽视。

[数学式3]

在数式3中，由间接反射光带来的受光信号量m0及m1不依赖于物体obj1的距离，而作为依赖于周边物体的值来产生，所以数式3的距离l包含根据物体obj-1不能预测的误差，既有使测定精度小幅劣化的情况，也有使其大幅劣化的情况。

图6是用来说明tof方式(其2)中的产生由多路径环境带来的测定误差的动作的时间图。该图表示(6a)发光控制信号或照射光、(6b)直接反射光d-path、(6c)间接反射光m-path、(6d)作为直接反射光与间接反射光之和的混合反射光、(6e)曝光控制信号。图6为相对于图3追加了(6c)间接反射光m-path和(6d)混合反射光的图。

s0曝光中的受光信号量s0为由直接反射光带来的受光信号量d0与由间接反射光带来的受光信号量m0的合计。同样，s1曝光中的受光信号量s1为由直接反射光带来的受光信号量d1与由间接反射光带来的受光信号量m1的合计。通过toh方式(其2)求出每个像素的距离l的数式2如果应用图6则成为数式4。其中，设由背景光带来的受光信号量bg为0，假设为小到能够忽视。

[数学式4]

在数式4中，由间接反射光带来的受光信号量m0及m1不依赖于物体obj1的距离，而以依赖于周边物体的大小产生，所以数式4的距离l成为包含根据物体obj-1不能预测的误差，既有使测定精度小幅劣化的情况，也有使其大幅劣化的情况。

这样，对于使测距精度劣化的多路径，在上述的专利文献1的tof相机系统中，由于具备特别的专用的照明单元，所以有装置成本变高的问题。此外，非专利文献1存在用于判定有无多路径的处理负荷较重的问题。

所以，本发明的目的是提供一种能够减轻用来检测多路径的处理负荷、并且降低成本的距离信息取得装置、多路径检测装置及多路径检测方法。

为了解决上述问题，有关本发明的一技术方案的距离信息取得装置具备：发光部，按照指示发光的发光脉冲进行发光；固体摄像元件，按照指示曝光的曝光脉冲进行曝光；发光曝光控制部，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；以及多路径检测部，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与参照数据进行比较，根据比较结果的差异来判定是否有多路径，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据。

此外，有关本发明的一技术方案的多路径检测装置，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件来检测多路径的多路径检测装置，其中，具备：发光曝光控制部，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；以及多路径检测部，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与参照数据进行比较，根据比较结果的差异来判定是否有多路径，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据。

此外，有关本发明的一技术方案的多路径检测方法，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件来检测多路径的多路径检测方法，其中，生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列；将所取得的上述受光信号序列与参照数据进行比较，上述参照数据是作为没有多路径的环境下的受光信号序列的模型而预先制作的数据；根据比较结果的差异来判定是否有多路径。

由此，能够减轻用来检测多路径的处理负荷并降低成本。

以下，使用附图对本发明的实施方式详细地进行说明。

另外，以下说明的实施方式都表示本发明的一包含性或具体的例子。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式1)

[1.1距离信息取得装置100的结构例]

图7a是表示有关实施方式1的距离信息取得装置100的结构例的框图。在该图中，还示意性地图示了作为取得距离信息的对象物的物体obj、照射光、反射光。

该图的距离信息取得装置100是基于tof方式的测距装置，具备发光曝光控制部101、固体摄像元件102、信号处理部103及发光部104。发光部104具备光源驱动部114及光源115。此外，该图中的包括发光曝光控制部101及多路径检测部111的电路部分相当于判定有无多路径的多路径检测装置110。

发光曝光控制部101在多路径检测动作及通常的测距动作中，生成指示发光和曝光的定时信号。具体而言，发光曝光控制部101在多路径检测动作中，生成指示多个由向发光部104指示发光的发光脉冲和向固体摄像元件102指示曝光的曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差。该定时信号例如包括具有向发光部104指示发光的发光脉冲的发光控制信号和具有向固体摄像元件102指示曝光的曝光脉冲的曝光控制信号。此外，发光曝光控制部101在通常的测距动作中，生成图2所示的tof方式(其1)的(2a)发光控制信号和(2c)曝光控制信号，或者生成图3所示的tof方式(其2)的(3a)发光控制信号和(3c)曝光控制信号。

固体摄像元件102是具有二维地排列的像素的图像传感器，按照曝光控制信号的曝光脉冲进行曝光即摄像。

信号处理部103具备多路径检测部111及距离运算部112。

多路径检测部111如以下这样进行多路径检测动作。即，多路径检测部111通过遵循上述定时信号所指示的多个组的发光及曝光，从固体摄像元件102取得受光信号序列，将所取得的受光信号序列与作为没有多路径的环境下的受光信号的模型而预先制作的参照数据进行比较，根据比较结果的差异来判定多路径的有无。进而，多路径检测部111在判定为存在多路径的情况下，按每个像素计算修正系数，将计算出的修正系数向距离运算部112输出。

距离运算部112在由多路径检测部111判定为不存在多路径的情况下，通过图2所示的tof方式(其1)或图3所示的tof方式(其2)计算每个像素的距离l，生成距离图像。此外，距离运算部112在由多路径检测部111判定为存在多路径的情况下，通过图2所示的tof方式(其1)或图3所示的tof方式(其2)计算每个像素的距离l，进而使用修正系数将距离l修正而生成距离图像。

另外，信号处理部103也可以由微计算机、微控制器或dsp(digitalsignalprocessor，数字信号处理器)构成。微计算机、微控制器或dsp(digitalsignalprocessor)具备保存多路径检测用的程序的存储器和执行程序的cpu(centralprocessingunit，中央处理单元)。

发光部104具备光源驱动部114和光源115。光源驱动部114按照发光控制信号的发光脉冲使光源115发光。光源115按照控制向光源驱动部114输出照明光。照明光是与发光脉冲相同定时的脉冲状，例如可以是近红外线。

[1.2多路径检测部111的结构例]

接着，对多路径检测部111的结构例进行说明。

图7b是表示有关实施方式1的多路径检测部111的结构例的框图。该图的多路径检测部111具备定时指示部701、信号储存部702、基准保持部703、信号比较部704及修正系数计算部705。

定时指示部701生成指示多个由发光脉冲和曝光脉冲构成的组的定时信号，该多个组在发光脉冲与曝光脉冲之间具有相互不同的时间差。

多个组从上述的时间差小的组起依次包括第1组至第n(n是整数)组。定时指示部701例如以第1组至第n组的顺序、或第n至第1的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。或者，定时指示部701以第1组至第n组的顺序、或第n至第1的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。或者，定时指示部701也可以以使从上述时间差小的组起依次选择的1组和从上述时间差大的组起依次选择的1组交替的方式生成上述定时信号，向发光曝光控制部101输出。

信号储存部702通过遵循定时信号所指示的多个组的发光及曝光，从固体摄像元件102取得多个受光信号，作为受光信号序列储存。受光信号序列包括与第1组至第n组对应的第1受光信号至第n受光信号。

基准保持部703存储作为没有多路径的环境下的受光信号的模型而预先制作的参照数据。参照数据通过模拟或实验性地制作，例如设想存在直接反射光但不存在间接反射光的环境，将在该没有多路径的环境中按照上述定时信号所指示的多个组进行了发光及曝光时得到的接收信号序列作为模型。参照数据由接收信号序列或表示接收信号序列的特征量的标量值表示。此外，参照数据也可以被进行将接收信号的最大值设为1的标准化。

信号比较部704将储存在信号储存部702中的受光信号序列与被基准保持部703保持的参照数据比较，根据比较结果的差异来判定多路径的有无。

修正系数计算部705在由信号比较部704判定为存在多路径时，计算与由信号比较部704得到的比较结果的差异对应的每个像素的修正系数。

[1.3多路径检测的第1动作例]

对于如以上这样构成的实施方式1的距离信息取得装置100，首先对多路径检测的第1动作例进行说明。

图8a是表示有关实施方式1的多路径检测部中的发光曝光定时的第1动作例的图。

首先，对该图的(8a)至(8g)所示的信号波形进行说明。(8a)至(8g)所示的信号波形并不一定限于相同的时间轴上的波形，为了说明的方便，混杂不同时间轴的波形而进行记载。该图所示的各种定时并不限于现实的时刻，也可以是假想的或逻辑性的时刻。例如，曝光定时ts1也是储存在信号储存部702中的受光信号的假想的时刻。

(8a)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲，或基于该发光脉冲的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时tl1。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。发光脉冲是正逻辑，在高电平区间对应于发光，在低电平区间中对应于熄灭。该发光脉冲代表性地表示了在由定时指示部701指示的第1组至第n组的n个组中包含的n个发光脉冲。

(8b)示意性地表示了来自(8a)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(8c)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，表示第1组曝光脉冲。设该曝光脉冲的定时为曝光定时ts1。设该曝光脉冲的脉冲宽度为ts。曝光脉冲是负逻辑，在低电平区间对应于曝光(即摄像)，在高电平区间对应于非曝光。换言之，在曝光脉冲的低电平区间中，固体摄像元件102按每个像素产生与受光量对应的受光信号。

(8d)表示第2组的曝光脉冲。设该曝光脉冲的定时为曝光定时ts2。

(8e)表示第n组曝光脉冲。设该曝光脉冲的定时为曝光定时tsn。n是1至n的某个整数。n是上述的第1组至第n组的多个组的个数。

(8f)表示第n组的曝光脉冲。设该曝光脉冲的定时为曝光定时tse。

(8g)表示在第1组至第n组中包含的n个曝光脉冲的开始定时的间隔。在图8a中，在最近的两个曝光脉冲的开始定时有δt的时间差。即，曝光定时ts1，ts2，…，tsn，…，tse具有一定的时间间隔δt。

在由定时指示部701生成的定时信号指示的多个组中，第1组对应于(8a，8c)。这里，(8a，8c)的表述是指发光定时tl1的发光脉冲(8a)和曝光定时ts1的曝光脉冲(8c)的组。同样，第2组对应于(8a，8d)。此外，第n组(n为1至n的某个整数)对应于(8a，8e)。第n组对应于(8a，8f)。

定时指示部701以第1组至第n组的顺序或第n组至第1组的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。

图8b是表示有关实施方式1的多路径检测部的第1动作例的受光信号序列的一例的图。该受光信号序列表示通过遵循第1组至第n组的多个组的发光及曝光从固体摄像元件102输出并被储存到信号储存部702中的受光信号序列。该图的横轴表示时间轴，与(8g)的曝光定时间隔对应。纵轴表示通过曝光而在像素中产生的信号电荷量即受光量。该图的标绘点p811对应于第1组，意味着(曝光定时，受光量)是(ts1，a1)。标绘点p812对应于第2组，意味着(曝光定时，受光量)是(ts2，a2)。标绘点p81n对应于第n组，意味着(曝光定时，受光量)是(tsn，an)。

进而，对图8a的第1动作例的定时指示部701的发光曝光定时指示方法的一例具体地进行说明。该定时指示方法是将多个组的相对于发光定时的曝光定时依次变更的方法。定时指示部701对于发光曝光控制部101，作为第1组的定时而指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts1。曝光定时ts1设定为比通过发光脉冲宽度tl和发光定时tl1而与发光部104的照射光对应的多路径成分混杂的混合反射光801的反射定时靠前。通过第1组的定时的设定而受光的受光量a1被储存到信号储存部702中。具体而言，在信号储存部702中，设横轴为曝光定时、纵轴为受光量，作为曝光定时ts1、受光量a1被标绘为p811。

在第2组的定时，指示与第1组的定时相同的、照射光的发光脉冲宽度tl和发光定时t11、以及固体摄像元件的曝光脉冲宽度ts，并指示向与第1组的定时不同的曝光定时ts2的变更。曝光定时ts2是从曝光定时ts1，作为错移量而延迟了时间差δt的定时，由以下的式子表示。

[数学式5]

ts2＝ts1+δt···(数式5)

通过第2组的定时设定而受光的受光量a2被储存到信号储存部702中。在信号储存部702中，作为曝光定时ts2、受光量a2被标绘为p812。

上述那样的定时的变更在第1组至第n组的n次发光及曝光中反复进行(n-1)次。在第n组(n是1至n的某个整数)的定时，指示与第1组的定时相同的、照射光的发光脉冲宽度tl和发光定时t11、以及固体摄像元件120的曝光脉冲宽度ts，并指示向与第1组的定时不同的曝光定时tsn的变更。曝光定时tsn由以下的式子表示。

[数学式6]

tsn＝ts1+n×δt···(数式6)

通过第n组的定时设定而受光的受光量an被储存到信号储存部702中。在信号储存部702中，作为曝光定时tsn、受光量an被标绘为p81n。

最后的第n组的曝光定时tse设定为比混合反射光801的反射定时靠后。如果设光速为c，设最大测距范围为dmax，则tse只要满足以下就可以。

[数学式7]

tse＞2×dmax/c+tl···(数式7)

最大测距范围dmax是指能够接受相对于照射光的反射光的最大的距离。

在图8a中将δt以等间隔进行了表示，但并不限定于此。δt越小则能够越高精度地检测到多路径，但另一方面，δt越细则在测定中越花费时间。通过仅在比对于多路径检测而言重要的混合反射光801早的定时的周边和比混合反射光801晚的定时的周边将δt设定得较小，而其之间的中间数据部分将δt设定得较大，能够在维持多路径检测精度的状态下缩短测定时间。此外，隔着δt的间隔的部分可以通过线性填充来估计。

接着，对第1动作例的由信号比较部704进行的多路径检测、即有无多路径的判定方法进行说明。

图9是有关实施方式1的多路径检测部的第1动作例的多路径检测的说明图。在图9中，将受光量、标准化受光量用直线表示，但它既可以只是点的集合，也可以是如果点稀疏则通过线性填充来生成点与点之间的数据。

信号储存部702具有按由定时指示部701指示的第1组至第n组的每个定时储存了受光量的折线l901。信号储存部702也同时计测受光量的最大值amax。

基准保持部703在不受多路径的影响的条件下按由定时指示部701指示的每个定时储存受光量，保持以储存的受光量的最大值进行了标准化的基准表作为参照数据。参照数据具有折线l902。参照数据通过实测或模拟来预先制作。

第1，信号比较部704计测从储存值l901的上升到下降的期间即储存期间ta。第2，信号比较部704计测从基准表的折线l902的上升到下降的期间即基准期间tr。基准期间tr在制作了基准表的时间点可通过下述的式子而知道，所以也可以另行保持。

[数学式8]

tr＝tl+ts···(数式8)

第3，信号比较部704将储存期间ta与基准期间tr比较。在发生了多路径的情况下，由于混合反射光的脉冲宽度变粗，所以储存期间ta变得比基准期间tr大，所以信号比较部704在ta＞tr时判定为发生了多路径。通过像这样具有不受多路径的影响的基准表、进行与实测的储存值的比较这样的处理负荷较少的方法，能够检测到多路径。

另外，参照数据既可以是表示图9的折线l902的数据，也可以是上述的基准期间tr(＝tl+ts)。基准期间tr由发光脉冲的脉冲宽度tl与曝光脉冲的脉冲宽度ts之和决定。

接着，对在由信号比较部704判定为发生多路径的情况下由修正系数计算部705进行的修正系数的计算进行说明。

图10是表示有关实施方式1的多路径检测部111的第1动作例的修正方法的图。在由信号比较部704判定为发生了多路径的情况下，修正系数计算部705通过图10所示的修正方法计算修正系数c。第1，修正系数计算部705将由信号储存部702储存的数据使用受光量最大值amax变换为标准化受光量。具体而言，储存值l901成为标准化储存值l1001。第2，修正系数计算部705检测标准化储存值l1001的上升tu，并变换为将基准表l902的上升定时匹配于tu的基准表l1002。第3，修正系数计算部705求出被设定为距离测定用的曝光定时ts的位置的标准化储存值aa和基准值ar。将储存值修正为多路径被除去后的值的修正系数c通过以下式子计算。

[数学式9]

c＝ar/aa···(数式9)

该修正系数c能够使因多路径而受光量误成为aa/ar倍的情况回到没有多路径的本来的受光量。

为了从在距离测定用曝光定时td受光的受光量s0、s1变换为多路径成分被除去后的修正受光量s_c0、s_c1，用以下的式子修正。

[数学式10]

s_c0＝c_0×s0···(数式10)

[数学式11]

s_c1＝c_1×s1···(数式11)

关于修正系数c_0及修正系数c_1，在图2及图5所示的tof方式(其1)的情况下，由于距离测定用曝光定时有两种，所以在两种距离测定用曝光定时的位置处分别按照数式9计算修正系数c_0、修正系数c_1。

距离运算部112基于根据从多路径检测部111输出的修正系数进行修正后的信号来计算距离。由此，能够通过轻量的修正方法取得良好的距离精度的距离图像。

[1.4多路径检测的第2动作例]

接着，关于实施方式1的距离信息取得装置100，对多路径检测的第2动作例进行说明。

图11a是表示有关实施方式1的多路径检测部中的发光曝光定时的第2动作例的图。

首先，对该图的(11a)至(11g)所示的信号波形对进行说明。(11a)至(11g)所示的信号波形并不一定限于相同的时间轴上的波形，为了说明的方便，混杂不同时间轴的波形而进行记载。

(11a)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲、或基于该发光脉冲的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时tl1。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。该发光脉冲代表性地表示了在由定时指示部701指示的第1组至第n组的n个组中包含的一半(例如第奇数个组的n/2个)的发光脉冲。

(11b)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲、或基于该发光脉冲的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时tl2。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。发光脉冲是正逻辑，在高电平区间对应于发光，在低电平区间对应于熄灭。该发光脉冲代表性地表示了n个发光脉冲中的(11a)的其余的一半(例如第偶数个组的n/2个)的发光脉冲。

(11c)示意性地表示来自(11a)的照射光照到的物体obj的包括直接反射光和间接反射光的混合反射光的一例。

(11d)示意性地表示来自(11b)的照射光照在的物体obj的包括直接反射光和间接反射光的混合反射光的一例。

(11e)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如代表性地表示了第1组的曝光脉冲和第2组的曝光脉冲。设该曝光脉冲的定时为曝光定时ts1。设该曝光脉冲的脉冲宽度为ts。

(11f)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如代表性地表示了第3组的曝光脉冲和第4组的曝光脉冲。设该曝光脉冲的定时为曝光定时ts2。设该曝光脉冲的脉冲宽度为ts。

(11g)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如代表性地表示了第(n-1)组的曝光脉冲和第n组的曝光脉冲。设该曝光脉冲的定时为曝光定时tse。设该曝光脉冲的脉冲宽度为ts。

(11h)表示曝光脉冲的开始定时的间隔。曝光定时ts1实际上与在不同的时间曝光的第1组和第2组对应，为了方便作为用来向信号储存部702储存受光信号的相同的定时处置。使曝光定时ts2，…，tse也同样与两组的曝光对应。

在图11a中，在第奇数个曝光脉冲彼此的开始定时之间有δt的时间差。在第偶数个曝光脉冲彼此的开始定时之间有δt的时间差。为了方便，将第奇数个组和其下一个的第偶数个组看作相同的曝光定时。

在定时指示部701生成的定时信号所指示的多个组中，例如，第1组对应于(11a，11e)。第2组对应于(11b，11e)。第3组对应于(11a，11f)。第4组对应于(11b，11f)。同样，第(n-1)组对应于(11a，11g)。第n组对应于(11b，11g)。

定时指示部701以第1组至第n组的顺序或第n组至第1组的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。

图11b是表示有关实施方式1的多路径检测部的第2动作例的受光信号序列的一例的图。该受光信号序列表示通过遵循第1组至第n组的多个组的发光及曝光而从固体摄像元件102输出并被储存到信号储存部702中的受光信号序列。为了方便，将第奇数个组(该图的黑圆标记)和其下一个的第偶数个组(该图的白圆标记)看作相同的曝光定时来标绘。

该图的横轴表示时间轴，与(8g)的曝光定时间隔对应。纵轴表示通过曝光而在像素中产生的信号电荷量即受光量。该图的标绘点p1111对应于第1组，意味着(曝光定时，受光量)是(ts1，a11)。标绘点p1112对应于第2组，意味着(曝光定时，受光量)是(ts1，a12)。

进而，对图11a的第2动作例的tof方式(其2)对应的情况下的定时指示部701的定时指示方法的一例具体地进行说明。定时指示部701对于发光曝光控制部101，作为第1组的定时而指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts1。曝光定时ts1设定为比通过发光脉冲宽度tl和发光定时tl1而与发光部104的照射光对应的多路径成分混杂的混合反射光1101的反射定时较早返回来的反射光靠前。在图11a中，由于混合反射光1102的反射光较早地返回来，所以设定比混合反射光1102靠前的定时。通过第1组的定时的设定而受光的与发光定时t11下的照射光对应的反射光的受光量a11被储存到信号储存部702中。具体而言，在信号储存部702中，设横轴为曝光定时、纵轴为受光量，作为曝光定时ts1、受光量a11而标绘p1111。

定时指示部701对于发光曝光控制部101，作为第2组的定时而指示照射光的发光脉冲宽度tl和发光定时t12、以及固体摄像元件的曝光脉冲宽度ts和曝光定时ts1。曝光定时ts1设定为比通过发光脉冲宽度tl和发光定时t12而与发光部104的照射光对应的多路径成分混杂的混合反射光1102的反射定时较早返回来的反射光靠前。在图11a中，由于混合反射光1102的反射光较早地返回来，所以设定比混合反射光1102靠前的定时。通过第2组的定时的设定而受光的与发光定时t12下的照射光对应的反射光的受光量a12被储存到信号储存部702中。具体而言，在信号储存部702中，设横轴为曝光定时、纵轴为受光量，作为曝光定时ts1、受光量a12而标绘p1112。

曝光定时的变更被反复进行(n-1)次。在第奇数个第n组的定时，指示与第1组的定时相同的、照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts，指示向与第1组的定时不同的曝光定时tsn的变更。在第偶数个第n组的定时，指示与第2组的定时相同的、照射光的发光脉冲宽度tl和发光定时tl2、以及固体摄像元件102的曝光脉冲宽度ts，指示向与第2组的定时不同的曝光定时tsn的变更。曝光定时tsn对应于第奇数个组和其下一个的第偶数个组，用以下的式子表示。

[数学式12]

tsn＝ts1+n×δt···(数式12)

通过第n组(第奇数个组和其下一个的第偶数个组)的定时设定而受光的受光量an1、an2被储存到信号储存部702中。在信号储存部702中，被标绘为曝光定时tsn、受光量an1、an2。

最后的曝光定时tse设定为比混合反射光1101、1102的较早返回来一方的反射定时靠后。在图11a中，只要设定为比混合反射光1102的反射定时靠后就可以。如果设光速c、最大测距范围dmax，则tse只要满足以下就可以。

[数学式13]

tse＞2×dmax/c+tl···(数式13)

最大测距范围dmax是指能够接受相对于照射光的反射光的最大的距离。

图11c是表示有关实施方式1的多路径检测部的第2动作例的被标准化的受光信号序列的一例和参照数据的图。

本定时的基准保持值与储存值的关系被表示为发光定时t11的基准表l1121、发光定时t12的基准表l1122、发光定时t11的标准化储存值l1131、发光定时t11的标准化储存值l1132。计算修正系数的距离测定用曝光定时是td的1种，根据该1种，能够通过(数式9)，根据l1121和l1131计算修正系数c0，根据l1122和l1131计算修正系数c1。

[1.5多路径检测的第3动作例]

接着，对于实施方式1的距离信息取得装置100，对多路径检测的第3动作例进行说明。

图12a是表示有关实施方式1的多路径检测部中的发光曝光定时的第2动作例的图。

首先，对该图的(12a)至(12f)所示的信号波形对进行说明。(12a)至(12f)所示的信号波形并不一定限于相同的时间轴上的波形，为了说明的方便，混杂不同时间轴的波形而进行记载。

(12a)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲、或由该发光脉冲带来的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时t11。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。该发光脉冲表示由定时指示部701指示的第1组的发光脉冲。

(12b)示意性地表示来自(12a)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(12c)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲、或基于该发光脉冲的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时tle。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。该发光脉冲表示由定时指示部701指示的第n组的发光脉冲。

(12d)示意性地表示来自(12c)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(12e)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如代表性地表示了第1组至第n组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts。

(12f)表示基于发光脉冲的照射定时的间隔。发光定时tl1，…，t1e与第1组，…，第n组对应，作为用来向信号储存部702储存受光信号的方便上的定时处置。

在图12a中，相对于曝光脉冲的曝光定时ts，第1组至第n组的发光脉冲的发光定时tl1，…，tle被设定为稍稍错开。

在定时指示部701生成的定时信号所指示的多个组中，例如，第1组对应于(12a，12e)。第n组对应于(12c，12e)。

定时指示部701以第1组至第n组的顺序或第n组至第1组的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。

图12b是表示有关实施方式1的多路径检测部的第3动作例的被标准化的参照数据的一例的图。该图的横轴表示时间轴，与(12f)的照射定时对应。纵轴是每个发光定时tl1，…，tle的被标准化的受光量，表示没有多路径的环境下的对应的受光量。

进而，对图12a的第3动作例的定时指示部701的发光曝光定时指示方法的一例进行说明。该定时指示方法是将多个组中的相对于曝光定时的发光定时依次变更的方法。定时指示部701对于发光曝光控制部101，作为第1组的定时而指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts1。发光定时tl1设定为，使得曝光定时ts1比通过发光脉冲宽度tl和发光定时tl1而与发光部104的照射光对应的多路径成分混杂的混合反射光1201的反射定时靠后到来。通过第1组的定时的设定而受光的受光量a1被储存到信号储存部702中。

在第n的定时，指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts。发光定时t11设定为，使得曝光定时ts1比通过发光脉冲宽度tl和发光定时t11而与发光部104的照射光对应的多路径成分混杂的混合反射光1201的反射定时靠后到来。通过第1组的定时的设定而受光的受光量a1被储存到信号储存部702中。

在第n组的定时，指示与第1组的定时相同的、照射光的发光脉冲宽度tl、固体摄像元件102的曝光脉冲宽度ts和曝光定时ts，指示向与第1定时不同的发光定时tln的变更。曝光定时tln由以下的式子表示。

[数学式14]

tln＝tl1+δt×n···(数式14)

通过第n组的定时设定而受光的受光量an被储存到信号储存部702中。在信号储存部702中，被标绘为发光定时tln、受光量an。

最后的发光定时tse设定为，使混合反射光120e的反射定时比曝光定时靠后。如果设光速c、最大测距范围dmax，则tle只要满足以下就可以。

[数学式15]

tle＞2×dmax/c+ts···(数式15)

最大测距范围dmax是能够接受相对于照射光的反射光的最大的距离。

另外，第3动作例的修正系数与图10同样，根据数式9计算。

接着，在上述的第1动作例至第3动作例中，对有照射光及反射光的波形钝化的情况下的修正进行说明。

图13是表示以具有波形钝化的脉冲波形为对象的修正的说明图。到此为止，将脉冲波形设为矩形波而进行了说明，但利用实际设备的波形例如是如图13的(a)、(c)那样的钝化的波形。在这样钝化的波形中，也能够处理多路径检测动作和测距动作。例如图13的(b)的基准表(即参照数据)成为1301那样，可以通过基准宽度tr＝tl1+ts1来计算。此外，基准表也可以将预先测定的基准值扩大缩小。例如，在原本的发光脉冲宽度tl1下曝光脉冲宽度是ts1、在想要变更的发光脉冲宽度tl2下曝光脉冲宽度是ts2的情况下，通过以下的修正式，如图13的(d)那样将横轴扩大或缩小。

[数学式16]

(tl2+ts2)/(tl1+ts1)···(数式16)

另外，关于基准表，将第1动作例至第3动作例中的某一个的发光及曝光的多个组既可以通过由间接反射波模拟环境来预先制作，也可以通过实测而预先制作。

如以上说明，有关实施方式1的距离信息取得装置100具备：发光部104，按照指示发光的发光脉冲进行发光；固体摄像元件102，按照指示曝光的曝光脉冲进行曝光；发光曝光控制部101，生成指示多个由发光脉冲与曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；以及多路径检测部111，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与作为没有多路径的环境下的受光信号序列的模型而预先制作的参照数据进行比较，根据比较结果的差异来判定是否有多路径。

由此，能够减轻用来检测多路径的处理负荷并降低成本。

这里，上述多个组的数量也可以是6个以上。

这里，上述多个组中的发光脉冲与曝光脉冲的时间差也可以各相差一定时间。

这里，上述发光曝光控制部101也可以在上述多个组中使曝光脉冲的定时相对于发光脉冲的定时变化。

这里，上述发光曝光控制部101也可以在上述多个组中使发光脉冲的定时相对于曝光脉冲的定时变化。

这里，上述曝光脉冲的宽度ts也可以是上述发光脉冲的宽度tl以上。

这里，也可以是，上述多个组包括第1组至第n(n是整数)组；上述发光曝光控制部101以使上述第1组至第n组按时序产生的方式生成上述定时信号。

这里，上述多个组的发光脉冲间的时间差也可以是一定时间。

这里，也可以是，上述多路径检测部具有保持上述参照数据的参照数据保持部；上述参照数据是没有多路径的环境下的受光信号序列的模型。

这里，也可以是，上述多路径检测部具有保持上述参照数据的参照数据保持部；上述参照数据是由发光脉冲的脉冲宽度tl与曝光脉冲的脉冲宽度ts之和决定的时间的长度。

这里，上述多路径检测部也可以进一步在判定为存在多路径的情况下，按每个像素计算修正系数。

这里，上述多路径检测部也可以根据表示上述接收信号序列与上述参照数据的比率的比较结果来计算上述修正系数。

此外，有关实施方式1的多路径检测装置110，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件来检测多路径的多路径检测装置，具备：发光曝光控制部101，生成指示多个由发光脉冲与曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；以及多路径检测部111，通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列，将所取得的上述受光信号序列与作为没有多路径的环境下的受光信号序列的模型而预先制作的参照数据进行比较，根据比较结果的差异来判定是否有多路径。

进而，有关实施方式1的多路径检测方法，是使用按照指示发光的发光脉冲进行发光的发光部和按照指示曝光的曝光脉冲进行曝光的固体摄像元件检测多路径的多路径检测方法，生成指示多个由发光脉冲与曝光脉冲构成的组的定时信号，多个上述组在发光脉冲与曝光脉冲之间具有相互不同的时间差；通过遵循上述多个组的发光及曝光，从上述固体摄像元件取得受光信号序列；将所取得的上述受光信号序列与作为没有多路径的环境下的受光信号序列的模型而预先制作的参照数据进行比较；根据比较结果的差异来判定是否有多路径。

根据上述的多路径检测装置及多路径检测方法，能够减轻用来检测多路径的处理负荷并降低成本。

(实施方式2)

接着，对有关实施方式2的距离信息取得装置100进行说明。在实施方式1中，说明了将多路径检测动作和通常的测距动作以不同的定时实施的例子。相对于此，在实施方式2中，对能够将多路径检测动作和通常的测距动作兼用而同时实施的例子进行说明。

[2.1距离信息取得装置100的结构例]

实施方式2的距离信息取得装置100可以是与图7a及图7b相同的结构。但是，多路径检测部111的动作稍稍不同。以下以不同的点为中心进行说明。

[2.2多路径检测动作兼测距动作的第1动作例]

首先，关于实施方式2的距离信息取得装置100，对将多路径检测动作和测距动作同时实施的第1动作例进行说明。

图14a是表示有关实施方式2的多路径检测部111的第1动作例的图。此外，图14b是表示有关实施方式2的多路径检测部的第1动作例的受光信号序列的一例的图。该图的受光量a～受光量f例如与第1组～第6组对应。

首先，对图14a的(14a)至(14h)所示的信号波形进行说明。(14a)至(14f)所示的信号波形并不一定为相同时间轴上的波形，为了说明的方便，混杂不同时间轴的波形而记载。在该图中，表示了指示发光脉冲和曝光脉冲的组的第1组至第n组的多个组是6个的情况。

(14a)表示在由定时指示部701生成的作为定时信号的发光控制信号中包含的发光脉冲、或基于该发光脉冲的来自光源115的照射光。设该发光脉冲或照射光的定时为发光定时tl1。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。该发光脉冲以由定时指示部701指示的第1组至第6组各自的发光脉冲为代表而表示。

(14b)示意性地表示来自(14a)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(14c)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第1组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts1-0。

(14d)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第2组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts1-1。

(14e)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第3组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts2-0。曝光定时ts2-0是相对于测距用的曝光定时ts1-0赋予了-δtp的延迟时间的定时。

(14f)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第4组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts2-1。

(14g)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第5组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts3-0。

(14h)是在由定时指示部701生成的作为定时信号的曝光控制信号中包含的曝光脉冲，例如表示第6组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts3-1。

在定时指示部701生成的定时信号所指示的6个组中，例如，第1组对应于(14a、14c)。第2组对应于(14a、14d)。第3组对应于(14a、14e)。第4组对应于(14a、14f)。第5组对应于(14a、14g)。第6组对应于(14a、14h)。

图14a中的发光定时t11及曝光定时ts1-0是与图2所示的tof方式(其1)的“s0曝光”相同的定时，既利用于多路径检测动作也利用于测距动作。此外，发光定时tl1及曝光定时ts1-1是与图2所示的tof方式(其1)的“s1曝光”相同的定时，既利用于多路径检测动作也利用于测距动作。

测距用的曝光定时ts1-0和曝光定时ts1-1具有δtd的时间差。时间差δtd是指测距用的错移量。

曝光定时ts2-0、ts2-1相对于测距用的曝光定时ts1-0、ts1-1分别具有-δtp的延迟。-δtp是指相对于测距用的曝光定时ts1-0、ts1-1而为多路径检测用设定的前错移量。

曝光定时ts3-0、ts3-1相对于测距用的曝光定时ts1-0、ts1-1分别具有+δtb的延迟。+δtb是指相对于测距用的曝光定时ts1-0、ts1-1而为多路径检测用设定的后错移量。

定时指示部701以第1组至第6组的顺序或第n组至第1组的顺序生成按时序进行指示的定时信号，向发光曝光控制部101输出。另外，第1组至第6组的生成顺序也可以是任意的顺序。

图14b是表示有关实施方式2的多路径检测部111的第1动作例的受光信号序列的一例的图。该图的受光量a～受光量f例如与第1组～第6组对应。图14b的受光信号序列被用于图11c那样的多路径检测动作及修正系数计算，并且也被用于图2的tof方式(其1)那样的测距动作。

进而，对图14a的第1动作例的由定时指示部701进行的tof方式(其1)的定时指示方法的例子进行说明。定时指示部701对于发光曝光控制部101，作为第1组的定时而指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts1-0。进而，定时指示部701对于发光曝光控制部101，作为第2组的定时而指示照射光的发光脉冲宽度tl和发光定时tl1、以及固体摄像元件102的曝光脉冲宽度ts和曝光定时ts1-1。曝光定时ts1-0和ts1-1通过距离测定所需要的错移量δtd通过以下表示。

[数学式17]

ts1-0＝ts1-1+δtd···(数式17)

假设通过发光脉冲宽度tl和发光定时tl1，成为与发光部104的照射光对应的多路径成分混杂的混合反射光1401。通过第1组的定时的设定而受光的与发光定时t11下的照射光对应的反射光的曝光定时ts1-0的(s0-bg)信号的受光量a被储存到信号储存部702中。进而，通过第2组的定时的设定而受光的与发光定时t11下的照射光对应的反射光的曝光定时ts1-1的(s1-bg)信号的受光量b被储存到信号储存部702中。具体如图14b所示，在信号储存部702中，设横轴为曝光定时、纵轴为受光量，被标绘为曝光定时ts1、受光量a、受光量b。

同样，作为第3组的定时，指示与第1组的定时相同的发光脉冲宽度tl、发光定时t11、固体摄像元件102的曝光脉冲宽度ts、以及与第1定时不同的曝光定时ts2-0。进而，作为第4组的定时，指示与第1组的定时相同的发光脉冲宽度tl、发光定时t11、固体摄像元件102的曝光脉冲宽度ts、以及与第1定时不同的曝光定时ts2-1。曝光定时ts2-0和曝光定时ts2-1通过多路径检测用的前错移量δtp，用以下的关系式计算。

[数学式18]

ts2-0＝ts1-0-δtp···(数式18-1)

ts2-1＝ts2-0+δtd···(数式18-2)

δtp既可以使用固定值，也可以根据受光量a、b的值计算最优错移量。通过第3组的定时的设定，与发光定时tl1下的照射光对应的反射光的曝光定时ts2-0的(s0-bg)信号的受光量c被储存到信号储存部702中。进而，通过第4组的定时的设定，与发光定时tl1下的照射光对应的反射光的曝光定时ts2-1的(s1-bg)信号的受光量d被储存到信号储存部702中。具体如图14b所示，在信号储存部702中，被标绘为曝光定时ts2、受光量c、受光量d。

接着，作为第5组的定时，指示与第1定时相同的发光脉冲宽度tl、发光定时t11、固体摄像元件102的曝光脉冲宽度ts、以及与第1定时不同的曝光定时ts3-0。进而，作为第6组的定时，指示与第1定时相同的发光脉冲宽度tl、发光定时t11、固体摄像元件102的曝光脉冲宽度ts、以及与第1定时不同的曝光定时ts3-1。曝光定时ts3-0和ts3-1通过多路径检测用后错移量δtb，用以下的关系式计算。

[数学式19]

ts2-0＝ts1-0+δtb···(数式19-1)

ts2-1＝ts2-0+δtd···(数式19-2)

δtb既可以使用固定值，也可以根据受光量a、b的值而计算最低错移量。通过第5组的定时的设定而受光的与发光定时t11下的照射光对应的反射光的曝光定时ts3-0的(s0-bg)信号的受光量e被储存到信号储存部702中。进而，通过第6组的定时的设定而受光的与发光定时t11下的照射光对应的反射光的曝光定时ts3-1的(s1-bg)信号的受光量f被储存到信号储存部702中。具体而言，在信号储存部702中，被标绘为曝光定时ts3、受光量e、受光量f。

多路径检测部111将图14b的受光信号序列与参照数据比较，根据比较结果的差异，按每个像素判定是否有多路径。此外，距离运算部112使用图14b的接收信号序列，通过tof方式(其1)计算每个像素的距离。此时，在由多路径检测部111判定为存在多路径的情况下，修正系数计算部705按照后述的第2动作例的数式26及数式28计算修正系数。另外，在图14a中对tof方式(其1)的测距动作进行了说明，但也可以是tof方式(其2)。

[2.3多路径检测动作兼测距动作的第2动作例]

接着，关于实施方式2的距离信息取得装置100，对多路径检测动作和测距动作同时实施的第2动作例进行说明。

图15a是表示有关实施方式2的多路径检测部111的第2动作例的图。此外，图15b是表示有关实施方式2的多路径检测部的第2动作例的受光信号序列的一例的图。该图的受光量a～受光量f例如与第1组～第6组对应。

首先，对图15a的(15a)至(15g)所示的信号波形进行说明。(15a)至(15g)所示的信号波形并不一定限于相同的时间轴上的波形，为了说明的方便，混杂不同时间轴的波形而进行记载。在该图中，表示了指示发光脉冲和曝光脉冲的组的第1组至第n组的多个组是6个的情况。

(15a)表示发光脉冲或照射光。设该发光脉冲或照射光的定时为发光定时tl0。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。关于该发光脉冲，作为代表而表示了由定时指示部701指示的例如第1组、第3组、第5组的发光脉冲。

(15b)表示发光脉冲或照射光。设该发光脉冲或照射光的定时为发光定时tl1。此外，设该发光脉冲的脉冲宽度或照射光的脉冲宽度为tl。关于该发光脉冲，作为代表而表示了由定时指示部701指示的第2组、第4组、第6组的发光脉冲。

(15c)示意性地表示来自(15a)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(15d)示意性地表示来自(15b)的照射光照到的物体obj的包含直接反射光和间接反射光的混合反射光的一例。

(15e)例如作为代表而表示第1组、第2组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts1。第1组、第2组的曝光脉冲例如与受光量a、b对应。受光量a与曝光定时ts1的tof方式(其2)的s0曝光中的受光量(s0-bg)信号对应。受光量b与曝光定时ts1的tof方式(其2)的s1曝光中的受光量(s1-bg)信号对应。

(15f)例如作为代表而表示第3组、第4组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts2。第3组、第4组的曝光脉冲例如与受光量c、d对应。受光量c与曝光定时ts2的tof方式(其2)的s0曝光中的受光量(s0-bg)信号对应。受光量d与tof方式(其2)的s1曝光中的曝光定时ts2下的受光量(s1-bg)信号对应。

(15g)例如作为代表而表示第5组、第6组的曝光脉冲。设该曝光脉冲的脉冲宽度为ts，设曝光定时为ts3。第5组、第6组的曝光脉冲例如与受光量e、f对应。受光量e与tof方式(其2)的s0曝光中的曝光定时ts3的受光量(s0-bg)信号对应。受光量f与tof方式(其2)的s1曝光中的曝光定时ts3的受光量(s1-bg)信号对应。

在由定时指示部701生成的定时信号指示的6个组中，例如，第1组对应于(15a、15e)。第2组对应于(15b、15e)。第3组对应于(15a、15f)。第4组对应于(15b、15f)。第5组对应于(15a、15g)。第6组对应于(15b、15g)。

图15a中的发光定时t10及曝光定时tsl是与图3所示的tof方式(其2)的“s0曝光”相同的定时，既利用于多路径检测动作也利用于测距动作。此外，发光定时t11及曝光定时ts1是与图3所示的tof方式(其2)的“s1曝光”相同的定时，既利用于多路径检测动作也利用于测距动作。

曝光定时ts2相对于测距用的曝光定时ts1具有-δtp的延迟。-δtp是指相对于测距用的曝光定时ts1-0、ts1-1而被设定为多路径检测用的前错移量。

曝光定时ts3相对于测距用的曝光定时ts1具有+δtb的延迟。+δtb是指相对于测距用的曝光定时ts1-0、ts1-1而被设定为多路径检测用的后错移量。

定时指示部701以第1组至第6组的顺序或第n组至第1组的顺序生成按时序进行指示的定时信号，并向发光曝光控制部101输出。另外，第1组至第6组的生成顺序也可以是任意的顺序。

图15b是表示有关实施方式2的多路径检测部111的第2动作例的受光信号序列的一例的图。该图的受光量a～受光量f例如与第1组～第6组对应。图15b的受光信号序列被用于图11c那样的多路径检测动作及修正系数计算，并且也被用于图2的tof方式(其1)那样的测距动作。

根据这样的实施方式2的第1动作例，由于将多路径检测和测距动作兼用，所以能够更高速地进行多路径检测动作，适合于实时处理。

进而，对图15a的第2动作例的定时指示部701的定时指示方法具体地进行说明。定时指示部701为了指示第1组至第6组，在tof方式(其2)中指示照射定时t10、t11和曝光定时ts1、ts2、ts3的组合。取得由第1组至第6组得到的受光量a、b、c、d、e、f，并储存到信号储存部702中。曝光定时ts1、ts2、ts3的关系式是(数式17)、(数式18-2)、(数式19-2)。

接着，说明实施方式2的第1动作例及第2动作例的多路径检测方法。

图16是表示实施方式2的多路径检测方法的说明图。图16的信号储存部702储存曝光定时ts1的受光量a、b、曝光定时ts2的受光量c、d、曝光定时ts3的受光量e、f，作为由图14a的第1动作例及图15a的第2动作例表示的定时指示部701的信号储存结果。图16的基准保持部703通过与实施方式1的基准表制作方法相同的方法制作基准表(即参照数据)并保持。即，保持通过详细的错移量δt将曝光定时依次错移的数据。通过基准表，即使是较少的曝光定时也能够高速地检测多路径。对于图16的信号比较部704的多路径检测方法，使用图17的例子进行说明。

图17是表示有关实施方式2的多路径检测部的多路径检测方法的一例的流程图。

在s1701中，计算信号储存部702的储存数据中的ts1的受光量a、b的比。

在s1702中，寻找使受光量a、b的比与基准保持部的标准化受光量ar、br的比一致的基准定时tsr1。在受光量a、b的比和标准化受光量ar、br的比没有一致的部分的情况下，寻找信号比夹在其之间的部分，通过将两点间进行线性填充，来估计基准定时tsr1。

在s1703中，求出用来使ts1的受光量成为tsr1的标准化受光量的标准化系数k。标准化系数k用以下的式子计算。

[数学式20]

k＝1/(a+b)···(数式20)

在s1704中，通过由s1703计算出的标准化系数k，将受光量a、b、c、d、e、f向标准化受光量aa、ba、ca、da、ea、fa变换。计算式是以下。

[数学式21]

aa＝k×a···(数式21-1)

ba＝k×b···(数式21-2)

ca＝k×c···(数式21-3)

da＝k×d···(数式21-4)

ea＝k×e···(数式21-5)

fa＝k×f···(数式21-6)

在s1705中，在基准表内计算与曝光定时ts2对应的基准定时tsr2、与曝光定时ts3对应的基准定时tsr3。计算式是以下。

[数学式22]

tsr2＝tsr1--δtp···(数式22-1)

tsr3＝tsr1+δtb···(数式22-2)

多路径检测用前错移量δtp、后错移量δtb是由定时指示部701指示的值。

在s1706中，取得与在s1705中计算出的基准定时tsr2、tsr3对应的基准的标准化受光量cr、dr、er、fr。在没有与tsr2、tsr3一致的基准的情况下通过线性填充来估计。由于设定了标准化系数k以使基准的标准化受光量ar、br与aa、ba相同，所以不需要计算。

在s1707中，计算储存值标准化受光量间的斜率α20a、α21a、α30a、α31a和基准的标准化受光量间的斜率α20r、α21r、α30r、α31r。具体而言，通过以下的式子，计算将标准化受光量aa、ca连结的直线的斜率α20a、将储存值的标准化受光量aa、ea连结的直线的斜率α30a、将储存值标准化受光量ba、da连结的直线的斜率α21a、储存值的标准化受光量ba、fa的斜率α31a、将基准标准化受光量ar、cr连结的直线的斜率α20r、将储存值的标准化受光量ar、er连结的直线的斜率α30r、将储存值标准化受光量br、dr连结的直线的斜率α21r、储存值的标准化受光量br、fr的斜率α31r。

[数学式23]

α20a＝(ca-aa)/(ts2-ts1)···(数式23-1)

α30a＝(eu＝aa)/(ts3-ts1)···(数式23-2)

α21a＝(da-ba)/(ts2-ts1)···(数式23-3)

α30a＝(fa-ba)/(ts3-ts1)···(数式23-4)

α20r＝(cr-ar)/(tsr2--tsr1)…(数式23-5)

α30r＝(er-ar)/(tsr3-tsr1)···(数式23-6)

α21r＝(dr-br)/(tsr2-tsr1)···(数式23-7)

α31r＝(fa-br)/(tsr3-tsr1)…(数式23-8)

在s1708中，判定在s1707中计算出的直线的比率是否相同。比较式如s1708所记载。这里以斜率的比率进行计算。由于信号量根据光的飞行距离及被照射的物体的反射率而减少，在上述中计算出的储存值标准化受光量的斜率也随之而变化，所以比较斜率的值本身并不适当。即使信号量增减，只要脉冲波形相同，则错移量前后斜率比率相同，而不取决于反射光的移动距离及物体的反射率。因此，通过使用斜率的比率，能够检测出因多路径的影响而波形的形状发生了变化。因此，在s1708中判定为斜率的比率相同的情况下向s1709转移，判定为没有发生多路径。在s1708中判定为斜率的比率不相同的情况下，向s1710转移，判定为发生了多路径。

接着，对实施方式2的修正系数的计算方法进行说明。

图18是表示实施方式2的多路径修正系数计算例的说明图。在该图中，设将储存在信号储存部702中的标准化受光量的点连结的直线为l2a、l3a，设其斜率为α2a、α3a，设将基准表的标准化受光量的点连结的点为l2r、l3r。在发生了多路径的情况下，如上述那样斜率的比率不一致。所以，计算具有如基准表那样的斜率的点p1801(tsr1，ac)。由于ac可以说是多路径修正后的标准化受光量，所以如果设将多路径修正后标准化受光量ac与储存值标准化受光量ca连结的直线为l2c，设将多路径修正后标准化受光量ac与储存值标准化受光量ea连结的直线为l3c，设其斜率分别为α2c、α_3cα3c，则只要计算以下数式成立的多路径修正后标准化受光量ac就可以。

[数学式24]

α2r：α3r＝α2c：α3c···(数式24)

如果将其代入各点的坐标值，以ac求解，则成为(数式25)。此外，修正系数c0由于将储存值修正为多路径修正后的值，所以用(数式26)表示。

[数学式25]

[数学式26]

图19是表示有关实施方式2的多路径检测部111的修正系数计算例的说明图。如果应用图18所示的修正系数计算方法，则在s0信号的情况下，具有如基准那样的斜率的点是p1901，使用(数式25)、(数式26)计算修正系数c0。在s1信号的情况下，具有如基准那样的斜率的点是p1902，可以使用(数式27)、(数式28)计算修正系数c1。

[数学式27]

[数学式28]

关于多路径修正，使用修正系数通过以下的式子进行修正。

[数学式29]

修正后s0＝受光量a×c0…(数式29-1)

修正后s1＝受光量b×c1…(数式29-2)

实施方式2表示了通过比实施方式1少的组的曝光定时进行多路径检测和修正的方法。实施方式2通过减少所需的曝光定时次数，能够缩短数据储存时间。

在实施方式1及2中，说明了依次设定曝光定时，但如果是能够在1帧间的曝光中设定多个定时的摄像元件，则也可以同时设定多个种类的所需的定时，将全部结果储存到储存部。

在本说明书中记载了通过线性填充来估计基准表的搜索等的实施例，但并不限定于此。也可以基于基准表的形式，用n次函数或乘幂函数将基准表进行模型化。

如以上说明，在有关实施方式2的距离信息取得装置100中，上述多个组从上述时间差小的组起依次包括第1组至第n组(n是偶数)；上述发光曝光控制部(101)以从上述时间差小的组起依次选择的1组和从上述时间差大的组起依次选择的1组交替的方式生成上述定时信号。

由此，能够进一步减少发光脉冲和曝光脉冲的组的数量，能够进一步降低处理负荷。

这里，上述距离信息取得装置也可以还具备使用上述接收信号序列生成表示每个像素的距离的距离图像的距离运算部。

由此，在多路径的检测动作中能够还同时实施通常的测距动作，所以能够将多路径检测的处理负荷降低或隐蔽。

(实施方式3)

接着，对有关实施方式3的距离信息取得装置100进行说明。在实施方式1、2中，说明了以时序生成包括发光脉冲和曝光脉冲的多个组的例子。相对于此，在实施方式3中，对使多个组与多个像素对应、并且一齐生成多个组的结构例进行说明。

[3.1距离信息取得装置100的结构例]

实施方式3的距离信息取得装置100可以是与图7a及图7b相同的结构。但是，固体摄像元件102和多路径检测部111稍稍不同。以下以不同的点为中心进行说明。

图20是表示有关实施方式3的距离信息取得装置的结构例的框图。在该图中，与图7a、图7b相同的点省略图示，图示了不同的点。

定时指示部701将第1组至第n组的定时信号一齐生成。这里，n是6以上的整数，在图20中是n＝9。

固体摄像元件102包括像素2001～像素2009。像素2001～像素2009与第1组～第n组对应。像素2001～像素2009分别被输入不同的定时信号。定时信号中的指示发光的发光控制信号对于像素2001～像素2009是共通的，被输入到发光部104。定时信号中的指示曝光的曝光控制信号对于像素2001～像素2009是独立的，在相互不同的定时指示曝光。在该图中，表示9种不同的曝光定时的9个曝光控制信号从定时指示部701输入到像素2001～像素2009。

定时指示部701一齐生成指示第1组至第n组的定时信号。

在实施方式1及2中，表示了依次进行第1组至第n组的定时设定的方法，但在实施方式3中使第1组至第n组对应于n个像素，使受光信号从n个像素一齐输出。

在图20中表示向多个像素的定时指示方法。设处于固体摄像元件102内的像素为像素2001、像素2002、像素2003、像素2004、像素2005、像素2006、像素2007、像素2008、像素2009。这里，为了简单将像素数图示了9个，但并不限定于此。也可以如第1实施方式那样使用n个像素，也可以如第2实施方式那样使用6个像素。定时指示部701对像素2001至像素2009分别进行定时指示。像素2001至像素2009在被指示的定时曝光，将受光量a1～a9向信号储存部702储存。具体而言，在信号储存部702中，设横轴为曝光定时、纵轴为受光量，对于9个曝光定时，标绘信号量a1到a9的9个点。

标绘的结果如第1或第2实施方式那样，利用于多路径检测和修正系数的计算。但是，在第1、第2实施方式中计算了1像素1个多路径检测结果和修正系数，而在本实施方式中，9个像素中输出1个结果/修正系数。即，能够进行关于像素2001至像素2009的多路径检测，对于像素2001至像素2009计算1个修正系数来修正多路径。

进而，能够以比实施方式1及2少的帧数取得所需的受光量，能实现多路径检测和修正的高速化。

如以上说明，在有关实施方式3的距离信息取得装置100中，上述多个组包括第1组至第n组(n是6以上的整数)；上述第1组至第n组共用1个发光脉冲；第1组至第n组与上述固体摄像元件中包含的第1像素至第n像素对应；上述发光曝光控制部101将指示上述第1组至第n组的曝光的n个定时信号一齐生成，并向上述第1像素至上述第n像素供给。

由此，在n个像素中同时进行n组的发光及曝光，所以使多路径检测动作的实时处理变得容易。

产业上的可利用性

本发明的检测多路径的距离信息取得装置、多路径检测装置及多路径检测方法例如适合于tof相机系统。

标号说明

100距离信息取得装置

101发光曝光控制部

102固体摄像元件

103信号处理部

104发光部

110多路径检测装置

111多路径检测部

112距离运算部

114光源驱动部

115光源

701定时指示部

702信号储存部

703基准保持部

704信号比较部

705修正系数计算部