多路径检测装置及多路径检测方法与流程

1.本发明涉及在测量到测量对象的距离时检测有无多路径的多路径检测装置及多路径检测方法。


背景技术：

2.以往，已知有基于照在测量对象上并返回来的光的飞行时间来测量到测量对象的距离的tof(time of flight：飞行时间)相机系统。在该tof相机系统中，在从测量对象直接返回来的直接光与经由与测量对象不同的物体返回来的间接光混合存在的情况下，测量误差变大而测量精度劣化。对此，例如非专利文献1提出了减少多路径的影响的tof相机系统。
3.现有技术文献
4.非专利文献
5.非专利文献1：d.freedman，e.krupka，y.smolin，i.leichter，and m.schmidt，"sra：fast removal of general multipath for tof sensors."in proceedings of the 13th european conference on computer vision(eccv'14).234－－249


技术实现要素：

6.为了减少多路径的影响，需要在判定测量环境是否处于直接光和间接光混合存在的多路径环境之后，进行与有无多路径对应的处理。但是，在非专利文献1的tof相机系统中，存在用于判定有无多路径的计算量较多、即处理负荷较重的问题。
7.本发明的多路径检测装置具备：信号控制部，输出发光控制信号及曝光控制信号；发光部，按照上述发光控制信号进行发光；受光部，通过按照上述曝光控制信号进行曝光而接受光；数据保持部，保持关于深度的参照数据，上述参照数据根据在不是多路径的环境下通过按照来自上述信号控制部的规定的发光控制信号以规定的定时进行曝光而得到的上述受光部的受光量、与通过按照在与上述规定的发光控制信号不同的时间段输出的来自上述信号控制部的发光控制信号以与上述规定的定时不同的定时进行曝光而得到的上述受光部的受光量之比来求出；信号处理部，计算第1深度及第2深度，上述第1深度根据通过按照来自上述信号控制部的第1发光控制信号以第1定时进行曝光而得到的上述受光部的受光量、与通过按照在与上述第1发光控制信号不同的时间段输出的来自上述信号控制部的第2发光控制信号以与上述第1定时不同的第2定时进行曝光而得到的上述受光部的受光量之比来求出，上述第2深度根据通过按照来自上述信号控制部的第3发光控制信号以第3定时进行曝光而得到的上述受光部的受光量、与通过按照在与上述第3发光控制信号不同的时间段输出的来自上述信号控制部的第4发光控制信号以与上述第3定时不同的第4定时进行曝光而得到的上述受光部的受光量之比来求出；以及判定部，使用上述第1深度与上述第2深度的差和上述参照数据，判定有无上述多路径。
8.本发明的多路径检测方法包括：保存关于深度的参照数据的步骤，上述参照数据根据在不是多路径的环境下通过按照规定的发光控制信号以规定的定时进行曝光而得到
的受光量、与通过按照在与上述规定的发光控制信号不同的时间段输出的发光控制信号以与上述规定的定时不同的定时进行曝光而得到的受光量之比来求出；计算第1深度的步骤，上述第1深度根据通过按照第1发光控制信号以第1定时进行曝光而得到的受光量、与通过按照在与上述第1发光控制信号不同的时间段输出的第2发光控制信号以与上述第1定时不同的第2定时进行曝光而得到的受光量之比来求出；计算第2深度的步骤，上述第2深度根据通过按照第3发光控制信号以第3定时进行曝光而得到的受光量、与通过按照在与上述第3发光控制信号不同的时间段输出的第4发光控制信号以与上述第3定时不同的第4定时进行曝光而得到的受光量之比来求出；以及使用上述第1深度与上述第2深度的差和上述参照数据，判定有无上述多路径的步骤。
9.发明效果
10.根据本发明的多路径检测装置及多路径检测方法，能够减轻用于判定有无多路径的处理负荷。
附图说明
11.图1是表示通常的距离信息取得装置的结构例的框图。
12.图2是表示不是多路径的环境下的距离信息取得装置的动作的一例的时间图。
13.图3是表示不是多路径的环境下的距离信息取得装置的动作的另一例的时间图。
14.图4是表示直接光与间接光混合存在的多路径环境的一例的图。
15.图5是表示多路径环境下的距离信息取得装置的动作的一例的时间图。
16.图6是表示不是多路径的环境下的距离信息取得装置的实际的动作的一例的时间图。
17.图7a是表示照射光的发光强度的时间波形的曲线图。
18.图7b是表示在不是多路径的环境下、反射光的受光量的时间波形的曲线图。
19.图7c是表示在不是多路径的环境下、从射出照射光到接受反射光为止的光往复时间与深度的关系的曲线图。
20.图7d是表示图7c的深度与深度的斜度的关系的曲线图。
21.图8是表示间接反射光比直接反射光晚返回来的多路径环境下的距离信息取得装置的动作的一例的时间图。
22.图9a是表示在图8所示的多路径环境下、直接反射光及间接反射光各自的受光强度的时间波形的曲线图。
23.图9b是表示将直接反射光及间接反射光加在一起的混合反射光的受光量的时间波形的曲线图。
24.图9c是表示在图8所示的多路径环境下从射出照射光到接受混合反射光为止的光往复时间与深度的关系的曲线图。
25.图9d是表示图9c的深度与深度的斜度的关系的曲线图。
26.图10是表示间接反射光比直接反射光早返回来的多路径环境的一例的图。
27.图11是表示间接反射光比直接反射光早返回来的多路径环境下的距离信息取得装置的动作的一例的时间图。
28.图12a是表示在图11所示的多路径环境下直接反射光及间接反射光各自的受光强
度的时间波形的曲线图。
29.图12b是表示将直接反射光及间接反射光加在一起的混合反射光的时间波形的曲线图。
30.图12c是表示在图11所示的多路径环境下、从射出照射光到接受混合反射光为止的光往复时间与深度的关系的曲线图。
31.图12d是表示图12c的深度与深度的斜度的关系的曲线图。
32.图13a是表示发生多个间接光的状态的说明图。
33.图13b是表示多个间接光各自的受光量的时间波形的曲线图。
34.图13c是表示多个间接光的合计受光量的时间波形的曲线图。
35.图14是表示有关实施例1的多路径检测装置的结构例的框图。
36.图15是表示有关实施例1的多路径检测装置的动作的时间图。
37.图16是表示有关实施例1的多路径检测方法的流程图。
38.图17是表示有关实施例1的变形例的多路径检测装置的动作的时间图。
39.图18是表示有关实施例2的多路径检测装置的结构例的框图。
40.图19是表示有关实施例2的多路径检测装置的动作的时间图。
41.图20是表示有关实施例2的多路径检测方法的流程图。
42.标号说明
43.7a、8a、9a 发光控制信号
44.7b、8b、9b 照射光
45.7c、8c、9c、9e 入射光
46.7d、8d、9d、9f曝光控制信号
47.100 多路径检测装置
48.101 信号控制部
49.102 发光部
50.103 受光部
51.103a、103b 像素
52.103a1 第1像素
53.103a2 第2像素
54.104 信号处理部
55.109 透镜
56.111 脉冲设定部
57.112 判定部
58.113 数据保持部
59.b 亮度
60.b1 第1亮度
61.b2 第2亮度
62.d 深度
63.d1 第1深度
64.d2 第2深度
65.dref 参照数据
66.es1 第1发光控制信号
67.es2 第2发光控制信号
68.es3 第3发光控制信号
69.es4 第4发光控制信号
70.i 发光强度
71.l 距离
72.obj、obj1、obj2、obj3 物体
73.obj1e 距离测量结果
74.r1、r2、r3、r4受光量
75.tm1 第1定时
76.tm2 第2定时
77.tm3 第3定时
78.tm4 第4定时
79.th 阈值
80.α 深度的斜度
具体实施方式
81.以下，参照附图对实施方式具体地进行说明。另外，以下说明的实施方式都表示本发明的一具体例。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的在表示有关本发明的一形态的实现形态的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。本发明的实现形态并不限定于现行的独立权利要求，也可以由其他的独立权利要求表现。
82.另外，各图是示意图，并不一定是严密地图示的。此外，在各图中，对于实质上相同的结构赋予相同的标号，有将重复的说明省略或简略化的情况。
83.(作为本发明的基础的认识)
84.参照图1～图13c对作为本发明的基础的认识进行说明。另外，在作为本发明的基础的认识中，也包括在以往技术中没有的新的认识及作为新的认识的基础的以往的认识。
85.[1.通常的距离信息取得装置]
[0086]
首先，参照图1对通常的距离信息取得装置进行说明。
[0087]
图1是表示通常的距离信息取得装置的结构例的框图。另外，在图1中还图示了作为测量对象的物体obj。
[0088]
距离信息取得装置是基于照在测量对象上并返回来的光的飞行时间来测量到测量对象的距离的tof(time of flight)方式的测距装置。距离信息取得装置具备信号控制部101、发光部102，受光部103及信号处理部104。
[0089]
信号控制部101将对发光部102的发光进行控制的发光控制信号向发光部102输出。此外，信号控制部101将对受光部103的曝光进行控制的曝光控制信号向受光部103输出。
[0090]
发光部102按照发光控制信号的发光脉冲而发光，即射出照射光。照射光例如是近红外光。照射光被物体obj反射，成为反射光而向距离信息取得装置返回。
[0091]
受光部103是具有以矩阵状排列的多个像素的固体摄像元件。受光部103按照曝光控制信号的曝光脉冲来接受反射光，将受光信号向信号处理部104输出。
[0092]
信号处理部104根据通过后述的3种发光曝光处理得到的受光信号序列，按受光部103的每个像素计算深度d及亮度b。能够基于该深度d求出距离。关于深度d及亮度b的求出方式在后面叙述。
[0093]
接着，对不是多路径的环境下的距离信息取得装置的动作进行说明。另外，不是多路径的环境是指没有间接光、仅存在直接光的环境。
[0094]
图2是表示不是多路径的环境下的距离信息取得装置的动作的一例的时间图。
[0095]
在图2中，表示具有发光脉冲的发光控制信号(或照射光)1a的波形、向受光部103入射的入射光1c的波形和具有曝光脉冲的曝光控制信号1d的波形。入射光1c的波形由受光部103接受的受光信号量来表示。另外，在该例中，发光控制信号及照射光的波形的形状看作大致相同。
[0096]
发光脉冲是用高电平表示激活(active)的正逻辑，曝光脉冲是用低电平表示激活的负逻辑。入射光1c包括照射光照在物体obj上并返回来的反射光和背景光。反射光从照射光的照射开始延迟规定时间而入射到受光部103。该延迟时间依赖于从距离信息取得装置到物体obj的距离。入射光1c中的该图的涂黑区域(1处)及斜线阴影区域(两处)对应于各像素的受光信号量。
[0097]
用于进行测距的发光曝光处理例如通过进行发光及曝光的s0曝光、在与s0曝光不同的时间段进行发光及曝光的s1曝光、和在与s0曝光及s1曝光不同的时间段进行曝光的bg曝光来实现。另外，在s0曝光及s1曝光中，将发光控制信号1a的开始时间设为t＝0，在bg曝光中，将曝光控制信号1d的开始时间设为t＝0。
[0098]
在s0曝光中，曝光脉冲在与发光脉冲的开始同时激活。即，曝光与发光同时(t＝0)开始。曝光脉冲的脉冲宽度t
s1
被设定为发光脉冲的脉冲宽度t
l
的2倍或比2倍长。在s0曝光中，例如能够将反射光的整体曝光。
[0099]
在s1曝光中，曝光脉冲与发光脉冲的结束同时激活。即，曝光在发光的结束时间点(t＝t
l
)开始。曝光脉冲的脉冲宽度t
s1
是与s0曝光相同的脉冲宽度。在s1曝光中，例如能够将整体的反射光中的在发光脉冲的结束后入射的反射光曝光。
[0100]
在bg曝光中，曝光脉冲没有发光脉冲的发生就成为激活。即，在bg曝光中，将不存在反射光的背景光曝光。曝光脉冲的脉冲宽度t
s1
是与s0曝光及s1曝光相同的脉冲宽度。
[0101]
另外，在s0曝光、s1曝光、bg曝光中，实际上执行伴随于多个发光脉冲或多个曝光脉冲的各处理。在该图中，表示了将这些各处理累计的结果。
[0102]
信号处理部104使用s0曝光、s1曝光、bg曝光中的各个像素的受光信号量(通过受光产生的信号电荷量)，按每个像素计算距离l及亮度b。
[0103]
这里，如果将s0曝光、s1曝光、bg曝光中的各个像素的受光信号量分别设为受光量s0、受光量s1、受光量bg，则各个像素的距离l通过数式1计算。深度d是数式1的右边的第2项，将受光量(s1－bg)除以受光量(s0－bg)而求出。此外，各个像素的亮度b通过数式2计算。另外，c是光速(约299792458m/s)，t
l
是发光脉冲的脉冲宽度。
[0104]
[数学式1]
[0105][0106]
[数学式2]
[0107]
b＝s0-bg
···
(数式2)
[0108]
接着，对不是多路径的环境下的距离信息取得装置的动作的另一例进行说明。
[0109]
图3是表示不是多路径的环境下的距离信息取得装置的动作的另一例的时间图。
[0110]
在图3中，表示了发光控制信号(或照射光)2a的波形、入射光2c的波形和曝光控制信号2d的波形。图3所示的另一例在曝光脉冲的脉冲宽度与发光脉冲的脉冲宽度相同这一点上与图2所示的例子不同。在此情况下，各个像素的距离l通过数式3计算，亮度b通过数式4计算。
[0111]
[数学式3]
[0112][0113]
[数学式4]
[0114]
b＝(s0-bg)+(s1-bg)
···
(数式4)
[0115]
[2.产生测量误差的机理]
[0116]
接着，参照图4及图5对在存在多路径的环境下产生测量误差的机理进行说明。
[0117]
图4是表示直接光和间接光混合存在的多路径环境的一例的图。
[0118]
图4所示的物体obj1是测量对象，物体obj2是作为间接光的原因的物体。距离测量结果obj1e是在从距离信息取得装置观测到物体obj1的情况下由起因于多路径的测量误差形成的像。
[0119]
在图4中表示直接光的路径及间接光的路径。
[0120]
直接光的路径是经由物体obj1的路径，是直接照射光(d－path1)被物体obj1反射而成为直接反射光(d－path2)、并到达受光部103的像素103a的路径。
[0121]
间接光的路径是经由物体obj2及物体obj1的路径，是间接照射光(m－path1)被物体obj2反射而成为间接照射光(m－path2)、再被物体obj1反射而成为间接反射光(m－path3)、并到达受光部103的像素103a的路径。
[0122]
图5是表示多路径环境下的距离信息取得装置的动作的一例的时间图。
[0123]
在图5中，表示了发光控制信号(或照射光)3a的波形、直接反射光(d－path2)3c1的波形、间接反射光(m－path3)3c2的波形、作为直接反射光3c1及间接反射光3c2之和的混合反射光3c的波形、以及曝光控制信号3d的波形。其中，发光控制信号3a、直接反射光3c1及曝光控制信号3d的各波形与图2所示的发光控制信号2a、入射光2c及曝光控制信号2d的各波形相同。即，图5为相对于图2追加了间接反射光3c2及混合反射光3c的各波形的图。
[0124]
s0曝光中的受光量s0为由直接反射光3c1带来的受光量d0与由间接反射光3c2带来的受光量m0的合计。同样，s1曝光中的受光量s1为由直接反射光3c1带来的受光量d1a与由间接反射光3c2带来的受光量m1的合计。如果将它们适用于数式1，则各个像素的距离l由数式5表示。
[0125]
[数学式5]
[0126][0127]
如果将上述的例子适用于曝光脉冲及发光脉冲的脉冲宽度相同的图3的另一例，则为以下这样。即，s0曝光中的受光量s0为由直接反射光3c1带来的受光量d0与由间接反射光3c2带来的受光量m0的合计，s1曝光中的受光量s1为由直接反射光3c1带来的受光量d1a与由间接反射光3c2带来的受光量m1的合计。如果将它们适用于数式3，则图3的另一例所示的情况下的各个像素的距离l通过数式6来计算。
[0128]
[数学式6]
[0129][0130]
数式5的由间接反射光3c2带来的受光量m0、m1是不仅依赖于物体obj1的距离、还依赖于周边物体的配置位置及反射率的值。因此，用数式5计算出的距离l包含不可预测的测量误差，使测量精度较小地劣化、或使其较大地劣化。关于数式6也是同样的。
[0131]
[3.距离信息取得装置的实际的动作]
[0132]
接着，参照图6～图7c对距离信息取得装置的实际的动作进行说明。另外，这里对不是多路径的环境进行说明。
[0133]
图6是表示不是多路径的环境下的距离信息取得装置的实际的动作的一例的时间图。
[0134]
在图6中，表示了发光控制信号4a的波形、照射光4b的波形、入射光4c的波形和曝光控制信号4d的波形。其中，发光控制信号4a及曝光控制信号4d的各波形与图2所示的发光控制信号1a及曝光控制信号1d的各波形相同。即，图6为相对于图2追加了照射光4b的波形的图。此外，图6的照射光4b及入射光4c的波形为在实际动作中发生的脉冲波形畸变后的波形。
[0135]
发光控制信号4a是进行控制以在时间t＝0开始发光、在时间t＝tr结束发光的信号。对此，从发光部102实际发出的照射光4b的波形从发光开始t＝0起逐渐上升，从发光结束t＝tr起逐渐下降，在时间t＝tr+tf下降完。时间tr相当于脉冲的上升时间，时间tf相当于脉冲的下降时间。
[0136]
该上升时间及下降时间起因于距离信息取得装置的控制电路而发生。考虑上升时间及下降时间是因为，本发明的发光脉冲的脉冲宽度为nsec量级。例如，在测量0m到3m的距离的情况下，由于光的往复时间是约20nsec，所以需要将发光脉冲的脉冲宽度设定为20nsec。这样在发光脉冲的脉冲宽度短的情况下，不能忽视上升时间及下降时间。因此，从发光部102照射的照射光4b的波形实际上如图6所示，成为在单调增加后单调减小的畸变脉冲波形。另外，照射光4b的波形也可以由三角波状或锯齿状的波形表示。这样，由于照射光4b的波形是具有上升时间及下降时间的脉冲波形，所以入射光4c的波形也为具有上升时间及下降时间的波形。在本发明中，利用该波形的形状进行有无多路径的检测。
[0137]
图7a是表示照射光4b的发光强度i的时间波形的曲线图。
[0138]
如图7a所示，如果设照射光4b的发光开始时间为t＝0，则时间(时刻)t的发光强度
i由数式7～数式10表示。
[0139]
[数学式7]
[0140]
i＝af(t)
···
(数式7)
[0141]
[数学式8]
[0142][0143]
[数学式9]
[0144][0145]
[数学式10]
[0146]
f(t)＝0(t＜0，tr+tf＜t)
···
(数式10)
[0147]
数式8的τr是发光脉冲的上升的时间常数，数式9的τf是发光脉冲的下降的时间常数，tr是上升时间，tf是下降时间，a是下降开始时的发光强度。图7a的曲线图的波形中，时间常数τr＝3.0nsec，时间常数τf＝1.4nsec，上升时间tr＝12.7nsec，下降时间tf＝7.3nsec。
[0148]
图7b是表示在不是多路径的环境下反射光的受光量的时间波形的曲线图。另外，反射光的受光量是从图6的入射光4c去除背景光后的光的量。
[0149]
如图7b所示，如果设照射光4b的发光开始时间为t＝0，此外设照射光4b从测量对象作为直接反射光而返回来为止的直接光的光往复时间为t1，则时间(时刻)t的受光量r
direct
由数式11表示。
[0150]
[数学式11]
[0151][0152]
数式11的a
t1
是下降开始时的受光强度。光以距离的平方衰减，并且，由于依赖于测量对象的反射率，所以受光强度a
t1
为未知数。受光量r
direct
的波形如数式11表示，是相对于使数式8～数式10的波形f(t)移位了到测量对象为止的光往复时间t1的量的波形，以未知数的受光强度a
t1
使其衰减后的波形。
[0153]
这里，如果设图6中的曝光脉冲的脉冲宽度t
s1
＝2
×
(tr+tf)，设在数式7中发光强度i及a＝1时的波形f(t)的面积为s，则由图6的s0曝光带来的受光量(s0－bg)由数式12表示。
[0154]
[数学式12]
[0155][0156]
此外，由图6的s1曝光带来的受光量(s1－bg)由数式13表示。
[0157]
[数学式13]
[0158][0159]
如上述那样，深度d是数式1中的右边的第2项，将受光量(s1－bg)除以受光量(s0－bg)而求出。因而，在计算深度d时，作为未知数的受光强度a
t1
被抵消，能够求出光往复时间t1。如果求出光往复时间t1，则由数式14求出距离l。
[0160]
[数学式14]
[0161][0162]
图7c是表示在不是多路径的环境下、从射出照射光4b到接受反射光为止的光往复时间t与深度d的关系的曲线图。图7d是表示图7c的深度d与深度的斜度α的关系的曲线图。另外，关于图7d，在后面详细地进行说明。
[0163]
在图7c中，设在光往复时间t＝0受光的情况下的深度为d(0)，设在光往复时间t＝t1受光的情况下的深度为d(t1)，将经过它们的曲线用实线表示。由于深度d及光往复时间t1处于1对1的关系，光往复时间t1及距离l处于1对1的关系，所以如果知道深度d(t1)，则知道光往复时间t1，可使用数式14求出距离l。此外，亮度b使用数式12求出。
[0164]
如果将上述的例子适用于曝光脉冲及发光脉冲的脉冲宽度相同的图3的另一例，则由s0曝光带来的受光量(s0－bg)由以下的数式15计算。
[0165]
[数学式15]
[0166][0167]
另一方面，关于图3的另一例的由s1曝光带来的受光量s1，由于反射光的受光量相同，所以与数式13相同。
[0168]
图3的另一例的深度d是数式3中的右边的第2项，是将受光量(s1－bg)除以受光量(s0－bg)及受光量(s1－bg)的相加结果而得到的值。如果将作为数式3的右边的第2项的分母的数式15及数式13相加，则为以下的数式16。
[0169]
[数学式16]
[0170][0171]
数式16由于与数式12相等，所以使用数式14同样地求出距离l。另外，亮度b由数式16求出。
[0172]
[4.多路径环境下的距离信息取得装置的实际的动作]
[0173]
接着，参照图8～图13c对多路径环境下的距离信息取得装置的实际的动作进行说明。
[0174]
在多路径中，例如有间接反射光比直接反射光晚到达受光部103的第1例、以及间接反射光比直接反射光早到达受光部103的第2例。
[0175]
首先，对多路径的第1例进行说明。
[0176]
如上述的图4所示，在比物体obj1靠前有别的物体obj2的情况下，成为多路径而产生测量误差。
[0177]
图8是表示间接反射光比直接反射光晚返回来的多路径环境下的距离信息取得装置的动作的一例的时间图。
[0178]
在图8中，表示了发光控制信号5a的波形、照射光5b的波形、直接反射光(d－path2)5c1的波形、间接反射光(m－path3)5c2的波形、入射光5c的波形和曝光控制信号5d的波形。
[0179]
入射光5c包含混合反射光和背景光。混合反射光是受到照射光5b而从物体obj1返回来的直接反射光、以及经由物体obj2受到照射光5b而从物体obj1返回来的间接反射光的和。其中，发光控制信号5a、照射光5b、直接反射光5c1及曝光控制信号5d的各波形与图6所示的发光控制信号4a的波形、照射光4b的波形、入射光4c中的反射光的波形及曝光控制信号4d的波形相同。即，图8为相对于图6追加了间接反射光5c2及入射光5c的各波形的图。
[0180]
图9a是表示在图8所示的多路径环境下直接反射光5c1及间接反射光5c2各自的受光强度的时间波形的曲线图。
[0181]
如图9a所示，由于间接反射光5c2经过比直接反射光5c1长的路径，所以发生时间上的延迟。如果将直接反射光5c1的光往复时间如由图7b及数式11表示那样设为t1，将以该光往复时间t1为基点的间接反射光5c2的延迟时间设为多路径延迟时间tb，则时间(时刻)t的间接反射光5c2的受光量r
indirect
由数式17表示。
[0182]
[数学式17]
[0183][0184]
这里，b
t1
是间接反射光5c2的下降开始时的受光强度。由于光以距离的平方衰减，并且也依赖于测量对象的反射率及经过的路径上的物体的反射率，所以受光强度b
t1
为未知数。
[0185]
图9b是表示将直接反射光5c1及间接反射光5c2加在一起的混合反射光的受光量的时间波形的曲线图。由于实际上不能将如图9a所示的直接反射光5c1及间接反射光5c2分别接受，所以观测到如图9b所示的波形。时间(时刻)t的混合反射光的受光量r
mix
由数式18表示。
[0186]
[数学式18]
[0187]rmix
(t)＝r
direct
(t)+r
indirect
(t)
···
(数式18)
[0188]
这里，如果设图8中的曝光脉冲的脉冲宽度t
s1
＝2
×
(tr+tf)，设发光强度i及a＝1时的波形f(t)的面积为s，则图8的由s0曝光带来的受光量(s0－bg)由数式19表示。
[0189]
[数学式19]
[0190]
[0191]
此外，图8的s1曝光中的受光量(s1－bg)由数式20及数式21表示。
[0192]
[数学式20]
[0193][0194]
[数学式21]
[0195][0196]
深度d是数式1中的右边的第2项，将数式20的受光量(s1－bg)除以数式19的受光量(s0－bg)而求出，但在作为数式18及数式20的一部分的数式21中，存在未知数的受光强度b
t1
》0及多路径延迟时间tb》0，不能抵消其影响。因此，深度d成为比仅接受了直接光的情况大的值。
[0197]
图9c是表示在图8所示的多路径环境下、从射出照射光到接受混合反射光为止的光往复时间t与深度d的关系的曲线图。图9d是表示图9c的深度d与深度的斜度α的关系的曲线图。
[0198]
在图9c中，设在光往复时间t＝0接受了混合反射光的情况下的深度为0，设在光往复时间t＝t1接受了混合反射光的情况下的深度为do(t1)，将经过它们的曲线用实线表示。此外，在图9c中，设在光往复时间t＝0仅接受到直接反射光5c1的情况下的深度为0，设在光往复时间t＝t1仅接受到直接反射光5c1的情况下的深度为d
ref
(t1)，将经过它们的曲线用点线表示。另外，该点线与图7c所示的曲线相同。利用这些关系，在本发明的多路径检测装置100中，如图9d所示，通过判定反射光的深度是否与仅直接光时的深度相同、即是否是深度do(t1)≠深度d
ref
(t1)，能够检测有无多路径。另外，关于图9d在后面详细地进行说明。
[0199]
接着，对间接反射光比直接反射光早到达受光部103的多路径的第2例进行说明。该第2例也被称作光晕(flare)。
[0200]
图10是表示间接反射光比直接反射光早返回来的多路径环境的一例的图。
[0201]
在图10中，透镜109配置在受光部103的前方。物体obj1是测量对象，物体obj2是作为间接光的原因的物体。距离测量结果obj1e是在从距离信息取得装置观测到物体obj1的情况下由起因于多路径的测量误差形成的像。
[0202]
在图10中表示了两个直接光的路径及1个间接光的路径。
[0203]
第1个直接光的路径是经由物体obj1的路径，是直接照射光(d1－path1)被物体obj1反射而成为直接反射光(d1－path2)、经过透镜109而到达受光部103的像素103a的路径。
[0204]
第2个直接光的路径是经由物体obj2的路径，是照射光(d2－path1)被物体obj2反射而成为反射光(d2－path2)、经过透镜109而到达受光部103的像素103b的路径。
[0205]
间接光的路径是由透镜109反射的路径，是由像素103b反射的间接反射光(m－
path1)由透镜109散射、成为间接反射光(m－path2)而到达像素103a的路径。
[0206]
图11是表示间接反射光6c2比直接反射光6c1早返回来的多路径环境下的距离信息取得装置的动作的例子的时间图。
[0207]
在图11中，表示了发光控制信号6a的波形、照射光6b的波形、直接反射光(d1－path2)6c1的波形、间接反射光(m－path2)6c2的波形、入射光6c的波形和曝光控制信号6d的波形。
[0208]
入射光6c包含混合反射光和背景光。混合反射光是直接反射光6c1及间接反射光6c2的和。其中，发光控制信号6a、照射光6b、直接反射光6c1及曝光控制信号6d的各波形与图6所示的发光控制信号4a的波形、照射光4b的波形、入射光4c中的反射光的波形及曝光控制信号4d的波形相同。即，图11为相对于图6追加了间接反射光6c2及入射光6c的各波形的图。
[0209]
图12a是表示在图11所示的多路径环境下、直接反射光6c1及间接反射光6c2各自的受光强度的时间波形的曲线图。图12b是表示将直接反射光6c1及间接反射光6c2加在一起的混合反射光的时间波形的曲线图。
[0210]
如图12a所示，间接反射光6c2由于经过比直接反射光6c1短的路径，所以发生时间上的提早。直接反射光6c1如数式11所示，间接反射光6c2与图7b的第1例相反，是提早时间tb返回来的，所以通过在数式17至数式21中设为未知数的时间tb《0，能够同样地计算。
[0211]
深度d是数式1中的右边的第2项，将数式20的受光量(s1－bg)除以数式19的受光量(s0－bg)而求出，但在作为数式18及数式20的一部分的数式21中，存在未知数的受光强度b
t1
》0及多路径提前时间tb《0，不能抵消其影响。因此，深度d成为比仅接受到直接光的情况小的值。
[0212]
图12c是表示在图11所示的多路径环境下从射出照射光6b到接受混合反射光为止的光往复时间t与深度d的关系的曲线图。图12d是表示图12c的深度d与深度的斜度α的关系的曲线图。
[0213]
在图12c中，设在光往复时间t＝0接受到混合反射光的情况下的深度为0，设在光往复时间t＝t1接受到混合反射光的情况下的深度为do(t1)，将经过它们的曲线用实线表示。此外，将图7c所示的曲线用点线表示。利用它们的关系，在第2例中也如图12d所示，通过判定反射光的深度是否与仅直接光时的深度相同，能够检测有无多路径。另外，关于图12d在后面详细地进行说明。
[0214]
另外，到此为止说明的多路径是1个路径的间接反射光，但并不限定于此，如以下所示，多个路径的间接反射光也包含在本发明中。
[0215]
图13a是表示发生多个间接光的状态的说明图。
[0216]
图13a所示的物体obj1是测量对象，物体obj2及物体obj3是作为间接光的原因的物体。距离测量结果obj1e是在从距离信息取得装置观测到物体obj1的情况下、通过由多路径带来的测量误差形成的像。在该图中，将直接光的路径用实线表示，将经由物体obj2的3个间接光的路径及经由物体obj3的3个间接光的路径用虚线表示。
[0217]
图13b是表示多个间接光各自的受光量的时间波形的曲线图。
[0218]
图13b是表示假定为将图13a的6个间接光用受光部103分别接受时的受光量的时间波形的曲线图。如该图所示，间接光的路径越长，受光量的上升越慢，受光量的高度越低。
[0219]
图13c是表示多个间接光的合计受光量的时间波形的曲线图。
[0220]
如图13c所示，在将6个间接光的受光量合计的波形中，也显示出与图7b同样的波形趋势。因此，即使发生多个间接光，也能够近似为上述的1个路径的间接光。即，在发生了多个间接光的情况下也能够应用本认识。
[0221]
[5.有无多路径的判定方式]
[0222]
接着，参照图7d、图9d及图12d对有无多路径的判定方式进行说明。在该有无多路径的判定中，着眼于深度的斜度α或两个深度的差。
[0223]
深度d的斜度α(t1)是在规定的光往复时间t1将深度d微分的值，由数式22表示。
[0224]
[数学式22]
[0225][0226]
如数式22所示，斜度α(t1)使波形向与时间t相反方向反转，此外使其移位时间tr的量，用1/s的项标准化以使波形面积成为1。
[0227]
图7d是将纵轴与横轴反过来表示在图7c中表示的深度d与深度的斜度α的关系的曲线图。作为深度d的微分的深度的斜度α由数式23表示。
[0228]
[数学式23]
[0229][0230]
在数式23中，通过设为δt
→
0，能够求出深度的斜度α，但在现实中难以使δt成为0，此外，δt越接近于0，越大地受到噪声的影响。因此，δt优选地设定为某种程度较大的值。具体而言，设定为发光脉冲的上升时间tr的一半或1/3等的时间。另外，可以代替使用深度的斜度α，将δt设为固定值而使用两个深度的差。由此，能够减轻由除法带来的计算负荷，进而减轻处理负荷。
[0231]
图9d是将纵轴与横轴反过来表示在图9c中表示的深度d与深度的斜度α的关系的曲线图。在图9d中，表示了在光往复时间t＝t1接受到混合反射光时的深度的斜度α0及此时的深度d0(α0)。此外，在该图中，作为参照数据d
ref
，将在图7d中表示的仅接受到直接反射光时的深度与深度的斜度的关系用点线表示。
[0232]
如图9d所示，与用混合反射光计算出的深度的斜度α0对应的深度d0(α0)成为与对应于相同的斜度α0的深度d
ref
(α0)不同的点。这样，例如通过将仅接受到直接反射光时的深度d和其斜度α作为参照数据d
ref
预先保持，并判断实际测量而取得的深度是否与参照数据d
ref
一致，能够判定有无多路径。
[0233]
图12d是将纵轴与横轴反过来表示在图12c中表示的深度d与深度的斜度α的关系的曲线图。在图12d中，表示了在光往复时间t＝t1接受到混合反射光时的深度的斜度α0及此时的深度d0(α0)。此外，在该图中，作为参照数据d
ref
，将在图7d中表示的仅接受到直接反射光时的深度与深度的斜度的关系用点线表示。
[0234]
如图12d所示，与用混合反射光计算出的深度的斜度α0对应的深度d0(α0)成为与对应于相同的斜度α0的深度d
ref
(α0)不同的点。在图12d的例子中，也能够通过将仅接受到直接反射光时的深度d和其斜度α作为参照数据d
ref
预先保持，并判断实际测量而取得的深度是
否与参照数据d
ref
一致，来判定有无多路径。
[0235]
(实施例1)
[0236]
[1－1.多路径检测装置的结构]
[0237]
基于作为本发明的基础的认识，参照图14及图15对有关实施例1的多路径检测装置100的结构进行说明。
[0238]
图14是表示有关实施例1的多路径检测装置100的结构例的框图。另外，在该图中还示意地表示了物体obj、照射光及反射光。
[0239]
多路径检测装置100是基于tof方式的测距装置。多路径检测装置100具备信号控制部101、发光部102、受光部103、信号处理部104、脉冲设定部111、判定部112及数据保持部113。另外，多路径检测装置100具备的这些功能由微型计算机、微控制器或dsp(digital signal processor：数字信号处理器)实现。微型计算机、微控制器或dsp具备保存多路径检测用的程序的存储器和执行程序的cpu(central processing unit：中央处理单元)。
[0240]
脉冲设定部111将用于设定发光脉冲及曝光脉冲的脉冲设定信号向信号控制部101输出。
[0241]
信号控制部101将对发光部102的发光进行控制的发光控制信号向发光部102输出。此外，信号控制部101将对受光部103的曝光进行控制的曝光控制信号向受光部103输出。
[0242]
发光部102按照发光控制信号的发光脉冲进行发光，即射出照射光。照射光例如是近红外光。照射光被物体obj反射而成为反射光，向多路径检测装置100返回。
[0243]
受光部103是具有被排列为矩阵状的多个像素的固体摄像元件。受光部103按照曝光控制信号的曝光脉冲接受反射光，将受光信号向信号处理部104输出。
[0244]
信号处理部104根据通过3种发光曝光处理而得到的受光信号序列，按受光部103的每个像素，计算第1深度d1及第2深度d2、以及第1亮度b1及第2亮度b2。
[0245]
图15是表示有关实施例1的多路径检测装置100的动作的时间图。在图15中，表示了发光控制信号7a的波形、照射光7b的波形、入射光7c的波形和曝光控制信号7d的波形。
[0246]
多路径检测装置100为了计算深度的斜度α，具有在第1期间执行的s0曝光、s1曝光及bg曝光，和在与第1期间不同的第2期间执行的s0曝光、s1曝光及bg曝光。另外，第1期间的s0曝光、s1曝光、bg曝光为与图6相同的设定。
[0247]
图15所示的第1发光控制信号es1、第2发光控制信号es2、第3发光控制信号es3及第4发光控制信号es4分别是从信号控制部101输出的发光控制信号。信号控制部101在第1期间中的不同的时间段输出第1发光控制信号es1及第2发光控制信号es2，在第2期间中的不同的时间段输出第3发光控制信号es3及第4发光控制信号es4。
[0248]
第1定时tm1、第2定时tm2、第3定时tm3及第4定时tm4分别是由曝光控制信号7d控制的曝光定时。信号控制部101在第1期间输出成为第1定时tm1及第2定时tm2的曝光控制信号，在第2期间输出成为第3定时tm3及第4定时tm4的曝光控制信号7d。在图15中，表示了在第1定时tm1接受到的受光量r1、在第2定时tm2接受到的受光量r2、在第3定时tm3接受到的受光量r3、以及在第4定时tm4接受到的受光量r4。
[0249]
如图15所示，以第3发光控制信号es3为基准的第3定时tm3的开始时间与以第1发光控制信号es1为基准的第1定时tm1的开始时间不同，比第1定时tm1晚了时间δt。此外，以
第4发光控制信号es4为基准的第4定时tm4的开始时间与以第2发光控制信号es2为基准的第2定时tm2的开始时间不同，比第2定时tm2晚了时间δt。换言之，以第4发光控制信号es4为基准的第4定时tm4的开始时间与以第2发光控制信号es2为基准的第2定时tm2的开始时间的差，和以第3发光控制信号es3为基准的第3定时tm3的开始时间与以第1发光控制信号es1为基准的第1定时tm1的开始时间的差相同。
[0250]
第1深度d1及第2深度d2由信号处理部104如以下这样求出。
[0251]
例如，第1深度d1通过受光部103的受光量r1与受光部103的受光量r2之比来求出，受光部103的受光量r1通过按照来自信号控制部101的第1发光控制信号es1以第1定时tm1进行曝光而得到，受光部103的受光量r2通过按照来自信号控制部101的第2发光控制信号es2以第2定时tm2进行曝光而得到。另外，第2定时tm2是与第1定时tm1不同的定时，比第1定时tm1晚时间tr而开始。
[0252]
第2深度d2通过受光部103的受光量r3与受光部103的受光量r4之比来求出，受光部103的受光量r3通过按照来自信号控制部101的第3发光控制信号es3以第3定时tm3进行曝光而得到，受光部103的受光量r4通过按照来自信号控制部101的第4发光控制信号es4以第4定时tm4进行曝光而得到。另外，第4定时tm4是与第3定时tm3不同的定时，比第3定时tm3晚时间tr而开始。
[0253]
数据保持部113预先保持不是多路径的环境下的参照数据d
ref
。该参照数据d
ref
是关于深度的数据。该关于深度的数据根据通过按照来自信号控制部101的规定的发光控制信号以规定的定时进行曝光而得到的受光部103的受光量、与通过按照在与规定的发光控制信号不同的时间段输出的来自信号控制部101的发光控制信号以与上述规定的定时不同的定时进行曝光而得到的受光部103的受光量之比来求出。
[0254]
判定部112基于由信号处理部104输出的第1深度d1与第2深度d2的差和上述参照数据d
ref
，判定有无多路径。具体而言，判定部112基于根据第1深度d1与第2深度d2的差求出的深度的斜度α和保持在数据保持部113中的参照数据d
ref
，求出不是多路径的环境下的参照深度d
ref
(α0)。并且，根据第1深度d1与参照深度d
ref
(α0)的差的大小来判定有无多路径。
[0255]
此时，可以代替使用深度的斜度α而使用两个深度的差。具体而言，判定部112也可以基于第1深度d1与第2深度d2的差和保持在数据保持部113中的参照数据d
ref
，求出不是多路径的环境下的参照深度，根据第1深度d1与参照深度d
ref
(α0)的差的大小来判定有无多路径。
[0256]
另外，在上述中，根据第1深度d1与参照深度d
ref
(α0)的差的大小来判定有无多路径，但并不限于此，也可以根据第2深度d2与参照深度d
ref
(α0)的差的大小来判定有无多路径。此外，参照数据d
ref
既可以由使用数式12和数式13的数式生成，也可以通过在上述的第1期间的s0曝光、s1曝光、bg曝光和第2期间的s0曝光、s1曝光、bg曝光中改变测量对象的距离并实测来生成。
[0257]
[1－2.多路径检测方法]
[0258]
图16是表示有关实施例1的多路径检测方法的流程图。
[0259]
首先，作为检测多路径的准备，多路径检测装置100将不是多路径的环境下的参照数据d
ref
保存在数据保持部113中(步骤s10)。不是多路径的环境指的是仅接受到直接反射光时的受光信号序列，例如是如图7d所示的仅由直接反射光生成的深度d和斜度α的曲线
图。
[0260]
并且，多路径检测装置100执行第1期间中的s0曝光、s1曝光、bg曝光(步骤s11)。具体而言，受光部103通过第1定时tm1的曝光取得受光量r1，通过第2定时tm2的曝光取得受光量r2。受光量r1及受光量r2被输出至信号处理部104。
[0261]
接着，信号处理部104根据受光量r1与受光量r2之比来计算第1深度d1(步骤s12)。第1深度d1由数式1的右边的第2项计算。
[0262]
接着，多路径检测装置100执行第2期间中的s0曝光、s1曝光、bg曝光(步骤s13)。具体而言，受光部103通过第3定时tm3的曝光取得受光量r3，通过第4定时tm4的曝光取得受光量r4。受光量r3及受光量r4被输出至信号处理部104。
[0263]
接着，信号处理部104根据受光量r3与受光量r4之比来计算第2深度d2(步骤s14)。第2深度d2由数式1的右边的第2项计算。另外，步骤s13及步骤s14也可以比步骤s11及步骤s12靠前执行。
[0264]
接着，判定部112根据第1深度d1和第2深度d2计算深度的斜度α(步骤s15)。例如，判定部112求出根据第1深度d1与第2深度d2的差来求出的深度的斜度α。
[0265]
并且，判定部112取得与深度的斜度α0一致的参照深度d
ref
(α0)(步骤s16)。具体而言，判定部112基于上述深度的斜度α0和由数据保持部113保持的参照数据d
ref
，求出不是多路径的环境下的参照深度d
ref
(α0)。
[0266]
并且，判定部112判断第1深度d1与参照深度d
ref
(α0)的差的大小是否比阈值th大(步骤s17)。阈值th是将测量误差容许到哪儿的判定基准，例如如果假设深度是0.0到1.0的范围，则如果是容许到误差10％的系统则为th＝0.1等，根据后级的系统所要求的误差容许量而自由地设定。
[0267]
判定部112在第1深度d1与参照深度d
ref
(α0)的差的大小比阈值th大的情况下(s17中是)，判定为有多路径(步骤s18)。另一方面，判定部112在第1深度d1与参照深度d
ref
(α0)的差的大小是阈值th以下的情况下(s17中否)，判定为无多路径(步骤s19)。由此，判定对测量对象的距离进行测量时的多路径的有无。
[0268]
在判定为无多路径的情况下，可以使用数式12～数式14求出深度d，求出距离l。
[0269]
在判定为有多路径的情况下，求出以下所示的4个未知数参数，将深度d进行修正。
[0270]
4个未知数参数中的第1个是照射光从测量对象作为直接反射光返回来为止的光往复时间t1，第2个是直接反射光的下降开始时的受光强度a
t1
，第3个是以直接光的光往复时间t1为基点的间接反射光的多路径延迟时间tb，第4个是间接反射光的下降开始时的受光强度b
t1
。这里，关于多路径延迟时间tb，由于是间接反射光比直接反射光晚的情况，所以为tb》0。相对于此，对图12a所示的多路径提早时间tb而言，由于是间接反射光比直接反射光早的情况，所以为tb《0。
[0271]
这里，为了求出4个未知数参数而利用4个测量值。第1个是第1深度d1，第2个是第2深度d2，第3个是根据第1深度d1及第2深度d2计算的深度的斜度α0。第4个使用从信号处理部104输出的亮度信息。该亮度信息既可以是根据第1期间计算的第1亮度b1，也可以是根据第2期间计算的第2亮度b2，也可以使用其两者的平均值。
[0272]
并且，生成数式24～数式27所示的4个方程式，求出各方程式成为0那样的未知数参数t1、a
t1
、b
t1
、tb。在解4个方程式时，既可以使用通常的非线性估计，也可以使用其他高速
的估计方法。
[0273]
[数学式24]
[0274][0275]
[数学式25]
[0276][0277]
[数学式26]
[0278][0279]
[数学式27]
[0280][0281]
如果求出未知数参数t1、a
t1
、b
t1
、tb，则能够求出适用于不是多路径的环境的情况下的深度d。
[0282]
这样，信号处理部104计算根据通过以第1定时tm1进行曝光而得到的受光部103的受光量r1求出的第1亮度b1、以及根据通过以第3定时tm3进行曝光而得到的受光部103的受光量r3求出的第2亮度b2。判定部112在判定为有多路径的情况下，使用第1亮度b1及第2亮度b2的至少一方、第1深度d1与第2深度d2的差及参照数据d
ref
，将第1深度d1或第2深度d2进行修正。由此，能够求出多路径环境下的距离l。
[0283]
[1－3.实施例1的变形例]
[0284]
接着，参照图17对有关实施例1的变形例的多路径检测装置100进行说明。
[0285]
图17是表示有关实施例1的变形例的多路径检测装置100的动作的时间图。在图17中，表示了发光控制信号8a、照射光8b、入射光8c、曝光控制信号8d。
[0286]
第1期间中的s0曝光、s1曝光、bg曝光是与图6相同的设定。
[0287]
第2期间中的s0曝光、s1曝光、bg曝光其曝光控制信号8d的定时与第1期间相同，在使发光控制信号8a比第1期间早δt这一点上与第1期间不同。随之，照射光8b、入射光8c也比第1期间中表示的定时早δt。
[0288]
在变形例中，也根据图17所示的受光量r1与受光量r2之比计算第1深度d1，根据受光量r3与受光量r4之比计算第2深度d2。并且，基于第1深度d1与第2深度d2的差和参照数据d
ref
，能够判定有无多路径。
[0289]
[1－4.效果等]
[0290]
本实施方式的多路径检测装置100具备：信号控制部101，输出发光控制信号7a及
曝光控制信号7d；发光部102，按照发光控制信号7a进行发光；受光部103，通过按照曝光控制信号7d进行曝光而接受光；数据保持部113，保持关于深度的参照数据d
ref
，该参照数据d
ref
根据在不是多路径的环境下通过按照来自信号控制部101的规定的发光控制信号以规定的定时进行曝光而得到的受光部103的受光量、与通过按照在与上述规定的发光控制信号不同的时间段输出的来自信号控制部101的发光控制信号在与上述规定的定时不同的定时进行曝光而得到的受光部103的受光量之比来求出；信号处理部104，计算第1深度d1及第2深度d2，上述第1深度d1根据通过按照来自信号控制部101的第1发光控制信号es1以第1定时tm1进行曝光而得到的受光部103的受光量r1、与通过按照在与第1发光控制信号es1不同的时间段输出的来自信号控制部101的第2发光控制信号es2以与第1定时tm1不同的第2定时tm2进行曝光而得到的受光部103的受光量r2之比来求出，上述第2深度d1根据通过按照来自信号控制部101的第3发光控制信号es3以第3定时tm3进行曝光而得到的受光部103的受光量r3、与通过按照在与第3发光控制信号es3不同的时间段输出的来自信号控制部101的第4发光控制信号es4以与第3定时tm3不同的第4定时tm4进行曝光而得到的受光部103的受光量r4之比来求出；以及判定部112，使用第1深度d1与第2深度d2的差和参照数据d
ref
，判定有无多路径。
[0291]
这样，信号处理部104根据受光量r1与受光量r2之比求出第1深度d1，根据受光量r3与受光量r4之比计算第2深度d2，判定部112基于第1深度d1及第2深度d2的差和参照数据d
ref
判定有无多路径，由此能够减轻用于判定有无多路径的处理负荷。
[0292]
此外，也可以是，发光部102的照射光的波形是在单调增加后单调减小的畸变脉冲波形。
[0293]
由此，深度与深度的斜度的关系成为1对1，能够减轻多路径检测的处理负荷。
[0294]
此外，也可以是，以第4发光控制信号es4为基准的第4定时tm4的开始时间与以第2发光控制信号es2为基准的第2定时tm2的开始时间不同。
[0295]
由此，在调整发光脉冲及曝光脉冲的设定的基于tof方式的多路径检测装置中，能够将标准地搭载的功能扩展使用而检测多路径，能够降低多路径检测装置100的成本。
[0296]
此外，也可以是，以第3发光控制信号es3为基准的第3定时tm3的开始时间与以第1发光控制信号es1为基准的第1定时tm1的开始时间不同。
[0297]
由此，在调整发光脉冲及曝光脉冲的设定的基于tof方式的多路径检测装置中，能够将标准地搭载的功能扩展使用而检测多路径，能够降低多路径检测装置100的成本。
[0298]
此外，也可以是，以第4发光控制信号es4为基准的第4定时tm4的开始时间与以第2发光控制信号es2为基准的第2定时tm2的开始时间的差，和以第3发光控制信号es3为基准的第3定时tm3的开始时间与以第1发光控制信号es1为基准的第1定时tm1的开始时间的差相同。
[0299]
由此，能够正确地求出通过两个受光量之比计算的深度。由此，能够基于两个深度的差和参照数据d
ref
正确地判定有无多路径。
[0300]
此外，也可以是，信号控制部101在不同的时间段输出第1发光控制信号es1及第3发光控制信号es3。
[0301]
由此，能够简单地求出第1深度d1及第2深度，所以能够减轻用于判定有无多路径的处理负荷。
[0302]
此外，也可以是，数据保持部113保持深度与深度的斜度的关系作为参照数据d
ref
，判定部112基于根据第1深度d1与第2深度d2的差求出的深度的斜度α0和保持在数据保持部113中的参照数据d
ref
，求出不是多路径的环境下的参照深度d
ref
(α0)，根据第1深度d1或第2深度d2与参照深度d
ref
(α0)的差的大小来判定有无多路径。
[0303]
这样，通过基于深度的斜度α0和参照数据d
ref
求出不是多路径的环境下的参照深度d
ref
(α0)，例如根据第1深度d1与参照深度d
ref
(α0)的差的大小来判定有无多路径，能够减轻用于判定有无多路径的处理负荷。
[0304]
此外，也可以是，判定部112基于第1深度d1与第2深度d2的差和保持在数据保持部113中的参照数据d
ref
求出不是多路径的环境下的参照深度d
ref
(α0)，根据第1深度d1或第2深度d2与参照深度d
ref
(α0)的差的大小来判定有无多路径。
[0305]
这样，通过基于两个深度的差和参照数据d
ref
求出不是多路径的环境下的参照深度d
ref
(α0)，例如根据第1深度d1与参照深度d
ref
(α0)的差的大小来判定有无多路径，能够减轻用于判定有无多路径的处理负荷。
[0306]
此外，也可以是，信号处理部104计算根据通过以第1定时tm1进行曝光而得到的受光部103的受光量r1求出的第1亮度b1及根据通过以第3定时tm3进行曝光而得到的受光部103的受光量r3求出的第2亮度b2，判定部112在判定为有多路径的情况下，使用第1亮度b1及第2亮度b2的至少一方、第1深度d1与第2深度d2的差及参照数据d
ref
，将第1深度d1进行修正。
[0307]
由此，能够计算没有由多路径带来的测量误差的状态下的深度，能够以计算出的深度测量正确的距离。
[0308]
本实施方式的多路径检测方法包括：保存关于深度的参照数据d
ref
的步骤，上述参照数据d
ref
根据在不是多路径的环境下通过按照规定的发光控制信号以规定的定时进行曝光而得到的受光量、与通过按照在与上述规定的发光控制信号不同的时间段输出的发光控制信号在与上述规定的定时不同的定时进行曝光而得到的受光量之比来求出；计算第1深度d1的步骤，上述第1深度d1根据通过按照第1发光控制信号es1以第1定时tm1进行曝光而得到的受光量r1、与通过按照在与第1发光控制信号es1不同的时间段输出的第2发光控制信号es2以与第1定时tm1不同的第2定时tm2进行曝光而得到的受光量r2之比来求出；计算第2深度d2的步骤，上述第2深度d2根据通过按照第3发光控制信号es3以第3定时tm3进行曝光而得到的受光量r3、与通过按照在与第3发光控制信号es3不同的时间段输出的第4发光控制信号es4以与第3定时tm3不同的第4定时tm4进行曝光而得到的受光量r4之比来求出；以及使用第1深度d1与第2深度d2的差和参照数据d
ref
判定有无多路径的步骤。
[0309]
这样，根据受光量r1与受光量r2之比计算第1深度d1，根据受光量r3与受光量r4之比计算第2深度d2，基于第1深度d1与第2深度d2的差和参照数据d
ref
判定有无多路径，由此能够减轻用于判定有无多路径的处理负荷。
[0310]
(实施例2)
[0311]
接着，参照图18～图20对有关实施例2的多路径检测装置100进行说明。在实施例1中，说明了将第1期间及第2期间以时间序列执行的例子，而在实施例2中，对使第1期间及第2期间的s0曝光、s1曝光、bg曝光对应于两个像素的每个像素并且一齐执行的例子进行说明。
[0312]
图18是表示有关实施例2的多路径检测装置100的结构例的框图。
[0313]
信号控制部101将相当于图17的第1期间及第2期间的定时信号同时生成并输出。例如，信号控制部101将曝光控制信号9d向受光部103的第1像素103a1输出，将曝光控制信号9f向受光部103的第2像素103a2输出。
[0314]
受光部103包括第1像素103a1和第2像素103a2。第1像素103a1通过接受曝光控制信号9d而动作，第2像素103a2通过接受曝光控制信号9f而动作。
[0315]
信号处理部104从像素301a1接受关于受光量的受光信号1，计算第1深度d1及第1亮度b1。此外，从像素301a2接受关于受光量的受光信号2，计算第2深度d2和第2亮度b2。并且，将关于第1深度d1、第2深度d2、第1亮度b1及第2亮度b2的信息向判定部112输出。
[0316]
图19是表示有关实施例2的多路径检测装置100的动作的时间图。在该图中，表示了发光控制信号9a、照射光9b、入射光9c、曝光控制信号9d、入射光9e、曝光控制信号9f。在该图中，发光控制信号9a、照射光9b、入射光9c、曝光控制信号9d所表示的定时是与图6相同的设定。
[0317]
如图19所示，将第1发光控制信号es1及第3发光控制信号es3同时输出，此外，将第2发光控制信号es2及第4发光控制信号es4同时输出。
[0318]
此外，在以第1发光控制信号es1为基准的第1定时tm1输出曝光控制信号9d，在以第2发光控制信号es2为基准的第2定时tm2输出曝光控制信号9d。此外，在以第3发光控制信号es3为基准的第3定时tm3输出曝光控制信号9f，在以第4发光控制信号es4为基准的第4定时tm4输出曝光控制信号9f。第3定时tm3的开始时间比第1定时tm1晚时间δt，第4定时tm4的开始时间比第2定时tm2晚时间δt。此外，第2定时tm2以发光控制信号9a为基准比第1定时tm1晚时间tr而开始，此外，第4定时tm4以发光控制信号9a为基准比第3定时tm3晚时间tr而开始。
[0319]
图20是表示有关实施例2的多路径检测方法的流程图。
[0320]
首先，作为检测多路径的准备，多路径检测装置100将不是多路径的环境下的参照数据d
ref
保存到数据保持部113中(步骤s20)。
[0321]
接着，多路径检测装置100执行相当于第1期间及第2期间的s0曝光、s1曝光、bg曝光(步骤s21)。具体而言，受光部103通过第1定时tm1的曝光取得受光量r1，通过第2定时tm2的曝光取得受光量r2，通过第3定时tm3的曝光取得受光量r3，通过第4定时tm4的曝光取得受光量r4。受光量r1～r4被输出至信号处理部104。
[0322]
接着，信号处理部104根据受光量r1与受光量r2之比计算第1深度d1，根据受光量r3与受光量r4之比计算第2深度d2(步骤s22)。
[0323]
接着，判定部112根据第1深度d1和第2深度d2计算深度的斜度α(步骤s25)。例如判定部112求出根据第1深度d1与第2深度d2的差来求出的深度的斜度α。
[0324]
并且，判定部112取得与深度的斜度α0一致的参照深度d
ref
(α0)(步骤s26)。具体而言，判定部112基于上述深度的斜度α0和保持在数据保持部113中的参照数据d
ref
，求出不是多路径的环境下的参照深度d
ref
(α0)。
[0325]
并且，判定部112判断第1深度d1与参照深度d
ref
(α0)的差的大小是否比阈值th大(步骤s27)。
[0326]
判定部112在第1深度d1与参照深度d
ref
(α0)的差的大小比阈值th大的情况下(s27
中是)，判定为有多路径(步骤s28)。另一方面，判定部112在第1深度d1与参照深度d
ref
(α0)的差的大小是阈值th以下的情况下(s27中否)，判定为无多路径(步骤s29)。由此，判定对测量对象的距离进行测量时的多路径的有无。
[0327]
在判定为无多路径的情况下，可以使用数式12～数式14求出深度d，求出距离l。
[0328]
在判定为有多路径的情况下，也可以根据上述的深度、亮度、斜度，与实施例1同样地进行修正。进而，能够以比实施例1少的帧数取得需要的受光信号，能实现多路径检测和修正的高速化。
[0329]
这样，有关实施例2的多路径检测装置100根据图19所示的受光量r1与受光量r2之比计算第1深度d1，根据受光量r3与受光量r4之比计算第2深度d2。并且，由于基于第1深度d1与第2深度d2的差和参照数据d
ref
判定有无多路径，所以能够减轻用于判定有无多路径的处理负荷。
[0330]
此外，信号控制部101将第1发光控制信号es1及第3发光控制信号es3同时输出，将第2发光控制信号es2及第4发光控制信号es4同时输出，并且，将用于进行对应于第1发光控制信号es1的曝光及对应于第2发光控制信号es2的曝光的曝光控制信号9d向受光部103的第1像素103a1输出，将用于进行对应于第3发光控制信号es3的曝光及对应于第4发光控制信号es4的曝光的曝光控制信号9f向受光部103的第2像素103a2输出。
[0331]
由此，能够使用两个像素同时进行第1期间及第2期间，能够使多路径检测动作的实时处理简单化。
[0332]
(其他实施方式)
[0333]
以上，对实施方式进行了说明，但本发明并不限定于上述实施方式。对实施方式施以本领域技术人员想到的各种变形而得到的形态、或通过在不脱离本发明的主旨的范围中将各实施方式的构成要素及功能任意地组合而实现的形态也包含在本发明中。
[0334]
本发明的多路径检测装置及多路径检测方法例如能够广泛地应用于tof相机系统。