距离图像摄像装置以及距离图像摄像方法与流程

本发明涉及距离图像摄像装置以及距离图像摄像方法。本技术主张2021年1月25日向日本提交的特愿2021-009673号的优先权，并将其内容援用于此。

背景技术：

1、一直以来，作为用于计测与物体之间的距离的技术，存在对光脉冲的飞行时间进行测定的技术。这种技术被称为飞行时间(time of flight，以下称为tof)。在tof中，利用光的速度为已知的情况来计算与物体之间的距离。使用tof技术来得到包含物体的二维图像中的每个像素的进深信息、即针对物体的三维信息的距离图像摄像装置被实用化。在距离图像摄像装置中，包括光电二极管(pd)的像素在硅基板上配置为二维矩阵状，通过该像素面对光脉冲由物体反射后的反射光进行受光。在距离图像摄像装置中，通过将基于各个像素所受光的光量(电荷量)的光电转换信号输出一个图像量，由此得到包含物体的二维图像以及构成该图像的各个像素的距离信息。例如，专利文献1公开了一种技术，通过向设置于一个像素的3个电荷蓄积部依次分配与所受光的光相应的电荷并蓄积，由此计算出距离。

2、现有技术文献

3、专利文献

4、专利文献1：日本专利第4235729号公报

技术实现思路

1、发明要解决的课题

2、在这样的距离图像摄像装置中，假定像素对在光脉冲的光源与物体之间直接往返的直接波(单路径)进行受光而定义了计算距离的运算式。然而，有时在物体的角部、物体的表面成为凹凸构造的部分等光脉冲多重反射，对直接波与间接波混合存在的多路径进行了受光。在对这样的多路径进行受光的情况下，当视为对单路径进行受光而计算距离时，存在测定距离会产生误差这样的问题。

3、本发明是鉴于上述课题而进行的，其目的在于提供能够判定像素是对单路径进行了受光还是对多路径进行了受光的距离图像摄像装置以及距离图像摄像方法。而且，其目的在于，在判定为像素对单路径进行了受光的情况下，计算到一个反射体的距离，以及在判定为像素对多路径进行了受光的情况下，计算到多个反射体各自的距离。

4、用于解决课题的手段

5、本发明的距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，上述距离图像处理部为，进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。

6、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，使用上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，基于上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度，判定是上述反射光以单路径被上述像素进行了受光、还是上述光脉冲的上述反射光以多路径被上述像素进行了受光。

7、在本发明的距离图像摄像装置中也可以为，上述查找表根据上述光脉冲的形状、上述光脉冲的照射时间、使上述电荷蓄积部分别蓄积电荷的蓄积时间中的至少任一个测定条件而制作，上述距离图像处理部使用与上述测定条件对应的上述查找表，判定是上述反射光以单路径被上述像素进行了受光、还是上述反射光以多路径被上述像素进行了受光。

8、在本发明的距离图像摄像装置中也可以为，上述特征量是使用对上述3个以上的电荷蓄积部分别蓄积的电荷中的至少与上述反射光相应的电荷进行蓄积的电荷蓄积部所蓄积的电荷量计算出的值。

9、在本发明的距离图像摄像装置中也可以为，在上述像素设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部，上述距离图像处理部为，在向上述第一电荷蓄积部、上述第二电荷蓄积部、或者上述第三电荷蓄积部中的至少任一个蓄积与上述反射光相应的电荷的定时，按照上述第一电荷蓄积部、上述第二电荷蓄积部、上述第三电荷蓄积部的顺序蓄积电荷，上述特征量是将上述第一电荷蓄积部、上述第二电荷蓄积部以及上述第三电荷蓄积部各自的蓄积电荷量作为变量的复数。例如，上述特征量也可以是由将上述第一电荷蓄积部所蓄积的第一电荷量与上述第二电荷蓄积部所蓄积的第二电荷量的差分即第一变量作为实部、将上述第二电荷蓄积部所蓄积的第二电荷量与上述第三电荷蓄积部所蓄积的第三电荷量的差分即第二变量作为虚部的复数表示的值。

10、在本发明的距离图像摄像装置中也可以为，在上述多次测定中控制为，使上述照射定时相对于上述蓄积定时相对地延迟的延迟时间成为相互不同的时间。

11、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，使用在上述反射光以单路径被上述像素进行了受光的情况下的上述相对的定时关系与上述特征量被建立了对应的查找表，计算表示上述查找表的趋势与上述多次测定各自的上述特征量的趋势之间的类似程度的指标值，在上述指标值不超过阈值的情况下判定为上述反射光以单路径被上述像素进行了受光，在上述指标值超过上述阈值的情况下判定为上述反射光以多路径被上述像素进行了受光，上述指标值是上述多次测定各自的差分正规化值相加而得的和值，上述差分正规化值是对上述多次测定分别计算出的上述特征量即第一特征量与在上述查找表中与上述多次测定分别对应的上述特征量即第二特征量的差分、用上述第二特征量的绝对值进行了正规化而得的。

12、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，使用最小二乘法来计算与多路径所包含的光的路径分别对应的距离。

13、在本发明的距离图像摄像装置中也可以为，还具备将由上述光电转换元件产生的电荷排出的电荷排出部。上述距离图像处理部进行控制而使得：在1帧期间中，重复多次在与上述光脉冲的照射同步的定时向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积的单位蓄积处理，由此向上述电荷蓄积部分别蓄积电荷，在上述单位蓄积处理中在与向上述电荷蓄积部分别蓄积电荷的时间区间不同的时间区间，通过上述电荷排出部排出由上述光电转换元件产生的电荷。

14、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，基于上述多次测定中的最初的测定来计算到上述被摄体的暂定距离，基于上述暂定距离来决定在上述多次测定中的剩余测定中使用的延迟时间，上述延迟时间是使上述照射定时相对于上述蓄积定时相对地延迟的时间。

15、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部基于上述光脉冲前进上述暂定距离所需要的时间以及上述特征量的趋势来决定上述延迟时间。

16、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在上述暂定距离为超过阈值的远距离的情况下，与上述暂定距离为未超过上述阈值的短距离的情况相比较，使上述多次测定中的剩余测定中的向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积次数增加。

17、在本发明的距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定来分别计算到上述被摄体的暂定距离，并将计算出的暂定距离各自的代表值决定为到上述被摄体的距离。

18、另外，在距离图像摄像装置中也可以为，上述距离图像处理部为，在判定为上述反射光以单路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来分别决定到上述被摄体的暂定距离，上述距离图像处理部为，在判定为上述反射光以多路径被上述像素进行了受光的情况下，基于上述多个测定定时的测定且基于最小二乘法来决定上述被摄体各自的距离。

19、本发明的距离图像摄像方法为，由距离图像摄像装置进行，该距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积电荷的3个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的定时，向上述像素中的上述电荷蓄积部分别分配电荷并使其蓄积；以及距离图像处理部，控制照射上述光脉冲的照射定时以及向上述电荷蓄积部分别分配电荷并使其蓄积的蓄积定时，基于上述电荷蓄积部分别蓄积的电荷量，计算到存在于上述测定空间的被摄体的距离，在上述距离图像摄像方法中，上述距离图像处理部为，进行上述照射定时与上述蓄积定时的相对的定时关系相互不同的多次测定，提取基于在上述多次测定中分别蓄积的电荷量的特征量，基于上述提取的特征量的趋势，判定是上述光脉冲的反射光以单路径被上述像素进行了受光、还是上述光脉冲的反射光以多路径被上述像素进行了受光，根据上述判定的结果计算到存在于上述测定空间的被摄体的距离。

20、发明的效果

21、根据本发明，能够判定像素是对单路径进行了受光还是对多路径进行了受光。另外，在判定为像素对单路径进行了受光的情况下，计算到一个反射体的距离，在判定为像素对多路径进行了受光的情况下，计算到多个反射体各自的距离。