本发明涉及距离图像摄像装置及距离图像摄像方法。本技术基于2022年7月15日提出的日本专利申请第2022－113790号和2022年11月30日提出的日本专利申请第2022－191411号主张优先权，这里引用其全部内容。
背景技术：
1、利用光的速度已知，实现基于空间(测量空间)中的光的飞行时间对测量器与对象物的距离进行测量的飞行时间(time of flight，以下称作“tof”)的方式的距离图像摄像装置(例如，参照专利文献1)。在这样的距离图像摄像装置中，通过使反射光入射到摄像元件中并使与反射光的光量对应的电荷分配给多个电荷积蓄部并积蓄来求出从照射了光脉冲的时刻到由被摄体反射的反射光返回来为止的延迟时间，使用延迟时间和光速计算到被摄体的距离。
2、此外，在这样的距离图像摄像装置中，有多路径接收的情况，所述多路径除了在光脉冲的光源与物体之间直接往复的直接光(单路径)以外，还包括在物体的角部或物体的表面为凹凸构造的部分等中光脉冲进行了多重反射等之后到达的间接光。在专利文献2中，公开了进行对应于这样的多路径的应对的技术。
3、现有技术文献
4、专利文献
5、专利文献1：日本特许第4235729号公报
6、专利文献2：日本特开2022－113429号公报
技术实现思路
1、发明要解决的技术问题
2、在距离图像摄像装置中，定义了设想像素接收在光脉冲的光源与物体之间直接往复的直接波(单路径)来计算距离的运算式。但是，有在物体的角部或物体的表面为凹凸构造的部分等处光脉冲多重反射而接收直接波与间接波混杂的多路径的情况。在这样的接收了多路径的情况下，如果看作接收了单路径而计算距离，则在测量距离中发生误差。
3、另一方面，在距离图像摄像装置中，有为了扩大测距范围而根据到被摄体的距离来变更照射光脉冲的时间(照射时间)及使电荷积蓄部积蓄电荷的时间(积蓄时间)的情况。如果照射时间及积蓄时间被变更，则有可能像素接收的多路径的倾向不同，难以进行对应于这样的多路径的倾向的应对。
4、进而，在以往的多路径应对中，没有进行对应于直接光与间接光的混杂比率的测量。
5、本发明基于上述的技术问题而做出，目的是提供一种能够进行对应于多路径的倾向的应对的距离图像摄像装置及距离图像摄像方法。
6、进而，本发明基于上述的技术问题而做出，目的是提供一种能够进行对应于直接光与间接光混杂的混杂比率的测量的距离图像摄像装置及距离图像摄像方法。
7、用来解决技术问题的手段
8、本发明的第1技术方案是一种距离图像摄像装置，具备：光源部，对被摄体照射光脉冲；接收部，具有像素和像素驱动电路，上述像素具备产生与所入射的光对应的电荷的光电变换元件及积蓄电荷的多个电荷积蓄部，上述像素驱动电路在与照射上述光脉冲的照射定时同步的积蓄定时，对上述电荷积蓄部分别分配电荷并使电荷积蓄；以及距离图像处理部，基于分别积蓄在上述电荷积蓄部中的电荷量，计算出到上述被摄体的距离，上述距离图像处理部进行上述照射定时和上述积蓄定时的相对的定时关系相互不同的多次测量，基于与在上述多次测量中分别积蓄的电荷量对应的特征量的倾向，计算出到上述被摄体的距离。
9、本发明的第2技术方案的距离图像摄像装置在第1技术方案中，上述距离图像处理部进行由上述多次测量构成的第1测量，上述第1测量中的上述多次测量为，照射上述光脉冲的照射时间和对上述电荷积蓄部分别分配电荷并使电荷积蓄的积蓄时间的组合是第1条件、作为基准的上述照射定时与上述积蓄定时的时间差是第1时间差、以上述第1时间差为基准而上述照射定时与上述积蓄定时的时间差相互不同的多次测量；上述距离图像处理部进行由上述多次测量构成的第2测量，上述第2测量中的上述多次测量为，上述照射时间和上述积蓄时间的组合是第2条件、作为基准的上述照射定时与上述积蓄定时的时间差是第2时间差、以上述第2时间差为基准而上述照射定时与上述积蓄定时的时间差相互不同的多次测量；上述距离图像处理部在上述第2测量中，进行上述第2条件或上述第2时间差的某一方与上述第1测量不同的测量；上述距离图像处理部提取基于在上述第1测量及上述第2测量中分别积蓄的电荷量的特征量，并基于上述特征量的倾向计算出到上述被摄体的距离。
10、本发明的第3技术方案在第2技术方案中，上述距离图像处理部在上述第2测量中进行上述第2时间差与上述第1测量相同、上述第2条件与上述第1测量不同的测量。
11、本发明的第4技术方案在第2技术方案中，上述距离图像处理部在上述第2测量中，进行上述第2时间差与上述第1测量不同、上述第2条件与上述第1测量相同的测量。
12、本发明的第5技术方案在第2技术方案中，上述距离图像处理部进行多路径判定，并根据上述多路径判定的结果计算出到上述被摄体的距离，上述多路径判定中，判定是上述光脉冲的反射光以单路径被上述像素接收还是上述光脉冲的反射光以多路径被上述像素接收。
13、本发明的第6技术方案在第5技术方案中，上述距离图像处理部按上述照射时间和上述积蓄时间的每个组合，参照将上述反射光以单路径被上述像素接收的情况下的上述照射定时与上述积蓄定时的时间差和上述特征量建立了对应所得的查找表，基于上述查找表的倾向与上述特征量的倾向的类似程度，进行上述多路径判定。
14、本发明的第7技术方案在第6技术方案中，上述查找表按上述光脉冲的形状及上述照射时间和上述积蓄时间的每个组合而被制作了多个；上述距离图像处理部使用多个上述查找表中的与上述第1测量及上述第2测量的测量条件分别对应的上述查找表，进行上述多路径判定。
15、本发明的第8技术方案在第2技术方案中，上述特征量是使用在上述电荷积蓄部中分别积蓄的电荷量中的至少与上述光脉冲的反射光对应的电荷量而计算的值。
16、本发明的第9技术方案在第2技术方案中，在上述像素中，设有第1电荷积蓄部、第2电荷积蓄部、第3电荷积蓄部及第4电荷积蓄部；上述距离图像处理部在向上述第1电荷积蓄部、上述第2电荷积蓄部、上述第3电荷积蓄部或上述第4电荷积蓄部的至少某个中积蓄与上述光脉冲的反射光对应的电荷的定时，依次使上述第1电荷积蓄部、上述第2电荷积蓄部、上述第3电荷积蓄部、上述第4电荷积蓄部积蓄电荷；上述特征量是以分别积蓄在上述第1电荷积蓄部、上述第2电荷积蓄部、上述第3电荷积蓄部及上述第4电荷积蓄部中的电荷量为变量的复数。
17、本发明的第10技术方案在第9技术方案中，上述特征量是由以第1变量为实部、以第2变量为虚部的复数表示的值，上述第1变量是积蓄在上述第1电荷积蓄部中的第1电荷量与积蓄在上述第3电荷积蓄部中的第3电荷量的差，上述第2变量是积蓄在上述第2电荷积蓄部中的第2电荷量与积蓄在上述第4电荷积蓄部中的第4电荷量的差。
18、本发明的第11技术方案在第2技术方案中，上述距离图像处理部在上述第1测量及上述第2测量中，通过使上述照射定时相对于上述积蓄定时推迟，来进行上述照射定时与上述积蓄定时的时间差相互不同的上述多次测量。
19、本发明的第12技术方案在第3技术方案中，上述距离图像处理部进行不判定是单路径还是多路径而是计算到上述被摄体的距离的虚拟测量，并根据在上述虚拟测量中计算出的距离来决定上述第1条件及上述第2条件的至少一方。
20、本发明的第13技术方案在第12技术方案中，上述距离图像处理部在根据在上述虚拟测量中计算出的距离而判定为上述被摄体存在于比较近处的情况下，以上述第2条件下的上述照射时间和上述积蓄时间的组合成为比上述第1条件短的时间的方式决定上述第2条件，在判定为上述被摄体存在于比较远处的情况下，以上述第2条件下的上述照射时间和上述积蓄时间的组合成为比上述第1条件长的时间的方式决定上述第2条件。
21、本发明的第14技术方案在第4技术方案中，上述距离图像处理部进行不判定是单路径还是多路径而是计算到上述被摄体的距离的虚拟测量，并根据在上述虚拟测量中计算出的距离来决定上述第2时间差。
22、本发明的第15技术方案在第14技术方案中，上述距离图像处理部根据基于上述第2时间差的距离，对在上述第2测量中计算出的距离进行修正，并将修正后的距离设为到上述被摄体的距离。
23、本发明的第16技术方案在第6技术方案中，上述距离图像处理部计算对上述查找表的倾向与上述多次测量的各次测量的上述特征量的倾向的类似程度进行表示的指标值，上述指标值是将上述多次测量的各次测量的差标准化值相加而得到的加法值，上述差标准化值是用上述第2特征量的绝对值将作为根据上述多次测量分别计算的上述特征量的第1特征量与作为在上述查找表中与上述多次测量分别对应的上述特征量的第2特征量的差进行了标准化后所得的差标准化值，上述距离图像处理部在上述指标值不超过阈值的情况下判定为上述反射光以单路径被上述像素接收，在上述指标值超过上述阈值的情况下判定为上述反射光以多路径被上述像素接收。
24、本发明的第17技术方案在第5技术方案中，上述距离图像处理部在判定为上述反射光以多路径被上述像素接收的情况下，通过使用最小二乘法来计算与多路径中包含的光的路径分别对应的距离。
25、本发明的第18技术方案在第12技术方案中，上述距离图像处理部根据在上述虚拟测量中计算出的距离，在上述第1测量及上述第2测量中控制照射上述光脉冲的强度。
26、本发明的第19技术方案在第2技术方案中，还具备将由上述光电变换元件产生的电荷排出的电荷排出部，上述距离图像处理部进行控制，以在与上述积蓄定时不同的定时将由上述光电变换元件产生的电荷由上述电荷排出部排出。
27、本发明的第20技术方案，是距离图像摄像装置进行的距离图像摄像方法，所述距离图像摄像装置具备：光源部，对被摄体照射光脉冲；接收部，具有像素和像素驱动电路，上述像素具备产生与所入射的光对应的电荷的光电变换元件及积蓄电荷的多个电荷积蓄部，上述像素驱动电路在与照射上述光脉冲的照射定时同步的积蓄定时，对上述电荷积蓄部分别分配电荷并使电荷积蓄；以及距离图像处理部，基于分别积蓄在上述电荷积蓄部中的电荷量而计算出到上述被摄体的距离，其中，上述距离图像处理部进行上述照射定时和上述积蓄定时的相对的定时关系相互不同的多次测量，并基于与在上述多次测量中分别积蓄的电荷量对应的特征量的倾向，计算出到上述被摄体的距离。
28、本发明的第21技术方案在第20技术方案中，上述距离图像处理部，进行由上述多次测量构成的第1测量，上述第1测量中的上述多次测量为，照射上述光脉冲的照射时间和对上述电荷积蓄部分别分配电荷并使电荷积蓄的积蓄时间的组合是第1条件、作为基准的上述照射定时与上述积蓄定时的时间差是第1时间差、以上述第1时间差为基准而上述照射定时与上述积蓄定时的时间差相互不同的多次测量；进行由上述多次测量构成的第2测量，上述第2测量中的上述多次测量为，上述照射时间和上述积蓄时间的组合是第2条件、作为基准的上述照射定时与上述积蓄定时的时间差是第2时间差、以上述第2时间差为基准而上述照射定时与上述积蓄定时的时间差相互不同的多次测量；在上述第2测量中，进行上述第2条件或上述第2时间差的某一方与上述第1测量不同的测量；提取基于在上述第1测量及上述第2测量中分别积蓄的电荷量的特征量，并基于上述特征量的倾向计算出到上述被摄体的距离。
29、本发明的第22技术方案的距离图像摄像装置在第1技术方案中，上述距离图像处理部关于与由上述被摄体反射而到来的2个光路对应的2个距离，计算作为上述2个距离中的较小的距离的第1距离、作为上述2个距离中的较大的距离的第2距离、作为与上述第1距离对应的光强度的第1光强度及作为与上述第2距离对应的光强度的第2光强度，并基于上述第1距离、上述第2距离、上述第1光强度及上述第2光强度计算出到上述被摄体的距离。
30、本发明的第23技术方案在第22技术方案中，上述距离图像处理部将基于上述第1光强度及上述第2光强度的关系而选择出的上述第1距离及上述第2距离的某一方设为到上述被摄体的距离。
31、本发明的第24技术方案在第22技术方案中，上述距离图像处理部在上述第1光强度相对于上述第2光强度的比率超过阈值的情况下将上述第1距离设为到上述被摄体的距离，在上述比率不超过阈值的情况下将作为上述第1距离及上述第2距离的中间值的中间距离设为到上述被摄体的距离。
32、本发明的第25技术方案在第22技术方案中，上述距离图像处理部基于上述第1光强度及上述第2光强度的关系，设定在加权平均值的计算中使用的系数，将使用上述系数计算的作为上述第1距离及上述第2距离的加权平均值的加权平均距离设为到上述被摄体的距离。
33、本发明的第26技术方案在第20技术方案中，上述距离图像处理部进行上述照射定时和上述积蓄定时的相对的定时关系相互不同的上述多次测量，基于与在上述多次测量中分别积蓄的电荷量对应的特征量的倾向，对于与由上述被摄体反射而到来的2个光路对应的2个距离，计算作为上述2个距离中的较小的距离的第1距离、作为上述2个距离中的较大的距离的第2距离、作为与上述第1距离对应的光强度的第1光强度及作为与上述第2距离对应的光强度的第2光强度，并基于上述第1距离、上述第2距离、上述第1光强度及上述第2光强度计算出到上述被摄体的距离。
34、发明效果
35、根据本发明，能够进行对应于多路径的倾向的应对。
36、进而，根据本发明，能够进行对应于直接光与间接光混杂的混杂比率的测量。