测距摄像装置及固体摄像装置的制作方法

本发明涉及测距摄像装置及在该测距摄像装置中使用的固体摄像装置。

背景技术：

在检测物体的多个方式中，已知有利用光到测量对象物(对象物体)往返的飞行时间进行测距的tof(timeofflight)方式。

在tof方式中，测距精度(测距分辨率)和距离范围依存于照射的光的频率(发光期间的长度)，照射的光的频率越高越能够进行高精度的测距，但可测距的距离范围变窄。

例如，作为tof方式，已知有通过照射多个不同频率的光，在保持照射了较高的频率的光那样的测距精度的同时，进行照射了较低的频率的光那样的更大的距离范围的测距的技术(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特表2013－538342号公报

技术实现要素：

发明要解决的课题

通常，在tof的测距运算中，对于来自对象物体的反射光，取得至少2个信号，通过根据所取得的信号量计算发光与受光的时间差或相位差(光到对象物体往返所需要的时间)而计算测距运算。但是，在通过这样的测距运算计算出的测量距离中，对于实际距离，发生周期性的折叠。

所以，根据专利文献1的结构，研究了通过照射多个不同频率的光而进行测距运算来确定折叠的位置，从而实现测距精度的维持及测距范围的大范围化。但是，由于折叠在各频率下发生，所以在上述专利文献1的结构中，为了精度良好地确定折叠的位置，需要照射许多不同频率的光。此外，随之在测距运算中需要的信号的数量增加。因此，在上述专利文献1的结构中，存在这些信号的读出需要的时间增加、帧速率下降的课题。

鉴于上述课题，本发明的目的是提供一种在抑制测距运算所需要的信号数的同时、能够实现测距精度的维持及测距范围的大范围化的测距摄像装置及固体摄像装置。

用来解决课题的手段

为了解决上述课题，有关本发明的一技术方案的测距摄像装置，是通过照射光并将来自对象物体的反射光受光来测量到该对象物体的距离的测距摄像装置，具有：控制部，输出发光信号及曝光信号；光源部，在上述发光信号表示的定时，照射上述光；固体摄像装置，通过在上述曝光信号表示的定时将上述反射光曝光，输出表示曝光量的摄像信号；以及运算部，使用上述摄像信号运算到上述对象物体的距离；上述控制部，将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个上述曝光信号构成的曝光信号群，而且是在一个上述曝光信号的曝光期间结束之前，其他的至少一个上述曝光信号的曝光期间开始的曝光信号群；还输出第二曝光信号群，所述第二曝光信号群是由相对于上述发光信号延迟时间相互不同的1个以上的上述曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；上述运算部使用由上述第一曝光信号群得到的第一摄像信号计算第一距离值，使用由上述第二曝光信号群得到的第二摄像信号计算第二距离值，基于上述第一距离值和上述第二距离值运算上述距离。

发明效果

根据有关本发明的测距摄像装置等，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。

附图说明

图1是表示有关实施方式1的测距摄像装置的概略结构的一例的功能框图。

图2是表示ccd型的固体摄像元件的功能的概略结构图。

图3是说明检测有关实施方式1的测距摄像装置的曝光量的定时的一例的图。

图4a是表示有关实施方式1的测距摄像装置的动作的时序图。

图4b是表示有关实施方式1的测距摄像装置的动作的时序图。

图5是表示实施方式1的测量距离与到对象物体的实际的实际距离的关系的曲线图。

图6是表示实施方式1的对于距离值的噪声降低滤波处理的一例的图。

图7是表示有关实施方式1的变形例的测距摄像装置的概略结构的一例的功能框图。

图8是表示有关实施方式2的测距摄像装置的概略结构的一例的功能框图。

图9a是表示有关实施方式2的测距摄像装置的动作的时序图。

图9b是表示有关实施方式2的测距摄像装置的动作的时序图。

图10是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。

图11是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。

图12是表示有关实施方式2的测距摄像装置的动作的另一例的时序图。

图13是表示有关其他实施方式的测距摄像装置的动作的时序图。

具体实施方式

以下，参照附图对有关本发明的实施方式的测距摄像装置进行说明。另外，以下的实施方式都是表示本发明的一具体例，数值、形状、材料、构成要素、构成要素的配置位置及连接形态等是一例，并不限定本发明。

(实施方式1)

图1是表示有关实施方式1的测距摄像装置100的概略结构的一例的功能框图。该图所示的测距摄像装置100通过照射出光(照射光)并接收来自对象物体ob的反射光，测量到对象物体ob的距离。如该图所示，测距摄像装置100具备光源部1、固体摄像部(固体摄像装置)2、驱动控制部4和tof运算部3。另外，在该图中，还表示了由测距摄像装置100测量来自该测距摄像装置100的距离的对象物体ob。

光源部1是按照发光信号表示的定时来照射光的光源。在本实施方式中，光源部1按照接收到由驱动控制部4产生的发光信号的定时，对对象物体ob进行光照射。例如，光源部1具有驱动电路、电容器及发光元件，通过将保持在电容器中的电荷向发光二极管供给而发光。作为发光元件，也可以使用激光二极管或发光二极管(led)等的其他发光元件。

驱动控制部4是输出发光信号及曝光信号的控制部。具体而言，驱动控制部4产生指示向测量对象物(对象物体ob)进行光照射的发光信号、和指示来自该对象物体ob的反射光的曝光的曝光信号。驱动控制部4例如由微型计算机等的运算处理装置构成。微型计算机包括处理器(微处理器)、存储器等，通过保存在存储器中的驱动程序被处理器执行，输出发光信号及曝光信号。另外，驱动控制部4也可以使用fpga(field－programmablegatearray，现场可编程门阵列)或isp(in－systemprogramming，在系统可编程)等，也可以由1个硬件构成，也可以由多个硬件构成。关于从驱动控制部4输出的发光信号及曝光信号的详细情况后述。

固体摄像部2是通过按照曝光信号表示的定时将反射光曝光、输出表示曝光量的raw信号(摄像信号)的固体摄像装置。另外，raw信号有时也被称作raw数据，摄像信号有时也被称作摄像信息，所以下文中关于这些名称不特别区别地进行记载。固体摄像部2在本实施方式中，对包括对象物体ob的区域，按照由驱动控制部4产生的曝光信号表示的定时进行多次曝光，得到与多次曝光量的总和对应的raw数据(摄像信息)。固体摄像部2例如具有照相机透镜、固体摄像元件及a/d变换器等的制作raw数据并输出的电路。关于固体摄像部2具有的固体摄像元件的详细情况后述。

tof运算部3是使用raw数据运算到对象物体ob的距离的运算部。具体而言，tof运算部3根据基于从固体摄像部2接受到的raw数据的信号，运算作为到对象物体ob的距离信息的tof信号(距离信号)并输出。tof运算部3与驱动控制部4同样，例如由微型计算机等的运算处理装置构成。tof运算部3通过由处理器执行保存在存储器中的运算程序而运算tof信号。另外，tof运算部3与驱动控制部4同样，也可以使用fpga或isp等，也可以由1个硬件构成，也可以由多个硬件构成。关于由tof运算部3进行的运算距离的处理的详细情况后述。

接着，对固体摄像部2的固体摄像元件的一例进行说明。

图2是表示可以在图1的固体摄像部2中使用的ccd(chargecoupleddevice)型的固体摄像元件的功能的概略结构图。如该图所示，ccd型固体摄像元件具备光电二极管(pd：photodiode)20、垂直转送部21、水平转送部22和信号电荷检测部23。光电二极管20将接收到的光变换为电荷。垂直转送部21由多个门(gate)构成，将从光电二极管20读出的电荷依次向垂直方向转送。水平转送部22将从垂直转送部21接受到的电荷依次向水平方向转送。信号电荷检测部23将从水平转送部22接受到的电荷依次检测，变换为电压信号并输出。

该固体摄像元件在将从光电二极管20向垂直转送部21的读出门打开的状态下，按照曝光信号控制基板电压，在曝光信号为low(低)的期间中将光电二极管20曝光，将通过该曝光产生的电荷储存到垂直转送部21中。

即，通过作为图1的固体摄像部2而使用ccd图像传感器(ccd型固体摄像元件)，能够进行将多个光电二极管20一起复位的动作、所谓的全局复位，能够实现更高精度的测距。

接着，对本实施方式的测距摄像装置100的驱动方法进行说明。以下说明的驱动方法由驱动控制部4等执行。

图3是说明测距摄像装置100的检测曝光量的定时的一例的图。图3(a)表示1帧中的定时的例子。图3(b)表示发光信号期间的第一发光曝光期间中的曝光量b0的曝光定时，图3(c)表示发光信号期间的第二发光曝光期间中的曝光量b1的曝光定时，图3(d)表示发光信号期间的第三发光曝光期间中的曝光量b2的曝光定时。

如图3(a)所示，在本实施方式中，在1帧期间中，包括发光期间(这里是high(高)期间)比较短的发光信号被作为发光信号输出的发光信号期间、发光期间比较长的发光信号被作为发光信号输出的发光信号期间、和信号输出期间。

另外，关于发光信号期间及发光信号期间中的发光信号及曝光信号的事项，由于除了发光期间的长短及后述的死区期间以外大致是同样的，所以以下主要对发光信号期间进行说明，关于发光信号期间的说明省略。

首先，如图3(a)及(b)所示，在发光信号期间的第一发光曝光期间中，在曝光信号(第一曝光信号)为low的期间中将光电二极管20曝光，将通过该曝光产生的电荷向垂直转送部21储存。将该动作在本实施方式中反复进行n次，在第一发光曝光期间结束的时点，控制垂直转送部21的门，向不存在读出门的势阱(packet)转送上述电荷。

这里，所谓第一发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经由第一延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，曝光信号为low的期间的长度被设定为发光信号期间的长度(发光信号为high的期间，即发光期间tb)的2倍的2×tb，曝光信号相对于发光信号的延迟时间被设定为0。即，第一曝光信号期间被设定为被发送发光信号(是高电平)的期间。

接着，如图3(a)及图3(c)所示，在发光信号期间中的第二发光曝光期间中，在曝光信号(第二曝光信号)为low的期间中将光电二极管20曝光，将通过该曝光产生的电荷储存到垂直转送部21中。将该动作在本实施方式中反复n次，在第二发光曝光期间结束的时点，控制垂直转送部21的门，向不存在读出门的势阱转送上述电荷。

这里，所谓第二发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经过与第一延迟时间不同的第二延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，第二曝光信号期间的长度被设定为作为发光信号期间的长度的2倍、与第一曝光信号期间的长度相同的2×tb，曝光信号相对于发光信号的延迟时间被设定为将第一延迟时间0与发光信号期间相加的tb。

接着，如图3(a)及图3(d)所示，在发光信号期间中的第三发光曝光期间中，在曝光信号(第三曝光信号)为low的期间中将光电二极管20曝光，将通过该曝光产生的电荷向垂直转送部21储存。将该动作在本实施方式中反复n次，在第三发光曝光期间结束的时点，控制垂直转送部21的门而进行转送，以使通过曝光信号曝光后的电荷来到存在读出门的势阱。

这里，所谓第三发光曝光期间，是相对于光源部1接收到发光信号而发光的定时，固体摄像部2经过与第一及第二延迟时间不同的第三延迟时间接收到曝光信号而进行曝光的期间。在本实施方式中，第三曝光信号期间的长度被设定为作为发光信号期间的长度的2倍、与第一及第二曝光信号期间的长度相同的2×tb，曝光信号相对于发光信号的延迟时间被设定为将第一延迟时间0与发光信号期间的2倍的2×tb相加的2×tb。此外，在本实施方式中，在发光信号期间中的第三发光曝光期间中，不进行发光动作。即，固体摄像部2相对于假定光源部1接收到发光信号而发光的情况下的定时经过第三延迟时间而进行曝光。

然后，将该一系列的动作(发光信号期间及发光信号期间中的动作)在本实施方式中反复n次后，依次反复进行垂直转送部21的转送和水平转送部22的转送，将上述电荷用信号电荷检测部23变换为电压信号并输出。

由此，作为发光信号而将在接收来自对象物体ob的反射光的曝光信号的定时分别不同的多个曝光期间中得到的信号储存的机构，可以利用已经在垂直转送部21中构成的多个势阱。由此，不需要追加形成信号储存机构，如果是相同的面积则能够将光电二极管20形成得较大，能够使饱和感度变大，最大受光量变大，能够实现高精度的测距。

接着，使用图4a～图5对由有关本实施方式的测距摄像装置100进行的测距摄像的机理进行说明。

图4a及图4b是表示有关本实施方式的测距摄像装置100的动作的时序图，是表示曝光信号的比较关系的图。具体而言，在图4a中表示了发光信号期间中的照射光(发光信号)、反射光及曝光信号的定时。此外，在图4b中，表示了发光信号期间中的照射光(发光信号)、反射光及曝光信号的定时。

另外，在这些图中，关于通过对应的曝光信号得到的曝光量也用阴影表示。此外，在这些图中表示的1t是时钟单位，在系统(测距摄像装置100)的驱动频率是50mhz的情况下，1t期间为20纳秒的时间单位。

首先，驱动控制部4输出发光信号及曝光信号，光源部1在发光信号为high时照射光。固体摄像部2在曝光信号为low的期间中，进行由对象物体ob带来的该光的反射光的曝光。由此，该low期间的曝光量的总和被光电变换。并且，tof运算部3基于固体摄像部2的电压输出的raw数据(摄像信号)进行距离运算，作为距离图像输出。

这里，发光信号与曝光信号的关系如图4a及图4b所示，曝光信号对应于发光信号曝光信号对应于发光信号即，关于哪个发光信号，3个样式的曝光信号都能对应。即，发光信号是作为曝光信号的延迟的基准的第一发光信号，发光信号是作为曝光信号的延迟的基准的第二发光信号。

这里，曝光信号相互以发光信号的发光周期的1/3的长度的时间差进行曝光，成为相对于反射光至少曝光信号的1个总是为曝光期间的曝光信号群(以下，称作曝光信号群a)。即，曝光信号群a是由相对于发光信号(这里是发光信号)延迟时间相互不同的多个曝光信号构成的曝光信号群，是在一个曝光信号的曝光期间结束之前、其他的至少一个曝光信号的曝光期间开始的第一曝光信号群。这样的曝光信号群a被驱动控制部4周期性地反复输出。

此外，曝光信号相互以发光信号的发光周期的1/5的长度的时间差进行曝光，成为具有都为非曝光期间(非曝光状态)的死区期间的曝光信号群(以下，称作曝光信号群b)。即，曝光信号群b是由相对于发光信号(这里是发光信号)延迟时间相互不同的1个以上的曝光信号(在本实施方式中，由多个曝光信号)构成的曝光信号群，是具有该1个以上的曝光信号都为非曝光期间的死区期间的第二曝光信号群。

具体而言，在本实施方式中，形成曝光信号群b的i个(i是2以上的整数)的曝光信号(这里是3个曝光信号)，是延迟时间相差了发光信号的发光周期的1/j(其中，满足j>i，这里j＝5)的曝光信号群。因此，曝光信号群b具有多个曝光信号都为非曝光期间的死区期间。

根据由曝光信号进行的曝光控制，能够将反射光的整体曝光，检测出具有对象物体ob的反射率的信息的曝光量。此外，根据由曝光信号进行的曝光控制，能够与发光信号的下降同时开始曝光，检测包含与对象物体ob之间的距离信息的曝光量。此外，根据由曝光信号进行的曝光控制，通过进行发光动作，能够检测作为太阳光等的背景光或暗电流成分等的偏移成分的背景光。

此外，发光信号的脉冲宽度具有发光信号的脉冲宽度的6倍的发光期间。因此，在发光信号和发光信号中，由发光信号进行的测量其测距精度较高，由发光信号进行的测量能够实现测距范围的更大范围化。

并且，如果设由曝光信号群a带来的曝光量为a0、a1、a2，设由曝光信号群b带来的曝光量为b0、b1、b2，设照射的发光信号的脉冲宽度为ta，设照射的发光信号的脉冲宽度为tb，设光速(299792458m/s)为c，设基于曝光信号群a的距离测量值(第一距离值)为za，设基于曝光信号群b的距离测量值(第二距离值)为zb，则通过使用曝光信号群a进行以下的式1所示的运算，能够计算出距离值za。

这里，在式1中，

(i)在最小信号为a2的情况下(照射光与反射光的时间差是1t以内)，将信号1设为a0，将信号2设为a1，将信号3设为a2。

(ii)在最小信号为a0的情况下(照射光与反射光的时间差是2t以内)，将信号1设为a1，将信号2设为a2，将信号3设为a0。

(iii)在最小信号为a1的情况下(照射光与反射光的时间差是3t以内)，将信号1设为a2，将信号2设为a0，将信号3设为a1。

[数式1]

但是，由于曝光信号群a被连续地(周期性地)反复，所以在照射光(发光信号)与反射光的时间差是3t以上的情况下，如图5那样发生折叠。

图5是表示作为图4a、图4b所示的定时下的tof运算部3的运算结果的测量距离与到对象物体ob的实际的实际距离的关系的曲线图。

如该图所示，实际上，留有式2那样的n＝0，1，2，…的不确定度。

[数式2]

另一方面，对于距离值zb，通过进行以下的式3的运算，能够计算出距离值zb。

[数式3]

这样，tof运算部3使用由曝光信号群a得到的第一摄像信号(在本实施方式中，表示a0、a1及a2的各自的raw数据)计算第一距离值(在本实施方式中是za)。此外，tof运算部3使用由曝光信号群b得到的第二摄像信号(在本实施方式中，是分别表示b0、b1及b2的的raw数据)计算第二距离值(在本实施方式中是zb)。并且，tof运算部3如以下这样，基于第一距离值和第二距离值，运算到对象物体ob的距离。此外，在本实施方式中，tof运算部3仅使用第一摄像信号及第二摄像信号中的第二摄像信号计算第二距离值。

这里，由于发光信号与发光信号相比发光期间较长，所以由发光信号得到的测距精度比由发光信号得到的测距精度低。但是，曝光信号群b由于具有对反射光不进行曝光的期间，所以如图5所示，在测量距离中不发生折叠。即，在由曝光信号群b进行的测距中，将测量距离与对象物体ob的实际距离一对一地建立联系。

因此，只要取得zb与对于各n的za之间的差，求出其绝对值为最小的n，就能够消除由测距精度良好的发光信号得到的测量距离值za的不确定度，高精度地计算与对象物体ob的实际距离。

如以上这样，根据本实施方式，通过将曝光信号群a与曝光信号群b组合，能够确定发光信号的折叠的位置(解混叠)。即，tof运算部3使用在用zb(基于曝光信号群b的距离测量值，即第二距离值)确定的za(基于曝光信号群a的距离测量值，即第一距离值)中发生的折叠次数，计算到对象物体ob的距离。因此，能够在维持基于发光期间较短的发光信号的测距精度的同时，实现基于发光期间较长的发光信号的测距范围。

换言之，根据本实施方式，驱动控制部4以cw(continuouswave，连续波)方式及脉冲方式分别驱动。这里，所谓cw方式，是输出各个曝光期间连续地相连的多个曝光信号(在本实施方式中是曝光信号)的驱动方式。此外，所谓脉冲方式，是输出各自的曝光期间不连续地相连的多个曝光信号(在本实施方式中是曝光信号)的驱动方式。此外，根据本实施方式，tof运算部3使用通过脉冲方式得到的距离信息将通过cw方式得到的距离信息解混叠。由此，通过在维持cw方式的测距精度的同时，消除cw方式的距离信息的不确定度(由折叠带来的不确定度)，能够实现测距范围的大范围化。

另外，在本实施方式中，进行控制以使发光信号的发光期间成为发光信号的发光期间的6倍，但发光信号的发光期间与发光信号的发光期间的比率可以根据测距范围来进行控制。具体而言，发光信号的发光期间越短，测距精度越高，发光信号的发光期间越长，测距范围越大。因此，该比率只要根据对测距摄像装置100要求的关于测距的规格来适当设定就可以。

此外，假设曝光信号群(曝光信号群a及曝光信号群b)分别由3个曝光信号构成，但曝光信号的数量并不限于此。测距摄像装置100通过使用由至少2个以上的曝光信号构成的该曝光信号群，能够进行测距运算。

此外，tof运算部3也可以对za及zb的至少一方进行噪声降低滤波处理，使用该噪声降低滤波处理后的该至少一方计算到对象物体ob的距离。具体而言，在本实施方式中，tof运算部3在通过取得za与zb的差分来消除za的不确定度时，也可以对za及zb的各自进行噪声降低滤波处理。

图6是表示对于这样的距离值的噪声降低滤波处理的一例的图。如该图所示，tof运算部3对以对象像素为中心的3×3像素区域进行平均处理或中值处理，例如进行将对象像素的距离值za7替换为由平均处理或中值处理得到的计算值za7’等的噪声降低滤波处理。tof运算部3在将这样的噪声降低滤波处理对za及zb分别实施后，通过取得该处理后的za与zb的差，能够消除za的不确定度。

这样，通过对za及zb的至少一方进行噪声降低滤波处理，能够抑制到对象物体ob的距离的误判定。具体而言，在本实施方式中，通过进行该处理，能够抑制在za中发生的折叠次数的误判定，所以能够抑制到对象物体ob的距离的误判定。

另外，噪声降低滤波处理也可以仅对za及zb的一方进行，但通过对za及zb都进行，能够进一步抑制到对象物体ob的距离的误判定。

此外，tof运算部3也可以对za及zb分别进行γ修正，通过取得γ修正后的za与zb的差来消除za的不确定度。

此外，在图3中，表示了在1帧期间中、测距摄像装置100通过曝光信号群a及曝光信号群b进行曝光。但是，测距摄像装置100也可以在第1帧用曝光信号群a曝光，在第2帧用曝光信号群b曝光。即，测距摄像装置100也可以分割帧来检测曝光量。

如以上使用附图说明那样，根据本实施方式，通过将对反射光以曝光期间连续地相连的方式反复进行曝光的控制、与在曝光期间中不连续地相连的期间的曝光控制组合，能够在抑制tof运算所需要的信号数的同时，实现保持像以高频动作那样的测距精度、且像以低频动作那样的更大的距离范围的测距。由此，能够削减信号的读出所需要的时间，实现提高了帧速率的测距摄像装置100。

即，根据本实施方式，使用第一曝光信号群a计算第一距离值(在本实施方式中是za)，所述第一曝光信号群a是由相对于发光信号延迟时间相互不同的多个曝光信号构成的曝光信号群，而且是在一个曝光信号的曝光期间结束之前其他的至少一个曝光信号的曝光期间开始的曝光信号群。此外，使用第二曝光信号群b计算第二距离值(在本实施方式中是zb)，所述第二曝光信号群b是由相对于发光信号延迟时间相互不同的多个曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群。并且，基于第一距离值和第二距离值运算到对象物体ob的距离。

由此，能够确定在第一距离值中发生的折叠次数，所以能够在维持第一距离值的距离精度(距离分辨率)的同时，在第二距离值的距离范围中运算到对象物体ob的距离。即，能够实现测距精度的维持及测距范围的大范围化。此外，与不设置死区期间而通过连续照射许多不同频率的光来确定折叠的位置的情况相比，能够抑制在测距运算中需要的信号(摄像信号)的数量。因此，根据有关本实施方式的测距摄像装置100，能够在抑制测距运算中需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。

(实施方式1的变形例)

另外，固体摄像部并不限定于ccd图像传感器，如果作为测距摄像装置而考虑其他的要求使用cmos图像传感器(cmos型固体摄像元件)等的其他的固体摄像元件(图像传感器)，也能够实现同样的测距摄像装置。

图7是表示这样的测距摄像装置100a的概略结构的一例的功能框图。该图所示的测距摄像装置100a与上述实施方式1的测距摄像装置大致是同样的，但代替固体摄像部2及驱动控制部4而具备固体摄像部2a及定时发生器4a(控制部)。

固体摄像部2a具有cmos型固体摄像元件。此外，在本变形例中，固体摄像部2a为了实现测距摄像装置100a的小型化(微细化)及低耗电化等，如图7所示，与定时发生器4a及tof运算部3一起由1个芯片构成。

(实施方式2)

以下，参照附图，对于有关实施方式2的测距摄像装置，以与实施方式1的差异点为中心进行说明。

图8是表示有关实施方式2的测距摄像装置200的概略结构的一例的功能框图。另外，在该图中，也表示了由测距摄像装置200测量距该测距摄像装置200的距离的对象物体ob。

该图所示的测距摄像装置200与图1所示的测距摄像装置100的差异是：tof运算部203根据由曝光信号群a得到的曝光量，通过运算，计算出由b0曝光控制检测出的曝光量b0和由b2曝光控制检测出的曝光量b2。

接着，对本实施方式的测距摄像装置200的动作(驱动方法)进行说明。

图9a及图9b是表示有关本实施方式的测距摄像装置200的动作的时序图。具体而言，在图9a中表示了发光信号期间中的照射光(发光信号)、反射光及曝光信号的定时。此外，在图9b中表示了发光信号期间中的照射光(发光信号)、反射光及曝光信号的定时。另外，在这些图中，与图4a及图4b同样，关于由对应的曝光信号得到的曝光量也用阴影表示。

首先，对本实施方式的测距摄像装置200的基本动作简单地说明。

如图9a所示，在发光信号期间中，进行与实施方式1相同的动作。

另一方面，在发光信号期间中，如图9b所示，仅进行基于实施方式1的曝光信号的曝光控制。

这里，在本实施方式中，tof运算部203使用与第一摄像信号(在本实施方式中，是分别表示a0、a1及a2的raw数据)相比信号数较少的第二摄像信号(在本实施方式中，是表示b1的raw数据)，计算第二距离值(在本实施方式中是zb)。具体而言，tof运算部203使用该第一摄像信号，推测在从驱动控制部4输出了与第二曝光信号群的各曝光信号(在本实施方式中是曝光信号)曝光期间相同、相对于发光信号的延迟时间不同的曝光信号(在本实施方式中，是曝光信号及)的情况下得到的摄像信号(在本实施方式中，是分别表示b0及b2的raw数据)。并且，tof运算部203使用推测出的摄像信号和该第二摄像信号计算该第二距离值。

以下，对这样的由tof运算部203进行的、推测在从驱动控制部4输出了曝光信号及的情况下得到的曝光量b0、曝光量b2的方法具体地说明。

关于曝光量b0、b2，可以通过使用曝光量a0、a1、a2进行以下的式4～式6所示的运算来计算。

(i)在最小信号是a2的情况下

b0＝6×(a0+a1)，b2＝12×a2(式4)

(ii)在最小信号是a0的情况下

b0＝6×(a1+a2)，b2＝12×a0(式5)

(iii)在最小信号是a1的情况下

b0＝6×(a0+a2)，b2＝12×a1(式6)

并且，在距离值za及zb中，能够用与实施方式1相同的运算式计算，通过消除za的不确定度，能够计算与被摄体的实际距离。

如以上这样，在本实施方式中，通过将曝光信号群a和基于曝光信号的曝光控制组合，在得到与实施方式1相同的测距精度和测距范围的同时，能够将在测距运算中需要的信号的数量从分别表示曝光量a0、a1、a2、b0、b1、b2的6个摄像信号(raw数据)抑制为分别表示曝光量a0、a1、a2、b1的4个摄像信号，所以能够削减读出所需要的时间，使帧速率提高。

另外，曝光信号的曝光期间并不限于图9b所示的12t，例如也可以是一半的6t。图10是表示这样的曝光信号的时序图。具体而言，在该图中，与图9b同样，表示了照射光、反射光及曝光信号的定时和曝光量。在基于曝光信号φb1的曝光控制中，通过如图10那样使曝光期间成为一半，能够在维持与曝光信号的曝光期间较长的情况相同的测距范围的同时，将混入的背景光的影响减半。

此外，曝光信号的曝光期间也可以与发光信号的发光期间同步。图11是表示这样的曝光信号的时序图，与图10同样，表示各种信号等的定时及曝光量。即，基于曝光信号的曝光控制也可以如图11那样是使发光期间与曝光期间同步的曝光控制。

此外，曝光信号只要不具有它们都为非曝光期间的死区期间就可以，相互的曝光期间也可以重叠。图12是表示这样的曝光信号的时序图。具体而言，在该图中，与图9a同样，表示了照射光、反射光及曝光信号的定时和曝光量。曝光信号也可以如图12那样在曝光期间中具有重叠。在此情况下，根据曝光量a0、a1、a2的大小关系，距离值za可以用以下的式7～式12计算。

[数式4]

并且，曝光量b0、b2可以通过进行以下的式13所示的运算来计算。

[数式5]

b0＝6{max(a0，a1，a2)-min(a0，a1，a2)}+b2(式13)

即，在曝光量a0、a1、a2下，最大信号与最小信号的差总是为发光期间是1t的曝光量。因此，如果乘以与图10及图11中的发光期间的比率，然后加上相当于背景光成分的曝光量b2，则能够计算出曝光量b0。

此外，关于相当于背景光成分的曝光量b2，由于在曝光量a0、a1、a2下，最大信号与中间信号的和总是为发光期间2t的曝光量，最小信号与中间信号的和总是为发光期间1t的曝光量，所以以下的式14及式15的关系成立。

[数式6]

{max(a0，a1，a2)+median(a0，a1，a2)}＝2t的曝光量+2b2(式14)

{min(a0，a1，a2)+median(a0，a1，a2)}＝1t的曝光量+2b2(式15)

因此，曝光量b2可以如以下的式16所示那样计算。

[数式7]

b2＝min(a0，a1，a2)-0.5{max(a0，a1，a2)-median(a0，a1，a2)}(式16)

这样，tof运算部203根据第一摄像信号(在本实施方式中，是分别表示a0、a1及a2的raw数据)计算将偏移成分和反射光的全部曝光的成分的至少一方(在本实施方式中是两者)，使用该至少一方的成分和第二摄像信号(在本实施方式中，是表示b1的raw数据)计算距离值zb。

具体而言，在本实施方式中，tof运算部203根据分别表示a0、a1及a2的raw数据的最大信号与最小信号的差，计算将反射光的全部曝光的成分。此外，tof运算部203根据分别表示a0、a1及a2的raw数据的最大信号与中间信号的和以及最小信号与中间信号的和之差，计算偏移成分。并且，tof运算部203使用计算出的偏移成分和将反射光的全部曝光的成分，推测由与第二曝光信号群(在本实施方式中是曝光信号)曝光期间相同、相对于发光信号的延迟时间不同的曝光信号(在本实施方式中，是曝光信号及)得到的摄像信号(在本实施方式中，是分别表示曝光量b0、b2的raw数据)。即，tof运算部203推测曝光量b0、b2，根据通过实测得到的曝光量b1和通过推测得到的曝光量b0、b2，计算距离值zb。

通过这样构成的有关本实施方式的测距摄像装置200，也与有关实施方式1的测距摄像装置100同样，能够确定在第一距离值(在本实施方式中是za)中发生的折叠次数，所以能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。

此外，在本实施方式中，使用第一摄像信号(在本实施方式中，是分别表示曝光量a0～a2的raw数据)，推测第二摄像信号(在本实施方式中，是分别表示曝光量b0、b2的raw数据)。由此，即使产生曝光信号而没有检测到曝光量b0、b2，仅通过进行基于曝光信号群a的曝光控制及基于曝光信号φb1的曝光控制，能够进行测距运算。

另外，tof运算部203只要根据第一摄像信号计算将偏移成分和反射光的全部曝光的成分的至少一方就可以，也可以计算两者。

(其他实施方式)

以上，基于上述实施方式及变形例对本发明的测距摄像装置进行了说明，但本发明的测距摄像装置并不限定于上述实施方式及变形例。将上述实施方式及变形例中的任意的构成要素组合而实现的其他的实施方式、或对上述实施方式及变形例实施由本领域技术人员在不脱离本发明的主旨的范围内想到的各种变形而得到的变形例、或内置有本发明的测距摄像装置的各种设备也包含在本发明中。

例如，在上述实施方式1中，假设形成具有死区期间的曝光信号群b的i个(i是2以上的整数)的曝光信号(这里是3个曝光信号)，是延迟时间相差发光信号的发光周期的1/j(其中，满足j>i，这里是j＝5)的曝光信号群。但是，具有死区期间的曝光信号群b并不限于相对于该发光周期具有上述延迟时间的关系的信号。

图13是表示这样的曝光信号群b的时序图。具体而言，在该图中，与图4b同样，表示了照射光(发光信号)、反射光及曝光信号的定时。如该图所示，在曝光信号群b的一部分的曝光信号(这里是曝光信号)被输出的期间中，在通过将发光信号设为low而不进行发光动作的情况下，该一部分的曝光信号的延迟时间也可以是例如相对于假定发光信号被输出的时间延迟时间是0。即，在此情况下，也可以形成曝光信号群b的多个曝光信号中的一部分的曝光信号的延迟时间相同。

此外，本发明不仅能够作为测距摄像装置实现，也能够作为在该测距摄像装置中使用的固体摄像部2或2a等的固体摄像装置实现。即，有关本发明的固体摄像装置是在通过照射光而接收来自对象物体的反射光从而测量到该对象物体的距离的测距摄像装置中使用的固体摄像装置。该测距摄像装置具有上述说明的驱动控制部4等的控制部、光源部1和tof运算部3等的运算部。此外，该固体摄像装置通过在第一曝光信号群的各曝光信号表示的定时将反射光曝光，将表示与第一曝光信号群对应的曝光量的第一摄像信号向运算部输出，进而，通过在第二曝光信号群的各曝光信号表示的定时将反射光曝光，将表示与第二曝光信号群对应的曝光量的第二摄像信号向上述运算部输出。

通过将这样的固体摄像装置用在测距摄像装置中，与上述说明的测距摄像装置同样，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。

此外，本发明不仅能够作为具备这样的特征性的结构的测距摄像装置实现，也可以作为测距方法或该测距摄像装置的驱动方法实现。

这样的测距方法或该测距摄像装置的驱动方法包括：第一输出步骤，将第一曝光信号群周期性地反复输出，所述第一曝光信号群是由相对于上述发光信号延迟时间相互不同的多个曝光信号构成的曝光信号群，而且是在一个曝光信号的曝光期间结束之前，其他的至少一个曝光信号的曝光期间开始的曝光信号群；第二输出步骤，输出第二曝光信号群，所述第二曝光信号群是由相对于发光信号延迟时间相互不同的1个以上的曝光信号构成的曝光信号群，而且是具有该1个以上的曝光信号都为非曝光期间的死区期间的曝光信号群；运算步骤，使用由第一输出步骤得到的第一摄像信号计算第一距离值，使用由第二输出步骤得到的第二摄像信号计算第二距离值，基于第一距离值和第二距离值运算距离。

通过这样的测距方法或驱动方法，也与上述说明的测距摄像装置同样，能够在抑制测距运算所需要的信号数的同时，实现测距精度的维持及测距范围的大范围化。

产业上的可利用性

有关本发明的测距摄像装置由于能够不依存于周边环境而实现测量对象物的高精度的三维测量，所以例如对于人物、建筑物等的三维测量是有用的。

标号说明

1光源部

2、2a固体摄像部(固体摄像装置)

3、203tof运算部(运算部)

4驱动控制部(控制部)

4a定时发生器(控制部)

20光电二极管

21垂直转送部

22水平转送部

23信号电荷检测部

100、100a、200测距摄像装置

ob对象物体