三维运动取得装置及三维运动取得方法与流程

本公开涉及用于取得被摄体的距离信息和运动信息这两者的三维运动取得装置及三维运动取得方法。

背景技术：

由CCD(电荷耦合设备)传感器、CMOS(互补MOS)传感器等图像传感器求得的被摄体的移动信息和/或距离信息在车辆周边监视系统、室内监视系统、室外监视系统、接口设备中发挥着重要的作用。

尤其是同时求得移动信息和距离信息的方法被称为三维运动推定，对移动物体的环境识别非常有效。

在先技术文献

专利文献1：日本专利第3758618号公报

非专利文献1：B.D.Lucas and T.Kanade，“An Iterative Image Registration Technique with application to stereo vision”，In Proc.7th IJCAI，第674-679页，1981。

非专利文献2：安藤繁，魏大比，波尔马·苏雷尔，“利用根据复正弦波调制拍摄的光流检测理论和基于时间相关图像传感器的实现”，信息处理学会研究报告计算机视觉与图像介质(CVIM)，第157卷，第77-84页，2007。(安藤繁，魏大比，ポルマズレル，“複素正弦波変調撮像によるオプティカルフロー検出理論および時間相関イメージセンサによる実現”，情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM),Vol.157,pp.77-84,2007.)

技术实现要素：

但是，在以往的三维运动推定中，利用一个图像传感器，难以高精度地获得被摄体的距离信息和移动信息。

本公开的非限定性例示的一个技术方案是能够利用一个图像传感器高精度地获得被摄体的距离信息和移动信息的三维运动取得装置。另外，本公开的非限定性例示的一个技术方案是此三维运动取得装置使用的三维运动取得方法。

本公开的一个技术方案涉及的三维运动取得装置具备：光源；电荷量取得电路，其包含多个像素，在各像素取得第一曝光模式中的第一电荷量和第二曝光模式中的第二电荷量，所述第二曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间重合；以及处理器，其控制所述光源的发光模式、所述第一曝光模式和所述第二曝光模式，所述处理器，基于所述发光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的到被摄体为止的距离，基于所述第一曝光模式、所述第二曝光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的光流，输出所推定的所述距离和所推定的所述光流。

另外，本公开的一个技术方案涉及的三维运动取得方法是三维运动取得装置进行的三维运动取得方法，所述三维运动取得装置具备光源、包含多个像素的电荷量取得电路、以及处理器，所述三维运动取得方法包括：所述处理器控制所述光源的发光模式以及所述电荷量取得电路的各像素的第一曝光模式和第二曝光模式，所述第二曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间重合，所述电荷量取得电路在各像素取得所述第一曝光模式中的第一电荷量和所述第二曝光模式中的第二电荷量，所述处理器基于所述发光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的到被摄体为止的距离，所述处理器基于所述第一曝光模式、所述第二曝光模式以及由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的光流，所述处理器输出所推定的所述距离和所推定的所述光流。

此外，这些总括性或具体性的技术方案既可以由系统、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以由装置、系统、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质包括例如CD-ROM(光盘只读式存储器)等非易失性的记录介质。

根据本公开，能够利用一个图像传感器(电荷量取得电路)高精度地取得被摄体的距离信息和运动信息(光流)。本公开的一个技术方案的附加好处和有利点根据本说明书和附图是清楚的。此好处和/或有利点可以通过本说明书和附图公开的各种实施方式和特征单独地提供，为了获得一个以上的好处和/或有利点，并不是全部都需要。

附图说明

图1是表示实施方式1涉及的三维运动取得装置的结构的框图。

图2是电荷量取得电路的电路结构图。

图3是像素单元的一个例子的剖视图。

图4是像素单元的一个例子的俯视图。

图5是表示子像素单元的器件构造的示意图。

图6是像素单元的一个例子的剖视图。

图7是像素单元的一个例子的俯视图。

图8是像素单元的一个例子的剖视图。

图9是像素单元的一个例子的俯视图。

图10是表示实施方式1涉及的三维运动取得装置中的处理例的流程图。

图11是表示时间发光模式与调制曝光模式之间的关系的示意图。

图12是表示实施方式1涉及的三维运动取得装置中的处理例的流程图。

图13是表示时间发光模式、反射光模式以及调制曝光模式之间的关系的示意图。

图14是表示实施方式2涉及的三维运动取得装置的结构的框图。

图15是表示实施方式2涉及的三维运动取得装置中的处理例的流程图。

具体实施方式

(得到本公开的一个技术方案的经过)

以往，为求得被摄体的移动信息，广泛使用光流。出于运算成本的角度，利用光流约束式来求得光流的方法被广泛利用(例如，非专利文献1)，光流约束式利用了：在不同时间对移动的被摄体拍摄得到的第一图像和第二图像这两张图像中，即使与被摄体所包含的相同部分对应的像素发生移动，亮度(像素值)也不变。另外，非专利文献2中公开了利用时间相关图像传感器由一帧求得光流的方法，时间相关图像传感器算出从外部供给的参照信号和曝光期间中的光强度的时间变化之间的时间相关。

另一方面，为了取得被摄体的三维信息而利用TOF(Time-of-Flight，飞行时间)的方法被众所周知(例如，专利文献1)。

然而，光流约束式存在欠定问题，如果不施加某种约束条件，则无法求解。例如，非专利文献1中的光流检测方法在光流约束式的基础上，利用在附近处光流相等这一约束条件来求解。然而，这样的约束条件由于一般不是所有场景都满足，所以存在所求得的光流精度会劣化的问题。进一步，光流约束式因为假定了“即使像素移动，亮度(像素值)也不变”，所以难以与TOF法那样的投光型距离信息取得方法并存。

另外，关于非专利文献2，与通常的COMS传感器相比，存在需要多余的布线、开口减小、灵敏度劣化的问题。

本发明人鉴于此问题，想到了下述本公开的一个技术方案涉及的三维运动取得装置及三维运动取得方法。

本公开的一个技术方案涉及的三维运动取得装置具备：光源；电荷量取得电路，其包含多个像素，在各像素取得第一曝光模式中的第一电荷量和第二曝光模式中的第二电荷量，所述第二曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间重合；以及处理器，其控制所述光源的发光模式、所述第一曝光模式和所述第二曝光模式，所述处理器，基于所述发光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的到被摄体为止的距离，基于所述第一曝光模式、所述第二曝光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的光流，输出所推定的所述距离和所推定的所述光流。

根据上述结构的三维运动取得装置，能够利用一个图像传感器(电荷量取得电路)高精度地取得被摄体的距离信息和运动信息(光流)。

另外，优选的是，所述处理器通过控制所述电荷量取得电路的各像素的曝光期间或曝光敏感度，进行所述第一曝光模式的控制和所述第二曝光模式的控制。

另外，优选的是，所述电荷量取得电路还在各像素取得第三曝光模式中的第三电荷量，所述第三曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间和所述第二曝光模式的曝光期间重合，在所述第一曝光模式中，曝光敏感度按预定周期的正弦波变化，在所述第二曝光模式中，曝光敏感度按相位与所述第一曝光模式中的正弦波不同的所述预定周期的正弦波变化，在所述第三曝光模式中，曝光敏感度按矩形波变化，所述处理器，还基于由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第三电荷量来进行所述距离的推定，还基于由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第三电荷量来进行所述光流的推定。

另外，优选的是，在所述发光模式中，发光量按所述预定周期的正弦波变化。

另外，优选的是，在所述第一曝光模式中，在第一期间，曝光敏感度按矩形波变化，在不包含所述第一期间的第二期间，曝光敏感度按预定周期的正弦波变化，在所述第二曝光模式中，在第三期间，曝光敏感度按矩形波变化，在不包含所述第三期间的第四期间，曝光敏感度按所述预定周期的正弦波变化。

另外，优选的是，在所述发光模式中，发光量按矩形波变化。

另外，优选的是，所述像素在一个开口内具备多个子像素，所述子像素具备光电转换部，所述光电转换部包括层叠在半导体基板的主平面上方的第一电极、与该第一电极相比位于离所述半导体基板更远位置的第二电极、以及位于所述第一电极与所述第二电极之间的光电转换部件，所述电荷量取得电路还具备用于控制各所述子像素的所述第一电极的电位的电极控制电路。

另外，优选的是，所述电极控制电路经由电容与各所述子像素的所述第一电极电连接。

另外，优选的是，所述像素具有被该像素具备的多个所述子像素共用的滤色器。

另外，优选的是，所述像素具有被该像素具备的多个所述子像素共用的一个片上微透镜。

另外，优选的是，所述电极控制电路通过在作为曝光期间以外的期间的非曝光期间变更各所述子像素的所述第一电极的电位，变更各所述子像素的曝光敏感度。

另外，优选的是，所述处理器基于所述第一曝光模式、所述第二曝光模式、以及由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，算出相互独立的两个以上的光流约束式，使用该算出的光流约束式进行所述光流的推定。

另外，优选的是，在所述发光模式中，所述光源的发光量在所述第一曝光模式的曝光期间的至少一部分期间和所述第二曝光模式的曝光期间的至少一部分期间发生变化。

另外，优选的是，具备向所述光源发送用于使所述光源以所述发光模式进行发光的发光控制信号的发送部，所述光源接收从所述发送部发送的发光控制信号，基于该接收到的发光控制信号以所述发光模式进行发光。

另外，本公开的一个技术方案涉及的三维运动取得方法是三维运动取得装置进行的三维运动取得方法，所述三维运动取得装置具备光源、包含多个像素的电荷量取得电路、以及处理器，所述三维运动取得方法包括：所述处理器控制所述光源的发光模式以及所述电荷量取得电路的各像素的第一曝光模式和第二曝光模式，所述第二曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间重合，所述电荷量取得电路在各像素取得所述第一曝光模式中的第一电荷量和所述第二曝光模式中的第二电荷量，所述处理器基于所述发光模式和由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的到被摄体为止的距离，所述处理器基于所述第一曝光模式、所述第二曝光模式以及由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第一电荷量和所述第二电荷量，推定所述电荷量取得电路的各像素的光流，所述处理器输出所推定的所述距离和所推定的所述光流。

根据上述构成的三维运动取得方法，能够利用一个图像传感器(电荷量取得电路)高精度地取得被摄体的距离信息和运动信息(光流)。

另外，优选的是，所述处理器通过控制所述电荷量取得电路的各像素的曝光期间或曝光敏感度，进行所述第一曝光模式的控制和所述第二曝光模式的控制。

另外，优选的是，所述电荷量取得电路还在各像素取得第三曝光模式中的第三电荷量，所述第三曝光模式的至少一部分曝光期间与所述第一曝光模式的曝光期间和所述第二曝光模式的曝光期间重合，在所述第一曝光模式中，曝光敏感度按预定周期的正弦波变化，在所述第二曝光模式中，曝光敏感度按相位与所述第一曝光模式中的正弦波不同的所述预定周期的正弦波变化，在所述第三曝光模式中，曝光敏感度按矩形波变化，所述处理器，还基于由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第三电荷量来进行所述距离的推定，还基于由所述电荷量取得电路取得的所述电荷量取得电路的各像素的所述第三电荷量来进行所述光流的推定。

另外，优选的是，在所述发光模式中，发光量按所述预定周期的正弦波变化。

另外，优选的是，在所述第一曝光模式中，在第一期间，曝光敏感度按矩形波变化，在不包含所述第一期间的第二期间，曝光敏感度按预定周期的正弦波变化，在所述第二曝光模式中，在第三期间，曝光敏感度按矩形波变化，在不包含所述第三期间的第四期间，曝光敏感度按所述预定周期的正弦波变化。

另外，优选的是，在所述发光模式中，发光量按矩形波变化。

本公开的一个实施方式涉及的三维运动取得装置包括出射按照第一信号的光的光源、接收来自接受所述光的观察对象的光的透镜、包含接收从所述透镜输出的光的第一像素单元、第二像素单元和第三像素单元的电路、以及处理器，所述第一单元包含第一电极、第二电极以及位于第一电极和第二电极之间的第一光电材料，所述第二单元具备第三电极、第四电极以及位于第三电极和第四电极之间的第二光电材料，所述第三单元具备第五电极、第六电极以及位于第五电极和第六电极之间的第三光电材料，由所述透镜的开口规定的面积比所述第二电极的面积、所述第四电极的面积和所述第六电极的面积加起来的面积小，所述第一电极的电位、所述第三电极的电位和所述第五电极的电位相同，所述第一电极、所述第三电极和所述第五电极包含于连续形成的电极，所述第一光电材料、所述第二光电材料和所述第三光电材料包含于连续形成的光电材料。所述第一电极与所述透镜的距离小于所述第二电极与所述透镜的距离，所述第三电极与所述透镜的距离小于所述第三电极与所述透镜的距离，所述第五电极与所述透镜的距离小于所述第四电极与所述透镜的距离，所述第二电极与第一放大器的第一栅极连接，所述第三电极与第二放大器的第二栅极连接，所述第四电极与第三放大器的第三栅极连接，所述第二电极与产生第二信号的第一信号发生器连接，所述第三电极与产生第三信号的第二信号发生器连接，所述第四电极与产生第四信号的第三信号发生器连接，第一放大器提供与施加给第一栅极的电信号成比例的电信号作为第一单元的第一输出信号，第二放大器提供与施加给第二栅极的电信号成比例的电信号作为第二单元的第二输出信号，第三放大器提供与施加给第三栅极的电信号成比例的电信号作为第三单元的第三输出信号，第一信号为L(t)，第二信号为s1(t)，第三信号为s2(t)，第四信号为s0(t)，在此，Δt是帧率的倒数，是表示与帧定时的时间差的相位差，N是1帧期间的发光模式的周期数，则

以下，参照附图说明本公开的一个技术方案涉及的三维运动取得装置的具体例。在此所示的实施方式都只表示本公开的具体例。因此，以下的实施方式中所示的数值、形状、构成要素、构成要素的配置和连接方式、以及步骤(工序)和步骤顺序等仅作为一个例子，不用于限定本公开。以下的实施方式的构成要素中，未记载于独立权利要求中的构成要素是可以任意附加的构成要素。另外，各图均是示意图，不一定被精确地表示。

(实施方式1)

图1是表示本公开的一个实施方式涉及的三维运动取得装置1的结构的框图。

如图1所示，三维运动取得装置1具备光源110、电荷量取得电路120和处理器130。

光源110是例如LED(发光二极管)，朝向被摄体发出亮度调制光。亮度调制光是亮度可以随时间变化的光。

光源110只要具有发出亮度调制光的功能，则不一定需要限于LED。例如，也可以是激光器、HID(High-Intensity Discharge，高压气体放电)灯。

电荷量取得电路120例如是图像传感器，包含多个像素，具有在各像素取得第一曝光模式中的第一电荷量和第二曝光模式中的第二电荷量的功能，第二曝光模式的至少一部分曝光期间与第一曝光模式的曝光期间重合。

电荷量取得电路120例如也可以还在各像素取得至少一部分曝光期间与第一曝光模式的曝光期间和第二曝光模式的曝光期间重合的第三曝光模式中的第三电荷量。

后面将对电荷量取得电路120进行详细的说明。

处理器130通过执行存储在未图示的存储器中的程序来实现控制部131、距离推定部132、光流推定部133和输出部134。

控制部131控制光源110的发光模式。另外，控制部131控制电荷量取得电路120的第一曝光模式和第二曝光模式。

控制部131例如可以通过控制电荷量取得电路120的像素的曝光期间和曝光灵敏度来进行第一曝光模式的控制和第二曝光模式的控制。

另外，例如在第一曝光模式中，曝光灵敏度可以与预定周期的正弦波的波高值成比例地变化，在第二曝光模式中，曝光灵敏度可以与具有同上述预定周期的正弦波的相位不同的相位的、上述预定周期的正弦波的波高值成比例地变化，在第三曝光模式中，曝光灵敏度可以与矩形波的波高值成比例地变化。

另外，例如在发光模式中，发光量可以与上述预定周期的正弦波的波高值成比例地变化。

另外，例如在第一曝光模式中，在第一期间，曝光灵敏度可以与矩形波的波高值成比例地变化，在不包含第一期间的第二期间，曝光灵敏度可以与预定周期的正弦波的波高值成比例地变化，在第二曝光模式中，在第三期间，曝光灵敏度可以与矩形波的波高值成比例地变化，在不包含第三期间的第四期间，曝光灵敏度可以与上述预定周期的正弦波的波高值成比例地变化。

另外，例如在发光模式中，发光量可以与矩形波的波高值成比例地变化。

后面将对控制部131的工作进行详细的说明。

距离推定部132基于光源110的发光模式和由电荷量取得电路120取得的电荷量取得电路120的各像素的第一电荷量和第二电荷量，推定电荷量取得电路120的各像素的到被摄体为止的距离。

距离推定部132例如可以基于由电荷量取得电路120取得的电荷量取得电路120的各像素的第三电荷量来进行上述距离的推定。

后面将对距离推定进行详细的说明。

光流推定部133基于第一曝光模式、第二曝光模式以及由电荷量取得电路120取得的电荷量取得电路120的各像素的第一电荷量和第二电荷量，推定电荷量取得电路120的各像素的光流。

光流推定部133例如可以基于由电荷量取得电路120取得的电荷量取得电路120的各像素的第三电荷量来进行上述光流的推定。

后面将对光流推定进行详细的说明。

在以往的光流推定方法中，假定多帧之间的关注部位的被摄体与拍摄头之间的相对运动的方向和大小是一定的，并利用多帧图像。与此相对，光流推定部133如后所述能够由一帧图像来推定光流。

另外，在以往的光流推定方法中，由于在发出亮度调制光的光源下被摄体的亮度随时间而变动，所以难以推定光流。与此相对，光流推定部133如后所述即使在发出亮度调制光的光源下也能够推定光流。

输出部134输出由距离推定部132推定的距离和由光流推定部133推定的光流。

例如，在自动驾驶车的环境识别系统中，以往，被摄体的距离信息大多利用LIDAR(Light Detection And Ranging、Laser Imaging Detection And Ranging，激光探测与测量、激光图像探测与测量)来取得，运动信息大多利用基于不同的传感器例如照拍摄头的光流来取得。此情况下，距离信息和运动信息的观测点不一致，额外需要对不同传感器取得的信息进行整合的处理，该处理是导致精度劣化的原因。

另一方面，本实施方式1涉及的三维运动取得装置1中，因为由同一电荷量取得电路120求得距离信息和运动信息，所以距离信息的观测点和运动信息的观测点总是一致，能够在减轻信息处理的负担的同时，输出更高精度的三维运动信息。

另外，以往，利用了多帧的立体图像的情况下也能够在同一观测点取得距离信息和运动信息。然而，因为距离信息由同一曝光时间的图像推定，而运动信息由不同曝光时间的信息推定，所以两者是时间上不同的信息。因此，在整合两信息时产生了误差。另一方面，本实施方式1涉及的三维运动取得装置1由同一第一电荷量和第二电荷量求得距离信息和运动信息，所以不会发生这样的帧间偏差，能够输出更高精度的三维运动信息。

接着，对电荷量取得电路120进行详细的说明。

图2是电荷量取得电路120的电路结构图。

如图2所示，电荷量取得电路包含被配置成二维阵列状的多个像素单元10(像素)。并且，各像素单元10具备多个子像素单元5。在此，以各像素单元10具备子像素单元5a和子像素单元5b这两个子像素单元5来进行说明。在此，子像素单元5a和子像素单元5b在像素单元10的二维阵列(以下，也称为“像素阵列PA”)的行方向上处于交替相邻的关系。此外，在此，以子像素单元5a和子像素单元5b在像素阵列PA的行方向上处于彼此相邻的关系来进行说明，但例如子像素单元5a和子像素单元5b也可以在像素阵列PA的列方向上处于交替相邻的关系。

图3是像素单元10的一例的剖视图，图4是图3所示的像素单元10的一个例子的俯视图。

如图3、图4所示，像素单元10在一个开口(透镜开口)内具有多个子像素单元5(在此为子像素单元5a和子像素单元5b)。并且，像素10具备被多个子像素单元5(在此为子像素单元5a和子像素单元5b)共用的一个滤色器201和被多个子像素单元5(在此为子像素单元5a和子像素单元5b)共用的一个片上微透镜202。

如图3所示，作为子像素单元5的子像素单元5a具备包括作为层叠在半导体基板20的主平面上方的第一电极11(也称为像素电极)的第一电极11a、与第一电极11a相比位于离半导体基板20更远位置的第二电极12(也称为对向电极)、以及位于第一电极11a与第二电极12之间的光电转换部件15的作为光电转换部13的光电转换部13a。

另外，如图3所示，作为子像素单元5的子像素单元5b具备包括作为层叠在半导体基板20的主平面上方的第一电极11(也称为像素电极)的第一电极11b、与第一电极11b相比位于离半导体基板20更远位置的第二电极12(也称为对向电极)、以及位于第一电极11b与第二电极12之间的光电转换部件15的作为光电转换部13的光电转换部13b。

光电转换部13基于入射到光电转换部件15的光而生成电信号。电信号依赖于光的强度。

此外，光电转换部13不一定需要由按每个子像素单元5而独立的部件构成。例如，图3所示的一个子像素单元5所具备的光电转换部13的第二电极12和另一子像素单元5所具备的光电转换部13的第二电极12可以由共同的元件构成。例如，图3所示的一个子像素单元5所具备的光电转换部13的光电转换部件15和另一子像素单元5所具备的光电转换部件15可以由共同的元件构成。

在图2中，信号检测电路14是检测由光电转换部13生成的电信号的电路。如图2所示，信号检测电路14包含信号检测晶体管24和地址晶体管(address transistor)26。典型的，信号检测晶体管24和地址晶体管26为场效应晶体管(FET)。在在此所示的例子中，信号检测晶体管24为N沟道MOSFET，地址晶体管26为N沟道MOSFET。

如图2中示意地表示的，信号检测晶体管24的控制端子(在此为栅极)与光电转换部13电连接。由光电转换部13生成的电信号的电荷(空穴或电子)被蓄积在信号检测晶体管24的栅极与光电转换部13之间的电荷蓄积节点41。该电荷蓄积节点41也被称为浮置扩散(floating diffusion)节点(FD)。

电极控制电路32a是控制各像素单元10所具备的两个子像素单元5中的一方(在此为子像素单元5a)的第一电极11a的电位的调制电压源。并且，电极控制电路32b是控制各像素单元10所具备的两个子像素单元5中的另一方(在此为子像素单元5b)的第一电极11b的电位的调制电压源。电极控制电路32a不限于特定的电源电路。电极控制电路32b不限定特定的电源电路。

如图3所示，电极控制电路32a和电极控制电路32b分别经由电容C与第一电极11a、11b连接。因此，即使电极控制电路32a控制第一电极11a的电位，被蓄积在对应的电荷蓄积节点41的电荷量也不会被破坏，即使电极控制电路32b控制第一电极11b的电位，被蓄积在对应的电荷蓄积节点41的电荷量也不会被破坏。

后面将详细说明电极控制电路32a和电极控制电路32b各自进行的第一电极11a的电位控制和第一电极11b的电位控制。例如，能够通过电极控制电路32a和电极控制电路32b来切换第一电极11a的电位和第一电极11b的电位。也就是说，能够按每个子单元调整灵敏度，通过使特定子单元的灵敏度最低，能实现电子快门工作。

各子像素单元5与供给电源电压VDD的电源线40连接。如图2所示，电源线40与信号检测晶体管24的输入端子(典型的，漏极)连接。电源线40作为源极跟随电源发挥功能，由此，信号检测晶体管24对由光电转换部13生成的信号进行放大并输出。

地址晶体管26的输入端子(在此为漏极)与信号检测晶体管24的输出端子(在此为源极)连接。地址晶体管26的输出端子(在此为源极)与按像素阵列PA的各列配置的多条垂直信号线47中的一条连接。地址晶体管26的控制端子(在此为栅极)与地址控制线46连接，通过控制地址控制线46的电位，能够对应的垂直信号线47选择性地读出信号检测晶体管24的输出。

在图2所示的例子中，地址控制线46与垂直扫描电路(也称为“行扫描电路”)36连接。垂直扫描电路36通过给地址控制线46施加预定的电压来以行为单位选择被配置在各行的多个子像素单元5。由此，执行读出所选择的子像素单元5的信号。

垂直信号线47是将来自像素阵列PA的像素信号传输给外围电路的主信号线。列信号处理电路(也称为“行信号蓄积电路”)37与垂直信号线47连接。列信号处理电路37进行相关双重取样所代表的噪声抑制信号处理和模数转换(AD转换)。如图所示，列信号处理电路37被设计成与像素阵列PA中的子像素单元5的各列对应。水平信号读出电路(也称为“列扫描电路”)38与这些列信号处理电路37连接。水平信号读出电路38依次从多个列信号处理电路37向水平公共信号线49读出信号。

在图2所例示的结构中，子像素单元5各自具有复位晶体管28。复位晶体管28例如与信号检测晶体管24和地址晶体管26同样地可以是场效应晶体管。以下，只要没有特别说明，都是对采用N沟道MOSFET来作为复位晶体管28的例子进行说明。如图所示，该复位晶体管28被连接在供给复位电压Vr的复位电压线44与电荷蓄积节点41之间。复位晶体管28的控制端子(在此为栅极)与复位控制线48连接，通过控制该复位控制线48的电位，能够使电荷蓄积节点41的电位为复位电压Vr，释放被蓄积在电荷蓄积节点41处的电荷，即，将子像素单元5复位。在该例子中，复位控制线48与垂直扫描电路36连接。因此，通过垂直扫描电路36给复位控制线48施加预定的电压，能够以行为单位复位被配置在各行的多个子像素单元5。

在该例子中，给复位晶体管28提供复位电压Vr的复位电压线44与复位电压源34(复位电压供给电路)连接。复位电压源34具有在电荷量取得电路120工作时给复位电压线44提供预定的复位电压Vr的构造即可，不限于特定的电源电路。此外，电极控制电路32a、电极控制电路32b以及复位电压源34中的每个既可以是单一的电压供给电路的一部分，也可以是独立的个别电压供给电路。此外，电极控制电路32a、电极控制电路32b以及复位电压源34中的一部分或者全部也可以是垂直扫描电路36的一部分。或者，来自电极控制电路32a、电极控制电路32b的第二电极电压(对向电极电压)和/或来自复位电压源34的复位电压Vr也可以经由垂直扫描电路36提供给各子像素单元5。

作为复位电压Vr，也可利用信号检测电路14的电源电压VDD。在该情况下，可以将给各子像素单元5提供电源电压的电压供给电路(图2中未图示)和复位电压源34共用化。另外，由于能够将电源线40和复位电压线44共用化，所以像素阵列PA的部件能够简化。但是，对于复位电压Vr和信号检测电路14的电源电压VDD采用相互不同的电压，这使得能够进行电荷量取得电路120的更灵活的控制。

图5示意性地表示子像素单元5的例示性器件构造。在图5所例示的结构中，上述信号检测晶体管24、地址晶体管26和复位晶体管28形成在半导体基板20。半导体基板20不限于其整体为半导体的基板。半导体基板20也可以是在形成感光区域一侧的表面设置有半导体层的绝缘性基板等。在此，作为半导体基板20，以P型硅(Si)基板为例进行说明。

半导体基板20具有掺杂区域(在此为N型区域)26s、24s、24d、28d和28s、以及用于进行子像素单元5a与子像素单元5b之间的电隔离的单元分离区域20t和用于进行像素单元10之间的电隔离的单元分离区域20t。在此，单元分离区域20t还可设在掺杂区域24d与掺杂区域28d之间。部件分离区域20t可通过例如在预定的注入条件下进行受主的离子注入来形成。

典型的，掺杂区域26s、24s、24d、28d和28s是形成在半导体基板20内的扩散层。如图5中示意地表示的，信号检测晶体管24包含掺杂区域24s和24d、以及栅电极24g(典型的，多晶硅电极)。掺杂区域24s和24d分别作为信号检测晶体管24的例如源极区域和漏极区域发挥功能。信号检测晶体管24的沟道区域形成在掺杂区域24s与24d之间。

同样的，地址晶体管26包含掺杂区域26s和24s、以及与地址控制线46(参照图2)连接的栅电极26g(典型的，多晶硅电极)。在此例中，信号检测晶体管24和地址晶体管26通过共有掺杂区域24s而相互电连接。掺杂区域26s作为地址晶体管26的例如源极区域发挥功能。掺杂区域26s与图5中未图示的垂直信号线47(参照图2)连接。

复位晶体管28包含掺杂区域28d和28s、以及与复位控制线48(参照图2)连接的栅电极28g(典型的，多晶硅电极)。掺杂区域28s作为复位晶体管28的例如源极区域发挥功能。掺杂区域28s与图5中未图示的复位电压线44(参照图2)连接。

在半导体基板20上配置有层间绝缘层50(典型地，二氧化硅层)，以覆盖信号检测晶体管24、地址晶体管26和复位晶体管28。如图所示，在层间绝缘层50中可以配置有布线层56。典型的，布线层56由铜等金属形成，例如其一部分内可以包含上述垂直信号线47等的布线。层间绝缘层50中的绝缘层的层数和被配置在层间绝缘层50中的布线层56所包含的层数可以任意设定，并不限于图3所示的例子。

层间绝缘层50上配置有上述光电转换部13。换句话说，在本公开实施方式中，构成像素阵列PA(参照图2)的多个子像素单元5被形成在半导体基板20上。二维排列在半导体基板20上的多个子像素单元5形成感光区域(像素区域)。相互邻接的二个子像素单元5之间的距离(像素间距)可以为例如2μm左右。

光电转换部13包含第一电极11、第二电极12、以及配置在两电极之间的光电转换部件15。在该例子(图3)中，第二电极12和光电转换部件15被形成为跨多个子像素单元5。另一方面，第一电极11按每个子像素单元5而设置，通过在空间上与相邻的其他子像素单元5的第一电极1分离而与其他像素单元10的第一电极11电分离。

典型的，第二电极12是由透明导电材料形成的透明电极。第二电极12被配置在光电转换部件15的光入射侧。由此，透过第二电极12的光入射到光电转换部件15。此外，由电荷量取得电路120检测的光不限于可见光的波长范围(例如，380nm以上且780nm以下)内的光。本说明书中的“透明”指可透过所要检出的波长范围光的至少一部分，不一定必须透过整个可见光波长范围内的光。在本说明书中，为了便于说明，以将红外线和紫外线在内的全体电磁波表现为“光”。第二电极12例如可采用ITO、IZO、AZO、FTO、SnO2、TiO2、ZnO2等透明导电性氧化物(Transparent Conducting Oxide(TCO))。

光电转换部件15接受入射的光而产生空穴-电子对。典型的，光电转换部件15由有机材料形成。

如参照图2所说明的，第二电极12被形成为跨多个子像素单元5。因此，能一并地施加所希望的大小的第二电极电压(对向电极电压)于多个子像素单元5之间。此外，只要能够把所希望的大小的第二电极电压(对向电极电压)一并地施加于多个子像素单元5之间，第二电极12也可以按每个子像素单元5而分离地设置。同样的，光电转换部件15也可以设置成按每个子像素单元5而分离。

电极控制电路32通过在曝光期间和非曝光期间之间将相互不同的电压提供给光电转换部13来控制曝光敏感度。在本说明书中，“曝光期间”指用于将通过光电转换生成的正电荷和负电荷中的一方(信号电荷)蓄积在电荷蓄积区域内的期间，也称为“电荷蓄积期间”。另外，在本说明书中，称拍摄装置的工作期间中且曝光期间以外的期间为“非曝光期间”。此外，“非曝光期间”不限于光朝向光电转换部13的入射被遮断的期间，也可以包含光被照射到光电转换部13的期间。

通过控制相对于第一电极11的电位的第二电极12的电位，能够由第一电极11收集在光电转换部件15内通过光电转换生成的空穴-电子对中的空穴和电子的任一方。然而，第二电极12设于像素阵列整个面，难以进行每行或每个像素的控制。通过确保Line/Space并确保对各电极的信号布线，根据布线模式把第二电极12分割为子像素单位，能实现第二电极12的每行或每像素的控制。

在利用例如空穴作为信号电荷的情况下，通过使第二电极12的电位比第一电极11高，能由第一电极11选择性地收集空穴。以下，以利用空穴作为信号电荷的情况为例。当然，也可利用电子作为信号电荷。

通过在第二电极12与第一电极11之间提供适当的偏置电压，第一电极11收集在光电转换部件15中通过光电转换产生的正电荷和负电荷中的一方。第一电极11可由铝、铜等金属、金属氮化物、或通过掺加杂质而被赋予导电性的多晶硅等形成。

也可以使第一电极11为遮光性电极。例如，通过形成厚100nm的TaN电极作为第一电极11，能实现足够的遮光性。通过使第一电极11为遮光性电极，能抑制透过了光电转换部件15的光入射到形成在半导体基板20的晶体管(此例中，信号检测晶体管24、地址晶体管26和复位晶体管28中的至少任一者)的沟道区域或掺杂领域。也可以利用上述布线层56在层间绝缘层50内形成遮光膜。通过抑制光向形成在半导体基板20的晶体管的沟道区域的入射，能抑制晶体管的特性的变化(例如，阈值电压的变动)等。另外，通过抑制光向形成在半导体基板20的掺杂区域的入射，能抑制由于掺杂区域的非意图的光电转换而导致的噪声混入。这样，抑制光向半导体基板20的输入有助于提高电荷量取得电路120的可靠性。

如图5示意地表示的，第一电极11经由接触插塞(plug)52、布线53和接触插塞54与信号检测晶体管24的栅电极24g连接。换句话说，信号检测晶体管24的栅极与第一电极11电连接。这些接触插塞52和布线53例如可以由铜等金属形成。接触插塞52、布线53和接触插塞54构成信号检测晶体管24与光电转换部13之间的电荷蓄积节点41(参照图2)的至少一部分。布线53可以是布线层56的一部分。另外，第一电极11还经由接触插塞54、接触插塞52、布线53和接触插塞55与掺杂区域28d连接。在图5所例示的结构中，信号检测晶体管24的栅电极24g、接触插塞52、布线53、接触插塞54和55、以及复位晶体管28的作为源极区域和漏极区域的一方的掺杂区域28d作为蓄积由第一电极11收集到的信号电荷的电荷蓄积区域发挥功能。

通过由第一电极11收集信号电荷，与蓄积在电荷蓄积区域中的信号电荷量相应的电压被施加给信号检测晶体管24的栅极。信号检测晶体管24放大被施加给该栅极的电压。由信号检测晶体管24放大后的电压作为信号电压经由地址晶体管26选择性地被读出。

在本公开中，电极控制电路32通过在非曝光期间控制(变更)相对于第二电极12的电位的第一电极11的电位，变更曝光敏感度(实现敏感度可变功能)。通过选择敏感度最低的电位，同时地控制所有像素，以对所有像素的各个像素同时地提供使得敏感度最低的电位，能够实现同时地使所有像素的敏感度最低的全局快门功能。

另外，在第二电极12的电位控制中，虽然需要按每个子像素来分割第二电极12，但通过第一电极11的控制，能够实现以任意子像素为单位的敏感度可变。例如，通过按每行控制第一电极11的电位，能实现作为每行的快门动作的滚动快门。

如图3所示，像素单元10中在一个透镜开口内设有两个第一电极11、即第一电极11a和第一电极11b。第一电极11a和第一电极11b分别与对应的电荷蓄积节点41的浮置扩散节点FD1、FD2连接。如上所述，第一电极11a的电位由电极控制电路32a控制，第一电极11b的电位由电极控制电路32b控制。电极控制电路32a和电极控制电路32b可以进行相互不同的调制。通过该结构，能够对具有同一视野的子像素单元5a和子像素单元5b同时应用不同的调制。

此外，图3中省略子像素单元5内的晶体管等的标记。

如图4所示，在俯视像素单元10的情况下，在像素单元10中，相对于一个片上微透镜202和一个滤色器201，第一电极11a和第一电极11b以相同尺寸并排配置。此外，第一电极11a和第一电极11b的尺寸和/或配置不限于此。进一步，在第一电极11a与第一电极11b之间也可插入用于控制电荷捕获范围的屏蔽电极。

在以上的说明中为在一个透镜开口内设有作为两个第一电极11的第一电极11a和第一电极11b，并分别进行不同的调制，但也可在一个透镜开口内设置三个以上的第一电极11，并分别进行不同的调制。在此情况下，各像素单元10为如下结构：具备与自身所包含的第一电极11的数量相应的在像素阵列PA中相邻(例如，在像素阵列PA的行方向或列方向上连续排列)的子像素单元5。

图6是像素单元10的一个例子的剖视图，其中，在一个透镜开口内具备三个第一电极11，并对第一电极11的每个实施相互不同的三种调制，

图7是图6所示像素单元10的一例的俯视图。

如图7所示，在俯视像素单元10的情况下，在像素单元10中，相对于一个片上微透镜202和一个滤色器201，第一电极11a、第一电极11b和第一电极11c以相同尺寸等间隔地且呈直线状而并排配置。此外，第一电极11a、第一电极11b和第一电极11c的尺寸和/或配置不限于此。进一步，在第一电极11a与第一电极11b之间和第一电极11b与第一电极11c之间也可插入用于控制电荷捕获范围的屏蔽电极。根据本结构，能够对同一空间信息同时应用三种调制。

另外，在以上的说明中，为相对于多个第一电极11配置一个片上微透镜202，但也可为对多个第一电极11分别配置片上微透镜202。图8是像素单元10的一个例子的剖视图，其中，对多个第一电极11分别(在此为第一电极11a、第一电极11b和第一电极11c)配置片上微透镜202(在此为片上微透镜202a、片上微透镜202b和片上微透镜202c)，图9是图8所示像素单元10的一个例子的俯视图。在这样的结构的情况下，在每个片上微透镜202的开口只能取得一个电荷量(调制信息)，但在相邻的子像素单元5中视野大致相等，另外具有相等的滤色器，因此，能取得视野相等的多个电荷量。

接着，对利用由电荷量取得电路120取得的电荷量的三维运动推定方法进行说明。在此，如图6、图7所示，像素单元10以在一个透镜开口内具有三个第一电极11即第一电极11a、第一电极11b和第一电极11c、即具有作为三个子像素单元5的子像素单元5a、子像素单元5b和子像素单元5c的结构进行说明。

图10是表示本实施方式的三维运动取得装置1的处理(以下，有时也称此处理为“第一处理”)的例子的流程图。

图11是表示光源110的时间发光模式与各像素单元10的调制曝光模式的关系的示意图。

(步骤S100)

控制部131从图中未示的存储器中读出时间发光模式，并根据所读出的时间发光模式来指示光源110发光。控制部131从未图示的存储器中读出与电极控制电路32a、电极控制电路32b和电极控制电路32c各自对应的调制曝光模式，并根据所读出的对应的时间发光模式来指示电极控制电路32a、电极控制电路32b和电极控制电路32c各自产生调制信号。

控制部131控制时间发光模式和调制曝光模式的输出。控制部131例如控制时间发光模式和调制曝光模式的输出，以使得时间发光模式和调制曝光模式同步。例如，控制部131可以给光源110指示按照时间发光模式开始发光的开始时刻、按照与电极控制电路32a对应的时间发光模式开始产生调制信号的开始时刻、按照与电极控制电路32b对应的时间发光模式开始产生调制信号的开始时刻、以及按照与电极控制电路32c对应的时间发光模式开始产生调制信号的开始时刻。

(步骤S101)

光源110按照由控制部131指示的时间发光模式对被摄体发光。

图11的最上一幅图表示发光部102的时间发光模式。在此，时间发光模式的一个例子是sin波(正弦波)。在正弦波的频率高的情况下，能测定的距离分辨率变高，但能测定的距离范围变窄。另一方面，在频率低的情况下，能测定的距离分辨率变低，但能测定的距离范围扩大。频率的一个例子是1MHz以上且几百GHz以下，但不限于此。

(步骤S102)

在光源110按照由控制部131指示的时间发光模式照射被摄体的状态下，电荷量取得电路120按照由控制部131指示的调制曝光模式取得一个开口内不同的三个子像素单元的电荷量(多重调制信息)。在此，从图11上方起的第二至第四幅图中表示了由控制部131设定的三个调制曝光模式。

如图11所示，各调制曝光模式具有一定的时间区间。而且，各调制曝光模式中，曝光敏感度与时间区间的各个时刻分别相关联。电荷量取得电路120在各像素单元10取得第一调制曝光模式中的子像素单元5a的第一电荷量、第二曝光变更模式中的子像素单元5b的第二电荷量、以及第三曝光变更模式中的子像素单元5c的第三电荷量。这三个调制曝光模式具体如下所述。

模式一：第一调制曝光模式是具有与时间发光模式相同的频率、且相位与时间发光模式不同的信号。但具有偏置以使得没有负值。

模式二：第二调制曝光模式是具有与第一调制曝光模式相同的频率和偏置、且相位与第一调制曝光模式不同的信号。例如，第二调制曝光模式的相位与第一调制曝光模式的相位相差90度。此外，第二调制曝光模式也可以是具有与第一调制曝光模式相同的频率和偏置、相位与第一调制曝光模式不同、且相位与时间发光模式不同的信号。

模式三：是具有第一调制曝光模式的偏置成分的信号。

(步骤S103)

距离推定部132根据电荷量取得电路120取得的作为一个开口内不同的三个像素单元的电荷量的子像素单元5a的第一电荷量、子像素单元5b的第二电荷量和子像素单元5c的第三电荷量，推定到被摄体为止的距离。

(步骤S104)

光流推定部133根据电荷量取得电路120取得的作为一个开口内不同的三个像素单元的电荷量的子像素单元5a的第一电荷量、子像素单元5b的第二电荷量和子像素单元5c的第三电荷量，推定体现了被摄体在图像上的运动的光流。

(步骤S105)

输出部134整合距离推定部132推定的距离和光流推定部133推定的光流，并输出被摄体的三维运动信息。

接着，对步骤S103和步骤S104的处理进行详细说明。

首先，说明步骤S103的距离信息的推定方法。用下式表现光源110的时间发光模式L(t)。

在此，Δt是帧率的倒数，是表示与帧定时的时间差的相位差，N是1帧期间的发光模式的周期数(图11中，N＝12)。如前所述，发光模式的频率N为MHz至GHz的程度即可。另外，式1中，光源110的亮度标准化为0～2，然而，亮度范围当然可以是任何范围。

可假定在此光经被摄体反射的情况下，电荷量取得电路120中收到以下Ls(t)信号。

在此，θ是依赖于光源110与被摄体的距离L1和被摄体与电荷量取得电路120的距离L2的延迟量，满足以下关系。

L1+L2＝vCθ

…(式3)

其中，νc是光速299792458米/秒。在此，若光源110和电荷量取得电路120的位置几乎相等，则电荷量取得电路120与被摄体的距离L可用下式表示。

也就是说，可通过推定延迟量θ来推定到被摄体为止的距离L。

在此，控制部131将电荷量取得电路120的三个调制曝光模式s0(t)、s1(t)和s2(t)设定为下式。

在式5中，电荷量取得电路120的三个调制曝光模式标准化为0～2，但当然也可以不是此范围。

当三个调制曝光模式为式5时，电荷量取得电路120取得的三个电荷量fs0、fs1、fs2如下所示。

由此，以下关系式成立。

在此，是可由控制部131控制的参数，是已知的。因此，可通过式9推定作为被摄体的距离信息的θ。另外，在此方法中，由于不能检测出一个周期以上的相位差，所以距离的可推定范围如下所示。

由此，控制部131能够由所需的距离范围计算最佳的时间发光模式和调制曝光模式。例如，在采用1GHz的模式的情况下，检测范围达到15cm左右。另外，在采用100MHz的模式的情况下，检测范围达到150cm左右，在采用10MHz的模式的情况下，检测范围达到15m左右，在采用1MHz的模式的情况下，检测范围达到150m左右。由此，通过适当地设定波长，能够进行所需的范围的距离推定。

接着，说明在步骤S104中由光流推定部133执行的光流推定方法。

光源110的时间发光模式L(t)同式1，电荷量取得电路120的三个调制曝光模式s0(t)、s1(t)和s2(t)也同式5。

首先，说明利用光流约束式的光流推定方法。将图像上的像素坐标(x、y)在时刻t处的亮度值设为f(x、y、t)。若被摄体的亮度在帧间不变化，则以下光流约束式成立。

在此，若各像素的亮度变化在微小时间Δt内为一定，则以下关系式成立。

其中，(vx，vy)是图像上的像素坐标(x，y)处的光流。若改写此式，可求得以下关系式。

由于式13中有两个未知数vx和vy而方程式为一个，所以按现在这样无法求解。因此，在以往的利用了光流约束式的光流推定方法中，除此式以外，还通过提供光流在附近之间不大幅变化的稀疏(sparse)等某种约束条件来推定光流。因此，需要与实际不同的前提条件，成为推定精度劣化的原因。

另外，式13的右边表示图像上的亮度值f(x、y、t)的时间微分，但通常将Δt设为帧间的时间来根据时间不同的两帧来计算。这假定为各像素的亮度变化在帧间为一定。但是，此假定对于包含边缘等的被摄体不成立，所以成为光流推定结果劣化的原因。

根据以上所述，以往的采用光流约束式的光流推定方法存在以下两点问题。

问题1：在光流约束式之后，还需要某些约束条件。

问题2：假定为各像素的亮度变化在帧间为一定。

另一方面，在本实施方式的光流推定部133中，通过利用由电荷量取得电路120取得的三个电荷量，解决上述两个问题。

在此，考虑以调制曝光模式s(t)取得电荷量，则光流约束式如下所示。

此时，通过进行调制曝光，看起来像是不满足光流约束式的条件“被摄体的亮度在帧间不变化”，但其实不是那样。在式14的第一项中进行积分处理，这是因为能够假定为在该微小区间内亮度为一定。

若利用上述式15的部分积分法，则式14变形为下式。

由此，当为式5的调制曝光模式s0(t)、s1(t)和s2(t)时，在电荷量取得电路120取得的三个电荷量fs0、fs1、fs2中，以下关系式成立。

其中，

由式14、式18和式19，可导出以下关系式。

若改写，则为：

因为在该式中相对于两个未知数vx和vy，方程式也为两个，所以不需要提供某些约束条件就能推定光流。根据以上所述，本实施方式涉及的光流推定部133通过取得被摄体的三个电荷量，能够由一幅图像推定光流。另外，因为也不利用各像素的亮度变化在帧间为一定这一假定，所以能进行高精度的推定。而且，由于约束式中仅利用光流约束式而不利用其它约束式，所以能进行更准确的光流推定。

在以上说明中，说明了首先由距离推定部132推定距离，然后由光流推定部133推定光流。但是，此顺序也可以相反，或者并行处理。当然，因为该处理反复进行，所以距离推定部132和光流推定部133的处理顺序也可以相反。

如上，本实施方式的三维运动取得装置1通过由电荷量取得电路120取得在一个开口内不同的三个电荷量，能够取得高精度的三维运动信息。

在上述例子是如下结构的例子，该结构为：像素单元10在一个透镜开口内具有三个第一电极11即第一电极11a、第一电极11b和第一电极11c，也就是说，具有三个子像素单元5即子像素单元5a、子像素单元5b和子像素单元5c。

与此相对，接着，将说明如下结构的例子，该结构为：像素单元10如图3、图4所示在一个透镜开口内具有两个第一电极11即第一电极11a和第一电极11b，即，具有作为两个子像素单元5的子像素单元5a和子像素单元5b。该例子中，以时分的方式切换执行距离推定部132的处理和光流推定部133的处理。

在此，与第一处理的情况同样地，设为由距离推定部132推定距离，然后由光流推定部133推定光流来进行说明。当然，因为该处理反复进行，所以距离推定部132和光流推定部133的处理顺序也可以相反。

图12是表示取得在一个透镜开口内不同的两个电荷量的三维运动取得装置1的处理例的流程图。在图12中，与图10相同的构成要素被赋予相同的标号。

图13是表示光源110的时间发光模式、被摄体的反射光模式、各像素单元10的调制曝光模式的关系的示意图。如后所述，光源110的时间发光模式反复进行距离检出用的时间调制模式和光流检出用的时间调制模式。

(步骤S100)

控制部131从未图示的存储器中读出时间发光模式，并根据所读出的时间发光模式来指示光源110发光。控制部131从未图示的存储器中读出与电极控制电路32a和电极控制电路32b各自对应的调制曝光模式，并根据所读出的对应的时间发光模式来指示电极控制电路32a和电极控制电路32b各自产生调制信号。

控制部131控制时间发光模式和调制曝光模式的输出。控制部131例如控制时间发光模式和调制曝光模式的输出，以使得时间发光模式和调制曝光模式同步。例如，控制部131可以给光源110指示按照时间发光模式开始发光的开始时刻、按照与电极控制电路32a对应的时间发光模式开始产生调制信号的开始时刻、以及按照与电极控制电路32b对应的时间发光模式开始产生调制信号的开始时刻。

(步骤S101)

光源110按照由控制部131指示的距离检出用的时间发光模式对被摄体发光。图13的最上一幅图表示此时光源110的时间发光模式。在此，时间发光模式是矩形波，其时间宽度为Tp(秒)。光源110照射的光在被摄体上反射，具有延迟θ后返回电荷量取得电路120，该延迟θ依赖于光源110与被摄体的距离L1和被摄体与电荷量取得电路120的距离L2。在此，返回电荷量取得电路120的反射光不仅受光源110影响，还受到外光成分的影响。图13中从上方起的第二幅图示意性地表示这样的反射光成分。在此，外光成分设为一定而与曝光时间无关。

(步骤S107)

在光源110按照由控制部131指示的时间发光模式照射被摄体的状态下，电荷量取得电路120按照由控制部131指示的调制曝光模式取得一个开口内不同的两个子像素单元的电荷量(多重调制信息)。在此，与各FD对应的调制曝光模式以时分的方式切换距离检出用的调制曝光模式(FD1中s11(t)、FD2中s21(t))和光流检出用的调制曝光模式(FD1中s12(t)、FD2中s22(t))。从图13上方起的第三至第四幅图中表示控制部131所设定的两个调制曝光模式。

如图13所示，各调制曝光模式具有一定的时间区间。而且，各调制曝光模式中，曝光敏感度与时间区间的各时刻分别相关联。电荷量取得电路120在各像素单元10取得第一调制曝光模式中的子像素单元5a的第一电荷量和第二曝光变更模式中的子像素单元5b的第二电荷量。在此，前半部分进行距离检出用的调制曝光，后半部分进行光流检出用的调制曝光。首先，包含在子像素单元5a中的FD1的距离检出用调制模式s11(t)的调制曝光在与光源110发光时相同的定时进行曝光，并在一定时间后停止曝光(图13)。此时的电荷量为sf11。进一步，在不受从光源110出射的光的影响的时间，以相同的曝光时间进行第二次曝光。此时的电荷量为sf12。同样的，包含在子像素单元5b中的FD2的TOF用调制模式s21(t)的调制曝光首先在与光源110停止发光时相同的定时进行曝光，在一定时间后停止曝光。此时的电荷量为sf21。进一步，在不受从光源110出射的光的影响的时间，以相同的曝光时间进行第二次曝光。此时的电荷量为sf22。FD2的第二次曝光也可以与FD1的第二次曝光时间相等。

在此，FD1、FD2在第一次曝光中都存在从光源110出射的光的影响，但在第二次曝光中不存在从光源110出射的光的影响。因此，通过求得这两个电荷量的差量，能够如下所示计算去除了环境光影响的发光模式成分fsp1、fsp2。

fsp1＝sf11-sf12，fsp2＝sf21-sf22.

(式22)

当然，也可以在sf11、sf21之前取得不受光源110的发光模式影响的sf12、sf22。

(步骤S108)

距离推定部132由电荷量取得电路120取得的一个开口内不同的两个子像素单元即子像素单元5a和子像素单元5b的电荷量，推定到被摄体为止的距离。如前所述，若光源110和电荷量取得电路120的位置几乎相等，则电荷量取得电路120与被摄体的距离L可用下式表示。

如以上所述，本实施方式的距离推定部132通过由电荷量取得电路120分别取得在一个透镜开口内不同的两个子像素单元即子像素单元5a和子像素单元5b的电荷量，能够推定到被摄体为止的距离。

(步骤S109)

接着，光流推定部133由电荷量取得电路120取得的一个开口内不同的两个子像素单元即子像素单元5a和子像素单元5b的电荷量，推定表现了被摄体在图像上的运动的光流。如前所述，由于式13中有两个未知数vx和vy而方程式仅有一个，所以这样无法求解。因此，在以往的利用光流约束式的光流推定方法中，除此式以外，还需要通过提供例如光流在附近之间不大幅变化的稀疏等某些约束条件来推定光流。因此，需要与实际不同的前提条件，成为推定精度劣化的原因。

在此，考虑以调制曝光模式s(t)取得电荷量，则光流约束式为式12。

进一步，

在[0、Δt]时为一定，则下式成立。

由此，如果能够取得由信号s12(t)和s22(t)调制曝光后的子像素单元5a的电荷量fs1(t)和子像素单元5b的电荷量fs2(t)，则式13可变形为如下所示。

因为在该式中相对于两个未知数vx和vy，方程式也为两个，所以不需要提供某些约束条件就能推定光流。根据以上所述，本实施方式的光流推定部133通过取得有关被摄体的两个电荷量即子像素单元5a的电荷量和子像素单元5b的电荷量，能够仅利用两幅图像和光流约束式而不利用其它约束式来进行更准确的光流推定。

(步骤S105)

输出部134整合距离推定部132推定的距离和光流推定部133推定的光流，并输出被摄体的三维运动信息。

如上所述，本实施方式的三维运动取得装置1通过由电荷量取得电路120取得在一个开口内不同的两个电荷量，能够取得高精度的三维运动信息。

当然，如已在图8、图9中说明过的，不同的两个电荷量可以不在一个开口内而在相邻的开口内。

(实施方式2)

图14是表示本公开的一个实施方式涉及的三维运动取得装置2的结构的框图。该图中，对与图1相同的构成要素赋予相同的标号，并省略说明。如该图所示，本实施方式的三维运动取得装置2包括本体部3和发光部4。

本体部3构成为包括电荷量取得电路120、处理器130和发送部107。

发光部4构成为包括光源110和接收部108。

发送部107具有以无线或有线的方式向接收部108发送由处理器130输出的信号的功能。更具体而言，具有向接收部108发送用于使光源110按照由控制部131生成的发光模式发光的发光控制信号的功能。作为一个例子，发送部107由信息发送电路来实现，该信息发送电路包括具有无线通信功能的通信用LSI和信号发送用天线。

接收部108具有接收从发送部107以无线或有线方式发送的信号，并将所接收的信号输出给光源110的功能。更具体而言，具有接收从发送部107发送的发光控制信号并输出给光源110的功能。作为一个例子，接收部108由信息接收电路来实现，该信息接收电路包括具有无线通信功能的通信用LSI和信号接收用天线。此外，在此，说明了接收部108是光源110的外部模块，但光源110也可以包含接收部108，即，光源110也可以具有接收部108的功能。

图15是表示本实施方式的三维运动取得装置2的处理例的流程图。在该图中，对图10相同的构成要素赋予相同的标号，并省略说明。该处理为对于图10记载的第一处理附加了步骤S110的处理和步骤S111的处理。在此，对步骤S110的处理和步骤S111的处理进行说明。

(步骤S110)

当步骤S100的处理结束时，发送部107将由控制部131设定的时间发光模式发送给接收部108。

(步骤S111)

接收部108接收从发送部107发送的时间发光模式，并输出给光源110。

如上所述，本实施方式涉及的三维运动取得装置2与实施方式1涉及的三维运动取得装置1同样地，能够取得高精度的三维运动信息。

(补充)

三维运动取得装置1、2的各构成要素既可以由IC(集成电路)、LSI(大规模集成电路)等半导体器件个别地单芯片化，也可以单芯片化为包含一部分或全部的构成要素。另外，集成电路化的方法不限于LSI，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后能够编程的FPGA(现场可编程门阵列)、或者可重构LSI内部的电路单元的连接和/或设定的可重构处理器。进一步，如果因半导体技术进步或派生的其它技术出现替换LSI的集成电路化的技术，则可以采用此技术进行功能模块的集成化。存在生物技术的应用等的可能性。

另外，上述的各种处理(例如，图10、12、16所示的步骤等)的全部或者一部分既可以利用电路等的硬件来实现，也可以采用软件来实现。此外，由软件实现的处理通过三维运动取得装置中所包含的处理器执行被存储在存储器中的控制程序来实现。另外，也可以把此控制程序记录在记录介质中，并使之得以发布和/或流通。例如，通过把发布的控制程序安装在三维运动取得装置中，并使该三维运动取得装置的处理加以执行，能够在该三维运动取得装置中进行各种处理(例如，图10、12、16所示的步骤等)。

另外，通过任意组合上述的实施方式中所示的构成要素和功能而实现的方式也包括在本公开的范围内。

产业上的可利用性

本公开能够在取得被摄体的距离信息和运动信息这两者的装置中广泛利用

标号说明

1、2 三维运动取得装置

3 本体部

4 发光部

5、5a、5b、5c 子像素单元

10 像素单元

11、11a、11b、11c 第一电极

12 第二电极

13、13a、13b 光电转换部

15 光电转换部件

20 半导体基板

32、32a、32b、32c 电极控制电路

107 发送部

108 接收部

110 光源

120 电荷量取得电路

130 处理器

131 控制器

132 距离推定部

133 光流推定部

134 输出部