纵深取得装置、纵深取得方法以及程序与流程

本公开涉及取得到被摄体的距离作为纵深的纵深取得装置等。

背景技术：

过去，提出测定到被摄体的距离的测距装置(例如参考专利文献1)。该测距装置具备光源和摄像部。光源对被摄体照射光。摄像部对在该被摄体反射的反射光摄像。然后，测距装置通过将以该摄像得到的图像的各像素值变换成到被摄体的距离，来测定到该被摄体的距离。即，测距装置取得由摄像部得到的图像的纵深。

现有技术文献

专利文献

专利文献1：jp特开2011-64498号公报

技术实现要素：

发明要解决的课题

但在上述专利文献1的测距装置中，有不能正确取得纵深的课题。

为此，本公开提供能正确取得到被摄体的距离即纵深的纵深取得装置。

用于解决课题的手段

本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，从所述可见光图像检测包括沿着与所述可见光图像的变动(動き)的方向垂直的方向的边缘在内的区域即边缘区域，对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的cd-rom等记录介质实现，也可以用系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

发明的效果

本公开的纵深取得装置能正确地取得到被摄体的距离即纵深。本公开的一个方案中的进一步的优点以及效果会从说明书以及附图得以明确。相关的优点以及/或者效果通过几个实施方式、和记载于说明书以及附图的特征来分别提供，但为了得到1个或其以上的相同特征未必需要提供全部。

附图说明

图1是表示实施方式中的纵深取得装置的硬件结构的框图。

图2是表示实施方式中的固体摄像元件所具有的像素阵列的示意图。

图3是表示实施方式中的光源的发光元件的发光定时与固体摄像元件的第1像素的曝光定时的关系的定时图。

图4是表示实施方式中的纵深取得装置的功能结构的一例的框图。

图5是表示bw图像以及ir图像的一例的图。

图6是表示实施方式中的纵深取得装置的整体的处理动作的流程图。

图7是表示实施方式中的边界区域检测部的处理动作的一例的流程图。

图8是用于说明实施方式中的边缘检测的图。

图9是表示实施方式中的边界区域检测部的处理动作的其他示例的流程图。

图10是表示实施方式的变形例中的纵深取得装置的功能结构的一例的框图。

图11a是表示实施方式中的纵深取得装置的仿真结果的一例的图。

图11b是表示实施方式中的纵深取得装置的仿真结果的其他示例的图。

具体实施方式

(成为本公开的基础的见解)

本发明的发明者关于“背景技术”栏中记载的专利文献1的测距装置，发现产生以下的问题。

专利文献1的测距装置如上述那样从光源对被摄体照射光，对被照射了光的被摄体进行摄像，由此取得图像，并测定该图像的纵深。在该纵深的测定中使用tof(timeofflight，飞行时间)。在这样的测距装置中，为了提升测距精度而进行相互不同的摄像条件的摄像。即，测距装置按照给定的摄像条件进行摄像，按照其摄像结果来设定与该给定的摄像条件不同的摄像条件。然后，测距装置按照该设定的摄像条件再次进行摄像。

但在对光的反射率相互不同的2个物体的边界进行摄像时，在上述专利文献1的测距装置中，有即使变更摄像条件也难以正确测定该边界周边的纵深的情况。

为了解决这样的问题，本公开的一个方案所涉及的纵深取得装置具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，从所述可见光图像检测包括沿着与所述可见光图像的变动的方向垂直的方向的边缘在内的区域即边缘区域，对与所述边缘区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。另外，所谓与边缘区域对应的纵深图像内的区域，是指位于与可见光图像内的边缘区域相同位置且具有与该边缘区域相同形状以及大小的纵深图像内的区域。

例如，在对红外光的反射率相互不同的2个物体的边界摄像时，若该摄像中所用的摄像机变动，则在基于tof的测定中，有该边界周边的测定对象位置中的反射率大幅变化的情况。在这样的情况下，在该测定对象位置得到噪声，取得表示不正确的纵深的纵深图像。

但在上述一个方案所涉及的纵深取得装置中，从可见光图像检测包含沿着与该可见光图像的变动的方向垂直的方向的边缘的区域，作为边缘区域。该边缘区域中包括的边缘例如相当于上述的2个物体的边界。即，边缘区域是在基于tof的测定中映出红外光的反射率大幅变化的可能性高的上述的边界周边的区域。然后，将与这样的边缘区域对应的纵深图像内的区域设为补正对象区域，通过补正该补正对象区域的纵深来减低噪声，能正确取得该边界周边的纵深。

在此，作为在实质相同的视点以及时刻摄像到的实质相同的场景的图像的一例，是用相同摄像元件的不同像素摄像的图像。这样的图像与用拜尔(bayer)排列的滤色镜摄像到的彩色图像的红、绿以及蓝的各通道图像同样，各图像的视角、视点以及摄像时刻大致相等。即，在实质相同的视点以及时刻摄像到的实质相同的场景的图像在被摄像到的各图像中被摄体的图像上的位置不会相差2像素以上。例如在场景中存在具有可见光和红外分量的点光源、可见光图像中仅高亮度地摄像1像素的情况下，在红外光图像中，也会在比与可见光图像中摄像的像素位置对应的像素的2像素更靠近地摄像点光源。另外，所谓实质相同的时刻的摄像，表示摄像时刻的差以1帧以下相等。

另外，上述的边缘区域相当于亮暗边界区域。即，处理器从所述可见光图像检测包含边界的区域即亮暗边界区域，所述边界是具有相互不同亮度的2个区域的边界且沿着与所述可见光图像的变动的方向垂直的方向。在该情况下，处理器对与所述亮暗边界区域对应的所述纵深图像内的区域即补正对象区域的纵深进行补正。

另外也可以，在所述边缘区域的检测中，检测具有第1阈值以上的强度的所述边缘，所述边缘区域是从具有所述第1阈值以上的强度的所述边缘开始到与所述可见光图像的变动相应的距离为止的区域。

由此，能适当地检测边缘区域。其结果，能在纵深图像适当地检测易于产生噪声的区域。

另外也可以，在所述边缘区域的检测中，将所述可见光图像与过去的可见光图像的像素值的差分为第2阈值以上的区域检测为所述边缘区域。

由此，能简单地检测边缘区域。

另外也可以，在所述补正对象区域的补正中，使用在所述纵深图像内位于所述补正对象区域的周围的区域即周围区域的纵深来补正所述补正对象区域的纵深。例如所述周围区域是与所述补正对象区域的下侧相接的区域，且在所述补正对象区域的纵深的补正中，可以将所述补正对象区域的纵深置换成所述周围区域的纵深。

周围区域的纵深与补正对象区域的正确的纵深近似的可能性高。因此，能通过使用这样的周围区域的纵深来正确地对补正对象区域的纵深进行补正。

另外也可以，在所述补正对象区域的纵深的补正中，通过将所述可见光图像用作参考图像的对所述纵深图像的滤波来补正所述补正对象区域的纵深。

例如可以在滤波中使用导引滤波器(guidedfilter)的扩展滤波器。由此，能正确地对补正对象区域的纵深进行补正。

另外也可以，在所述补正对象区域的纵深的补正中，通过将所述红外光图像、所述可见光图像、所述纵深图像以及所述边缘区域输入到学习模型来补正所述纵深图像内的所述补正对象区域的纵深。

由此，若使学习模型预先学习，以使针对纵深图像、红外光图像、可见光图像以及边缘区域的输入而输出正解的补正后的纵深图像，则不检测边缘区域，就能简单地取得适当的纵深图像。

另外也可以，本公开的其他方案所涉及的纵深取得装置也可具备存储器和处理器，所述处理器，取得从光源照射并由被摄体反射的红外光的强度，所述红外光的强度通过摄像元件中包括的多个像素分别接收所述红外光的摄像而被测量，并被保存在所述存储器，对所述摄像元件中包括的多个像素分别基于在该像素中接收到的所述红外光的强度算出到所述被摄体的距离作为纵深，从而生成纵深图像，取得可见光图像，所述可见光图像通过与基于由在所述摄像元件中包括的多个像素分别接收到的所述红外光的强度而形成的红外光图像实质相同的场景的基于可见光的摄像且与所述红外光图像实质相同的视点以及时刻的摄像而生成，并被保持在所述存储器，通过将所述纵深图像、所述红外光图像以及所述可见光图像输入到学习模型来补正所述纵深图像的纵深。

由此，若使学习模型预先学习，以使针对纵深图像、红外光图像以及可见光图像的输入而输出正解的补正后的纵深图像，则不检测边缘区域就能简单地取得适当的纵深图像。

另外，这些总括或具体的方案可以用系统、方法、集成电路、计算机程序或计算机可读的cd-rom等记录介质实现，也可以用系统、方法、集成电路、计算机程序或记录介质的任意的组合实现。另外，记录介质可以是非暂时的记录介质。

以下参考附图来具体说明实施方式。

另外，以下说明的实施方式均表示总括或具体的示例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不是限定本公开的主旨。另外，关于以下的实施方式中的构成要素当中未记载于表示最上位概念的独立权利要求的构成要素，说明为任意的构成要素。

另外，各图是示意图，未必严密地被图示。另外，在各图中，对相同构成构件标注相同附图标记。

(实施方式)

[硬件结构]

图1是表示实施方式所涉及的纵深取得装置1的硬件结构的框图。本实施方式中的纵深取得装置1具有能通过对实质相同的场景且在实质相同的视点以及时刻的摄像取得基于红外光(或近红外线光)的图像和基于可见光的图像的硬件结构。另外，所谓实质相同，是指与能起到本公开中的效果的程度相同。

如图1所示那样，纵深取得装置1包含光源10、固体摄像元件20、处理电路30、扩散板50、镜头60和带通滤波器70而构成。

光源10照射照射光。更具体地，光源10在由处理电路30中生成的发光信号表示的定时发出对被摄体照射的照射光。

光源10例如包含电容器、驱动电路以及发光元件而构成，通过用蓄积于电容器的电能驱动发光元件而发光。发光元件作为一例而通过激光二极管、发光二极管等实现。另外，光源10可以是包含1种类的发光元件的结构，也可以是包含与目的相应的多种类的发光元件的结构。

以下，发光元件例如是发出近红外线光的激光二极管、或发出近红外线光的发光二极管等。但光源10所照射的照射光并不需要限定于近红外线光。光源10所照射的照射光例如也可以是近红外线光以外的频带的红外光(也称作红外线光)。以下在本实施方式中，将光源10所照射的照射光说明为红外光，但该红外光可以是近红外线光，也可以是近红外线光以外的频带的红外光。

固体摄像元件20对被摄体摄像并输出表示曝光量的摄像信号。更具体地，固体摄像元件20在由处理电路30中生成的曝光信号表示的定时进行曝光，输出表示曝光量的摄像信号。

固体摄像元件20具有将使用照射光由被摄体反射了的反射光来进行摄像的第1像素、和对被摄体摄像的第2像素配置为阵列状而成的像素阵列。固体摄像元件20例如可以根据需要具有防护玻璃、ad转换器等逻辑功能。

以下，与照射光同样，反射光为红外光来进行说明，但反射光只要是照射光由被摄体反射了的光，就不需要限定于红外光。

图2是表示固体摄像元件20所具有的像素阵列2的示意图。

如图2所示那样，像素阵列2配置成阵列状而构成，使得使用照射光由被摄体反射了的反射光来进行摄像的第1像素21(ir像素)和对被摄体摄像的第2像素22(bw像素)以列为单位交替地排列。

另外，在图2中，在像素阵列2中配置成第2像素22和第1像素21排列成在行方向上相邻，并在行方向上排列为条带状，但并不限定于此，也可以每隔多行(作为一例是每隔2行)而配置。即，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行可以每隔m行(m是自然数)交替配置。进而，第2像素22排列成在行方向上相邻的第1行和第1像素21排列成在行方向上相邻的第2行也可隔开不同的行(交替重复第1行为n行、第2行为l行(n和l是不同的自然数))配置。

第1像素21例如用对作为反射光的红外光有灵敏度的红外光像素实现。第2像素22例如用对可见光有灵敏度的可见光像素实现。

红外光像素例如包含仅使红外光透射的光学滤波器(也称作ir滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件生成的电荷的蓄积部等而构成。因此，由从像素阵列2中包括的多个红外光像素(即第1像素21)输出的摄像信号表现表示红外光的亮度的图像。以下将该红外光的图像也称作ir图像或红外光图像。

另外，可见光像素例如包含仅使可见光透射的光学滤波器(也称作bw滤波器)、微透镜、作为光电变换部的受光元件以及蓄积由受光元件变换的电荷的蓄积部等而构成。因此，可见光像素即第2像素22输出表示亮度以及色差的摄像信号。即，通过从像素阵列2中包括的多个第2像素22输出的摄像信号来表现表示可见光的亮度以及色差的彩色图像。另外，可见光像素的光学滤波器可以使可见光和红外光双方透射，也可以仅使可见光当中红(r)、绿(g)或蓝(b)等特定的波段的光透射。

另外，可见光像素可以仅检测可见光的亮度。在该情况下，可见光像素即第2像素22输出表示亮度的摄像信号。因此，由从像素阵列2中包括的多个第2像素22输出的摄像信号表现表示可见光的亮度的黑白的图像、换言之单色的图像。以下将该单色的图像也称作bw图像。另外，将上述的彩色图像以及bw图像也总称作可见光图像。

再次回到图1，继续纵深取得装置1的说明。

处理电路30使用由固体摄像元件20输出的摄像信号来运算被摄体所涉及的被摄体信息。

处理电路30例如包含微型计算机等运算处理装置。微型计算机包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序，来生成发光信号以及曝光信号。另外，处理电路30可以使用fpga或isp等，可以包含1个硬件，也可以包含多个硬件。

处理电路30例如通过使用来自固体摄像元件20的第1像素21的摄像信号进行的tof测距方式来算出到被摄体的距离。

以下参考附图来说明处理电路30所进行的基于tof测距方式的到被摄体的距离的算出。

图3是处理电路30使用tof测距方式进行到被摄体的距离的算出时的光源10的发光元件的发光定时与固体摄像元件20的第1像素21的曝光定时的关系的定时图。

在图3中，tp是光源10的发光元件发出照射光的发光期间，td是从光源10的发光元件发出照射光起、到该照射光由被摄体反射的反射光返回固体摄像元件20为止的延迟时间。并且，第1曝光期间成为与光源10发出照射光的发光期间相同的定时，第2曝光期间成为从第1曝光期间的结束时间点到经过发光期间tp为止的定时。

在图3中，q1表示第1曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量，q2表示第2曝光期间内中的反射光所引起的固体摄像元件20的第1像素21中的曝光量的总量。

通过在图3所示的定时进行光源10的发光元件所进行的照射光的发光和固体摄像元件20的第1像素21所进行的曝光，将光速设为c，则到被摄体的距离d能用以下的(式1)示出。

d＝c×tp/2×q2/(q1+q2)…(式1)

为此，处理电路30通过利用(式1)，能使用来自固体摄像元件20的第1像素21的摄像信号来算出到被摄体的距离。

另外，固体摄像元件20的多个第1像素21可以在第1曝光期间以及第2曝光期间的结束后仅在第3曝光期间tp曝光。多个第1像素21能根据在该第3曝光期间tp得到的曝光量来检测反射光以外的噪声。即，处理电路30通过在上述(式1)中分别从第1曝光期间的曝光量q1以及第2曝光期间的曝光量q2删除噪声，能更正确地算出到被摄体的距离d。

再次回到图1，继续纵深取得装置1的说明。

处理电路30例如可以使用来自固体摄像元件20的第2像素22的摄像信号来进行被摄体的探测、以及到被摄体的距离的算出。

即，处理电路30可以基于由固体摄像元件20的多个第2像素22摄像的可见光图像来进行被摄体的探测以及到被摄体的距离的算出。在此，被摄体的探测例如可以用被摄体的奇点的边缘检测以图案识别进行形状的判别，从而实现，也可以利用事前进行了学习的学习模型通过深度学习(deeplearning)等处理实现。另外，到被摄体的距离的算出可以使用世界坐标变换进行。当然，也可以不仅利用可见光图像，还利用由第1像素21摄像的红外光的亮度、距离信息，通过多模态的学习处理来实现被摄体的探测。

处理电路30生成表示进行发光的定时的发光信号和表示进行曝光的定时的曝光信号。然后，处理电路30将生成的发光信号向光源10输出，将生成的曝光信号向固体摄像元件20输出。

处理电路30例如可以通过生成并输出发光信号，使得以给定的周期使光源10发光，生成并输出曝光信号，使得以给定的周期使固体摄像元件20曝光，从而使纵深取得装置1实现基于给定的帧频的连续摄像。另外，处理电路30例如包含处理器(微处理器)、存储器等，通过由处理器执行存储于存储器的驱动程序来生成发光信号以及曝光信号。

扩散板50调整照射光的强度分布和角度。另外，在强度分布的调整中，扩散板50使来自光源10的照射光的强度分布一样。另外，在图1所示的示例中，纵深取得装置1具备扩散板50，但也可以不具备该扩散板50。

镜头60是使从纵深取得装置1的外部进入的光在固体摄像元件20的像素阵列2的表面聚光的光学透镜。

带通滤波器70是使作为反射光的红外光、和可见光透射的光学滤波器。另外，在图1所示的示例中，纵深取得装置1具备带通滤波器70，但也可以不具备该带通滤波器70。

上述结构的纵深取得装置1被搭载于运输设备而利用。例如纵深取得装置1搭载于在路面行驶的车辆而利用。另外，搭载纵深取得装置1的运输设备不一定需要限定于车辆。纵深取得装置1例如也可以搭载于摩托车、船、飞机等这样的车辆以外的运输设备来利用。

[纵深取得装置的功能结构]

本实施方式中的纵深取得装置1用图1所示的硬件结构，通过对实质相同的场景且实质相同的视点以及时刻的摄像来取得ir图像和bw图像。在此，ir图像基于在固体摄像元件20中包括的多个第1像素21分别接收的红外光的强度而形成。因此，纵深取得装置1通过ir图像的摄像来取得多个第1像素21各自中的红外光的强度。纵深取得装置1基于这些第1像素21的红外光的强度来取得将在该ir图像映出的到被摄体的距离作为纵深表示的纵深图像。然后，纵深取得装置1检测bw图像内的边缘区域，补正与该边缘区域对应的纵深图像内的区域的纵深。

另外，在本公开中，所谓与第1图像内的第1区域对应的第2图像内的第2区域，是位于与第1图像内的第1区域相同的位置且具有与该第1区域相同形状以及大小的第2图像内的区域。该第1图像以及第2图像分别是任意的图像，第1区域以及第2区域也分别是任意的区域。

另外，本公开中的边缘是亮度相互不同的2个区域的边界。该2个区域是亮的区域和暗的区域。另外，亮的区域中的平均亮度比暗的区域中的平均亮度高。因此，本公开中的纵深取得装置1例如将包含bw图像等可见光图像内中的亮的区域与暗的区域的边界的区域即亮暗边界区域检测为上述的边缘区域。

图4是表示纵深取得装置1的功能结构的一例的框图。

纵深取得装置1具备光源101、ir摄像机102、bw摄像机103、处理器110a和存储器200。另外，本实施方式中的纵深取得装置1具备光源101、ir摄像机102以及bw摄像机103，但也可以不具备这些构成要素而仅具备处理器110a以及存储器200。

光源101可以包含图1所示的光源10以及扩散板50，通过进行发光来对被摄体照射红外光。

ir摄像机102可以称作红外光摄像机，可以包含图1所示的固体摄像元件20的多个第1像素21、镜头60以及带通滤波器70。这样的ir摄像机102通过与光源101对被摄体照射红外光的定时相应地进行包含该被摄体的场景的基于红外光的摄像，来取得ir图像。另外，ir摄像机102通过ir图像的摄像来测量红外光的强度。即，ir摄像机102具有固体摄像元件20，通过进行该固体摄像元件20中包括的多个第1像素21分别接收从光源101照射并由被摄体反射的红外光的摄像，来对该红外光的强度进行测量。

bw摄像机103可以称作可见光摄像机，可以包含图1所示的固体摄像元件20的多个第2像素22、镜头60以及带通滤波器70。这样的bw摄像机103通过进行与ir图像实质相同的场景的基于可见光的摄像且在与该ir图像实质相同的视点以及相同时刻的摄像，来取得可见光图像(具体是bw图像)。即，bw摄像机103通过进行与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的ir图像实质相同的场景的基于可见光的摄像且与该ir图像实质相同的视点以及时刻的摄像，来生成bw图像。

存储器200是用于存储通过ir摄像机102所进行的摄像得到的ir图像和通过bw摄像机103所进行的摄像得到的bw图像的记录介质。另外，ir图像如上述那样，基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成。因此，该ir图像按每个像素示出红外光的强度。即，存储器200能说是存储红外光的强度。另外，这样的存储器200具体地可以是rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)或ssd(solidstatedrive，固态硬盘)等，可以是非易失性或易失性。另外，存储器200可以是硬盘。

处理器110a从存储器200取得ir图像以及bw图像，从ir图像算出纵深图像，基于ir图像以及bw图像来检测bw图像内的亮暗边界区域。然后，处理器110a补正与该亮暗边界区域对应的纵深图像内的区域的纵深。

另外，bw图像的亮暗边界区域是包含亮的区域与暗的区域的边界且沿着与bw图像的变动的方向垂直的方向的边界的区域。在与该亮暗边界区域对应的纵深图像内的区域中，有示出不适当的纵深的可能性。

其理由如以下那样。bw图像的亮暗边界区域中的亮度由于该bw图像的变动而在短时间期间大幅变化。即，在短时间期间，在该亮暗边界区域映出的物体替换成与该物体相比光的反射率较大不同的其他物体。另外，bw图像的变动例如通过bw摄像机103的变动而产生，在ir摄像机102和bw摄像机103一起变动的情况下，例如在纵深取得装置1搭载于车辆的情况下，bw图像的变动和ir图像的变动相等。因此，在ir图像中也产生与bw图像同样的事象。即，在与亮暗边界区域对应的ir图像内的区域中映出的物体在短时间期间替换成与该物体相比红外光的反射率大幅不同的其他物体。其结果，通过利用与该亮暗边界区域对应的红外光的强度的tof而测定的纵深变得不正确。即，通过这样的测定得到的纵深在纵深图像中作为噪声而出现。

如此地，纵深图像内中出现噪声的区域与bw图像内的包含上述边界的区域对应。因此，通过检测包含这样的边界的区域即亮暗边界区域，能在纵深图像中适当地找到要补正的区域。本实施方式中的纵深取得装置1对纵深图像内的该要补正的区域、即作为与亮暗边界区域对应的区域的补正对象区域的纵深进行补正。

这样的处理器110a具备发光控制部113、ir取得部114、bw取得部115、纵深算出部111a、边界区域检测部112和纵深补正部111b。

发光控制部113控制光源101。即，发光控制部113通过将上述的发光信号输出到光源101来使该光源101发光。由此，从光源101对被摄体照射红外光，由该被摄体反射的光即反射光入射到ir摄像机102。

ir取得部114从ir摄像机102经由存储器20取得ir图像。在此，ir图像的各像素将在该像素的位置接收到的红外光的强度作为像素值(具体是亮度)来表示。因此，ir取得部114通过取得ir图像来取得红外光的强度。即，ir取得部114取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中包括的多个第1像素21分别接收该红外光的摄像而被测量，并被保存于存储器200。

bw取得部115从bw摄像机103经由存储器200取得bw图像。即，bw取得部115取得bw图像，其中该bw图像通过与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的ir图像实质相同的场景的基于可见光的摄像且与该ir图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。

纵深算出部111a通过对固体摄像元件20中所含的多个第1像素21分别基于在该第1像素2接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。

边界区域检测部112从bw图像检测亮暗边界区域，该亮暗边界区域包括亮的区域与暗的区域的边界且沿着与bw图像的变动的方向垂直的方向的边界。

纵深补正部111b对与该亮暗边界区域对应的纵深图像内的区域即补正对象区域的纵深进行补正。

例如在对对红外光的反射率相互不同的2个物体的边界摄像时，若该摄像中所用的ir摄像机102变动，则在基于tof的测定中，有该边界周边的测定对象位置中的反射率大幅变化的情况。在这样的情况下，在该测定对象位置中得到噪声，取得表示不正确的纵深的纵深图像。

但在本实施方式中的纵深取得装置1中，如上述那样，从bw图像，将包含亮的区域与暗的区域的边界且沿着与该可见光图像的变动的方向垂直的方向的边界的区域检测为亮暗边界区域。该亮暗边界区域是在基于tof的测定中映出红外光的反射率大幅变化的可能性高的上述的边界周边的区域。并且，通过将与这样的亮暗边界区域对应的纵深图像内的区域设为补正对象区域，对该补正对象区域的纵深进行补正，能减低噪声，正确取得该边界周边的纵深。

因此，即使对红外光的反射率相互不同的2个物体的边界沿着与图像的变动的方向垂直的方向，这样的本实施方式中的纵深取得装置1也能正确取得到这些物体的边界周边的距离即纵深。

[各图像的一例]

图5表示bw图像以及ir图像的一例。

例如，在车辆在路面上行驶时，搭载于该车辆的纵深取得装置1的ir摄像机102以及bw摄像机103分别在实质相同的时刻进行摄像。这时，ir摄像机102以及bw摄像机103分别在相互不同的3个定时进行曝光。由此，通过ir摄像机102的摄像生成3张ir图像，通过bw摄像机103的摄像生成3张bw图像。

在通过ir摄像机102的摄像生成且由ir取得部114取得的ir图像中，例如如图5的(a)～(c)所示那样映出路面和其周围的树木等。

另外，在通过bw摄像机103的摄像生成且由bw取得部115取得的bw图像中，也如图5的(d)～(f)所示那样，映出与图5的(a)～(c)所示的ir图像实质相同的场景。另外，该图5的(d)～(f)所示的bw图像是通过与图5的(a)～(c)所示的ir图像的摄像实质相同的视点以及相同时刻的摄像得到的图像。因此，在图5的(a)～(c)所示的ir图像和图5的(d)～(f)所示的bw图像中，在相互对应的区域中映出相同物体。另外，所谓相互对应的区域，是各个图像内的位置、大小以及形状相同的区域。

在此，在bw图像中，树木的树叶的像的亮度低，背景的天空的像的亮度高。因此，包含树叶的像与天空的像的边界当中沿着与图像的变动的方向垂直的方向的边界的区域相当于亮暗边界区域。在这样的与亮暗边界区域对应的ir图像内的区域中，由于能得到不适当的红外光的强度，因而处于图像变得模糊的倾向。另外，通过这样的不适当的红外光的强度算出的纵深的可靠性也低。本实施方式中的纵深补正部111b通过补正该纵深来提高纵深的可靠性。

[处理流程]

图6是表示本实施方式中的纵深取得装置1的整体的处理动作的流程图。

(步骤s110)

首先，bw摄像机103通过进行基于可见光的摄像来生成bw图像。然后，bw取得部115经由存储器200取得该bw图像。

(步骤s120)

接下来，ir摄像机102通过进行基于红外光的摄像来测量该红外光的强度。然后，ir取得部114经由存储器200取得该红外光的强度。在此，取得的红外光的强度是在固体摄像元件20的多个第1像素21分别接收到的红外光的强度。因此，ir取得部114通过取得这些红外光的强度，来取得基于这些红外光的强度而形成的ir图像。

具体地，从存储器200取得的红外光的强度在从光源101照射并由被摄体反射的红外光被固体摄像元件20接收时，包含通过在相互不同的至少3次定时的固体摄像元件20的曝光而测量的至少3个强度。例如红外光的强度包含如图3所示那样通过第1曝光期间、第2曝光期间以及第3曝光期间测量的3个强度。例如，1帧的ir图像中包括的各像素值作为通过在该至少3次定时的曝光而测量的红外光的强度的累积值来表示。

(步骤s130)

接下来，边界区域检测部112从步骤s110中取得的bw图像检测亮暗边界区域。然后，边界区域检测部112输出对检测到的亮暗边界区域内的各像素示出1、对除此以外的区域内的各像素示出0的2值的掩模图像。

(步骤s140)

接下来，纵深算出部111a基于步骤s120中取得的红外光的强度来算出纵深。即，纵深算出部111a通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素2接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。具体地，纵深算出部111a通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素21测量的上述至少3个强度算出纵深，来生成纵深图像。例如纵深算出部111a按照tof测距方式，使用上述的(式1)来算出纵深。

(步骤s150)

接下来，纵深补正部111b对与亮暗边界区域对应的纵深图像内的区域即补正对象区域的纵深进行补正。

具体地，纵深补正部111b取得bw图像、纵深图像以及掩模图像，通过纵深图像当中掩模图像来对示出为1的区域中的纵深(即纵深图像中的像素值)进行补正。该纵深的补正例如通过将bw图像作为引导图像而利用的导引滤波器(guidedfilter)的扩展滤波器来进行。该扩展滤波器在非专利文献(jiangbolu，keyangshi，dongbomin，lianglin，andminhn.do，“cross-basedlocalmultipointfiltering”，2012ieeeconferenceoncomputervisionandpatternrecognition)中公开。或者，纵深的补正还能通过在非专利文献(dongbomin，sunghwanchoi，jiangbolu，bumsubham，kwanghoonsohn，andminhn.do，“fastglobalimagesmoothingbasedonweightedleastsquares”，ieeetransactionsonimageprocessing，vol.23，no.12，december2014)中公开的方法实现。

如此地，本实施方式中的纵深补正部111b通过将bw图像用作引导图像或参考图像的对纵深图像的滤波来对补正对象区域的纵深进行补正。由此，能正确地对补正对象区域的纵深进行补正。

另外，纵深的补正并不限于上述内容，例如也可以重视与亮暗边界区域的下部相接的区域中的纵深来进行插补。即，纵深补正部111b可以使用纵深图像内位于补正对象区域的周围的区域即周围区域的纵深来对该补正对象区域的纵深进行补正。另外，周围区域可以是与补正对象区域的下侧相接的区域。在该情况下，纵深补正部111b也可以将补正对象区域的纵深置换成该周围区域的纵深。周围区域的纵深与补正对象区域的正确的纵深近似的可能性高。因此，通过使用这样的周围区域的纵深，能正确对补正对象区域的纵深进行补正。

另外，也可以除了bw图像、纵深图像以及掩模图像以外还将ir图像也用作输入。例如纵深补正部111b可以通过将ir图像、bw图像、纵深图像以及亮暗边界区域输入到学习模型来补正纵深图像内的补正对象区域的纵深。另外，也可以取代亮暗边界区域而使用上述的掩模图像。例如学习模型是通过深度学习构建的神经网络。在该学习模型的学习中，将ir图像、bw图像、纵深图像以及亮暗边界区域作为输入而提供给学习模型。然后，进行对该学习模型的学习，以使针对该输入的从学习模型的输出与补正后的正解的纵深图像一致。通过使用这样的学习完毕的学习模型，纵深补正部111b能简单地取得补正后的纵深图像。

图7是表示边界区域检测部112的处理动作的一例的流程图。另外，图7详细表示图6的步骤s130的处理。

(步骤s131)

首先，边界区域检测部112从bw图像检测变动。该变动例如通过进行该bw图像与过去的bw图像之间的块匹配的变动搜索来检测。

(步骤s132)

接下来，边界区域检测部112将沿着与步骤s131中检测到的变动的方向垂直的方向的边缘作为上述的边界来从bw图像进行检测。这时，边界区域检测部112也可以检测具有第1阈值以上的强度的边缘。

(步骤s133)

边界区域检测部112将包含步骤s132中检测到的边缘的区域检测为亮暗边界区域。这时，边界区域检测部112例如将位于距该边缘一定的距离的区域作为亮暗边界区域而提取。具体地，亮暗边界区域是从具有第1阈值以上的强度的边缘起到与bw图像的变动相应的距离为止的区域。

在此，上述的距离与表示该bw图像的变动的变动矢量的长度相等，或是对该变动矢量的长度进行了常数倍的长度(例如变动矢量的长度的1.1倍等)。或者，该距离可以是在变动矢量的长度加上常数的距离(例如变动矢量的长度+3像素或+5像素等)。另外，在该距离中可以考虑变动矢量的朝向。例如，从边缘起变动矢量的朝向的距离为该变动矢量的长度以上，与变动矢量相反朝向的距离例如可以是变动矢量的长度的0.1倍，也可以是3像素或5像素等常数。

如此地，本实施方式中的边界区域检测部112以沿着与bw图像中的变动的方向垂直的方向的边缘为边界从bw图像进行检测，将包含该边缘的区域检测为亮暗边界区域。具体地，边界区域检测部112检测具有第1阈值以上的强度的边缘。然后，包含该边缘的区域是从该具有第1阈值以上的强度的边缘开始到与bw图像的变动相应的距离为止的区域。由此，能适当地检测亮暗边界区域。其结果，能在纵深图像中适当地检测易于产生噪声的区域。

图8是用于说明图7中的步骤s132的边缘检测的图。

例如在bw图像中映出的物体如图8所示的时刻t0、t1以及t2那样伴随时间的经过而移动。这样的物体的变动例如通过搭载纵深取得装置1的车辆移动而产生。bw图像内的像素(x，y)中的这样的变动表示为变动矢量(u(x，y)，v(x，y))。

边界区域检测部112通过对像素值的空间方向的分布进行微分来计算边缘的强度，作为该像素值的变化量。对任意的方向n的微分用(式2)表征。

[数学式1]

在此，将方向n考虑为图像的变动矢量(u(x，y)，v(x，y))的方向、即以与变动矢量相同的朝向且平行的方向的单位矢量。即，n的x分量cosθ和y分量sinθ用(式3)表征。另外，图像的变动矢量通过公知的方法求取。

[数学式2]

另外，(式2)中的水平方向和垂直方向的亮度梯度分别通过(式4)以及(式5)来计算。

[数学式3]

[数学式4]

另外，水平方向和垂直方向的亮度梯度的计算并不限于基于(式4)以及(式5)所示的两侧差分的计算，也可以是基于(式6)以及(式7)所示的前方差分的计算，或使用基于(式8)以及(式9)所示的后方差分的方法。用这些任一个的计算都能得到同样的结果。

[数学式5]

[数学式6]

[数学式7]

[数学式8]

另外，在(式4)到(式9)，仅在相同行内或相同列内的像素间进行计算，但并不限于此，也可以如(式10)到(式15)所示那样，通过进行利用相邻的行或列的像素值的计算来减低噪声的影响的稳定的亮度梯度的计算。

[数学式9]

[数学式10]

[数学式11]

[数学式12]

[数学式13]

[数学式14]

进而，在使用多行或多列的像素值计算亮度梯度时，也可以如(式16)到(式21)那样，与相邻行或相邻列相比增大关注行或关注列的权重。

[数学式15]

[数学式16]

[数学式17]

[数学式18]

[数学式19]

[数学式20]

边界区域检测部112使用(式4)～(式21)所示的水平亮度梯度以及垂直亮度梯度、和(式3)所示的变动的方向矢量n的水平分量cosθ以及垂直分量sinθ，通过(式2)来将沿着变动的方向n的方向微分计算为边缘的强度。

另外，边界区域检测部112可以不仅采用用(式2)的方法，还用其他方法来计算方向微分。例如，边界区域检测部112通过插补来计算位于由关注点和微分方向决定的直线上的至少1个像素的像素值。然后，边界区域检测部112根据该计算出的至少1个像素的像素值与关注点的像素值当中任意2个像素值的差分值来计算方向微分。用这样的方法也能得到与上述(式2)的方法同样的结果。

边界区域检测部112将方向微分的绝对值为第1阈值以上的像素检测为边缘。

图9是表示边界区域检测部112的处理动作的其他示例的流程图。另外，图9详细表示图6的步骤s130的处理。

(步骤s135)

边界区域检测部112算出bw图像与之前紧挨的bw图像的差分。

(步骤s136)

然后，边界区域检测部112将bw图像当中该差分为第2阈值以上的区域检测为亮暗边界区域。

如此地，本实施方式中的边界区域检测部112将bw图像与过去的bw图像的像素值的差分为第2阈值以上的区域检测为亮暗边界区域。由此，能简单地检测亮暗边界区域。

(变形例)

在上述实施方式中，为了补正纵深而检测亮暗边界区域，但也可以不检测该亮暗边界区域，而是使用学习模型来补正纵深。

图10是表示本变形例中的纵深取得装置1的功能结构的一例的框图。另外，对图10所示的构成要素当中与图4所示的构成要素相同的构成要素标注与图4所示的构成要素相同的附图标记，省略详细的说明。

本变形例中的纵深取得装置1取代图4所示的处理器110a而具备处理器110b，进而具备学习模型104。

学习模型104例如是神经网络，由深度学习构成。例如在输入到该学习模型104的输入数据中使用bw图像、ir图像以及纵深图像。在该学习模型104中，已经进行了学习，使得针对这些输入数据的组合而输出正解的补正后的纵深图像。

处理器110b不具备图4所示的边界区域检测部112，取代图4所示的纵深补正部111b而具备纵深补正部111c。

纵深补正部111c对上述的学习模型104输入上述的输入数据。其结果，纵深补正部111c从学习模型104取得补正后的纵深图像，作为针对该输入数据的输出数据。

即，图10所示的纵深取得装置1具备存储器200和处理器110b。处理器110b取得从光源101照射并由被摄体反射的红外光的强度，该红外光的强度通过固体摄像元件20中包括的多个第1像素21分别接收该红外光的摄像而被测量，并被保存在存储器200。另外，处理器110b通过对固体摄像元件20中包括的多个第1像素21分别基于在该第1像素21接收到的红外光的强度算出到被摄体的距离作为纵深，来生成纵深图像。进而，处理器110b取得bw图像，该bw图像通过与基于在固体摄像元件20中包括的多个第1像素21分别接收到的红外光的强度而形成的ir图像实质相同的场景的基于可见光的摄像且与ir图像实质相同的视点以及时刻的摄像而生成，并被保持在存储器200。然后，处理器110b通过将纵深图像、ir图像以及bw图像输入到学习模型104来补正纵深图像的纵深。

由此，若使学习模型104预先学习，以使针对纵深图像、ir图像以及bw图像的输入而输出正解的补正后的纵深图像，则不检测亮暗边界区域就能适当地补正纵深图像的纵深。

图11a表示本变形例所涉及的纵深取得装置1的仿真结果的一例。

纵深取得装置1通过bw摄像机103的摄像取得图11a的(a)所示的bw图像，进而通过ir摄像机102的摄像取得图11a的(b)所示的ir图像。该bw图像以及ir图像是通过在相同视点以及相同时刻对相同场景进行摄像而得到的图像。

纵深算出部111a基于形成该ir图像的红外光的强度来生成图11a的(c)所示的纵深图像。在图11a的(a)所示的bw图像中的亮暗边界区域，物体的轮廓例如在路面描绘的人行横道的白色的线条的轮廓被清晰地映出。但在图11a的(c)所示的纵深图像中，与该亮暗边界区域对应的区域的纵深被不清晰地表现。

纵深补正部111b通过将图11a的(a)～(c)所示的bw图像、ir图像以及纵深图像输入到学习模型104，来从该学习模型104取得图11a的(d)所示的补正后的纵深图像。

其结果，在本变形例所涉及的纵深取得装置1中，能使补正后的纵深图像接近于图11a的(e)所示的正解的纵深图像。

图11b表示本变形例所涉及的纵深取得装置1的仿真结果的其他示例。

纵深取得装置1通过bw摄像机103的摄像取得图11b的(a)所示的bw图像，进而通过ir摄像机102的摄像取得图11b的(b)所示的ir图像。在该图11b所示的示例中，也与图11a所示的示例同样，bw图像以及ir图像是通过在相同视点以及相同时刻对相同场景摄像而得到的图像。

纵深算出部111a基于形成该ir图像的红外光的强度来生成图11b的(c)所示的纵深图像。在图11b的(a)所示的bw图像中的亮暗边界区域中，物体的轮廓例如在路面描绘的人行横道的白色的线条的轮廓被清晰地映出。但在图11b的(c)所示的纵深图像中，与该亮暗边界区域对应的区域的纵深被不清晰地表现。

纵深补正部111b通过将图11b的(a)～(c)所示的bw图像、ir图像以及纵深图像输入到学习模型104，来从该学习模型104取得图11b的(d)所示的补正后的纵深图像。

其结果，在本变形例所涉及的纵深取得装置1中，能使补正后的纵深图像接近于图11b的(e)所示的正解的纵深图像。

以上，在本实施方式以及其变形例中的纵深取得装置1中，即使是对对红外光的反射率相互不同的2个物体的边界摄像的情况，也能正确取得该边界周边的纵深。

另外，在上述各实施方式中，各构成要素可以用专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素可以通过cpu或处理器等程序执行部将记录于硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。在此，实现上述实施方式以及变形例的纵深取得装置等的软件使计算机执行图6、图7以及图9的任一个流程图中所含的各步骡。

以上对一个或多个方案所涉及的纵深取得装置基于实施方式及其变形例进行了说明，但本公开并不限定于该实施方式及其变形例。只要不脱离本公开的主旨，对本实施方式以及变形例实施本领域技术人员想到的各种变形而得到的方案、将实施方式以及变形例中的构成要素组合而构建的形态可以也包含在本公开的范围内。

例如纵深算出部111a基于在相互不同的3个曝光定时测量的3个红外光的强度来算出纵深。但该曝光定时以及红外光的强度的数量并不限定于3个，也可以是4个以上。

另外，在上述实施方式的变形例中，纵深取得装置1具备学习模型104，但也可以不具备该学习模型10。在该情况下，纵深取得装置1例如经由通信网络对学习模型104输入上述的输入数据，经由该通信网络取得来自该学习模型104的输出数据即补正后的纵深图像。

另外，在本公开中，组件、器件的全部或一部分、或图1、图4、以及图10所示的框图的功能块的全部或一部分可以由半导体装置、包含半导体集成电路(ic)或lsi(largescaleintegration，大规模集成电路)的一个或一个以上的电子电路执行。lsi或ic可以集成在一个芯片上，也可以组合多个芯片而构成。例如可以将存储元件以外的功能块集成在一个芯片。在此称作lsi、ic，但根据集成的程度而叫法改变，有可能称作系统lsi、vlsi(verylargescaleintegration，很大规模集成电路)或ulsi(ultralargescaleintegration，超大规模集成电路)。出于相同目的还能使用在lsi的制造后编程的现场可编程门阵列(fpga，fieldprogrammablegatearray)、或能进行lsi内部的接合关系的重构或lsi内部的电路区划的设置的可重构逻辑器件(reconfigurablelogicdevice)。

进而，组件、装置或装置的一部分的、全部或一部分功能或操作能通过软件处理执行。在该情况下，软件记录于一个或一个以上的rom、光盘、硬盘驱动器等非暂时的记录介质，在软件被处理装置(processor)执行的情况下，软件使处理装置(processor)和周边的器件执行软件内的特定的功能。系统或装置可以具备记录软件的一个或一个以上的非暂时的记录介质、处理装置(processor)以及需要的硬件器件例如接口。

产业上的可利用性

本公开能运用到取得到被摄体的距离即纵深的纵深取得装置，例如能作为车载设备等而利用。

附图标记的说明

1纵深取得装置

10、101光源

20固体摄像元件

21第1像素(ir)

22第2像素(bw)

30处理电路

50扩散板

60镜头

70带通滤波器

102ir摄像机

103bw摄像机

104学习模型

110a、110b处理器

111a纵深算出部

111b、111c纵深补正部

112边界区域检测部

113发光控制部

114ir取得部

115bw取得部

200存储器。