图像处理装置、图像处理方法以及记录介质与流程

本公开涉及图像处理装置、图像处理方法、记录介质以及程序。

背景技术：

生成表现到三维对象物为止的距离的距离图像的技术已被提出。例如，存在使用tof(time-of-flight，飞行时间)方式的测距装置来生成距离图像的技术。tof方式的测距装置使用红外光等光源，利用光源发光时的相位与从对象物反射的反射光的相位之间的偏离，测定从光源到对象物的距离。

现有技术文献

专利文献1：日本特开2012-225807号公报

技术实现要素：

发明要解决的技术问题

然而，在上述技术中，需要进一步的改善。

用于解决问题的技术方案

本公开的一个技术方案所涉及的图像处理装置，图像处理装置，具备：

发光部，其对位于所述图像处理装置的拍摄视角内的对象物，在不同的定时发出第1光和第2光，所述第1光被以第1发光量发出，所述第2光被以第2发光量发出；受光传感器，其接受所述第1光被所述对象物反射后的第1反射光和所述第2光被所述对象物反射后的第2反射光，所述第1反射光被以第1曝光时间来接受，所述第2反射光被以第2曝光时间来接受，所述第1发光量与所述第2发光量和所述第1曝光时间与所述第2曝光时间的至少某一方不同；以及处理器，所述处理器，算出表示所述第1光与所述第1反射光的相位差的第1相位差，使用所述第1相位差来生成第1距离图像，所述第1距离图像表现从所述图像处理装置到所述对象物的距离，生成第1强度图像，所述第1强度图像按所述第1距离图像的每个像素表现所述受光传感器接受到所述第1反射光时的受光强度，算出表示所述第2光与所述第2反射光的相位差的第2相位差，使用所述第2相位差来生成第2距离图像，所述第2距离图像表现从所述图像处理装置到所述对象物的距离，生成第2强度图像，所述第2强度图像按所述第2距离图像的每个像素表现所述受光传感器接受到所述第2反射光时的受光强度，对与所述第1强度图像的各像素对应的各受光强度和与所述第2强度图像的各像素对应的各受光强度进行比较，基于所述比较结果，选择所述第1距离图像的各像素和对应的所述第2距离图像的各像素的某一方，使用各选择出的像素来生成合成距离图像。

此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明的效果

根据本公开的图像处理装置等，能够实现距离精度稳定的距离图像的生成。

附图说明

图1是表示实施方式涉及的距离图像生成装置的构成的框图。

图2是由实施方式涉及的距离图像生成装置进行的距离图像生成处理的流程图。

图3是表示图2的距离图像生成处理中的图像取得处理的详细情况的流程图。

图4是表示图2的距离图像生成处理中的距离值的有效判定处理的详细情况的流程图。

图5是表示图2的距离图像生成处理中的距离值的选择处理的详细情况的流程图。

图6是表示由实施方式涉及的距离图像生成装置取得的距离图像以及强度图像的一例的概略图。

图7是表示按每个拍摄帧一边使发光量或者曝光时间发生变化一边拍摄到的距离图像的距离值的有效区域的一例的概略图。

图8是表示由实施方式涉及的距离图像生成装置取得的距离图像的数据构造的一例的图。

图9是表示由实施方式涉及的距离图像生成装置取得的强度图像的数据构造的一例的图。

图10是表示由实施方式涉及的距离图像生成装置取得的距离图像以及强度图像的数据构造的一例的图。

图11是表示由实施方式涉及的距离图像生成装置生成的合成距离图像的数据构造的一例的图。

标号说明

100移动体

101移动体控制部

102驱动部

110距离图像生成装置

111发光部

112受光传感器

113运算部

114存储器

115控制部

具体实施方式

(成为本公开的基础的见解)

采用了tof方式的测距装置，利用光源的投射光与投射光被对象物反射而接受到的反射光之间的相位偏离，测定从光源到对象物的距离。例如，在投射光的光量足够大的情况下，能够对从光源到远处的对象物的距离高精度地进行测距，但对于距光源近处的对象物，反射光的受光量会饱和，难以准确地测定距离。另一方面，如果减少投射光的光量，虽然能够测定从光源到近处的对象物的距离，但对于远处的对象物却从反射光得不到足够测距的光量，会导致算出的距离值的精度差。另外，如果光源的光量减少到无法接受反射光的程度，则测距变得不可能。如此，由于由光源的光量限定了能够测定从光源到对象物的距离的范围，因此正在研究对从光源到远处的对象物的距离和从光源到近处的对象物的距离分别高精度地进行测距。

例如，专利文献1所公开的距离图像摄像头一边变更曝光设定，一边投射红外光并由图像传感器接受红外光的反射光，由此拍摄距离图像。距离图像摄像头对各曝光设定的距离图像，保存距离图像的每个像素的距离数据以及受光等级数据。在距离图像摄像头中，对各曝光设定的距离图像的各像素，一边使成为对象的像素位置依次移动、一边进行扫描，算出加权系数。进而，使用所算出的加权系数，对各像素的距离数据进行加权相加。因此，可获得对于所有的像素位置而将加权平均值作为各像素的距离数据的距离图像。由此，距离图像摄像头获得遍及距离图像的大致整体的距离测定结果。

专利文献1所公开的技术中，对于在多个定时取得的距离图像，通过对各像素进行加权平均处理，实现到存在于拍摄视角内的对象物为止的距离测定精度的稳定化，由此，在拍摄视角内的整个广大范围中取得距离值。然而，在多个定时之间图像传感器的位置发生了变化以及存在于拍摄视角内的对象物发生移动等情况下，专利文献1所公开的技术存在会输出含有抖动的距离图像这一问题。因此，本公开的发明人为了提高距离图像生成功能而研究了以下的改善措施。

(1)本公开的一个技术方案涉及的图像处理装置是如下图像处理装置，具备：发光部，其对位于所述图像处理装置的拍摄视角内的对象物，在不同的定时发出第1光和第2光，所述第1光被以第1发光量发出，所述第2光被以第2发光量发出；受光传感器，其接受所述第1光被所述对象物反射后的第1反射光和所述第2光被所述对象物反射后的第2反射光，所述第1反射光被以第1曝光时间来接受，所述第2反射光被以第2曝光时间来接受，所述第1发光量与所述第2发光量和所述第1曝光时间与所述第2曝光时间的至少某一方不同；以及处理器，所述处理器，算出表示所述第1光与所述第1反射光的相位差的第1相位差，使用所述第1相位差来生成第1距离图像，所述第1距离图像表现从所述图像处理装置到所述对象物的距离，生成第1强度图像，所述第1强度图像按所述第1距离图像的每个像素表现所述受光传感器接受到所述第1反射光时的受光强度，算出表示所述第2光与所述第2反射光的相位差的第2相位差，使用所述第2相位差来生成第2距离图像，所述第2距离图像表现从所述图像处理装置到所述对象物的距离，生成第2强度图像，所述第2强度图像按所述第2距离图像的每个像素表现所述受光传感器接受到所述第2反射光时的受光强度，对与所述第1强度图像的各像素对应的各受光强度和与所述第2强度图像的各像素对应的各受光强度进行比较，基于所述比较结果，选择所述第1距离图像的各像素和对应的所述第2距离图像的各像素的某一方，使用各选择出的像素来生成合成距离图像。

根据上述技术方案，从发光量和曝光时间的至少一方不同的第1以及第2距离图像中，基于距离图像中的各像素的受光强度的值，提取受光强度较大的像素，使用所提取出的像素来生成合成距离图像。例如，在距离图像内存在移动物体的情况下、或者在距离图像生成装置自身一边进行移动一边取得距离图像的情况下，对象物的位置在第1距离图像和第2距离图像之间发生移动。然而，对于受光强度更大的像素，由于像素的距离值的精度变高，因此能够抑制在使用第1距离图像和第2距离图像的对应的像素中的受光强度较大的距离图像的像素而合成的合成距离图像中含有抖动等不清晰的部分。由此，在合成距离图像中，能得到稳定的距离精度。

(2)在上述技术方案中，也可以：所述处理器，从所述第1距离图像中提取与所述第1强度图像中的表示预定范围的受光强度的各像素对应的各第1像素，从所述第2距离图像中提取与所述第2强度图像中的表示所述预定范围的受光强度的各像素对应的各第2像素，对与所述各第1像素对应的受光强度和与所述各第2像素对应的受光强度进行比较，基于所述比较结果，在所述各第1像素和所述各第2像素都是有效像素的情况下，选择所述各第1像素和所述各第2像素中的对应的受光强度较大的一方，使用各选择出的像素来生成所述合成距离图像。

根据上述技术方案，能抑制使用反射光的受光强度对于距离图像的距离值的算出而言不适当的像素生成合成距离图像。

(3)在上述技术方案中，也可以：所述处理器，基于所述比较结果，在所述各第1像素和所述各第2像素中仅某一方是有效像素的情况下，使用作为有效像素的所述各第1像素和所述各第2像素的某一方来生成所述合成距离图像。

根据上述技术方案，由于在第1距离图像和第2距离图像之间只有一个有效像素，因此无法进行受光强度的比较。该情况下，如果不将有效像素适用于合成距离图像，则有可能会导致合成距离图像中的像素的缺损增多。通过将该一个有效像素用于合成距离图像，能抑制因像素的缺损而导致合成距离图像不清晰。

(4)在上述技术方案中，所述预定范围也可以为第1阈值以上。

根据上述技术方案，有效像素与作为下限值的第1阈值以上的受光强度的像素对应。通过将下限值设定为例如无法稳定取得距离值那样小的受光强度等，能抑制合成距离图像的像素具有不准确的距离。

(5)在上述技术方案中，所述预定范围也可以为第2阈值以下。

根据上述技术方案，有效像素与作为上限值的第2阈值以下的受光强度的像素对应。通过将上限值设定为例如反射光闪白那样的饱和的受光强度等，能抑制合成距离图像的像素具有不准确的距离。

(6)在上述技术方案中，所述预定范围也可以为第1阈值以上且第2阈值以下。

根据上述技术方案，有效像素与作为下限值的第1阈值以上且作为上限值的第2阈值以下的受光强度的像素对应。由此，能抑制合成距离图像的像素具有不准确的距离。

(7)本公开的一个技术方案涉及的图像处理方法，包括：对位于拍摄视角内的对象物，在不同的定时发出第1光和第2光，所述第1光被以第1发光量发出，所述第2光被以第2发光量发出；接受所述第1光被所述对象物反射后的第1反射光和所述第2光被所述对象物反射后的第2反射光，所述第1反射光被以第1曝光时间来接受，所述第2反射光被以第2曝光时间来接受，所述第1发光量与所述第2发光量和所述第1曝光时间与所述第2曝光时间的至少某一方不同；算出表示所述第1光与所述第1反射光的相位差的第1相位差；使用所述第1相位差来生成第1距离图像，所述第1距离图像表现到所述对象物的距离；生成第1强度图像，所述第1强度图像按所述第1距离图像的每个像素表现接受到所述第1反射光时的受光强度；算出表示所述第2光与所述第2反射光的相位差的第2相位差；使用所述第2相位差来生成第2距离图像，所述第2距离图像表现从所述图像处理装置到所述对象物的距离；生成第2强度图像，所述第2强度图像按所述第2距离图像的每个像素表现接受到所述第2反射光时的受光强度；对与所述第1强度图像的各像素对应的各受光强度和与所述第2强度图像的各像素对应的各受光强度进行比较；基于所述比较结果，选择所述第1距离图像的各像素和对应的所述第2距离图像的各像素的某一方；使用各选择出的像素来生成合成距离图像。

(8)一种记录介质，是存储有处理图像的程序的非瞬时性的记录介质，所述程序使处理器进行如下处理：对位于拍摄视角内的对象物，在不同的定时发出第1光和第2光，所述第1光被以第1发光量发出，所述第2光被以第2发光量发出；接受所述第1光被所述对象物反射后的第1反射光和所述第2光被所述对象物反射后的第2反射光，所述第1反射光被以第1曝光时间来接受，所述第2反射光被以第2曝光时间来接受，所述第1发光量与所述第2发光量和所述第1曝光时间与所述第2曝光时间的至少某一方不同；算出表示所述第1光与所述第1反射光的相位差的第1相位差；使用所述第1相位差来生成第1距离图像，所述第1距离图像表现到所述对象物的距离；生成第1强度图像，所述第1强度图像按所述第1距离图像的每个像素表现接受到所述第1反射光时的受光强度；算出表示所述第2光与所述第2反射光的相位差的第2相位差；使用所述第2相位差来生成第2距离图像，所述第2距离图像表现从所述图像处理装置到所述对象物的距离；生成第2强度图像，所述第2强度图像按所述第2距离图像的每个像素表现接受到所述第2反射光时的受光强度；对与所述第1强度图像的各像素对应的各受光强度和与所述第2强度图像的各像素对应的各受光强度进行比较；基于所述比较结果，选择所述第1距离图像的各像素和对应的所述第2距离图像的各像素的某一方；使用各选择出的像素来生成合成距离图像。

此外，这些总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

以下，参照附图对实施方式进行说明。此外，以下说明的实施方式均表示一个具体例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形式、步骤以及步骤的顺序等是一例，并非限定权利要求的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。

(实施方式1)

参照图1，说明本公开的实施方式涉及的距离图像生成装置110的构成。图1是表示实施方式涉及的距离图像生成装置110的构成的框图。距离图像生成装置110对到拍摄视角内的对象物为止的距离进行计测，生成反映了该计测结果的距离图像。在本实施方式中，距离图像生成装置110例如搭载于移动体100。距离图像生成装置110既可以作为独立的装置搭载于移动体100并经由接口等连接于移动体100，也可以构成移动体100的一部分。移动体100既可以是机器人等自主进行动作的装置，也可以是根据操作者的操纵、操作等进行动作的车辆等装置。

移动体100具备距离图像生成装置110、移动体控制部101以及驱动部102。距离图像生成装置110具备发光部111、受光传感器112、运算部113、存储器114以及控制部115。在本实施方式中，距离图像生成装置110构成被组装在移动体100中的tof摄像头模块。此外，tof摄像头模块既可以由发光部111、受光传感器112、运算部113、存储器114以及控制部115的全部来构成，也可以由发光部111、受光传感器112、运算部113、存储器114和控制部115的一部分来构成。

移动体100的移动体控制部101通过控制驱动部102，控制移动量、移动速度以及移动方向等移动体100的移动。移动体控制部101将与移动体100的移动量、移动速度以及移动方向等有关的移动信息发送给距离图像生成装置110的控制部115。移动体控制部101构成为从距离图像生成装置110接收距离图像。移动体控制部101既可以基于所接收到的距离图像来控制移动体100的移动，例如也可以基于距离图像和移动体100的移动信息来检测移动体100向周围物体的接近，避免移动体100与物体发生碰撞。移动体100的移动信息既可以是为了控制驱动部102而由移动体控制部101算出的信息，也可以是由配置于移动体100的未图示的检测器检测出的信息。

驱动部102基于从移动体控制部101接收到的移动量、移动速度以及移动方向等的指示，使移动体100进行移动。例如，在移动体100具备车轮的情况下，驱动部102按照所指示的移动量、移动速度以及移动方向等对车轮进行旋转驱动，使移动体100进行移动。驱动部102例如也可以具备电动马达或电动致动器等动力装置。

距离图像生成装置110的发光部111是通过自身的发光来向拍摄对象空间照射投射光的光源。发光部111例如投射脉冲光等带有相位的光。作为发光部111，例如可以采用发出红外线的发光二极管(led：lightemittingdiode)、激光二极管(ld：laserdiode)等，但不限于此，只要是发出可见光线、紫外线等光的器件，可以使用任何器件。为了确保距离图像的拍摄范围，发光部111所生成的光也可以具有漫射性。发光部111根据控制部115的控制进行工作。

受光传感器112与发光部111的发光定时相匹配地进行受光。受光传感器112在受光时，基于受光传感器112具有的受光元件所检测到的受光强度来生成强度图像，一并以像素为单位算出强度图像。受光传感器112例如也可以是图像传感器。图像传感器的例子是cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)图像传感器或者ccd(chargecoupleddevice，电荷耦合元件)图像传感器。受光传感器112根据控制部115的控制进行工作。

运算部113根据发光部111的投射光的信息和受光传感器112的受光结果，以像素为单位算出距离值，生成距离图像。运算部113根据受光传感器112的受光结果，也生成强度图像。运算部113也可以从发光部111或者控制部115等取得投射光的信息，并从受光传感器112取得受光结果。另外，运算部113使用距离图像与强度图像的多个对，进行合成距离图像的合成处理。合成距离图像将对多个距离图像之间对应的像素的多个距离值进行合成而得到的距离值作为合成距离图像的像素的距离。运算部113也可以根据控制部115的控制进行工作。

存储器114存储并保管与指定帧相当的量的由受光传感器112算出的距离图像与强度图像的多个对。保管在存储器114内的距离图像与强度图像的多个对，在运算部113进行的合成距离图像的合成处理中被加以使用。存储器114构成为从发光部111、受光传感器112、运算部113、控制部115等接收信息并存储，所存储的信息被运算部113、控制部115等取出。存储器114例如可以通过半导体存储器或者硬盘驱动器等来实现。存储器114既可以是易失性存储器也可以是非易失性存储器。

控制部115控制距离图像生成装置110整体的工作。控制部115除了进行发光部111的发光量以及受光传感器112的曝光时间的控制之外，还进行发光部111及受光传感器112的发光及受光的定时的控制。例如，控制部115也可以基于从移动体控制部101接收的移动体100的移动信息，控制发光部111的发光量、受光传感器112的曝光时间、和发光及受光的定时。控制部115也可以将运算部113生成的合成距离图像发送给移动体控制部101。另外，控制部115也可以基于合成距离图像和移动体100的移动信息，检测移动体100向周围物体的接近，将检测信息发送给移动体控制部101。在本实施方式中，控制部115与移动体控制部101分体地设置，但也可以是移动体控制部101兼有控制部115的功能。

移动体控制部101、运算部113以及控制部115等构成要素可以通过包括cpu(centralprocessingunit，中央处理单元)、ram(randomaccessmemory，随机存取存储器)、rom(read-onlymemory，只读存储器)等的计算机系统(未图示)来构成。各构成要素的一部分或者全部的功能可以通过cpu将ram用作工作用存储器并执行rom所记录的程序来实现。另外，各构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。此外，各构成要素既可以由进行集中控制的单个要素构成，也可以由相互协作来进行分散控制的多个要素构成。程序可以作为应用通过经由互联网等通信网络的通信、基于移动通信标准的通信等来提供。

接着，参照图1以及图2来说明实施方式涉及的距离图像生成装置110的工作。图2是表示由实施方式涉及的距离图像生成装置110进行的距离图像生成处理的流程的流程图。

距离图像生成装置110的控制部115按照按每个拍摄帧而变化的拍摄条件，控制发光部111以及受光传感器112，进行图像取得处理(s201)。控制部115跨多个拍摄帧来进行图像取得处理。拍摄条件由发光部111的发光量、受光传感器112的曝光时间和移动体100的驱动部102的移动量、移动速度以及移动方向等移动信息等构成。控制部115基于驱动部102的移动信息等，设定发光部111的发光量以及受光传感器112的曝光时间。该情况下，控制部115按照拍摄条件，变更发光部111的发光量和受光传感器112的曝光时间的至少一方。

距离图像生成装置110通过图像取得处理，取得与多个拍摄帧相当的量的距离图像与强度图像的对。距离图像与强度图像的对的数量对应于拍摄帧的数量。在此，距离图像表示按每个像素记录有从距离图像生成装置110到位于距离图像生成装置110的拍摄视角内的对象物为止的距离的信息的图像。拍摄视角例如是发光部111投射光的投射范围。另外，强度图像是与所述距离图像的各像素对应地按强度图像的各像素记录有所接受的反射光的强度信息的图像。强度图像在距离图像算出时被使用。因此，强度图像优选具有与距离图像相同的像素数以及像素配置。后面叙述步骤s201中的处理的详细情况。

距离图像生成装置110针对所取得的多个距离图像的各距离图像，选择成为处理对象的一个对象像素(s202)。具体而言，选择距离图像上的对象像素的坐标。从多个距离图像中选择的对象像素是在多个距离图像之间对应的像素。例如，多个距离图像的对应的对象像素可以具有相同的坐标。或者，在移动体100正在移动的情况下，也可以考虑距离图像之间的移动体100的移动量，为了使对应的各对象像素在各距离图像中表示同等的对象，选择在距离图像之间坐标被挪动了与该移动量相当的量后的对象像素。后面叙述步骤s202中的处理的详细情况。此外，步骤s202以及后述的步骤s203～s207中的处理可以通过运算部113来进行。

距离图像生成装置110在与各距离图像对应的各强度图像中，参照具有与对象像素的坐标相同坐标的像素所表示的光的强度值，判定各距离图像的对象像素所表示的距离值是否有效。也就是说，距离图像生成装置110进行各对象像素的距离值的有效判定处理(s203)。

在距离值的有效判定处理中，基于反射光饱和的可能性的判断、反射光的强度判断、反射光的s/n的阈值判定等，判定对象像素的距离值的有效性。在距离值不是有效、即无效的情况下，对对象像素设定无效值。在距离值有效的情况下，该对象像素的距离值被决定为是有效距离值。此外，反射光的s/n表示反射光中的信号(s)与噪声(n)的比例。例如，在对象像素中，在存在反射光饱和的可能性、反射光的强度为强度阈值以下而过弱、或者反射光的s/n为阈值以下而噪声过多的情况下，判定为对象像素的距离值无效。

距离图像生成装置110通过针对多个对象像素的距离值的有效判定处理，判定是否获得了多个有效距离值(s204)。在获得了多个有效距离值的情况下(s204：是)，距离图像生成装置110进行从多个有效距离值中选择最佳的距离值的距离值选择处理(s205)。然后，距离图像生成装置110将所选择出的最佳的距离值适用于合成距离图像的对象像素的距离值。后面叙述距离值选择处理的详细情况。

另一方面，在未获得多个有效距离值的情况下(s204：否)，即，在仅从多个距离图像中的一个距离图像获得了对象像素的有效距离值、或者多个距离图像全部都是对象像素的距离值无效的情况下，距离图像生成装置110唯一地确定对象像素的距离值(s206)。具体而言，在仅从多个距离图像中的一个距离图像获得了对象像素的有效距离值的情况下，距离图像生成装置110将该有效距离值决定为对象图像的距离值。所决定的对象图像的距离值被适用于后述的通过使用了距离图像以及强度图像的图像合成而输出的合成距离图像中的对象像素的距离值。另外，在从多个距离图像都未获得对象像素的有效距离值、全部是无效值的情况下，距离图像生成装置110将对象像素的距离值决定为无效值。所决定的对象像素的无效值作为无效值而适用于合成距离图像的对象像素的距离值。

从步骤s202到s205/s206为止的一系列处理，以多个距离图像中的全部像素为对象来执行。因此，在接着步骤s205以及s206的步骤s207中，距离图像生成装置110判定是否对多个距离图像中的全部像素进行了从步骤s202到s205/s206为止的处理。如果对全部像素都完成了上述处理(s207：是)，则距离图像生成装置110结束距离图像生成处理。如果存在未进行上述处理的像素(s207：否)，则距离图像生成装置110进入步骤s202，对未处理的像素进行从步骤s202到s205/s206为止的处理。如此，距离图像生成装置110依次变更对象像素并反复执行上述的一系列处理，直到对多个距离图像的全部像素完成一系列处理。然后，完成对多个距离图像的全部像素的一系列处理而得到的各像素的距离值被适用于合成距离图像的各像素的距离值，其结果是，形成了合成距离图像的全部像素。

进一步，参照图3，说明图2的距离图像生成处理中的图像取得处理(s201)的详细内容。图3是表示图2的距离图像生成处理中的图像取得处理的详细流程的流程图。首先，距离图像生成装置110的控制部115对已经设定的距离图像的拍摄条件进行变更(s301)。在此，拍摄条件是指发光部111的发光量、受光传感器112的曝光时间等。例如，控制部115可以基于移动体100的驱动部102的移动信息、移动体100周围的亮度等来变更拍摄条件。

接着，距离图像生成装置110的运算部113取得通过发光部111的发光而产生的投射光的相位的信息和投射光被对象物反射而由受光传感器112接受的反射光的相位的信息，使用所取得的投射光与反射光的相位差来算出距离图像(s302)。也就是说，运算部113通过tof方式来测定距离图像。在本例中，运算部113从发光部111接收投射光的相位的信息，从受光传感器112接收反射光的相位的信息。

进一步，运算部113将所算出的距离图像和与距离图像同时取得的强度图像保存于存储器114(s303)。与距离图像同时取得的强度图像表示强度图像的各像素的受光量的强度，各像素的受光量的强度是在距离图像的计算中使用了相位的反射光的强度。

接着，控制部115判定是否取得了预先设定的帧数、即预先设定的张数的距离图像(s304)。控制部115如果未完成预先设定的张数的距离图像的拍摄(s304：否)，则进入步骤s301，将拍摄条件变更为下一拍摄条件，取得距离图像以及强度图像。控制部115如果完成了预先设定的张数的距离图像的拍摄(s304：是)，则进入步骤s202。如此，控制部115反复测定距离图像，直到距离图像以及强度图像的数量达到预先设定的张数。

接着，参照图4来说明图2的距离图像生成处理中的距离值的有效判定处理(s203)的详细内容。图4是表示图2的距离图像生成处理中的距离值的有效判定处理(s203)的详细流程的流程图。

距离图像生成装置110的运算部113从保存在存储器114中的距离图像与强度图像的对中选出一个对，读取在步骤s202中选择出的对象像素的距离值以及强度值(s401)。在此，在强度图像的像素所表示的强度值比一定的值大的情况下，存在受光量饱和的可能性。即，与该像素对应的距离图像的像素所表示的距离值有可能是无法信赖的值。另外，在强度图像的像素所表示的强度值比一定的值小的情况下，使用过低的受光量的光而取得的距离值有可能会不稳定。

因此，运算部113判定强度图像的对象像素所表示的强度值是否为预定范围内的值(s402)。在对象像素的强度值不是预定范围内的值的情况下(s402：否)，运算部113决定为在距离图像中对应的对象像素的距离值不是有效的，将该距离值替换成无效值(s404)，进入步骤s405。在对象像素的强度值是预定范围内的值的情况下(s402：是)，运算部113决定为对象像素的距离值有效(s403)，进入步骤s405。然后，运算部113对预先设定的张数的距离图像以及强度图像，判定是否完成了从步骤s401到s404的处理(s405)。运算部113如果完成了对距离图像以及强度图像各自的处理(s405：是)，则进入步骤s204，在未完成的情况下(s405：否)，进入步骤s401。然后，运算部113对未处理的距离图像以及强度图像进行从步骤s401到s404的处理。如此，运算部113反复进行对对象像素的上述一系列处理，直到对拍摄的设定张数的距离图像以及强度图像执行了上述一系列处理为止。

接着，参照图5来说明图2的距离图像生成处理中的距离值的选择处理(s205)的详细内容。图5是表示图2的距离图像生成处理中的距离值的选择处理(s205)的详细流程的流程图。距离图像生成装置110的运算部113在对于通过步骤s202选择出的对象像素通过前述的有效判定处理(s203)从多个距离图像中获得了有效距离值的情况下，执行后述的处理。

首先，运算部113从距离图像与强度图像的多个对中选择第一个对(s501)。接着，运算部113从所选择出的距离图像中读取对象像素的距离值dn1，从所选择出的强度图像中读取与对象像素对应的像素的强度值in1(s502)。进一步，运算部113使用这些读取的距离值dn1和强度值in1，判定距离值dn1是否为有效值(s503)。运算部113在距离值是有效值的情况下(s503：是)，进入步骤s504，在距离值不是有效值的情况下(s503：否)，进入步骤s501，选择其他的距离图像与强度图像的对。

接着，运算部113使用距离值dn1和强度值in1，进行输出距离值d以及最大强度值imax的初始化(s504)。也就是说，运算部113将所读取的距离值dn1以及强度值in1分别决定为输出距离值d以及最大强度值imax的初始值。

接着，运算部113选择距离图像与强度图像的另一个对(s505)。进一步，运算部113从所选择出的距离图像中读取对象像素的距离值dnk，从强度图像中读取对应的像素的强度值ink(s506)。

进一步，运算部113判定所读取的距离值dnk是否为有效值(s507)。运算部113在距离值dnk是有效值的情况下(s507：是)，进入步骤s508，在距离值dnk不是有效值的情况下(s507：否)，进入步骤s510。

在步骤s508中，运算部113对当前设定的最大强度值imax与新取得的强度值ink进行比较。在强度值ink比最大强度值imax大的情况下(s508：是)，运算部113将输出距离值d以及最大强度值imax分别更新为新取得的距离值dnk以及强度值ink(s509)。在强度值ink为最大强度值imax以下的情况下(s508：否)，运算部113进入步骤s510。

在步骤s510中，运算部113对预先设定的张数的距离图像以及强度图像，判定是否完成了从步骤s505到s509的处理(s510)。运算部113如果完成了对距离图像以及强度图像各自的处理(s510：是)，则进入步骤s511，将当前设定的输出距离值d设定为对象像素的最佳的距离值(s511)。运算部113在未完成对距离图像以及强度图像各自的处理的情况下(s510：否)，进入步骤s505，对未处理的距离图像以及强度图像进行从步骤s505到s509的处理。运算部113反复进行上述那样的对对象像素的一系列处理，直到对设定张数的距离图像以及强度图像执行了该一系列处理为止。然后，在完成了设定张数的处理之后，运算部113如步骤s511那样，输出当前设定的输出距离值d来作为要输出的距离图像的对象像素的最佳距离值。

接着，说明实施方式涉及的距离图像生成装置110取得的距离图像、强度图像及合成距离图像的例子、和距离图像生成装置110根据距离图像以及强度图像取得合成距离图像的例子。图6是表示由实施方式涉及的距离图像生成装置110取得的距离图像以及强度图像的一例的概略图。

图6的(a-1)是在发光部的发光量或者受光传感器的曝光时间比预定的值小的拍摄条件下测定到的距离图像的一例。在本例中，对象物离受光传感器越远，则以明亮度越低的颜色来表现。图6的(a-2)是在发光部的发光量或者受光传感器的曝光时间比预定的值小的拍摄条件下测定到的强度图像的一例。在本例中，受光量即强度越大的地方，以明亮度越高的颜色来表现。图6的(a-3)表示通过拍摄来取得图6的(a-1)以及(a-2)的图像时的拍摄环境的俯视图。图中的黑点表示受光传感器的位置，从受光传感器扩展的扇形区域表示受光传感器的拍摄视角，位于扇形区域内的四边形区域表示对象物。另外，表示拍摄视角的扇形区域内的无色区域示出获得成为有效值的距离值的有效区域，扇形区域内的着色区域示出距离值为无效值的无效区域。

图6的(b-1)是在发光部的发光量或者受光传感器的曝光时间比预定的值大的拍摄条件下测定到的距离图像的一例。在本例中，对象物离受光传感器越远，则以明亮度越低的颜色来表现。图6的(b-2)是在发光部的发光量或者受光传感器的曝光时间比预定的值大的拍摄条件下测定到的强度图像的一例。在本例中，受光量越大的地方，以明亮度越高的颜色来表现。图6的(b-3)表示通过拍摄来取得图6的(b-1)以及(b-2)的图像时的拍摄环境的俯视图。图中的黑点表示受光传感器的位置，从受光传感器扩展的扇形区域表示受光传感器的拍摄视角，位于扇形区域内的四边形区域表示对象物。另外，表示拍摄视角的扇形区域内的无色区域示出距离值的有效区域，着色区域示出距离值的无效区域。

如图6所示，根据发光部的发光量的不同，在距离图像中，能够取得距离值的有效值的区域发生变化。

图7是针对按每个拍摄帧一边使发光部的发光量或者受光传感器的曝光时间变化一边拍摄到的距离图像，以与图6的(a-3)以及(b-3)同样的方式来表现距离值的有效区域的变化的概略图。

通过发光量或者曝光时间等拍摄条件按每个拍摄帧发生变化，从距离图像获得距离值的有效值的区域发生变化。本例以按每个拍摄帧使发光部的发光量和受光传感器的曝光时间的某一方的拍摄条件改变来进行拍摄作为前提。本例示出通过改变了拍摄条件的帧a和帧b的共2次拍摄来进行距离测定的情形。此外，在本例中，为了简单起见，将拍摄帧数设为2个来进行说明，但拍摄帧数不限于2个，可以设定为任意的数量。另外，图7所示的例子对于帧a和帧b的拍摄条件的组合，示出3种类型的组合(a)、(b)以及(c)。

图7所示的各图是与图6的(a-3)以及(b-3)所示的图同样的图，黑点、扇形区域以及扇形区域内的四边形区域分别表示受光传感器、拍摄视角以及对象物。扇形区域内部的无色区域表示距离值的有效区域，着色区域表示距离值的无效区域。另外，扇形区域内部的无色区域与着色区域的边界的虚线表示距离值的有效区域与无效区域的边界。

图7的(a)是表示距离值的有效区域与无效区域的边界对于帧a和帧b而言一致的情况的图。此时，在帧a和帧b的各像素中，具有有效值的像素只存在于一方的帧，因此合成距离值后的合成距离图像的各像素的距离值由具有有效值的帧所表示的距离值来唯一决定。

图7的(b)是表示在帧a和帧b之间没有重叠的距离值的有效区域但却存在重叠的距离值的无效区域的情况的图。重叠的无效区域存在于帧a的有效区域与无效区域的边界线和帧b的有效区域与无效区域的边界线之间。某个帧中的具有距离值的有效值的像素，在合成距离图像中也具有有效值，而无论在哪个帧中距离值都为无效值的像素在合成距离图像中也具有无效值。

图7的(c)是表示在帧a和帧b之间存在重叠的距离值的有效区域的情况的图。关于某一方的帧中的距离值为无效值的像素，在合成距离图像中适用具有有效值的帧的距离值。关于无论在哪个帧中都具有有效值的像素，在合成距离图像中合成距离值。具体而言，选择各帧的强度图像中的对应像素中的强度值高的一方的像素，适用与所选择出的像素对应的距离图像的像素的距离值。

图8是表示由实施方式涉及的距离图像生成装置110取得的距离图像的数据构造的一例的图。本例以按每个拍摄帧使发光部的发光量和受光传感器的曝光时间的某一方的拍摄条件改变来进行拍摄作为前提。本例示出通过改变了拍摄条件的帧a和帧b的共2次拍摄来进行距离测定的情形。对于帧a，在发光量比预定的值大的状态下进行拍摄，对于帧b，在发光量比预定的值小的状态下进行拍摄。

图8的(a-1)表示帧a的距离图像例，图8的(b-1)表示帧b的距离图像例。图8的(a-2)和(b-2)分别是将在帧a和b的距离图像中互相对应的同像素区域从各距离图像中切取并放大显示的图。所切取出的像素区域，在被设定为距离图像的像素且基于像素数的xy坐标系中相当于坐标(x，y)从(m，n)到(m+4，n+3)的像素区域。此外，x坐标以及y坐标是整数。

图8的(a-3)和(b-3)分别是表示图8的(a-2)和(b-2)的像素区域内的各像素所包含的距离值的表。此外，距离值的单位是米。进而，表中的距离值“nan”表示像素的距离值为无效值。

图8的(a-4)和(b-4)分别表示图8的(a-3)和(b-3)的各像素所包含的距离值的存储图。如这些存储图所示，像素的坐标值和各坐标所保存的距离值以成对的方式进行组合，例如保存于图1所示的距离图像生成装置的存储器。

图9是表示由实施方式涉及的距离图像生成装置110取得的强度图像的数据构造的一例的图。本例以按每个拍摄帧使发光部的发光量和受光传感器的曝光时间的某一方的拍摄条件改变来进行拍摄作为前提。本例示出通过改变了拍摄条件的帧a和帧b的共2次拍摄来进行距离测定的情形。对于帧a，在发光量比预定的值大的状态下进行拍摄，对于帧b，在发光量比预定的值小的状态下进行拍摄。

图9的(a-1)表示帧a的强度图像例，图9的(b-1)表示帧b的强度图像例。另外，这些强度图像可以在取得图8的距离图像时同时获得。

图9的(a-2)和(b-2)分别是将在帧a和b的强度图像中互相对应的同像素区域从各强度图像中切取并放大显示的图。所切取出的像素区域，在被设定为强度图像中的像素且基于像素数的xy坐标系中相当于坐标(x，y)从(m，n)到(m+4，n+3)的像素区域。此外，强度图像的坐标系与距离图像的坐标系相同，强度图像的x坐标以及y坐标也是整数。

图9的(a-3)和(b-3)分别是表示图9的(a-2)和(b-2)的像素区域内的各像素所包含的强度值的表。此外，强度值的单位是百分率，强度值表示所接受的反射光相对于投射光的比例，也称为反射强度值。

图9的(a-4)和(b-4)分别表示图9的(a-3)和(b-3)的各像素所包含的强度值的存储图。如这些存储图所示，像素的坐标值和各坐标所保存的强度值以成对的方式进行组合，例如保存于图1所示的距离图像生成装置的存储器。

图10是表示由实施方式涉及的距离图像生成装置110取得的距离图像以及强度图像的数据构造的存储图。图10是对图8的结果和图9的结果进行汇总而得到的。如这些存储图所示，按每个拍摄帧，对距离图像和强度图像的各像素所包含的值进行组合，例如保存于图1所示的距离图像生成装置的存储器。各帧的各像素与其距离值以及反射强度值这两个值相关联。例如，距离图像生成装置110在用于生成合成距离图像的帧a和帧b的合成时，按2个帧间对应的每个像素，向存储器查询距离值以及反射强度值。

图11是由实施方式涉及的距离图像生成装置110取得的合成距离图像的数据构造的存储图。本例示出对图10中的帧a和帧b的距离图像进行了合成的结果的存储图。如该存储图所示，对像素的坐标值与该像素中的帧a和帧b的距离值的合成距离值进行组合，例如保存于图1所示的距离图像生成装置的存储器。在合成距离图像生成时，根据图10所示的帧a和帧b之间的各像素的反射强度值的强弱，选择将哪个帧的距离值反映于合成距离图像的各像素。例如，对于本例所示的坐标(m+2，n+2)的像素，距离值在帧a和帧b之间不同。该情况下，采用反射强度强的帧a的距离值，并反映于合成距离图像的合成距离值。另外，对于坐标(m+3，n+3)的像素，帧a的反射强度值为100％，呈现已饱和的状态，将距离值作为“nan”而设定为无效值。因此，采用帧b的距离值，并反映于合成距离图像的合成距离值。如此，在生成合成距离图像时，在所拍摄到的多个帧间，以各像素的反射强度的值为线索，从单个帧的距离图像中选择距离值。针对所拍摄到的帧的全部像素，通过进行所述步骤而获得合成距离图像。

如上所述，根据实施方式涉及的距离图像生成装置110，从发光量和曝光时间的至少一方不同的多个距离图像中，基于距离图像中的各像素的受光强度的值，提取受光强度更大的像素，使用所提取出的像素生成合成距离图像。例如，在距离图像内存在移动物体的情况下、或者在距离图像生成装置110自身一边移动一边取得距离图像的情况下，对象物的位置在多个距离图像间发生移动。然而，对于受光强度较大的像素，由于像素的距离值的精度变高，因此，在使用多个距离图像的对应的像素中的受光强度更大的距离图像的像素而合成的合成距离图像中，能抑制抖动等不清晰部分的生成。由此，对于距离图像生成装置110生成的合成距离图像，能获得稳定的距离精度。

另外，根据实施方式涉及的距离图像生成装置110，从距离图像的像素中，提取基于受光强度的有效像素，所提取出的有效像素被用于合成距离图像的生成。并且，有效像素与预定范围内的受光强度的像素对应。例如，预定的范围既可以是第1阈值以上的受光强度的范围，也可以是第2阈值以下的受光强度的范围，还可以是第1阈值以上且第2阈值以下的受光强度的范围。由此，能抑制使用对于距离图像的距离值的计算而言反射光的受光强度不适当的像素生成合成距离图像。例如，通过将第1阈值设定为无法稳定取得距离值那样小的受光强度等，能抑制合成距离图像的像素具有不准确的距离。通过将第2阈值设定为例如反射光闪白那样的饱和的受光强度等，能抑制合成距离图像的像素具有不准确的距离。

另外，根据实施方式涉及的距离图像生成装置110，在多个距离图像之间的对应的像素的组合中仅包含一个有效像素的情况下，与受光强度无关地将该一个有效像素用于合成距离图像。例如，在多个距离图像之间仅有一个有效像素的情况下，由于无法进行受光强度的比较，如果不将有效像素适用于合成距离图像，则有可能会导致合成距离图像中的像素的缺损增多。然而，通过将该一个有效像素用于合成距离图像，能抑制因像素的缺损而导致合成距离图像不清晰。

(其他实施方式)

以上，基于实施方式对一个或多个技术方案涉及的距离图像生成装置进行了说明，但本公开并不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方案、或组合不同实施方式中的构成要素而构成的方案，也可以包含在一个或多个技术方案的范围内。

本公开的总括性或具体的技术方案既可以通过装置、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以通过装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。

例如，本公开涉及的距离图像生成装置的各构成要素也可以由专用的硬件构成、或通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。此外，各构成要素既可以由进行集中控制的单独的要素来构成，也可以由相互合作进行分散控制的多个要素来构成。

另外，距离图像生成装置的各构成要素也可以是lsi(largescaleintegration：大规模集成电路)、系统lsi等电路。多个构成要素既可以作为整体而构成一个电路，也可以分别构成不同的电路。另外，电路分别既可以通用的电路，也可以是专用的电路。

系统lsi是将多个构成部集成在一个芯片上而制造出的超多功能lsi，具体而言，是包括微处理器、rom、ram等而构成的计算机系统。在ram中存储有计算机程序。通过微处理器按照计算机程序进行工作，系统lsi实现其功能。系统lsi以及lsi既可以是能够在lsi制造后进行编程的fpga(fieldprogrammablegatearray，现场可编程门阵列)，也可以是能够对lsi内部的电路单元的连接以及设定进行重构的可重构处理器(reconfigurableprocessor)。

另外，距离图像生成装置的各构成要素的一部分或者全部也可以由能够装卸的ic卡或者单个模块来构成。ic卡或模块是由微处理器、rom、ram等构成的计算机系统。ic卡或模块也可以包括上述的lsi或者系统lsi。通过微处理器按照计算机程序进行工作，ic卡或模块实现其功能。这些ic卡以及模块也可以具有抗篡改性。

另外，本公开涉及的距离图像生成方法也可以通过mpu、cpu、处理器、lsi等电路、ic卡或单个模块等来实现。在此，上述距离图像生成方法如下。

即，距离图像生成方法是生成表示与对象物的距离的距离图像的距离图像生成方法，包括：(a1)对位于拍摄视角内的对象物，在不同的定时发出发光量和曝光时间的至少一方互不相同的第1光和第2光，(a2)接受所述第1光被所述对象物反射后的第1反射光和所述第2光被所述对象物反射后的第2反射光，(a3)算出所述第1光与所述第1反射光的相位差，生成表现到所述对象物的距离的第1距离图像，(a4)生成按所述第1距离图像的每个像素表现所述第1反射光的受光强度的第1受光强度图像，(a5)算出所述第2光与所述第2反射光的相位差，生成表现到所述对象物的距离的第2距离图像，(a6)生成按所述第2距离图像的每个像素表现所述第2反射光的受光强度的第2受光强度图像，(a7)使用所述第1受光强度图像以及所述第2受光强度图像，对所述第1距离图像和所述第2距离图像进行合成，生成合成距离图像，在所述合成距离图像的生成中，从所述第1距离图像以及所述第2距离图像中提取与所述第1受光强度图像和所述第2受光强度图像之间的对应的像素中的表示较大的受光强度的像素对应的所述距离图像的像素，将所提取出的像素用于所述合成距离图像。

另外，本公开涉及的距离图像生成装置以及距离图像生成方法中的处理也可以通过软件程序或者由软件程序形成的数字信号来实现。此外，上述程序以及由上述程序形成的数字信号也可以记录于计算机可读取的记录介质、例如软盘、硬盘、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注册商标)disc)、半导体存储器等。另外，上述程序以及由上述程序形成的数字信号也可以经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据播放等进行传输。另外，上述程序以及由上述程序形成的数字信号也可以通过记录在记录介质中进行移送、或者通过经由网络等进行移送，由此通过独立的其他计算机系统来实施。在此，上述软件是如下的程序。

即，该程序是使计算机执行的程序，(b1)取得在不同的定时对位于拍摄视角内的对象物发出的第1光以及第2光的信息，在此，对于所述第1光和所述第2光，发光量和曝光时间的至少一方互不相同，(b2)取得所述第1光被所述对象物反射后的第1反射光的受光信息和所述第2光被所述对象物反射后的第2反射光的受光信息，(b3)算出所述第1光与所述第1反射光的相位差，生成表现到所述对象物的距离的第1距离图像，(b4)生成按所述第1距离图像的每个像素表现所述第1反射光的受光强度的第1受光强度图像，(b5)算出所述第2光与所述第2反射光的相位差，生成表现到所述对象物的距离的第2距离图像，(b6)生成按所述第2距离图像的每个像素表现所述第2反射光的受光强度的第2受光强度图像，(b7)使用所述第1受光强度图像以及所述第2受光强度图像，对所述第1距离图像和所述第2距离图像进行合成，生成合成距离图像，在所述合成距离图像的生成中，从所述第1距离图像以及所述第2距离图像中提取与所述第1受光强度图像和所述第2受光强度图像之间的对应的像素中的表示较大的受光强度的像素对应的距离图像的像素，将所提取出的像素用于所述合成距离图像。