距离测量装置的制作方法

本发明涉及将到被摄体的距离作为距离图像来输出的距离测量装置。

背景技术：

已知根据光的传播时间来测量与物体的距离(以下，tof方法：飞行时间(timeofflight))并输出为显示出距离的图像(距离图像)的技术。例如日本特开2009-174830号公报所公开的人物位置检测装置具有：根据来自tof式距离图像传感器的距离信息来检测到室内空间的物体的距离位移的距离位移检测单元；以及通过检测出的距离位移区域的形状确定化来判断是否是人物的人物判断单元，公开了将到作为人物而形状确定化的距离位移区域的方向以及距离作为人物位置来进行检测的结构。

在日本特开2009-174830号公报的技术中，测量到室内空间的物体的距离，根据测量值的时间变化量来检测距离位移区域，并且对预先登记的人物形状的特征与检测出的距离位移区域的特征进行比较，由此来判断是否是人物。

通过tof方法进行的距离测量是从激光光源等向被摄体照射脉冲光，并接收从被摄体反射的脉冲光来根据其时间差计算到被摄体的距离的。此时，从光源射出的光的强度是恒定的，特别是如店铺那样在同一个房间内具备多个距离测量装置来使用的测量系统中，对于光源的整体的耗电增大。例如，当测量对象是人物时，即使在室内不存在作为测量对象的人物时，发射光的强度也是恒定的，导致无益地消耗一部分电力。

另一方面，如果为了减少耗电而降低光源的发射光强度，则很来自被摄体的反射光的强度下降而难以进行稳定的距离测量动作。在以日本特开2009-174830号公报为首的现有技术中，并未特别考虑减少光源的耗电的和确保距离测量性能。

本发明的目的在于提供能够兼顾减少光源的耗电和确保距离测量性能的距离测量装置。

技术实现要素：

本发明是测量与被摄体的距离并作为距离图像来输出的距离测量装置，其具备：距离测量部，其具有发光部、受光部以及距离计算部，根据光的传播时间来测量到被摄体的距离；图像处理部，其根据通过所述距离测量部测量出的距离数据来生成被摄体的距离图像；发光强度控制部，其控制来自所述发光部中的光源的发射光的强度；以及像素相加控制部，其控制所述受光部中的相邻的像素信号的相加处理。所述图像处理部判断在所生成的距离图像中是否存在检测对象物，当所述距离图像中存在所述检测对象物时，设定为所述发光强度控制部增大所述发光部中的发射光的强度，并且所述像素相加控制部为减小所述受光部中的相邻的像素信号的相加率的高清模式。当所述距离图像中不存在所述检测对象物时，设定为所述发光强度控制部减小所述发光部中的发射光的强度，并且所述像素相加控制部为增大所述受光部中的相邻的像素信号的相加率的省电模式。

根据本发明，能够提供兼顾减少光源的耗电和确保距离测量性能的距离测量装置。

附图说明

图1是表示实施例1所涉及的距离测量装置的结构图。

图2a是说明通过tof方法进行距离测量的原理的图。

图2b是说明通过tof方法进行距离测量的原理的图。

图3是说明通过差分器生成差分图像的的图。

图4是说明发光部与受光部的动作状态的图。

图5是说明对应于被摄体的状况的动作模式的切换的图。

图6是表示距离测量的流程的流程图。

图7是表示距离测量的流程的其他的流程图。

图8是表示实施例2所涉及的距离测量系统的结构图。

图9是表示应用了距离测量系统的店铺的例子的图。

具体实施方式

以下，使用附图来说明本发明的实施方式。在以下例子中，针对作为被摄体而检测人物的情况进行说明。

【实施例1】

图1是表示实施例1所涉及的距离测量装置的结构图。距离测量装置1通过tof(时间飞行)方式来测量到包含人物的被摄体的3维距离，例如通过颜色来显示测量出的到被摄体的各部分的距离，并作为2维距离图像来输出。此时，通过从被摄体整体去除人物以外的背景图像，易于显示作为检测对象的人物的位置、姿势。

距离测量装置1具备：距离测量部10(以下，也称为tof照相机)，其通过tof方式测量到被摄体的距离并输出被摄体图像a(3维距离数据)；背景图像获取部14，其从tof照相机10获取在被摄体中不存在作为检测对象的人物的状态的被摄体图像(以下，称为背景图像b)；背景图像存储部15，其保存背景图像；差分器16，其生成从被摄体图像a去除背景图像b而提取出人物等物体的差分图像c；以及图像处理部17，其根据差分图像的到各位置的距离数据来进行改变色调的色彩处理并输出距离图像d。

距离测量部(tof照相机)10包含：对被摄体照射脉冲光的激光二极管(ld)、发光二极管(led)等发光部11、接收从被摄体反射的脉冲光的ccd传感器、cmos传感器等受光部12、以及驱动发光部11并且根据受光部12的检测信号来计算到被摄体的距离的距离计算部13。通过受光部12拍摄被摄体的2维图像，距离计算部13输出被摄体的2维图像的距离数据，即3维的距离数据。后面描述通过tof进行距离测量的原理。

发光强度控制部18控制发光部11中的发射光的强度，像素相加控制部19控制受光部12中的像素信号的相加处理。发光强度控制部18与像素相加控制部19根据通过图像处理部17得到的距离图像d内的被摄体(人物)的状况，来切换控制状态(动作模式)。此外，各部的动作由未图示的cpu来控制。

图2a与图2b是说明通过tof方法进行距离测量的原理的图。通过tof(时间飞行)方法，根据发射光信号与受光信号的时间差即光的传播时间来计算距离。

图2a是表示tof照相机10与被摄体2(例如人物)的关系的图。tof照相机10具有发光部11与受光部12，从发光部11向被摄体2发射距离测量用的光31。发射光使用红外光。受光部12接收向被摄体2发射的光的反射光32，但是经由物镜33通过ccd等2维传感器(2维像素)34来接收光。被摄体2位于与发光部11以及受光部12相距l[m]的位置。在这里，如果设光速为c[m/s]，并设从发光部11开始光发射到受光部12接收反射光的时间差(传播时间)为t[s]，则通过以下数学式可以求出到被摄体2的距离l[m]：

l[m]＝c[m/s]×t[s]/2......(1)

图2b是表示时间差t的测量的图。距离计算部13根据从发光部11发射的光31的定时与通过受光部12接收到反射光32的定时，来测量其时间差t，并根据式(1)计算与被摄体2的距离l。另外，根据在2维传感器34中的各像素位置的受光定时的偏差，能够求出被摄体各位置的距离差，即被摄体的凹凸形状。

图3是说明通过差分器16生成差分图像的图。(a)是通过tof照相机10得到的被摄体图像a的例子，拍摄有作为检测对象的人物以及其他的物体。(b)是在被摄体中不存在作为检测对象的人物的背景图像b的例子。例如，预先在店铺营业前没有客人的状态拍摄背景图像b。(c)是通过差分器16从被摄体图像a去除了背景图像b后的差分图像c。是通过差分处理去除人物以外的物体、背景的凹凸，仅提取出人物后的图像。但是，由于在受光部12的ccd传感器等中产生电子噪声，因此可能在差分图像c中重叠噪声。这种情况，可以添加将预先设定出的阈值以下的电平的信号设为无信号(无限远的距离)的阈值处理。

在本实施例中，特征在于根据距离图像内的被摄体(人物)的状况来切换发光部11与受光部12中的动作模式。即，设为根据在通过图像处理部17得到的距离图像d内是否存在作为检测对象的人物，来切换省电动作模式与高清动作模式。具体而言，从图像处理部17对发光强度控制部18和像素相加控制部19发送控制信号，发光强度控制部18调整发光部11的发射光的强度，像素相加控制部19切换受光部12中的像素相加处理。

图4是说明发光部11与受光部12的动作状态的图。作为动作模式设定(a)省电模式与(b)高清模式。在(a)的省电模式下抑制光源的耗电，因此通过发光部11减少每单位时间的发光脉冲数、或者减少脉冲振幅。通过受光部12弥补2维传感器的各像素中的检测信号的低下，因此通过加上相邻的多个像素产生的电子，来确保距离测量所需的信号电平。即，针对2维排列的像素，加上在水平方向或者垂直方向或者两方向相邻的像素信号。在图例中加上2x2＝4个像素信号来视为1个像素的信号，但是也可以根据被摄体的状况来适当设定相加率(加算方向)。例如针对位于远距离的被摄体，由于检测信号低下，因此进一步增大相加率。

另一方面，在(b)的高清模式中为了提高光源的发射光强度，因此通过发光部11增加每单位时间的发光脉冲数、或者增大脉冲振幅。由此，每个像素的单位时间的检测信号电平变大，s/n比提高。通过受光部12减小像素相加中的相加率，来提高2维方向的分辨率。在图例中，以各像素单位(1x1)来进行检测。此外，像素相加处理可以根据被摄体的位置等在图像内划分为多个区域，并使每个区域的相加率都不同。

如此，在本实施例中，在2个动作模式(省电模式/高清模式)的切换中，组合发光部11的发光脉冲与受光部12的像素相加处理的动作来实现，但是组合的内容并不限定于此，也可以适当进行变更。

图5是说明对应于被摄体的状况的动作模式的切换的图。通常的测量动作在图4的(a)的省电模式下进行，并通过图像处理部17生成距离图像。即，减弱发射光的强度来抑制光源的耗电。当在距离图像中不存在作为检测对象的被摄体(例如人物)时，直接继续在省电模式下的测量。

当在距离图像中存在作为检测对象的被摄体(人物)时，切换为图4的(b)的高清模式来进行测量。即增强发射光的强度，以高亮度来进行拍摄。由此，可以在通常时减少耗电，在被摄体(人物)检测时以高精度来进行检测。在这里，也可以通过差分图像来判断是否存在被摄体(例如人物)。

此外，存在以下情况：在以高清模式进行测量过程中，由于从距离测量装置1到被摄体的距离较近、或者被摄体的反射率较高，受光部12的传感器饱和。在像这样的情况下，设返回至省电模式，或者使发光脉冲或者像素相加处理的某一个返回至省电模式的动作。

图6是表示本实施例中的距离测量的流程的流程图。通过距离测量装置1的cpu控制图1的各部的动作来执行以下所示的图像处理。以下，按照步骤来进行说明。

s101：将初始状态的动作模式设定为省电模式。即，发光强度控制部18将发光部11的发射光的强度设定得小，像素相加控制部19将受光部12的像素相加率设定得大。s102：通过tof照相机10，取得位于预先设定的范围内的被摄体图像a。

s103：背景图像获取部14判定是否接收到背景图像的获取指示。背景图像的获取指示可以通过用户的操作来进行，或者在预先决定的时刻自动地进行指示。例如在检测店铺内的顾客的移动时，在营业前的时刻获取背景图像即可。当存在获取指示时前进至s104，当不存在指示时前进至s105。s104：将当前的被摄体图像a作为背景图像b，保存至背景图像存储部15。之后，返回至s102，并重复被摄体图像a的取得。

s105：差分器16从tof照相机10的被摄体图像a去除背景图像存储部15的背景图像b，生成差分图像c。此时，还去除包含在被摄体图像中的噪声成分。s106：图像处理部17基于差分图像c的距离数据进行色彩处理等，生成距离图像d并输出至外部装置。

s107：图像处理部17判断在距离图像d(或者差分图像c)中是否存在物体。如果存在物体则前进至s108，如果不存在物体则返回至s102，并重复被摄体图像a的取得。s108：在存在物体时，将动作模式从省电模式切换为高清模式。即，发光强度控制部18将发光部11的发射光的强度设定得大，像素相加控制部19将受光部12的像素相加率设定得小。由此，易于在后述的s112中判断物体是否是人物。

s109：通过tof照相机10，以高清模式取得被摄体图像a’。s110：通过差分器16，从tof照相机10的被摄体图像a’去除背景图像存储部15的背景图像b，生成差分图像c’。此外，当被摄体图像a’与背景图像b的像素数不同时，对背景图像b实施放大或者缩小处理，使与被摄体图像a’成为相同的像素数。

s111：图像处理部17基于差分图像c’的距离数据进行色彩处理等，生成距离图像d’并输出至外部装置。s112：图像处理部17判断在距离图像d’(或者差分图像c’)中存在的物体是否是检测对象的人物。在人物判断中，能够利用公知的图像识别技术。如果是人物则返回至s109，并通过高清模式重复被摄体图像a’的取得。如果不是人物则返回至s101，并将动作模式切换为省电模式来重复被摄体图像a的取得。

通过以上的流程，能够在被摄体图像内存在作为检测对象的人物时以高清模式来进行测量，在不存在时以省电模式来进行测量。此外，在图6中将初始状态的动作模式设定为省电模式，但是也能够从高清模式开始。

图7是表示本实施例中的距离测量的流程的其他的流程图。s201：将初始状态的动作模式设定为高清模式。即，发光强度控制部18将发光部11的发射光的强度设定得大，像素相加控制部19将受光部12的像素相加率设定得小。s202：通过tof照相机10，取得位于预先所设定的范围内的被摄体图像a。

s203：背景图像获取部14判断是否接收到背景图像的获取指示。当接收到获取指示时前进至s204，当未接收到指示时前进至s205。s204：将当前的被摄体图像a作为背景图像b，保存至背景图像存储部15。之后返回至s202，并重复被摄体图像a的取得。

s205：差分器16从tof照相机10的被摄体图像a去除背景图像存储部15的背景图像b，生成差分图像c。此外，当被摄体图像a与背景图像b的像素数不同时，对背景图像b实施放大或者缩小处理，使与被摄体图像a成为相同的像素数。s206：图像处理部17基于差分图像c的距离数据进行色彩处理等，生成距离图像d并输出至外部装置。

s207：图像处理部17判断在距离图像d(或者差分图像c)中是否存在物体。如果存在物体则前进至s208，如果不存在物体则前进至s209。s208：图像处理部17判断在距离图像d(或者差分图像c)中存在的物体是否是检测对象的人物。如果是人物则返回至s201，并在高清模式下重复被摄体图像a的取得。如果不是人物则前进至s209。

s209：当距离图像d(或者差分图像c)中不存在物体、或者物体不是人物时，将动作模式从高清模式切换为省电模式。即，发光强度控制部18将发光部11的发射光的强度设定得小，像素相加控制部19将受光部12的像素相加率设定得大。之后返回至s202，并在省电模式下重复被摄体图像a的取得。

在该流程中，能够在被摄体图像内存在作为检测对象的人物时以高清模式来进行测量，在不存在时以省电模式来进行测量。

根据实施例1，由于根据被摄体的状况来切换高清模式与省电模式，因此能够提供消除光源的耗电的浪费并且能够确保所需的距离测量性能的距离测量装置。

【实施例2】

在实施例2中，说明使多个距离测量装置协作工作的距离测量系统。

图8是表示实施例2所涉及的距离测量系统6的结构图。在这里表示将4台距离测量装置1(tof1～tof4)连接到pc等控制器5的结构。在各距离测量装置中，如实施例1中的说明所述，作为动作模式可以切换省电模式与高清模式。控制器5接收通过各距离测量装置1(tof1～tof4)生成的距离图像，来针对各个距离测量装置指示动作模式的切换。例如，根据各距离测量装置的设置位置、通过各距离测量装置检测出的被摄体的状况，切换各个距离测量装置的动作模式，并作为距离测量系统6整体抑制耗电，并进行高效的测量。

图9表示应用了图8的距离测量系统的店铺7的例子。在该例子中，在店铺7内的四角设置4台距离测量装置(tof1～tof4)，并通过控制器5控制各距离测量装置。其中tof1设置在入口附近，tof4设置在收银台附近。在该例的情况下，为了高效地检测店铺7内的人物(顾客)，如下地控制控制器5。

(1)当只有入口设置的tof1对人物进行检测时，仅将tof1换至高清模式，其他的设为省电模式。(2)如果入口的tof1检测出人物，则将全部的tof1～4换至高清模式。(3)当tof1检测出人物时，将tof1换至高清模式，并且与之相伴地使将检测对象范围设为预想人物的移动的相邻路径的tof2与tof4换至高清模式。

(4)由于tof1与tof2靠近入口，因此容易受到阳光、汽车车灯等的干扰光，因此始终设为高清模式。(5)店员在靠近收银台的tof4的可能性较高，且由于等待结账的客人会排队等待，因此始终设为高清模式。(6)设置在最里侧的tof3进行人物检测频率最低，因此使用寿命短而廉价的光源。

如此，根据实施例2，在使用多个距离测量装置的距离测量系统中，根据各距离测量装置的设置位置、通过各距离测量装置检测出的被摄体的状况，切换各个距离测量装置的动作模式，因此作为系统整体能够抑制耗电且进行高效的测量。

在以上描述的实施例中，对作为被摄体以人物为检测对象的情况进行了说明，但是也能够同样地应用于以人物以外的物体为检测对象的情况。