视觉传感器系统、控制方法及程序与流程

本发明涉及一种视觉传感器系统、控制方法及程序。

背景技术：

近年来，正开发下述技术，即：利用相机对从投影仪(projector)投影了图案光的被摄体进行拍摄，使用所得的图像来测量被摄体的表面的三维形状。

日本专利特开2016-99257号公报(专利文献1)中公开了下述技术，即：考虑到因照明等而产生的阴影的影响，多次进行三维形状的测量。具体而言，在将相机配置成第一位置姿势时进行第一次拍摄后，将相机配置成第二位置姿势，此第二位置姿势是以对象物体为中心在包含投影仪的光轴和相机的光轴的面内旋转规定角度而成。

现有技术文献

专利文献

专利文献1：日本专利特开2016-99257号公报

专利文献2：日本专利特开2007-114071号公报

专利文献3：日本专利特开2012-79294号公报

技术实现要素：

发明所要解决的问题

日本专利特开2016-99257号公报所记载的技术中，将从第一位置姿势旋转了规定角度的位置姿势决定为第二位置姿势。即，相机从第一位置姿势向第二位置姿势的移动量固定。但是，阴影的状况视被摄体的状态而变化。因此，第二位置姿势未必为容易排除阴影的影响的位置姿势。

本公开是着眼于所述问题点而成，其目的在于提供一种视觉传感器系统、控制方法及程序，能以容易排除阴影的影响的方式来决定摄像部的位置姿势。

解决问题的技术手段

本公开的一例中，视觉传感器系统包括摄像部、移动机构、测量部及移动控制部。摄像部对被摄体进行拍摄。移动机构将摄像部以所指示的姿势配置于所指示的位置。测量部使用由摄像部所拍摄的图像，来测量被摄体的表面的三维形状。移动控制部基于测量形状来决定应再次拍摄被摄体的第二位置及第二姿势，并向移动机构作出指示，所述测量形状是使用将摄像部配置成第一位置及第一姿势时的图像通过测量部所测量的、被摄体的三维形状。三维形状是由距基准面的高度信息表示。移动控制部从测量形状中提取高度信息缺失的缺失区域，基于测量形状中的缺失区域的周围的高度信息，来决定第二位置及第二姿势。

缺失区域的周围的高度信息与缺失区域内的被摄体的三维形状有关的可能性高。因此，根据所述公开，通过使用缺失区域的周围的高度信息，从而可决定容易获取缺失区域内的高度信息的、第二位置及第二姿势。即，能以容易排除阴影的影响的方式来决定摄像部的位置姿势。

本公开的一例中，移动控制部以可获取对象线段的高度信息的方式来决定第二位置及第二姿势，所述对象线段将测量形状中的缺失区域的周围的两点连结。

根据所述公开，通过将摄像部配置成可获取对象线段的高度信息的第二位置及第二姿势，从而可获取缺失区域内的高度信息的可能性变高。

本公开的一例中，移动控制部求出对象线段、与和配置成第一位置及第一姿势的摄像部的光轴垂直的第一平面所成的第一角度。进而，移动控制部将第一角度、与根据摄像部的特性及被摄体而预先规定的第二角度的差，决定为从第一姿势向第二姿势的移动角度。进而，移动控制部将下述姿势决定为第二姿势，所述姿势是从第一姿势向对象线段与摄像部的光轴所成的角度接近90度的方向，沿着包含对象线段且垂直于基准面的第二平面以移动角度旋转而得。

根据所述公开，可抑制从第一姿势向可获取对象线段的高度信息的第二姿势的旋转移动量。通过抑制旋转移动量，从而可缩短摄像部的移动所需要的时间。

本公开的一例中，将对象线段投影至基准面而得的线段平行于预定的方向。根据所述公开，移动控制部容易决定对象线段。

本公开的一例中，两点中的一个为测量形状中，缺失区域的周围中高度信息最大的点。两点中的另一个为缺失区域的周围中高度信息最小的点。

根据所述公开，移动控制部可决定与第一平面所成的第一角度最大的对象线段，所述第一平面和配置成第一位置及第一姿势的摄像部的光轴垂直。其结果为，通过将摄像部配置成第二位置及第二姿势，从而可算出缺失区域的z坐标值的可能性变高。

本公开的一例中，移动控制部以可获取近似平面中与缺失区域重叠的对象区域的高度信息的方式来决定第二位置及第二姿势，所述近似平面与测量形状中的缺失区域的周围的至少三点近似。

根据所述公开，通过将摄像部配置成可获取对象区域的高度信息的第二位置及第二姿势，从而可获取缺失区域内的高度信息的可能性变高。

本公开的一例中，移动控制部求出对象区域、与和配置成第一位置及第一姿势的摄像部的光轴垂直的第一平面所成的第一角度。移动控制部将第一角度、与根据摄像部的特性及被摄体而预先规定的第二角度的差，决定为从第一姿势向第二姿势的移动角度。移动控制部将下述姿势决定为第二姿势，所述姿势是从第一姿势向对象区域与摄像部的光轴所成的角度接近90度的方向，沿着包含对象区域的法线且垂直于基准面的第二平面以移动角度旋转而得。

根据所述公开，可抑制从第一姿势向可获取对象区域的高度信息的第二姿势的旋转移动量。通过抑制旋转移动量，从而可缩短摄像部的移动所需要的时间。

本公开的一例中，移动控制部以摄像部的光轴穿过作为两点中高度信息较高的点的基准点的方式，来决定第二位置。或者，移动控制部也能以摄像部的光轴穿过作为两点中高度信息较低的点的基准点的方式，来决定第二位置。或者，移动控制部也能以摄像部的光轴穿过作为两点的中点的基准点的方式，来决定第二位置。或者，移动控制部也能以摄像部的光轴穿过对象区域内的基准点的方式，来决定第二位置。根据所述公开，可决定容易获取缺失区域内的高度信息的第二位置。

本公开的一例中，移动控制部以基准点与第一位置的距离、和基准点与第二位置的距离相同的方式，来决定第二位置。根据所述公开，可使根据将摄像部配置成第一位置及第一姿势时的图像所测量的缺失区域的周围的高度信息的测量精度、与根据将摄像部配置成第二位置及第二姿势时的图像所测量的所述缺失区域内的高度信息的测量精度一致。

本公开的一例中，视觉传感器系统包括：摄像部，拍摄被摄体；移动机构，将摄像部以所指示的姿势配置于所指示的位置；以及测量部，使用由摄像部所拍摄的图像，来测量被摄体的表面的三维形状。三维形状是由距基准面的高度信息表示。视觉传感器系统的控制方法包括第一步骤及第二步骤。第一步骤为从测量形状中提取高度信息缺失的缺失区域的步骤，所述测量形状是使用将摄像部配置成第一位置及第一姿势时的图像通过测量部所测量的、被摄体的三维形状。第二步骤为基于测量形状中的缺失区域的周围的高度信息，来决定应再次拍摄被摄体的第二位置及第二姿势的步骤。根据所述公开，能以容易排除阴影的影响的方式来决定摄像部的位置姿势。

本公开的一例中，用于支持视觉传感器系统的程序使计算机执行所述第一步骤及第二步骤。根据所述公开，也能以容易排除阴影的影响的方式来决定摄像部的位置姿势。

发明的效果

根据本公开，能以容易排除阴影的影响的方式来决定摄像部的位置姿势。

附图说明

图1为表示实施方式的视觉传感器系统的总体结构的示意图。

图2为表示由三维形状数据转换而得的距离图像的一例的图。

图3为表示缺失区域及其周边的高度分布的图。

图4为表示图1所示的移动控制部的硬件结构的示意图。

图5为表示图1所示的移动控制部的内部结构的一例的框图。

图6为表示设定于距离图像的基准线的一例的图。

图7为表示图6所示的基准线的高度分布的图。

图8为表示从投影仪照射的图案光的路径的一例的图。

图9为表示图1所示的视觉传感器系统的处理流程的一例的流程图。

图10为用于对图9中的决定第二位置及第二姿势的处理的子路径进行说明的流程图。

图11为表示对象线段的决定方法的另一例的图。

图12为表示变形例4的移动控制部的内部结构的框图。

图13为表示对象区域的一例的图。

图14为表示获取单元的旋转位置的示例的图。

具体实施方式

一方面参照附图一方面对本发明的实施方式加以详细说明。此外，对图中的相同或相应部分标注相同符号，不重复进行其说明。

§1适用例

参照图1，对适用本发明的场景的一例加以说明。图1为表示实施方式的视觉传感器系统的总体结构的示意图。例如，视觉传感器系统1将设置于规定位置的托盘(palette)102上堆积的多个对象物100总体作为被摄体101，来测量被摄体101的表面的三维形状。由视觉传感器系统1测量的三维形状被用于各种用途。例如，未图示的握持机器人基于由视觉传感器系统1所测量的三维形状，从多个对象物100中选择位置最高的对象物100，握持所选择的对象物100并搬送至其他场所。

如图1所示，视觉传感器系统1包括获取单元10、机器人20、测量部30、合成部40及移动控制部50。

获取单元10获取用于测量被摄体101的表面的三维形状的图像。获取单元10为将向被摄体101投影图案光的投影仪11、与拍摄经图案光投影的被摄体101的相机12一体化而成的单元。图案光例如为条纹图案。

机器人20是使获取单元10移动的移动机构，例如为垂直多关节机器人。在机器人20的前端固定有获取单元10。机器人20以将相机12以所指示的姿势配置于所指示的位置的方式，使获取单元10移动。

测量部30为下述图像处理装置，即：对由相机12所拍摄的图像进行处理，由此测量被摄体101的表面的三维形状，并生成表示所测量的三维形状的三维形状数据。

三维形状例如是由xyz坐标系表示，所述xyz坐标系将作为托盘102的上表面的基准面103作为xy平面，将z轴设为与xy平面垂直的轴。z坐标值为从基准面103到被摄体101的表面的高度信息。三维形状数据包含所测量的三维形状的各点的xyz坐标值。此外，预先进行使相机12的坐标系与机器人20的坐标系对应的校正(calibration)。测量部30可基于校正数据和机器人20的位置及姿势，由相机12的坐标系的值来计算作为绝对坐标系的xyz坐标值。

图2为表示由通过测量部30所测量的三维形状转换而得的距离图像的一例的图。距离图像是通过将三维形状数据的z坐标值(高度信息)转换为亮度值从而获得。图2中，亮度越大，表示z坐标值越大。

图2中，缺失区域60为三维形状数据中z坐标值缺失的区域，以最小的亮度表示。在被摄体101中成为阴影的部分，未从投影仪11充分投影图案光。测量部30无法测量未充分投影图案光的部分的z坐标值。即，缺失区域60对应于未充分投影图案光的阴影区域。

回到图1，合成部40将使用将相机12配置成第一位置及第一姿势时的图像所测量的三维形状(以下称为“第一测量形状”)、与使用将相机12配置成第二位置及第二姿势时的图像所测量的三维形状(以下称为“第二测量形状”)进行合成。具体而言，合成部40将表示第一测量形状的三维形状数据中与缺失区域60(参照图2)对应的部分的z坐标值，置换为表示第二测量形状的三维形状数据中相同区域的z坐标值。

移动控制部50通过向机器人20指示相机12的位置及姿势，从而控制获取单元10的移动。

移动控制部50在第一测量形状中包含缺失区域的情况下，决定应再次拍摄被摄体101的相机12的第二位置及第二姿势。移动控制部50向机器人20指示所决定的第二位置及第二姿势。

移动控制部50根据第一测量形状，使从第一位置及第一姿势向第二位置及第二姿势的移动量不同。具体而言，移动控制部50从第一测量形状中提取缺失区域60(参照图2)，基于第一测量形状中的缺失区域60的周围的z坐标值，来决定第二位置及第二姿势。缺失区域60的周围的z坐标值与缺失区域60内的被摄体101的三维形状有关的可能性高。因此，通过使用缺失区域60的周围的z坐标值，从而可决定容易获取缺失区域60内的z坐标值的、第二位置及第二姿势。

移动控制部50例如以可获取对象线段的z坐标值的方式来决定第二位置及第二姿势，所述对象线段将第一测量形状中的缺失区域60的周围的两点连结。

图3为表示缺失区域及其周边的高度分布的图。图3中，点62、点63为表示相对于基准面103的高度信息的z坐标值缺失的缺失区域60的周围的两点。缺失区域60内的被摄体101的三维形状未知，但通过将相机12配置成可获取将点62与点63连结的对象线段64的z坐标值的、第二位置及第二姿势，从而可获取缺失区域60内的z坐标值的可能性变高。

§2具体例

接下来，对本实施方式的视觉传感器系统的各结构的一例加以说明。

＜a.测量部＞

测量部30包含中央处理器(centralprocessingunit，cpu)、随机存取存储器(randomaccessmemory，ram)、只读存储器(readonlymemory，rom)、辅助存储装置、通信接口(interface，i/f)等，进行图像处理。辅助存储装置例如包含硬盘驱动器(harddiscdrive)、固态驱动器(solidstatedrive)等，存储cpu执行的程序等。

测量部30对由相机12所拍摄的图像进行处理，测量被摄体101的相机12侧的表面的三维形状，生成表示所测量的三维形状的三维形状数据。具体而言，测量部30算出被摄体101的表面上的各点的xyz坐标值。测量部30使用表示相机12的位置及姿势的位置姿势信息，将相机12的坐标系转换为机器人20的xyz坐标系，由此算出被摄体101的三维形状数据。如上文所述，xyz坐标系为以xy平面与作为托盘102的上表面的基准面103一致，z轴与xy平面正交的方式设定的机器人20的坐标系。测量部30例如只要使用相移法那样的众所周知的方法(例如日本专利特开2007-114071号公报(专利文献2))来算出z坐标值即可。或者，测量部30也可使用结构化照明式的众所周知的方法(例如日本专利特开2012-79294号公报(专利文献3))来算出z坐标值。

关于无法辨识从投影仪11投影的图案光的区域，测量部30不算出z坐标值。

＜b.移动控制部的硬件结构＞

图4为表示移动控制部的硬件结构的示意图。移动控制部50包含中央处理器(centralprocessingunit，cpu)501、主存储器502、硬盘503、显示器504、输入器件505及通信接口(i/f)506。这些各部经由总线500而相互可数据通信地连接。

cpu501通过将安装于硬盘503的包含控制程序507的程序(代码)在主存储器502展开，并以规定顺序执行这些程序(代码)，从而实施各种运算。主存储器502典型而言为动态随机存取存储器(dynamicrandomaccessmemory，dram)等易失性的存储装置。

硬盘503为移动控制部50所包括的内部存储器，且为非易失性的存储装置。硬盘503存储控制程序507等各种程序。此外，也可除了硬盘503以外，或代替硬盘503，而采用闪速存储器等半导体存储装置。

控制程序507为表示用于控制机器人20的顺序的程序。控制程序507等各种程序无需保存于硬盘503，也可保存于可与移动控制部50通信的服务器、或可与移动控制部50直接连接的外部存储器。例如，以将移动控制部50所执行的各种程序及各种程序所用的各种参数保存于外部存储器的状态流通，移动控制部50从所述外部存储器读出各种程序及各种参数。外部存储器为以计算机等装置、机械等可读取所记录的程序等信息的方式，通过电作用、磁作用、光学作用、机械作用或化学作用存储所述程序等信息的介质。或者，也可将从与移动控制部50可通信地连接的服务器等下载的程序或参数安装于移动控制部50。

显示器504例如为液晶显示器。输入器件505例如包含鼠标(mouse)、键盘(keyboard)、触摸平板(touchpad)等。

通信i/f506在外部的装置与cpu501之间交换各种数据。此外，通信i/f506也可在服务器与cpu501之间交换数据。通信i/f506包含与网络对应的硬件，所述网络用于在与外部的装置之间交换各种数据。

此外，本实施方式的控制程序507也可组入至其他程序的一部分而提供。而且，也可代替性地由专用的硬件电路来进行通过执行控制程序507从而提供的处理的一部分或全部。

＜c.移动控制部的内部结构＞

图5为表示移动控制部的内部结构的一例的框图。图5所示的示例的移动控制部50包括指示值生成部51及移动目的地决定部52。

指示值生成部51生成相机12的位置及姿势的指示值，并将所生成的指示值输出至机器人20。指示值包含相机12的xyz坐标值、及相机12的拍摄方向的单位向量的xyz成分。进而，指示值生成部51将所生成的指示值作为相机12的位置姿势信息而输出至测量部30。

指示值生成部51首先生成与第一位置及第一姿势对应的第一指示值，并将所生成的第一指示值输出至机器人20。第一位置及第一姿势是预先规定。第一位置例如为距托盘102(参照图1)的中心点规定距离的上方的位置。第一姿势例如为相机12的拍摄方向朝向铅垂方向下方的姿势。

指示值生成部51生成第一指示值后，生成与由移动目的地决定部52所决定的第二位置及第二姿势对应的第二指示值，将所生成的第二指示值输出至机器人20。

移动目的地决定部52基于使用将相机12配置成第一位置及第一姿势时的图像所测量的、被摄体101的表面的三维形状(第一测量形状)，来决定应再次拍摄被摄体101的第二位置及第二姿势。

移动目的地决定部52包含距离图像生成部53、标注(labeling)部54、对象线段决定部55、第一角度运算部56、第二角度设定部57、姿势决定部58及位置决定部59。

距离图像生成部53由表示通过测量部30所测量的第一测量形状的三维形状数据来生成距离图像数据。距离图像生成部53通过将表示第一测量形状的三维形状数据的z坐标值转换为亮度值，从而生成距离图像数据。此外，距离图像生成部53将未由测量部30算出z坐标值的区域的亮度设定为最小值。

标注部54对由距离图像生成部53所生成的距离图像数据实施标注处理，由此提取具有最小值的亮度的像素沿纵向、横向或倾斜方向连续的缺失区域60(参照图2)。

对象线段决定部55决定第一测量形状中将缺失区域60的周围的两点连结的对象线段64(参照图3)。

在通过标注部54提取了多个缺失区域60的情况下，对象线段决定部55从多个缺失区域60中选择一个缺失区域60，仅对所选择的缺失区域60决定对象线段64。从多个缺失区域60中选择一个缺失区域60的算法是根据由视觉传感器系统1所测量的三维形状的利用方法而预先规定。例如，在为了从多个对象物100中选择位置最高的对象物100而利用三维形状的情况下，对象线段决定部55只要从多个缺失区域60中选择周围的高度最高的缺失区域60即可。

参照图6及图7，对对象线段决定部55决定对象线段64的方法加以说明。图6为表示设定于距离图像的基准线的一例的图。图7为表示图6所示的基准线的高度分布的图。

如图6所示，对象线段决定部55将距离图像数据所示的距离图像中，穿过缺失区域60的重心61且平行于x轴方向的直线决定为基准线65。对象线段决定部55从基准线65上的点中选择邻接于缺失区域60的两个点67、68。点67、点68为距离图像中的缺失区域60的周围的点。

如图7所示，对象线段决定部55通过将亮度值反转换为z坐标值，从而分别确定与点67、点68对应的xyz坐标系的点62、点63。对象线段决定部55将连结点62、点63的线段决定为对象线段64。基准线65平行于x轴方向，因而将对象线段64投影至基准面103而得的线段平行于x轴方向。

如图7所示，第一角度运算部56运算由对象线段决定部55所决定的对象线段64、与和配置成第一位置及第一姿势的相机12的光轴13垂直的第一平面66所成的角度(以下称为“第一角度”)θa。如上文所述，第一姿势为相机12的拍摄方向朝向铅垂方向下方的姿势。因此，与配置成第一位置及第一姿势的相机12的光轴13垂直的第一平面66平行于xy平面。图7所示的示例中，作为xy平面的基准面103与第一平面66一致。

回到图5，第二角度设定部57设定可通过测量部30算出z坐标值的被摄体101的表面、与和相机12的光轴垂直的平面所成的角度的上限(以下称为“第二角度θb”)。

图8为表示从投影仪11照射的图案光的路径的一例的图。图8(a)中，表示被摄体101的表面与和相机12的光轴垂直的平面14平行时的、图案光的路径。图8(b)中，表示被摄体101的表面相对于和相机12的光轴垂直的平面14而以角度θmax倾斜时的、图案光的路径。如图8所示，来自投影仪11的入射光在被摄体101的表面，进行具有与出射方向相应的强度分布的扩散反射。因此，随着被摄体101的表面倾斜，相机12可接收的反射光减少。若被摄体101的表面、与和相机12的光轴13垂直的平面14所成的角度为角度θmax以下，则可维持规定的信噪比(signaltonoiseratio，s/n比)。另一方面，若被摄体101的表面、与和相机12的光轴13垂直的平面14所成的角度超过角度θmax，则测量部30无法对被摄体101的表面高精度地算出z坐标值(高度信息)。因此，第二角度设定部57将角度θmax设定为第二角度θb。

角度θmax视相机12的特性(例如视角(angleofview))而不同。进而，角度θmax也视被摄体101的材质而不同。其原因在于，图案光的反射性能及散射性能视被摄体101的材质而不同。因此，第二角度设定部57预先存储使相机12的特性及被摄体101的材质与角度θmax对应的表，根据所输入的相机12的特性及被摄体101的材质来设定第二角度θb。

姿势决定部58以可算出对象线段64(参照图7)的z坐标值的方式，来决定相机12的第二姿势。为了获取对象线段64的z坐标值，优选和相机12的光轴13垂直的平面与对象线段64所成的角度为第二角度θb以下。因此，姿势决定部58将满足以下的式(1)的θw决定为从第一姿势向第二姿势的移动角度θw。

0≦θa－θw≦θb···式(1)例如，姿势决定部58将第一角度θa与第二角度θb的差(θa－θb)决定为移动角度θw。由此，可将从第一姿势向第二姿势的旋转移动量抑制为最小限度。

姿势决定部58将下述姿势决定为第二姿势，所述姿势是使第一姿势沿着包含对象线段64且垂直于基准面103(即xy面)的第二平面(即，图7的纸面，平行于xz面的面)旋转移动而得。具体而言，姿势决定部58将下述姿势决定为第二姿势，所述姿势是从第一姿势向对象线段64(参照图7)与相机12的光轴13所成的角度接近90度的方向，沿着第二平面以移动角度θw旋转而得。

位置决定部59以可算出对象线段64(参照图7)的z坐标值的方式，来决定相机12的第二位置。具体而言，位置决定部59将满足以下的条件a、条件b的相机12的位置决定为第二位置。

条件a：在由姿势决定部58所决定的第二姿势下，相机12的光轴穿过对象线段64(参照图7)的两端的两个点62、63中z坐标值较大的点(即，高度信息较高的点)。

条件b：从对象线段64(参照图7)的两端的两个点62、63中z坐标值较大的点(即，高度信息较高的点)(基准点)到第一位置的距离、与从所述点到第二位置的距离相同。

如上文所述，以可算出对象线段64的z坐标值的方式，来决定第二位置及第二姿势。通过将相机12配置成可算出对象线段64的z坐标值的、第二位置及第二姿势，从而可算出缺失区域60内的z坐标值的可能性变高。

＜d.视觉传感器系统的处理流程＞

图9为表示视觉传感器系统的处理流程的一例的流程图。首先步骤s1中，将相机12配置成第一位置及第一姿势。步骤s2中，投影仪11向被摄体101投影图案光。步骤s3中，相机12对经图案光投影的被摄体101进行拍摄。步骤s4中，测量部30使用步骤s3中所拍摄的图像(即，将相机12配置成第一位置及第一姿势时的图像)，来测量被摄体101的表面的三维形状(第一测量形状)。

接下来，步骤s5中，距离图像生成部53由表示第一测量形状的三维形状数据来生成距离图像数据。步骤s6中，标注部54对距离图像数据实施标注处理。步骤s7中，判断距离图像数据所示的距离图像中是否包含缺失区域。在距离图像中不含缺失区域的情况下(步骤s7中为否(no))，步骤s8中，合成部40输出表示第一测量形状的三维形状数据作为测量结果数据。步骤s8后，视觉传感器系统1结束处理。

在距离图像中包含缺失区域的情况下(步骤s7中为是(yes))，步骤s9中，移动目的地决定部52基于第一测量形状，决定应再次拍摄被摄体101的第二位置及第二姿势。

接下来，步骤s10中，将相机12配置成第二位置及第二姿势。步骤s11中，投影仪11向被摄体101投影图案光。步骤s12中，相机12对经图案光投影的被摄体101进行拍摄。步骤s13中，测量部30使用步骤s10中所拍摄的图像(即，将相机12配置成第二位置及第二姿势时的图像)，来测量被摄体101的三维形状(第二测量形状)。

接下来，步骤s14中，合成部40将表示第一测量形状的三维形状数据与表示第二测量形状的三维形状数据合成，由此生成测量结果数据，将所生成的测量结果数据输出。步骤s14后，视觉传感器系统1结束处理。

＜e.移动目的地决定部的处理流程＞

图10为对图9中的决定第二位置及第二姿势的处理(步骤s9)的子路径进行说明的流程图。

步骤s21中，对象线段决定部55在从距离图像提取的缺失区域中，选择周围的高度最高的缺失区域。此外，在从距离图像中提取的缺失区域仅为一个的情况下，对象线段决定部55选择所述缺失区域。

步骤s22中，对象线段决定部55决定第一测量形状中将所选择的缺失区域的周围的两点连结的对象线段。步骤s23中，第一角度运算部56运算对象线段、与和配置成第一位置及第一姿势的相机12的光轴垂直的第一平面所成的第一角度θa。步骤s24中，第二角度设定部57根据相机12的特性及被摄体101的材质来设定第二角度θb。

接下来，步骤s25中，姿势决定部58使用满足式(1)(0≦θa－θw≦θb)的移动角度θw，决定相机12的第二姿势。步骤s26中，位置决定部59以光轴穿过对象线段的两端的两点中z坐标值较大的点(即，高度信息较高的点)的方式，来决定相机12的第二位置。

＜f.作用、效果＞

如以上所述，视觉传感器系统1的移动控制部50基于使用将相机12配置成第一位置及第一姿势时的图像通过测量部30所测量的第一测量形状，来决定应再次拍摄被摄体的第二位置及第二姿势。移动控制部50向机器人20指示所决定的第二位置及第二姿势。移动控制部50从第一测量形状中，提取作为高度信息的z坐标值缺失的缺失区域60。移动控制部50基于第一测量形状中的缺失区域60的周围的z坐标值，来决定第二位置及第二姿势。

缺失区域60的周围的z坐标值与缺失区域60内的被摄体101的三维形状有关的可能性高。因此，通过使用缺失区域60的周围的z坐标值，从而可决定容易获取缺失区域60内的z坐标值的、第二位置及第二姿势。

移动控制部50以可获取对象线段64的z坐标值的方式来决定第二位置及第二姿势，所述对象线段64将第一测量形状中的缺失区域60的周围的两点62、63连结。通过将相机12配置成可获取将点62与点63连结的对象线段64的z坐标值的、第二位置及第二姿势，从而可获取缺失区域60内的z坐标值的可能性变高。

移动控制部50求出对象线段64、与和配置成第一位置及第一姿势的相机12的光轴13垂直的第一平面66所成的第一角度θa。移动控制部50将第一角度θa、与根据相机12的特性及被摄体101而预先规定的第二角度θb的差(θa－θb)，决定为从第一姿势向第二姿势的移动角度。移动控制部50将下述姿势决定为第二姿势，所述姿势是使第一姿势向对象线段64与相机12的光轴13所成的角度接近90度的方向，沿着包含对象线段64且垂直于基准面103的第二平面以移动角度θw旋转而得。由此，可将从第一姿势向可算出对象线段64的z坐标值的第二姿势的旋转移动量抑制于最小限度。

将对象线段64投影至基准面103而得的线段平行于预定的方向(此处为x轴方向)。由此，对象线段决定部55容易决定对象线段64。

＜g.变形例1＞

所述说明中，对象线段决定部55使用穿过缺失区域60的重心61且平行于x轴方向的基准线65，来决定对象线段64(参照图6)。但是，对象线段决定部55决定对象线段的方法不限定于此。

图11为表示对象线段决定部决定对象线段的方法的另一例的图。如图11所示，对象线段决定部55也可使用穿过缺失区域60的重心61且平行于y轴方向的基准线73，来决定对象线段。对象线段决定部55从基准线73上的点中，选择邻接于缺失区域60的两个点71、72。点71、点72为距离图像中的缺失区域60的周围的点。对象线段决定部55通过将亮度值反转换为z坐标值，从而确定与点71、点72对应的xyz坐标系的两点，将连结所述两点的线段决定为对象线段。基准线73平行于y轴方向，因而将对象线段64投影至基准面103而得的线段平行于y轴方向。

此时，姿势决定部58使相机12沿着包含对象线段且垂直于基准面103(即，xy平面)的第二平面(即，平行于yz面的面)旋转移动，由此决定第二姿势。具体而言，姿势决定部58将下述姿势决定为第二姿势，所述姿势是从第一姿势向对象线段与相机12的光轴所成的角度接近90度的方向，沿着第二平面(平行于yz面的面)以移动角度θw旋转而得。

或者，对象线段决定部55也可在距离图像中，选择缺失区域60的周围的点中亮度值最大的点74(即，z坐标值最大的点)、与亮度值最小的点75(即，z坐标值最小的点)。对象线段决定部55通过将亮度值反转换为z坐标值，从而确定与点74、点75对应的xyz坐标系的两点，将连结所述两点的线段决定为对象线段。所述两点为第一测量形状中，缺失区域60的周围的点中z坐标值(高度信息)最大的点和z坐标值最小的点。

由此，对象线段决定部55可决定与第一平面66(参照图7)所成的第一角度θa最大的对象线段，所述第一平面66和配置成第一位置及第一姿势的相机12的光轴13垂直。其结果为，通过将相机12配置成第二位置及第二姿势，从而可算出缺失区域60的z坐标值的可能性变高。

＜h.变形例2＞

所述说明中，位置决定部59以光轴穿过对象线段64的两端的点62、点63中z坐标值较大的点的方式，来决定相机12的第二位置。但是，位置决定部59也能以光轴穿过对象线段64的两端的点62、点63中z坐标值较小的点(即，高度信息较低的点)的方式，来决定相机12的第二位置。或者，位置决定部59也能以光轴穿过对象线段64的两端的点62、点63的中点的方式，来决定相机12的第二位置。

＜i.变形例3＞

第二角度设定部57也可将较角度θmax小预定的容限角度θα的角度(θmax－θα)设定为第二角度θb。由此，将相机12配置成第二位置及第二姿势时，和相机12的光轴垂直的平面与对象线段64所成的角度较角度θmax小容限角度θα以上。其结果为，容易算出缺失区域60的z坐标值。

＜j.变形例4＞

所述说明中，以可算出将第一测量形状中的缺失区域60的周围的两点连结的对象线段64的z坐标值的方式，来决定第二位置及第二姿势。但是，也可代替对象线段，而以可算出近似平面中与缺失区域重叠的对象区域的z坐标值的方式，来决定第二位置及第二姿势，所述近似平面与第一测量形状中的缺失区域60的周围的至少三点近似。

参照图12及图13，对变形例4的视觉传感器系统加以说明。图12为表示变形例4的移动控制部的内部结构的框图。图13为表示对象区域的一例的图。

如图12所示，变形例4的视觉传感器系统与图1所示的视觉传感器系统1相比较，在下述方面不同，即：代替图5所示的移动控制部50，而包括图11所示的移动控制部50a。移动控制部50a与移动控制部50相比较，在下述方面不同，即：代替对象线段决定部55、第一角度运算部56、姿势决定部58及位置决定部59，而包括对象区域决定部55a、第一角度运算部56a、姿势决定部58a及位置决定部59a。

如图13所示，对象区域决定部55a确定与第一测量形状中的缺失区域60的周围的至少三个点80近似的近似平面81。对象区域决定部55a将近似平面81中与缺失区域60重叠的区域决定为对象区域82。

第一角度运算部56a运算对象区域82、与和配置成第一位置及第一姿势的相机12的光轴13垂直的第一平面66所成的角度作为第一角度θa。

姿势决定部58a以可算出对象区域82的z坐标值的方式决定第二姿势。具体而言，姿势决定部58a与姿势决定部58同样地，将满足所述式(1)的θw决定为从第一姿势向第二姿势的移动角度θw。例如，姿势决定部58a将第一角度θa与第二角度θb的差(θa－θb)决定为移动角度θw。由此，可将从第一姿势向第二姿势的移动量抑制于最小限度。

姿势决定部58a使第一姿势沿着包含对象区域82的法线83且垂直于基准面103(即，xy面)的第二平面84旋转移动，由此决定第二姿势。具体而言，姿势决定部58a将下述姿势决定为第二姿势，所述姿势是从第一姿势向对象区域82与相机12的光轴13所成的角度接近90度的方向，沿着第二平面84以移动角度θw旋转而得。

位置决定部59a以可算出对象区域82的z坐标值的方式来决定第二位置。具体而言，位置决定部59a将满足以下的条件a'、条件b'的相机12的位置决定为第二位置。

条件a'：在由姿势决定部58a所决定的第二姿势下，相机12的光轴13穿过对象区域82内的点(例如对象区域82的重心)。

条件b'：从对象区域82内的点(例如对象区域的重心)到第一位置的距离、与从所述点到第二位置的距离相同。

如上文所述，以可算出对象区域82的z坐标值的方式，来决定第二位置及第二姿势。通过将相机12配置成可算出对象区域82的z坐标值的、第二位置及第二姿势，从而可算出缺失区域60内的z坐标值的可能性变高。

＜k.其他变形例＞

移动控制部50也能以相机12的光轴为中心而使获取单元10旋转。

图14为表示获取单元10的旋转位置的示例的图。图14(a)～(c)中，上部表示侧面图，下部表示平面图。例如，移动控制部50如图14(b)所示，以相机12的光轴13为中心，使获取单元旋转180°。或者，移动控制部50也可如图14(c)所示，以相机12的光轴13为中心，使获取单元旋转90°。由此，可变更来自投影仪11的图案光的入射方向。

＜附记＞

如以下所述，本实施方式包含如下公开。

(结构1)

一种视觉传感器系统(1)，包括：

摄像部(12)，拍摄被摄体(101)；

移动机构(20)，将所述摄像部(12)以所指示的姿势配置于所指示的位置；

测量部(30)，使用由所述摄像部(12)所拍摄的图像，来测量所述被摄体(101)的表面的三维形状；以及

移动控制部(50)，基于测量形状来决定应再次拍摄所述被摄体(101)的第二位置及第二姿势，并对所述移动机构(20)作出指示，所述测量形状是使用将所述摄像部(12)配置成第一位置及第一姿势时的图像通过所述测量部(30)所测量的、所述被摄体(101)的三维形状，并且

所述三维形状是由距基准面(103)的高度信息表示，

所述移动控制部(50)从所述测量形状中，提取所述高度信息缺失的缺失区域(60)，

基于所述测量形状中的所述缺失区域(60)的周围的所述高度信息，来决定所述第二位置及所述第二姿势。

(结构2)

根据结构1所记载的视觉传感器系统(1)，其中，所述移动控制部(50)以可获取对象线段(64)的高度信息的方式来决定所述第二位置及所述第二姿势，所述对象线段(64)将所述测量形状中的所述缺失区域(60)的周围的两点连结。

(结构3)

根据结构2所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)求出所述对象线段(64)、与和配置成所述第一位置及所述第一姿势的所述摄像部(12)的光轴垂直的第一平面(66)所成的第一角度，

将所述第一角度、与根据所述摄像部(12)的特性及所述被摄体(101)而预先规定的第二角度的差，决定为从所述第一姿势向所述第二姿势的移动角度，且

将下述姿势决定为所述第二姿势，所述姿势为从所述第一姿势向所述对象线段(64)与所述摄像部(12)的光轴所成的角度接近90度的方向，沿着包含所述对象线段(64)且垂直于所述基准面(103)的第二平面以所述移动角度旋转而得。

(结构4)

根据结构3所记载的视觉传感器系统(1)，其中，

将所述对象线段(64)投影至所述基准面(103)而得的线段平行于预定的方向。

(结构5)

根据结构2或3所记载的视觉传感器系统(1)，其中，

所述两点中的一点为所述测量形状中，所述缺失区域(60)的周围中所述高度信息最大的点，所述两点中的另一点为所述缺失区域(60)的周围中所述高度信息最小的点。

(结构6)

根据结构2所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以可获取近似平面(81)中与所述缺失区域(60)重叠的对象区域(82)的高度信息的方式，来决定所述第二位置及所述第二姿势，所述近似平面(81)与所述测量形状中的所述缺失区域(60)的周围的至少三点近似。

(结构7)

根据结构6所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)求出所述对象区域(82)、与和配置成所述第一位置及所述第一姿势的所述摄像部(12)的光轴垂直的第一平面(66)所成的第一角度，

将所述第一角度、与根据所述摄像部(12)的特性及所述被摄体(101)而预先规定的第二角度的差，决定为从所述第一姿势向所述第二姿势的移动角度，且

将下述姿势决定为所述第二姿势，所述姿势为从所述第一姿势向所述对象区域(82)与所述摄像部(12)的光轴所成的角度接近90度的方向，沿着包含所述对象区域(82)的法线(83)且垂直于所述基准面(103)的第二平面(84)以所述移动角度旋转而得。

(结构8)

根据结构2至5中任一项所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以所述摄像部(12)的光轴穿过作为所述两点中所述高度信息较高的点的基准点的方式，来决定所述第二位置。

(结构9)

根据结构2至5中任一项所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以所述摄像部(12)的光轴穿过作为所述两点中所述高度信息较低的点的基准点的方式，来决定所述第二位置。

(结构10)

根据结构2至5中任一项所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以所述摄像部(12)的光轴穿过作为所述两点的中点的基准点的方式，来决定所述第二位置。

(结构11)

根据结构6或7所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以所述摄像部(12)的光轴穿过所述对象区域内的基准点的方式，来决定所述第二位置。

(结构12)

根据结构8至11中任一项所记载的视觉传感器系统(1)，其中，

所述移动控制部(50)以所述基准点与所述第一位置的距离、及所述基准点与所述第二位置的距离相同的方式，来决定所述第二位置。

(结构13)

一种控制方法，对视觉传感器系统(1)进行控制，所述视觉传感器系统(1)包括：

摄像部(12)，拍摄被摄体(101)；

移动机构(20)，将所述摄像部(12)以所指示的姿势配置于所指示的位置；以及

测量部(30)，使用由所述摄像部(12)所拍摄的图像，来测量所述被摄体(101)的表面的三维形状，并且

所述三维形状是由距基准面(103)的高度信息表示，

所述控制方法包括下述步骤：

从测量形状中提取所述高度信息缺失的缺失区域(60)，所述测量形状是使用将所述摄像部(12)配置成第一位置及第一姿势时的图像通过所述测量部(30)所测量的、所述被摄体(101)的三维形状；以及

基于所述测量形状中的所述缺失区域(60)的周围的所述高度信息，来决定应再次拍摄所述被摄体(101)的第二位置及第二姿势。

(结构14)

一种程序(507)，用于支持视觉传感器系统(1)，所述视觉传感器系统(1)包括：

摄像部(12)，拍摄被摄体(101)；

移动机构(20)，将所述摄像部(12)以所指示的姿势配置于所指示的位置；以及

测量部(30)，使用由所述摄像部(12)所拍摄的图像，来测量所述被摄体(101)的表面的三维形状，并且

所述三维形状是由距基准面(103)的高度信息表示，

所述程序(507)使计算机执行下述步骤：

从测量形状中提取所述高度信息缺失的缺失区域(60)，所述测量形状是使用将所述摄像部(12)配置成第一位置及第一姿势时的图像通过所述测量部(30)所测量的、所述被摄体(101)的三维形状；以及

基于所述测量形状中的所述缺失区域(60)的周围的所述高度信息，来决定应再次拍摄所述被摄体(101)的第二位置及第二姿势。

对本发明的实施方式进行了说明，但应认为本次公开的实施方式在所有方面为例示而非限制性。本发明的范围是由权利要求表示，意指包含与权利要求均等的含意及范围内的所有变更。

符号的说明

1：视觉传感器系统

10：获取单元

11：投影仪

12：相机

13：光轴

14：平面

20：机器人

30：测量部

40：合成部

50、50a：移动控制部

51：指示值生成部

52：移动目的地决定部

53：距离图像生成部

54：标注部

55：对象线段决定部

55a：对象区域决定部

56、56a：第一角度运算部

57：第二角度设定部

58、58a：姿势决定部

59、59a：位置决定部

60：缺失区域

61：重心

62、63、67、68、71、72、74、75：点

64：对象线段

65、73：基准线

66：第一平面

81：近似平面

82：对象区域

83：法线

84：第二平面

100：对象物

101：被摄体

102：托盘

103：基准面

500：总线

502：主存储器

503：硬盘

504：显示器

505：输入器件

506：通信i/f

507：控制程序