物体识别装置以及物体识别方法与流程

本发明涉及物体识别装置以及物体识别方法。

背景技术：

以往已知如下技术：将获取物体的三维信息的距离传感器和获取二维图像的摄像机进行组合来确定三维的物体的位置(例如、参照专利文献1)。

在专利文献1的技术中，将摄像机所获取的二维图像进行处理，并检测二维图像内的物体的像，以获取物体的二维位置信息，并根据所获取的二维位置信息，使用三维信息来计算物体的三维的位置以及姿态。

现有技术文献

专利文献

专利文献1：日本特开2013-101045号公报

技术实现要素：

发明要解决的问题

然而，在专利文献1的技术中，对于静止的三维的物体，能够高精度地识别，但对人或机器人等的形状变化的物体，存在不能确定的不良情况。

本发明是鉴于上述情况而做出的，目的在于提供一种物体识别装置以及物体识别方法，其对于人或机器人等的形状变化的物体，也能够高精度地识别。

用于解决问题的方案

为了达到上述目的，本发明提供如下方案。

本发明的一个方案提供一种物体识别装置，其具有：摄像部，其对预定的监控区域进行拍摄，以获取三维图像和二维图像；物体抽取部，其在该摄像部所获取的所述三维图像中，抽取具有预定范围的像素值的区域；图像搜索部，其在所述摄像部所获取的所述二维图像中，搜索根据物体的类别预先注册的基准图像；以及判定部，其根据该图像搜索部所搜索的所述基准图像是否存在于所述物体抽取部所抽取的所述区域内，来判定所述物体的类别。

根据本方案，若由摄像部对预定的监控区域进行拍摄以获取二维图像和三维图像，则由物体抽取部抽取在所获取的三维图像中具有预定范围的像素值的区域，由图像搜索部在所获取的二维图像中搜索基准图像，由判定部判定基准图像是否存在于所抽取的区域内，从而判定物体的类别。由于不是根据三维图像内的物体的形状，而是根据预先注册的基准图像存在于三维图像内抽取的物体的位置，来识别监控区域内的物体的类别，因此即使对于人或机器人等的形状变化的物体，也能够高精度地识别。

在上述方案中，还可以具有搜索区域设定部，所述搜索区域设定部以包含所述物体抽取部所抽取的所述区域的方式，设定所述图像搜索部所进行的搜索区域。

通过如此，不是使用表示物体抽取部所抽取的物体的区域的形状，而是能够以包含该区域的方式设定单纯化的搜索区域，能够使由图像搜索部进行的搜索运算变得容易。

另外，在上述方案中，所述图像搜索部还可以根据所述摄像部所获取的所述三维图像的各部的自所述摄像部的距离，更改所述基准图像的缩尺而进行搜索。

配置于自摄像部的距离近的位置的物体上附有的标记在二维图像中拍摄得大，配置于自摄像部的距离远的位置的物体上附有的标记在二维图像中拍摄得小。通过如此，根据自摄像部的距离对基准图像的缩尺进行更改，从而能够使基准图像与应该搜索的标记的大小接近，使搜索易于进行。

另外，在上述方案中，所述图像搜索部还可以根据所述摄像部所获取的所述三维图像的各部相对于所述摄像部的光轴的倾斜角度，使所述基准图像发生变形而进行搜索。

若附有标记的物体的表面相对于摄像部的光轴倾斜，则标记歪扭。通过如此，根据物体的表面的倾斜角度，使基准图像发生变形，从而能够使基准图像与应该搜索的标记的形状接近，使搜索易于进行。

另外，本发明的其他方案提供一种物体识别方法，其包括：摄像步骤，其对预定的监控区域拍摄，以获取三维图像和二维图像；物体抽取步骤，其在通过该摄像步骤而获取的所述三维图像中，抽取具有预定范围的像素值的区域；图像搜索步骤，其在通过所述摄像步骤而获取的所述二维图像中，搜索根据物体的类别预先注册的基准图像；以及判定步骤，其根据通过该图像搜索步骤而搜索的所述基准图像是否存在于通过所述物体抽取步骤而抽取的所述区域内，来判定所述物体的类别。

发明效果

根据本发明，取得如下效果：对于人或机器人等的形状变化的物体，也能够高精度地识别。

附图说明

图1是表示本发明的一个实施方式所涉及的物体识别装置的整体结构图。

图2是表示图1的物体识别装置所获取的三维图像的一个示例的图。

图3是表示从图2的三维图像抽取的物体的二值化图像的一个示例的图。

图4是表示包含图3中抽取的物体的搜索区域的一个示例的图。

图5是表示与图4中所设定的搜索区域相对应的二维图像的搜索区域的一个示例的图。

图6是说明利用图1的物体识别装置的物体识别方法的流程图。

图7是表示图1的物体识别装置所获取的三维图像的三维倾斜度的一个示例的图。

图8是表示从图7的三维图像抽取的物体的二维图像的一个示例的图。

图9是表示图1的物体识别装置的应用的一个示例的机器人系统的俯视图。

图10是图9的机器人系统的主视图。

附图标记说明：

1：物体识别装置

2：摄像部

6：物体抽取部

7：搜索区域设定部

9：图像搜索部

100：判定部

a：监控区域

a1：操作者识别区域(监控区域)

a2：共同操作区域(监控区域)

b：物体

c1、c2：搜索区域

m：基准图像

g1：三维图像

g2：二维图像

s1：摄像步骤

s2：物体抽取步骤

s4：图像搜索步骤

s5：判定步骤

具体实施方式

下面参照附图，对本发明的一个实施方式所涉及的物体识别装置1以及物体识别方法进行说明。

如图1所示，本实施方式所涉及的物体识别装置1具有：摄像部2，其对预定的监控区域a进行拍摄；以及图像处理部3，其根据该摄像部2所获取的二维图像g2和三维图像g1来识别物体的类别。

摄像部2具有：二维摄像机4，其对包含监控区域a的区域进行拍摄，以获取监控区域a的二维图像g2；以及三维摄像机5，其获取监控区域a的三维图像g1。二维摄像机4与三维摄像机5的相对位置预先设定，二维摄像机4所获取的二维图像g2的各像素位置与三维摄像机5所获取的三维图像g1的各像素位置相互精密地相对应。此外，二维摄像机4与三维摄像机5也可以不是分体，而是一体。

三维摄像机5例如垂直朝下配置于监控区域a的上方。二维摄像机4在图1所示的示例中，相对于三维摄像机5设置若干角度，从而将与三维摄像机5相同的监控区域a配置于视野内，获取俯视观察监控区域a的二维图像g2。另一方面，三维摄像机5获取表示监控区域a内的各部的高度分布的三维图像g1。

图像处理部3具有：物体抽取部6，其在三维摄像机5所获取的三维图像g1中，抽取监控区域a内的物体b；搜索区域设定部7，其对包含该物体抽取部6所抽取的物体b的搜索区域c1进行设定；图像对应运算部8，其将搜索区域设定部7中设定的搜索区域c1转换成二维摄像机4所获取的二维图像g2内的搜索区域c2；图像搜索部9，其在二维图像g2的搜索区域c2内，搜索与基准图像m相同的图像；以及判定部100，其根据在搜索区域c2内是否发现与基准图像m相同的图像，来判定物体b的类别。

在本实施方式中，如图2所示，作为物体b例示有：人，其在头部、例如头盔上附有正方形的标记m1；以及工作台，其在顶板上附有三角形的标记m2。

物体抽取部6所进行的物体b的抽取是抽取配置于三维图像g1中的监视区域a内的预定的高度范围内的像素来作为物体b存在的区域。具体而言，如图3所示，根据预定的值使三维图像g1的像素值二值化，从而抽取自地面的高度为预定的高度以上的区域来作为物体b。而且，物体抽取部6抽取通过二值化抽取的像素连续的区域来作为表示单一的物体b的区域。

如图4所示，搜索区域设定部7将物体抽取部6所抽取的表示物体b的区域置换为包含该抽取的区域且具有单纯的形状、例如长方形的形状的区域(下面称作搜索区域。)c1。

图像对应运算部8存储有表示二维图像g2与三维图像g1的对应位置关系的数据，将如图4所示的搜索区域设定部7所设定的三维图像g1内的搜索区域c1转换为如图5所示的二维图像g2内的搜索区域c2，并发送到图像搜索部9。

图像搜索部9分别存储应该搜索的基准图像、例如与人上附有的正方形的标记m1以及工作台上附有的三角形的标记m2相同形状的基准图像m。即，将四边形的基准图像m与人相对应，使三角形的基准图像m与工作台相对应而存储。

图像搜索部9通过公知的模式匹配等的图像处理，在自图像对应运算部8发送来的二维图像g2的搜索区域c2内，搜索与各基准图像m相同的图像。

而且，在二维图像g2的搜索区域c2内发现与基准图像m相同的图像时，在判定部100中，物体b的类别被识别为与基准图像m相对应的类别，未发现时，物体b的类别被识别为异物。

下面对利用如此构成的本实施方式所涉及的物体识别装置1的物体识别方法进行说明。

如图6所示，本实施方式所涉及的物体识别方法包括：摄像步骤s1，其由摄像部2而获取监控区域a的二维图像g2和三维图像g1；物体抽取步骤s2，其从三维图像g1抽取物体b的存在区域；步骤s3，其对是否抽取了物体b进行判定；图像搜索步骤s4，其在抽取了物体b时，在二维图像g2中搜索与存储的基准图像m相同的标记；步骤s5，其对是否在搜索区域c2内发现了与基准图像m相同的标记进行判定；以及判定步骤s6、s7，其根据是否发现了，来判定物体b的类别。

在步骤s3中判定为未抽取物体b时，重复自步骤s1的工序。

在步骤s5中未发现标记时，对搜索是否结束进行判定(步骤s8)，在已结束时，在判定步骤s7中物体b被识别为异物。在搜索未结束的情况下，重复自步骤s4的工序。

在步骤s5中，判定在搜索区域c2内发现标记时，在判定步骤s6中该物体b被识别为与基准图像m相对应的物体，对搜索是否结束进行判定(步骤s9)，未结束时，重复自步骤s4的工序。

如此，根据本实施方式所涉及的物体识别装置1以及物体识别方法，因为利用三维图像g1来识别物体b的存在与否，利用二维图像g2来识别物体b的类别，因此具有即使是如人或机器人这样形状变化的物体b，也能够更加切实地识别物体b的类别的优点。

另外，在本实施方式中，通过给所有的人附上标记m1，若在搜索区域c1、c2中检测出标记m1，则该物体b能够识别为人。也具有如下优点：通过只给特定的人附上标记m1，也能够识别物体b为特定的人。

另外，在本实施方式中，在三维摄像机5所获取的三维图像g1中，因为抽取具有预定范围的高度信息的连续的区域来作为单一的物体b，因此不仅对于人，对于人持有的物品也能够作为物体b的一部分进行识别。

另外，由于定义了长方形等的单纯的形状的区域作为包含自三维图像g1抽取的物体b的搜索区域c1、c2，因此能够容易地判定基准图像m是否存在于搜索区域c2内。

另外，在本实施方式中，图像搜索部9还可以根据三维摄像机5所获取的三维图像g1的各部的高度信息(来自三维摄像机5的距离信息)，调整基准图像m的缩尺。由于在二维图像g2内，物体b上附有的标记m1、m2根据物体b的高度，其大小进行变化，因此以标记m1、m2附在高度高的位置上时，使基准图像m的大小变大，标记m1、m2附在高度低的位置上时，使基准图像m的大小变小的方式进行调节。由此，能够容易地对与二维图像g2内的基准图像m相同的图像进行搜索。

另外，图像搜索部9还可以根据三维摄像机5所获取的三维图像g1的各部的高度信息，当物体b上附有的标记m1、m2相对于三维摄像机5的光轴附在倾斜的面上时，根据相对于三维摄像机5的光轴的倾斜角度，使基准图像m发生变形而进行搜索。即，如图7所示，根据三维图像g1的各部的高度信息h，能够求出各部的法线矢量v，并按照所求出的法线矢量v的方向，使长方形的基准图像m变形为梯形状即可。

如图8所示，拍摄在二维图像g2内的标记m1、m2形成为向高度低的方向逐渐变小的梯形状，因此具有使用梯形状的基准图像m能够容易地搜索标记m1、m2的优点。

接着，对使用本实施方式所涉及的物体识别装置1以及物体识别方法的机器人系统70进行说明。

如图9和图10所示，该机器人系统70具有：机器人10，其进行预定的操作；工作台20，其供机器人10进行操作；以及安全栅栏30，其包围机器人10和工作台20。

在该机器人系统70中，当操作者s将工作台20上的夹具、模具、工件等进行更换或调整时，有时操作者s会将手或头配置在工作台20的上方。在位于隔着工作台20与机器人10为相反侧的部分中，在安全栅栏30的一部分上设置有开口部31，该开口部31用于操作者s与工作台20接近。

该机器人系统70还具有：摄像部40，其设置于工作台20的上方，并在图9和图10的利用双点划线示出的视野w中，以预定的帧比率，隔开时间间隔地获取二维图像g2和三维图像g1，以便拍摄到机器人10的操作区域的至少一部分和操作者s能够侵入的区域的至少一部分；以及显示装置50，其由安全栅栏30支撑。显示装置50具有液晶画面，并配置于自开口部31的附近的操作者s能看到的位置。

机器人10例如是固定于地面的六轴多关节型的机器人，进行工作台20上的工件(省略图示)的移动、对工件的加工等。机器人10可以为任意形式。

机器人10与机器人控制部16连接，并由该机器人控制部16控制各轴的动作。

在图9和图10中，利用单一的摄像机来显示摄像部40，但与图1同样地，例如还可以分别具有立体摄像机、tof(timeofflight)方式的三维摄像机5、以及如ccd或cmos图像传感器这种二维摄像机4。

该机器人系统70根据摄像部40所获取的二维图像g2和三维图像g1，在图像处理部3中识别物体b，并将识别结果显示在显示装置50上，并且使机器人控制部16控制机器人10。本实施方式所涉及的物体识别装置1由摄像部40和图像处理部3构成。

在该机器人系统70中，在以时间序列获取的三维图像g1中，如图9和图10所示，设定有以单点划线包围的操作者识别区域a1以及以斜线示出的共同操作区域a2。共同操作区域a2是操作者s能够接近，并且机器人10也能够接近的区域。

另外，在该机器人系统70中，在以时间序列获取的三维图像g1中设定有图9和图10所示的操作者侧边界b1以及机器人侧边界b2。操作者侧边界b1是操作者s接近共同操作区域a2时超越的边界面，机器人侧边界b2是机器人10接近共同操作区域a2时超越的边界面。

将操作者识别区域a1和共同操作区域a2作为监控区域，从以时间序列获取的三维图像g1抽出监控区域内的物体b，并设定搜索区域c1，同时对在以时间序列获取的二维图像g2的对应的搜索区域c2内是否存在基准图像、例如图9所示的标记m进行判定。存在标记m时，所检测的物体b被识别为安全监控对象的操作者s，不存在标记m时，识别为非对象物体。

在图9所示的示例中，标记m由附于操作者s的头盔或帽子的上表面的三个黑色正方形着色部构成。三个正方形着色部以沿操作者s的宽度方向(左右方向)排列的方式而配置，中央的正方形着色部相对于其他两个配置于操作者s的前方。由此，若观察标记m，则能够判断或者推断操作者s朝向哪个方向。

根据本实施方式，在以时间序列获取的二维图像g2和三维图像g1中，操作者s被识别为安全监控对象，并在二维图像g2和三维图像g1中被追踪。因此，在二维图像g2和三维图像g1中能够对操作者s不看丢地进行监控。由此，能够切实地检测出操作者s侵入了不允许侵入的边界(机器人侧边界b2)。从而能够通过侵入的检测，使机器人10停止，或者使机器人进行危险回避动作。

在三维图像g1中设定有操作者侧边界b1和机器人侧边界b2，该操作者侧边界b1供从操作者s侧接近共同操作区域a2而超越，该机器人侧边界b2存在于共同操作区域a2的机器人10侧。若识别为安全监控对象，则能够超越操作者侧边界b1并接近共同操作区域a2，但未被识别为安全监控对象的非对象物体为了接近共同操作区域a2而向超越的操作者侧边界b1的侵入则被检测出。因此，当例如不是操作者s而是安全操作知识不充分者(未附有标记m者)向共同操作区域a2移动时，在侵入到操作者侧边界b1的时刻，该移动被检测到，因此例如通过使机器人10停止或者使机器人10进行危险回避动作，避免了安全操作知识不充分者与机器人10的接触。

另外，由于机器人10是非对象物体，因此发生机器人10经过共同操作区域a2并超越操作者侧边界b1等的异常时，能够检测出该异常。或者当有共同操作区域a2内的夹具或工件等不按计划地向操作者s侧移动等的异常、或操作者s持有的夹具和工件从操作者s的手中脱离而进入到共同操作区域a2内等的异常时，能够检测出这些异常。

此外，在三维图像g1中追踪操作者s时，通过在1帧前识别出标记m的附近尝试核对标记m，能够缩短处理时间，且降低误检测的可能性。

另外，作为安全监控对象而被识别的操作者s还可以是多个。在该情况下，对多个操作者s分别进行与上述相同的处理。即，进行上述的安全监控处理，直至所有的操作者s变得不再识别。

在本实施方式中，若检测出非对象物体的侵入，则使机器人10停止，因此能够实现操作者s的安全保证和机器人10的故障防止。

另外，由于不仅操作者s，操作者s所搬运的物品也为安全监控对象，因此能够防止该物品与机器人10的接触等，能够实现操作者s的安全保证和机器人10的故障防止。

另外，即使检测出非对象物体的侵入时，也可以使机器人10在共同操作区域a2的外面继续进行操作。在该情况下，不会降低机器人10的利用率，并确保了操作者s的安全。

另外，在本实施方式中，通过观察显示装置50，操作者s能够对自己是否被识别为安全监控对象进行确认，从而防止了，未为识别为安全监控对象却在共同操作区域a2中进行操作，或不知是否被识别为安全监控对象而进行待机的待机时间的发生。

另外，基准图像m也可以与操作者s的身高和体格的有关信息相对应。由于三维图像g1具有该三维图像g1中的操作者s的头部、肩部的高度信息，因此通过使允许进行操作的操作者s的头部、肩部的高度信息与基准图像m相对应，能够判断头盔上附有标记m者是否为允许进行操作的操作者s。

在该情况下，被判断为，虽然头盔上附有标记m但不是允许进行操作的操作者时，该操作者被识别为非对象物体，并且在侵入到操作者侧边界b1中时，使机器人10停止。

另外，还可以存储有其他的基准图像，其用于如下情况，机器人10也附有机器人用标记，在二维图像g2中搜索机器人10上附有的机器人用标记，并识别机器人。在该情况下，与操作者s同样，机器人10也被识别为安全监控对象，或能够检测出安全监控对象以外的物体侵入到机器人侧边界b2。

由此，还能够追踪机器人10的位置，机器人10超越共同操作区域a2中允许操作者s超越但不允许机器人10超越的操作者侧边界b1时、或机器人10进行了与通常不同的动作时等，能够立刻知道这些现象，有利于提高安全性。

此外，在本实施方式中，在三维图像g1中设定了操作者识别区域a1、共同操作区域a2、操作者侧边界b1、以及机器人侧边界b2。取而代之，也能够在地面利用胶带等事先设定操作者识别区域a1、共同操作区域a2、操作者侧边界b1、以及机器人侧边界b2，将二维图像g2中所拍摄的这些区域以及边界作为操作者识别区域a1、共同操作区域a2、操作者侧边界b1、以及机器人侧边界b2进行使用。在该情况下，当三维图像g1中所检测出的物体b与操作者侧边界b1或机器人侧边界b2重叠时，判断物体b侵入了这些边界。