示教数据的生成方法与流程

本发明涉及生成用于图像识别的示教数据的技术。

背景技术：

已被提案有以下一种方法：利用事先在计算机上施以三维的旋转处理而生成的学习样本构成辨别器，对二维的旋转文字进行识别(例如，参照非专利文献1)。还被提案有以下一种方法：使用利用了图像的亮度梯度识别物体的sift(scale-invariantfeaturetransform)对同一物体图像进行抽取的方法、具体是指对某一图像根据原样图像和对原图像实施三维旋转后映射成二维而成的图像进行同一物体的匹配的方法(例如，参照非专利文献2)

现有技术文献

非专利文献

非专利文献1：“三维旋转不变文字的识别”成田了等(图像的识别与理解专题研讨会(miru2011)2011年7月)信息处理学会电子图书馆(https://ipsj.ixsq.nii.ac.jp/ej/index.php？action＝pages-view_main&active_action＝repository_action_common_download&item_id＝77644&item_no＝1&attribute_id＝1&file_no＝1&page_id＝13&block_id＝8)

非专利文献2：“利用被施以立体变形的图像的sift特征实施匹配”冈尾(高知工科大学学士学位论文(2013年3月1日)(http：//www.kochi-tech.ac.jp/library/ron/2012/2012info/1130317.pdf)

技术实现要素：

然而，为了从图像中抽取物体，以大量(例如7000以上)从不同视点拍摄的该物体的图像数据为基础生成图像识别用的示教数据时，会导致数据生成所需工时及成本显著增加。

因此，本发明的目的在于提供一种在实现降低作为基础的图像的数量的同时能够生成图像识别用的示教数据的方法。

本发明是生成对象物的图像识别用的示教数据的方法，其特征在于包括以下步骤：利用分别被配置在多个第1指定位置上的拍摄装置对所述对象物进行拍摄，由此获取多个拍摄图像的步骤；分别从所述多个拍摄图像抽取基础图像区域的步骤；以及，生成作为所述示教数据的下述结果的步骤，所述结果是：将所述基础图像区域从一个图像坐标系相对于多个拍摄图像的各个坐标系进行了坐标变换的结果，所述多个拍摄图像是假设所述拍摄装置分别被配置在与所述多个第1指定位置不同的多个第2指定位置上时由该拍摄装置拍摄的拍摄图像。

(发明效果)

根据本发明的方法，能够在实现降低作为基础的图像的数量的同时，生成用于图像识别中必要且充分的数量的示教数据。

附图的简单说明

图1是关于本发明的一实施方式的示教数据的制作方法的说明图。

图2是关于拍摄装置c的拍摄位置的说明图。

图3a是关于相机位置的变更方法的说明图。

图3b是关于相机的内部参数设定的说明图。

图4a是关于从多个不同位置实际拍摄到的物体的图像的说明图。

图4b是关于假设从多个不同位置进行拍摄时的物体的推测图像的说明图。

图5是关于实际的拍摄图像与推测图像的偏差的评价结果的说明图。

符号说明

c拍摄装置

p1～p5第1指定位置

si基础图像区域

具体实施方式

对作为本发明一实施方式的图像识别用的示教数据的生成方法进行说明。

首先，将表示构成基础的图像的拍摄张数的第1指数i设定成“1”(图1/步骤11)。拍摄装置c的位置p被调节到第1指定位置pi(图1/步骤12)。拍摄装置c的姿势被调节成其光轴朝向现实空间极坐标系中的一点。

例如，如图2所示，在以三维极坐标系的原点为中心、在该中心上方有极点的半径r的半球面上，除了该极点p1以外，下述4个点p2～p5也被定义成第1指定位置。上述4个点p2～p5是在用θi＝θ(20°≤θ≤70°)表述的纬度上沿经度方向等间隔配置的点。这时，第1指定位置pi可以通过三维极坐标系的坐标值(risinθicosφi，risinθisinφi，ricosθi)来表达。拍摄装置c的位置及姿势可以通过操作者的手动操作调节后固定到云台等合适的器械上，也可以通过机械手臂等驱动装置进行自动调节。

接着，在位置p上由拍摄装置c拍摄物体，由此获取拍摄图像(图1/步骤13)。

从拍摄图像中抽取基础图像区域si(图1/步骤14)。例如，人(操作者)在目视由输出界面显示的拍摄图像的同时，通过操作输入界面，抽取被识别为大致平面的区域作为基础图像区域si。基础图像区域si的抽取是仅针对任意少量张数的拍摄图像所实施的。拍摄装置的光学中心与基础图像区域si的距离r利用合适的测距传感器进行测定。

判定第1指数i是否是第1指定数n1以上(图1/步骤15)。第1指定数n1例如可以设定成“5”。当被判定第1指数i未满第1指定数n1时(图1/步骤15···否)，第1指数i仅增加“1”(图1/步骤16)，并在此基础上，重复进行拍摄装置c的位置及姿势调节之后的步骤(图1/步骤12～步骤15)。也可以采用多个拍摄装置c分别被配置在多个指定位置上的形态。

当被判定第1指数i是第1指定数n1以上时(图1/步骤15···是)，表示推测图像的生成张数的第2指数j被设定成“1”(图1/步骤21)。虚设的拍摄装置c的位置p被调节到与第1指定位置pi不同的第2指定位置pj上(图1/步骤22)。第2指定位置pj也例如与第1指定位置pi同样地被定义在上述半球面上(参照图2)。

具体来讲，除了利用如图3a所示的拍摄装置c的光学中心p＝e(三维向量)，还利用表示以拍摄装置c的光学中心p为基准的图像(基础图像区域si)的中心方位的单位向量1＝(c-e)/|c-e|、表示移动了拍摄装置c的光学中心后的拍摄装置c的向上的单位向量u’＝s×l、以及单位向量s＝l×u，通过关系式(1)定义使拍摄装置c的光学中心位置p发生变化的坐标变换行列m1。

(数式1)

除了利用图3b中所示的拍摄装置c的景深(depthoffield)的下限值dn及上限值df，还利用横向视角θx相对于纵向视角θy的纵横比(aspectratio)a、以及f＝1/tan(θy/2)，通过关系式(2)定义基于拍摄装置c内部参数的变换行列m2。

(数式2)

基础图像区域si根据关系式(3)进行坐标变换后生成的结果si^作为一个示教数据(图1/步骤23)。

(数式3)

si^＝m2m1si··(3)

判定第2指数j是否是第2指定数n2以上(图1/步骤24)。第2指定数n2被设定成作为图像识别用的示教数据是必要且充分的数量，例如是“7000”。当被判定第2指数j未满第2指定数n2时(图1/步骤24···否)，第2指数j仅增加“1”(图1/步骤25)，并在此基础上，重复进行拍摄装置c的位置及姿势调节之后的步骤(图1/步骤22～步骤24)。并且，在当被判定第2指数j是第2指定数n2以上时(图1/步骤24···是)，结束上述一系列步骤。除了通过前述的方式获取的基础图像区域，通过上述方式推算的推测图像群也作为示教数据被蓄积到数据库中。

然后，从在任意环境下获取的拍摄图像中抽取基础图像区域，该抽取结果与被蓄积在数据库中的示教数据进行对照或模式匹配(pattern-matching)，由此识别出在与该基础图像区域相当的现实空间中存在涉及示教数据的物体。

(实施例)

在以大致矩形的平板状的物体表面中心为原点、以其表面为x-y平面的一部分平面的三维坐标系中，使半球面上的拍摄装置c的位置以经度恒定而纬度(或者三维极坐标系中的仰角)断续地发生变化的同时对物体进行拍摄。其中，所述半球面在z轴上具有极点。在图4a中，从左向右依次显示在该情况下拍摄到的实际的拍摄图像。在图4b中，从左向右依次显示下述图像：假设以上述同样的方式使拍摄装置c的位置发生变化的同时对相同物体进行拍摄，并按照前述方法推测的图像。

图5中以散点(plot)的方式示出了表示拍摄装置c的实际的(或虚设性的)位置的仰角θ和下述角度之间的关系。该角度是指：实际的拍摄图像以及推测图像上的、大致矩形板状的物体上一个端角在图像坐标系中的角度。这里假设生成20°≤θ≤160°范围内的推测图像。如图5所示，θ越大(拍摄装置c的位置越接近x-y平面)，端角角度的偏差虽呈逐渐增大的趋势，但是最大相对偏差是1.9％。因此可以验证通过将该推测图像群作为示教数据进行使用，能够实现提高物体识别精度。