拍摄辅助装置和拍摄辅助方法与流程

本发明涉及辅助摄像机进行拍摄的拍摄辅助装置和拍摄辅助方法。

背景技术：

在水处理设备、工厂设备、发电设备或楼宇设备等机械设备中，维护检修作业必不可少。在这些机械设备的维护检修时，作业者有时必须确认设置于无法直接目视确认的场所的仪表等的状态。该情况下，例如存在如下方法：作业者拿着摄像机，将摄像机移动到能够拍摄仪表等的位置，根据在该位置拍摄到的照片来确认仪表等的状态。但是，在该方法中，作业者需要在能够拍摄仪表等对象物的位置进行拍摄后，观察拍摄到的照片，反复多次进行确认该对象物是否收敛于适当的角度内等的作业。

因此，要求如下技术：对作业者的拍摄动作进行辅助，以使作业者能够将无法直接目视确认的对象物(以下称作“不可视对象物”)收敛于适当的角度内进行拍摄。

在专利文献1中公开有如下的拍摄装置：在利用便携摄像机进行自拍时，在使用者在液晶画面中无法确认自己的面部是否进入视场角的情况下，根据该便携摄像机中映出的图像检测面部的方向，与使用者设定的预先存储的面部的方向进行比较，通过基于语音的引导提示使用者移动该便携摄像机以使两者一致，由此，使用者能够从意图的方向拍摄自己。

现有技术文献

专利文献

专利文献1：日本特开2011-250131号公报

技术实现要素：

发明要解决的课题

在作业者要进行不可视对象物的拍摄以进行机械设备的维护检修时，作业者以摸索的方式搜索不可视对象物或能够拍摄不可视对象物的位置，因此，容易在摄像机捕捉的图像中产生模糊或抖动。因此，在将专利文献1公开的拍摄装置中采用的技术应用于维护检修时的不可视对象物的拍摄的情况下，也由于摄像机捕捉的图像的模糊或抖动而无法准确检测不可视对象物，因此，无法适当进行引导。即，在现有技术中依然存在如下课题：无法以作业者能够将不可视对象物收敛于适当的角度内进行拍摄的程度对作业者的拍摄动作进行辅助。

本发明正是为了解决上述课题而完成的，其目的在于，提供一种拍摄辅助装置和拍摄辅助方法，能够对用户的拍摄动作进行辅助，使得能够将不可视对象物收敛于适当的角度进行拍摄。

用于解决课题的手段

本发明的拍摄辅助装置具有：移动速度判定部，其判定摄像机的移动速度是否为阈值以上；对象物概要判定部，其在移动速度判定部判定为摄像机的移动速度为阈值以上的情况下，根据从摄像机取得的采集图像，判定可能成为应该进行检修的对象物的物体即检修对象候选是否映出在该采集图像中；移动速度指示部，其在对象物概要判定部判定为检修对象候选映出在采集图像中的情况下，输出使摄像机的移动速度减慢的指示；对象物类别判定部，其在移动速度判定部判定为摄像机的移动速度小于阈值的情况下，根据采集图像判定映出在该采集图像中的对象物的类别；以及拍摄位置决定部，其判定对象物类别判定部判定出的对象物的类别是否与当前应该进行检修的检修对象物的类别一致，在该对象物的类别与检修对象物的类别一致的情况下，将当前的所述摄像机的位置决定为拍摄位置，输出使该摄像机的运动停止的指示。

发明效果

根据本发明，用户能够将不可视对象物收敛于适当的角度进行拍摄。

附图说明

图1是示出实施方式1的拍摄辅助装置的功能结构的框图。

图2是示出该实施方式1中存储在概要图像数据库中的概要图像数据的一例的图。

图3是示出该实施方式1中存储在详细图像数据库中的详细图像数据的一例的图。

图4是示出该实施方式1中存储在检修顺序数据库中的检修顺序数据的一例的图。

图5是用于说明该实施方式1的拍摄辅助装置的整体动作的流程图。

图6是用于说明该实施方式1的拍摄辅助装置的对象物概要判定部和移动速度指示部的详细动作的流程图。

图7是用于说明该实施方式1的拍摄辅助装置的对象物类别判定部、拍摄位置决定部和拍摄控制部的详细动作的流程图。

图8a、图8b是示出本发明的实施方式1的拍摄辅助装置的硬件结构的一例的图。

图9是示出本发明的实施方式2的拍摄辅助装置的功能结构的框图。

图10是用于说明在实施方式2中，当前的摄像机的视场角捕捉到的对象物不是正确的检修对象时的一例的图。是示出本发明的实施方式3中的导航系统的概要的图。

图11是示出在该实施方式2中，存储在对象物位置数据库中的对象物位置数据的一例的图，图11a是示出利用二维或三维点群模型等表示检修对象物的图像数据的图，图11b是示出各二维图像或三维点群模型上的各检修对象物的中心坐标的信息的图。

图12是用于说明在实施方式2中，周边位置信息通知部根据采集图像和由对象物位置数据表示的图像计算向作业者指示的检修对象物的位置的方法的一例的图。

图13是用于说明该实施方式2的拍摄辅助装置的周边位置信息通知部的详细动作的流程图。

图14是用于说明该实施方式2的拍摄辅助装置的整体动作的流程图。

图15是示出在该实施方式2中，存储在对象物位置数据库中的对象物位置数据的一例的图。

具体实施方式

下面，参照附图对本发明的实施方式进行详细说明。

实施方式1

图1是示出实施方式1的拍摄辅助装置1的功能结构的框图。

拍摄辅助装置1搭载于智能手机或平板等便携终端100，该便携终端100搭载有摄像机2、加速度传感器或陀螺仪传感器等各种传感器(图示省略)和扬声器3。

在该实施方式1中，作为一例，假设搭载有拍摄辅助装置1的便携终端100是作业者进行机械设备中的维护检修作业时由该作业者携带的便携终端。另外，机械设备例如是水处理设备、工厂设备、发电设备或楼宇设备。此外，作业者还是搭载有拍摄辅助装置1的便携终端100的用户。

作业者在维护检修作业中确认设置于作业者无法直接目视确认的场所的仪表等对象物(不可视对象物)的状态。此时，作业者例如在手中拿着便携终端100，以摸索的方式搜索不可视对象物或能够拍摄不可视对象物的位置，通过便携终端100拍摄该不可视对象物，观察拍摄有该不可视对象物的图像，确认该不可视对象物的状态，由此进行维护检修作业。

拍摄辅助装置1在维护检修作业时辅助作业者进行拍摄动作，使得能够将不可视对象物收敛于适当的角度进行拍摄。

另外，在该实施方式1中，设存在多个不可视对象物，作业者以预定的顺序拍摄各不可视对象物，观察拍摄到的图像，确认各不可视对象物的状态，进行维护检修作业。

拍摄辅助装置1具有移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17。

此外，拍摄辅助装置1参照由管理者或作业者等事前生成的事前生成数据库(db)4，取得该事前生成数据库4中存储的各种信息。事前生成数据库4例如设置于拍摄辅助装置1能够经由网络进行参照的场所。事前生成数据库4具有概要图像数据库41、详细图像数据库42和检修顺序数据库43。概要图像数据库41、详细图像数据库42和检修顺序数据库43的详细情况容后再述。

移动速度计算部11根据从加速度传感器或陀螺仪传感器等搭载于便携终端100的各种传感器取得的信息计算手的速度。在该实施方式1中，手的速度是指在手中拿着便携终端100对该便携终端100进行操作并拍摄对象物的作业者的手的移动速度。即，手的移动速度与便携终端100的摄像机2的移动速度大致相同。在以下的说明中，设摄像机2的移动速度为作业者的“手的速度”进行说明。

移动速度计算部11将与计算出的手的速度有关的信息输出到移动速度判定部12。

移动速度判定部12根据从移动速度计算部11输出的与手的速度有关的信息，判定手的速度是否为规定速度(以下有时简称作“阈值”)以上。在该实施方式1中，规定速度是指容易在摄像机采集的图像(以下称作“采集图像”)中产生模糊或抖动的手的速度的范围的下限值。采集图像是指在数字摄像机中由摄像机捕捉并显示在液晶画面等中以供用户在拍摄照片前利用液晶画面等确认拍摄范围的图像。管理者或作业者等预先根据容易在采集图像中产生模糊或抖动的焦距或手抖校正功能的有无等计算该规定速度，将其设定在设置于拍摄辅助装置1能够参照的场所的规定速度存储部(图示省略)中。在该实施方式1中，作为一例，设摄像机2为具有30fps(flamespersecond)的帧率的摄像机，假设如果在帧间存在1cm的手的运动则产生抖动，管理者或作业者等无法判别出不可视对象物的类别，将规定速度设定为秒速30cm。

移动速度判定部12将与手的速度是否为规定速度以上的判定结果有关的信息输出到对象物概要判定部13和对象物类别判定部15。

对象物概要判定部13在移动速度判定部12判定为手的速度为规定速度以上的情况下，根据从摄像机2取得的采集图像和概要图像数据库41中存储的概要图像数据确认映出在采集图像中的物体的外形，进行不可视对象物是否映出在采集图像中的粗判定。具体而言，对象物概要判定部13确认映出在采集图像中的物体的外形例如是否是根据不可视对象物而预先确定的“○(圆形)”或“□(四边形)”等简单形状，由此，判定不可视对象物是否映出在采集图像中(这里将进行这种判定称作“判定概要”)。对象物概要判定部13例如使用设概要图像数据为模板图像的模板匹配，确认映出在采集图像中的物体的外形是否是预先确定的“○(圆形)”或“□(四边形)”等形状。进行该模板匹配的结果是，在能够确认在采集图像中映出与由概要图像数据表示的形状匹配的物体的情况下，对象物概要判定部13判定为像是不可视对象物的物体映出在采集图像中。在手的速度为规定速度以上的情况下，在采集图像中产生模糊或抖动，很难准确地判定映出在采集图像中的物体是什么。因此，对象物概要判定部13通过上述方法进行不可视对象物是否映出在采集图像中的粗判定。这样，对象物概要判定部13进行的判定是粗判定，并不是确定映出在采集图像中的物体是否是不可视对象物。对象物概要判定部13针对应该进行检修的对象即不可视对象物判定作为其候选的物体(以下称作“检修对象候选”)。

另外，拍摄辅助装置1的取得部(图示省略)从摄像机2取得采集图像。然后，对象物概要判定部13从该取得部取得采集图像。采集图像的详细情况容后再述。

这里，图2是示出该实施方式1中存储在概要图像数据库41中的概要图像数据的一例的图。

如图2所示，例如，在概要图像数据库41中，作为概要图像数据存储有仪表的外框形状的圆形图像或开关的外框形状的四边形图像等图像数据。这些仪表或开关等设置于作业者无法直接目视确认的场所，成为检修的对象，是不可视对象物的一例。在概要图像数据库41中，作为概要图像数据存储有与不可视对象物有关的表示外框形状等外形的图像数据。

另外，在该实施方式1中，设对象物概要判定部13通过上述方法判定检修对象候选是否映出在采集图像中，但是，对象物概要判定部13判定检修对象候选是否映出在采集图像中的方法不限于此。例如，对象物概要判定部13也可以在是否映出有“○(圆形)”的形状的确认中使用现有的霍夫变换的方法。此外，例如，如果不可视对象物是粘贴有qr码(注册商标/以下省略记载)这样的标记的仪表等，则对象物概要判定部13也可以确认标记的外框形状的四边形是否映出在采集图像中，由此判定在采集图像中是否映出有检修对象候选。

对象物概要判定部13在能够判定为在采集图像中映出有检修对象候选的情况下，将该判定结果输出到移动速度指示部14。

移动速度指示部14在从对象物概要判定部13输出在采集图像中映出有检修对象候选这样的判定结果时，对扬声器3输出语音数据，扬声器根据该语音数据输出语音。该语音数据表示指示作业者减慢手的运动的内容的语音。具体而言，例如，移动速度指示部14使扬声器3输出“在其周边。请慢慢移动手”这样的语音。另外，这只不过是一例，移动速度指示部14也可以通过“哔-”等效果音来引导在其周边存在检修对象候选。

对象物类别判定部15在移动速度判定部12判定为手的速度小于规定速度的情况下，对详细图像数据库42中存储的详细图像数据和采集图像进行核对，判定映出在采集图像中的不可视对象物的类别。对象物类别判定部15例如进行以详细图像数据为模板图像的模板匹配，判定物体的类别。在手的速度小于规定速度的情况下，不会在采集图像中产生模糊或抖动，因此，能够准确地判定映出在采集图像中的物体是什么。即，如果在采集图像中映出不可视对象物，则对象物类别判定部15能够判定该不可视对象物的类别。

这里，图3是示出该实施方式1中存储在详细图像数据库42中的详细图像数据的一例的图。

如图3所示，例如，在详细图像数据库42中作为详细图像数据存储有仪表的图像或开关的图像等详细映出有对象物的图像的数据。在详细图像数据库42中作为概要图像数据存储有详细映出有不可视对象物的图像的数据。

另外，例如，实际上在与不可视对象物完全相同的设备与该不可视对象物并列设置的情况下，也可以在模板图像中附加周边信息，根据该模板图像的差异来判别不可视对象物的类别。在完全相同的设备并列的情况下，如果是粘贴有qr码这样的标记的设备，则对象物类别判定部15也可以检测标记，根据该标记判定不可视对象物的类别。

对象物类别判定部15将不可视对象物的类别的判定结果输出到拍摄位置决定部16。

拍摄位置决定部16根据从对象物类别判定部15输出的不可视对象物的类别的判定结果，决定拍摄不可视对象物的拍摄位置，通过语音等从扬声器3输出使作业者停止手的指示。具体而言，拍摄位置决定部16根据由对象物类别判定部15判定出的不可视对象物和检修顺序数据库43中存储的检修顺序数据，判定映出在采集图像中的不可视对象物和由检修顺序数据定义的当前应该进行检修的不可视对象物是否一致，在一致的情况下，将当前的手的位置决定为拍摄位置。在该实施方式1中，将由检修顺序数据确定的作业者当前应该进行检修的不可视对象物称作检修对象物。

拍摄位置决定部16从扬声器3输出指示作业者将手停止在当前位置的内容的语音。

这里，图4是示出该实施方式1中存储在检修顺序数据库43中的检修顺序数据的一例的图。

如图4所示，在检修顺序数据库43中定义了以什么样的顺序对哪个不可视对象物进行什么样的作业这样的检修顺序。

在图4中，作为一例，按照每个作业赋予顺序id，按照该作业id的升序排列与该作业id对应的作业。这里，设作业者按照作业id的升序进行与该作业id对应的作业。

例如，在便携终端100的显示部(图示省略)中以文本方式显示作业内容的信息，作业者确认该文本的内容，拿着便携终端100以摸索的方式寻找成为检修对象的不可视对象物或能够拍摄不可视对象物的位置，并且进行检修作业。

然后，在检修作业结束时，作业者从便携终端100的触摸面板等输入部(图示省略)输入检修结果。此时，作业者输入检修结果，以便知道针对哪个不可视对象物的检修作业完成。例如，作业者可以将不可视对象物的名称与检修结果关联起来进行输入，也可以将作业id与检修结果关联起来进行输入。

在被输入检修结果时，便携终端100的结果反映部(图示省略)例如对检修顺序数据的相应的顺序id赋予已检修标志。

拍摄位置决定部16参照检修顺序数据，判断为与未被赋予已检修标志的顺序id对应且与最小的点序id对应的不可视对象物是当前应该进行检修的不可视对象物即检修对象物，判定该检修对象物和对象物类别判定部15判定出的不可视对象物是否一致。

另外，例如，在作业者从输入部输入了表示检修作业已结束的信息的情况下或便携终端100的电源断开的情况下等，清除已检修标志。

此外，在图4中，设按照每个顺序id，作业场所、作业对象、不可视对象物和作业内容与检修顺序数据对应，但是，这只不过是一例，也可以对应其他信息进行定义。关于检修顺序数据，只要能够根据该检修顺序数据引导作业者接着对哪个不可视对象物进行什么样的作业即可。另外，在图4中，作业对象示出安装有不可视对象物的控制盘或配电盘等。

拍摄位置决定部16决定拍摄位置时，作为语音从扬声器3输出表示检测到检修对象物和表示使手的运动停止的内容的指示。具体而言，拍摄位置决定部16例如从扬声器3输出“检测到仪表a。请停止手”这样的语音。另外，这只不过是一例，拍摄位置决定部16也可以从扬声器3等作为“哔哔哔”等效果音输出表示检测到检修对象物和表示使手的运动停止的指示。

进而，拍摄位置决定部16在对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物不一致的情况下，例如，使扬声器3输出表示检测到的不可视对象物不是检修对象物的引导。具体而言，拍摄位置决定部16例如从扬声器3输出“检测到仪表b。不是当前的检修对象”这样的语音。拍摄位置决定部16使扬声器3输出该引导，由此，指示作业者再次寻找作为检修对象物的不可视对象物。

此外，拍摄位置决定部16在决定了拍摄位置的情况下，将表示决定了拍摄位置的位置决定通知输出到拍摄控制部17。

拍摄控制部17在被拍摄位置决定部16输出位置决定通知时，将取得了该位置决定通知的时点的位置作为拍摄位置，控制摄像机2以释放快门。由此，摄像机2自动释放快门，拍摄照片。

接着，对该实施方式1的拍摄辅助装置1的动作进行说明。

图5是用于说明该实施方式1的拍摄辅助装置1的整体动作的流程图。

作业者对便携终端100进行操作，起动摄像机2。

摄像机2起动时(步骤st501)，作业者以摸索的方式寻找不可视对象物或能够拍摄不可视对象物的位置(步骤st502)。此时，作业者一边使摄像机2采集图像一边寻找不可视对象物。采集图像逐次从摄像机2输出到拍摄辅助装置1的取得部(图示省略)。拍摄辅助装置1的取得部取得采集图像，将其输出到移动速度计算部11、对象物概要判定部13和对象物类别判定部15。

移动速度计算部11根据从加速度传感器或陀螺仪传感器等搭载于便携终端100的各种传感器取得的信息计算手的速度(步骤st503)。移动速度计算部11将与计算出的手的速度有关的信息输出到移动速度判定部12。

移动速度判定部12根据在步骤st503中从移动速度计算部11输出的与手的速度有关的信息，判定手的速度是否为规定速度(阈值)以上(步骤st504)。这里，移动速度判定部12判定手的速度是否为秒速30cm以上。

另外，在该实施方式1中，移动速度计算部11计算手的速度，移动速度判定部12判定移动速度计算部11计算出的手的速度是否为规定速度以上，但是不限于此。例如，在便携终端100中计算便携终端100自身的移动速度即手的移动速度的情况下，移动速度判定部12也可以从便携终端100取得与该手的移动速度有关的信息，判定手的速度是否为规定速度以上。

在步骤st504中判定为手的速度为规定速度以上的情况下(步骤st504的“是”的情况下)，对象物概要判定部13根据从取得部取得的采集图像和概要图像数据库41中存储的概要图像数据，判定是否在采集图像中映出有检修对象候选。(步骤st505)。对象物概要判定部13将是否在采集图像中映出有检修对象候选的判定结果输出到移动速度指示部14。

移动速度指示部14在步骤st505中被对象物概要判定部13输出是否在采集图像中映出有检修对象候选的判定结果时，通过语音等使扬声器3输出表示存在检修对象候选和使手的运动减慢的指示(步骤st506)。

然后，返回步骤st502。

另外，对象物概要判定部13在判定为在采集图像中未映出检修对象候选的情况下，反复进行该步骤st505的处理，直到判定为在采集图像中映出有检修对象候选为止。

另一方面，在步骤st504中判定为手的速度小于规定速度的情况下(步骤st504的“否”的情况下)，对象物类别判定部15对详细图像数据库42中存储的详细图像数据和从取得部取得的采集图像进行核对，判定采集图像中的不可视对象物的类别(步骤st507)。

对象物类别判定部15将不可视对象物的类别的判定结果输出到拍摄位置决定部16。

拍摄位置决定部16根据在步骤st507中对象物类别判定部15判定出的不可视对象物和检修顺序数据库43中存储的检修顺序数据，判定映出在摄像机图像中的不可视对象物和由检修顺序数据定义的当前应该进行检修的对象物即检修对象物是否一致(步骤st508)。

在步骤st508中对象物类别判定部15判定出的不可视对象物和检修对象物一致的情况下(步骤st508的“是”的情况下)，拍摄位置决定部16将当前的手的位置决定为拍摄位置。然后，拍摄位置决定部16使扬声器3输出使作业者停止手的指示。

进而，拍摄位置决定部16将表示决定了拍摄位置的位置决定通知输出到拍摄控制部17。

拍摄控制部17在被拍摄位置决定部16输出位置决定通知时，将取得了该位置决定通知的时点的位置作为拍摄位置，控制摄像机2以释放快门(步骤st509)。

另一方面，在步骤st508中对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物不一致的情况下(步骤st508的“否”的情况下)，拍摄位置决定部16例如使扬声器3输出“检测到仪表b。不是当前的检修对象”等表示不是当前应该进行检修的检修对象物的引导，指示作业者再次寻找检修对象物。然后，返回步骤st502。

例如，在作业者在抄表时对设置于无法目视确认的场所的水道仪表等进行照片拍摄并进行记录的作业中，作为检修对象物的仪表等本身位于无法直接目视确认的位置，作业者一边以摸索的方式寻找该仪表等一边进行拍摄。因此，容易在采集图像中产生模糊或抖动。当在采集图像中产生模糊或抖动时，很难准确地判定映出在采集图像中的物体是什么。特别是在存在多个相似的仪表等的情况下，更难判定映出在采集图像中的物体是什么。

进而，在无法确保作业者拿在手中的便携终端100的摄像机2与仪表等之间的距离的情况下，有时仅仪表等的一部分映出在采集图像中。该情况下，利用根据映出有宽范围的采集图像确定作为不可视对象物的仪表等的位置信息的方法，也无法识别不可视对象物。

另一方面，如果作业者降低手的速度来寻找仪表等，则产生模糊或抖动的可能性降低，但是，作业者在寻找仪表等的作业中花费时间。

因此，在该实施方式1的拍摄辅助装置1中，如上所述，在手的运动速度为规定速度以上的情况下，首先，引导手的运动，以使对象物收敛于作业者一边寻找不可视对象物一边由摄像机捕捉的采集图像的角度内，判定是否在该采集图像中映出有检修对象候选，在映出有检修对象候选的情况下，将该意思通知给作业者。此时，指示作业者减慢手的运动，在作业者的手的运动速度比规定速度慢的情况下，判定不可视对象物的类别，决定拍摄位置。

这样，拍摄辅助装置1根据作业者的手的速度，以2个阶段引导手的运动，防止由于手的速度较快而产生模糊或抖动从而无法确定不可视对象物的类别，在能够适当确定不可视对象物的类别的时点决定拍摄位置。

由此，作业者在拍摄不可视对象物时，能够将不可视对象物收敛于适当的角度进行拍摄。此外，作业者按照引导进行拍摄动作，因此，能够与作业者无关地以相同角度拍摄不可视对象物。

这里，对该实施方式1的拍摄辅助装置1的对象物概要判定部13和移动速度指示部14的动作进行详细说明。

图6是用于说明该实施方式1的拍摄辅助装置1的对象物概要判定部13和移动速度指示部14的详细动作的流程图。

即，图6是说明图5的步骤st505、步骤st506的详细动作的流程图。

对象物概要判定部13从取得部取得采集图像(步骤st601)。

此外，对象物概要判定部13参照概要图像数据库41取得概要图像数据(步骤st602)。

对象物概要判定部13对在步骤st601中取得的采集图像和在步骤st602中取得的概要图像数据进行比较，计算相似度s1(步骤st603)。这里，相似度例如为已知的余弦相似度等。

通过该相似度s1确认映出在图像中的物体，能够判定在采集图像中映出有检修对象候选。

对象物概要判定部13将映出在步骤st601中取得的采集图像中的全部物体与在步骤st602中取得的全部概要图像数据分别进行比较，计算相似度s1。

对象物概要判定部13针对映出在采集图像中的各物体判定与各概要图像数据之间的相似度s1是否为70％以上(步骤st604)。

对在步骤st603中计算出的全部相似度s1进行该判定。如果在步骤st603中取得的概要图像数据中的至少1张与映出在步骤st601中取得的采集图像中的任意物体之间的相似度s1为70％以上，则对象物概要判定部13判定为相似度s1为70％以上。

在步骤st604中相似度s1为70％以上的情况下(步骤st604的“是”的情况下)，对象物概要判定部13视为映出在采集图像中的物体与由概要图像数据定义的不可视对象物的外形等一致，将表示在采集图像中映出有检修对象候选的判定结果输出到移动速度指示部14。

映出在采集图像中的物体和不可视对象物的外形等一致是指摄像机2捕捉到可能成为检修对象物的不可视对象物。

移动速度指示部14在步骤st604中从对象物概要判定部13输出表示在采集图像中映出有检修对象候选的判定结果时，对扬声器3通知存在检修对象候选，使其通过语音等输出使手的运动减慢的指示(步骤st605)。

另一方面，在步骤st604中相似度s1小于70％的情况下(步骤st604的“否”的情况下)，返回步骤st601，作业者较快地保持手的速度，并且继续寻找不可视对象物。此时，对象物概要判定部13也可以使扬声器3通过语音等输出例如“请继续”等表示继续进行寻找不可视对象物的动作的指示。

接着，对该实施方式1的拍摄辅助装置1的对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的动作进行详细说明。

图7是用于说明该实施方式1的拍摄辅助装置1的对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的详细动作的流程图。

即，图7是说明图5的步骤st507～步骤st509的详细动作的流程图。

对象物类别判定部15从取得部取得采集图像(步骤st701)。

此外，对象物类别判定部15参照详细图像数据库42取得详细图像数据(步骤st702)。

对象物类别判定部15对在步骤st701中取得的采集图像和在步骤st702中取得的详细图像数据进行比较，计算相似度s2(步骤st703)。这里，相似度例如为已知的余弦相似度等。

对象物类别判定部15将映出在步骤st701中取得的采集图像中的全部物体与在步骤st702中取得的全部概要图像数据分别进行比较，计算相似度s2。

对象物类别判定部15针对映出在采集图像中的各物体判定与各详细图像数据之间的相似度s2是否为95％以上(步骤st704)。

对在步骤st703中计算出的全部相似度s2进行该判定。如果在步骤st703中取得的详细图像数据中的至少1张与映出在步骤st701中取得的采集图像中的任意物体之间的相似度s2为95％以上，则对象物类别判定部15判定为相似度s2为95％以上。

在步骤st704中相似度s2为95％以上的情况下(步骤st704的“是”的情况下)，对象物类别判定部15判定为映出在采集图像中的物体和由详细图像数据定义的不可视对象物包含不可视对象物的类别在内一致，将该意思的判定结果输出到拍摄位置决定部16。此时，对象物类别判定部15还将判定为一致的由详细图像数据定义的不可视对象物的信息一起输出到拍摄位置决定部16。

拍摄位置决定部16从对象物类别判定部15取得对象物类别判定部15判定为映出在采集图像中的不可视对象物的信息，作为对象物类别数据dr(步骤st705)。例如，在映出在采集图像中的不可视对象物和由详细图像数据定义的“仪表a”的图像(参照图3)一致的情况下，对象物类别判定部15将该“仪表a”这样的信息输出到拍摄位置决定部16，拍摄位置决定部16取得“仪表a”的信息作为对象物类别数据dr。

拍摄位置决定部16参照检修顺序数据库43的检修顺序数据，取得当前要进行检修的对象物即检修对象物的信息作为检修对象物类别数据dn(步骤st706)。例如，当在检修顺序数据中对顺序id为p1、p2的检修对象物赋予了已检修标志时，拍摄位置决定部16判断为当前的检修对象物是顺序id为p3的“仪表a”，取得该“仪表a”这样的信息作为检修对象物类别数据dn。

拍摄位置决定部16判定在步骤st705中取得的对象物类别数据dr和在步骤st706中取得的检修对象物类别数据dn是否一致(步骤st707)。

在步骤st707中对象物类别数据dr和检修对象物类别数据dn一致的情况下(步骤st707的“是”的情况下)，拍摄位置决定部16将当前的手的位置决定为拍摄位置。然后，拍摄位置决定部16从扬声器3输出使作业者停止手的指示(步骤st708)。

拍摄位置决定部16将表示决定了拍摄位置的位置决定通知输出到拍摄控制部17。

拍摄控制部17在步骤st708中被拍摄位置决定部16输出位置决定通知时，将取得了该位置决定通知的时点的位置作为拍摄位置，控制摄像机2以释放快门(步骤st709)。

另一方面，在步骤st707中对象物类别数据dr和检修对象物类别数据dn不一致的情况下(步骤st707的“否”的情况下)，拍摄位置决定部16例如使扬声器3输出表示不是当前应该进行检修的检修对象物的引导，指示作业者再次寻找检修对象物(步骤st710)。然后，返回步骤st701。

图8a、图8b是示出本发明的实施方式1的拍摄辅助装置1的硬件结构的一例的图。

在本发明的实施方式1中，移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16、拍摄控制部17的各功能通过处理电路801实现。即，拍摄辅助装置1具有处理电路801，该处理电路801用于根据从摄像机2取得的摄像机图像和事前生成数据库4中存储的信息，进行对作业者输出引导的处理的控制，该引导对拍摄存在于无法目视确认的场所的对象物的拍摄动作进行辅助。

处理电路801可以如图8a所示是专用硬件，也可以如图8b所示是执行存储器805中存储的程序的cpu(centralprocessingunit：中央处理单元)806。

在处理电路801是专用硬件的情况下，处理电路801例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、asic(applicationspecificintegratedcircuit：面向特定用途的集成电路)、fpga(field-programmablegatearray：现场可编程门阵列)或对它们进行组合而得到的部件。

在处理电路801是cpu806的情况下，移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的各功能通过软件、固件或软件与固件的组合来实现。即，移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17通过执行hdd(harddiskdrive：硬盘驱动器)802、存储器805等中存储的程序的cpu806或系统lsi(large-scaleintegration：大规模集成电路)等处理电路实现。此外，也可以说hdd802或存储器805等中存储的程序使计算机执行移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的顺序和方法。这里，存储器805例如时ram(randomaccessmemory：随机存取存储器)、rom(readonlymemory：只读存储器)、闪存、eprom(erasableprogrammablereadonlymemory：可擦除可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory：电可擦除可编程只读存储器)等非易失性或易失性半导体存储器、磁盘、软盘、光盘、高密度盘、迷你盘或dvd(digitalversatiledisc：数字多功能盘)等。

另外，关于移动速度计算部11、移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的各功能，也可以通过专用硬件实现一部分，通过软件或固件实现一部分。例如，能够通过作为专用硬件的处理电路801实现移动速度计算部11的功能，通过处理电路读出并执行存储器805中存储的程序来实现移动速度判定部12、对象物概要判定部13、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17的功能。

此外，存储器805存储从摄像机2取得的摄像机图像数据和处理电路801的处理中的数据。

此外，拍摄辅助装置1具有输入接口装置803和输出接口装置804，该输入接口装置803和输出接口装置804与便携终端100具有的摄像机2和扬声器3或事前生成数据库4等外部设备进行通信。拍摄辅助装置1的取得部由输入接口装置803构成。

如上所述，实施方式1的拍摄辅助装置1构成为具有：移动速度判定部12，其判定摄像机2的移动速度是否为阈值以上；对象物概要判定部13，其在移动速度判定部12判定为摄像机2的移动速度为阈值以上的情况下，根据从摄像机2取得的采集图像，判定可能成为应该进行检修的对象物的物体即检修对象候选是否映出在该采集图像中；移动速度指示部14，其在对象物概要判定部13判定为检修对象候选映出在采集图像中的情况下，输出使摄像机2的移动速度减慢的指示；对象物类别判定部15，其在移动速度判定部12判定为摄像机2的移动速度小于阈值的情况下，根据采集图像判定映出在该采集图像中的对象物的类别；以及拍摄位置决定部16，其判定对象物类别判定部15判定出的对象物的类别是否与当前应该进行检修的检修对象物的类别一致，在该对象物的类别与检修对象物的类别一致的情况下，将当前的所述摄像机的位置决定为拍摄位置，输出使该摄像机的运动停止的指示。因此，根据寻找存在于无法目视确认的场所的对象物的手的运动速度，以2个阶段引导手的运动。由此，能够对用户的拍摄动作进行辅助，使得用户能够将不可视对象物收敛于适当的角度进行拍摄。

此外，构成为具有拍摄控制部17，该拍摄控制部17在拍摄位置决定部16决定拍摄位置时，对摄像机2输出拍摄指示。因此，能够以适当的角度自动地拍摄检修对象物。

实施方式2

在实施方式1中，在拍摄位置决定部16判定为对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物不一致时，拍摄位置决定部16例如使扬声器3输出表示不是当前应该进行检修的检修对象物的引导，指示作业者再次寻找检修对象物。

在该实施方式2中，对如下的实施方式进行说明：在拍摄位置决定部16判定为对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物不一致的情况下，以使摄像机2朝向检修对象物的方向的方式进行引导。

图9是示出本发明的实施方式2的拍摄辅助装置1a的功能结构的框图。

与实施方式1同样，该实施方式2的拍摄辅助装置1a搭载于智能手机或平板等便携终端100，该便携终端100搭载有摄像机2、加速度传感器或陀螺仪传感器等各种传感器(图示省略)和扬声器3。

此外，在该实施方式2中，作为一例，也假设搭载有拍摄辅助装置1a的便携终端100是进行水处理设备、工厂设备、发电设备或楼宇设备等机械设备中的维护检修作业时由用户即作业者携带的便携终端。

如图9所示，本发明的实施方式2的拍摄辅助装置1a与使用图1说明的实施方式1的拍摄辅助装置1的不同点在于还具有周边位置信息通知部18。关于其他与实施方式1的拍摄辅助装置1相同的结构，标注相同标号并省略重复说明。

此外，拍摄辅助装置1a参照的事前生成数据库4a的不同点在于，在概要图像数据库41、详细图像数据库42和检修顺序数据库43的基础上，还具有对象物位置数据库44。对象物位置数据库44的详细情况容后再述。

周边位置信息通知部18在拍摄位置决定部16中判定为对象物类别判定部15判定出的不可视对象物和根据检修顺序数据库43中存储的检修顺序数据确定的检修对象物不一致的情况下，从扬声器3输出对检修对象物从该时点的摄像机2的位置观察位于哪个位置进行引导的语音信息等。

例如，如图10所示，设当前的摄像机2的视场角对焦于开关b，作为当前应该进行检修的对象的检修对象物即开关a位于该开关b的左侧。

该情况下，周边位置信息通知部18例如从扬声器3输出“检测到开关b。作为当前检修对象的开关a位于左侧。”这样的语音，对作业者指示正确的检修对象物的位置。此时，周边位置信息通知部18根据对象物位置数据库44中存储的对象物位置数据计算正确的检修对象物的位置。

这里，图11是示出该实施方式2中存储在对象物位置数据库44中的对象物位置数据的一例的图。

例如，如图11所示，对象物位置数据包含利用二维或三维点群模型等详细表示可能成为检修对象物的不可视对象物的图像数据(图11a)和在各二维图像或三维点群模型上的可能成为各检修对象物的不可视对象物的中心坐标的信息(图11b)。

另外，作业者等预先设定各对象物的中心坐标。具体而言，例如，作业者等在某个位置拍摄不可视对象物，在拍摄到的图像中设定各不可视对象物的中心坐标。该各不可视对象物的中心坐标是用于在存在多个不可视对象物的情况下判断各不可视对象物间的位置关系的信息。

此外，在图11a中，示出详细映出有可能成为检修对象物的不可视对象物中的、具有盘a的不可视对象物的图像数据。

周边位置信息通知部18在拍摄位置决定部16中判定为对象物类别判定部15判定出的不可视对象物和根据检修顺序数据库43中存储的检修顺序数据确定的检修对象物不一致的情况下，根据采集图像和由图11a所示的对象物位置数据表示的图像，计算向作业者指示的检修对象物的位置。

下面，设在对象物位置数据是图11所示的内容且正确的检修对象即检修对象物是具有盘a的开关a的情况下，采集图像是图12a所示的内容来进行具体说明。

首先，周边位置信息通知部18进行采集图像和由对象物位置数据表示的图像的匹配，确定采集图像映出了预先设定的对象物位置数据所示的图像中的何处。

周边位置信息通知部18使用模板匹配、sift(scale-invariantfeaturetransform：尺度不变特征转换)或surf(speed-uprobustfeatures：加速鲁棒特征)特征量等现有方法作为匹配方法即可。

这里，采集图像映出具有盘a的不可视对象物即开关b(参照图12a)，检修对象物是具有盘a的不可视对象物即开关a(参照图11a)。

由此，周边位置信息通知部18对图12a所示的图像和图11a所示的对象物位置数据所示的图像进行匹配，确定采集图像映出了对象物位置数据所示的图像中的何处。其结果是，周边位置信息通知部18确定图12b的1201所示的范围是采集图像中映出的范围。

接着，周边位置信息通知部18根据对象物位置数据中的各二维图像或三维点群模型上的可能成为各检修对象物的不可视对象物的中心坐标的信息(参照图11b)，确定对象物位置数据所示的图像上的开关b的中心坐标cr，作为采集图像中的开关b的中心坐标对应的位置坐标。

然后，周边位置信息通知部18对确定的中心坐标cr和对象物位置数据所示的图像上的检修对象物即开关a的中心坐标cn进行比较，计算从对采集图像进行摄像的该时点的摄像机2的位置观察在哪个位置存在检修对象物即开关a。

根据上述例子，采集图像中映出的开关b的中心坐标对应的位置坐标即中心坐标cr为(200，100)，检修对象物即开关a的中心坐标cn为(100，100)，因此，周边位置信息通知部18计算出从摄像机2的位置观察开关a位于左侧。

另外，在以上的说明中，周边位置信息通知部18在拍摄位置决定部16中判定为对象物类别判定部15判定出的不可视对象物和根据检修顺序数据库43中存储的检修顺序数据确定的检修对象物不一致的情况下，从扬声器3输出对检修对象物从该时点的摄像机2的位置观察位于哪个位置进行引导的语音信息等，但是，针对作业者的检修对象物的引导方法不限于此。

例如，周边位置信息通知部18也可以从扬声器3输出关于检修对象物引导从该时点的摄像机2的位置到检修对象物的距离的语音信息等。此外，周边位置信息通知部18也可以从扬声器3输出对检修对象物从该时点的摄像机2的位置观察位于哪个方向进行引导的语音信息等。

如上述例子中说明的那样，周边位置信息通知部18例如能够根据采集图像中映出的开关b的中心坐标对应的中心坐标cr和检修对象物即开关a的中心坐标cn，计算从摄像机2的位置到检修对象物的距离。根据上述例子，中心坐标cn(100，100)从中心坐标cr(200，100)观察位于朝向右方向坐标100量的距离的位置。

周边位置信息通知部18预先使用求出坐标100量相当于多少cm的比率来计算坐标100量的距离。该比率例如是事前计测出的实际空间中的可能成为各检修对象物的不可视对象物间的距离与对象物位置数据所示的图像上的坐标的差分的比率。此外，该比率的信息作为比率信息存储在拍摄辅助装置1a能够参照的场所，周边位置信息通知部18能够根据该比率信息计算坐标100量的距离。

本发明的实施方式2的拍摄辅助装置1a的硬件结构与在实施方式1中使用图8a和图8b说明的结构相同，因此省略重复说明。

与移动速度计算部11、移动速度判定部12、对象物概要判定部13a、移动速度指示部14、对象物类别判定部15、拍摄位置决定部16和拍摄控制部17同样，周边位置信息通知部18通过处理电路801实现。

接着，对该实施方式2的拍摄辅助装置1a的动作进行说明。

图13是用于说明该实施方式2的拍摄辅助装置1a的整体动作的流程图。

在图13中，步骤st1201～步骤st1208、步骤st1210的具体动作分别与在实施方式1中说明的图5的步骤st501～步骤st508、步骤st509的具体动作相同，因此省略重复说明，下面对图13的步骤st1209的具体动作进行说明。

拍摄位置决定部16判定在步骤st1207中对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物是否一致(步骤st1208)，在一致的情况下(步骤st1208的“是”的情况下)，进入步骤st1210。

在步骤st1208中对象物类别判定部15判定出的不可视对象物和由检修顺序数据定义的检修对象物不一致的情况下(步骤st1208的“否”的情况下)，拍摄位置决定部16将对象物类别判定部15判定出的不可视对象物的信息和由检修顺序数据定义的检修对象物的信息输出到周边位置信息通知部18。

周边位置信息通知部18根据在步骤st1208中从拍摄位置决定部16输出的对象物类别判定部15判定出的不可视对象物的信息和检修对象物的信息，从扬声器3输出对成为正确的检修对象的检修对象物在该时点从摄像机2的位置观察位于哪个方向和距离进行引导的语音信息等(步骤st1209)。例如，当设对象物类别判定部15判定出的不可视对象物为“开关b”且检修对象物为“开关a”时，周边位置信息通知部18输出“检测到开关b。作为当前检修对象的开关a位于左侧。”等表示检修对象物位于附近的引导。然后，返回步骤st1202。

这里，对该实施方式2的拍摄辅助装置1a的周边位置信息通知部18的动作进行详细说明。

图14是用于说明该实施方式2的拍摄辅助装置1a的周边位置信息通知部18的详细动作的流程图。

即，图14是说明图13的步骤st1209的详细动作的流程图。

周边位置信息通知部18从拍摄位置决定部16取得对象物类别数据dr的信息(步骤st1301)。另外，对象物类别数据dr是拍摄位置决定部16针对对象物类别判定部15判定出的不可视对象物设定的信息(参照图13的步骤st1205)。

周边位置信息通知部18从拍摄位置决定部16取得检修对象物类别数据dn的信息(步骤st1302)。另外，检修对象物类别数据dn是拍摄位置决定部16参照检修顺序数据库43的检修顺序数据而取得的检修对象物的信息(参照图2的步骤st1206)。

周边位置信息通知部18参照对象物位置数据库44中存储的对象物位置数据，取得该对象物位置数据库44中定义的与对象物类别数据dr一致的不可视对象物的中心坐标cr(步骤st1303)。

同样，周边位置信息通知部18取得对象物位置数据库44中定义的与检修对象物类别数据dn一致的不可视对象物的中心坐标cn(步骤1304)。

具体而言，例如，当设对象物类别数据dr是“开关b”且检修对象物类别数据dn是“开关a”时，周边位置信息通知部18分别取得(200，100)、(100，100)的信息作为中心坐标cr和中心坐标cn。

周边位置信息通知部18根据在步骤st1303中取得的中心坐标cr和在步骤st1304中取得的中心坐标cn，计算从对象物类别数据dr观察的到检修对象物类别数据dn的方向和距离(步骤st1305)。

例如，根据上述例子，从中心坐标cr(200，100)观察，中心坐标cn(100，100)位于朝向右方向坐标100量的距离的位置。即，从对象物类别数据dr观察的检修对象物类别数据dn位于朝向右方向移动坐标100量的位置。

如上所述，周边位置信息通知部18根据预先定义并存储的比率信息，计算移动坐标100量的距离。

周边位置信息通知部18从扬声器3输出指示将摄像机2移动到在步骤st1305中计算出的方向和距离的语音等(步骤st1306)。

另外，这里，周边位置信息通知部18计算从对象物类别数据dr观察的到检修对象物类别数据dn的方向和距离，从扬声器3输出指示将摄像机2移动到计算出的方向和距离的语音等，但是，这只不过是一例。如上所述，周边位置信息通知部18还能够计算从对象物类别数据dr观察的到检修对象物类别数据dn的位置，从扬声器3输出指示将摄像机2移动到计算出的位置的语音等。

在以上的说明中，如图11所示，设在对象物位置数据库44中作为对象物位置数据存储有利用二维或三维点群模型等详细示出可能成为检修对象物的不可视对象物的图像数据和该不可视对象物的中心坐标的信息。

在此基础上，也可以在对象物位置数据库44中作为对象物位置数据存储图15所示的利用二维或三维点群模型等示出可能成为检修对象物的对不可视象物的概要的图像数据。

对象物概要判定部13在移动速度判定部12中判定为手的速度为规定速度以上的情况下(步骤st1204的“是”的情况下)，判定是否在采集图像中映出有检修对象候选(步骤st1205)。此时，即使像是检修对象候选的物体未映出在摄像机图像中，对象物概要判定部13也可以根据图15所示的对象物位置数据和当前的摄像机2的移动方向推测出接近检修对象候选，将表示接近检修对象候选的信息作为判定结果输出到移动速度指示部14。然后，移动速度指示部14也可以使扬声器3输出对作业者通知检修对象候选位于周边而指示减慢手的运动的语音等。

如上所述，实施方式2的拍摄辅助装置1a构成为，存在多个可能成为应该进行检修的对象物的不可视对象物，具有周边位置信息通知部18，该周边位置信息通知部18在判定为对象物类别判定部15判定出的不可视对象物的类别与检修对象物的类别不一致的情况下，根据详细示出可能成为对象物的多个不可视对象物的图像数据和包含用于判断该多个对象物间的位置关系的信息的对象物位置数据，输出对从摄像机2观察的检修对象物的方向进行引导的信息。因此，能够引导作业者以能够正确地拍摄检修对象物。

另外，在以上的实施方式1、2中，设为存在多个不可视对象物进行了说明，但是，不可视对象物也可以是一个。

此外，在以上的实施方式1、2中，对象物概要判定部13在相似度s1为70％以上的情况下，判定为在采集图像中映出有检修对象候选，对象物类别判定部15在相似度s2为95％以上的情况下，判定为映出在采集图像中的物体和由详细图像数据定义的不可视对象物的类别一致，但是，相似度s1和相似度s2的值不限于此。相似度s1和相似度s2的值能够适当设定。

此外，本申请能够在其发明范围内进行各实施方式的自由组合、或各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。

产业上的可利用性

本发明的拍摄辅助装置构成为用户能够将不可视对象物收敛于适当的角度进行拍摄，因此，能够应用于辅助摄像机进行拍摄的拍摄辅助装置和拍摄辅助方法等。

标号说明

1、1a：拍摄辅助装置；2：摄像机；3：扬声器；4、4a：事前生成数据库；11：移动速度计算；12：移动速度判定部；13：对象物概要判定部；14：移动速度指示部；15：对象物类别判定部；16：拍摄位置决定部；17：拍摄控制部；18：周边位置信息通知部；41：概要图像数据库；42：详细图像数据库；43：检修顺序数据库；44：对象物位置数据库；100：便携终端；801：处理电路；802：hdd；803：输入接口装置；804：输出接口装置；805：存储器；806：cpu。