显示控制系统、显示控制装置及显示控制方法与流程

本发明涉及一种显示控制系统、显示控制装置及显示控制方法。

背景技术：

在使无人飞行器飞行时，为了确保该无人飞行器及其周围的安全，原则上该无人飞行器的操作者必须目视该无人飞行器。并且，在无人飞行器的操作者无法看见该无人飞行器的状况下，例如要求无人飞行器的操作者能够通过该无人飞行器具备的摄像机对周围拍摄出的图像(以下，称为飞行器拍摄图像)等，掌握该无人飞行器周围的状况。

作为将飞行器拍摄图像提示给该无人飞行器的操作者的技术的一例，在专利文献1中记载有一种远距离操作系统，将根据安装在无人直升机上的全方位摄像机拍摄到的全方位图像所制作的操作用图像提示给操作者。

另外，在专利文献2中记载有，在操作者的头部所佩戴的头戴式显示器上显示无人飞行体的摄像机拍摄到的影像。

背景技术文献

专利文献

专利文献1：日本专利特开2003-267295号公报

专利文献2：日本专利特开2017-119501号公报

技术实现要素：

[发明要解决的问题]

在无人飞行器的操作者目视着该无人飞行器的状况下，希望尽可能地抑制向该操作者提示飞行器拍摄图像，以尽量不妨碍目视。另一方面，如果无人飞行器的操作者没有目视该无人飞行器，那么希望向操作者提示飞行器拍摄图像，让操作者知道无人飞行器周围的状况。

然而，视线仅仅离开无人飞行器较短的时间便立即将飞行器拍摄图像提示给该操作者，向操作者提示飞行器拍摄图像抑或是抑制该提示频繁地切换时，担心操作者会感到不快。

此外，在专利文献1记载的技术中，所述操作用图像一直被提示给操作者。另外，在专利文献2记载的技术中，无人飞行体的摄像机拍摄到的影像也始终显示在头戴式显示器上。

本发明鉴于所述问题而完成，目的之一在于提供一种能够适当地控制无人飞行器具备的摄像机所拍摄的图像的显示状态的显示控制系统、显示控制装置及显示控制方法。

[解决问题的技术手段]

为了解决所述问题，本发明的显示控制系统包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。

在本发明的一形态中，所述判定机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，所述显示控制机构根据是否以指定次数连续地判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。

或者，所述判定机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器，来进一步判定是否持续判定所述操作者没有目视所述无人飞行器，所述显示控制机构根据是否已持续指定时间判定所述操作者没有目视所述无人飞行器的判定结果，控制所述显示部中的所述飞行器拍摄图像的显示状态。

另外，在本发明的一形态中，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对是否使所述飞行器拍摄图像显示在所述显示部进行控制。

或者，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示在所述显示部的所述飞行器拍摄图像的尺寸。

另外，在本发明的一形态中，所述判定机构根据所述无人飞行器与所述操作者之间的距离，判定该操作者是否目视着该无人飞行器。

另外，在本发明的一形态中，所述判定机构根据所述操作者的视野范围与所述无人飞行器的位置，判定该操作者是否目视着该无人飞行器。

另外，在本发明的一形态中，所述判定机构根据配置在所述操作者的头部的摄像机所拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器。

另外，在本发明的一形态中，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对所述操作者佩戴的头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。

另外，在本发明的一形态中，所述判定机构根据所述操作者佩戴的头戴式示器所具备的摄像机拍摄的操作者拍摄图像，判定所述操作者是否目视着所述无人飞行器，所述显示控制机构根据是否持续判定所述操作者没有目视所述无人飞行器，对所述头戴式显示器所具备的所述显示部中的所述飞行器拍摄图像的显示状态进行控制。

另外，在本发明的一形态中，还包含引导机构，所述引导机构在所述操作者没有目视所述无人飞行器的情况下，将引导所述操作者使其能够目视所述无人飞行器的引导信息提供给所述操作者。

另外，本发明的显示控制装置包含：图像获取机构，获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；判定机构，根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及显示控制机构，根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。

另外，本发明的显示控制方法包含如下步骤：获取飞行中的无人飞行器具备的摄像机所拍摄的飞行器拍摄图像；根据与所述无人飞行器及该无人飞行器的操作者中的至少一个相关的传感数据，判定该操作者是否目视着该无人飞行器；及根据是否持续判定所述操作者没有目视所述无人飞行器，控制显示部中的所述飞行器拍摄图像的显示状态。

附图说明

图1是表示本发明的一实施方式的显示控制系统的整体构成的一例的图。

图2a是表示本发明的一实施方式的头戴式显示器的构成的一例的图。

图2b是表示本发明的一实施方式的无人飞行器的构成的一例的图。

图3是示意性地表示无人飞行器的位置与操作者的位置的关系的一例的图。

图4是表示本发明的一实施方式的头戴式显示器中装配的功能的一例的功能模块图。

图5是表示本发明的一实施方式的头戴式显示器中进行的处理的流程的一例的流程图。

具体实施方式

以下，一边参照附图，一边对本发明的一实施方式进行说明。

图1是表示本发明的一实施方式的显示控制系统1的整体构成的一例的图。如图1所示，本实施方式的显示控制系统1中包含头戴式显示器(hmd)10、无人飞行器12及操作终端14。

如图1所示，操作终端14与无人飞行器12能够相互通信。另外，hmd10与操作终端14能够相互通信。此外，hmd10与无人飞行器12也可以能够不经由操作终端14而直接相互通信。

hmd10是无人飞行器12的操作者可以佩戴在头部的显示器装置。此外，在以下说明中，本实施方式的hmd10设为影像穿透式(视频透视式)。因此，无人飞行器12的操作者能够通过下述摄像机部30拍摄的图像(以下，称为操作者拍摄图像)，在佩戴着hmd10的状态下看见实际空间的情况。

本实施方式的hmd10中，例如如图2a所示，包含处理器20、存储部22、通信部24、显示部26、传感器部28及摄像机部30。此外，hmd10中也可以包含扬声器等声音输出部。

处理器20例如是根据hmd10中安装的程序进行动作的微处理器等程序控制器件。

存储部22例如是rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、闪速存储器等存储元件等。在存储部22中存储由处理器20执行的程序等。

通信部24例如是无线lan(localareanetwork，局域网)模块或bluetooth(注册商标)模块等通信接口。

显示部26是配置在hmd10前侧的例如液晶显示器或有机el(electroluminescence，电致发光)显示器等显示器。本实施方式的显示部26例如可通过显示左眼用图像与右眼用图像而显示三维图像。此外，显示部26也可以只能显示二维图像而无法显示三维图像。

传感器部28例如是包含gps(globalpositioningsystem，全球定位系统)等gnss(globalnavigationsatellitesystem，全球导航卫星系统)接收机、加速度传感器或陀螺仪传感器等惯性传感器、地磁传感器等的器件。传感器部28能够测量hmd10的位置或姿势。传感器部28也可以将hmd10的位置或姿势等测量结果以指定的采样率输出至处理器20。

摄像机部30是包含1个或多个摄像机的器件，该摄像机拍摄hmd10的佩戴者的视野范围的图像即操作者拍摄图像。摄像机部30也可以用指定的采样率拍摄操作者拍摄图像。

无人飞行器12是没有人搭乘的飞行器，例如是利用电池或引擎驱动的无人飞行器(所谓无人机)。本实施方式的无人飞行器12也可以具备自主飞行功能。

本实施方式的无人飞行器12中，例如如图2b所示，包含处理器40、存储部42、通信部44、传感器部46及摄像机部48。此外，无人飞行器12中还包含螺旋桨、马达、电池等普通硬件，但此处省略。

处理器40例如是根据无人飞行器12中安装的程序进行动作的微处理器等程序控制器件。

存储部42例如是rom、ram、闪速存储器等存储元件等。在存储部42中存储由处理器40执行的程序等。

通信部44例如是无线lan模块或bluetooth模块等通信接口。

传感器部46例如是包含gps等gnss接收机、气压传感器、lidar(lightdetectionandranging，光探测与测距)、声波传感器等高度传感器、惯性传感器、风速传感器等的器件。传感器部46能够测量无人飞行器12的位置或姿势。传感器部46也可以将无人飞行器12的位置或姿势等测量结果以指定的采样率输出至处理器40。另外，通信部44也可以将该测量结果以指定的采样率发送至hmd10。

摄像机部48例如是包含对无人飞行器12的周围进行拍摄的1个或多个摄像机的器件。摄像机部48也可以包含例如能够对无人飞行器12的周围全方位地进行拍摄的全方位摄像机。以下，将无人飞行器12的摄像机部48拍摄的图像称为飞行器拍摄图像。摄像机部48也可以用指定的采样率拍摄飞行器拍摄图像。另外，通信部44也可以用指定的采样率将飞行器拍摄图像发送至hmd10。

本实施方式的操作终端14例如是用来操作无人飞行器12的机器。

在本实施方式中，例如，反复判定操作者是否目视着无人飞行器12。此处，例如，设为无人飞行器12在图3所示的位置p1，且无人飞行器12的操作者在图3所示的位置p0。此处，设为位置p1与位置p0相距的距离比指定距离短。并且，设为摄像机部30朝向从位置p0朝向位置p1的方向a1。在该情况下，判定为操作者目视着无人飞行器12。

另一方面，设为无人飞行器12在图3所示的位置p2，且无人飞行器12的操作者在图3所示的位置p0。此处，位置p2与位置p0相距的距离比指定距离长，即使摄像机部30朝向从位置p0朝向位置p2的方向a2，操作者也无法通过操作者拍摄图像目视无人飞行器12。在该情况下，判定为操作者没有目视无人飞行器12。

另外，设为无人飞行器12在图3所示的位置p3，且无人飞行器12的操作者在图3所示的位置p0。此处，位置p3与位置p0相距的距离比指定距离短，但被存在于位置p3与位置p0之间的树50等障碍物遮挡，即使摄像机部30朝向从位置p0朝向位置p3的方向a3，操作者也无法通过操作者拍摄图像目视无人飞行器12。在该情况下，也判定为操作者没有目视无人飞行器12。

另外，例如即使无人飞行器12在位置p1，且无人飞行器12的操作者在位置p0，在摄像机部30朝向方向a2或方向a3的情况下，无人飞行器12也不在摄像机部30的视野(fieldofview(fov))的范围内。因此，操作者无法通过操作者拍摄图像目视无人飞行器12。在该情况下，也判定为操作者没有目视无人飞行器12。

并且，在本实施方式中，例如，对是否持续判定操作者没有目视无人飞行器12进行判定。此处，例如也可以根据是否以指定次数连续地判定操作者没有目视无人飞行器12来对是否持续判定操作者没有目视无人飞行器12进行判定。或者，也可以根据是否持续指定时间判定操作者没有目视无人飞行器12来对是否持续判定操作者没有目视无人飞行器12进行判定。

并且，根据该判定的结果，控制显示部26中的飞行器拍摄图像的显示状态。例如在判定为已持续判定操作者没有目视无人飞行器12的情况下，将无人飞行器12的摄像机部48拍摄的飞行器拍摄图像显示在显示部26。在该情况下，hmd10的摄像机部30拍摄的操作者拍摄图像不显示在显示部26。当不是这种情况时，将hmd10的摄像机部30拍摄的操作者拍摄图像显示在hmd10的显示部26。在该情况下，无人飞行器12的摄像机部48拍摄的飞行器拍摄图像不显示在显示部26。

此外，也可以在hmd10的显示部26显示操作者拍摄图像与飞行器拍摄图像这两者。在该情况下，例如在判定为已持续判定操作者没有目视无人飞行器12的情况下，也可以使飞行器拍摄图像显示得比操作者拍摄图像大。并且，当不是这种情况时，也可以使操作者拍摄图像显示得比飞行器拍摄图像大。

另外，例如，在判定为已持续判定操作者没有目视无人飞行器12的情况下，也可以在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。并且，当不是这种情况时，也可以在显示部26的整个画面显示操作者拍摄图像，在显示部26的一部分划变显示飞行器拍摄图像。

在使无人飞行器12飞行时，为了确保无人飞行器12及其周围的安全，原则上无人飞行器12的操作者必须目视无人飞行器12。并且，在无人飞行器12的操作者无法看见无人飞行器12的状况下，要求无人飞行器12的操作者能够通过飞行器拍摄图像等掌握无人飞行器12周围的状况。另外，即使在无人飞行器12能够自主飞行的情况下，操作者也看着无人飞行器12，根据状况从自主飞行切换成由操作者来进行操作，由此能够进一步确保安全。

在无人飞行器12的操作者目视着无人飞行器12的状况下，希望尽可能地抑制向该操作者提示飞行器拍摄图像，以尽量不妨碍目视。另一方面，如果无人飞行器12的操作者没有目视无人飞行器12，那么希望向操作者提示飞行器拍摄图像，让操作者知道无人飞行器周围的状况。

然而，视线仅仅离开无人飞行器12较短的时间便立即将飞行器拍摄图像提示给该操作者，向操作者提示飞行器拍摄图像抑或是抑制该提示频繁地切换时，担心操作者会感到不快。

在本实施方式中，反复判定无人飞行器12的操作者是否目视着该无人飞行器12，并且对是否持续判定操作者没有目视无人飞行器12进行判定。并且，根据是否持续判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的所述飞行器拍摄图像的显示状态。这样一来，根据本实施方式，能够适当地控制飞行器拍摄图像的显示状态。

此外，也考虑如下运用：操作者在能够目视的期间通过目视来操作无人飞行器12，当无法目视无人飞行器12时，操作者佩戴hmd10，一边观看飞行器拍摄图像一边进行操作。但是，在该情况下，对操作者来说，产生戴上或摘下hmd10的多余的工作，另外，会产生操作者无法进行操作的期间。根据本实施方式，无须进行这种运用。

以下，对本实施方式的hmd10的功能以及由本实施方式的hmd10执行的处理进一步进行说明。

图4是表示本实施方式的hmd10中装配的功能的一例的功能模块图。此外，无须在本实施方式的hmd10中装配图4所示的所有功能，另外，也可以装配图4所示的功能以外的功能。

如图4所示，在本实施方式的hmd10中，从功能上来讲，例如包含传感数据获取部60、判定部62、显示控制部64及引导部66。传感数据获取部60主要装配处理器20、通信部24、传感器部28及摄像机部30。判定部62主要装配处理器20。显示控制部64、引导部66主要装配处理器20及显示部26。

以上功能也可以通过由处理器20执行作为计算机的hmd10中安装的包含与以上功能对应的指令的程序来装配。另外，该程序例如也可以经由光盘、磁盘、磁带、磁光盘等可由计算机读取的信息存储介质或者经由因特网等供给至hmd10。

在本实施方式中，传感数据获取部60例如获取与无人飞行器12及该无人飞行器12的操作者中的至少一个相关的传感数据。传感数据获取部60例如也可以获取表示hmd10的传感器部28或无人飞行器12的传感器部46的测量结果的传感数据。另外，传感数据获取部60获取的传感数据中也可以包含飞行中的无人飞行器12具备的摄像机部48所拍摄的飞行器拍摄图像。另外，传感数据获取部60获取的传感数据中也可以包含配置在无人飞行器12的操作者的头部的摄像机部30所拍摄的操作者拍摄图像。

另外，传感数据获取部60也可以用指定的采样率获取包含以指定的采样率产生的飞行器拍摄图像及操作者拍摄图像的传感数据。

在本实施方式中，判定部62例如根据与无人飞行器12及无人飞行器12的操作者中的至少一个相关的传感数据，判定该操作者是否目视着无人飞行器12。此处，例如，根据传感数据获取部60所获取的传感数据，判定操作者是否目视着无人飞行器12。

另外，在本实施方式中，判定部62也可以根据无人飞行器12与操作者之间的距离，判定操作者是否目视着无人飞行器12。此处，也可以将hmd10的位置视为操作者的位置。并且，判定部62也可以根据无人飞行器12的位置与hmd10的位置之间的距离，判定操作者是否目视着无人飞行器12。

另外，判定部62也可以根据配置在操作者的头部的摄像机所拍摄的操作者拍摄图像，判定操作者是否目视着无人飞行器12。此处，例如，也可以根据由传感数据获取部60获取且由hmd10所具备的摄像机部30拍摄的操作者拍摄图像，判定操作者是否目视着无人飞行器12。另外，例如，也可以根据是否从操作者拍摄图像中检测出无人飞行器12的影像，判定操作者是否目视着无人飞行器12。

另外，判定部62也可以根据飞行器拍摄图像，判定操作者是否目视着无人飞行器12。例如，也可以根据飞行器拍摄图像中呈现的hmd10的方向，判定操作者是否目视着无人飞行器12。

另外，判定部62也可以根据摄像机部30的视野范围，判定操作者是否目视着无人飞行器12。

并且，在本实施方式中，判定部62例如对是否持续判定操作者没有目视无人飞行器12进行判定。

在本实施方式中，显示控制部64例如根据是否持续判定操作者没有目视无人飞行器12而控制hmd10所具备的显示部26中的飞行器拍摄图像的显示状态。显示控制部64也可以根据判定部62的判定结果，控制hmd10所具备的显示部26中的飞行器拍摄图像的显示状态。此外，显示控制部64也可以显示无人飞行器12的速度、无人飞行器12的位置(纬度、经度及高度等)、从操作者到无人飞行器12的距离、到目的地的距离、电池余量等与无人飞行器12相关的信息。

在本实施方式中，引导部66例如在操作者没有目视无人飞行器12的情况下，将引导操作者使其能够目视无人飞行器12的引导信息提供给操作者。例如，引导部66也可以产生重叠有表示无人飞行器12所在的方向的箭头图像等引导图像的操作者拍摄图像。

此外，本实施方式中的操作者只要是处于能够操作无人飞行器12的状态的人即可，操作者无须实际操作无人飞行器12。例如在无人飞行器12具备自主飞行功能且能够切换自主飞行状态与非自主飞行状态的情况下，当无人飞行器12进行自主飞行时，持拿操作终端14的人相当于本实施方式中的操作者。

以下，一边参照图5所示的流程图，一边对由本实施方式的hmd10执行的处理的流程的一例进行说明。

另外，在本实施方式中，例如以相当于所述指定的采样率的指定帧率将图像显示在显示部26。并且，以该指定帧率反复执行s102～s112所示的处理。另外，在本处理例中，连续n帧(连续n次)判定操作者没有目视无人飞行器12的情况下，判定为已持续判定操作者没有目视无人飞行器12。此外，此处，n为2以上的整数。

首先，判定部62设定0作为变量i的值(s101)。

然后，传感数据获取部60获取该帧中的传感数据(s102)。该传感数据中包含该帧中的飞行器拍摄图像及该帧中的操作者拍摄图像。

然后，判定部62根据s102所示的处理中所获取的传感数据，判定hmd10的位置与无人飞行器12的位置之间的距离是否在指定距离以下(s103)。此处，作为hmd10的位置，可以使用由传感器部28测量的位置或根据传感器部28的测量结果特定出的摄像机部30的位置等。另外，作为无人飞行器12的位置，可以使用由传感器部46测量的位置或根据传感器部46的测量结果特定出的摄像机部48的位置等。

另外，所述指定距离也可以根据显示部26的分辨率或视场角等设计值或摄像机部30的分辨率或视场角等设计值预先决定。另外，所述指定距离可以是三维空间中的距离，也可以是水平面上将hmd10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离。

另外，在水平方向与高度方向上，所述指定距离也可以不同。例如，水平面上将hmd10投影到该水平面的位置与将无人飞行器12投影到该水平面的位置之间的距离可以特定为第1距离。另外，铅垂线上将hmd10投影到该铅垂线的位置与将无人飞行器12投影到该铅垂线的位置之间的距离可以特定为第2距离。并且，当第1距离在第1指定距离以下且表示第2距离的值在第2指定距离以下时，可以判定为hmd10的位置与无人飞行器12的位置之间的距离在指定距离以下。并且，当不是这种情况时，可以判定为hmd10的位置与无人飞行器12的位置之间的距离不在指定距离以下。

设为在s103所示的处理中判定为hmd10的位置与无人飞行器12的位置之间的距离在指定距离以下(s103：是)。在该情况下，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(s104)。

此处，摄像机部30的视野范围例如指根据操作者头部的姿势、操作者的位置及摄像机部30的视场角等设计值特定出的三维空间内的锥台所占的范围。此外，操作者头部的姿势及操作者的位置例如根据传感器部28的测量结果而特定出。

此外，s104所示的处理中的摄像机部30的视野范围指不考虑障碍物的影响的视野范围。因此，例如，当无人飞行器12在图3所示的位置p3，且操作者从位置p0面向位置p3(朝向方向a3)时，判定为无人飞行器12在摄像机部30的视野范围内。

设为在s104所示的处理中判定为无人飞行器12在摄像机部30的视野范围内(s104：是)。在该情况下，判定部62判定是否从s102所示的处理中所获取的传感数据中包含的操作者拍摄图像中检测出无人飞行器12的影像(s105)。此处，可以使用众所周知的图像识别技术来进行该检测。

另外，也可以根据s104所示的处理中判定出的视野范围与s102所示的处理中所获取的传感数据表示的无人飞行器12的位置，特定出将无人飞行器12投影到操作者拍摄图像时的操作者拍摄图像内的位置。以这种方式特定出的位置在操作者拍摄图像内存在无人飞行器12的影像的可能性较高。并且，也可以限定在以这种方式特定出的位置的周边进行该检测。由此，能够降低检测处理的负荷。另外，也能降低误检测出该操作者操作的无人飞行器12以外的无人飞行器12的可能性。

设为在s105所示的处理中判定为从s102所示的处理中所获取的传感数据中包含的操作者拍摄图像中没有检测出无人飞行器12的影像(s105：否)，在该情况下，判定部62使变量i的值增加1(s106)。在s103所示的处理中判定为hmd10的位置与无人飞行器12的位置之间的距离不在指定距离以下时(s103：否)也一样，判定部62使变量i的值增加1(s106)。另外，在s104所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内时(s104：否)也一样，判定部62使变量i的值增加1(s106)。

s106所示的处理结束时，判定部62判定变量i的值是否在指定值n以上(s107)。在判定为变量i的值在指定值n以上时(s107：是)，显示控制部64使s102所示的处理中所获取的飞行器拍摄图像显示在显示部26(s108)，并返回到s102所示的处理中。

另一方面，设为在s105所示的处理中判定为从s102所示的处理中所获取的传感数据中包含的操作者拍摄图像中检测出无人飞行器12的影像(s105：是)。在该情况下，判定部62将变量i的值更新为0(s109)。

然后，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(s110)。在s107所示的处理中判定为变量i的值不在指定值n以上时(s107：否)也一样，判定部62判定无人飞行器12是否在摄像机部30的视野范围内(5110)。s110所示的处理是与s104所示的处理同样的处理。此外，在该帧中执行了s104所示的处理的情况下，判定部62也可以调用该处理的执行结果作为s110所示的处理的执行结果。

设为在s110所示的处理中判定为无人飞行器12在摄像机部30的视野范围内(s110：是)。在该情况下，显示控制部64使s102所示的处理中所获取的操作者拍摄图像显示在显示部26(s111)，并返回到s102所示的处理中。

另一方面，设为在s110所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内(s110：否)。在该情况下，显示控制部64使重叠有引导操作者使其能够目视无人飞行器12的引导图像的操作者拍摄图像显示在显示部26(s112)，并返回到s102所示的处理中。

在s112所示的处理中，例如，引导部66也可以根据摄像机部30的视野范围与无人飞行器12的位置而特定出无人飞行器12所在的方向。该方向例如相当于为了使无人飞行器12处于摄像机部30的视野范围内而应该使摄像机部30移动的方向。并且，引导部66也可以产生重叠有表示特定出的方向的箭头图像即引导图像的操作者拍摄图像。例如，在无人飞行器12相对于摄像机部30的方向而言在左上方的情况下，可以产生重叠有朝向左上方的箭头图像即引导图像的操作者拍摄图像。并且，显示控制部64也可以使以这种方式产生的重叠有引导图像的操作者拍摄图像显示在显示部26。

在所述处理例中，在s103～s105所示的处理中，判定操作者是否目视着无人飞行器12。此处，例如，如果是以下状况，即，当使hmd10朝向适当的方向时能够拍摄包含无人飞行器12的影像的操作者拍摄图像，但现状是没有拍摄包含无人飞行器12的影像的操作者拍摄图像，那么判定为操作者没有目视无人飞行器12。

另外，在所述处理例中，判定部62判定是否以指定次数(此处，例如n次)连续地判定操作者没有目视无人飞行器12。并且，显示控制部64根据是否以指定次数连续地判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的飞行器拍摄图像的显示状态。在该情况下，判定部62根据是否以指定次数连续地判定操作者没有目视无人飞行器12，来判定是否持续判定操作者没有目视无人飞行器12。

此外，是否持续判定操作者没有目视的判定也可以根据时间进行，而不像所述那样根据次数进行。例如，判定部62也可以对是否已持续指定时间(例如t秒钟)判定操作者没有目视无人飞行器12进行判定。然后，显示控制部64也可以根据是否已持续指定时间判定操作者没有目视无人飞行器12的判定结果，控制显示部26中的飞行器拍摄图像的显示状态。例如，在判定为已持续指定时间判定操作者没有目视无人飞行器12时，可以显示飞行器拍摄图像。在该情况下，判定部62根据是否已持续指定时间判定操作者没有目视无人飞行器12，来判定是否持续判定操作者没有目视无人飞行器12。

在所述处理例中，一般地，s104所示的处理与s103所示的处理相比，处理负荷更高。另外，s105所示的处理与s104所示的处理相比，处理负荷更高。因此，在s103所示的处理中判定为hmd10的位置与无人飞行器12的位置之间的距离不在指定距离以下时，不在该帧中执行处理负荷较高的s104及s105所示的处理。另外，在s104所示的处理中判定为无人飞行器12不在摄像机部30的视野范围内时，也不在该帧中执行处理负荷较高的s105所示的处理。

此外，s103～s105所示的处理的顺序并不限定于图5所示的顺序。s103～s105所示的处理也可以按照与图5所示的顺序不同的顺序执行。另外，无须执行s103～s105所示的所有处理。

另外，s103～s105所示的处理只不过是判定操作者是否目视着无人飞行器12的处理的一例，判定操作者是否目视着无人飞行器12的处理并不限定于s103～s105所示的处理。

另外，也可以不执行s110～s112所示的处理。在该情况下，例如，在s107所示的处理中判定为变量i的值不在指定值n以上时或者s109所示的处理结束时，显示控制部64也可以使操作者拍摄图像显示在显示部26，并返回到s102所示的处理中。

另外，显示控制部64也可以根据是否已持续指定时间判定操作者没有目视无人飞行器12来控制显示在显示部26的飞行器拍摄图像的尺寸。例如在s111及s112所示的处理中，显示控制部64也可以操作者拍摄图像显示得比飞行器拍摄图像大的方式进行控制。并且，在该情况下，在s108所示的处理中，显示控制部64也可以飞行器拍摄图像显示得比操作者拍摄图像大的方式进行控制。

或者，例如在s111及s112所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。并且，在该情况下，在s108所示的处理中，显示控制部64也可以如下方式进行控制，即，在显示部26的整个画面显示飞行器拍摄图像，在显示部26的一部分划变显示操作者拍摄图像。

另外，当显示在显示部26的图像从飞行器拍摄图像切换成操作者拍摄图像时或者从操作者拍摄图像切换成飞行器拍摄图像时，hmd10也可以将所述内容通过显示输出或声音输出等通知给操作者。另外，在该情况下，例如，也可以是操作者能够选择是否切换图像。例如，hmd10也可以根据操作者的操作来切换显示在显示部26的图像。

另外，例如，在以指定次数连续地或者持续指定时间判定为操作者目视着无人飞行器12的情况下，也可以将操作者拍摄图像显示在显示部26。例如，显示操作者拍摄图像时的指定次数与显示飞行器拍摄图像时的指定次数也可以不同。另外，例如，显示操作者拍摄图像时的指定时间与显示飞行器拍摄图像时的指定时间也可以不同。这样一来，能够进一步防止显示的图像频繁切换。

另外，在s103所示的处理中，显示操作者拍摄图像时的指定距离与显示飞行器拍摄图像时的指定距离也可以不同。例如，显示飞行器拍摄图像时的指定距离也可以比显示操作者拍摄图像时的指定距离长。或者，显示操作者拍摄图像时的指定距离也可以比显示飞行器拍摄图像时的指定距离长。这样一来，能够防止显示的图像频繁切换。

另外，引导部66也可以产生如下引导图像，该引导图像除了箭头图像以外或者代替箭头图像而配置着「无人机在左上方飞行」「请朝向左上方」等表示引导操作者的句子的字串图像。并且，引导部66也可以产生重叠有该引导图像的操作者拍摄图像。另外，引导部66也可以除了引导图像的重叠或者代替引导图像的重叠而向操作者输出「无人机在左上方飞行」「请朝向左上方」等引导操作者的声音。

此外，本发明并不限定于所述实施方式。

例如，在以上的说明中，hmd10设为影像穿透式(视频透视式)的hmd10，但本发明在hmd10为光学穿透式(光学透视式)的hmd10的情况下也能够适用。此处，例如，显示控制部64也可以如下方式进行控制，即，在s108所示的处理中，使飞行器拍摄图像显示，在s111或s112所示的处理中，不使飞行器拍摄图像显示。或者，也可以在s108所示的处理中，使飞行器拍摄图像显示得较大，在s111或s112所示的处理中，使飞行器拍摄图像显示得较小。如果抑制飞行器拍摄图像的显示，操作者就容易目视无人飞行器12。

此外，在该情况下，也可以在s104及s110所示的处理中，使用操作者的视野范围来代替摄像机部30的视野范围。此处，操作者的视野范围例如可根据操作者头部的姿势与所给的操作者的视角而特定出。另外，s103所示的处理中的指定距离也可以根据操作者的视力进行设定。另外，在该情况下，摄像机部30所拍摄的操作者拍摄图像也可以只在s105所示的处理中使用。

另外，在该情况下，显示控制部64也可以在s112所示的处理中，使引导图像ar(augmentedreality，增强现实)显示在显示部26。

另外，在s111或s112所示的处理中，显示控制部64也可以使用来支援操作的信息ar显示在显示部26。在该情况下，希望该信息避开中央部配置或者以穿透度较高的状态配置，以不妨碍目视无人飞行器12。

另外，本发明的适用范围也不限定于hmd10。例如，操作者一边观看并非hmd10的显示器一边操作无人飞行器12的情景也能适用本发明。在该情况下，也可以代替hmd10的摄像机部30，而将设置在无人飞行器12的起飞地点或着陆地点的摄像机拍摄的图像用作操作者拍摄图像。另外，该摄像机无须为固定摄像机，例如也可以是操作者能够控制姿势的摄像机(云台摄像机等)。

另外，在本实施方式中，也可以在无人飞行器12或操作终端14中装配图4所示的功能的一部分或全部。

另外，所述具体的字串或数值及附图中的具体的字串或数值是例示，并不限定于这些字串或数值。