远程控制作业机用显示系统的制作方法

本发明涉及一种显示从作业机传送来的用于远程控制作业机的图像的显示系统。

背景技术：

已经存在显示从作业机传送来的用于远程控制作业机的图像的显示系统。传统的显示系统包括附加于作业机的相机或相机组件，从位于远离作业机作业的作业现场的位置对该相机或相机组件进行远程控制。系统通过无线通信将相机拍摄的图像(影像)传送至显示系统的远程控制端，使得远程控制端中的显示设备能够实时显示所拍摄的图像。

例如，jp2008111269a公开了在显示设备上实时显示作业机环境的全景图像的显示系统。

作为另一示例，jp2002345058a公开了基于从附加于建筑机械的相机传送的数据在显示设备上实时显示作业现场图像的显示系统。由于无线电法规的约束，以2.4ghz的小功率无线电进行数据传送。

技术实现要素：

本发明要解决的技术问题

希望远程控制作业机用显示系统能够跟踪操作员视线的移动，并且相应地改变正在显示设备上显示的图像，从而改善远程控制可操作性。

然而，jp2008111269a仅仅公开了响应于踏板操作来改变全景图像的显示系统。因为显示系统没有跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像，所以jp2008111269a不能始终提供良好的操作感。jp2002345058a也没有公开跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像的显示系统。

下面列出的专利文献表示与本发明相关的示例性技术。然而，任何一个都没有预见到本发明。

us6795109b2

us8274550b2

us6195204b1

us2006/0103723a1

us2007/0182812a1

us8355041b2

因此，本发明的目的在于提供一种远程控制作业机用显示系统，该显示系统能够跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。

针对技术问题的解决方案

为了实现上述目的，本发明提供了一种远程控制作业机用显示系统，该显示系统具有第一方面和第二方面。

(1)显示系统的第一方面

显示系统的第一方面为一种远程控制作业机用显示系统，包括：多个相机单元，附加于作业机，该作业机具有能够水平转动和垂直摆动的作业部件；图像处理设备，设置于上述作业机，基于上述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的上述全景图像的部分全景图像；显示设备，位于上述显示系统的远程控制端；以及远程控制设备，从上述图像处理设备接收上述部分全景图像，并且将所接收到的上述部分全景图像传送至显示设备，其中，每个相机单元都包括左眼相机和右眼相机这一对相机，上述图像处理设备分别基于上述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的上述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至上述远程控制设备，上述远程控制设备从上述图像处理设备接收上述部分左眼全景图像和右眼全景图像，并且将所接收的部分左眼全景图像和右眼全景图像传送至上述显示设备，上述显示设备设计为安装在操作员头部，从上述远程控制设备接收上述部分左眼全景图像和右眼全景图像，并且显示所接收的上述部分左眼全景图像和右眼全景图像，而且检测上述操作员头部的移动，并且将所检测出的上述操作员头部的移动传送至上述远程控制设备，上述远程控制设备通过无线通信将从上述显示设备传送来的操作员头部的移动传送至上述图像处理设备，并且上述图像处理设备根据从上述远程控制设备传送来的上述操作员头部的移动来调整将要传送至上述显示设备的上述部分左眼全景图像和右眼全景图像。

(2)显示系统的第二方面

显示系统的第二方面为一种远程控制作业机用显示系统，包括：多个相机单元，附加于作业机，该作业机具有能够水平转动和垂直摆动的作业部件；图像处理设备，设置于上述作业机，基于上述多个相机单元拍摄的多个图像来生成全景图像，并且通过无线通信传送所生成的上述全景图像；显示设备，位于显示系统的远程控制端；以及远程控制设备，接收来自上述图像处理设备的全景图像，并且将所接收的上述全景图像的部分全景图像传送至上述显示设备，其中，每个相机单元都包括一对左眼相机和右眼相机，上述图像处理设备分别基于由上述一对相机拍摄的左眼图像和右眼图像来生成左眼全景图像和右眼全景图像，并且通过无线通信将所生成的上述左眼全景图像和右眼全景图像传送至上述远程控制设备，上述远程控制设备从上述图像处理设备接收上述左眼全景图像和右眼全景图像，并且将所接收的上述左眼全景图像和右眼全景图像的部分左眼全景图像和右眼全景图像传送至上述显示设备，上述显示设备设计成安装在操作员头部，从上述远程控制设备接收上述部分左眼全景图像和右眼全景图像，并且显示所接收的上述部分左眼全景图像和右眼全景图像，而且检测上述操作员头部的移动，并且将所检测出的上述操作员头部的移动传送至上述远程控制设备，并且上述远程控制设备根据从上述显示设备传送来的上述操作员头部的移动来调整将要传送至上述显示设备的上述部分左眼全景图像和右眼全景图像。

在本发明的示例性方面中，上述多个相机单元位于与座椅能够安装在上述作业机上的位置水平对应的安置位置处，使得上述多个相机单元具有位于坐高处的镜头中心，该坐高与假设坐在上述座椅上的对于上述作业机的目标市场而言具有平均体格的作业人员的眼睛高度对应。

在本发明的另一示例性方面中，上述多个相机单元设置在能够向上/向下移动和垂直转动的支撑构件上。

在本发明的另一示例性方面中，上述显示系统还包括位于上述多个相机单元的周边的照明设备。

在本发明的另一示例性方面中，上述显示设备基于在上述显示系统中提前准备的数据库或位于与上述显示系统不同的位置处的数据库，以部分作业辅助信息与上述部分左眼全景图像和右眼全景图像一致的方式将上述部分作业辅助信息与上述部分左眼全景图像和右眼全景图像一起显示，上述部分作业辅助信息是作业辅助信息中与上述部分左眼全景图像和右眼全景图像对应的辅助信息。

本发明的有益效果

本发明能够提供远程控制作业机用显示系统，该显示系统能够跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。

附图说明

图1为第一实施例的远程控制作业机用显示系统的示意图。

图2为设置在图1所示的作业机上的支撑构件中的支撑件的结构和由该支撑件支撑的多个相机单元的示意性立体图。

图3为示出设置在第一实施例的显示系统的作业机端的图像处理设备的系统配置的框图。

图4为示出图像处理设备裁剪部分全景图像的裁剪处理的图。

图5为示出设置在第一实施例的显示系统的远程控制端的远程控制设备的系统配置的框图。

图6为示出图像处理设备根据操作员头部的移动来调整部分全景图像的调整处理的图。

图7为描绘由第一实施例的显示系统实施的示例性控制操作的流程图。

图8为第二实施例的远程控制作业机用显示系统的示意图。

图9为示出在第三实施例的远程控制作业机用显示系统的作业机端设置的图像处理设备的系统配置的框图。

图10为示出在第三实施例的显示系统的远程控制端设置的远程控制设备的系统配置的框图。

图11为示出由第三实施例的显示系统实施的示例性控制操作的流程图。

图12为第四实施例的远程控制作业机用显示系统的示意图。

图13为第五实施例的远程控制作业机用显示系统的示意图。

图14为针对第六实施例的远程控制作业机用显示系统，当从前方观察构成相机单元的一对相机和安置在该一对相机上的示例性照明设备时的示意图。

图15为第七实施例的远程控制作业机用显示系统的显示设备上的示例性显示屏的显示，该显示屏以作业辅助信息中与部分全景图像相关联的部分与上述部分全景图像一致的方式将上述部分作业辅助信息与上述部分全景图像一起示出。

具体实施方式

下面将参照附图描述根据本发明的实施例。

第一实施例

图1为第一实施例的用于远程控制作业机200的显示系统100的示意图。

如图1所示，用于远程控制作业机200的显示系统100包括附加于作业机200并且从位于远离作业机200作业的作业现场的位置被远程控制的相机单元310-310。由相机单元310-310拍摄的图像(影像)通过无线通信传送至显示系统的远程控制端120，使得所拍摄的图像可以实时显示在远程控制端120的显示设备410上。

在显示系统100中，作业机200为由作业机200的操作员500从远离作业现场的位置远程控制的无人作业机。观看显示设备410的显示屏的操作员500从远程控制端120发送操作指令来控制无人作业机。因此作业机200能够在人类不能到达的危险作业现场(例如，由于现场的污染)中作业。

作业机200包括能够水平转动和能够垂直摆动的作业部件220。在本示例中，作业机200为建筑机械(具体为挖掘机)。作业机200还包括构成履带的行进主体210。作业部件220能够相对于行进主体210水平转动(围绕在垂直方向上延伸的轴线)。作业部件220包括：上主体221，能够相对于行进主体210水平转动；吊杆222，能够相对于上主体221垂直摆动(围绕在水平方向上延伸的轴线)；机械臂223，能够相对于吊杆222垂直摆动；以及挖斗224，能够相对于机械臂223垂直摆动。相对于置于水平面上的作业机200来定义本文中的“水平”方向和“垂直”方向。

在本示例中，机械臂223端部的附属装置是挖斗224。然而，本示例决不是进行限制，根据作业性质，任意合适的附属装置都可以装配至机械臂223的端部上。

在本示例中，作业机200为挖掘机。然而，本实施例决不是进行限制，作业机200可以为任意其他建筑机械或任意农业机械。

作业机200还包括远程操作设备230。远程操作设备230远程控制作业机200的主体，并且能够与作业机200的主体进行无线通信。远程操作设备230接受来自操作员500的操作，并且通过无线通信将基于这些操作而发出的操作指令传送至作业机200的主体。远程操作设备230包括操作部231，例如用来操作作业部件220(具体地说，上主体221、吊杆222、机械臂223、挖斗224或任意其他部件)的控制杆。

显示系统100由位于显示系统的作业机端110中的部件300和位于显示系统的远程控制端120中的部件400构成。

作业机端110中的部件300包括多个相机单元310-310和图像处理设备320，两者都设置在作业机200上。远程控制端120中的部件400包括显示设备410和远程控制设备420。

作业机端110中的部件300还包括支撑构件330。支撑构件330具有由设置在作业机200的作业部件220上的上主体221支撑(在本示例中，固定至上主体221)的下端和以水平姿态支撑(在本示例中，保持)相机单元310-310的上端。本文中的“水平姿态”定义为在作业机200置于水平面上时作业机200的姿态。

支撑构件330包括支撑件331和支撑底座(在本示例中为支柱332)。支撑件331支撑相机单元310-310。支撑底座将支撑件331支撑在其上端上，并且其下端又由上主体221支撑。

图2为示出设置在图1所示的作业机200上的支撑构件330中的支撑件331的结构以及由支撑件331支撑的相机单元310-310的示意性立体图。图2示出设置在支撑件331上的(在本示例中为五个)相机单元310-310，其中的一些被从支撑件331上拆除，实际上所有(在本示例中为5个)相机单元310-310都设置在支撑件331上。

如图2所示，每个相机单元310-310都由一对左眼相机311和右眼相机312构成。更具体地，一对相机311和312由用于操作员500左眼的左眼相机311和用于操作员500右眼的右眼相机312构成。一对相机311和312的镜头中心间隔距离“镜头，该距离等于正常人瞳孔中心之间的距离。在本示例中，构成相机单元310-310的所有相机311和312为相同类型的小型数码摄像机。

支撑件331构成为全方位或基本上全方位支撑相机单元310-310，使得由相机单元310-310拍摄的图像能够以预定的拍摄面积比(capturedarearatio)重叠。具体地，支撑件331构成为全方位或基本上全方位支撑左眼相机311-311，使得由左眼相机311-311拍摄的左眼图像能够以预定的拍摄面积比重叠，并且全方位或基本上全方位支撑右眼相机312-312，使得由右眼相机312-312拍摄的右眼相机能够以预定的拍摄面积比重叠。

更具体地，当设置有两个相机单元310和310时，支撑件331可以使相机单元310和310布置在间隔预定距离的相对位置处；当设置有三个以上相机单元310-310时，支撑件331可以使相机单元310-310沿着具有预定长度半径的假想圆放射状地布置在等距离间隔或基本上等距离间隔开的位置处。

具体地，支撑件331为板状，并且可以成型为具有与相机单元310的数量匹配的边数。例如，当设置有两个相机单元310和310时，在俯视图中，支撑件331可以在相机单元310和310背对背布置的方向上具有增大的长度；当设置有三个以上相机单元310-310时，支撑件331可以具有规则多边形形状，该规则多边形形状的具有相等长度的边的数量与相机单元310的数量相同(具体地，当设置有三个相机单元310-310时，支撑件331在俯视图中可以具有正三角形形状；当设置有四个相机单元310-310时，支撑件331在俯视图中可以具有正方形形状；当设置有五个相机单元310-310时，支撑件331在俯视图中可以具有正五边形形状等等)。也可以是，支撑件331在俯视图中为圆形。

在该示例中，设置有五个相机单元310-310(换句话说，设置有构成相机单元310-310的总共十个相机311和312)。这些相机单元310-310沿着具有从俯视图中为五边形的支撑件331的中心测量的预定长度半径的假想圆放射状布置在等距离间隔开或基本上等距离间隔开的位置(每条边的中心)处。使用固定构件331a固定相机单元310-310。

如上面详细说明的那样，支撑件331支撑布置在相对位置处或放射状布置在等距离间隔开或基本上等距离间隔开的位置处的相机单元310-310。该布置使相机单元310-310整体能够泛盖360°水平视图。可以根据相机单元310-310的安置位置，以合适的方式确定构成相机单元310-310的每对相机311和312的视角。在本示例中，每对相机311和312都具有140°的垂直视角(具体地，在假想水平参考面上方70°以及在该平面下方的另外70°)。

相机单元310-310(参见图1)位于与座椅(在本示例中，如果作业机200是人工操作的，则该座椅为工作人员在操作期间所坐的座椅)能够安装在作业机200上的位置水平对应(具体地，在前/后方向和左/右方向上都水平对应)的安置位置处。另外，相机单元310-310布置为具有位于坐高处的镜头中心，该坐高与假设坐在能够安装在作业机200上的座椅上的对于作业机200的目标市场(例如，针对欧洲、北美或亚洲市场的规格)而言具有平均体格(例如，高度和坐姿高度)的作业人员(例如，来自欧洲、美国或亚洲的作业人员)的眼睛高度对应。

在本示例中，在上主体221前部，就面向行进方向的人员的左/右方向而言，吊杆222设置在上主体221的中心处。因此，就左/右方向而言，支撑构件330在上主体221的前部附近竖立于中心的右侧或左侧(在图1的示例中为左侧)。

支撑构件330还构成为支撑相机单元310-310，使得相机单元310-310具有位于与假设坐在能够安装在作业机200上的座椅上的作业人员的眼睛高度对应的高度处的镜头中心。

在本示例中，图像处理设备320设置在作业机200的作业部件220。但是本示例决不是进行限制，图像处理设备320可以设置在支撑构件330、行进主体210或任意其它合适的构件。

图像处理设备320基于由相机单元310-310拍摄的多个图像(影像数据)生成全景图像(全景影像数据)，裁剪出部分所生成的全景图像，并通过无线通信传送所裁剪出的部分全景图像。在本示例中，图像处理设备320构建在计算机(具体地，个人计算机)周围。

图3为示出第一实施例的显示系统100的作业机端110中的图像处理设备320的系统配置的框图。

如图3所示，图像处理设备320包括执行各种程序、计算以及其它处理的控制部321和存储各种数据的存储部322。

图像处理设备320具有用于与相机单元310-310通信的预定通信接口，并且通过连接电缆cb1的通信接口电连接至相机单元310-310。该配置使图像处理设备320能够接收由相机单元310-310拍摄的多个图像(影像数据)im-im和im-im。

在本示例中，相机单元310-310和图像处理设备320之间的通信接口为usb(通用串行总线)接口(具体地，为usb3.0兼容接口)。相机单元310-310与图像处理设备320之间的通信接口决不局限于usb接口，还可以为任意其它通信接口。另外，相机单元310-310与图像处理设备320之间的通信决不局限于有线通信，还可以为短程无线通信。

存储部322包含ram(随机存取存储器)等易失性存储器和硬盘设备、闪速存储器等非易失性存储器。易失性存储器例如由控制部321用作在执行各种计算和其它处理中所需的作业存储器。非易失性存储器预加载(预安装)有来自外部资源(例如，存储介质或互联网服务器)的软件，包括计算机程序。

图像处理设备320还包括通信部323，通信部323用来与位于远程控制端120的远程控制设备420中的通信部423进行无线通信(在本示例中，为短程无线通信)。

短程无线通信的示例包括能够进行短程通信(大约从几米到100米)的技术：即，能够在大约从几十米到100米的范围进行短程通信的无线lan(局域网)通信和能够在大约几米到几十米的范围进行短程通信的无线pan(个人区域网)通信。

无线lan通信的示例为ieee802.11兼容无线lan通信。无线pan通信的示例为ieee802.15兼容无线pan通信。

通信部323通过短程无线通信将数据发射至远程控制设备420的通信部423/从远程控制设备420的通信部423接收数据。在本示例中，通信部323进行ieee802.11兼容无线lan通信。

图像处理设备320与远程控制设备420之间的通信决不局限于短程无线通信，还可以为长距离(超过大约100m)无线通信。

图像处理设备320分别基于由构成相机单元310-310的成对相机311-311和312-312拍摄的左眼和右眼图像(影像)im-im和im-im生成左眼和右眼全景图像(全景影像)pi。

例如通过下面的技术生成全景图像。对于左眼，通过将由全方位或基本上全方位布置为拍摄重叠图像im-im的左眼相机311-311拍摄的左眼图像im-im逐帧组合来生成左眼全景图像(全景影像)，以便合成其中左眼图像im-im重叠的普通图像。同样，对于右眼，通过将由全方位或基本上全方位布置为拍摄重叠图像im-im的右眼相机312-312拍摄的右眼图像im-im逐帧组合来生成右眼全景图像(全景影像)，以便合成其中右眼图像im-im重叠的普通图像。可采用任意公知的常规技术来生成全景图像pi和pi；由此，这里不再给出进一步的细节。

图像处理设备320将生成的左眼和右眼全景图像pi和pi暂时存储在存储部322中。

图像处理设备320实施裁剪处理来裁剪出存储在存储部322中的左眼全景图像pi的部分全景图像pip，并且裁剪出存储在存储部322中的右眼全景图像pi的部分全景图像pip。

图4为示出其中图像处理设备320从全景图像pi和pi中裁剪出部分全景图像pip和pip的裁剪处理。左眼和右眼全景图像pi和pi实际上具有相同的配置。图4在左眼和右眼全景图像pi和pi之间没有进行区分，而示出共同用于左眼和右眼图像两者的裁剪处理。

如图4所示，如果操作员500的头部510位于全景图像pi和pi全方位或者基本上全方位(在本示例中，基本上全方位)布置在其内侧的中空球体的中央处，则更容易理解图像处理设备320从全景图像pi和pi中裁剪出部分全景图像pip和pip的裁剪处理。

图像处理设备320通过使用预定参考点α(例如，作业机200的前向偏航参考角φy、滚转参考角φr或俯仰参考角φp)作为参考点，以与操作员500的视角对应的预定裁剪角度(β和γ)从全景图像pi和pi中裁剪出部分全景图像pip和pip。提前做出裁剪角度(β和γ)设置并且将它们存储在存储部322中。

例如，当相机单元310-310中的一个位于作业机200的前部附近时，预定参考点α可以为从位于作业机200的前部附近的那个相机单元310传送的图像的整个像素区域的中心像素。另外，预定裁剪角度(β和γ)可以与小于或等于正常人的视角的角度匹配。例如，水平裁剪角度β可以大约小于或等于200°，并且垂直裁剪角度γ可以大约小于或等于125°(具体地，假想水平参考面下方75°和上方50°)。

图像处理设备320(参见图3)通过无线通信将左眼全景图像(全景影像数据)pi的裁剪出的部分全景图像pip和右眼全景图像(全景影像数据)pi的裁剪出的部分全景图像pip传送至远程控制端120中的远程控制设备420。更具体地，图像处理设备320压缩左眼和右眼全景图像pi和pi的裁剪出的部分全景图像pip和pip，并且通过无线通信将它们实时传送至远程控制设备420。在本示例中，将通过无线通信传送的数据加密。

远程控制端120中的远程控制设备420从图像处理设备320接收左眼和右眼全景图像pi和pi的部分全景图像pip和pip，并且将所接收的左眼和右眼全景图像pi和pi的部分全景图像pip和pip传输至显示设备410。在本示例中，远程控制设备420为计算机(在本示例中，为平板计算机)。

图5为示出第一实施例的显示系统100的远程控制端120中的远程控制设备420的系统配置的框图。

如图5所示，远程控制设备420包括执行各种程序、计算和其他处理的控制部421和存储各种数据的存储部422。

远程控制设备420具有用于与显示设备410通信的预定通信接口，并且通过连接电缆cb2的通信接口电连接至显示设备410。该配置使远程控制设备420能够将左眼和右眼全景图像pi和pi的部分全景图像pip和pip传送至显示设备410。

在本示例中，远程控制设备420与显示设备410之间的通信接口为hdmi(高清多媒体接口)。远程控制设备420与显示设备410之间的通信接口决不局限于hdmi，还可以为任意其它通信接口。另外，远程控制设备420与显示设备410之间的通信决不局限于有线通信，还可以为短程无线通信。

存储部422包含ram等易失性存储器以及闪速存储器等非易失性存储器。易失性存储器例如由控制部421用作在执行各种计算和其它处理中所需的作业存储器。非易失性存储器预加载(预安装)有软件，包括来自外部资源(例如，存储介质或互联网服务器)的计算机程序。

远程控制设备420还包括通信部423，通信部423用来与作业机端110中的图像处理设备320的通信部323进行无线通信(在本示例中，为短程无线通信)。

由远程控制设备420的通信部423进行的无线通信与由图像处理设备320的通信部323进行的无线通信相同；由此，这里不再给出进一步的细节。

在本示例中，远程控制设备420为平板计算机，也可以是任意其它移动终端设备，例如笔记本计算机、多功能移动手持电话(“智能电话”)、手表式终端设备或可穿戴设备(能够附在衣服上的终端设备)。远程控制设备420可以设置在显示设备410中。远程控制设备420决不局限于移动终端设备，还可以为台式计算机。操作员500在远程控制作业机200期间可以站着或坐着。

更具体地，远程控制设备420将所接收的左眼和右眼全景图像pi和pi的部分全景图像pip和pip暂时存储在存储部422中，并且同时将它们传送至显示设备410。

远程控制端120中的显示设备410从远程控制设备420接收左眼和右眼全景图像pi和pi的部分全景图像pip和pip，并且同时将其显示。更具体地，显示设备410进行流重放，其中显示设备410同时接收并再现(显示)从远程控制设备420实时传送的左眼和右眼全景图像(全景影像)pi和pi的部分全景图像pip和pip。

该配置使显示设备410能够实现实时(直播)三维显示(“3d图像”或“立体图像”)。可以使用任意公知的常规技术来在显示设备410上实现三维显示；由此，这里不再给出进一步的细节。

在本示例中，显示设备410(参见图1)安装在操作员500的头部510上(具体地，在眼睛前方)。更具体地，显示设备410为hmd(头戴式显示器)。显示设备410决不局限于头戴式显示器(hmd)，还可以为台式显示设备(监视器)或视频投影仪。

远程控制端120中的部件400还包括视线检测部411(参见图1和5)，视线检测部411用来检测操作员500视线的移动。在本示例中，视线检测部411为姿态检测部，用来检测操作员500的头部510的姿态(参见图1)。

视线检测部411如图1所示，安装在操作员500的头部510上，并且能够使用头部510的参考姿态(例如，操作员500正在沿着水平方向观察时头部510的姿态)作为参考，检测关于操作员500的头部510的绕沿着垂直方向延伸的y轴的偏航角θy、关于操作员500的头部510的绕沿着前/后方向延伸的r轴的滚转角θr以及关于操作员500的头部510的绕沿着左/右方向延伸的p轴的俯仰角θp。在检测操作员500的头部510的姿态之前，可以指定参考姿态的参考值。

视线检测部411当其在当前示例中为姿态检测部时，可以例如为包括三维陀螺仪传感器、三维重力加速度传感器、旋转编码器和电位计在内的各种传感器中的一种。视线检测部411可以为公知的常规类型；由此，这里不再给出进一步的细节。

视线检测部411(参见图5)向远程控制设备420传送有关所检测出的操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)。

在本实施例中，视线检测部411设置在显示设备410中。换句话说，显示设备410包括视线检测部411，使用视线检测部411检测操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)，并且向远程控制设备420传送由视线检测部411检测出的关于操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)。

从视线检测部411(在本示例中，为显示设备410)向远程控制设备420传送操作员500的头部510的移动可以通过与远程控制设备420和显示设备410之间的通信类似的通信来进行。从视线检测部411(在本示例中，为显示设备410)向远程控制设备420传送操作员500的头部510的移动决不必须通过有线通信来进行，还可以通过短程无线通信来进行。

远程控制设备420通过无线通信将从视线检测部411(在本示例中，为显示设备410)传送来的有关操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)传送至作业机端110中的图像处理设备320。

作业机端110中的图像处理设备320从远程控制设备420接收有关操作员500的头部510的移动的数据(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)，并且根据所接收的操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)调整将要传送至显示设备410的左眼和右眼全景图像pi和pi的部分全景图像pip和pip。

图6为示出其中图像处理设备320根据操作员500的头部510的移动调整全景图像pi和pi的部分全景图像pip和pip的调整处理的图。左眼和右眼全景图像pi和pi实际上具有相同的配置。图6没有在左眼和右眼全景图像pi和pi之间进行区分，而示出共同用于左眼和右眼图像两者的调整处理。

如图6所示，如果操作员500的头部510位于全景图像pi和pi全方位或者基本上全方位(在本示例中，基本上全方位)布置在其内侧的中空球体的中央处，则将更容易理解图像处理设备320根据操作员500的头部510的移动调整全景图像pi和pi的部分全景图像pip和pip的调整处理。

对于每个全景图像pi和pi，图像处理设备320都通过所接收的操作员500的头部510的移动(具体地，相对于头部510的参考姿态的偏航角θy、滚转角θr和俯仰角θp)计算偏离预定参考点α(例如，作业机200的前向偏航参考角φy、滚转参考角φr或俯仰参考角φp)的相对参考点δα(例如，针对在作业机200前部的参考点的相对偏航参考角φy+θy、相对滚转参考角φr+θr和相对俯仰参考角φp+θp)。

图像处理设备320裁剪出调整后的全景图像pi和pi的部分全景图像pip和pip。更具体地，图像处理设备320通过使用所计算出的相对参考点δα作为参考，以与操作员500的视角对应的裁剪角(β和γ)从全景图像pi和pi中裁剪出部分全景图像pip和pip。

在本示例中，视线检测部411为姿态检测部，其检测操作员500的头部510的姿态，也可以是检测操作员500的视线(眼球移动)的视线检测部。在后面的情况中，如果视线检测部对于操作员500视线的改变响应太快，则图像处理设备320可以通过延迟视线检测部的响应来实施调整处理或裁剪处理。

图7为描绘由第一实施例的显示系统100实施的示例性控制操作的流程图。

在由第一实施例的显示系统100实施的控制操作中，如图7所示，作业机端110中的图像处理设备320首先从由相机单元310-310拍摄的多个图像im-im和im-im中生成全景图像pi和pi(步骤s101)。

接下来，图像处理设备320实施裁剪处理以裁剪出所生成的全景图像pi和pi的部分全景图像pip和pip(步骤s102)。

接下来，图像处理设备320通过无线通信将所裁剪出的全景图像pi和pi的部分全景图像pip和pip传送至远程控制端120中的远程控制设备420(步骤s103)。

接下来，远程控制端120中的远程控制设备420从作业机端110中的图像处理设备320接收全景图像pi和pi的部分全景图像pip和pip，并且同时将上述部分全景图像传送至显示设备410(步骤s104)。

接下来，显示设备410同时接收并且显示从远程控制设备420传送来的全景图像pi和pi的部分全景图像pip和pip(步骤s105)。

接下来，显示设备410检测操作员500的头部510的移动，并且同时将该移动传送至远程控制设备420(步骤s106)。

接下来，远程控制设备420从显示设备410接收操作员500的头部510的移动，并且同时通过无线通信将该移动传送至作业机端110中的图像处理设备320(步骤s107)。

接下来，作业机端110中的图像处理设备320从远程控制端120中的远程控制设备420接收操作员500的头部510的移动，并且同时根据头部510的移动来调整全景图像pi和pi的部分全景图像pip和pip(步骤s108)。

然后，第一实施例的显示系统100重复上述步骤s101至s108，直到完成该处理(步骤s109)。

在上述第一实施例的显示系统100中，图像处理设备320根据从远程控制设备420传送来的操作员500的头部510的移动来调整将要传送至显示设备410的左眼和右眼全景图像pi和pi的部分全景图像pip和pip。显示系统100因此能够根据操作员500的头部510的移动来调整正在显示设备410上显示的三维视图，并且因此能够通过跟踪操作员500视线的移动来改变正在显示设备410上显示的图像。该配置能够改善远程控制可操作性。此外，图像处理设备320通过无线通信将全景图像pi和pi的部分全景图像pip和pip传送至远程控制设备420。因此，与通过无线通信将完整的全景图像pi和pi传送至远程控制设备420的情况相比，显示系统100能够降低无线通信的数据量。

当将要改变正在显示设备上显示的图像时，单个相机自身移动以在显示设备上显示图像的显示系统需要时间来移动相机。

与此相对，与显示系统配置为移动相机以在显示设备上显示图像的情况相比，因为图像处理设备320存储全景图像pi和pi(全方位图像或基本上全方位图像)，所以第一实施例的显示系统100能够消除在移动相机过程中不可避免地出现的时间延迟。

另外，在第一实施例中，相机单元310-310位于与座椅能够安装在作业机200上的位置水平对应(具体地，在前/后方向和左/右方向上对应)的安置位置处，并且使得相机单元310-310具有位于坐高处的镜头中心，该坐高与假设坐在座椅上的针对作业机200的目标市场而言具有平均体格(例如，高度和坐姿高度)的作业人员的眼睛高度对应。因此，显示设备410能够显示全景图像pi和pi中与坐在座椅上的作业人员将看到的真实视图类似的部分全景图像pip和pip。

第二实施例

图8为第二实施例的用于远程控制作业机200的显示系统100的示意图。

如图8所示，根据第二实施例的显示系统100与第一实施例的显示系统100的不同之处在于，远程控制端120中的远程控制设备420由多个远程控制设备420-420代替，并且显示设备410由与远程控制设备420-420分别对应的多个显示设备410-410代替。

第二实施例的显示系统100与第一实施例的显示系统100的构件中实际上相同的那些构件由相同的附图标记表示。下面将着重描述与第一实施例的显示系统100的不同之处。

作业机端110中的图像处理设备320裁剪出全景图像pi和pi的部分全景图像pip-pip和pip-pip，并且通过无线通信将全景图像pi和pi的部分全景图像pip-pip和pip-pip传送至远程控制端120中的远程控制设备420-420。作业机端110中的图像处理设备320与远程控制端120中的远程控制设备420-420之间的通信能够进行多路通信，在该多路通信中多个信号通过单条通信信道同时传送。多路通信方式没有任何限制，示例包括fdm(频分多路复用)通信、tdm(时分多路复用)通信以及其它多路复用通信。

远程控制端120中的远程控制设备420-420从图像处理设备320接收全景图像pi和pi的部分全景图像pip-pip和pip-pip，并且将所接收的全景图像pi和pi的部分全景图像pip-pip和pip-pip传送至相关显示设备410-410。

远程控制端120中的显示设备410-410从相关远程控制设备420-420接收全景图像pi和pi的部分全景图像pip-pip和pip-pip，并且显示所接收的全景图像pi和pi的部分全景图像pip-pip和pip-pip。多个视线检测部411-411(在本示例中，多个显示设备410-410)检测相关操作员500-500的头部510-510的移动，并且将所检测出的操作员500-500的头部510-510的移动传送至相关远程控制设备420-420。远程控制设备420-420通过无线通信向图像处理设备320传送从相关视线检测设备411-411(在本示例中为显示设备410-410)传送来的操作员500-500的头部510-510的移动。

作业机端110中的图像处理设备320根据从远程控制设备420-420传送来的操作员500-500的头部510-510的移动来调整全景图像pi和pi的部分全景图像pip-pip和pip-pip。

图像处理设备320从全景图像pi和pi中裁剪出调整后的全景图像pi和pi的部分全景图像pip-pip和pip-pip。

除了远程控制设备420由远程控制设备420-420代替，并且显示设备410由显示设备410-410代替之外，由第二实施例的显示系统100实施的处理流程实际上与图7中所示的由第一实施例的显示系统100实施的处理流程相同。由此，这里不再给出进一步的细节。

在第二实施例的显示系统100中，操作员500-500能够在他们想要的视野中同时观看正在他们各自的显示设备410-410上显示的图像。与第一实施例中单个操作员500观看正在他的/她的显示设备410上显示的图像的情况相比，该配置能够提高作业安全性。

第三实施例

第三实施例的显示系统100与第一实施例的显示系统100的不同之处在于，是远程控制端120中的远程控制设备420而不是作业机端110中的图像处理设备320对全景图像pi和pi实施裁剪处理并且对全景图像pi和pi的部分全景图像pip和pip实施调整处理。

第三实施例的显示系统100与第一实施例的显示系统100的构件中实际上相同的那些构件由相同的附图标记表示。下面将着重描述与第一实施例的显示系统100的不同之处。

图9为示出第三实施例的在用于远程控制作业机200的显示系统100的作业机端110中设置的图像处理设备320的系统配置的框图。图10为示出在第三实施例的显示系统100的远程控制端120中设置的远程控制设备420的系统配置的框图。

如图9所示，作业机端110中的图像处理设备320生成左眼全景图像pi(关于完整的左眼全景图像pi的数据)和右眼全景图像pi(关于完整的右眼全景图像pi的数据)并且通过无线通信将它们传送至远程控制端120中的远程控制设备420。

如图10所示，远程控制端120中的远程控制设备420从图像处理设备320接收左眼全景图像pi(关于完整的左眼全景图像pi的数据)和右眼全景图像pi(关于完整的右眼全景图像pi的数据)，并且裁剪出所接收的左眼全景图像pi的部分全景图像pip和所接收的右眼全景图像pi的部分全景图像pip，并且将所裁剪出的左眼和右眼全景图像pi和pi的部分全景图像pip和pip传送至显示设备410。

更具体地，远程控制设备420将所接收的左眼和右眼全景图像pi和pi暂时存储在存储部422中。

远程控制设备420实施裁剪处理以裁剪出存储在存储部422中的左眼全景图像pi的部分全景图像pip和存储在存储部422中的右眼全景图像pi的部分全景图像pip。

远程控制设备420裁剪出全景图像pi和pi的pip和pip的裁剪处理与图4中所示的图像处理设备320裁剪出全景图像pi和pi的部分全景图像pip和pip的裁剪处理类似；由此，这里不再给出进一步的细节。

远程控制设备420根据从显示设备410传送来的操作员500的头部510的移动调整将要传送至显示设备410的左眼和右眼全景图像pi和pi的部分全景图像pip和pip。

远程控制设备420根据操作员500的头部510的移动调整全景图像pi和pi的部分全景图像pip和pip的调整处理与图6中所示的图像处理设备320根据操作员500的头部510的移动调整全景图像pi和pi的pip和pip的调整处理类似；由此，在这里不再给出进一步的细节。

远程控制设备420从全景图像pi和pi中裁剪出调整后的全景图像pi和pi的部分全景图像pip和pip。

图11为描绘由第三实施例的显示系统100实施的示例性控制操作的流程图。

在由第三实施例的显示系统100实施的控制操作中，如图11所示，作业机端110中的图像处理设备320首先从由相机单元310-310拍摄的多个图像im-im和im-im生成全景图像pi和pi(步骤s201)。

接下来，图像处理设备320通过无线通信将所生成的全景图像pi和pi传送至远程控制端120中的远程控制设备420(步骤s202)。

接下来，远程控制端120中的远程控制设备420从作业机端110中的图像处理设备320接收全景图像pi和pi，并且同时实施裁剪处理以裁剪出全景图像pi和pi的部分全景图像pip和pip(步骤s203)。

接下来，远程控制设备420将所裁剪出的全景图像pi和pi的部分全景图像pip和pip传送至显示设备410(步骤s204)。

接下来，显示设备410同时接收并且显示从远程控制设备420传送的的全景图像pi和pi的部分全景图像pip和pip(步骤s205)。

接下来，显示设备410检测操作员500的头部510的移动，并且同时将该移动传送至远程控制设备420(步骤s206)。

接下来，远程控制设备420从显示设备410接收操作员500的头部510的移动，并且同时根据头部510的移动调整全景图像pi和pi的部分全景图像pip和pip(步骤s207)。

然后，第三实施例的显示系统100重复上述步骤s201至s207，直到完成该处理(步骤s208)。

在第三实施例的显示系统100中，远程控制设备420根据从显示设备410传送来的操作员500的头部510的移动来调整将要传送至显示设备410的左眼和右眼全景图像pi和pi的部分全景图像pip和pip。显示系统100因此能够根据操作员500的头部510的移动来调整正在显示设备410上显示的三维视图，并且因此能够通过跟踪操作员500视线的移动来改变正在显示设备410上显示的图像。该配置能够改善远程控制可操作性。此外，远程控制端120中的远程控制设备420实施调整处理以根据操作员500的头部510的移动来调整全景图像pi和pi的部分全景图像pip和pip。因此，与作业机端110中的图像处理设备320实施调整处理的情况相比，显示系统100能够消除将头部510的移动从远程控制端120中的远程控制设备420传送至作业机端110中的图像处理设备320所花费的时间。

当要改变正在显示设备上显示的图像时，单个相机自身移动以在显示设备上显示图像的显示系统需要时间来移动相机。

与此相对，与显示系统配置为移动相机以在显示设备上显示图像的情况相比，因为远程控制设备420存储全景图像pi和pi(全方位图像或基本上全方位图像)，所以第三实施例的显示系统100能够消除在移动相机过程中不可避免地出现的时间延迟。

第四实施例

图12为第四实施例的用于远程控制作业机200的显示系统100的示意图。

如图12所示，第四实施例的显示系统100与第三实施例的显示系统100的不同之处在于，远程控制端120中的远程控制设备420由多个远程控制设备420-420代替，并且显示设备410由与远程控制设备420-420分别对应的多个显示设备410-410代替。

第四实施例的显示系统100与第三实施例的显示系统100的构件中实际上相同的那些构件用相同的附图标记表示。下面将着重描述与第三实施例的显示系统100的不同之处。

作业机端110中的图像处理设备320通过无线通信向远程控制端120中的远程控制设备420-420传送全景图像pi和pi(关于完整的全景图像pi和pi的数据)。作业机端110中的图像处理设备320与远程控制端120中的远程控制设备420-420之间的通信与第二实施例类似；由此，在这里不再给出进一步的细节。

远程控制端120中的远程控制设备420-420从图像处理设备320接收全景图像pi和pi，裁剪出所接收的全景图像pi和pi的部分全景图像pip-pip和pip-pip，并且将所裁剪出的全景图像pi和pi的部分全景图像pip-pip和pip-pip传送至相关显示设备410-410。

远程控制端120中的显示设备410-410从相关远程控制设备420-420接收全景图像pi和pi的部分全景图像pip-pip和pip-pip，并且显示所接收的全景图像pi和pi的部分全景图像pip-pip和pip-pip。多个视线检测部411-411(在本示例中为多个显示设备410-410)检测相关操作员500-500的头部510-510的移动，并且将所检测出的操作员500-500的头部510-510的移动传送至相关远程控制设备420-420。

远程控制端120中的远程控制设备420-420根据从相关视线检测部411-411(在本示例中为显示设备410-410)传送来的相关操作员500-500的头部510-510的移动来调整全景图像pi和pi的部分全景图像pip-pip和pip-pip。

然后，远程控制设备420-420从全景图像pi和pi中裁剪出调整后的全景图像pi和pi的部分全景图像pip-pip和pip-pip。

除了远程控制设备420由远程控制设备420-420代替，并且显示设备410由显示设备410-410代替之外，由第四实施例的显示系统100实施的处理流程与由图11中所示的第三实施例的显示系统100实施的处理流程实际上相同，由此，这里不再给出进一步的细节。

在第四实施例的显示系统100中，操作员500-500能够在他们想要的视野中同时观看正在他们各自显示设备410-410上显示的图像。与第一实施例中单个操作员500观看正在他的/她的显示设备410上显示的图像的情况相比时，该配置能够提高作业安全性。

第五实施例

图13为第五实施例的用于远程控制作业机200的显示系统100的示意性侧视图。

如图13所示，第五实施例的显示系统100与第一至第四实施例的显示系统100-100的不同之处在于，设置在作业机200上的支撑构件330由能够向上/向下移动和垂直转动的支撑构件340代替。

第五实施例的显示系统100与第一至第四实施例的显示系统100-100的构件中实际上相同的那些构件由相同的附图标记表示，并且这里对于那些构件将不再给出进一步的细节。

支撑构件340包括支撑件331和支撑底座(在本示例中为支撑臂342)。支撑件331支撑相机单元310-310。支撑底座将支撑件331支撑在其上端上，并且其下端又由上主体221支撑，以将相机单元310-310保持为水平姿态。

在本示例中，支撑臂342可以将支撑件331支撑在上端上，使得支撑件331能够围绕在左/右方向上延伸的轴线(第一支轴342a)自由转动，并且下端由上主体221支撑，使得支撑臂342能够围绕在左/右方向上延伸的轴线(第二支轴342b)自由转动。更具体地，支撑臂342可以配置为：不管支撑臂342围绕在左/右方向上延伸的轴线(第二支轴342b)如何转动，第二支轴342b总是位于第一支轴342a后方。设置有多个支撑臂342-342(在本示例中为两个支撑臂342和342)。支撑臂342-342构成为在前/后方向上相互平行设置的平行连杆，以按照支撑件331能够上/下移动的方式支撑支撑件331。支撑臂342和342的第一支轴342a-342a和第二支轴342b-342b以将相机单元310-310保持为水平姿态的距离分离开来。在本示例中，支撑臂342-342的第一支轴342a-342a和第二支轴342b-342b定位在同一水平线上。支撑臂342-342的第一支轴342a-342a和第二支轴342b-342b以相等距离分离。不管支撑臂342-342围绕在左/右方向上延伸的轴线(第二支轴342b-342b)如何转动，该配置使支撑构件340都能够将相机单元310-310保持为水平姿态。如前所述，上下文中的“水平姿态”定义为当作业机200置于水平面上时作业机200的姿态。

支撑构件340包括驱动支撑臂342-342的驱动器部343。驱动器部343响应于从远程控制端120中的远程操作设备230传送来的操作指令而开动，以使支撑臂342-342转动并且上/下移动相机单元310-310。该配置使操作员500能够通过远程控制支撑臂342-342的转动来上/下移动相机单元310-310。

在本示例中，支撑构件340构成为使得相机单元310-310的镜头中心的垂直移动范围r能够覆盖坐高h，该坐高h与假设坐在座椅上的对于作业机200的目标市场而言具有平均体格(例如，高度和坐姿高度)的作业人员的眼睛高度对应。图像处理设备320可以将相机单元310-310的镜头中心的当前(垂直)高度传送至远程控制设备410，远程控制设备420又可以将当前高度传送至显示设备410，使得显示设备410能够显示当前高度，同时显示各个指示位置，例如相机单元310-310的镜头中心的最大和最小高度max和min以及坐高h。该配置使操作员500能够识别相机单元310-310的镜头中心的当前高度。

支撑构件340构成为：当相机单元310-310的镜头中心位于坐高h处时，相机单元310-310位于与座椅能够安装在作业机200上的位置水平对应(具体地，在前/后方上)的安置位置处。

支撑臂342可以构成为：按照支撑件331能够上/下移动的方式将支撑件331固定支撑在支撑臂342的上端。

在第五实施例的显示系统100中，相机单元310-310安置在能够向/下移动并且能够在垂直方向上转动的支撑构件340上。该配置使操作员500能够在必要时调整相机单元310-310的镜头中心的高度，并且因此调整操作员500的视野的高度。结果，例如，由于类似于鸟瞰图的视野，所以操作员500能够抓取作业机200的周围环境的更宽广的视野。另外，如果促动支撑构件340降低相机单元310-310的高度，则作业机200能够很容易进入位于坑中或具有低顶棚的作业现场。此外，当操作员500正在通过直接观看周围环境(通过直接检查周围环境)来控制作业机200时，能够通过按照相机单元310-310能够回撤到作业机200中的方式促动支撑构件340来使得相机单元310-310能够回撤到作业机200中。另外，支撑臂342-342能够构成为使得第二支轴342b-342b总是位于第一支轴342a-342a后方。该配置使相机单元310-310能够可靠地拍摄位于第一支轴342a-342a前方的部分作业部件220的图像。

第六实施例

第六实施例的显示系统100与第一至第五实施例的显示系统100-100的不同之处在于：在相机单元310-310的周边(相邻或紧靠)附加设置有照明设备350-350和350-350。

图14为针对第六实施例的用于远程控制作业机200的显示系统100，当从前方观察构成相机单元310的一对相机311和312以及安置在一对相机311和312上的示例性照明设备350和350时的示意图。安置在相机单元310-310上的所有照明设备350-350和350-350都具有相同的结构；图14示出作为示例安置在相机单元310-310的一个上的照明设备350和350。

如图14所示，照明设备350和350按照发光侧面向目标侧的方式安置在一对相机311和312的镜头311a和312a周边的至少一部分(在本示例中，在整个周边上)。在本示例中，照明设备350和350包括安置在一对相机311和312的镜头311a和312a的整个周边上的多个(在本示例中为八个)发光元件351-351和351-351(具体地，为发光二极管)。发光元件351-351和351-351彼此等距离或基本上等距离分离地安置在镜头311a和312a周围。

在根据第六实施例的显示系统100中，照明设备350-350和350-350安置在相机单元310-310的周边。因此，由照明设备350-350和350-350发出的光能够有效防止相机单元310-310拍摄所拍摄图像中的阴影。

第七实施例

为了改进与作业相关的问题，例如作业效率和安全性，在作业现场中，操作员500在启动工程之前了解作业计划(例如，关于挖掘的大致长度、宽度和深度)、作业部件220的转动范围(具体地，上主体221的转动范围以及吊杆222、机械臂223和挖斗224的摆动范围)或者天然气管道、水管以及其它地下管道的位置是及其重要的。

从这个角度出发，第七实施例的显示系统100与第一至第六实施例的显示系统100-100的不同之处在于：前者通过按照部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip相关联的方式在显示设备410上将该部分作业辅助信息q1和q1和全景图像pi和pi的部分全景图像pip和pip一起显示，来提供ar(增强现实)，其中，该部分作业辅助信息q1和q1是作业辅助信息q和q(各种各样的补充信息，包括作业计划、作业部件220的转动范围以及天然气管道、水管和其它地下管道的位置)中与全景图像pi和pi的部分全景图像pip和pip对应的辅助信息。增强现实是利用与真实环境相关的视觉信息来增强与真实环境有关的信息的技术，或者更具体地，是这样一种技术：其按照由计算机产生的视频随着由相机单元310-310拍摄的视频的改变而改变的方式，将由相机单元310-310拍摄的真实环境的视频与由计算机产生的与真实环境相关联的视频实时组合，以产生合成视频。

图15为第七实施例的用于远程控制作业机200的显示系统100的显示设备410上的示例性显示屏d和d的示意图，显示屏d和d以作业辅助信息q和q的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一致的方式，将该作业辅助信息q和q的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一起显示，其中，该作业辅助信息q和q的部分作业辅助信息q1和q1是与全景图像pi和pi的部分全景图像pip和pip相关的信息。图15基于地面g和g下面的管道网络图示出作为作业辅助信息q和q的示例性地下管道，例如天然气管道和水管(作业辅助信息q和q的部分作业辅助信息q1和q1)。左眼全景图像pi的部分全景图像pip和右眼全景图像pi的部分全景图像pip实际上具有相同的结构。图15在左眼和右眼全景图像pi和pi的部分全景图像pip和pip之间没有进行区分，而示出共同用于两个部分全景图像的增强现实的处理。

基于显示系统100中提前准备的数据库(例如，提前存储在远程控制设备420的存储部422中或存储在图像处理设备320的存储部322中的数据库)或位于与显示系统100不同的位置处的数据库(例如，从互联网服务器下载的数据库)，第一和第三实施例的远程控制设备420和420以及第一实施例的图像处理设备320按照作业辅助信息q和q的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一致的方式向所裁剪出的全景图像pi和pi的部分全景图像pip和pip添加作业辅助信息q和q的部分作业辅助信息q1和q1，其中，作业辅助信息q和q的部分作业辅助信息q1和q1是作业辅助信息q和q中与所裁剪出的全景图像pi和pi的部分全景图像pip和pip对应的信息。

也可以是，基于显示系统100中提前准备的数据库(例如，提前存储在远程控制设备420的存储部422中或存储在图像处理设备320的存储部322中的数据库)或位于与显示系统100不同的位置处的数据库(例如，从互联网服务器下载的数据库)，第一和第三实施例的图像处理设备320和320和第三实施例的远程控制设备420按照作业辅助信息q和q与全景图像pi和pi一致的方式向未裁剪的全景图像pi和pi添加与未裁剪的全景图像pi和pi对应的作业辅助信息q和q。在裁剪出全景图像pi和pi的部分全景图像pip和pip的裁剪处理中，也裁剪出作业辅助信息q和q中对应的部分作业辅助信息q1和q1。

数据库可以例如为按照cad(计算机辅助设计)模型建立的数据库。全景图像pi和pi包含例如能够利用gnns(全球导航卫星系统)获得的作业机200的位置信息(纬度和经度)。作业辅助信息q和q为例如构成包含与全景图像pi和pi的位置信息(纬度和经度)对应的位置信息(纬度和经度)的全景图像的辅助信息。

显示设备410按照作业辅助信息q和q的部分作业信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一致的方式将作业辅助信息q和q的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一起显示，其中，该作业辅助信息q和q的部分作业信息q1和q1是作业辅助信息q和q中与全景图像pi和pi的部分全景图像pip和pip对应的辅助信息。

该配置使操作员500能够提前了解作业辅助信息q和q。例如，操作员500能够知道作业部件220的转动位置(具体地，上主体221的转动位置以及吊杆222、机械臂223和挖斗224的摆动位置)是否已经达到作业计划中规定的预定参考水平(例如，已经超过参考作业深度或预定参考作业范围)、是否已经达到作业现场中的作业范围(例如，将与作业现场的顶棚接触)、或者是否已经达到作业现场中的地下物体(例如，将要与天然气管道、水管和其它地下管道q1接触)。

可以采用公知的常规技术来实现这种增强现实；由此，这里不再给出进一步的细节。

在第七实施例的显示系统100中，基于显示系统100中提前准备的数据库或位于与显示系统100不同的位置处的数据库，显示设备410按照作业辅助信息的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一致的方式将作业辅助信息q和q的部分作业辅助信息q1和q1与全景图像pi和pi的部分全景图像pip和pip一起显示，其中，该作业辅助信息的部分作业辅助信息q1和q1是作业辅助信息q和q中与全景图像pi和pi的部分全景图像pip和pip对应的辅助信息。这种配置使操作员500能够知道作业辅助信息q和q(各种各样的补充信息，包括作业计划、作业部件的转动范围或者天然气管道、水管和其它地下管道的位置)。这又能够改善与作业相关的问题，例如作业效率和安全性。

本发明决不局限于上述实施例和示例，还可以按照其它各种各样的方式实施。因此，这些实施例在每个方面仅仅用于举例说明的目的，并且不应该受到任意限制性解释的约束。本发明的范围仅由权利要求书限定，而不受到说明书的约束。可以带来所要求保护的要素的等同方案的那些变形和变化都包含在本发明的范围内。

产业上的可利用性

本发明涉及远程控制作业机用显示系统，并且尤其适用于跟踪操作员视线的移动来相应地改变正在显示设备上显示的图像。

附图标记列表

100显示系统

110作业机端

120远程控制端

200作业机

210行进主体

220作业部件

221上主体

222吊杆

223机械臂

224挖斗

230远程操作设备

231操作部

300作业机端中的部件

310相机单元

311左眼相机

311a镜头

312右眼相机

312a镜头

320图像处理设备

321控制部

322存储部

323通信部

330支撑构件

331支撑件

331a紧固构件

332支柱

340支撑构件

342支撑臂

342a第一支轴

342b第二支轴

343驱动器部

350照明设备

351发光元件

400远程控制端中的部件

410显示设备

411视线检测部

420远程控制设备

421控制部

422存储部

423通信部

500操作员

510头部

cb1连接电缆

cb2连接电缆

d显示屏

g地面

h坐高

im图像

max最大高度

min最小高度

pi全景图像

pip部分全景图像

q作业辅助信息

q1部分作业辅助信息r移动范围

d距离

δα相对参考点

α参考点

β水平裁剪角度

γ垂直裁剪角度

θp俯仰角

θr滚转角

θy偏航角

φp俯仰参考角

φr滚转参考角

φy偏航参考角