远程作业援助系统的制作方法

本发明涉及使用了投影仪的远程作业援助系统等。

背景技术：

提出了通过投影仪将图像投影到物体表面等上的系统。例如，能够用于在打印设备的适当的部位显示等待印刷的任务、或者显示至任务完成为止的预测时间这样的信息提示。

在日本特表2006-523067中公开了如下的系统：该系统进行控制，以便在进行这样的显示时，掌握投影仪与物体的位置关系，在物体表面上显示不发生偏移的图像。检测物体表面与投影仪的位置关系(距离或角度等)，根据该位置关系来修正从投影仪投影的图像，从而在物体表面上投影出没有发生偏移的图像。

然而，在像日本特表2006-523067这样的现有技术中，在投影仪与物体的位置关系动态地变化的情况下，是无法在物体表面上投影出稳定的图像的。因此，很难用于从安装于人体等移动物体的投影仪显示作业场所或导向等的情况。

技术实现要素：

本发明的目的在于，为了解决上述的问题点而提供如下的援助系统等，即使在投影仪与投影对象的位置关系动态地变化的情况下，也能够在投影对象的规定的位置上显示图像。

列举本发明能够独立应用的几个特征。

(1)本发明的远程作业援助系统具有援助侧装置和作业侧装置，其特征在于，

所述作业侧装置具有：拍摄部，其安装于可动物或者固定物，对作业对象区域进行拍摄并生成拍摄图像；拍摄图像发送单元，其通过发送部将所述拍摄图像发送到所述援助侧装置；投影部，其安装于可动物或固定物，根据被提供的援助图像数据将援助图像投影到所述作业对象区域；以及修正单元，其根据所述拍摄图像所包含的设置于所述作业对象区域中的标识的图像或所述拍摄图像所包含的所述作业对象区域的特征点、或者根据这双方，来修正所述援助图像数据以使得所述援助图像以所述作业对象区域的规定的部位为基准而被显示，

所述援助侧装置具有：拍摄图像接收单元，其通过接收部来接收发送而来的拍摄图像；拍摄图像显示部，其显示接收到的拍摄图像；援助图像输入部，其将援助图像输入到显示部所显示的拍摄图像上的、作业对象区域的所期望的位置；以及援助图像发送单元，其通过发送部将对拍摄图像上的位置进行了确定的援助图像数据发送到所述作业侧装置。

因此，即使从异地发送援助图像，且投影部和对象物发生了移动，也能够在作业对象区域的指定的位置适当显示该援助图像。

(2)(3)本发明的作业侧装置是用于远程作业援助系统的作业侧装置，具有：拍摄部，其安装于可动物或固定物，对作业对象区域进行拍摄并生成拍摄图像；拍摄图像发送单元，其通过发送部将所述拍摄图像发送到所述援助侧装置；投影部，其安装于可动物或固定物，根据被提供的援助图像数据将援助图像投影到所述作业对象区域；以及修正单元，其根据所述拍摄图像所包含的设置于所述作业对象区域中的标识的图像或所述拍摄图像所包含的所述作业对象区域的特征点、或者根据这双方，来修正所述援助图像数据以使得所述援助图像以所述作业对象区域的规定的部位为基准而被显示。

因此，即使从远程发送援助图像，且投影部或对象物发生了移动，也能够在作业对象区域的指定的位置恰当显示该援助图像。

(4)(5)本发明的援助侧装置用于远程作业援助系统，该远程作业援助系统在作业侧具有：拍摄部，其安装于可动物或固定物，对作业对象区域进行拍摄并生成拍摄图像；以及投影部，其安装于可动物或固定物，根据被提供的援助图像数据将援助图像投影到所述作业对象区域，其中，该援助侧装置具有：拍摄图像接收单元，其通过接收部来接收发送而来的拍摄图像；拍摄图像显示部，其显示接收到的拍摄图像；援助图像输入部，其将援助图像输入到显示部所显示的拍摄图像上的、作业对象区域的所期望的位置；以及援助图像发送单元，其为了通过所述投影部将所述援助图像输入部所输入的援助图像投影到所述作业侧的所述作业对象区域，通过发送部将对拍摄图像上的位置进行了确定的援助图像数据发送到所述作业侧装置。

因此，即使从远程发送援助图像，且投影部或对象物发生了移动，也能够在作业对象区域的指定的位置适当显示该援助图像。

(6)(7)本发明的信息提示系统具有：拍摄部，其安装于可动物或固定物，对投影对象进行拍摄并生成拍摄图像；投影部，其安装于所述可动物或固定物，根据被提供的投影图像数据将投影图像投影到所述投影对象；以及修正单元，其根据所述拍摄图像所包含的设置于所述投影对象的标识的图像或所述拍摄图像所包含的所述投影对象的特征点，来修正所述投影图像数据以使得所述投影图像以所述投影对象的规定的部位为基准而被显示。

因此，即使投影部或对象物移动也能够在投影对象的期望的位置上固定地显示投影图像。

(8)本发明的系统的特征在于，修正单元具有推断单元，该推断单元根据所述标识或所述作业对象区域的特征点的拍摄图像来推断所述投影部与所述标识或特征点的位置关系，该所述修正单元根据该推断出的位置关系来修正援助图像数据或投影图像数据。

因此，能够根据推断出的位置关系而在规定的位置上稳定地显示援助图像或投影图像。

(9)本发明的系统的特征在于，除了援助图像之外，所述投影部还投影所述拍摄到的标识或特征点的图像，修正单元修正援助图像数据或投影图像数据，以使得所述标识的投影图像与实际的标识一致、或所述作业对象区域的特征点的投影图像与实际的特征点一致。

因此，能够在规定的位置上稳定地显示援助图像或投影图像。

(10)本发明的系统的特征在于，还具有援助图像选择单元，该援助图像选择单元读出与拍摄图像中所包含的要素图像对应地被记录的援助图像，并提供给修正单元。

因此，能够与拍摄到的要素对应地显示援助图像。

(11)本发明的系统的特征在于，可动物是用户身体的一部分。

因此，即使用户进行移动或者移动身体，也能够进行稳定的图像显示。

(12)本发明的系统的特征在于，投影部构成为具有激光投影仪，在拍摄图像中包含人的情况下，进行控制，以使得该人的至少眼睛的部分不被所述激光投影仪进行激光照射。

因此，能够可靠地防止激光造成的危险。

(13)(14)本发明的手术系统具有：投影部，其用于根据被提供的表示患者的体内的不可见光图像数据将示出患者的体内的不可见光图像投影到手术部位；不可见光图像拍摄部，其通过可见光线以外的照射来拍摄手术部位，生成如下不可见光图像，该不可见光图像包含设置于手术部位的标识的不可见光图像；可见光图像拍摄部，其通过可见光线来拍摄手术部位，生成如下可见光图像，该可见光图像至少包含所述投影部所投影的标识和设置于所述手术部位的实际的标识；以及修正单元，其根据所述可见光图像来修正所述不可见光图像数据，以使得即使所述手术部位与所述投影部的位置关系发生实时变化，也以与所述手术部位的体内的位置一致的方式来显示体内的不可见光图像。

因此，能够实现在患者的身体上显示不可见光图像的同时，进行处理或手术。

(15)(16)本发明的手术援助系统具有：投影部，其用于根据被提供的表示患者的体内的不可见光图像数据将示出患者的体内的不可见光图像投影到手术部位；不可见光图像拍摄部，其通过可见光线以外的照射来拍摄手术部位，生成如下不可见光图像，该不可见光图像包含设置于手术部位的标识的不可见光图像；以及修正单元，其根据所述不可见光图像所包含的标识的不可见光图像来修正所述不可见光图像数据，以使得即使所述手术部位与所述投影部的位置关系发生实时变化，也以与所述手术部位的体内的位置一致的方式来显示体内的不可见光图像。

因此，能够实现在患者的身体上显示不可见光图像的同时，进行处理或手术。

(17)本发明的手术系统的特征在于，不可见光图像是x射线图像、pet图像、spect图像中的任意一种，可见光图像是通常的照相机图像。

因此，能够在患者的身体的对应部位显示医用图像。

(18)(19)本发明的显示系统具有：拍摄部，其安装于可动物或固定物，对投影对象进行拍摄并生成拍摄图像；投影部，其安装于所述可动物或固定物，根据被提供的投影图像数据将投影图像投影到所述投影对象；以及修正单元，其根据所述拍摄图像检查出投影对象的平坦且纹样较少的区域，并修正投影图像数据以使得在该区域中显示所述投影图像。

因此，能够在视觉确认性能良好的部位进行显示。

在本发明中，“拍摄部”是指拍摄对象区域并输出拍摄图像的拍摄部，不仅包含通常的照相机，而且还包含拍摄x射线图像等的结构的概念。

对于“拍摄图像发送单元”，在实施方式中，步骤s1与其对应。

“投影部”是指对对象区域进行投影的结构，是包含激光投影仪或通常的投影仪等的概念。

对于“修正单元”，在实施方式中，步骤s4、s5、步骤s53、步骤s67、步骤s73等与其对应。

对于“拍摄图像接收单元”，在实施方式中，步骤s41与其对应。

“援助图像输入部”是指用于输入援助图像的输入部，是包含鼠标、触摸板、触摸屏等的概念。

对于“援助图像发送单元”，在实施方式中，步骤s45与其对应。

“不可见光图像”是指通过x射线、电子，红外线等可见光以外的照射而生成的图像，该图像自身也可以是可见的。

对于“不可见光图像拍摄部”，在实施方式中，x射线拍摄装置、pet装置、spect装置等与其对应。

对于“可见光图像拍摄部”，在实施方式中，照相机与其对应。

“程序”不仅是能够通过cpu而直接执行的程序，还是包含源程序、进行了压缩处理的程序、加密的程序等的概念。

附图说明

图1是本发明的一个实施方式的远程援助系统的功能结构图。

图2是示出远程援助系统的现场侧的状态的图。

图3是示出可佩带计算机52的外观的图。

图4是可佩带计算机52的硬件结构。

图5是援助侧装置30的硬件结构。

图6是示出援助处理的流程图。

图7是援助侧装置的显示画面例。

图8是援助侧装置的显示画面例。

图9是援助数据的数据结构。

图10a是示出援助装置侧的图像与在现场显示的图像的关系的图。

图10b是示出援助装置侧的图像与在现场显示的图像的关系的图。

图10c是示出援助装置侧的图像与在现场显示的图像的关系的图。

图10d是示出援助装置侧的图像与在现场显示的图像的关系的图。

图10e是示出援助装置侧的图像与在现场显示的图像的关系的图。

图10f是示出援助装置侧的图像与在现场显示的图像的关系的图。

图11a是示出标注图像的修正的图。

图11b是示出标注图像的修正的图。

图12a是示出标注图像的修正的图。

图12b是示出标注图像的修正的图。

图13a是示出标识图像与标识的对准的图。

图13b是在机器人150上设置了激光投影仪12、照相机13的例子。

图13c是示出具有激光投影仪12、照相机13的单元160的图。

图14是第二实施方式的手术援助系统的功能结构图。

图15是示出手术援助系统的使用状况的图。

图16是计算机110的硬件结构。

图17是导向程序132的流程图。

图18是第三实施方式的信息提示系统的功能结构图。

图19是示出信息提示系统的使用状态的图。

图20是信息提示程序的流程图。

图21是示出要素图像与支援图像的对应关系的数据。

图22是第四实施方式的显示系统的功能结构图。

图23是显示程序的流程图。

图24是用显示系统所显示的对象区域的例子。

具体实施方式

1.第一实施方式

1.1系统的功能结构

图1中示出本发明的一个实施方式的导向系统的功能结构。这里，对援助者进行作业的援助的情况进行说明，该援助者相对于进行设备的调整或修理的作业者而处于异地。

设投影对象例如是设置有开关4a、4b、4c、4d等的设备的表面。接近开关4a、4b、4c、4d而粘贴有标识6。该标识6具有多个特征点，预先已知该特征点的位置关系。并且，优选标识6的多个特征点在上下左右呈非对称。

位于设备附近的作业者被安装有作业侧装置10。作业侧装置10的投影部12根据来自援助侧装置30的援助图像数据而朝向设备进行投影。在图中，投影区域2是被投影部12投影的区域。

拍摄部13拍摄由投影部12投影的投影区域2。此时，标识6也会被拍摄到。

修正单元14根据所拍摄到的标识6的图像来推断投影部12与标识6的位置关系(方向、距离)。

并且，拍摄部13所拍摄到的拍摄图像通过发送图像发送单元18而被发送到援助侧装置30。

援助侧装置30的拍摄图像接收单元22接收该拍摄图像。接收到的拍摄图像显示在拍摄图像显示部24上。因此，位于异地的援助者能够通过显示在拍摄图像显示部24上的图像而了解到作业者看见的状况。

援助者通过语音通信(未图示)对作业者进行援助，但仅仅是这样不容易被理解，因此通过在设备上投影援助图像，能够进行更优质的援助。

例如，在援助者认为应该对设备的开关4c进行操作的情况下，会在观察拍摄图像显示部24的画面的同时，对援助图像输入部26进行操作。然后，以包围拍摄图像中的开关4c的周围的方式描绘圆圈。援助图像输入部26对该圆圈进行接收，并将该援助图像(圆圈的图像)发送给作业侧装置10。

作业侧装置10的援助图像接收单元20接收该援助图像，并提供给修正单元16。修正单元16根据之前推断出的位置关系来修正援助图像数据，以使得在投影部12投影出援助图像数据时，上述圆圈不会偏移，正确地显示在开关4c的周围。

这样，能够使援助者所需要的援助图像实时投影在作业侧。

设作业者进行动作，而使投影部12的投影区域2移动到2x。在该情况下也通过修正单元16来修正援助图像数据，以使得圆圈不偏移地显示在开关4c的周围。

如上所述，即使作业者进行动作而改变了所安装的作业侧装置10的投影部12的方向或距离，也会在援助者所针对的开关4c的周围稳定地显示圆圈。

1.2外观和硬件结构

图2中示出安装了作为作业侧装置的可佩带计算机52的作业者50。作业者50在到达作为被修理或维护等的作业对象的设备9时，在颈部安装可佩带计算机52。

图3中示出可佩带计算机52。环部54的连接部53能够通过磁铁来进行拆装。在安装时，在连接部53处打开环部54，在安装于颈部之后使环部54闭合。在环部54的前方设置有作为投影部的激光投影仪12、作为拍摄部的照相机13。

在左右主体部56、58中分别收纳有计算机等电子电路、电池。

在图4中示出可佩带计算机52的硬件结构。cpu60连接有存储器62、通信电路64、非易失性存储器66、激光投影仪12、照相机13、麦克风/扬声器15。

通信电路64用于经由互联网而与援助侧装置30进行通信。在非易失性存储器66中记录了操作系统68、作业侧程序70。作业侧程序70与操作系统68协同发挥其功能。

图5中示出援助侧装置30的硬件结构。cpu80连接有存储器82、通信电路84、硬盘86、dvd-rom(digitalvideodisk-readonlymemory：高密度只读光盘)驱动器88、键盘/鼠标90、显示器92、麦克风/扬声器93。

通信电路84用于经由互联网而与可佩带计算机52进行通信。在硬盘86中记录有操作系统94、援助侧程序96。援助侧程序96与操作系统94协同发挥其功能。这些程序中的记录在dvd-rom98中的内容经由dvd-rom驱动器88而安装于硬盘86。

1.3远程援助处理

图6中示出远程援助处理中的作业侧程序70与援助侧程序96的流程图。

可佩带计算机52的cpu60(以下，有时省略为可佩带计算机52)将照相机13所拍摄到的设备的图像经由通信线路64而发送给援助侧装置30(步骤s1)。援助侧装置30的cpu80(以下，有时省略为援助侧装置30)通过通信电路82而接收该图像，并记录在硬盘86中(步骤s41)。

援助侧装置30将接收到的拍摄图像显示在显示器92上(步骤s41)。援助者观察显示在该显示器92上的拍摄图像，从而掌握作业者所在的现场的状况。

图10a的左侧是现场的状况，图10a的右侧是援助者侧的显示器92的画面。在图10a中，虚线表示投影区域(＝拍摄区域)2。

图7中示出图10a右侧所示的显示器92的显示画面的细节。标识6与设备的开关4a、4b、4c一起被放映出。该标识6的大小是已知的。另外，标识6可以预先粘贴在设备上，也可以由作业者在到达该场所时粘贴。

接着，援助者在观察显示在显示器92上的拍摄图像的同时，使用麦克风/扬声器93对作业者进行援助。此时，仅通过语音是很难进行恰当的援助的，因此像以下那样，在位于作业者侧的设备上直接显示标注。

例如，假定援助者观察显示器92，想要援助作业者使其接通设备的开关4b。在该情况下，对键盘/鼠标90进行操作，点击图7的援助开始按钮102。由此，援助侧装置30使援助开始按钮102被点击的时刻所显示的拍摄图像显示为静止图像。即，如图10b右侧所示，将实时显示的拍摄图像固定显示为援助开始按钮102被点击的时刻的静止图像。

因此，即使作业者使头转动或者移动而使拍摄范围2变化，也会像图10c所示那样，援助者侧的显示器92的显示被固定。

此外，援助侧装置30通过通信电路84而将援助标注已开始这一内容发送给可佩带计算机52(步骤s43)。可佩带计算机52接收该内容，并将在该时刻拍摄到的拍摄图像作为基准拍摄图像而记录在非易失性存储器66中(步骤s2)。即，记录与在援助侧装置30中为了标注输入而显示的拍摄图像相同的拍摄图像以作为基准拍摄图像。

援助者在观察援助侧装置30的显示器92的同时，对键盘/鼠标90进行操作，如图8所示那样，在开关4b的周围描绘出标注81(这里为圆圈)。援助者在要结束标注8的描绘时，点击描绘结束按钮104(步骤s44)。参照图10d右侧的图。援助装置30接收该内容，将标注8的图像和坐标位置发送给可佩带计算机52(步骤s45)。

图9中示出所发送的数据的数据结构。图像数据是标注8的实体数据。这里为圆圈的图像数据。在采用圆圈等的情况下，也可以通过半径、线等种类的数据来表示该圆圈。坐标是该图像的基准位置的坐标。在以圆的中心为基准位置的情况下，如图8所示，通过距画面左上的距离x、y来表示坐标。能够使用圆的中心、左上的坐标等作为基准位置。

可佩带计算机52接收该标注8的图像和坐标位置，根据在步骤s2中记录的基准拍摄图像的标识6而推断发送而来的标注图像的位置或大小(步骤s3)。即，在图8所示的基准拍摄图像上，确定标注8是否处于开关4b的周围(按照与标识6的关系，确定标注8应该位于的位置)。

接着，可佩带计算机52根据当前的拍摄图像来修正援助图像，以使得在确定的位置(开关4b的周围)准确地显示标注8(步骤s5)。

对援助图像的修正处理进行的说明如下。图8是示出基准拍摄图像中的标注8的图。该基准拍摄图像是在图10b的右侧所示的拍摄范围2内被拍摄的。

如果激光投影仪12、照相机13被固定，则可以根据基准拍摄图像中包含的标识图像来计算激光投影仪12(照相机13)与标识6的角度和距离，并像图11a所示那样对标注图像10进行修正即可。在图11a中，虚线所示的是能够向激光投影仪12输入的投影图像区域9。实线是修正后的援助图像的外框。进行修正以使矩形的援助图像变形为实线所示那样。在图11a中，使援助图像的左上沿左右缩小，使左上沿上下缩小。这样的变形与图10b右侧的拍摄区域2对应。与之相伴，标注8的图像也变形而成为椭圆。修正后的标注图像成为图11b所示那样。

在通过激光投影仪12来投影修正后的标注图像时，标注8会以所需的形状(圆形)显示在正确的位置(开关4b的周围)。另外，在使用了激光投影仪12的情况下，能够仅对标注图像所处的部分进行照射，因此能够在不对其他的部位进行照射的情况下，无违和感地显示标注8。

只要激光投影仪12、照相机13被固定，则仅像上述那样进行修正即可。但是，在本实施方式中，激光投影仪12、照相机13安装于作业者，其位置是实时变化的。因此，由于作业者的关系，即使准确地显示了标注8(例如，即使始终显示在作业者的正前方)，也不会显示在开关4b的周围。

因此，在本实施方式中，即使作业者发生移动，也会根据最新的拍摄图像中包含的标识图像来修正标注图像以使之稳定地显示在应该显示的部位。例如，在作业者移动到左侧的情况下，如图12a所示，进行修正以删除标注图像的右侧部分15。因此，修正后的标注图像像图12b那样。由此，即使作业者进行移动，标注8也会显示在开关4b的周围。

另外，在与作业者之间的距离或角度发生变化的情况下，同样也能够通过修正标注图像，使标注以准确的形状显示在正确的位置。

可佩带计算机52利用激光投影仪12对以此方式被进行了修正的标注图像进行投影(步骤s6)。这样，在所需的位置以所需的形状显示标注8。

通过反复进行以上的处理，能够稳定地显示标注8。另外，在从援助侧装置30开始发送新的援助标注之前，可佩带计算机52侧可以不进行步骤s2、s3。

1.4其他例

(1)在上述实施方式中，使用标识6的拍摄图像来推断激光投影仪12(照相机13)与投影对象(标识6)的位置关系。但是，也可以不使用标识，而是通过深度传感器或距离传感器等来测量与图像中的各特征点的距离，从而推断激光投影仪12(照相机13)与投影对象的位置关系。并且，也可以通过深度传感器或距离传感器等来测量与图像的特征点的距离，通过光流等来判断该特征点的移动，并推断所述位置关系。

并且，也可以预先将作业部位的特征点的图像存储于非易失性存储器66(或者可以预先记录在援助侧装置30中并进行下载)，并通过激光投影仪12来显示该图像。以此方式，将在作业部位显示的开关的图像(特征点的图像)41a、41b、41c示出于图13a中。图像41a是开关4a的图像，图像41b是开关4b的图像，图像41c是开关4c的图像。

如图13a所示，实际的开关4a、4b、4c与所投影的图像41a、41b、41c错开。作业者对可佩带计算机52的触摸面板(未图示)进行操作，使图像41a、41b、41c分别向箭头的方向移动(拖拽)，并且变更大小(进行捏合操作)，使之与实际的开关4a、4b、4c一致。

可佩带计算机52根据最初的图像的设定值(方向、角度等)和上述的操作量来推断激光投影仪12(照相机13)与投影对象的位置关系。在该情况下也不需要使用标识。

此外，也可以在照相机13的附近设置加速度传感器，根据该输出来修正所述位置关系。

(2)在上述实施方式中，是将图形作为标注来进行投影的。但是，也可以将文字等作为标注来进行投影。

(3)在上述实施方式中，使用具有多个特征点的标识m。但是，也可以使用多个具有一个特征点(单一的圆圈等)的标识m。在该情况下，使各标识m配置于预先确定的位置。

(4)在上述实施方式中，使用了激光投影仪12，但也可以使用通常的投影仪。

(5)在上述实施方式中，修正单元16推断激光投影仪12与投影对象的位置关系，根据该推断出的位置关系而修正援助图像。但是，也可以像以下那样进行修正。使投影部12还投影出所拍摄到的标识6的图像，修正从投影部12投影的图像(援助图像和标识6的图像)以使得所投影的标识6的图像与实际的标识6一致(能够通过拍摄部13的拍摄图像来确认)。

(6)在上述实施方式中，是以开关4为对象来显示援助图像的。但是，援助图像所显示的对象还可以是显示器、连接器等需要援助的部位。

(7)在上述实施方式中，即使在人位于援助图像的照射方向的情况下，也对援助图像进行投影。但是，在人位于照相机13所拍摄的方向的情况下，可以控制成不对该人的方向照射激光。如果能够高精度地进行控制，也可以识别该人的眼睛的位置，使得不对眼睛的方向照射激光。

(8)在上述实施方式中，在人的颈部固定激光投影仪12、照相机13。但是，也可以固定于手腕、头等人体的其他部分上。并且，也可以经由眼镜、皮带、项链等部件来固定于人体部分上。

例如，也可以如图13c所示，设置具有激光投影仪12、照相机13的单元160。使该单元160的后端部可以以轴162为中心，在f方向上打开。通过设置于轴162的弹簧等施力单元(未图示)而被朝向关闭的方向施力。

因此，能够以单元160夹着作业者50所戴的帽子的帽檐等、来固定激光投影仪12、照相机13。只要在激光投影仪12、照相机13与cpu之间，通过代码或无线来进行通信即可。

(9)在上述实施方式中，使激光投影仪12、照相机13固定于作业者50。但是，也可以如图13b所示，在通过外部或者自身的控制而行走的机器人150上设置激光投影仪12、照相机13，从而显示标注8等。在该情况下，也可以不将激光投影仪12、照相机13固定于作业者50。

并且，不仅是机器人150，也可以在无人机等能够移动的设备上固定激光投影仪12、照相机13，从而显示标注8等。

此外，也可以在柱或墙壁等不会移动的物体上固定激光投影仪12、照相机13，从而显示标注8等。在该情况下，优选能够控制激光投影仪12、照相机13的投影方向(拍摄方向)。

(10)上述实施方式及其他的例子只要不违反其本质，也可以应用于其他的实施方式。

2.第二实施方式

2.1系统的功能结构

图14中示出本发明的一个实施方式的导向系统的功能结构。这里，对在医生等进行手术时实施导向的情况进行说明。

x射线拍摄部13是作为不可见光图像拍摄部的x射线影像拍摄装置。作为不可见光图像拍摄部，除了x射线影像拍摄装置之外，还能够使用pet装置、spect装置等。

该x射线拍摄部13拍摄作为手术对象的患者的患部的x射线影像。另外，在本实施方式中，在患者的患部粘贴多个标识m(金属等能够通过x射线影像进行判别的标识)。在图中，虚线所示的是拍摄区域2。

投影部12将x射线拍摄部13所拍摄到的x射线影像投影到投影区域2(与拍摄区域2重合)。例如，在拍摄区域2是患者的关节的情况下，将所拍摄到的标识m与关节的x射线影像一起进行投影。

拍摄部15是作为可见光图像拍摄部的通常的照相机。拍摄部15拍摄由投影部所投影的标识m的x射线图像和实际的标识m这双方。

修正单元16根据拍摄部15的拍摄图像，对提供给投影部12的投影图像进行修正，以使得所投影的多个标识m的图像与粘在患部上的多个标识m一致。通过以此方式使标识m的图像与标识m一致，从而使投影到患部的x射线图像以与骨所在的位置一致的方式被显示。并且，进入到骨中的手术器具21(例如手术用钻头)的位置也作为x射线影像显示在相应的位置上。

当患者移动从而使患部移动时，标识m也进行移动，因此在拍摄部13所拍摄的x射线图像中、标识m的图像也会发生变化。修正单元16根据推断出的位置关系而修正投影图像，以使得标识m的图像与标识m一致。由此，即使患部发生移动，也能够追踪于患部而以与骨所在的位置对应的方式显示x射线图像。

因此，医生能够通过该x射线图像而准确地掌握骨与手术器具21的关系，从而正确地进行手术。

2.2外观和硬件结构

图15中示出医生使用手术援助系统11的使用状态。患者躺在手术台上，被覆布100覆盖。在覆布100的一部分设置有开口部102，从而能够看到患部。设置有用于拍摄该患部的x射线影像的x射线拍摄装置13。并且，在大致相同的位置上，设置有朝向相同的方向对患部进行投影的激光投影仪12。此外，设置有通常的照相机15。另外，通常的照相机15需要至少能够拍摄患部，优选处于与x射线拍摄装置13或激光投影仪12相同的位置和方向。

控制部104接收来自x射线拍摄装置13的x射线图像，根据照相机15的拍摄图像来修正x射线图像，并利用激光投影仪12进行投影。

医生根据投影到患部的、患部的x射线图像和手术用钻头的前端部的x射线图像，能够在手术所需的正确位置开孔。

图16中示出通过计算机110来构成控制部104的情况下的硬件结构。cpu120连接有存储器122、硬盘126、dvd-rom驱动器128、激光投影仪12、x射线拍摄装置13、照相机15。

在硬盘126中记录有操作系统130、导向程序132。导向程序132与操作系统130协同发挥其功能。这些程序中的记录在dvd-rom134中的内容经由dvd-rom驱动器128而安装于硬盘126。

2.3援助处理

在进行手术或处理时，在躺在手术台100上的患者的患部粘贴多个标识m。例如，在进行大腿骨的手术的情况下，在大腿骨周边的皮肤表面上粘贴标识m。在本实施方式中，作为标识m，使用在x射线图像中相对于其他部分能够识别出来的材质(陶瓷等)。并且，在本实施方式中，与第一实施方式不同，作为标识m，不使用具有多个能够被识别出的特征点的标识，而是使用将整体作为一个特征点来进行识别的标识。因此，需要使用多个标识m(至少3个)。

图17中示出导向程序132的流程图。计算机110的cpu120(以下，有时简称为计算机110)取得x射线图像拍摄装置13所拍摄的患部的x射线图像(步骤s51)。此外，取得照相机15所拍摄到的患部的图像(步骤s52)。

计算机110通过激光投影仪12将该x射线图像投影到患部(步骤s54)。在该x射线图像中不仅包含患部的骨的x射线图像，而且还包含标识m的图像。

但是，标识m的图像显示在与实际的贴在患部的标识m不同的位置。因此，计算机110参照与x射线图像对应的照相机图像，进行控制以使两者一致。即，修正x射线图像，以使所投影的多个标识m的x射线图像与分别贴在患部的相应的实际的标识m一致(步骤s53)。由此，能够使基于x射线图像的骨的图像与实际的骨的位置对应。

只要能够暂时使标识m一致，即使患部发生移动，只要在此后使用此时的修正参数来修正x射线图像，标识m的位置也会一致。当然在产生了偏差的情况下，可以进行再次修正。

如上所述，x射线图像以与骨的位置一致的方式显示在患部的皮肤表面。因此，医生能够在观察该x射线图像的同时确认位置，并利用手术用钻头21等进行处理。并且，由于手术用钻头21的前端的钻头部分是金属，因此其也会出现在x射线图像上，因此能够确认是否是在准确的方向、位置上进行开孔。

2.4其他例

(1)在上述实施方式中，将多个标识m粘贴在患部上，并根据该x射线图像来修正投影图像。但是，也可以使用具有多个特征点的1个标识m(第一实施方式的标识6)。以使得标识m的各特征点在x射线图像上的位置与实际的标识m的特征点一致的方式修正投影图像。

在该情况下，优选标识m的图案(例如m文字)为在x射线图像中能够被区别开来的材质。例如，能够使标识m的基板为塑料(x射线透过性材料)、使图案为陶瓷(x射线非透过性材料)、或者使标识m的基板为陶瓷(x射线非透过性材料)、使图案为塑料(x射线透过性材料)。

(2)在上述实施方式中，对使用了x射线图像的情况进行了说明，但对于pet图像、spect图像也能够以相同的方式应用。在该情况下，标识m使用能够在pet图像、spect图像等中被区别出来的材质。

(3)在上述实施方式中，相对于x射线拍摄装置13而独立地设置了照相机15。但是，也可以不设置照相机15而进行x射线图像的修正。

在该情况下，与第一实施方式同样，配置多个特征点为已知的标识或按照确定的间隔和位置配置多个标识。这样，能够根据x射线图像来推断从激光投影仪12到患部的位置关系，根据推断出的位置关系来修正x射线图像，以使x射线图像以与骨的位置一致的方式显示在患部的皮肤表面上。

(4)在上述实施方式中，将照相机13、激光投影仪12固定于作业者，但也可以固定于机器人、车、无人机等。并且，也可以将照相机13、激光投影仪12固定于柱等不会移动的物体。

(5)在上述实施方式中，通过修正投影图像来进行对准。但是，也可以通过仅使激光投影仪12或者x射线拍摄装置中的任意一方移动(方向、位置等的移动)来进行对准。在该情况下，可以自动地进行对准，也可以手动地进行对准。

(6)上述实施方式及其他示例只要在不违反其本质，则可以应用于其他的实施方式。

3.第三实施方式

3.1系统的功能结构

图18中示出本发明的一个实施方式的导向系统27的功能结构。投影对象2是例如设备的面板等。在图18所示的例子中，在作为投影对象2的设备的面板上设置有连接器5a或led显示器5b等。在本实施方式中，没有设置标识。这里，对如下情况的动作进行说明，该情况是，为作业者对设置在面板上的连接器等的说明进行导向的情况。

投影部12例如是安装在作业者的头部的激光投影仪等，对投影对象2进行投影。这里，假定投影对连接器5a或led显示器5b进行说明的标注8a、8b。在与该投影部12相同的位置、相同的朝向上安装拍摄部13。因此，拍摄部13会对投影部12的投影对象2进行拍摄。另外，在本实施方式中，拍摄部13使用通常的照相机。

在导向系统27中，预先按照连接器5a或led显示器5b等的图像(从正面观察到的图像)而记录该图像及其说明以作为援助图像23。

援助图像选择单元21在拍摄到的面板的图像中找出与预先记录的连接器5a或led显示器5b等图像一致的部分。然后，读出与找出的图像对应的援助图像23(图像和说明)，并提供给修正单元16。

修正单元16对援助图像23进行修正，以使得投影部12所投影的图像(例如连接器5a的图像)以与处于面板上的实际的要素(例如连接器5a)一致的方式显示。

因此，会使显示援助图像23的说明8a、8b分别以与连接器5a或led显示器5b等相关联的方式显示在准确的位置。

这样，不管作业者的动作如何，针对作业者看到的面板上的要素，都能够使该要素的说明对应该要素而稳定地显示。

3.2外观和硬件结构

图19中示出安装了作为作业侧装置的可佩带计算机52的作业者50。作业者50在到达作为被修理或维护等的作业对象的设备9时，在颈部安装可佩带计算机52。

可佩带计算机52的外观如图3所示。并且，硬件结构如图4所示。另外，在非易失性存储器66中记录有援助程序71。

3.3援助处理

图20中示出援助程序71的流程图。可佩带计算机52的cpu60(以下，有时简称为可佩带计算机52)取得照相机13的图像(步骤s61)。可佩带计算机52对该照相机图像进行二值化，进行聚类而分割成要素图像(步骤s62)。因此，能够从照相机图像中提取出处于面板的开关、连接器、显示器、旋钮、按钮等的要素图像。

接着，可佩带计算机52判断提取出的图像要素是否与预先记录的图像一致(步骤s64)。

如图21所示，在可佩带计算机52的非易失性存储器66中预先记录有几个处于设备的面板上的要素图像。如果没有找出对应的要素图像，则可佩带计算机52针对提取出的下一个要素图像重复相同的处理。

如果找出了对应的要素图像，则可佩带计算机52读出对应于该要素图像而记录的援助图像(步骤s65)。在本实施方式中，不仅是作为针对该要素的说明的、图像，要素图像本身也包含在援助图像中。这是为了通过投影要素图像而进行对准。

反复进行以上的处理，如果存在与提取出的要素图像对应的要素图像，则读出援助图像。当针对所提取出的全部要素图像的处理结束时，可佩带计算机52将读出的各要素的援助图像汇总为一个援助图像。此时，是根据与各援助图像对应记录的与其他的要素图像的位置关系(项目名“关联”)的数据进行汇总的。在“关联”的项目中，由于附近的要素图像的代表点(右下的特征点等)与该要素图像的代表点的关系是通过坐标来表示的，因此以此为依据将多个援助图像汇总成一个。

接着，可佩带计算机52从激光投影仪12投影以此方式生成的援助图像(步骤s68)。在投影出的援助图像中包含连接器等的要素图像。该要素图像以与实际的要素(连接器等)偏离的方式被显示。

因此，可佩带计算机52修正援助图像，以使得投影出的要素图像与实际的要素一致(步骤s67)。因此，援助图像中包含的说明图像按照与实际的要素的关系而被正确地显示。

并且，即使作业者移动或者移动头，援助图像也会固定地显示在正确的位置上。

3.4其他例

(1)在上述实施方式中，是针对多个要素同时使援助图像(说明图像)显示的。但是，也可以仅针对位于照相机图像的距中心最近的位置的要素显示援助图像(说明图像)。在该情况下，不需要汇总援助图像而成为一个援助图像。

(2)在上述实施方式中，将照相机13、激光投影仪12固定于作业者，但也可以固定于机器人、车等。并且，也可以将照相机13、激光投影仪12固定于柱等不会移动的物体。

(3)在上述实施方式中，没有使用标识或特征点来进行援助图像的对准。但是，也可以如第一实施方式或第二实施方式所示，使用标识来进行对准。

(4)上述实施方式及其他示例只要不违反其本质，则也可以应用于其他的实施方式。

4.第四实施方式

4.1系统的功能结构

图22中示出本发明的第四实施方式的显示系统的功能结构。拍摄部13拍摄投影对象2。在投影对象2上存在有柱33的凹凸，并且在投影对象2的上部描绘有纹样31。修正单元16根据拍摄图像而找出没有纹样且平坦的部分。然后，修正投影图像数据以使得投影图像显示在该平坦且没有纹样的部分。投影部12针对修正后的投影图像数据进行投影。

因此，作为投影图像的标注8显示在平坦且无纹样的部分。这样，通过修正投影图像数据，能够使标注8显示在更容易被观察的位置。

4.2外观和硬件结构

可佩带计算机52的外观如图3所示。并且，硬件结构如图4所示。另外，在非易失性存储器66中记录有显示程序73。

4.3显示处理

图23中示出显示程序73的流程图。可佩带计算机52的cpu60(以下，有时简称为可佩带计算机52)取得照相机13的图像(步骤s71)。接着，根据拍摄图像而确定平坦且无纹样的部分(步骤s72)。例如，这能够通过选择对比度一样的部分或者浓度一样的部分来确定。

例如，如图24所示，投影对象2具有柱33的凸部，具有纹样部分31。柱33的部分在该边界能够形成影，因此浓度不一样。并且，纹样部分31的浓度也不一样。因此，除了这些区域之外的部分为平坦且无纹样的区域。另外，在存在日光照射的部分和不被日光照射的部分的情况下，会被识别为不同的区域。

可佩带计算机52将这些平坦且无纹样的区域中的、最接近投影范围的中心的区域决定为用于显示投影图像的区域。修正投影图像数据以便将投影图像8投影到所确定的区域(步骤s73)。从激光投影仪12显示以此方式修正后的投影图像数据(步骤s74)。

4.4其他例

(1)虽然在上述实施方式中没有使用标识m，但也可以使用标识m的拍摄图像来修正投影图像数据。

(2)在上述实施方式中，在平坦且无纹样部分显示投影图像。

在此基础上、或者除此之外，也可以进行控制，以使得在具有能够使投影图像的颜色区别开来的颜色的区域(例如具有处于互补颜色关系的颜色的区域)显示投影图像。并且，从照相机图像取得投影图像应当被进行投影的区域的颜色，在该区域的颜色与投影图像的颜色为相同的颜色且很难进行区别的情况下，也可以将投影图像的颜色修正为容易进行区别的颜色。

(3)上述实施方式及其他示例只要不违反其本质，也可以应用于其他的实施方式。