信息处理装置、信息处理方法、以及信息处理系统的制作方法

信息处理装置、信息处理方法、以及信息处理系统的制作方法
【专利摘要】本发明涉及信息处理装置、信息处理方法、以及信息处理系统，其使多种多样的医疗用装置的信息一元化，并且从一元化的信息中简便地筛选信息，生成用于使图像显示装置显示的信息。信息处理装置具备：取得从多个医疗用装置取得的信息亦即多个医疗用装置信息的取得部、生成包含利用取得部取得的多个医疗用装置信息的至少一部分的提示用信息的生成部、以及对于显示图像的图像显示装置，输出所生成的提示用信息的提供部。生成部至少生成包含利用图像显示装置的使用者对于显示部的辨识较困难的医疗用装置取得的医疗用装置信息的提示用信息。
【专利说明】信息处理装置、信息处理方法、以及信息处理系统

【技术领域】
[0001 ] 本发明涉及信息处理装置。

【背景技术】
[0002]公知有作为安装于头部的显示装置的头部安装型显示装置(头戴式显示器(HeadMounted Display、HMD))。头部安装型显示装置,例如,利用液晶显示器和光源生成表示图像的图像光，将所生成的图像光利用投射光学系统、导光板等导入使用者的眼睛，由此使使用者识别虚像。
[0003]在专利文献I中，记载了用于通过使用这种头部安装型显示装置，改善医疗环境中的信息的显示的系统。在专利文献I所记载的技术中，根据查询从多个信息源取得信息，对所取得的信息，按规则进行筛选处理，并将其向眼镜头戴式观察器的目镜投影。另外，在专利文献I所记载的技术中，根据头部安装型显示装置的安装者的视线，决定固定的大型显示器的显示的控制权、优先权。在专利文献2中，记载了医疗用脸部安装型影像显示装置(头部安装型显示装置)。在专利文献2所记载的技术中，使头部安装型显示装置显示在内窥镜检查或者内窥镜手术时与内窥镜一起使用的内窥镜周边设备的动作状态信息。在专利文献3、4中，记载了在头部安装型显示装置中，用于通过应用增强实感技术，进行齿科手术中的信息的显示的方法。在专利文献3、4所记载的技术中，对于手术部位的实像，重叠显示术前图像、模拟图像等。
[0004]专利文献1:日本特开2006-102495号公报
[0005]专利文献2:日本特开2001-104331号公报
[0006]专利文献3:日本特开2010-259497号公报
[0007]专利文献4:日本特开2013-34764号公报
[0008]由于医学的进步和电子设备的进步，当前的医疗现场迅速发展。在医疗现场中，例如使用有心电图、心率计、血压计、脉搏血氧仪、血糖值计、伦琴射线、内窥镜之类的多种多样的医疗用的装置(以下也称为“医疗用装置”。)。把握这种多种多样的医疗用装置的信息来进行作业，对于在医疗现场工作的人员成为巨大的负担。因此，希望能够使多种多样的医疗用装置的信息一元化的系统。在专利文献I所记载的技术中，存在虽能够从多个信息源(医疗用装置)取得信息，但查询、筛选的设定较困难的课题。另外，在专利文献2?4所记载的技术中，作为对象的医疗用装置被限定，因此存在无法使多种多样的医疗用装置的信息一元化的课题。
[0009]另外，这种课题并不局限于头部安装型显示装置，是对于生成用于使例如头部安装型显示装置那样的图像显示装置显示的信息的信息处理装置均共同的课题。因此，希望能够使多种多样的医疗用装置的信息一元化，并且从一元化的信息中简便筛选信息，生成用于使图像显示装置显示的信息的信息处理装置。除此之外，对于信息处理装置，存在通用性的提高、便利性的提高、制造成本的降低、可靠性的提高的各种迫切期望。


【发明内容】

[0010]本发明是为了解决上述的课题的至少一部分而产生的，能够通过以下的方式来实现。
[0011](I)根据本发明的一个方式，提供一种信息处理装置。该信息处理装置具备:取得部，其取得从多个医疗用装置取得的信息亦即多个医疗用装置信息；生成部，其生成包含利用上述取得部取得的上述多个医疗用装置信息的至少一部分的提示用信息；以及提供部，其对于显示图像的图像显示装置，输出生成的上述提示用信息，上述生成部至少生成包含利用上述图像显示装置的使用者对于显示部的辨识较困难的上述医疗用装置取得的上述医疗用装置信息的上述提示用信息。根据该方式的信息处理装置，生成部生成包含利用取得部取得的多个医疗用装置信息的至少一部分的提示用信息，因此能够使与信息处理装置连接的多种多样的医疗用装置的信息(医疗用装置信息)一元化。另外，生成部至少生成包含利用图像显示装置的使用者对于显示部的辨识较困难的医疗用装置取得的医疗用装置信息的提示用信息，因此能够从一元化的医疗用装置信息中，按图像显示装置的使用者对于显示部的辨识较困难的医疗用装置的医疗用装置信息的条件提取信息，使提示用信息包含所提取的信息。其结果是，能够实现能够使多种多样的医疗用装置的信息一元化，并且从一元化的信息中简便地筛选信息，生成用于使图像显示装置显示的信息的信息处理装置。
[0012](2)在上述方式的信息处理装置中，也可以形成为上述提供部还取得上述图像显示装置的使用者的视野方向的图像，还具备确定部，上述确定部图像识别所取得的上述视野方向的图像，确定上述显示部未包含于上述视野方向的图像的上述医疗用装置，将确定出的上述医疗用装置确定为上述辨识较困难的医疗用装置。根据该方式的信息处理装置，确定部能够根据图像显示装置的使用者的视野方向的图像，确定使用者对于显示部的辨识较困难的医疗用装置。另外，能够经由提供部取得确定时必要的信息。因此，在利用信息处理装置时使用者无需预先准备数据等，所以简便。
[0013](3)在上述方式的信息处理装置中，也可以形成为上述取得部还分别取得与上述信息处理装置连接的上述多个医疗用装置的位置信息，上述提供部还取得表示与上述信息处理装置连接的上述图像显示装置的当前位置的当前位置信息、和表示上述使用者的头部的朝向的方位信息，还具备确定部，上述确定部使用利用上述取得部取得的上述多个上述医疗用装置的上述位置信息、和利用上述提供部取得的上述图像显示装置的上述当前位置信息以及上述方位信息，确定上述辨识较困难的医疗用装置。根据该方式的信息处理装置，确定部能够利用取得部取得的多个医疗用装置的位置信息、和利用提供部取得的图像显示装置的当前位置信息以及方位信息，自动地确定图像显示装置的使用者对于显示部的辨识较困难的医疗用装置。另外，能够经由取得部以及提供部取得确定时必要的信息。因此，在利用信息处理装置时使用者无需预先准备数据等，所以简便。
[0014](4)在上述方式的信息处理装置中，也可以形成为还具备配置存储部，上述配置存储部存储用于确定上述辨识较困难的医疗用装置的信息，还具备确定部，上述确定部使用上述配置存储部，确定上述辨识较困难的医疗用装置。根据该方式的信息处理装置，确定部能够使用存储用于确定图像显示装置的使用者对于显示部的辨识较困难的医疗用装置的信息的配置存储部，自动地确定图像显示装置的使用者对于显示部的辨识较困难的医疗用装置。另外，能够从预先准备的配置存储部取得确定时必要的信息。因此，在与信息处理装置连接的医疗用装置、图像显示装置不具有位置信息的检测机构、外景图像的取得机构的情况下，确定部也能够自动地确定图像显示装置的使用者对于显示部的辨识较困难的医疗田悲晉
/TJ 目.Ο
[0015](5)在上述方式的信息处理装置中，也可以形成为还具备不可视信息存储部，上述不可视信息存储部存储未表现于物体的外观的信息亦即不可视信息，上述生成部使生成的上述提示用信息包含上述不可视信息。根据该方式的信息处理装置，由于具备不可视信息存储部，从而除与信息处理装置连接的多种多样的医疗用装置的医疗用装置信息之外，还能够使不可视信息存储部所存储的不可视信息一元化。另外，生成部从一元化的信息中，例如提取CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内窥镜图像、红外线图像等未表现于物体的外观的信息亦即不可视信息，生成用于使图像显示装置显示的提示用信息。其结果是，与信息处理装置连接的图像显示装置的使用者，能够辨识上述的不可视信息，从而提高图像显示装置的便利性。
[0016](6)在上述方式的信息处理装置中，也可以形成为在上述信息处理装置，至少连接有1台用于取得未表现于物体的外观的信息亦即不可视信息的上述医疗用装置，上述生成部使生成的上述提示用信息，包含利用用于取得上述不可视信息的上述医疗用装置取得的上述医疗用装置信息。根据该方式的信息处理装置，生成部例如提取利用用于取得CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内窥镜图像、红外线图像等未表现于物体的外观的信息亦即不可视信息的医疗用装置取得的医疗用装置信息，生成用于使图像显示装置显示的提示用信息。其结果是，与信息处理装置连接的图像显示装置的使用者，能够辨识上述的不可视信息，从而提高图像显示装置的便利性。
[0017](7)在上述方式的信息处理装置中，也可以形成为在上述信息处理装置，至少连接有1台用于取得患者的处理的图像的上述医疗用装置，上述生成部使生成的上述提示用信息，包含利用用于取得上述处理的图像的上述医疗用装置取得的上述医疗用装置信息。根据该方式的信息处理装置，生成部提取利用用于取得患者的处理的图像的医疗用装置取得的医疗用装置信息，生成用于使图像显示装置显示的提示用信息。其结果是，与信息处理装置连接的图像显示装置的使用者，能够辨识患者的处理的图像，从而提高图像显示装置的便利性。
[0018](8)在上述方式的信息处理装置中，也可以形成为上述生成部在生成上述提示用信息时，维持上述医疗用装置信息所包含的图像的纵横比不变地放大或者缩小上述图像。根据该方式的信息处理装置，生成部维持医疗用装置信息所包含的图像的纵横比不变地放大或者缩小图像，因此能够抑制在生成提示用信息时，利用医疗用装置取得的医疗用装置信息产生意外失真的情况。
[0019](9)在上述方式的信息处理装置中，也可以形成为在上述信息处理装置，作为上述图像显示装置，连接有使用者能够同时辨识虚像和外景的头部安装型显示装置。根据该方式的信息处理装置，能够实现能够使多种多样的医疗用装置的信息一元化，并且从一元化的信息中简便地筛选信息，生成用于使所谓的透过型的头部安装型显示装置显示的信息的信息处理装置。
[0020](10)在上述方式的信息处理装置中，也可以形成为上述提供部还从上述头部安装型显示装置，取得安装有上述头部安装型显示装置的状态下的使用者的视野方向的图像，通过图像识别所取得的上述视野方向的图像来提取外景所包含的物体的特征，根据所提取的上述特征修正利用生成部生成的上述提示用信息，输出修正后的上述提示用信息。根据该方式的信息处理装置，提供部通过图像识别头部安装型显示装置的使用者的视野方向的图像来提取外景所包含的物体的特征，根据提取出的特征，修正生成的提示用信息。因此，在提示用信息中，包含例如CT图像、MRI图像、伦琴射线图像等的不可视信息的情况下，能够使不可视信息与外景所包含的物体(例如，患者的身体等)一致。其结果是，能够提高头部安装型显示装置的使用者的便利性。并且，头部安装型显示装置能够接收修正后的提示用信息，因此头部安装型显示装置保持原样地显示接收到的提示用信息即可。其结果是，能够简化头部安装型显示装置的结构。
[0021](11)根据本发明的一个方式，提供一种信息处理系统。该信息处理系统具备:多个医疗用装置、信息处理装置、以及使用者能够同时辨别虚像和外景的头部安装型显示装置，上述信息处理装置具备:取得部，其取得从上述多个医疗用装置取得的信息亦即多个医疗用装置信息；生成部，其生成包含利用上述取得部取得的上述多个医疗用装置信息的至少一部分的提示用信息；以及提供部，其对于上述头部安装型显示装置，输出生成的上述提示用信息，上述头部安装型显示装置具备:提示用信息取得部，其从上述信息处理装置取得上述提示用信息；图像显示部，其将取得的上述提示用信息作为上述虚像使上述头部安装型显示装置的使用者辨识，上述信息处理装置的上述生成部，至少生成包含利用上述头部安装型显示装置的使用者对于显示部的辨识较困难的上述医疗用装置取得的上述医疗用装置信息的上述提示用信息。根据该方式的信息处理系统，能够实现能够使多种多样的医疗用装置的信息(医疗用装置信息)在信息处理装置中一元化，并且从一元化的信息中简便地筛选信息生成提示用信息，将生成的提示用信息作为虚像使所谓的透过型的头部安装型显示装置的使用者辨识的信息处理系统。
[0022](12)根据本发明的一个方式，提供一种与上述方式的信息处理装置连接，且使用者能够同时辨识虚像和外景的头部安装型显示装置。该头部安装型显示装置具备:图像取得部，其取得安装有上述头部安装型显示装置的状态下的上述使用者的视野方向的图像；确定部，其图像识别取得的上述视野方向的图像来确定上述显示部未包含于上述视野方向的图像的上述医疗用装置，将确定出的上述医疗用装置确定为上述辨识较困难的医疗用装置；通知部，其向上述信息处理装置通知确定出的上述医疗用装置；提示用信息取得部，其从上述信息处理装置取得上述提示用信息；以及图像显示部，其将取得的上述提示用信息作为上述虚像使上述使用者辨识。根据该方式的头部安装型显示装置，能够将确定部设于头部安装型显示装置。其结果是，能够降低信息处理装置中的处理负荷。
[0023]上述的本发明的各方式所具有的多个构成要素并非全部都是必须的，为了解决上述的课题的一部分或者全部，或者，为了实现本说明书所记载的效果的一部分或者全部，能够适当地对于上述多个构成要素的一部分的构成要素，进行其变更、删除、与新的构成要素的替换、限定内容的一部分删除。另外，为了解决上述的课题的一部分或者全部，或者，为了实现本说明书所记载的效果的一部分或者全部，还能够将上述的本发明的一个方式所包含的技术特征的一部分或者全部与上述的本发明的其他的方式所包含的技术特征的一部分或者全部组合，作为本发明的独立的一个方式。
[0024]例如，本发明的一方式能够作为具备取得部、生成部、提供部的3个要素中的一部分或者全部要素的装置而实现。即，该装置可以具有取得部，也可以不具有取得部。另外，该装置可以具有生成部，也可以不具有生成部。另外，该装置可以具有提供部，也可以不具有提供部。这种装置能够作为例如信息处理装置而实现，但还能够作为信息处理装置以外的其他的装置而实现。前述的信息处理装置的各方式的技术特征的一部分或者全部均能够应用于该装置。
[0025]此外，本发明能够以各种方式实现，例如，能够以信息处理装置、信息处理方法、信息处理系统、头部安装型显示装置、头部安装型显示装置的控制方法、头部安装型显示系统、用于实现上述的方法、装置或者系统的功能的计算机程序、记录有该计算机程序的记录介质等的方式而实现。

【专利附图】

【附图说明】
[0026]图1是表示本发明的一个实施方式中的信息处理系统的简要结构的说明图。
[0027]图2是功能性地示出信息处理装置的结构的框图。
[0028]图3是表示共用影像规格的一个例子的说明图。
[0029]图4是表示管理表的一个例子的说明图。
[0030]图5是功能性地示出头戴式显示器的结构的框图。
[0031]图6是表示提示用信息生成处理的流程的流程图。
[0032]图7是表示医疗用装置和头戴式显示器的配置的一个例子的说明图。
[0033]图8是用于对头戴式显示器的使用者对于显示部的辨识较困难的医疗用装置的确定方法进行说明的说明图。
[0034]图9是用于对提示用信息的生成方法进行说明的说明图。
[0035]图10是用于对提示用信息的生成方法进行说明的说明图。
[0036]图11是表示在头戴式显示器中作为虚像显示提示用信息的情况的说明图。
[0037]图12是表示处于不同位置的多个头戴式显示器中作为虚像显示提示用信息的情况的说明图。
[0038]图13是表示提示用信息的第1例的说明图。
[0039]图14是表示提示用信息的第2例的说明图。
[0040]图15是表示提示用信息的第3例的说明图。
[0041]图16是功能性地示出第2实施方式中的信息处理装置的结构的框图。
[0042]图17是表示位置表的一个例子的说明图。
[0043]图18是表示第2实施方式中的提示用信息生成处理的流程的流程图。
[0044]图19是表示变形例中的头戴式显示器的外观的结构的说明图。

【具体实施方式】
[0045]A.第1实施方式:
[0046]A-1.信息处理系统的结构:
[0047]图1是表示本发明的一个实施方式的信息处理系统1000的简要结构的说明图。信息处理系统1000具备多个医疗用装置501?50η、信息处理装置300、以及图像显示装置100。信息处理系统1000为在医疗现场使用的系统，信息处理装置300从多个医疗用装置501?50η取得信息使之一元化，生成用于使图像显示装置100显示的提示用信息。医疗用装置501?50η、与图像显示装置100，通过有线连接或者无线连接，与信息处理装置300连接。此外，以下，作为表示“任意多个”的文字使用“η”。η为1以上的整数。
[0048]在本实施方式中，作为医疗现场，例示了手术室中的手术现场，但信息处理系统1000也可以在诊察室、处理室、治疗室、分娩室等使用。另外，在本实施方式中，作为图像显示装置100，例示了头部安装型显示装置，但图像显示装置100也可以为固定型的显示器、可携带的显示器、智能手机等。以下，也将头部安装型显示装置100称为“头戴式显示器100 (Head Mounted Display、HMD) ”。另外，在图1中，图示了 1台头戴式显示器100,但也可以如后述的图2那样，多台头戴式显示器100a?100η与信息处理装置300连接。
[0049]此外，在以下的说明中，在不特别区别地说明头戴式显示器100a?100η的情况下，将其简称为“头戴式显示器100”。同样，在不特别区别地说明医疗用装置501?50η的情况下，将其简称为“医疗用装置500”。
[0050]医疗用装置501?50η为医疗用途所使用的各种装置。作为医疗用装置501?50η的例子，例如能够使用用于拍摄室内外的静态图像以及动态图像的可见光摄像机、用于拍摄手术部位的静态图像以及动态图像的可见光摄像机、心电图检查装置、手术用计时器、生物监控仪、心率计、脉搏计、血压计、超声波检查装置、脉搏血氧仪、血糖值计、CT (ComputedTomography、计算机断层拍摄)图像拍摄装置、MRI (Magnetic Resonance Imaging、核磁共鸣图像法)图像拍摄装置、伦琴射线(X射线)图像拍摄装置、透视图像拍摄装置、内窥镜图像、以及红外线图像拍摄装置等。
[0051]A-2.信息处理装置的结构:
[0052]图2是功能性地示出信息处理装置300的结构的框图。信息处理装置300具备第1输入输出部310、R0M320、RAM330、通信接口 340、CPU350、以及外部存储装置380，各部分利用总线相互连接。
[0053]作为取得部的第1输入输出部310具备多个第1输入输出部311?31η。第1输入输出部 311 ?31η 例如为依照 USB (Universal Serial Bus)、HDMI (High Definit1nMultimedia Interface (注册商标))、DVI (Digital Visual Interface) > VGA (VideoGraphics Array)、复合材料、RS-232C (Recommended Standard232)、红外线、近距离无线通信(例如Bluetooth (注册商标))、无线LAN (例如IEEE802.11)、有线LAN (例如IEEE802.3)等的通信规格的输入输出接口。第1输入输出部311?31η分别取得从所连接的医疗用装置501?50η输入的信息。从医疗用装置输入的信息是指利用医疗用装置测定或者拍摄等的信息。以下也称为“医疗用装置信息“。
[0054]在本实施方式中，第1输入输出部311为依照DVI的输入输出接口，第1输入输出部312为依照HDMI的输入输出接口，第1输入输出部313为依照HDMI的输入输出接口，第1输入输出部31η为依照无线LAN的输入输出接口。在图2中，第1输入输出部311与医疗用装置501和固定式的显示器700连接。同样，第1输入输出部312与医疗用装置502连接，第1输入输出部313与医疗用装置503连接，第1输入输出部31η与医疗用装置50η连接。这样，第1输入输出部310由依照不同种类的通信规格的第1输入输出部311?31η构成。因此，第1输入输出部310能够与依照各种通信规格的医疗用装置连接，从而能够提高信息处理装置300的通用性。此外，第1输入输出部310还能够将输入的信号向例如显示器700等显示装置保持原样不变地输出。
[0055]通信接口(I/F) 340为有线LAN的接口。通信接口 340通过网络INT的线路将外部的设施的医生PR与信息处理装置300可通信地连接，并且通过内部网将与院内LAN连接的数据库0D与信息处理装置300可通信地连接。医生PR例如被假定为担任与信息处理装置300连接的头戴式显示器100的使用者的指导的医生、外部的专家医生等。在数据库0D存储有显示手术等的处理的流程的流程信息、电子病历系统、以及电子化的学术书籍等。
[0056]CPU350通过将R0M320所储存的计算机程序向RAM330展开执行，来控制信息处理装置300。另外，CPU350实现生成部360、第2输入输出部370的功能。生成部360通过执行后述的提示用信息生成处理，来生成用于使头戴式显示器100显示的提示用信息。本实施方式的生成部360生成包含头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500的医疗用装置信息在内的提示用信息。生成部360包括确定部361。确定部361确定头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500。此处，“使用者对于显示部的辨识较困难的医疗用装置500”例如是指如下的医疗用装置500的通称。
[0057].由于医疗用装置500处于使用者的死角，所以使用者无法辨识、或者难以辨识显示部(显示器等)的医疗用装置500。
[0058].由于医疗用装置500处于远离使用者的场所，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。
[0059].虽然医疗用装置500未处于使用者的死角，并且，处于接近使用者的场所，但由于使用者的视线与显示部未对置，所以使用者无法辨识、或者难以辨识显示部的医疗用装置 500。
[0060]作为提供部的第2输入输出部370具备多个第2输入输出部371?37η。第2输入输出部371?37η与第1输入输出部310同样，为依照各种通信规格的输入输出接口。由于详细情况与第1输入输出部310相同所以省略说明。
[0061 ] 在本实施方式中，第2输入输出部371与第2输入输出部372为依照无线LAN的输入输出接口，第2输入输出部373为依照USB的输入输出接口，第2输入输出部37η为依照DVI的输入输出接口。在图2中，第2输入输出部371与作为图像显示装置的头戴式显示器100a连接。同样，第2输入输出部372与头戴式显示器100b连接，第2输入输出部373与头戴式显示器100c连接，第2输入输出部37η与头戴式显示器100η连接。这样，第2输入输出部370由依照不同种类的通信规格的第2输入输出部371?37η构成。因此，第2输入输出部370能够与依照各种通信规格的头戴式显示器连接，从而能够提高信息处理装置300的通用性。
[0062]外部存储装置380由未图示的ROM、RAM、DRAM、硬盘、闪存等构成。外部存储装置380包括共用影像规格381、管理表382、作为不可视信息存储部的不可视信息383、以及手术的记录384。
[0063]图3是表示共用影像规格381的一个例子的说明图。共用影像规格381为针对提示用信息的影像信号的用于规定标准化的规格的表。共用影像规格381在提示用信息生成处理中，在生成部360生成提示用信息时使用。
[0064]在本实施方式的共用影像规格381中，作为影像信号的规格，包括影像信号所包含的图像的像素数、纵横比、分辨率、压缩方法、以及编码方法。共用影像规格381被预先决定并存储于外部存储装置380内。在决定共用影像规格381时，优选考虑与第2输入输出部370连接的头戴式显示器100a?100η中采用的影像信号的规格。
[0065]图4是表示管理表382的一个例子的说明图。管理表382是用于管理与第2输入输出部370连接的头戴式显示器100的信息，更具体而言，是用于管理与第2输入输出部371?37η分别连接的头戴式显示器100a?100η的信息的表。管理表382除了在提示用信息生成处理中生成部360生成提不用信息时使用之外,还在第2输入输出部371?37η对于头戴式显示器100a?100η发送提示用信息时使用。
[0066]本实施方式的管理表382建立关联地存储识别号、职责、影像规格。在“识别号”存储有用于相互识别与第2输入输出部370连接的头戴式显示器100的具有唯一性的识别号。在“职责”储存有表示利用识别号识别的头戴式显示器100的使用者在医疗现场担负何种职责的字符串。在“影像规格”存储有表示利用识别号识别的头戴式显示器100中的影像信号的规格(影像信号所包含的图像的像素数、纵横比、分辨率、压缩方法、编码方法等)的模式的字符串。
[0067]在图4的例子中，可知利用识别号“1”识别的头戴式显示器100的使用者为“操刀医生”，该头戴式显示器100的影像规格为“规格A”(条目E01)。同样，可知利用识别号“η”识别的头戴式显示器100的使用者为“护士”，该头戴式显示器100的影像规格为“规格Ε”(条目 Εθη)。
[0068]管理表382可以被预先决定并存储于外部存储装置380，也可以在头戴式显示器100与信息处理装置300连接时，作为初始处理自动生成。具体而言，例如，生成部360在检测到头戴式显示器100与第2输入输出部370的连接时，对于该头戴式显示器100赋予具有唯一性的识别号，并且从头戴式显示器100取得使用者的职责、影像规格。生成部360将赋予的识别号、取得的职责、以及影像规格储存于管理表382。每次头戴式显示器100a?100η与第2输入输出部370连接时，均进行如上所述的初始处理，由此生成部360能够自动生成管理表382。
[0069]在图2的不可视信息383 (不可视信息存储部)中，存储有未表现于物体的外观的信息亦即不可视信息。不可视信息为表示物体的构造的图像、文字信息，在物体为生物体的情况下，例如为CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内窥镜图像、红外线图像、以及伴随上述图像的文字信息。不可视信息被预先拍摄并存储于不可视信息383。
[0070]图2的手术的记录384是用于建立对应地记录信息处理装置300取得的医疗用装置信息、信息处理装置300生成的提示用信息、以及取得或者生成的时间的记录部。信息处理装置300取得的医疗用装置信息意味着，信息处理装置300从与第1输入输出部311?31η分别连接的多个医疗用装置501?50η取得的医疗用装置信息。另外，信息处理装置300生成的提示用信息意味着，在提示用信息生成处理中，生成部360生成的全部提示用信息。信息处理装置300取得、生成的信息的记录能够大致认为与手术(诊察、处理、治疗)的日志(log)同等。因此，这样一来，在手术等结束后，能够将手术的日志利用于手术内容的分析、研修、学术等。
[0071]A-3.头部安装型显示装置的结构:
[0072]图5是功能性地表示头戴式显示器100a的结构的框图。以下，作为头戴式显示器100的结构的一个例子例示头戴式显示器100a进行说明。头戴式显示器100a为使用者在辨识虚像的同时还能够直接辨识外景的光学透过型的头部安装型显示装置，将从信息处理装置300取得的提示用信息作为虚像而显示。头戴式显示器100a具备在安装于使用者的头部的状态下使使用者辨识虚像的图像显示部20、和控制图像显示部20的控制部10。图像显示部20与控制部10经由电缆40进行各种信号的传输。
[0073]A-3-1.控制部的结构:
[0074]控制部10具备取得对于例如触摸板、方向键、脚踏开关、光笔、麦克风等的输入设备的操作输入的输入信息取得部110、由ROM、硬盘等构成的存储部120、对于头戴式显示器100a的各部分供给电力的电源130、遵照无线LAN、Bluetooth等的规定的无线通信规格在与其他的设备之间进行无线通信的无线通信部132、当前位置取得部134、CPU140、用于连接信息处理装置300、各种外部设备0A的接口 180、以及发送部(Tx) 51、52，各部分利用未图示的总线相互连接。当前位置取得部134通过接收来自GPS卫星的信号，来检测头戴式显示器100a的使用者的当前位置，生成表示使用者的当前位置的当前位置信息。此外，当前位置取得部134也可以通过接收多个基站的电波，并判定接收到的电波的强弱来生成当前位置信息。当前位置信息能够通过表示例如纬度经度的坐标来实现。接口 180与信息处理装置300的第1输入输出部310同样，能够依照各种通信规格。
[0075]CPU140通过读取并执行存储部120所储存的计算机程序，而作为操作系统
(0S)150、图像处理部160、对于右耳机32的扬声器和左耳机34的扬声器供给声音信号的声音处理部170、显示控制部190发挥功能。图像处理部160根据经由作为提示用信息取得部的接口 180、无线通信部132输入的提示用信息的影像信号生成信号。而且，图像处理部160通过将生成的信号经由发送部51、52、电缆40向图像显示部20供给，来控制图像显示部20的显示。用于向图像显示部20供给的信号，能够使用公知的模拟形式、数字形式。显示控制部190生成控制图像显示部20的右显示驱动部22以及左显示驱动部24的控制信号，并将其经由发送部51、52发送。控制信号是指，用于分别独立地切换基于右IXD控制部211的对于右LCD241的驱动开/关、基于右背光灯控制部201的对于右背光灯221的驱动开/关、基于左IXD控制部212的对于左IXD242的驱动开/关、以及基于左背光灯控制部202的对于左背光灯222的驱动开/关的信号。
[0076]A-3-2.图像显示部的结构:
[0077]图像显示部20为安装于使用者的头部的安装体，在本实施方式中具有眼镜形状。图像显示部20包括生成并射出表示图像的图像光的右显示驱动部22以及左显示驱动部24、将图像光向使用者的双眼导入的右光学图像显示部26以及左光学图像显示部28(图2)、作为图像取得部的摄像机61、以及9轴传感器66。
[0078]右显示驱动部22包括接收部(Rx) 53、作为光源发挥功能的右背光灯(BL)控制部201以及右背光灯(BL) 221、作为显示元件发挥功能的右LCD (Liquid Crystal Display)控制部211以及右IXD241、以及右投射光学系统251。右背光灯控制部201根据经由接收部53输入的控制信号，驱动右背光灯221。右背光灯221例如为LED、电致发光片(EL)等的发光体。右IXD控制部211根据输入的影像信号驱动右IXD241。右IXD241为将多个像素配置成矩阵状的透过型液晶面板。右LCD241通过驱动配置成矩阵状的各像素位置的液晶，来使透过右LCD241的光的透过率变化，将从右背光灯221照射的照明光向表示图像的有效的图像光调制。右投射光学系统251由将从右LCD241射出的图像光变为并行状态的光束的准直透镜构成。左显示驱动部24具有与右显示驱动部22相同的结构，与右显示驱动部22同样地动作。
[0079]右光学图像显示部26与左光学图像显示部28以使用者安装有图像显示部20时位于使用者的左右的眼前的方式配置(图2)。右光学图像显示部26包括利用透光性的树脂材料等形成的右导光板261。右导光板261 —边使从右显示驱动部22输出的图像光沿规定的光路反射一边将其向使用者的右眼RE导入。对于右导光板261可以使用衍射光栅也可以使用半透过反射膜。左光学图像显示部28具有与右光学图像显示部26相同的结构，与右光学图像显示部26同样地动作。如此，被导入头戴式显示器100a的使用者的双眼的图像光在使用者的网膜成像，从而使用者能够辨识虚像。本实施方式的头戴式显示器100a的使用者，对于视野中的显示有虚像的部分，能够同时观察虚像、和虚像的背后的外景。另夕卜，对于视野中的未显示有虚像的部分，能够透过左右的光学图像显示部26、28，直接观察外景。
[0080]9轴传感器66为检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器66在图像显示部20安装于使用者的头部时，作为检测头戴式显示器100a的使用者的头部的运动的运动检测部发挥功能。此处，头部的运动包括头部的速度?加速度?角速度?朝向?朝向的变化。此外，将头部的朝向也称为“方位信息”。作为视野图像取得部的摄像机61配置于使用者安装有图像显示部20时的与使用者的眉间对应的位置。摄像机61拍摄图像显示部20的表侧方向，换言之，安装有头戴式显示器100a的状态下的使用者的视野方向的外景(外部的景色)，取得外景图像。摄像机61为所谓的可见光摄像机。本实施方式中的摄像机61为单眼摄像机，但也可以采用立体摄像机。
[0081]A-4.提示用信息生成处理:
[0082]图6是表示提示用信息生成处理的流程的流程图。提示用信息生成处理为生成用于使头戴式显示器100显示的提示用信息的处理，由信息处理装置300 (图2)的生成部360执行。提示用信息生成处理能够大致分为由步骤S100?S118构成的初始处理、和由步骤S120?S126构成的个别处理。
[0083]A-4-1.初始处理:
[0084]在初始处理中，生成部360自动确定头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500，生成包括从确定出的医疗用装置500取得的医疗用装置信息在内的提示用信息。
[0085]图7是表示医疗用装置500与头戴式显示器100的配置的一个例子的说明图。在提示用信息生成处理(图6)的步骤S100中，生成部360的确定部361取得与信息处理装置300连接的全部医疗用装置500的位置信息、和全部头戴式显示器100的当前位置信息，并使之存储于R0M320(或者外部存储装置380)。具体而言，确定部361对于医疗用装置501?50η要求位置信息。确定部361将随着响应而接收到的表示医疗用装置501?50η的位置ΜΡ1?ΜΡη (图7)的位置信息存储于R0M320。同样，确定部361对于头戴式显示器100a?100η要求当前位置信息。确定部361将随着响应而接收到的表示头戴式显示器100a?100η的当前位置UP1?UPn (图7)的当前位置信息存储于R0M320。
[0086]在提示用信息生成处理(图6)的步骤S102中，生成部360对于提示用信息生成处理中使用的变量i设定“1”。然后，生成部360的确定部361参照管理表382的第i号的条目(步骤S104)。生成部360的确定部361取得管理表382的第i号的条目所储存的头戴式显示器100的“识别号”(步骤S106)。
[0087]此外，以下，将具有步骤S106中取得的识别号的头戴式显示器100也称为“头戴式显示器100i”。头戴式显示器100i在初始处理中，是指当前处理中的头戴式显示器100。例如，在变量i = 1的情况下，头戴式显示器100i是指，管理表382的第1号的条目E01所储存的、识别号为1的操刀医生的头戴式显示器100a。
[0088]在提示用信息生成处理(图6)的步骤S108中，生成部360的确定部361对于头戴式显示器100i要求当前位置信息和方位信息，取得随着响应而接收到的头戴式显示器100?的当前位置信息、和方位信息。然后，生成部360的确定部361使用由步骤S100取得的全部医疗用装置500的位置信息、和全部头戴式显示器100的当前位置信息，确定头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500 (步骤S110)。
[0089]图8是用于对头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500的确定方法进行说明的说明图。图8表示正常的人的一般视野。可知正常的人的视野在单眼的情况下为头顶侧约60度、脚侧约70度、耳侧约90度、鼻侧约120度。另外，以鼻为中心在水平方向各60度的视野，能够用左右的眼同时观察。以下，将能够双眼同时观察的视野也称为“双眼视野”。同样，将仅能够用左眼观察见的视野也称为“左眼视野”，将仅能够用右眼观察的视野也称为“右眼视野”。此外，在图8中，仅以角度确定视野，但除角度以外也可以考虑用距离确定视野。
[0090]在提示用信息生成处理(图6)的步骤S110中，生成部360的确定部361进行以下的流程al?a3所示的处理，确定头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500。
[0091](al)确定部361根据由步骤S108取得的头戴式显示器100i的当前位置信息和方位信息，决定头戴式显示器100i的当前位置和方位(朝向)。
[0092](a2)确定部361以由流程al决定的当前位置和方位为基准，将存在于未进入图8所示的双眼视野、左眼视野、右眼视野中的任一范围的位置的医疗用装置500作为“使用者对于显示部的辨识较困难的医疗用装置500”。
[0093](a3)确定部361在其他的头戴式显示器100的当前位置存在于从头戴式显示器100?的当前位置到医疗用装置500的位置之间的直线区间的附近的情况下，将该医疗用装置500作为“使用者对于显示部的辨识较困难的医疗用装置500”。此外，流程a3仅针对成为流程a2的对象外的医疗用装置500而执行。
[0094]使用图7对步骤S110的具体例进行说明。对头戴式显示器100i是头戴式显示器100a的情况进行说明。确定部361根据头戴式显示器100a的当前位置信息和方位信息，决定当前位置UP1和方位UD1 (流程al)。确定部361以当前位置UP1和方位UD1为基准，将处于未进入头戴式显示器100a的使用者的双眼视野、左眼视野、右眼视野中的任一范围的位置MP3、MPn的医疗用装置503、50n，作为头戴式显示器100a的使用者对于显示部的辨识较困难的医疗用装置500 (流程a2)。确定部361由于其他的头戴式显示器100的当前位置未存在于从头戴式显示器100a的当前位置UP1到医疗用装置501的位置MP1之间的直线区间的附近，所以将医疗用装置501判定为不是辨识较困难的医疗用装置500。同样，确定部361由于其他的头戴式显示器100的当前位置未存在于从当前位置UP1到医疗用装置502的位置MP2之间、从当前位置UP1到医疗用装置504的位置MP4之间、从当前位置UP1到医疗用装置505的位置MP5之间的各个直线区间的附近，所以将医疗用装置502、504、505判定为不是辨识较困难的医疗用装置500 (流程a3)。上述的结果是，在头戴式显示器100i是头戴式显示器100a的情况下，确定部361将医疗用装置503、50n判定为头戴式显示器100a的使用者对于显示部的辨识较困难的医疗用装置500。
[0095]对头戴式显示器100i是头戴式显示器100η的情况进行说明。确定部361根据头戴式显示器100η的当前位置信息和方位信息,决定当前位置UPn和方位UDn (流程al)。确定部361以当前位置UPn和方位UDn为基准，将处于未进入头戴式显示器100η的使用者的双眼视野、左眼视野、右眼视野中的任一范围的位置ΜΡη的医疗用装置50η，作为头戴式显示器100η的使用者对于显示部的辨识较困难的医疗用装置500 (流程a2)。确定部361由于其他的头戴式显示器100b的当前位置UP2存在于从头戴式显示器100η的当前位置UPn到医疗用装置501的位置MP1之间的直线区间的附近，所以将医疗用装置501判定为显示部的辨识较困难。同样，确定部361由于其他的头戴式显示器100a的当前位置UP1存在于从当前位置UPn到医疗用装置502、504的位置MP2、MP4之间的直线区间的附近，所以将医疗用装置502、504判定为显示部的辨识较困难。同样，确定部361由于其他的头戴式显示器100的当前位置未存在于从当前位置UPn到医疗用装置503、505的位置MP3、MP5之间的直线区间的附近，所以将医疗用装置503、505判定为显示部的辨识不困难(流程a3)。上述的结果是，在头戴式显示器100i是头戴式显示器100η的情况下，确定部361将医疗用装置501、502、504、50n，确定为头戴式显示器100η的使用者对于显示部的辨识较困难的医疗用装置500。
[0096]这样，生成部360的确定部361能够通过流程a2，考虑人的一般视野，确定头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500。并且，生成部360的确定部361还能够通过流程a3，确定虽然存在于视野的范围内，但是由于其他的头戴式显示器100的使用者的存在而引起使用者对于显示部的辨识较困难的医疗用装置500。
[0097]这样，根据步骤S100?S110，确定部361能够根据头戴式显示器100以及医疗用装置500的当前位置信息、方位信息，确定显示部的辨识较困难的医疗用装置500。具体而言，确定部361能够确定由于医疗用装置500处于使用者的死角，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另外，确定部361除图8中角度以外还能够通过考虑距离，来确定由于医疗用装置500处于远离使用者的场所，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另外，能够经由第1输入输出部310 (取得部)以及第2输入输出部370 (提供部)取得确定时必要的信息。因此，在利用信息处理装置300时使用者无需预先准备数据等，所以简便。
[0098]生成部360的确定部361也可以通过代替由图6的步骤S100?S110说明的处理，执行以下的流程zl?z6，来确定头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500。在该情况下，在信息处理装置300的R0M320 (或者外部存储装置380)，预先存储有与信息处理装置300连接的全部医疗用装置500 (医疗用装置501?50η)的显示部的图像。
[0099](zl)生成部360对于提示用信息生成处理中使用的变量i设定“1”。
[0100](z2)确定部361参照管理表382的第i号的条目。
[0101](z3)确定部361取得管理表382的第i号的条目所储存的头戴式显示器100的“识别号”。
[0102](z4)确定部361对于头戴式显示器100i，指示使用了摄像机61的外景图像的拍摄，取得拍摄出的外景图像。
[0103](z5)确定部361通过图像识别外景图像，来判定R0M320所存储的医疗用装置500 (医疗用装置501?50η)的显示部的图像是否分别被包括于外景图像。
[0104](ζ6)确定部361将通过流程ζ5而判定为“外景图像未包括显示部的图像”的医疗用装置500，确定为头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500。
[0105]这样，根据流程zl?z6，确定部361能够根据利用头戴式显示器100i的摄像机61实际取得的使用者的视野方向的图像(外景图像)，确定显示部的辨识较困难的医疗用装置500。具体而言,确定部361能够确定由于医疗用装置500处于使用者的死角，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另外，确定部361还能够通过调整流程z5中的图像识别的精度，来确定由于医疗用装置500处于远离使用者的场所，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。并且，确定部361能够根据头戴式显示器100i的使用者的实际的视野，确定显示部的辨识较困难的医疗用装置500。更具体而言，确定部361能够确定医疗用装置500虽然未处于使用者的死角，并且，处于接近使用者的场所，但是由于使用者的视线与显示部未对置(例如，使用者低头的情况、医疗用装置500的显示部朝向与使用者的视线相同的方向的情况等)，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另外，能够经由第2输入输出部370 (提供部)取得确定时必要的信息。因此，在利用信息处理装置300时使用者无需预先准备数据等，所以简便。
[0106]在提示用信息生成处理(图6)的步骤S112中，生成部360使用第1输入输出部311?31η取得的医疗用装置501?50η的医疗用装置信息中的、从步骤S110中确定为头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500取得的医疗用装置信息，生成用于向头戴式显示器100i发送的提示用信息PNi。
[0107]图9是用于对提示用信息的生成方法进行说明的说明图。在头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500为单个的情况下，生成部360通过按照共用影像规格381所规定的影像信号的规格转换该医疗用装置500的医疗用装置信息CP1所包含的图像，来生成提示用信息PN(图9 (A))。生成部360在该转换时，特别是，在医疗用装置信息CP1所包含的图像的纵横比和共用影像规格381所规定的图像的纵横比不同的情况下，维持医疗用装置信息CP1所包含的图像的纵横比不变，放大或者缩小图像。这样，在提示用信息PN的纵向或者横向产生无图像的空白部分(图中用斜线表示)。
[0108]生成部360对于空白部分，执行以下的bl、b2的任一流程。由此，空白部分在头戴式显示器100中作为虚像显示，从而能够抑制遮挡使用者的视野的情况。
[0109](bl)生成部360对于提示用信息PN的空白部分插入黑色的虚拟点数据。
[0110](b2)生成部360对于提示用信息PN的空白部分，将用于切换头戴式显示器100的右显示驱动部22以及左显示驱动部24中的图像光生成的有效/无效的信号(Enable信号)设为Lo值(表示无效的值)。
[0111]这样一来，提示用信息PN所包含的图像的纵横比不会改变。使用了信息处理装置300的医疗现场中的图像(例如，手术部位的静态图像以及动态图像、CT图像、MRI图像、伦琴射线图像等)，优选以不损害使用者辨识的图像的实际尺寸感觉的方式，严格地维持医疗用装置500中拍摄的图像的纵横比。在这方面，只要维持医疗用装置信息CP1所包含的图像的纵横比，便能够抑制利用医疗用装置500测定或者拍摄等的医疗用装置信息产生意外失真的情况。此外，图9(B)表示不维持医疗用装置信息CP1所包含的图像的纵横比，而与共用影像规格381所规定的图像的纵横比对应地放大的结果、信息产生了失真的提示用信息 PNx。
[0112]图10是用于对提示用信息的生成方法进行说明的说明图。在头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500为多个的情况下，生成部360生成配置有辨识较困难的全部医疗用装置500的医疗用装置信息(在图10的例子中，为医疗用装置信息CP2、CP3)所包含的图像的第1图像。此时，生成部360也维持医疗用装置信息所包含的图像的纵横比。另外，医疗用装置信息所包含的图像优选配置于第1图像的端部。生成部360通过按照共用影像规格381所规定的影像信号的规格转换生成的第1图像，来生成提示用信息PN(图10)。此外，生成部360对于第1图像中的未配置有医疗用装置信息所包含的图像的空白部分(在图中用斜线表示)，执行上述的方法bl或者b2的任一流程。由此，空白部分在头戴式显示器100中作为虚像显示，从而能够抑制遮挡使用者的视野的情况。
[0113]在提示用信息生成处理(图6)的步骤S112中，生成部360使生成的提示用信息PNi存储于手术的记录384。
[0114]在步骤S114中，生成部360将生成的提示用信息PNi向头戴式显示器100i所连接的第2输入输出部370i发送。第2输入输出部370i按照头戴式显示器100i的影像信号的规格转换接收到的提示用信息PNi所包含的图像。此外，此时，第2输入输出部370i也可以参照管理表382的“影像规格”。在影像规格的转换后，第2输入输出部370i对于头戴式显示器100i发送提示用信息PNi。
[0115]图11是表示提示用信息PNi在头戴式显示器100i中作为虚像显示的情况的说明图。在从接口 180或者无线通信部132接收到提示用信息PNi的头戴式显示器100i中，进行基于图像处理部160的上述的显示处理。其结果是，被导入头戴式显示器100i的使用者的双眼的图像光在使用者的网膜成像，从而使用者能够在视野VR中辨识提示用信息PNi的虚像VI。另外，使用者能够透过右光学图像显示部26以及左光学图像显示部28，直接辨识躺在手术台上的患者的情况(外景SC)。在图11的例子中，在头戴式显示器100i的使用者所辨识的虚像VI (i)中，显示有从设定为头戴式显示器100i的使用者的辨识较困难的医疗用装置503取得的医疗用装置信息CP2、和从医疗用装置50η取得的医疗用装置信息CP3。
[0116]图12是表示在处于不同位置的多个头戴式显示器100中，提示用信息作为虚像显示的情况的说明图。信息处理装置300的第2输入输出部370也可以如图12所示地进行使提示用信息所包含的图像的朝向、大小，与外景SC所包含的对象物体的朝向、大小一致的拟合处理。在医疗现场中，对象物体例如为患者的身体、身体的一部分。为了实现拟合处理，在提示用信息生成处理(图6)的步骤S114中，第2输入输出部370i在按照头戴式显示器100i的影像信号的规格转换了提示用信息PNi所包含的图像后，进行以下的流程cl?c5所示的处理。
[0117](cl)第2输入输出部370i对于头戴式显示器100i，指示使用了摄像机61的外景图像的拍摄，取得拍摄出的外景图像。
[0118](c2)第2输入输出部370i使用如下述1、2那样的图像识别的方法，提取外景图像所包含的对象物体的特征。此外，方法1、2也可以组合。
[0119]1.检测对象物体的边缘(特征)。
[0120]2.检测对于对象物体预先标注的标识(特征)。此外，对于物体标注的标识能够使用各种种类的标识。例如能够使用胶带、贴纸、印记(magic)、激光标识、魔术贴(注册商标)等。另外，对于对象物体标注的标识的个数任意。
[0121](c3)第2输入输出部370i通过图像识别接收到的提示用信息所包含的图像，来提取对象物体的特征。此时，第2输入输出部370i能够使用与上述1、2相同的图像识别的方法。
[0122](c4)第2输入输出部370i以使由流程c2提取的外景图像的特征的位置、与由流程c3提取的提示用信息的特征的位置一致的方式，修正提示用信息所包含的图像CP。具体而言，在流程c2、c3中使用了方法1的情况下，第2输入输出部370i以外景图像的边缘的轮廓、特征部位的位置、与提示用信息的边缘的轮廓、特征部位的位置一致的方式，对于提示用信息所包含的图像CP，进行放大、缩小、旋转、反转、修剪、失真的赋予、噪声的除去的至少一种加工。此处，特征部位在对象物体为生物体的情况下，是指切开的皮肤的轮廓、内脏的轮廓、关节、四肢的前端、血管、骨等。另一方面，在流程c2、c3中使用了方法2的情况下，第2输入输出部370i以使外景图像的标识的位置、与提示用信息的标识的位置一致的方式，对于提示用信息所包含的图像CP，进行放大、缩小、旋转、反转、修剪、失真的赋予、噪声的除去的至少一种加工。
[0123]这样一来，第2输入输出部370通过图像识别头戴式显示器100 (头部安装型显示装置)的使用者的视野方向的图像来提取外景所包含的物体的特征，根据提取的特征，修正利用生成部360生成的提示用信息。因此，在提示用信息中包含例如CT图像、MRI图像、伦琴射线图像等的不可视信息的情况下，能够使不可视信息与外景所包含的物体(例如，患者的身体等)一致。其结果是，能够提高头戴式显示器100i的使用者的便利性。另外，上述的拟合处理在与确定的头戴式显示器100i连接的第2输入输出部370i执行，因此不会对于与其他的头戴式显不器100连接的第2输入输出部370施加处理负荷。并且，由于头戴式显示器100i能够接收施加了拟合处理之后的提示用信息，所以头戴式显示器100i的图像处理部160将接收到的提示用信息保持原样地显示即可。其结果是，能够简化头戴式显示器100的结构。
[0124]在提示用信息生成处理(图6)的步骤S116中，生成部360使变量i自加1。然后，生成部360判定变量i是否为η以上(步骤S118)。变量i不足η (步骤S118:否)的情况，即，意味着与第2输入输出部370连接的头戴式显示器100中存在初始处理未结束的头戴式显示器100的情况。因此，生成部360使处理向步骤S100转移，继续初始处理。另一方面，变量i为η以上(步骤S118:是)的情况意味着，全部头戴式显示器100的初始处理结束的情况。因此，生成部360使处理向步骤S120的个别处理转移。
[0125]Α-4-2.个别处理:
[0126]在个别处理中，生成部360根据来自头戴式显示器100的要求，生成包含从所要求的医疗用装置500取得的医疗用装置信息、从所要求的医疗用装置500以外的信息源取得的信息在内的提示用信息。
[0127]在提示用信息生成处理(图6)的步骤S120中，生成部360判定是否从头戴式显示器100接收到信息源的选择要求。此处，信息源的选择要求意味着，例如以下dl?d6所列举那样的要求。
[0128](dl)利用医疗用装置500取得的医疗用装置信息的阅览要求
[0129](d2)与外部的设施的医生PR的通话要求
[0130](d3)院内数据库0D所记录的数据的阅览要求
[0131](d4)不可视信息383所记录的数据的阅览要求
[0132](d5)手术的记录384所记录的数据的阅览要求
[0133](d6)头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500的医疗用装置信息的阅览要求
[0134]要求dl的情况的信息源为医疗用装置500。同样，要求d2的情况下的信息源为医生PR，要求d3的情况下的信息源为数据库0D，要求d4的情况下的信息源为不可视信息383，要求d5的情况下的信息源为手术的记录384，要求d6的情况下的信息源为成为辨识较困难的医疗用装置500。要求dl?d6可以单独发放，也可以组合发放。信息源的选择要求根据头戴式显示器100的使用者的操作而适当发放。
[0135]头戴式显示器100例如能够利用以下的流程el?e5，来对于信息处理装置300发送信息源的选择要求。
[0136](el)头戴式显示器100的使用者经由头戴式显示器100的输入设备(触摸板、方向键、脚踏开关、光笔、麦克风等)，输入希望的信息源、和用于确定信息源内的信息的信息。作为输入方法，只要采用经由了麦克风的声音输入，便能够大幅度提高在使用者使用手进行操作的情况较困难的医疗现场中使用头戴式显示器100的情况下的使用者的便利性。此夕卜，在要求dl、d6的情况下，不必输入“用于确定信息源内的信息的信息”。
[0137](e2)头戴式显示器100的输入信息取得部110取得与使用者的操作输入对应的信号，并将其向0S150发送。
[0138](e3)头戴式显示器100的0S150生成信息源的选择要求。具体而言，在要求dl的情况下，0S150生成包含头戴式显示器100的识别号、和用于确定由流程el指定的信息源的识别号在内的信息源的选择要求。在要求d2?d5的情况下，0S150生成包含头戴式显示器100的识别号、用于确定由流程el指定的信息源的识别号、以及用于确定信息源内的信息的信息在内的信息源的选择要求。在要求d6的情况下，0S150生成包含头戴式显示器100的识别号、头戴式显示器100的当前位置信息、以及方位信息在内的信息源的选择要求。此夕卜，该当前位置信息以及方位信息为，利用生成部360，为了确定要求d6的“使用者对于显示部的辨识较困难的医疗用装置500”而使用的信息，相当于用于确定信息源的信息。
[0139](e4)头戴式显示器100的0S150对于经由接口 180、无线通信部132而连接的信息处理装置300，发送由流程e3生成的信息源的选择要求。
[0140](e5)信息处理装置300的第2输入输出部370，对于生成部360发送接收到的信息源的选择要求。
[0141]在提示用信息生成处理(图6)中，在接收到信息源的选择要求的情况下(步骤S120:有)，在步骤S122中，生成部360取得信息源的选择要求所包含的头戴式显示器100i的识别号、用于确定信息源的信息、以及用于确定信息源内的信息的信息。并且，生成部360在作为用于确定信息源的信息而插入有当前位置信息以及方位信息的情况下，执行与图6的步骤S110同样的处理，确定作为执行结果而得到的“使用者对于显示部的辨识较困难的医疗用装置500”。此处，头戴式显示器100i是指，作为信息源的选择要求的发放源的头戴式显示器100 (即，当前处理中的头戴式显示器100)。
[0142]在步骤S124中，生成部360访问所指定的信息源，取得所指定的信息。然后，生成部360使用取得的信息，生成头戴式显示器100i用的提示用信息PNi，使生成的提示用信息PNi存储于手术的记录384。此外，生成部360生成提示用信息的方法如图9以及图10所说明那样。
[0143]图13是表示提示用信息的第1例的说明图。图13㈧为在信息源的选择要求中，指定了不可视信息383所存储的患者的伦琴射线图像(CP4)的情况下，利用生成部360生成的提示用信息PN的一个例子。此外，即使在信息源的选择要求中，指定了能够取得不可视信息的医疗用装置500 (伦琴射线图像拍摄装置)的情况下，也生成与图13(A)同样的提示用信息。
[0144]图13(B)为在信息源的选择要求中，指定了作为医疗用装置500的手术用计时器、作为医疗用装置500的脉搏计、以及作为医疗用装置500的生物监控仪的情况下，利用生成部360生成的提示用信息PN的一个例子。在提示用信息PN的各端部，配置有从手术用计时器取得的当前时刻CP5以及从手术开始的经过时间CP7、从脉搏计取得的脉搏的图像CP6、以及从生物监控仪取得的心率(HR)、血压(SYS/DIA)、动脉血氧饱和度(Sp02)的图像CP8。此外，头戴式显示器100也可以在如图13(B)那样，指定多个信息源的情况下，在信息源的选择要求中，指定各信息源中的信息的“配置”、“大小”。
[0145]图14是表示提示用信息的第2例的说明图。图14㈧为在信息源的选择要求中，指定了院内数据库0D所存储的学术书籍(CP9)、和院内数据库0D所存储的手术的流程信息(CP10)的情况下，利用生成部360生成的提示用信息PN的一个例子。图14(B)为在信息源的选择要求中，指定了用于拍摄作为医疗用装置500的手术部位的静态图像以及动态图像的可见光摄像机、以及与外部的设施的医生PR的通话的情况下，利用生成部360生成的提示用信息PN的一个例子。
[0146]图15是表示提示用信息的第3例的说明图。图15为在信息源的选择要求中，指定了作为医疗用装置500的生物监控仪的情况下，利用生成部360生成的提示用信息PN的一个例子。图15所示的生物监控仪不具备能够与第1输入输出部310连接的接口。但是，只要形成为信息处理装置300具备可见光摄像机的结构的基础上，使可见光摄像机拍摄生物监控仪的画面(CP13)，则生成部360能够使用来自不具有能够与第1输入输出部310连接的接口的医疗用装置的医疗用装置信息，来如图15那样地生成提示用信息PN。
[0147]在提示用信息生成处理(图6)的步骤S126中，生成部360在将由步骤S124生成的提示用信息PNi，向头戴式显示器100i所连接的第2输入输出部370i发送后，使处理向步骤S120转移，继续信息源的选择要求的接收的监控。接收到提示用信息PNi的第2输入输出部370i，按照头戴式显示器100i的影像信号的规格转换接收到的提示用信息PNi所包含的图像。另外，此时，第2输入输出部370i也可以执行拟合处理。详细情况如步骤S114所说明那样。
[0148]在经由接口 180或者无线通信部132而接收到提示用信息PNi的头戴式显示器100?中，利用图像处理部160进行上述的显示处理。其结果是，发送信息源的选择要求的头戴式显示器100i的使用者，能够辨识包含从信息源的选择要求中指定的信息源取得的信息的提示用信息PNi的虚像。
[0149]如以上那样，根据第1实施方式的信息处理装置300，生成部360生成包含利用第1输入输出部310 (取得部、第1输入输出部311?31η)取得的多个医疗用装置信息的至少一部分的提示用信息ΡΝ，因此能够使与信息处理装置300的第1输入输出部310连接的多种多样的医疗用装置500 (医疗用装置501?50η)的信息(医疗用装置信息)一元化。另外，生成部360在提示用信息生成处理的初始处理中，至少生成包含利用头戴式显示器100 (图像显示装置)的使用者对于显示部的辨识较困难的医疗用装置500取得的医疗用装置信息的提示用信息ΡΝ，因此能够从一元化的医疗用装置信息中，按显示部的辨识较困难的医疗用装置500的医疗用装置信息这样的条件提取信息，使提示用信息ΡΝ包含提取到的信息。其结果是，能够实现能够使多种多样的医疗用装置500 (医疗用装置501?50η)的信息一兀化，并且能够从一兀化的信息中简便地筛选信息，生成用于使头戴式显不器100显示的信息的信息处理装置300。
[0150]并且，第1实施方式的信息处理装置300具备不可视信息383 (不可视信息存储部)，由此除了与信息处理装置300的第1输入输出部310 (第1输入输出部311?31η)连接的多种多样的医疗用装置500 (医疗用装置501?50η)的医疗用装置信息之外，还能够使不可视信息383所存储的不可视信息也一元化。另外，生成部360还能够从一元化的信息中，例如图13那样提取CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内窥镜图像、红外线图像等、未表现于物体的外观的信息亦即不可视信息，生成用于使头戴式显示器100 (图像显示装置)显示的提示用信息ΡΝ。其结果是，与信息处理装置300连接的头戴式显示器100的使用者能够辨识上述的不可视信息，从而提高头戴式显示器100的便利性。同样，生成部360例如还能够提取利用用于取得CT图像、MRI图像、伦琴射线(X射线)图像、透视图像、超声波诊断图像、内窥镜图像、红外线图像等、未表现于物体的外观的信息亦即不可视信息的医疗用装置500取得的医疗用装置信息，生成用于使头戴式显示器100显示的提示用信息ΡΝ。其结果是，与信息处理装置300连接的头戴式显示器100的使用者，能够辨识上述的不可视信息，从而提高头戴式显示器100的便利性。
[0151]并且，根据第1实施方式的信息处理装置300，生成部360还能够提取利用用于取得手术部位的静态图像以及动态图像，即，患者的处理的图像的医疗用装置500取得的医疗用装置信息，生成用于使头戴式显示器100 (图像显示装置)显示的提示用信息ΡΝ。其结果是，与信息处理装置300连接的头戴式显示器100的使用者，能够辨识患者的处理的图像，从而提高头戴式显示器100的便利性。
[0152]如以上说明那样，根据第1实施方式的信息处理系统1000，能够实现能够使多种多样的医疗用装置500 (医疗用装置501?50η)的信息(医疗用装置信息)在信息处理装置300中一元化，并且能够从一元化的信息简便地筛选信息生成提示用信息ΡΝ，使所谓的透过型的头戴式显示器100 (头部安装型显示装置)的使用者作为虚像辨识生成的提示用信息PN的信息处理系统1000。
[0153]A-5.附加处理:
[0154]此外，在提示用信息生成处理(图6)中，还可以执行如以下那样的附加处理。附加处理可以单独附加，也可以组合附加。
[0155]A-5-1.附加处理 1:
[0156]在附加处理1中，信息处理装置300对于提示用信息进行颜色转换处理。具体而言，从生成部360接收到提示用信息的第2输入输出部370，使头戴式显示器100的摄像机61取得外景图像。然后，第2输入输出部370根据取得的外景图像的亮度、对比度、饱和度、色调，实施提高提示用信息所包含的图像的辨认度的颜色转换处理。例如，第2输入输出部370能够进行使提示用信息所包含的图像的色调，向外景图像的色调的补色转换的颜色转换处理。
[0157]这样，根据附加处理1，能够进一步提高针对头戴式显示器100的使用者的虚像VI的辨认度。
[0158]A-5-2.附加处理 2:
[0159]在附加处理2中，信息处理装置300实现抑制随着头戴式显示器100的使用者的头的小的晃动引起的虚像VI的摆动的，所谓的防抖功能。具体而言，从生成部360接收到提示用信息的第2输入输出部370，按规定的时间，反复上述流程cl?c4中说明的拟合处理、和提示用信息生成处理的步骤S114、S126的提示用信息的发送。由此，按规定的时间，重复外景图像的拍摄、和提示用信息所包含的图像的修正以及显示，因此能够使追随于使用者的头部的经时的运动的提示用信息作为虚像VI显示。
[0160]但是，追随于头戴式显示器100的使用者的头的微小的运动、摆动而使提示用信息屡次改变的情况，反而存在诱发使用者的眼精疲劳的危险、妨碍使用者的集中力的危险。因此，第2输入输出部370还可以在上述流程cl与流程c2之间，进行以下的流程fl、f2所示的处理。
[0161](f 1)第2输入输出部370求出由流程cl拍摄的外景图像、由上次执行的拟合处理的流程cl拍摄的外景图像之间的、RGB直方图的变化量。
[0162](f2)第2输入输出部370在由流程f 1求出的变化量超过规定的阈值的情况下，继续流程c2以后的处理。
[0163]这样，根据附加处理2，第2输入输出部370在上次执行的拟合处理中的外景图像、当前执行中的拟合处理中的外景图像之间的变化量较小的情况下，即，头戴式显示器100的使用者的头的运动微小的情况下，不进行提示用信息所包含的图像的修正。其结果是，能够抑制追随于头戴式显示器100的使用者的头的微小的运动、摆动而使提示用信息屡次改变的情况，因此能够抑制使用者的眼精疲劳、集中力降低。此外，也可以形成为能够由使用者指定防抖功能的开/关的结构。
[0164]A-5-3.附加处理 3:
[0165]在附加处理3中，信息处理装置300根据头戴式显示器100的图像显示部20、与处于使用者的视野方向的物体之间的距离，变更提示用信息所包含的图像作为虚像VI显示的大小。具体而言，从生成部360接收到提示用信息的第2输入输出部370，能够代替上述流程cl?c4中说明的拟合处理，进行以下的流程gl?g3所示的处理。此外，在实施本处理的情况下，形成为在头戴式显示器100，还具备测距传感器的结构。测距传感器为用于利用反射光取得处于使用者的视野方向的物体与图像显示部20之间的距离的传感器，例如，能够配置于摄像机61的附近。
[0166](gl)第2输入输出部370从头戴式显示器100定期取得测距传感器的测定值。
[0167](g2)第2输入输出部370根据取得的测距传感器的测定值决定放大率(或者缩小率)。
[0168](g3)第2输入输出部370使用决定的放大、缩小率，对于提示用信息所包含的图像，进行放大、缩小、旋转、反转、修剪、失真的赋予、噪声的除去的至少其中一个加工。
[0169]这样，根据附加处理3，第2输入输出部370能够根据处于头戴式显示器100的使用者的视野方向的物体、与图像显示部20之间的距离，变更提示用信息作为虚像VI显示的大小。因此，能够提高头戴式显示器100中的使用者的便利性。
[0170]B.第2实施方式:
[0171]在本发明的第2实施方式中，对根据表自动判定头部安装型显示装置的使用者对于显示部的辨识较困难的医疗用装置的结构进行说明。以下，仅对具有与第1实施方式不同的结构以及动作的部分进行说明。此外，对于图中与第1实施方式相同的构成部分标注与先进行了说明的第1实施方式相同的附图标记，省略其详细的说明。
[0172]B-1.信息处理系统的结构:
[0173]第2实施方式中的信息处理系统1000a的简要结构，与图1所示的第1实施方式几乎相同。但是，第2实施方式的信息处理系统1000a，代替信息处理装置300具备信息处理装置300a。
[0174]B-2.信息处理装置的结构:
[0175]图16是功能性地示出第2实施方式中的信息处理装置300a的结构的框图。与图2所示的第1实施方式区别在于，代替生成部360具备生成部360a，代替确定部361具备确定部361a的方面、和代替外部存储装置380具备外部存储装置380a的方面。对于生成部360a与确定部361a而言，提示用信息生成处理中的处理内容与第1实施方式不同。后述详细情况。外部存储装置380a除了第1实施方式所说明的各结构之外，还具备作为配置存储部的位置表385。
[0176]图17是表不位置表385的一个例子的说明图。位置表385为用于确定头戴式显示器100a?100η的使用者对于显示部的辨识较困难的医疗用装置500的表。位置表385在提示用信息生成处理中使用。
[0177]本实施方式的位置表385建立关联地存储识别号、装置1、装置2、装置3、装置4、以及装置5。在“识别号”存储有用于相互识别与第2输入输出部370连接的头戴式显示器100的具有唯一性的识别号。在“装置1”?“装置5”中，储存有对于利用识别号识别的头戴式显示器100，使用者对于显示部的辨识较困难的医疗用装置500的识别号。
[0178]在图17的例子中，可知利用识别号“1”识别的头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500，为医疗用装置503、医疗用装置50η (条目Ε01)。同样，可知利用识别号“2”识别的头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500，为医疗用装置503、医疗用装置505、以及医疗用装置50η (条目Ε02)。
[0179]Β-3.头部安装型显示装置的结构:
[0180]第2实施方式中的头戴式显示器100的简要结构，与图5所示的第1实施方式相同。
[0181]B-4.提示用信息生成处理:
[0182]图18是表示第2实施方式中的提示用信息生成处理的流程的流程图。与图6所示的第1实施方式的区别在于，不具备步骤S100的方面、代替步骤S104?S112具备步骤S200?S204的方面，关于其他的步骤与第1实施方式相同。
[0183]在提示用信息生成处理(图18)的步骤S200中，生成部360a的确定部361a，参照位置表385的第i号的条目。生成部360a的确定部361a取得位置表385的第i号的条目所储存的头戴式显示器100的“识别号”、“装置1?5”(步骤S202)。
[0184]在步骤S204中，生成部360a使用第1输入输出部311?31η取得的医疗用装置501?50η的医疗用装置信息中的，从具有由步骤S202取得的识别号的医疗用装置500，即，头戴式显示器100i的使用者对于显示部的辨识较困难的医疗用装置500取得的医疗用装置信息，生成用于向头戴式显示器100i发送的提示用信息PNi。提示用信息的生成方法，与第1实施方式相同，因此省略说明。
[0185]如以上那样，根据第2实施方式的信息处理装置300a，生成部360a的确定部361a能够使用存储用于确定头戴式显示器100(图像显示装置)的使用者对于显示部的辨识较困难的医疗用装置500的信息的位置表385 (配置存储部)，来自动确定头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500。具体而言，确定部361a能够确定，由于医疗用装置500处于使用者的死角，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另外，确定部361a还能够确定，由于医疗用装置500处于远离使用者的场所，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。并且，确定部361a能够确定，虽然医疗用装置500未处于使用者的死角，并且，处于接近使用者的场所，但是由于使用者的视线与显示部不对置，所以使用者无法辨识、或者难以辨识显示部的医疗用装置500。另夕卜，确定部361a能够从预先准备的位置表385取得决定时必要的信息。因此，在与信息处理装置300a的第1输入输出部310连接的医疗用装置500、以及与信息处理装置300a的第2输入输出部370连接的头戴式显示器100，不具有位置信息的检测机构的情况下，确定部361a也能够确定头戴式显示器100的使用者对于显示部的辨识较困难的医疗用装置500。
[0186]B-5.附加处理:
[0187]此外，在第2实施方式的提示用信息生成处理(图18)中，也可以执行“A-5-1.附加处理1”?“A-5-3.附加处理3”中说明的与第1实施方式相同的附加处理。
[0188]C.变形例:
[0189]在上述实施方式中，可以将利用硬件实现的结构的一部分置换为软件，反之，也可以将利用软件实现的结构的一部分置换为硬件。除此之外，还能够进行如以下那样的变形。
[0190]?变形例1:
[0191]在上述实施方式中，对于信息处理系统的结构进行了例示。但是，信息处理系统的结构在不脱离本发明的主旨的范围内能够任意规定，例如，能够进行构成信息处理系统的各装置的追加.删除.替换等。另外，能够进行构成信息处理系统的装置的网络结构的变更。
[0192]例如，信息处理装置的管理表、不可视信息、手术的记录、位置表可以储存于与院内LAN连接的数据库0D。另外，数据库0D并不局限于院内，也可以设于经由了网络INT的外部(例如，设于院外的云服务器等)。
[0193]?变形例2:
[0194]在上述实施方式中，对信息处理装置的结构进行了例示。但是，信息处理装置的结构，在不脱离本发明的主旨的范围内能够任意规定，例如，能够进行各构成部的追加.删除.替换等。
[0195]例如，信息处理装置可以具备触摸面板、输入按钮、键盘、鼠标、麦克风、摄像机等各种输入设备。同样，信息处理装置也可以具备显示器、指示器、用于输出与手术相关的简易的日志的打印机等各种输出设备。
[0196]例如，生成部、第2输入输出部(提供部)中的各功能，作为CPU通过将ROM、硬盘所储存的计算机程序向RAM展开执行来实现的功能而记载。但是，上述功能也可以使用为了实现该功能而设计的ASIC(Applicat1n Specific Integrated Circuit:面向特定用途集成电路)而实现。
[0197]例如，在信息处理装置中，形成为具备显示器、取得位置信息的当前位置取得部、以及方位传感器的结构。在此基础上，信息处理装置的CPU也可以形成为，使用信息处理装置的位置信息和方位信息，进行与第1实施方式的提示用信息生成处理(图6)中的初始处理相同的处理，确定信息处理装置的使用者对于显示部的辨识较困难的医疗用装置，使信息处理装置的显示器显示从确定出的医疗用装置取得的医疗用装置信息的结构。这样一来，站在信息处理装置的附近的利用者，能够确认信息处理装置所具备的显示器。这样一来，对于未戴上本发明的头戴式显示器(图像显示装置)的工作人员，也能够容易把握信肩、Ο
[0198]例如，在信息处理装置中，形成为具备取得信息处理装置所面对的方向的外景图像的摄像机的结构。在此基础上，也可以形成为进行与使用了第1实施方式的提示用信息生成处理(图6)的流程zl?z6的初始处理相同的处理，确定信息处理装置的使用者对于显示部的辨识较困难的医疗用装置，使信息处理装置的显示器显示从确定出的医疗用装置取得的医疗用装置信息的结构。这样一来，站在信息处理装置的附近的利用者，能够确认信息处理装置所具备的显示器。这样一来，对于未戴上本发明的头戴式显示器(图像显示装置)的工作人员，也能够容易把握信息。
[0199]例如，在信息处理装置中，形成为具备显示器的结构，并形成为在位置表中，存储有信息处理装置的使用者对于显示部的辨识较困难的医疗用装置的识别号的结构。在此基础上，信息处理装置的CPU也可以形成为，使用位置表，进行与第2实施方式的提示用信息生成处理(图18)中的初始处理相同的处理，确定信息处理装置的使用者对于显示部的辨识较困难的医疗用装置，使信息处理装置的显示器显示从确定出的医疗用装置取得的医疗用装置信息的结构。这样一来，站在信息处理装置的附近的利用者，能够确认信息处理装置所具备的显示器。这样一来，对于未戴上本发明的头戴式显示器(图像显示装置)的工作人员，也能够容易把握信息。
[0200]例如，使用了第1实施方式的提示用信息生成处理(图6)的流程zl?z6的初始处理中的提供部的功能，可以在头戴式显示器中实现。在该情况下，在头戴式显示器中，进行了使用者对于显示部的辨识较困难的医疗用装置的确定之后，头戴式显示器的接口(通知部)向信息处理装置通知确定出的医疗用装置的识别号。信息处理装置使用从具有所通知的识别号的医疗用装置取得的医疗用装置信息，通过与上述第1实施方式相同的流程生成提示用信息即可。这样一来，能够将确定部设于头戴式显示器，因此能够降低信息处理装置的处理负荷。
[0201]?变形例3:
[0202]在上述实施方式中，对于头戴式显示器的结构进行了例示。但是，头戴式显示器的结构在不脱离本发明的主旨的范围内能够任意规定，例如，能够进行各构成部的追加.删除?替换等。例如，控制部、图像显示部，可以通过经由了无线LAN、红外线通信、Bluetooth等的无线的信号传输路的连接而连接。另外，例如，作为电源，可以采用一次电池、燃料电池、太阳能电池、热电池等。
[0203]上述实施方式中的对于控制部、图像显示部的构成要素的分配，只不过是一个例子，能够采用各种方式。例如，也可以作为以下那样的方式。(i)在控制部搭载CPU、存储器等的处理功能，在图像显示部仅搭载显示功能的方式；(ii)在控制部与图像显示部的双方搭载CPU、存储器等的处理功能的方式；(iii)使控制部与图像显示部一体化的方式(例如，在图像显示部包含控制部作为眼镜型的可穿戴式计算机发挥功能的方式)；(iv)代替控制部使用智能手机、便携式游戏机的方式；(v)通过使控制部和图像显示部形成为能够无线通信并且无线供电的结构，而废弃电缆的方式。
[0204]例如，输入信息取得部也可以使用上述实施方式所例示的以外的各种方法，取得来自使用者的操作输入。例如，可以取得利用脚踏开关(利用使用者的脚进行操作的开关)进行的操作输入。另外，例如，也可以在图像显示部设置红外线传感器等的视线检测部的基础上，检测使用者的视线，取得基于与视线的运动建立对应的指令的操作输入。另外，例如，也可以使用摄像机检测使用者的光笔，取得基于与光笔建立对应的指令的操作输入。在检测光笔时，能够将使用者的指尖、使用者的手上的戒指、使用者的手上的医疗器具等作为用于运动检测的标识。如果能够取得基于脚踏开关、视线的操作输入，那么输入信息取得部即使在使用者放手困难的医疗现场，也能够容易取得来自使用者的操作输入。
[0205]例如，头戴式显示器形成为双眼式的透过型头戴式显示器，但也可以形成为单眼式的头戴式显示器。另外，也可以作为在使用者安装有头戴式显示器的状态下遮挡外景的透过的非透过型头戴式显示器而构成。在上述实施方式中，形成为将图像显示部如眼镜那样安装的头戴式显示器，但例如，也可以形成为采用了如帽子那样安装的方式的图像显示部等其他的形状的图像显示部的头戴式显示器。另外，耳机可以采用耳挂型、头带型，也可以省略。并且，例如，也可以作为搭载于汽车、飞机等的车辆的平视显示器(HUD、Head-UpDisplay)而构成。除此之外，也可以作为内置于安全帽等的身体防护具的头戴式显示器而构成。
[0206]图19是表示变形例中的头戴式显示器的外观的结构的说明图。在图19(A)的例子的情况下，图像显示部20a代替右光学图像显示部26而具备右光学图像显示部26a，代替左光学图像显示部28而具备左光学图像显示部28a。右光学图像显示部26a形成为小于第1实施方式的光学部件，配置于头戴式显示器安装时的使用者的右眼的斜上方。同样，左光学图像显示部28a形成为小于第1实施方式的光学部件，配置于头戴式显示器安装时的使用者的左眼的斜上方。在图19(B)的例子的情况下，图像显示部20b代替右光学图像显示部26而具备右光学图像显示部26b，代替左光学图像显示部28而具备左光学图像显示部28b。右光学图像显示部26b形成为小于第1实施方式的光学部件，配置于头戴式显示器安装时的使用者的右眼的斜下方。左光学图像显示部28b形成为小于第1实施方式的光学部件，配置于头戴式显示器安装时的使用者的左眼的斜下方。这样，光学图像显示部只要配置于使用者的眼睛的附近即可。另外，形成光学图像显示部的光学部件的大小也任意，还能够作为光学图像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学图像显示部未完全覆盖使用者的眼睛的方式的头戴式显示器而实现。
[0207]例如，在上述实施方式中，显示驱动部使用背光灯、背光灯控制部、LCD、LCD控制部、投射光学系统而构成。但是，上述的方式只不过是例示。显示驱动部也可以与上述的构成部一起，或者代替上述的构成部，具备用于实现其他的方式的构成部。例如，显示驱动部可以使用前灯方式、反射方式射出图像光。另外，例如，显示驱动部也可以形成为具备有机EL(有机电致发光、Organic Electro-Luminescence)的显示器、有机EL控制部、以及投射光学系统的结构。另外，例如，显示驱动部还能够代替LCD而使用数字?微镜?设备等。另夕卜，例如，还能够对于激光网膜投射型的头部安装型显示装置应用本发明。
[0208].变形例4:
[0209]在上述实施方式中，示出了提示用信息生成处理的一个例子。但是，提示用信息生成处理的流程只不过是一个例子，能够进行各种变形。例如，可以省略一部分的步骤，也可以追加更多其他的步骤。另外，也可以变更所执行的步骤的流程。
[0210]例如，在第1实施方式的提示用信息生成处理(图6)中的初始处理中，使用头戴式显示器的当前位置信息和方位信息、以及、医疗用装置的位置信息，确定出头戴式显示器的使用者对于显示部的辨识较困难的医疗用装置。但是，也可以组合利用头戴式显示器的9轴传感器而得到的使用者的头部的运动(头部的速度.加速度.角速度?朝向?朝向的变化)，确定头戴式显示器的使用者对于显示部的辨识较困难的医疗用装置。
[0211 ] 例如，关于与第2输入输出部连接的多个头戴式显示器，使用变量i连续进行初始处理，但是关于与第2输入输出部连接的多个头戴式显示器，也可以并列执行图6以及图18所说明的初始处理。
[0212]例如，上述实施方式所说明的不可视信息，假定了二维地表现的图像。但是，作为医疗用装置，也可以连接有能够拍摄三维的不可视图像的装置。另外，外部存储装置所存储的不可视信息，也可以为根据使用拍摄设备拍摄的多个图像而作成的三维模型。在使用三维地表现的不可视信息的情况下，生成部先生成提示用信息，再进行三维模型的构思图。然后，使用构思图后的图像，生成提示用信息。这样一来，能够从各种方向，辨识未表现于对象物体的外观的信息。
[0213]例如，在接收到提示用信息的头戴式显示器中，也可以根据使用者的要求，放大、缩小提示用信息所包含的图像作为虚像VI而显示的大小。同样，头戴式显示器可以根据使用者的要求，不显示提示用信息所包含的图像，也可以对于提示用信息所包含的图像进行颜色转换。另外，作为来自使用者的要求的输入方法，只要采用经由了麦克风的声音输入，便能够大幅度提高在使用者使用手进行操作较困难的医疗现场使用头戴式显示器的情况下的、使用者的便利性。
[0214]例如，可以省略提示用信息生成处理中的初始处理、个别处理中的其中一方。另夕卜，初始处理也可以不在提示用信息生成处理刚开始之后执行。与初始处理相同的处理，也可以根据来自使用者、其他的应用的要求，而适当执行。
[0215].变形例5:
[0216]在上述实施方式中，示出了共用影像规格、管理表、位置表的一个例子。但是，上述的详细情况只不过是一个例子，还能够进行各种变更。例如，能够进行字段(项目)的追加、删除、变更。另外，管理表、位置表也可以分割为多个表并正规化。
[0217]例如，在管理表，可以代替用于相互识别头戴式显示器的识别号，或者与识别号一起，存储有头戴式显示器的使用者的声纹。这样一来，信息处理装置能够根据经由麦克风而取得的使用者的声纹，取得该使用者使用的头戴式显示器的作用、影像规格，执行提示用信息生成处理。
[0218]例如，也可以在管理表，与头戴式显示器的识别号建立对应，还存储有用于使用于头戴式显示器与信息处理装置之间的通信的信息(例如，头戴式显示器的IP地址、MAC地址、加密密匙等)。另外，也可以在管理表，代替表示影像信号的规格的模式的“影像规格”，存储各头戴式显示器中采用的实际的影像规格本身(即，与共用影像规格所存储的项目相同的项目)。
[0219]例如，形成为在位置表，能够与头戴式显示器的识别号建立对应而储存头戴式显示器的使用者对于显示部的辨识较困难的最大5个装置的识别号的结构。但是，在位置表，能够具备任意的个数的“装置”字段。
[0220].变形例6:
[0221]本发明不局限于上述的实施方式、实施例、变形例，在不脱离其主旨的范围内能够以各种结构来实现。例如，与发明的概要的栏所记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征，能够为了解决上述的课题的一部分或者全部，或者，为了实现上述的效果的一部分或者全部，而适当地进行替换、组合。另外，该技术特征如果在本说明书中未作为必须的特征来说明，那么也能够适当地删除。
[0222]附图标记说明
[0223]10…控制部;20…图像显示部;22…右显示驱动部；24…左显示驱动部；26…右光学图像显不部;28…左光学图像显不部;32…右耳机；34…左耳机;40…电缆;51…发送部；52…发送部；53…接收部；54...接收部；61...摄像机(图像取得部)；110…输入信息取得部；100…头戴式显示器(图像显示装置、头部安装型显示装置)；120…存储部；130…电源；140-CPU ;160…图像处理部;170…声音处理部;180…接口 (通知部);190…显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右IXD控制部；212…左IXD控制部；221…右背光灯；222…左背光灯；241...右IXD ;242…左IXD ;251…右投射光学系统；252…左投射光学系统；261…右导光板；262…左导光板；300…信息处理装置；310…第1输入输出部；311?31η…第1输入输出部(取得部)；320…ROM; 330…RAM; 340…通信接口 ;350…CPU ;360…生成部;361…确定部;370…第2输入输出部；371?37η…第2输入输出部(提供部);380…外部存储装置；381…共用影像规格；382…管理表；383…不可视信息(不可视信息存储部)；384…手术的记录；385…位置表(配置存储部)；500…医疗用装置；501?50η…医疗用装置;700…显示器;1000…信息处理系统;0Α…外部设备;PC...个人计算机;0D…数据库;VI…虚像;PN…提示用信息;VR…视野;PR…医生;MP1…位置； UP1...当前位置；CP1...医疗用装置信息。
【权利要求】
1.一种信息处理装置，其特征在于，具备: 取得部，其取得从多个医疗用装置取得的信息亦即多个医疗用装置信息； 生成部，其生成包含利用所述取得部取得的所述多个医疗用装置信息的至少一部分的提示用信息；以及 提供部，其对于显示图像的图像显示装置输出生成的所述提示用信息， 所述生成部至少生成包含利用所述图像显示装置的使用者对于显示部的辨识较困难的所述医疗用装置取得的所述医疗用装置信息的所述提示用信息。
2.根据权利要求1所述的信息处理装置，其特征在于， 所述提供部还取得所述图像显示装置的使用者的视野方向的图像， 所述信息处理装置还具备确定部，所述确定部图像识别所取得的所述视野方向的图像来确定所述显示部未包含于所述视野方向的图像的所述医疗用装置，并将确定出的所述医疗用装置确定为所述辨识较困难的医疗用装置。
3.根据权利要求1或2所述的信息处理装置，其特征在于， 所述取得部还分别取得与所述信息处理装置连接的所述多个医疗用装置的位置信息，所述提供部还取得表示与所述信息处理装置连接的所述图像显示装置的当前位置的当前位置信息、和表示所述使用者的头部的朝向的方位信息， 所述信息处理装置还具备确定部，所述确定部使用利用所述取得部取得的所述多个所述医疗用装置的所述位置信息、和利用所述提供部取得的所述图像显示装置的所述当前位置信息以及所述方位信息来确定所述辨识较困难的医疗用装置。
4.根据权利要求1?3中的任一项所述的信息处理装置，其特征在于， 还具备配置存储部，所述配置存储部存储用于确定所述辨识较困难的医疗用装置的信息， 所述信息处理装置还具备确定部，所述确定部使用所述配置存储部来确定所述辨识较困难的医疗用装置。
5.根据权利要求1?4中的任一项所述的信息处理装置，其特征在于， 还具备不可视信息存储部，所述不可视信息存储部存储未表现于物体的外观的信息亦即不可视信息， 所述生成部使生成的所述提示用信息包含所述不可视信息。
6.根据权利要求1?5中的任一项所述的信息处理装置，其特征在于， 在所述信息处理装置至少连接有I台用于取得未表现于物体的外观的信息亦即不可视信息的所述医疗用装置， 所述生成部使生成的所述提示用信息包含利用用于取得所述不可视信息的所述医疗用装置取得的所述医疗用装置信息。
7.根据权利要求1?6中的任一项所述的信息处理装置，其特征在于， 在所述信息处理装置至少连接有I台用于取得患者的处理的图像的所述医疗用装置，所述生成部使生成的所述提示用信息包含利用用于取得所述处理的图像的所述医疗用装置取得的所述医疗用装置信息。
8.根据权利要求1?7中的任一项所述的信息处理装置，其特征在于， 所述生成部在生成所述提示用信息时，维持所述医疗用装置信息所包含的图像的纵横比不变地放大或者缩小所述图像。
9.根据权利要求1?8中的任一项所述的信息处理装置，其特征在于， 在所述信息处理装置，作为所述图像显示装置而连接有使用者能够同时辨识虚像和外景的头部安装型显示装置。
10.根据权利要求9所述的信息处理装置，其特征在于， 所述提供部还从所述头部安装型显示装置取得安装有所述头部安装型显示装置的状态下的使用者的视野方向的图像， 通过图像识别所取得的所述视野方向的图像来提取外景所包含的物体的特征， 根据所提取的所述特征来修正利用生成部生成的所述提示用信息，并输出修正后的所述提示用信息。
11.一种信息处理方法,其特征在于,具备: (a)取得从多个医疗用装置取得的信息亦即多个医疗用装置信息的步骤； (b)生成包含所取得的所述多个医疗用装置信息的至少一部分的提示用信息的步骤；以及 (C)对于显示图像的图像显示装置输出生成的所述提示用信息的步骤， 所述步骤(b)至少生成包含利用所述图像显示装置的使用者对于显示部的辨识较困难的所述医疗用装置取得的所述医疗用装置信息的所述提示用信息。
12.一种信息处理系统，其特征在于，具备: 多个医疗用装置； 信息处理装置；以及 头部安装型显示装置，其使使用者能够同时辨识虚像和外景， 所述信息处理装置具备: 取得部，其取得从所述多个医疗用装置取得的信息亦即多个医疗用装置信息； 生成部，其生成包含利用所述取得部取得的所述多个医疗用装置信息的至少一部分的提示用信息；以及 提供部，其对于所述头部安装型显示装置输出所生成的所述提示用信息， 所述头部安装型显示装置具备: 提示用信息取得部，其从所述信息处理装置取得所述提示用信息；和图像显示部，其将取得的所述提示用信息作为所述虚像使所述头部安装型显示装置的使用者辨识， 所述信息处理装置的所述生成部至少生成包含利用所述头部安装型显示装置的使用者对于显示部的辨识较困难的所述医疗用装置取得的所述医疗用装置信息的所述提示用信息。
13.—种头部安装型显示装置，其特征在于，与权利要求1所述的信息处理装置连接，使使用者能够同时辨识虚像和外景，其中，具备: 图像取得部，其取得安装有所述头部安装型显示装置的状态下的所述使用者的视野方向的图像； 确定部，其图像识别所取得的所述视野方向的图像来确定所述显示部未包含于所述视野方向的图像的所述医疗用装置，并将确定出的所述医疗用装置确定为所述辨识较困难的医疗用装置； 通知部，其向所述信息处理装置通知确定出的所述医疗用装置； 提示用信息取得部，其从所述信息处理装置取得所述提示用信息；以及 图像显示部，其将所取得的所述提示用信息作为所述虚像来使所述使用者辨识。
【文档编号】G06F9/44GK104298499SQ201410340080
【公开日】2015年1月21日 申请日期:2014年7月16日 优先权日:2013年7月16日
【发明者】津田敦也, 内山敏一, 若宫仁美, 高野正秀 申请人:精工爱普生株式会社