力觉显示装置、力觉显示方法以及程序与流程

本公开涉及力觉显示装置、力觉显示方法以及程序。

背景技术：

1、使用内窥镜、腹腔镜或钳子等手术器械工具的内窥镜外科手术或腹腔镜手术等在逐渐普及。在下文中，将内窥镜、腹腔镜或钳子等手术器械工具表记为“手术器具”。此外，还将使用手术器具的内窥镜外科手术或腹腔镜手术等表记为“内窥镜外科手术等”。

2、在内窥镜外科手术等中，医生等施术者使用手持的手术器具实施手术，除此之外，还使用例如专利文献1所公开的用于进行手术辅助的医用机器人实施手术。使用进行手术辅助的医用机器人的手术还被称为机器人辅助手术。

3、现有技术文献

4、专利文献

5、专利文献1：日本特开2001-104333号公报

技术实现思路

1、发明要解决的问题

2、众所周知，在内窥镜外科手术等中，施术者难以把握手术器具正在对脏器等组织施加的力。例如，众所周知，施术者难以把握手术器具推压组织的力、抓取组织的力等。因此，有可能对组织施加了超出意图以上的力，从而对组织造成损伤。在下文中，将与手术器具正在对脏器等组织施加的力有关的信息还表记为“力量信息”。

3、作为施术者获知上述力量信息的方法，已知有以下方法：除了使用显示由内窥镜拍摄到的图像的图像用显示装置外，还使用专门用来向施术者显示力量信息的力量显示装置。在该方法中，施术者为了获知力量信息，需要将视线从图像用显示装置移动到力量显示装置。因此，存在以下问题：在移动视线时有可能对组织造成非意图性的损伤。

4、此外，还已知有在图像用显示器上叠加显示力量信息的方法。在该方法中，如果将力量信息叠加到图像用显示器上的显示有组织的部分，则难以视觉辨识出因叠加了力量信息而被遮挡的组织。因此，存在有可能对难以视觉辨认的组织造成非意图性的损伤的问题。

5、在上述专利文献1中，公开了在图像用显示器上的显示有相当于手术器具的器械(instrument)的部分叠加显示力量信息的技术。具体而言，公开了一种叠加显示表示抓取组织的力的大小的标志(indicator)、表示器械的关节角度或旋转角度的信息的技术。该情况下所显示的信息存在如下问题：由于信息量不足从而难以预测对组织造成的损伤。

6、本公开揭示一种易于实现减轻对组织造成的损伤的力觉显示装置、力觉显示方法以及程序的示例。

7、解决问题的方法

8、本公开的一个方案的力觉显示装置设置有：图像获取部，所述图像获取部获取从拍摄患处的拍摄部输出的拍摄信息；力觉获取部，所述力觉获取部获取力觉信息，所述力觉信息包含对处理所述患处的至少一个手术器具作用的力的大小以及力的方向的信息；生成部，所述生成部基于所述力觉信息生成力觉显示，所述力觉显示是被显示在显示部的显示形态，并且包含表示所述力的大小的力量显示和表示所述力的方向的方向显示；检测部，所述检测部基于所述拍摄信息来检测手术器具区域，所述手术器具区域是被显示在所述显示部的图像中的显示有所述手术器具的区域；以及叠加部，所述叠加部生成显示信息，所述显示信息是使所述力觉显示叠加到所述手术器具区域并显示在所述显示部的信息。

9、本公开的一个方案的力觉显示方法是具有图像获取部、力觉获取部、生成部、检测部、以及叠加部的力觉显示装置的显示方法，包括：图像获取步骤，所述图像获取部获取从拍摄患处的拍摄部输出的拍摄信息；力觉获取步骤，所述力觉获取部获取力觉信息，所述力觉信息包含对处理所述患处的至少一个手术器具作用的力的大小以及力的方向的信息；生成步骤，所述生成部基于所述力觉信息生成力觉显示，所述力觉显示是被显示在显示部的显示形态，并且包含表示所述力的大小的力量显示和表示所述力的方向的方向显示；检测步骤，所述检测部基于所述拍摄信息来检测手术器具区域，所述手术器具区域是被显示在所述显示部的图像中的显示有所述手术器具的区域；以及叠加步骤，所述叠加部生成显示信息，所述显示信息是使所述力觉显示叠加到所述手术器具区域并显示在所述显示部的信息。

10、本公开的一个方案的程序用于使计算机实现以下功能，所述功能包括：图像获取功能，获取从拍摄患处的拍摄部输出的拍摄信息；力觉获取功能，获取力觉信息，所述力觉信息包含对处理所述患处的至少一个手术器具作用的力的大小以及力的方向的信息；生成功能，基于所述力觉信息生成力觉显示，所述力觉显示是被显示在显示部的显示形态，并且包含表示所述力的大小的力量显示和表示所述力的方向的方向显示；检测功能，基于所述拍摄信息来检测手术器具区域，所述手术器具区域是被显示在所述显示部的图像中的显示有所述手术器具的区域；以及叠加功能，生成显示信息，所述显示信息是使所述力觉显示叠加到所述手术器具区域并显示在所述显示部的信息。

11、该程序可以被存储在可安装到计算机的rom或ram中，并且从该rom或ram载入到计算机而加以应用，该程序也可以经由网络而载入到计算机并加以应用。此外，上述程序还可以被记录在可通过计算机进行读取的所有形态的记录介质中而加以应用。作为记录介质，包括例如可携带的半导体存储器(例如usb存储器等)。

12、根据如上构成的力觉显示装置、力觉显示方法以及程序，包含表示力的大小的力量显示和表示力的方向的方向显示的力觉显示以被叠加到显示部所显示的图像中显示有手术器具的手术器具区域的方式进行显示。因此，易于把握手术器具对患处施加的力的大小和力的方向。换言之，易于把握手术器具对患处的组织造成的损伤。

13、此外，力觉显示被叠加显示在手术器具区域，从而使得被显示在显示部的患处不易被力觉显示遮挡。因此，不易引起手术器具和患处非意图性的接触，从而不易因组织接触而受到损伤。

14、在本公开的一个方案中，所述生成部优选生成所述力觉显示，该力觉显示优选包含使用颜色的种类、颜色的明暗、以及透射性中的至少一者来表现所述力的大小的所述力量显示。

15、如上构成的力觉显示装置使用颜色的种类、颜色的明暗以及透射性中一者、或者使用它们的组合来表现力的大小，由此，易于直观地把握力的大小。

16、在本公开的一个方案中，所述生成部优选生成所述力觉显示，该力觉显示优选包含使用数值来表现所述力的大小的所述力量显示。

17、如上构成的力觉显示装置使用数值来表现力的大小，由此，能够准确地表现力的大小。

18、在本公开的一个方案中，所述生成部优选生成所述力觉显示，该力觉显示优选包含使用被显示的所述数值的尺寸来表现所述力的大小的所述力量显示。

19、如上构成的力觉显示装置使用表示力的大小的数值的尺寸来表现力的大小，由此，与仅使用数值来表现力的大小的情况相比，不仅能够准确地表现力的大小，而且易于更直观地把握力的大小。

20、在本公开的一个方案中，优选还设置有存储部，所述存储部优选存储所述手术器具的色彩和样式中的至少一者，所述检测部优选基于存储在所述存储部的所述手术器具的色彩和样式中的至少一者来检测被显示在所述显示部的图像中的所述手术器具区域。

21、如上构成的力觉显示装置基于手术器具的色彩和样式中的至少一者来检测手术器具区域，由此，易于检测出手术器具区域。此外，易于提高手术器具区域的检测精度。

22、在本公开的一个方案中，所述力觉信息优选包含作用于所述手术器具中的呈棒状延伸的轴部的第1力的大小以及第1力的方向的信息，所述生成部优选生成第1力觉显示，所述第1力觉显示优选包含表示所述第1力的大小的第1力量显示和表示所述第1力的方向的第1方向显示，所述检测部优选将被显示在所述显示部的图像中的显示有所述轴部的区域检测为第1手术器具区域，所述叠加部优选生成所述显示信息，该显示信息是使所述第1力觉显示叠加到所述第1手术器具区域并显示在所述显示部的信息。

23、如上构成的力觉显示装置使与手术器具的轴部相关的第1力觉显示以叠加到显示有轴部的第1手术器具区域的方式进行显示，由此，易于把握轴部对患处施加的力的大小以及力的方向。

24、在本公开的一个方案中，所述力觉信息优选包含对末端执行器部施加的第2力的大小以及第2力的方向的信息，所述末端执行器部设置在所述轴部的端部处并且用于对所述患处实施处理，所述生成部优选生成第2力觉显示，所述第2力觉显示包含表示所述第2力的大小的第2力量显示和表示所述第2力的方向的第2方向显示，所述检测部优选将被显示在所述显示部的图像中的显示有所述末端执行器部的区域检测为第2手术器具区域，所述叠加部优选生成所述显示信息，该显示信息是使所述第2力觉显示叠加到所述第2手术器具区域并显示在所述显示部的信息。

25、如上构成的力觉显示装置使与手术器具的末端执行器部相关的第2力觉显示以叠加到显示有末端执行器部的第2手术器具区域的方式进行显示，由此，易于把握末端执行器部对患处施加的力的大小以及力的方向。

26、发明的效果

27、根据本公开的力觉显示装置、力觉显示方法以及程序，易于把握手术器具对患处施加的力的大小以及力的方向，易于实现减轻对组织造成的损伤的效果。