基于增强现实的手术决策支持系统及其方法

1.本发明涉及一种手术决策系统及其方法，特别是基于增强现实的手术决策支持系统及其方法。


背景技术：

2.近年来，随着增强现实的普及与蓬勃发展，各种基于增强现实的应用便如雨后春笋般涌现，举例来说，增强现实常见应用于手术、导航及游戏等等。
3.一般而言，传统将增强现实应用在手术的方式，其可通过摄像装置及显示器建构出虚实结合的情境，其中，将医疗数据、图像及器官模型等等作为虚拟物件显示在显示器，同时一并显示摄像装置所拍摄到的实体影像，使外科医师浏览显示器时，能够同时看到虚拟物件及实体影像，以便作为手术参考之用。然而，在实际的手术过程中，此方式属于被动地提供消息，无法主动根据外科医师的手术操作来提供相应的手术决策支持。也就是说，倘若外科医师的经验不足，此方式虽然能够即时提供大量相关数据及图像，但是外科医师不见得能够从中获得帮助，反而可能使外科医师的注意力分散及压力大增，甚至导致手术失误的情况发生，故具有外科医师容易因经验不足或压力而发生失误的问题。
4.有鉴于此，便有厂商提出以增强现实模拟器官，并且搭配手术示范操作来教导外科医师的技术手段，其通过预先将器官进行建模以作为虚拟物件，并且播放手术示范操作以供外科医师学习，进而间接加深外科医师的经验。然而，实际手术过程与学习过程两者之间存在巨大落差，即使事先学习及练习多遍，在实际操刀时，经验不足的外科医师通常仍会感受到巨大的压力，特别是在手术过程中，发生意料之外的情况时。因此，前述方式仍然无法有效解决外科医师容易因经验不足或压力而发生失误的问题。
5.综上所述，可知现有技术中长期以来一直存在外科医师容易因经验不足或压力而发生失误的问题，因此实有必要提出改进的技术手段，来解决此问题。


技术实现要素：

6.本发明公开一种基于增强现实的手术决策支持系统及其方法。
7.首先，本发明公开一种基于增强现实的手术决策支持系统，其包含：手术数据库、训练模块、感测模块及决策支持模块。其中，手术数据库用以储存手术方案，所述手术方案包含器官模型、操作流程、手术器具使用时点及生理数据，每一手术方案均允许以增强现实进行呈现；训练模块连接手术数据库，用以在进行手术前，选择载入与此手术相应的其中一个手术方案以供训练，并且将选择载入的手术方案以增强现实进行呈现，以及在训练中使能感测器持续感测手术器具的三度空间的自由运动以建立最佳化手术操作；感测模块用以在进行手术的过程中，使能感测器持续感测手术器具的三度空间的自由运动以作为当前手术操作；以及决策支持模块连接训练模块及感测模块，用以比对最佳化手术操作及当前手术操作，当比对差异超过容许范围时，输出差异消息以提供手术决策支持。
8.另外，本发明还公开一种基于增强现实的手术决策支持方法，其步骤包括：提供手
术方案，所述手术方案包含器官模型、操作流程、手术器具使用时点及生理数据，每一手术方案均允许以增强现实进行呈现；在进行手术前，选择载入与手术相应的其中一个手术方案以供训练，并且将选择载入的手术方案以增强现实进行呈现，以及在训练中使能感测器持续感测手术器具的三度空间的自由运动以建立最佳化手术操作；在进行手术的过程中，使能(enable)感测器持续感测手术器具的三度空间的自由运动以作为当前手术操作；以及比对最佳化手术操作及当前手术操作，当比对差异超过容许范围时，输出差异消息以提供手术决策支持。
9.本发明所公开的系统与方法如上，与现有技术的差异在于本发明是通过在手术进行前由外科医师自行建立力所能及的最佳化手术操作，以便在手术中通过增强现实进行演示，同时侦测当前手术操作以与最佳化手术操作相互比对，当比对差异超过容许范围时，显示差异消息以提供手术决策支持。
10.通过上述的技术手段，本发明可以达成提高手术效率与成功率的技术功效。
附图说明
11.图1为本发明基于增强现实的手术决策支持系统的系统方框图。
12.图2a至图2c为本发明基于增强现实的手术决策支持方法的方法流程图。
13.图3a及图3b为应用本发明在不同时期的手术操作及提供决策支持的示意图。
14.图4为应用本发明设定应对方案的示意图。
15.附图标记说明：
16.110
ꢀꢀꢀꢀꢀꢀꢀ
手术数据库
17.120
ꢀꢀꢀꢀꢀꢀꢀ
训练模块
18.130
ꢀꢀꢀꢀꢀꢀꢀ
感测模块
19.140
ꢀꢀꢀꢀꢀꢀꢀ
决策支持模块
20.300
ꢀꢀꢀꢀꢀꢀꢀ
显示界面
21.301，302
ꢀꢀꢀ
显示区块
22.312a，312b 手术器具
23.320
ꢀꢀꢀꢀꢀꢀꢀ
动作感测器
24.331,332
ꢀꢀꢀ
虚线
25.400
ꢀꢀꢀꢀꢀꢀꢀ
设定视窗
26.410
ꢀꢀꢀꢀꢀꢀꢀ
显示区块
27.420
ꢀꢀꢀꢀꢀꢀꢀ
输入区块
28.421
ꢀꢀꢀꢀꢀꢀꢀ
暂停元件
29.422
ꢀꢀꢀꢀꢀꢀꢀ
录音元件
30.430
ꢀꢀꢀꢀꢀꢀꢀ
确认元件
具体实施方式
31.以下将配合图式及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
32.首先，在说明本发明所公开的基于增强现实的手术决策支持系统及其方法之前，
先对本发明所应用的环境作说明，本发明应用在增强现实中，所述增强现实是指通过摄像装置拍摄影像，并且根据影像的位置及角度进行精算，再搭配图像分析技术，使显示装置上同时呈现虚拟物及现实世界场景，并且能够进行互动的技术。在实际实施上，所述显示装置可包含头戴式显示器、抬头显示器、触控屏幕等等。
33.以下配合图式对本发明基于增强现实的手术决策支持系统及其方法做进一步说明，请先参阅图1，图1为本发明基于增强现实的手术决策支持系统的系统方框图，此系统包含：手术数据库110、训练模块120、感测模块130及决策支持模块140。其中，手术数据库110用以储存多个手术方案，所述手术方案包含器官模型、操作流程、手术器具使用时点及生理数据，每一手术方案均允许以增强现实进行呈现。举例来说，假设手术方案(或称为术式)为“子宫肌瘤切除术”，其包含的器官模型为子宫及其周边器官、操作流程为此术式的执行步骤、手术器具使用时点记录此术式需要使用的各种手术器具及其使用时点，以及生理数据记录进行此术式需要注意的各项生理数据。
34.训练模块120连接手术数据库110，用以在进行手术前，选择载入与此手术相应的其中一个手术方案以供训练，并且将选择载入的手术方案以增强现实进行呈现，以及在训练中使能多个感测器持续感测手术器具的三度空间的自由运动以建立最佳化手术操作。换句话说，所述最佳化手术操作是由外科医师自己本身在训练过程中所建立并作为后续的比对基础，而非传统基于教科书范本或名师的操作，如此一来，因为建立的最佳化手术操作必定是外科医师自己力所能及的操作，所以能够避免经验不足的外科医师无法重现他人的手术操作的问题。另外，在实际实施上，还可将训练中持续感测到的手术器具的三度空间的自由运动作为输入机器学习模型(machine learning model)的训练数据，用以训练对应此手术的机器学习模型。
35.感测模块130用以在进行手术的过程中，使能感测器持续感测手术器具的三度空间的自由运动以作为当前手术操作。在实际实施上，倘若训练模块120完成机器学习模型的训练，可允许将手术的过程中持续感测到的手术器具的三度空间的自由运动输入此机器学习模型，以便辨识当前手术操作是否与最佳化手术操作相近。
36.决策支持模块140连接训练模块120及感测模块130，用以比对最佳化手术操作及当前手术操作，当比对差异超过容许范围时，输出差异消息以提供手术决策支持。举例来说，最佳化手术操作可包含特定器官的数据及手术器具的移动路径；当前手术操作则可包含特定器官的数据及当前手术器具的移动路径，倘若特定器官的数据雷同，例如：子宫的肌瘤类型、位置及大小皆雷同，那么，在当前手术器具的移动路径偏离最佳化手术操作的手术器具的移动路径且超过容许范围时，会将偏移量作为差异消息以进行输出。另外，假设已完成机器学习模型的训练，并且通过此机器学习模型辨识出当前手术操作与最佳化手术操作是否相近，以便根据此辨识结果动态调整容许范围，举例来说，当辨识结果为相近但比对差异却是超过容许范围时，可放大容许范围，当辨识结果为不相近但比对结果在容许范围内时，则缩小容许范围，使根据机器学习的判断结果与根据容许范围的判断结果相互一致。
37.特别要说明的是，在实际实施上，本发明所述的模块皆可利用各种方式来实现，包含软件、硬件或其任意组合，例如，在某些实施方式中，各模块可利用软件及硬件或其中之一来实现，除此之外，本发明也可部分地或完全地基于硬件来实现，例如，系统中的一个或多个模块可以通过集成电路芯片、片上系统(system on chip,soc)、复杂程序可编程逻辑
装置(complex programmable logic device,cpld)、现场可编程程序逻辑门阵列(field programmable gate array,fpga)等来实现。本发明可以是系统、方法和/或计算机程序。计算机程序可以包括计算机可读储存介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令，计算机可读储存介质可以是可以保持和储存由指令执行设备使用的指令的有形设备。计算机可读储存介质可以是但不限于电储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备或上述的任意合适的组合。计算机可读储存介质的更具体的例子(非穷举的列表)包括：硬盘、随机存取存储器、只读存储器、快闪存储器、光盘、软盘以及上述的任意合适的组合。此处所使用的计算机可读储存介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，通过光纤电缆的光信号)、或者通过电线传输的电信号。另外，此处所描述的计算机可读程序指令可以从计算机可读储存介质下载到各个计算/处理设备，或者通过网络，例如：网际网络、区域网络、广域网络和/或无线网络下载到外部计算机设备或外部储存设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换器、集线器和/或网关。每一个计算/处理设备中的网卡或者网络界面从网络接收计算机可读程序指令，并转发此计算机可读程序指令，以供储存在各个计算/处理设备中的计算机可读储存介质中。执行本发明操作的计算机程序指令可以是组合语言指令、指令集架构指令、机器指令、机器相关指令、微指令、固件指令、或者以一种或多种程序语言的任意组合编写的原始码或目的码(object code)，所述程序语言包括面向对象的程序语言，如：common lisp、python、c++、objective-c、smalltalk、delphi、java、swift、c#、perl、ruby与php等，以及常规的程序式(procedural)程序语言，如：c语言或类似的程序语言。所述计算机程序指令可以完全地在计算机上执行、部分地在计算机上执行、作为一个独立的软件执行、部分在客户端计算机上部分在远端计算机上执行、或者完全在远端计算机或服务器上执行。
38.请参阅图2a至图2c，图2a至图2c为本发明基于增强现实的手术决策支持方法的方法流程图，其步骤包括：提供手术方案，所述手术方案包含器官模型、操作流程、手术器具使用时点及生理数据，每一手术方案均允许以增强现实进行呈现(步骤210)；在进行手术前，选择载入与手术相应的其中一个手术方案以供训练，并且将选择载入的手术方案以增强现实进行呈现，以及在训练中使能感测器持续感测手术器具的三度空间的自由运动以建立最佳化手术操作(步骤220)；在进行手术的过程中，使能感测器持续感测手术器具的三度空间的自由运动以作为当前手术操作(步骤230)；以及比对最佳化手术操作及当前手术操作，当比对差异超过容许范围时，输出差异消息以提供手术决策支持(步骤240)。通过上述步骤，即可通过在手术进行前由外科医师自行建立力所能及的最佳化手术操作，以便在手术过程中通过增强现实进行演示，同时侦测当前手术操作以与最佳化手术操作相互比对，当比对差异超过容许范围时，显示差异消息以提供手术决策支持。
39.另外，如图2b所示意，在步骤240之后，可以将训练中持续感测到的手术器具的三度空间的自由运动作为输入机器学习模型的训练数据以训练对应此手术的机器学习模型，并且在此机器学习模型训练完成后，允许将此手术的过程中持续感测到的手术器具的三度空间的自由运动输入机器学习模型以辨识当前手术操作，并且根据辨识结果动态调整容许范围(步骤250)。除此之外，也可以如图2c所示意，在步骤240之后，持续侦测手术操作行为，当手术操作行为异常中止或迟滞时，同步显示载入的手术方案的器官模型、操作流程、手术
器具使用时点及生理数据以进行辅助支持及引导(步骤260)。特别要说明的是，假设是在手术时间经过6分钟后，侦测到手术操作行为异常中止或迟滞，此时可以同步显示载入的手术方案在这个时间点(即：6分钟)之后的操作流程、手术器具使用时点及生理数据等等，不用从头到尾显示完整的手术方案，只需要显示尚未进行的部分手术方案即可。
40.以下配合图3a至图4以实施例的方式进行如下说明，如图3a及图3b所示意，图3a及图3b为应用本发明在不同时期的手术操作及提供决策支持的示意图。首先，在进行手术之前，外科医师可如图3a所示意，先从手术数据库中载入与此手术相对应的手术方案，并且将载入的手术方案显示在显示界面300的显示区块301，同时显示界面也会显示与此手术方案相应的器官、组织等影像，以便外科医师根据此手术方案进行术前训练。接着，在进行术前训练时，将通过显示界面300的图像感测技术，或是设置在手术台的动作感测器320持续侦测手术器具(312a、312b)的三度空间的自由运动以记录为手术操作。当外科医师在增强现实下经过多次术前训练后，可以从中选择最满意的手术操作以作为最佳化手术操作，例如：可将手术器具312b沿着虚线331的移动视为最佳化手术操作。在实际实施上，手术方案还可包含在不同时点的各种突发状况的应对方案，如：应急的手术操作。接着，如图3b所示意，在实际进行手术时，同样可通过动作感测器320持续侦测手术器具(312a、312b)的三度空间的自由运动以记录为当前手术操作，例如：将手术器具312b沿着虚线332的移动视为当前手术操作，接着再将其与最佳化手术操作进行比对，假设两者的差异超过容许范围时，可以代表自此时点起，手术过程开始不顺利，于是可以在显示区块302中显示在此时点不顺利时的各种应对方案以供外科医师决策，使外科医师即使面对突发状况也能够从容应对。举例来说，假设在手术中期时，侦测到手术器具312b在训练时与实际进行手术时的移动路径(如：虚线331与虚线332)的差异超过容许范围，此时，可以将手术中期可能出现的状况以及应对方案一并显示在显示区块302，提供外科医师选择合适的应对方案，进而以增强现实的显示界面300显示选择的应对方案的手术操作。
41.请参阅图4，图4为应用本发明设定应对方案的示意图。在实际实施上，所述应对方案可以通过远端装置进行设定，例如：由位于远端且经验丰富的外科医师，在远端装置开启设定视窗400来设定应对方案，举例来说，以远端装置接收训练时或当前呈现的增强现实画面，并且将其显示在显示区块410，当经验不足的外科医师在训练或手术时遭遇突发状况时，远端经验丰富的外科医师可以在输入区块420中键入文字，或以手写笔直接在输入区块420书写及画图，甚至还可点选暂停元件421及录音元件422来控制录音，以便将文字、图像及语音作为相应的应对方案，接着，再点选确认元件430将此应对方案传送至手术数据库110储存。如此一来，经验不足的外科医师便可在遭遇突发状况时，搭配显示器及扬声器输出相应此时点的应对方案，使经验不足的外科医师即使面对突发状况也能够从容应对。
42.综上所述，可知本发明与现有技术之间的差异在于通过在手术进行前由外科医师自行建立力所能及的最佳化手术操作，以便在手术过程中通过增强现实进行演示，同时侦测当前手术操作以与最佳化手术操作相互比对，当比对差异超过容许范围时，显示差异消息以提供手术决策支持，借由此技术手段可以解决现有技术所存在的问题，进而达成提高手术效率与成功率的技术功效。
43.虽然本发明以前述的实施例公开如上，然而其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的专利
保护范围须视本说明书所附的权利要求书所界定的范围为准。