手术模拟方法及装置与流程

本发明涉及数据处理领域，具体而言，涉及一种手术模拟方法及装置。

背景技术

在21世纪以来，各种疾病凸显易多，手术越来越多，而对于手术的成功率的渴望度，而医疗行业也面临各种手术的实践操作，医疗行业不断的普及这一块的实践操作，而给互联网研发带来极大的考验，而在这个手术实验过程中，对于病人及医生是一个重大的考验。

而现有技术中，医生在对病人进行手术过程中仅仅依靠一些辅助医疗设备及医生肉眼观察手术过程，但是若对于身体内的某些器官进行手术时，由于无法具体观察到身体内部的手术过程，使得医生只能凭感觉知晓手术刀是否作用于的是当前需要手术的器官，这种情况很可能由于误操作导致手术刀未找准手术器官或者手术位置，由此造成严重的医疗事故。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种手术模拟方法及装置，以改善上述问题。

第一方面，本发明实施例提供了一种手术模拟方法，所述方法包括：获取手术工具在进行手术时的3d图像信息；

基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，所述3d模型包括3d器官模型，所述3d器官模型中预先添加有碰撞体；

基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞；

在为是时，产生模拟碰撞反应。

进一步地，获取手术工具在进行手术时的3d图像信息，包括：

通过摄像头获取手术工具在进行手术时的3d图像信息。

进一步地，所述3d模型还包括3d手术工具模型，所述3d手术工具模型中预先添加有碰撞体，基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞，在为是时，产生模拟碰撞反应，包括：

基于所述位置信息判断所述手术工具在所述3d手术工具模型中对应的碰撞体是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞；

在为是时，产生模拟碰撞反应。

进一步地，基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，包括：

基于所述3d图像信息获取所述手术工具在所述3d图像信息中的位置坐标；

将所述位置坐标转换成所述3d模型中的目标坐标，所述目标坐标为所述手术工具在所述3d模型中的位置信息。

进一步地，产生模拟碰撞反应之后，所述方法还包括：

获取所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞的碰撞深度信息；

基于所述碰撞深度信息产生对应的模拟碰撞反应。

第二方面，本发明实施例提供了一种手术模拟装置，所述装置包括：

图像信息获取模块，用于获取手术工具在进行手术时的3d图像信息；

位置信息获取模块，用于基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，所述3d模型包括3d器官模型，所述3d器官模型中预先添加有碰撞体；

碰撞判断模块，用于基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞；

反应模拟模块，用于在基于所述位置信息判断所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应。

进一步地，所述图像信息获取模块，具体用于通过摄像头获取手术工具在进行手术时的3d图像信息。

进一步地，所述3d模型还包括3d手术工具模型，所述3d手术工具模型中预先添加有碰撞体，所述碰撞判断模块，具体用于基于所述位置信息判断所述手术工具在所述3d手术工具模型中对应的碰撞体是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞。

进一步地，所述位置信息获取模块，具体用于基于所述3d图像信息获取所述手术工具在所述3d图像信息中的位置坐标；将所述位置坐标转换成所述3d模型中的目标坐标，所述目标坐标为所述手术工具在所述3d模型中的位置信息。

进一步地，所述装置还包括：

碰撞深度模拟模块，用于获取所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞的碰撞深度信息；基于所述碰撞深度信息产生对应的模拟碰撞反应。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本发明实施例的有益效果：

本发明实施例提供一种手术模拟方法及装置，该方法首先通过获取手术工具在进行手术时的3d图像信息，然后基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，所述3d模型包括3d器官模型，所述3d器官模型中预先添加有碰撞体，再基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞，在判断所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应，由此，可通过检测手术工具是否与目标器官对应的碰撞体发生碰撞，从而可以判断实际过程中手术工具是否与目标器官发生碰撞，在检测到手术工具与目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应，即可提醒医生，实际手术过程中手术工具已经与目标器官发生了碰撞，从而找到准确的目标器官进行手术，保证了手术的顺利进行及安全。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种可应用于本申请实施例中的电子设备的结构框图；

图2为本发明实施例提供的一种手术模拟方法的流程图；

图3为本发明实施例提供的一种手术模拟装置的结构框图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。电子设备100可以包括手术模拟装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。

所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述手术模拟装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述手术模拟装置的操作系统(operatingsystem，os)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述手术模拟装置包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可以是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元105可以是，但不限于，鼠标和键盘等。

音频单元106向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元107在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器103进行计算和处理。

所述外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元105可以是，但不限于，鼠标和键盘等。

可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本发明实施例提供的一种手术模拟方法的流程图，所述方法包括如下步骤：

步骤s110：获取手术工具在进行手术时的3d图像信息。

在进行手术时，可通过摄像头进行实时录像，摄像头将获取到的图像信息发送至上述的电子设备，然而由于摄像头获取的图像信息可能为2d图像，所以电子设备在获得2d图像之后需再转换成3d图像。当然还可通过摄像头直接获取手术工具在手术过程中的3d图像信息。

步骤s120：基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息。

3d模型为预先建立的，为了对手术过程进行模拟，可以对人体的器官建立模型，即3d模型中包括3d器官模型，该3d器官模型中预先添加有碰撞体，即在创建3d模型时，将3d模型中添加碰撞体，碰撞体可以是采用网格资源并基于该网格构建其碰撞器。其中，可对每个器官分别对应分别添加碰撞体，即每个器官之间的碰撞体为独立的，其可进行独立控制。

为了模拟手术过程中手术工具与人体器官是否真实接触，所以将人体器官都添加网络碰撞器，其作为碰撞体，将3d模型中的手术工具添加刚体，因为碰撞体是物理组件的一类，刚体使对象可以受物理控制，碰撞体要与刚体一起添加到3d模型中的相关对象中才能触发碰撞，而进行碰撞检测时，在标记为凸起的网格碰撞体可以为其他网格碰撞体发生碰撞，即可以将目标器官对应的网格标记为凸起，其可利用碰撞体检测该目标器官是否与其他碰撞体进行碰撞，如目标器官为心脏，其心脏对应的心脏模型添加有碰撞体，并且标记为凸起，则若是对心脏进行手术时，手术工具在碰撞到该心脏对应的网格时可以被碰撞体检测到，则表示实际手术过程中该手术工具与心脏发生了碰撞，如接触等。

而在获得手术工具的3d图像信息后，可获得手术工具在3d模型中对应的位置信息，具体地，可基于所述3d图像信息获得手术工具在3d图像信息中的位置坐标，然后将所述位置坐标转换为3d模型中的目标坐标，所述目标坐标为所述手术工具在所述3d模型中的位置信息，则即可获得手术工具在3d模型中的位置信息。

步骤s130：基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞。

在获得手术工具在3d模型中的位置信息之后，判断该手术工具是否与目标器官对应的碰撞体发生碰撞，即碰撞体基于手术工具的位置信息检测到手术工具距离目标器官之间的距离，在手术工具与目标器官之间的距离为0时，则表示手术工具与目标器官发生碰撞，为了模拟手术工具是否作用于目标器官上，则可在添加碰撞体时，为碰撞体添加对应的属性信息，如材质、半径、中心、大小(即在x、y、z三维上的碰撞器尺寸)以及手术工具碰撞到该目标器官时的产生的模拟反应，如手术工具碰撞到心脏时产生震动反应，以此来提醒医生，手术工具与目标器官发生了碰撞。为了对目标器官进行准确定位，可指对目标器官添加碰撞体，则若手术工具接触到其他器官时，无法产生模拟碰撞反应，从而表示该器官不是目标器官，若手术工具与目标器官接触是，可产生模拟碰撞反应，由此实现对目标器官的准确定位，医生通过模拟反应即可知晓该目标器官是需要进行手术的器官，即可进行后续的手术过程。

另外，碰撞体与刚体结合使用可使3d模型中的物体变得生动，刚体使对象可以受物理控制，而碰撞体使对象可以相互碰撞，所以还可在手术工具中添加碰撞体，即在3d模型中还包括有3d手术工具模型，该3d手术工具模型中预先添加有碰撞体，则可基于所述手术工具的位置信息判断所述手术工具在所述3d手术工具模型中对应的碰撞体是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞，在为是时，发生模拟碰撞反应，具体地，可基于所述手术工具的位置信息判断所述手术工具在所述3d手术工具模型中对应的网格是否与所述3d器官模型中的目标器官对应的网格发生碰撞，在为是时，发生模拟碰撞反应。

而两个添加了碰撞体的对象不能相互碰撞，除非它们标记为凸起，所以，可将目标器官对应的碰撞体标记为凸起，凸起碰撞体必须少于255个三角形，所以可在手术工具模型中也添加碰撞体，其也可检测手术工具是否与目标器官发生碰撞。

在判断所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞时，在执行步骤s140：发生模拟碰撞反应。即在手术工具碰撞到目标器官对应的碰撞体时，可以发出震动、声音提示等反应，使得医生可以感知，从而使得手术过程顺利进行。

另外，作为一种实施方式，在步骤s140之后，所述方法还可包括获取所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞的碰撞深度信息；基于所述碰撞深度信息产生对应的模拟碰撞反应。

具体地，在判断手术工具与目标器官发生碰撞后，还可基于其碰撞的力度获取其碰撞深度信息，例如，可通过获取碰撞时目标器官发生形变的图像信息，与目标器官未与手术工具碰撞前的图像信息进行比较，例如可获得其在x、y、z轴上产生的位移信息，然后可将所述三个轴上的位移信息的矢量和作为碰撞深度信息，从而可基于不同的碰撞深度信息来产生不同的模拟碰撞反应，如碰撞深度信息较大时，模拟碰撞反应可以产生较长时间的震动反应，碰撞深度信息较小时，模拟碰撞反应可以产生较短时间的震动反应等。

请参照图3，图3为本发明实施例提供的一种手术模拟装置200的结构框图，所述装置包括：

图像信息获取模块210，用于获取手术工具在进行手术时的3d图像信息；

位置信息获取模块220，用于基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，所述3d模型包括3d器官模型，所述3d器官模型中预先添加有碰撞体；

碰撞判断模块230，用于基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞；

反应模拟模块240，用于在基于所述位置信息判断所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应。

作为一种实施方式，所述图像信息获取模块210，具体用于通过摄像头获取手术工具在进行手术时的3d图像信息。

作为一种实施方式，所述3d模型还包括3d手术工具模型，所述3d手术工具模型中预先添加有碰撞体，所述碰撞判断模块230，具体用于基于所述位置信息判断所述手术工具在所述3d手术工具模型中对应的碰撞体是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞。

作为一种实施方式，所述位置信息获取模块220，具体用于基于所述3d图像信息获取所述手术工具在所述3d图像信息中的位置坐标；将所述位置坐标转换成所述3d模型中的目标坐标，所述目标坐标为所述手术工具在所述3d模型中的位置信息。

作为一种实施方式，所述装置还包括：

碰撞深度模拟模块，用于获取所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞的碰撞深度信息；基于所述碰撞深度信息产生对应的模拟碰撞反应。

请参照图4，图4为本申请实施例提供的一种电子设备的结构示意图，该电子设备可以包括：至少一个处理器410，例如cpu，至少一个通信接口420，至少一个存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本发明实施例中设备的通信接口420用于与其他节点设备进行信令或数据的通信。存储器430可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器430可选的还可以是至少一个位于远离前述处理器的存储装置。存储器430中存储有计算机可读取指令，且处理器410执行存储器430中有计算机可读取指令时运行上述的手术模拟方法中的步骤。

本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述的手术模拟方法中的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供一种手术模拟方法及装置，该方法首先通过获取手术工具在进行手术时的3d图像信息，然后基于所述3d图像信息获取所述手术工具在预先创建的3d模型中的位置信息，所述3d模型包括3d器官模型，所述3d器官模型中预先添加有碰撞体，再基于所述位置信息判断所述手术工具是否与所述3d器官模型中的目标器官对应的碰撞体发生碰撞，在判断所述手术工具与所述3d器官模型中的目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应，由此，可通过检测手术工具是否与目标器官对应的碰撞体发生碰撞，从而可以判断实际过程中手术工具是否与目标器官发生碰撞，在检测到手术工具与目标器官对应的碰撞体发生碰撞时，产生模拟碰撞反应，即可提醒医生，实际手术过程中手术工具已经与目标器官发生了碰撞，从而找到准确的目标器官进行手术，保证了手术的顺利进行及安全。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。