手术机器人仿真系统、仿真方法及可读存储介质与流程

1.本发明涉及医疗器械技术领域，特别涉及一种手术机器人仿真系统、仿真方法及可读存储介质。


背景技术：

2.随着社会经济和科学技术的不断发展，为了可以让医生在临床手术前积累尽可能多的手术操作经验，同时一些还在见习期的医生也可以有实际上手操作的机会，相关的手术仿真培训系统被开发出来。最简单的类似医疗护理一类的仿真人体模型，练习者可以在留有开口的模型上反复插拔或者安装护理器械，模型也具有一定功能的反馈(例如出血、心跳突变或者声音、灯光等等)以直观的方式发出警报，或者完全建立在软件操作基础上的仿真平台，例如导入人体ct数据生成虚拟组织器官的三维模型，在软件界面上做分区、分段、切割等操作。人体各部位手术的仿真模型系统或平台也都相继出现了不少，但都是基于传统手术器械和手术术式开发的仿真系统和平台。
3.近二十年手术机器人逐渐进入医院，与传统手术相比机器人长时间握持能力、保持稳定的能力和操作精度都有了极大的提升，而且对于病人来说创口更小，恢复期更短，感染概率更低。全面推进手术机器人在医院的应用是必然的，目前世界上已出现多款手术机器人，但是针对这类机器人的手术仿真系统却一直处于空缺状态，医生在面对不同情况的病患手术前依然只有方案上的了解而没有操作上的了解，相关科室的医生急需仿真系统或平台帮助他们缩短在该类手术机器人使用上的学习曲线，提高学习效率。


技术实现要素：

4.本发明的目的在于提供一种手术机器人仿真系统、仿真方法及可读存储介质，以解决现有的手术机器人仿真系统空缺的问题。
5.为解决上述技术问题，本发明提供一种手术机器人仿真系统，其包括：建模模块、交互模块以及行为判定模块；
6.所述建模模块用于根据医学影像对预定组织进行三维重建，以得到虚拟组织模型；所述建模模块还用于对手术器械进行三维重建，以得到虚拟器械模型；
7.所述交互模块用于接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；
8.所述行为判定模块用于判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。
9.可选的，所述手术机器人仿真系统还包括规划模块以及导航模块；
10.所述规划模块用于根据所述虚拟组织模型，基于预设算法，得到所述虚拟器械模型的规划路径；
11.所述导航模块用于根据所述规划路径，引导所述虚拟器械模型的运动方向。
12.可选的，所述预设算法包括骨架化算法。
13.可选的，所述预设算法还包括最短路径搜索算法。
14.可选的，所述导航模块还用于沿所述规划路径，基于预设的距离建立虚拟安全边界。
15.可选的，根据相对于所述规划路径的距离，所述虚拟安全边界包括内层和外层。
16.可选的，所述预定组织包括胸腹部，所述虚拟组织模型包括呼吸周期变化模型。
17.可选的，所述呼吸周期变化模型基于多组所述医学影像，通过插值关键点得到；或者，所述呼吸周期变化模型基于肺叶的体积与时间对应式得到。
18.可选的，所述虚拟器械模型包括手术器械的形态、尺寸及操作方式中的至少一者。
19.可选的，所述预设规范包括：
20.所述虚拟器械模型沿规划路径运动，和/或，所述虚拟器械模型的操作方式按对应类型的手术器械的操作流程操作。
21.可选的，所述手术机器人仿真系统还包括：操作装置；
22.所述操作装置与所述交互模块通信连接，用于输出指令，以驱动所述虚拟器械模型运动。
23.可选的，所述手术机器人仿真系统还包括：界面交互模块；
24.所述界面交互模块用于显示所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述行为判定模块的判断结果中的至少一者；
25.所述界面交互模块还用于接受输入的交互信息，以对所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述预设规范中的至少一者的参数进行调整。
26.为解决上述技术问题，本发明还提供一种手术机器人仿真方法，其包括：
27.根据医学影像对预定组织进行三维重建，得到虚拟组织模型；
28.对手术器械进行三维重建，得到虚拟器械模型；
29.接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；
30.判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。
31.可选的，在得到所述虚拟组织模型和所述虚拟器械模型后，所述手术机器人仿真方法还包括：
32.根据所述虚拟组织模型，基于预设算法，得到所述虚拟器械模型的规划路径；
33.根据所述规划路径，引导所述虚拟器械模型的运动方向。
34.可选的，所述手术机器人仿真方法还包括：
35.基于所述规划路径，按照预设的距离，建立虚拟安全边界。
36.可选的，根据相对于所述规划路径的距离，所述虚拟安全边界包括内层和外层。
37.可选的，所述预定组织包括胸腹部，所述虚拟组织模型包括呼吸周期变化模型。
38.可选的，所述呼吸周期变化模型基于多组所述医学影像，通过插值关键点得到；或者，所述呼吸周期变化模型基于肺叶的体积与时间对应式得到。
39.可选的，所述预设规范包括：
40.所述虚拟器械模型沿规划路径运动，和/或所述虚拟器械模型的操作方式按对应类型的手术器械的操作流程操作。
41.可选的，所述手术机器人仿真方法还包括：
42.显示所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述行为判定模块的判断结果中的至少一者；以及
43.接受输入的交互信息，以对所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述预设规范中的至少一者的参数进行调整。
44.为解决上述技术问题，本发明还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人仿真方法。
45.综上所述，本发明提供的手术机器人仿真系统、仿真方法及可读存储介质中，所述手术机器人仿真系统包括：建模模块、交互模块以及行为判定模块；所述建模模块用于根据医学影像对预定组织进行三维重建，以得到虚拟组织模型；所述建模模块还用于对手术器械进行三维重建，以得到虚拟器械模型；所述交互模块用于接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；所述行为判定模块用于判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。
46.如此配置，基于交互模块所接受的操作装置输入的指令，可以驱动手术器械的虚拟器械模型在虚拟组织模型中运动，同时行为判定模块能判断虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。由此不但在功能上可对手术过程进行仿真，还可通过外接的操作装置让医生可以在真正手术前就使用类似的操作装置反复进行练习，对仿真手术过程出现的错误情况也有相应的警告反馈，缩短了医生在手术机器人平台上的学习曲线。
附图说明
47.本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
48.图1是本发明涉及的一种手术机器人仿真系统的应用场景的示意图；
49.图2是本发明实施例的手术机器人仿真系统的模块框图；
50.图3是本发明实施例的手术机器人仿真方法的流程图；
51.图4是本发明实施例的虚拟组织模型的示意图；
52.图5a、图5b是本发明实施例的呼吸周期变化模型的示意图；
53.图6a～图6c是本发明实施例的虚拟器械模型的示意图；
54.图7是本发明实施例的仿真手术界面的示意图，其显示了规划路径；
55.图8是本发明实施例的仿真手术界面的示意图，其显示了导航模块根据规划路径，引导虚拟器械模型的运动方向；
56.图9是本发明实施例的仿真手术界面的示意图，其显示了选择虚拟器械模型的种类；
57.图10是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟导管超出虚拟安全边界；
58.图11是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟导管偏离规划路径；
59.图12是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟器械模型未对准结节采样；
60.图13是本发明实施例的虚拟器械模型的操作流程的示意图；
61.图14是本发明实施例的导航过程报警行为判定流程图；
62.图15是本发明实施例的采样过程报警行为判定流程图。
63.附图中：
64.01
‑
主机；02
‑
显示装置；
65.10
‑
建模模块；11
‑
肺部血管；12
‑
肺部气管；13
‑
目标结节；14
‑
胸膜；15
‑
胸骨；16
‑
采样钳；17
‑
采样针；18
‑
采样刷；20
‑
规划模块；21
‑
肺部矢状面；22
‑
肺部横断面；23
‑
肺部冠状面；30
‑
导航模块；40
‑
交互模块；50
‑
行为判定模块；60
‑
操作装置；70
‑
界面交互模块。
具体实施方式
66.为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
67.如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者即靠近病灶的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
68.本发明的目的在于提供一种手术机器人仿真系统、仿真方法及可读存储介质，以解决现有的手术机器人仿真系统空缺的问题。
69.下面结合附图进行描述。
70.请参考图1至图15，其中，图1是本发明涉及的一种手术机器人仿真系统的应用场景的示意图；图2是本发明实施例的手术机器人仿真系统的模块框图；
71.图3是本发明实施例的手术机器人仿真方法的流程图；图4是本发明实施例的虚拟组织模型的示意图；图5a、图5b是本发明实施例的呼吸周期变化模型的示意图；图6a～图6c是本发明实施例的虚拟器械模型的示意图；图7是本发明实施例的仿真手术界面的示意图，其显示了规划路径；图8是本发明实施例的仿真手术界面的示意图，其显示了导航模块根据规划路径，引导虚拟器械模型的运动方向；图9是本发明实施例的仿真手术界面的示意图，
其显示了选择虚拟器械模型的种类；图10是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟导管超出虚拟安全边界；图11是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟导管偏离规划路径；图12是本发明实施例的仿真手术界面的示意图，其显示了行为判定模块发出警告的一个示例，其中虚拟器械模型未对准结节采样；图13是本发明实施例的虚拟器械模型的操作流程的示意图；图14是本发明实施例的导航过程报警行为判定流程图；图15是本发明实施例的采样过程报警行为判定流程图。
72.如图1和图2所示，本发明实施例提供一种手术机器人仿真系统，其包括：建模模块10、交互模块40以及行为判定模块50；所述建模模块10用于根据医学影像(主要指二维医疗影像，如ct影像或者mri影像)对预定组织进行三维重建，以得到虚拟组织模型；所述建模模块10还用于对手术器械进行三维重建，以得到虚拟器械模型；所述交互模块40用于接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；所述行为判定模块50用于判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。如此配置，基于交互模块40所接受的操作装置输入的指令，可以驱动手术器械的虚拟器械模型在虚拟组织模型中运动，同时行为判定模块50能判断虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。由此不但在功能上可对手术过程进行仿真，还可通过外接的操作装置让医生可以在真正手术前就使用类似的或与真实手术相同的操作装置反复进行练习，对仿真手术过程出现的错误情况也有相应的警告反馈，缩短了医生在手术机器人平台上的学习曲线。此外，所述操作装置可以直接采用进行该手术操作时实际对应的手术机器人的控制手柄，并且以实际手术中相同的操控方式，驱动手术器械的虚拟器械模型在虚拟组织模型中运动。由此，对于即将要进行真实手术的医生来说可以在术前使用跟真实手术完全一样的控制手柄进行针对性的反复练习操作，提高手术效率和成功率。平常在不做手术的时候也可以通过导入不同病人的医疗影像进行仿真训练，从而极大地缩短了在手术机器人平台上的学习曲线。
73.优选的，所述手术机器人仿真系统还包括规划模块20和导航模块30；所述规划模块20用于根据所述虚拟组织模型，基于预设算法，得到所述虚拟器械模型的规划路径；所述导航模块30用于根据所述规划路径，引导所述虚拟器械模型的运动方向。
74.请参考图4，在一个示范性的实施例中，所述预定组织包括胸腹部。建模模块10在获取医学影像之后，可以通过选择不同的灰度阈值区分不同类型的组织(例如心脏、胸骨、肺部支气管等)，进而通过三维重建算法将希望重建的组织进行三维重建，以得到虚拟组织模型。三维重建算法如可为多层面重建(mpr)算法，当然本领域技术人员还可根据现有技术，选择其它的三维重建算法。图4示出了三维重建得到的虚拟组织模型的一个示例，所述虚拟组织模型包括：肺部血管11、肺部气管12、目标结节13和胸膜14。图4中还示出了胸骨15，其目的是为了表现胸膜14需要被立体分割重建，不能只分割重建某一个断层面上的胸膜14，在图4示出的虚拟组织模型的示例中，胸骨15本身并不需要被三维重建出来。进一步的，目标结节13的重建可以是球状或者更接近真实的不规则体，图4的示范例中选择球状来表达目标结节13。在其它的实施例中，可以采用其它形状来表达目标结节13。当然胸腹部仅为预定组织的一个示范例，而非对预定组织的限定，本实施例提供的手术机器人仿真系统还可以应用在其它部位的手术仿真，本发明对此不限。
75.优选的，对于胸腹部组织(如肺部)，所述虚拟组织模型还包括呼吸周期变化模型。由于人体在呼吸时会使胸腹部产生周期性的扩张收缩，因此在组织建模完成之后，还优选对组织进行呼吸运动建模，得到呼吸周期变化模型，以使其更接近真实手术中病人的状态。图5a和图5b示出了呼吸周期变化模型的一个示范例，其中图5a示出了人体在吸气状态下，肺部组织体积增大，气道和气道之间的距离变大而且气道直径本身也会发生扩张；图5b示出了人体在呼气状态下，肺部组织体积缩小，气道之间的距离变小，气道直径收缩。目标结节13也会随着呼吸运动呈现出规律的往复运动。
76.在一些实施例中，所述呼吸周期变化模型基于多组所述医学影像，通过插值关键点得到。具体的，在术前可以拍摄病人在正常呼吸状态下的多组医学影像(如ct影像或mri影像)，然后在每一组医学影像上标记关键点，关键点的选择标准如可选取肺部支气管较大且易于分辨的分叉节点，例如主气道窿突点，左、右主气道第一级分叉点等等，进而将多组医学影像上的相同的关键点按照所处呼吸周期上的时间进行排列，得到这个关键点在空间和时间上的一个变化曲线，因为无法保证在病人呼吸时等间隔地采集医学影像，因此需对变化曲线做插值，尽可能保证在等间距和等时距的地方都有关键点存在，同理可应用于所有的关键点，又根据关键点和气道模型之间的结构关系可以重建出一组在空间和时间上周期变化的气道模型，由此即得到呼吸周期变化模型。
77.在另一些实施例中，所述呼吸周期变化模型基于肺叶的体积与时间对应式得到。具体的，可通过评估各个肺叶的整体体积随呼吸周期变化得到一个体积与时间的对应式，进而即可将各组织的三维模型按照不同周期时的体积比直接计算模型的变化量，由于肺叶内的气道跟随肺叶体积变化而变化，由此可得到一组在空间和时间上周期变化的气道模型，即得到呼吸周期变化模型。
78.可选的，所述虚拟器械模型包括手术器械的形态、尺寸及操作方式中的至少一者。实际中，手术器械包括很多种类，其形态、尺寸及操作方式各不相同。请参考图6a至图6c，其示范性地示出了几种支气管手术中常见的手术器械的虚拟模型，这些手术器械的虚拟模型与真实的手术器械也许有工艺设计上诸多差异，但是形态与尺寸大小是基本一致的，手术器械的虚拟模型的主要操作方式也是一目了然的。图6a至图6c中的虚线展示了对应的手术器械的虚拟模型的操作方式，具体为在接收到操作装置的指令后出现的动作变化。图6a示出了一种采样钳16的虚拟模型，其操作方式为尖端开合；图6b示出了一种采样针17的虚拟模型，其操作方式为刺入和退出；图6c示出了一种采样刷18的虚拟模型，其操作方式为前后刷动。可以理解的，图6a至图6c仅为手术器械的虚拟模型的若干示范例而非对手术器械的虚拟模型的限定，本领域技术人员可根据实际手术需要，选择其它种类的手术器械进行建模，例如虚拟器械模型还可以包括虚拟导管等。
79.优选的，所述预设算法包括骨架化算法。骨架化是使用中轴变换来描述物体拓扑结构的一种方法，可以对物体形状进行描述。在得到虚拟组织模型之后，可以通过骨架化算法进一步提取虚拟组织的拓扑结构，以实现路径规划。在一些实施例中，可以通过骨架化算法提取肺部气道的拓扑结构，得到肺部气管12的各级分叉点的空间坐标并按顺序标记，以实现路径规划。可选的，骨架化算法包括但不限于拓扑细化法、距离场法和广义势场法，本领域技术人员可根据现有技术对骨架化算法的具体原理进行理解，本发明对此不作展开说明。在本实施例中，无论使用哪一种具体算法均可以得到满足计算要求的拓扑结构。
80.进一步的，所述预设算法还包括最短路径搜索算法。在得到虚拟组织的拓扑结构后，可设定规划路径的起始点和终点，通过最短路径搜索算法来计算得到虚拟器械模型的规划路径。在一些实施例中，在得到肺部气管12的拓扑结构后，可标记出目标结节13的位置作为规划路径的终点，规划路径的起始点如可定在主气道内的任意一点。可选的，目标结节13可由医生指定，规划路径的起始点也可由医生指定。在设定规划路径的起始点和终点后，通过最短路径搜索算法，即可得到规划路径。可选的，最短路径搜索算法包括但不限于深度优先搜索法、广度优先搜索法和dijkstra算法，本领域技术人员可根据现有技术对最短路径搜索算法的具体原理进行理解，本发明对此不作展开说明。
81.图7示出了本发明实施例的仿真手术界面的一个示范例，其显示了仿真手术界面，界面左侧窗口上中下分别是肺部矢状面21、肺部横断面22、肺部冠状面23的影像展示，圆点表示的是目标结节13在这三个影像上的位置。界面中间窗口显示了虚拟组织模型，其展示了整个肺部气管12分割重建之后的效果，圆点表示目标结节13，与圆点连接的线表示了规划路径，界面右侧窗口展示了若干目标结节13的列表，医生可以选择“添加目标点”按钮添加目标结节13，多个目标结节13可计算出多条规划路径。
82.优选的，所述导航模块还用于沿所述规划路径，基于预设的距离建立虚拟安全边界。在规划模块得到规划路径后，以所述规划路径为中心，按预设的距离为半径建立圆形，并使该圆形跟随规划路径，即以所述规划路径上不同的点为圆心，按预设的距离为半径建立对应的圆形，多个所述圆形的集合可建立沿所述规划路径的虚拟安全边界，可以理解的，该虚拟安全边界大致呈管状，其轴线即为规划路径。需要说明的，预设的距离可根据具体情况进行设定和调整，例如可根据所述规划路径与需要避开的虚拟组织的距离进行设定和调整。在一些实施例中，根据肺部气管12的不同部位，可选取不同的值。例如在主气道处，可取较大的值，而在支气道处，可相应地缩小。在一个示范例中，预设的距离如可为0.5cm～1cm，其中气道分支重合区域可相对选择较大的值。
83.可选的，所述预设规范包括：所述虚拟器械模型沿所述规划路径运动。虚拟安全边界划定了一个空间报警范围，虚拟器械模型沿规划路径运动时，应当被限定在虚拟安全边界内。当医生通过外接的操作装置操控虚拟器械模型在虚拟组织模型内沿着规划路径进退的时候，可能会因为操作不当无法将虚拟器械模型的运动方向很好地与规划路径相重合，使虚拟器械模型超出了虚拟安全边界。从虚拟组织模型的角度而言，即导致虚拟器械模型与虚拟组织模型中的气道壁接触或者直接穿出气道壁。由此，若虚拟器械模型超出了虚拟安全边界，则可认为虚拟器械模型的运动不符合预设规范，相应的，行为判定模块50即发出警告。
84.进一步的，根据相对于所述规划路径的距离，所述虚拟安全边界包括内层和外层。在一些实施例中，可将虚拟安全边界设置为内外两层。例如按第一预设距离建立内层虚拟安全边界，并按大于第一预设距离的第二预设距离建立外层虚拟安全边界。如此配置，可以通过计算虚拟器械模型的穿出距离与两层虚拟安全边界的相交距离，以触发不同等级的警告。优选的，内外两层虚拟安全边界还可以将真实手术器械尖端的力反馈效果通过虚拟建模的方法在仿真手术界面显示需要说明的是，根据实际需要，还可以设置更多层的虚拟安全边界，以设定更为复杂的安全警告规则，本发明对此没有特殊限制。
85.进一步的，所述手术机器人仿真系统还包括：操作装置60；所述操作装置60与所述
交互模块40通信连接，用于输出指令，以驱动所述虚拟器械模型运动。请参考图1，操作装置60如可为操作手柄，其可供医生操作，并将医生操作的动作转换为控制指令，并向交互模块40输出。可选的，建模模块10、规划模块20、导航模块30、交互模块40以及行为判定模块50均集成于一主机01中或者集成于手术机器人中。当然在其它的一些实施例中，建模模块10、规划模块20、导航模块30、交互模块40以及行为判定模块50中的至少一者也可以独立设置于主机01之外，本发明对此不限。
86.更进一步的，所述手术机器人仿真系统还包括：界面交互模块70；所述界面交互模块70用于显示所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述行为判定模块的判断结果中的至少一者，优选还用于显示规划路径；所述界面交互模块70还用于接受输入的交互信息，以对所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述预设规范中的至少一者的参数(如警告等级、采样次数等)进行调整，优选还用于调整规划路径的参数。请参考图1，界面交互模块70如可包括显示装置02以及输入装置，输入装置如可集成于显示装置02上，形成触摸屏，输入装置也可以是相对于显示装置02独立设置的，如键盘或鼠标等本领域常用的输入设备。显示装置02能够显示仿真手术界面，如显示虚拟组织模型、虚拟器械模型、规划路径、虚拟器械模型的运动以及行为判定模块的判断结果中的至少一者。
87.请参考图8，医生通过外接的操作装置输入指令，操控虚拟器械模型沿着规划路径进退，界面交互模块70的显示装置02显示的仿真手术界面可进行显示，这个过程中仿真手术界面可有方向提示、角度调整提示以帮助医生更准确地操控虚拟器械模型，到达预定的目标区域后可以提示更换虚拟器械模型，进行虚拟采样，整个过程对于误操作引发的各类虚拟伤害、不安全行为、不规范操作均可触发实时警告。图8示出的示范例中，以虚拟导管作为虚拟器械模型的示例，示出了虚拟导管在虚拟肺支气管道内沿着规划路径前进的示意图，采用虚拟内窥的视角，跟真实气道内镜手术时医生看到的视角相同，图中沿着当前气道前进，前方出现了一个分支，虚线是规划路径的走向，根据走向来看需要医生操控虚拟导管在进入左上方的分支气道之后向右转弯，仿真手术界面上在遇到分叉区域时可出现朝向提示，优选还可提供按键指引(图8中左上角外接的操作装置功能键示意小图上黑点的位置说明即将需要按下向右转的键)。
88.可选的，所述预设规范还可包括：所述虚拟器械模型的操作方式按对应类型的手术器械的操作流程操作。虚拟器械模型的操作流程主要包括虚拟采样器械的采样环节的流程。请参考图13，在一个示范例中，采样流程依次包括：sa0：采样准备；sa1：选择采样刷；sa2：对准目标位置刷取一次；sa3：选择采样钳；sa4：对准目标位置钳取五次；sa5：选择采样刷；sa6：对准目标位置刷取一次；sa7：冲洗；sa8：采样完成。若虚拟器械模型的操作方式未按照该采样流程操作，则可认为虚拟器械模型的运动不符合预设规范，行为判定模块50发出警告。需要说明的，上述的采样流程仅为常规气管内镜科室处理采样的标准流程，其仅为手术器械的操作流程的一个示范例而非是限定。本领域技术人员可根据不同的手术器械和不同的手术要求，设定不同的操作流程。进一步的，医生还可根据自身的练习情况，通过界面交互模块输入的方式，调整上述采样流程的各步骤的参数，如调整采样顺序或采样次数等。
89.可选的，判定模块50发出的警告可分为不同的类别和不同的级别。下表1示出了一
个仿真手术示范例中的警告类型表，需理解该表仅为一个示范例而非对警告类型的限定。
90.表1
[0091][0092]
下面结合若干仿真手术界面的示范例，对警告类型表进行具体的说明。
[0093]
在图9示出的示范例中，仿真手术界面左边窗口此时的状态是医生已经按照规划路径到达目标区域，完成导航。此时会进入采样器械挑选界面，即界面右侧窗口的展示，医生可按照采样流程顺序进行后续操作，如果不按照采样流程顺序操作，行为判定模块50即发出警告。
[0094]
在图10示出的示范例中，若虚拟导管的尖端在沿着规划路径行进的过程中发生操控不当导致的超出虚拟安全边界的行为，将会根据超出距离的不同来判断触发该类警告下的几级警告。图10中，当虚拟导管的尖端穿出虚拟气道壁且刺入到外层虚拟安全边界(虚线位置)，触发三级严重告警，虚拟内窥视角的界面会变成全局视角，方便医生看到虚拟导管穿出了多少，同时在虚拟内窥视角以全黑表现穿出虚拟气道的效果。
[0095]
在图11示出的示范例中，若虚拟导管的尖端在沿着规划路径行进的过程中发生因操控不当导致的偏离规划路径的行为，将会根据偏离的程度(直线距离或角度等)判断触发该类警告下的几级警告。同时在虚拟内窥视角以全白表现走错路的效果，令医生能及时发现。
[0096]
在图12示出的示范例中，若在虚拟采样环节未对准目标结节13就发出采样指令(例如刷取、钳取)，仿真手术界面上出现采样失败的警告，同时在虚拟内窥视角上以中心十字线表现目标结节13的中心与虚拟采样器械的尖端没有重合的景象，医生需要重新操作外接的操作装置，令十字线交叉点进入目标结节13的范围内再进行采样。
[0097]
图14的流程图示范性地示出了虚拟导管沿着规划路径行进的过程中针对每一次运动动作判断是否会触发相应的警告。
[0098]
图15的流程图示范性地示出了虚拟采样环节由于医生各类不规范或者不当操作会触发的警告的判定流程。该流程中器械使用顺序警告和采样次数警告的判断依据来源于
图13，例如每次进行到步骤sc1就会将当前和过往选择的器械信息顺序与图13中的器械使用顺序进行对比，如果发现顺序不对的就会触发报告，医生需要重新选择器械。
[0099]
可选的，图15中步骤sc2如可由医生通过外接的操作装置发送方向调整指令来达到的，步骤sc3和步骤sc4在具体算法实现上，如可采用虚拟手术碰撞检测算法。在一个示范例中，具体为刚体(虚拟器械模型)与变形体(目标结节)之间的碰撞检测算法。虚拟手术碰撞检测算法包括但不限于包围盒方法、空间分割法、空间距离法等等，一些实施例中，可以采用包围盒方法中的包围球方法(目标结节13可以近似看成球形)，对于虚拟器械模型的运动建模具体可以选用obb层次树以完成旋转、移动的计算，通过计算包围球与其他类型包围盒(虚拟器械模型)的相交测试并迭代更新包围盒与包围球发生碰撞的两个叶子节点所包含的基本图元(虚拟器械模型的三角面片)得到准确的碰撞结果，该碰撞结果即是否产生交集的结果。本领域技术人员可根据现有技术对虚拟手术碰撞检测算法进行理解，本发明不再赘述。
[0100]
基于上述的手术机器人仿真系统，本发明实施例还提供一种手术机器人仿真方法，请参考图3，所述手术机器人仿真方法包括：
[0101]
步骤s1：根据医学影像对预定组织进行三维重建，得到虚拟组织模型；
[0102]
步骤s2：对手术器械进行三维重建，得到虚拟器械模型；
[0103]
步骤s3：接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；
[0104]
步骤s4：判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。
[0105]
优选的，在得到所述虚拟组织模型和所述虚拟器械模型后，所述手术机器人仿真方法还包括：
[0106]
步骤s31：根据所述虚拟组织模型，基于预设算法，得到所述虚拟器械模型的规划路径；
[0107]
步骤s32：根据所述规划路径，引导所述虚拟器械模型的运动方向。
[0108]
优选的，所述预定组织包括胸腹部，所述虚拟组织模型包括呼吸周期变化模型。
[0109]
优选的，所述呼吸周期变化模型基于多组所述医学影像，通过插值关键点得到；或者，所述呼吸周期变化模型基于肺叶的体积与时间对应式得到。
[0110]
优选的，所述手术机器人仿真方法还包括：基于所述规划路径，按照预设的距离，建立虚拟安全边界。
[0111]
优选的，根据相对于所述规划路径的距离，所述虚拟安全边界包括内层和外层。
[0112]
优选的，所述预设规范包括：所述虚拟器械模型沿规划路径运动，和/或所述虚拟器械模型的操作方式按对应类型的手术器械的操作流程操作。
[0113]
优选的，所述手术机器人仿真方法还包括：
[0114]
显示所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述行为判定模块的判断结果中的至少一者；优选还可以显示所述规划路径；以及
[0115]
接受输入的交互信息，以对所述虚拟组织模型、所述虚拟器械模型、所述虚拟器械模型的运动以及所述预设规范中的至少一者的参数进行调整；优选还可对规划路径的参数进行调整。
[0116]
上述步骤可参考前述手术机器人仿真系统的说明进行理解。进一步的，本发明实
施例还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人仿真方法。该可读存储介质可独立设置，也可以集成设置于手术机器人仿真系统中，如可集成在主机01或者集成于手术机器人中，本发明对此不限。
[0117]
综上所述，本发明提供的手术机器人仿真系统、仿真方法及可读存储介质中，所述手术机器人仿真系统包括：建模模块、交互模块以及行为判定模块；所述建模模块用于根据医学影像对预定组织进行三维重建，以得到虚拟组织模型；所述建模模块还用于对手术器械进行三维重建，以得到虚拟器械模型；所述交互模块用于接受操作装置输入的指令并将该指令转换为所述虚拟器械模型的运动参数，以驱动所述虚拟器械模型根据所述运动参数在所述虚拟组织模型中运动；所述行为判定模块用于判断所述虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。如此配置，基于交互模块所接受的操作装置输入的指令，可以驱动手术器械的虚拟器械模型在虚拟组织模型中运动，同时行为判定模块能判断虚拟器械模型的运动是否符合预设规范，若不符合则发出警告。由此不但在功能上可对手术过程进行仿真，还可通过外接的操作装置让医生可以在真正手术前就使用类似的操作装置反复进行练习，对仿真手术过程出现的错误情况也有相应的警告反馈，缩短了医生在手术机器人平台上的学习曲线。
[0118]
需要说明的，上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。