医疗器械控制方法、系统和存储介质与流程

1.本技术涉及医疗器械控制技术领域，特别是涉及一种医疗器械控制方法、系统和存储介质。


背景技术：

2.随着微创伤技术的发展，越来越多的手术都采用微创伤的手段达到手术目的，例如在介入式微创手术时，需要将植入物或者是替换物输送至人体的目标位置，一般是在股动脉等开一个小孔，通过输送装置将植入物或者是替换物输送至人体的目标位置。
3.为了方便理解，以心脏瓣膜置换手术为例进行说明，其中，术前，医生对患者ct血管造影影像进行分析以及建模，识别血管病变类型及部位，根据血管病变类型及部位规划手术路径，使用耗材等。术中医生在x光引导身着铅衣进行手术，借助造影剂获取数字减影血管造影，凭借肉眼观察以及自身经验和操作手感，判断耗材推送是否到位以及下一步手术流程。
4.然而，目前的方式对医生个人的经验、操作感觉依赖很大，自动化程度很低。


技术实现要素：

5.本技术提供一种能够提高自动化程度的医疗器械控制方法、系统和存储介质。
6.第一方面，本技术提供一种医疗器械控制方法，所述方法包括：
7.获取术中的实时医学图像；
8.将所述实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系；
9.根据所述第一配准关系，将术前生成的第一目标路径以及第一目标血管信息映射至所述实时医学图像中；
10.基于所述实时医学图像中的医疗器械的位置、映射至所述实时医学图像中的第二目标血管信息以及第二目标路径，确定所述医疗器械的控制信息；
11.基于所述控制信息控制所述医疗器械。
12.在其中一个实施例中，所述基于所述实时医学图像中的医疗器械的位置、映射至所述实时医学图像中的第二目标血管信息以及第二目标路径，确定所述医疗器械的控制信息，包括：
13.基于所述实时医学图像中的医疗器械的位置，从映射至所述实时医学图像中的第二目标血管信息中，选择上一控制周期所对应的第三目标血管信息；
14.根据所述第三目标血管信息确定所述医疗器械的控制速度以及运动距离；
15.基于所述运动距离以及所述目标路径确定所述医疗器械的目标位置；
16.将所述控制速度和所述目标位置作为所述医疗器械的控制信息。
17.在其中一个实施例中，所述根据所述第三目标血管信息确定所述医疗器械的控制速度以及运动距离，包括：
18.获取速度阈值对应的血管信息阈值；
19.基于第三目标血管信息以及所述血管信息阈值确定所述医疗器械的控制速度；
20.基于所述实时医学图像中的医疗器械的位置、所述控制速度以及控制周期确定所述医疗器械的运动距离。
21.在其中一个实施例中，所述将所述实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系之前，还包括：
22.获取采集的各术前医学图像；
23.对各所述术前医学图像进行语义分割得到分割结果；
24.基于各所述分割结果进行空间位置融合得到标准医学模型。
25.在其中一个实施例中，所述方法还包括：
26.对所述标准医学模型进行区域血管边界提取；
27.遍历所述区域血管边界确定第一目标血管信息，所述第一目标血管信息包括血管中心线、血管直径以及血管曲率中的至少一个。
28.在其中一个实施例中，所述方法还包括：
29.对所述标准医学模型进行目标检测，得到目标信息；
30.基于所述目标信息中的目标位置，确定到达目标位置的初始路径；
31.基于所述第一目标血管信息对各所述初始路径进行筛选得到第一目标路径。
32.在其中一个实施例中，所述基于所述第一目标血管信息对各所述初始路径进行筛选得到第一目标路径，包括：
33.基于所述第一目标血管信息计算各所述初始路径的路径因子，所述路径因子包括路径长度、路径的直径信息以及路径的曲率信息；
34.获取各路径因子的权重系数；
35.基于各所述初始路径的路径因子以及对应的所述权重系数，对所述初始路径进行筛选得到第一目标路径。
36.在其中一个实施例中，所述基于各所述初始路径的路径因子以及对应的所述权重系数，对所述初始路径进行筛选得到第一目标路径之后，还包括：
37.根据所述第一目标路径的路径长度以及直径信息确定用于操作的医疗器械。
38.在其中一个实施例中，所述将所述实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系，包括：
39.对所述实时医学图像以及所述标准医学模型进行特征提取得到待处理特征；
40.将所述实时医学图像以及所述标准医学模型对应待处理特征进行特征匹配；
41.根据特征匹配的结果得到第一配准关系。
42.在其中一个实施例中，所述医疗器械安装于推送设备；所述基于所述控制信息控制所述医疗器械，包括：
43.获取所述推送设备与实时医学图像对应的图像坐标系的第二配准关系；
44.基于所述第二配准关系将所述医疗器械的控制信息转换为所述推送设备的控制信息；
45.基于所述推送设备的控制信息对所述推送设备进行控制。
46.在其中一个实施例中，所述获取所述推送设备与实时医学图像对应的图像坐标系的第二配准关系，包括：
47.分别获取在所述推送设备的标定纸上的至少两个推送位置；
48.分别获取所述至少两个推送位置在所述实时医学图像对应的图像坐标系中对应的待处理位置；
49.基于所述推送位置以及所述待处理位置生成第二配准关系。
50.在其中一个实施例中，所述方法还包括：
51.实时检测所述医疗器械与血管是否发生碰撞；
52.当所述医疗器械与所述血管发生碰撞时，控制所述医疗器械停止运动和/或输出告警信息；
53.当所述医疗器械与所述血管未发生碰撞时，继续实时检测所述医疗器械与血管是否发生碰撞，直至操作结束。
54.在其中一个实施例中，所述实时检测所述医疗器械与血管是否发生碰撞，包括：
55.根据所述实时医学图像中的医疗器械的位置以及映射至所述实时医学图像中的第二目标血管信息，确定所述医疗器械与所述实时医学图像的干涉情况和/或获取所述医疗器械的受力情况；
56.根据所述干涉情况和/或所述受力情况判断所述医疗器械与血管是否发生碰撞。
57.在其中一个实施例中，所述根据所述干涉情况和/或所述受力情况判断所述医疗器械与血管是否发生碰撞，包括：
58.当所述医疗器械与所述医学图像发生干涉时，判定所述医疗器械与血管发生碰撞；
59.当所述医疗器械的受力大于所述受力阈值时，判定所述医疗器械与血管发生碰撞；
60.当所述医疗器械的受力小于或等于所述受力阈值，且基于所述实时医学图像检测血管损伤，判定所述医疗器械与血管发生碰撞；
61.当所述医疗器械的受力小于或等于所述受力阈值，且基于所述实时医学图像检测血管未损伤，继续根据所述实时医学图像中的医疗器械的位置以及映射至所述实时医学图像中的第二目标血管信息，检测所述医疗器械与所述实时医学图像是否发生干涉和/或检测所述医疗器械的受力是否大于受力阈值。
62.在其中一个实施例中，所述方法还包括：
63.接收模式切换指令；
64.根据所述模式切换指令确定当前控制模式；
65.当所述当前控制模式为自动模式时，继续基于所述实时医学图像中的医疗器械的位置、映射至所述实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息；
66.当所述当前控制模式为手动控制模式时，接收主操作设备发送的医疗器械的控制信息。
67.在其中一个实施例中，所述基于所述控制信息控制所述医疗器械之后，包括：
68.当所述医疗器械达到所述目标路径对应的目标位置时，确定所述医疗器械的释放模式，并基于所述释放模式将所述医疗器械释放在其中一个实施例中，所述基于所述释放模式将所述医疗器械释放，包括：
69.当所述医疗器械可以自动释放时，控制推送设备释放所述医疗器械；
70.当所述医疗器械不可以自动释放时，输出手动释放提示信息。
71.第二方面，本技术还提供一种医疗器械控制系统，所述控制系统包括：
72.图像采集设备，用于采集实时医学图像；
73.医疗器械；
74.推送设备，所述医疗器械安装于所述推送设备，所述推送设备用于将所述医疗器械推送至目标位置；
75.处理器，用于根据所述实时医学图像，执行上述的医疗器械控制方法，以控制所述推送设备将所述医疗器械推送至目标位置。
76.在其中一个实施例中，所述控制系统还包括：
77.传感设备，所述传感设备用于采集所述医疗器械的受力信息和/或所述医疗器械的位置信息；
78.所述处理器还用于基于所述传感设备采集的所述医疗器械的受力信息和/或所述医疗器械的位置信息检测所述医疗器械与血管是否发生碰撞。
79.在其中一个实施例中，所述控制系统还包括：
80.主操作设备，用于在控制模式为手动控制模式时，控制所述推送设备将所述医疗器械推送至目标位置和/或在所述医疗器械到达所述目标位置时，手动释放所述医疗器械。
81.第三方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
82.上述医疗器械控制方法、系统和存储介质，其中将实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系，根据所述第一配准关系，将术前生成的第一目标路径以及第一目标血管信息映射至所述实时医学图像中，从而将术前的标准医学模型与术中的实时医学图像结合，且基于所述实时医学图像中的医疗器械的位置、映射至所述实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息，自动对医疗器械进行控制，无需医生介入，可以提高自动化程度。
附图说明
83.图1为一个实施例中的医疗器械控制系统的示意图；
84.图2为一个实施例中的推送设备的示意图；
85.图3为一个实施例中的主操作设备的示意图；
86.图4为一个实施例中的医疗器械控制系统的场景示意图；
87.图5为一个实施例中的医疗器械控制系统的模块示意图；
88.图6为一个实施例中医疗器械控制方法的流程示意图；
89.图7为一个实施例中的控制信息的生成步骤的流程图；
90.图8为一个实施例中的标准医学模型生成步骤的流程图；
91.图9为一个实施例中的标准医学模型的示意图；
92.图10为一个实施例中的血管中心线的提取步骤的示意图；
93.图11为一个实施例中的血管中心线的提取示意图；
94.图12为一个实施例中的机器学习模型的几种网络结构图；
95.图13为一个实施例中的目标路径选择步骤的流程图；
96.图14为一个实施例中的第一配准关系生成步骤的流程图；
97.图15为一个实施例中的第二配准关系的生成步骤的示意图；
98.图16为一个实施例中的安全保护流程的示意图；
99.图17为一个实施例中计算机设备的内部结构图。
具体实施方式
100.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
101.参见图1所示，图1为一个实施例中的医疗器械200控制系统的示意图，该医疗器械200控制系统包括图像采集设备100、医疗器械200、推送设备400以及处理器300。
102.其中，医疗器械200安装于推送设备400，从而推送设备400可以将医疗器械200推送至目标位置。图像采集设备100用于采集实时医学图像，并将采集的实时医学图像发送至处理器300，从而处理器300可以根据实时医学图像生成对推送设备400的控制信息，并基于该控制信息控制推送设备400以将医疗器械200推送至目标位置，实现自动控制。
103.结合图2所示，图2为一个实施例中的推送设备400的示意图，该推送设备400包括直线运动机构、旋转机构401以及夹紧机构，其中夹紧机构可以包括摩擦轮402，如图2中包括两对摩擦轮402，两对摩擦轮402用于将医疗器械200夹紧后进行推送。旋转机构401则用于将医疗器械200夹紧进行往复的旋转和夹紧。在自动控制过程中，推送设备400受处理器300的控制以实现对医疗器械200的运动的控制，包括直线运动和旋转运动。当切换至手动模式时，推送设备400则受主操作设备500的控制，通过主操作设备500将控制信息发送至处理器300，处理器300基于主操作设备500发送的控制信息控制推送设备400以将医疗器械200推送至目标位置。
104.结合图3所示，图3为一个实施例中的主操作设备500的示意图，在该实施例中主操作设备500包括与推送设备400对应的移动推送单元502和旋转单元501，也即与推送设备400具有相同的两个自由度，从而可以控制医疗器械200的直线运动和旋转。在操作过程中医生通过观察显示器600中显示的信息，判断是否需要医生干预接管，若是需要干预接管操作时，医生可通过主操作设备500切换至手动模式控制推送设备400。
105.医疗器械200可以是介入手术中需要植入人体的医疗耗材，其中通过推送设备400控制导管等，以将医疗器械200推送至目标位置，例如在心脏瓣膜移植手术中，可以通过推送设备400控制导管，将人工心脏瓣膜送至心脏的目标部位。
106.可选地，在该医疗器械200处或者是在导管的末端处可以安装传感器，以采集医疗器械200的受力信息和/或医疗器械200的位置信息。例如通过力传感器采集医疗器械200的受力信息，通过电磁传感器等采集医疗器械200的位置信息，并将所采集的受力信息和/或医疗器械200的位置信息发送至处理器300，从而处理器300可以根据受力信息和/或医疗器械200的位置信息检测医疗器械200是否与血管发生碰撞，以保证操作安全。
107.为了方便理解，结合图4所示，图4为一个实施例中的医疗器械200控制系统的场景示意图，该场景示意图可以是血管介入手术的示意图，其中医生在手术室外监控手术过程，
例如通过显示器观察，并通过主操作设备500来切换手术控制模式，即从自动控制模式切换为手动控制模式。手术室中包括图像采集设备100，其可以采集实时医学图像，并将实时医学图像发送至处理器300，由处理器300进行处理后得到推送模块的控制信息，从而基于该控制信息实现对医疗器械200的控制。
108.其中需要说明的一点是，处理器300可以是单独的控制器，例如推送设备400的控制器，在其他的实施例中，处理器300可以包括推送设备400的控制器和图像采集设备100中的图像处理单元，例如结合图5所示，其中图像采集设备100中包括图像采集单元、图像存储单元以及图像处理单元，其中该图像采集设备100可以为自动导航设备，自动导航设备的图像采集单元用于采集实时医学图像，图像存储单元则用于存储采集的实时医学图像，图像处理单元用于从图像存储单元获取到实时医学图像并对实时医学图像进行处理以得到控制信息，也即产生自动导航的信息，并将控制信息发送至推送设备400的控制器，从而控制器基于该控制信息对推送设备400进行控制以将医疗器械200推送至目标位置。其中主操作设备500接受医生的控制，在判定接管手术时，即从自动控制模式切换为手动控制模式，并将医生的操作对应的控制信息发送至控制器，从而控制器基于该控制信息对推送设备400进行控制以将医疗器械200推送至目标位置。
109.其中医疗器械200处的传感器可以采集到受力信息，并将受力信息反馈给控制器，从而控制器可以进行安全控制，以及将受力信息反馈至主操作设备500，以给医生以提示。传感器还可以采集医疗器械200的位置信息，并将该位置信息发送至图像处理单元，以便于图像处理单元基于该位置信息生成下一周期的推送设备400的控制信息。
110.其中图像处理单元还用于对术前采集的术前医学图像进行处理以生成标准医学模型，并在标准医学模型上提取第一目标血管信息、生成第一目标路径以及选择医疗器械200等，从而将标准医学模型、第一目标血管信息、生成的第一目标路径以及选择的医疗器械200存储至图像存储单元，以便于后续在手术过程中将实时医学图像以标准医学模型进行配准，从而根据配准后的目标路径等生成推送设备400的控制信息，具体可以参见下文。
111.在一个实施例中，如图6所示，提供了一种医疗器械控制方法，以该方法应用于图1中的处理器为例进行说明，包括以下步骤：
112.s602：获取术中的实时医学图像。
113.具体地，实时医学图像是在术中采集的，例如在手术过程中通过图像采集设备所采集的医学图像，该医学图像可以正对操作的部位。其中该图像采集设备可以为医学成像设备，例如ct或者是其他的x光影像设备。
114.s604：将实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系。
115.s606：根据第一配准关系，将术前生成的第一目标路径以及第一目标血管信息映射至实时医学图像中。
116.标准医学模型是在术前生成的，例如通过ct血管造影设备在术前采集术前医学图像，并对术前医学图像进行重建处理以得到标准医学模型，其中标准医学模型可以包括第一目标血管信息以及第一目标路径等。即通过对术前医学图像进行重建得到标准医学模型，进而在标准医学模型上进行手术规划，例如识别到标准医学模型上的第一目标位置，例如病灶位置，然后基于第一目标位置以及第一目标血管信息进行手术规划以得到第一目标路径，从而第一目标血管信息以及第一目标路径均是与标准医学模型存在位置关系的。
117.处理器将实时医学图像与术前生成的标准医学模型进行配准可以是基于特征配准的方式进行的，例如分别识别实时医学图像和标准医学模型中的组织等的特征，通过这些特征进行配准得到第一配准关系。例如分别识别实时医学图像和标准医学模型中的脊柱、血管或者器官中的至少一个特征，通过这些特征进行匹配以实现配准，其中需要说明的一点是，对于标准医学模型中的这些特征的识别可以是在术前识别并存储的，这样在术中仅需要实时对实时医学图像进行识别，以提高处理效率，减少术中的计算量。在其他的实施例中也可以在术中通过并行的方式分别对标准医学模型和实时医学图像进行处理，但是需要说明的是对于标准医学模型的处理仅需要一次即可，识别后存储到本地，这样后续可以减少重复计算。
118.具体地，由于第一目标路径以及第一目标血管信息与标准医学模型存在位置关系，而标准医学模型与实时医学图像存在第一配准关系，因此可以基于第一配准关系将第一目标路径以及第一目标血管信息映射至实时医学图像中得到第二目标路径以及第二目标血管信息，这样将实时医学图像显示给医生进行查看即可。可选地，在其他的实施例中也可以将实时医学图像中的医疗器械的位置映射至标准医学模型中，这样将标准医学模型显示给医生进行查看。
119.其中第一目标血管信息以及第二目标血管信息可以包括血管的直径、长度以及曲率中的至少一个。需要说明的是此处的第一第二仅做区分，第一目标血管信息以及第一目标路径是在标准医学模型中的，也即术前生成的。第二目标血管信息以及第二目标路径是将术前生成的第一目标血管信息以及第一目标路径映射在实时医学图像中的，也即在实时医学图像中显示的。
120.s608：基于实时医学图像中的医疗器械的位置、映射至实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息。
121.具体地，在上述步骤中将第一目标血管信息以及第一目标路径均映射在了实时医学图像中，从而可以基于映射至实时医学图像中的第二目标血管信息以及第二目标路径确定医疗器械的下一位置，进而根据医疗器械的位置以及医疗器械的下一位置来生成对应的医疗器械的运动信息，基于该运动信息可以确定医疗器械的控制信息。
122.其中医疗器械的运动信息可以包括速度以及位置等，在此不做具体限定。对于速度可以是基于第二目标血管信息生成，位置可以是基于第二目标路径以及控制周期生成。
123.s610：基于控制信息控制医疗器械。
124.具体地，处理器可以基于控制信息控制医疗器械的运动，例如通过控制推送设备来控制医疗器械的运动。因此，在一个可选的实施例中，处理器可以基于医疗器械的控制信息确定推送设备的控制信息，进而通过控制推送设备来控制医疗器械的运动。
125.上述医疗器械控制方法，将术中实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系，根据第一配准关系，将第一目标路径以及第一目标血管信息映射至实时医学图像中，从而将术前的标准医学模型与术中的实时医学图像结合，且基于实时医学图像中的医疗器械的位置、映射至实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息，自动对医疗器械进行控制，无需医生介入，可以提高自动化程度。
126.在其中一个实施例中，基于实时医学图像中的医疗器械的位置、映射至实时医学
图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息，包括：基于实时医学图像中的医疗器械的位置，从映射至实时医学图像中的第二目标血管信息中，选择上一控制周期所对应的第三目标血管信息；根据所述第三目标血管信息确定所述医疗器械的控制速度以及运动距离；基于运动距离以及目标路径确定医疗器械的目标位置；将控制速度和目标位置作为医疗器械的控制信息。
127.具体地，实时医学图像中的医疗器械的位置可以是通过传感器获取的或者是通过对实时医学图像进行目标识别确定的，在此不再赘述。这样可以基于医疗器械的位置获取一定范围内的第二目标血管信息作为第三目标血管信息，从而基于第三目标血管信息来确定医疗器械的速度，其中一定范围内的第三目标血管信息可以是指上一控制周期中血管的信息，即上一控制周期中医疗器械运动所经过的血管的第三目标血管信息。
128.其中，根据所述第三目标血管信息确定所述医疗器械的控制速度以及运动距离可以包括：获取速度阈值对应的血管信息阈值；基于第三目标血管信息以及血管信息阈值确定医疗器械的控制速度；基于实时医学图像中的医疗器械的位置、控制速度以及控制周期确定医疗器械的运动距离。
129.具体地，速度阈值是设定的最大推送速度，一般由医生根据血管的位置设置或者是推送设备默认。其中控制周期可以是运动的周期，其也可以是医生预先设置的，例如1秒或者5秒等，在此不做具体的限定。
130.具体地，结合图7所示，图7为一个实施例中的控制信息的生成步骤的流程图，在该实施例中，由于预先确定了目标路径，因此先获取到上一控制周期所对应的第三目标血管信息，其中该第三目标血管信息可以包括上一控制周期所对应的血管的直径和曲率。其中第三目标血管信息还可以包括上一控制周期所对应的血管的直径和曲率数学统计值，例如平均值和最大值等等，在此不在赘述。
131.其中，控制速度可以通过以下公式计算：
[0132][0133]
其中，vmax为设定的最大推送速度，即速度阈值，d(n-1)为上一控制周期血管的直径，dmax为设定的可以满足最大推送速度的血管直径，cmin为设定的可以满足最大推送速度的血管曲率(迂回程度)，c(n-1)为上一控制周期血管的曲率。
[0134]
控制位置可以通过以下公式计算：
[0135]
p(n)＝p(n-1)+v(n)
×
dt
[0136]
其中，p(n-1)为上一控制周期的医疗器械推送位置，dt为控制周期，p(n)为本控制周期的医疗器械推送位置。
[0137]
其中，血管的直径越窄、曲率越大，则医疗器械的推送速度越慢。推送位置计算出后发送给处理器，处理器控制推送设备按照计算出的推送速度和位置对医疗器械进行推送，直到医疗器械到达病变位置。若医疗器械能够自动释放，则推送设备自动对医疗器械进行释放，若不能自动释放，则提醒医生接管手术手动对医疗器械进行释放。
[0138]
上述实施例中，基于上一控制周期的第三目标血管信息以及目标路径生成本控制周期的控制信息，从而对医疗器械进行控制，根据目标路径和病变位置，实时计算每个控制周期医疗器械的推送距离，推送设备进行自动推送。
[0139]
在其中一个实施例中，将实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系之前，还包括：获取采集的各术前医学图像；对各术前医学图像进行语义分割得到分割结果；基于各分割结果进行空间位置融合得到标准医学模型。
[0140]
具体地，本实施例主要解释标准医学模型的生成过程，其中，结合图8所示，当存在多个fov(有效视野)的ct影像数据时，也即存在多个术前医学图像时，对各fov的ct影像数据进行特定的语义分割任务，例如使用对应训练的深度学习语义分割算法进行分割生成分割结果，得到多fov的分割结果后，基于不同fov的图像在空间中的位置进行融合和三维重建，最终得到标准医学模型。具体地，结合图9所示，图9为一个实施例中的标准医学模型的示意图，在该实施例中，分割得到包括血管以及各个组织器官的标准医学模型。
[0141]
上述实施例中，通过机器学习算法对术前医学图像进行分割，在此基础上对血管进行三维重建以得到标准医学模型，为后续操作控制奠定基础。
[0142]
在其中一个实施例中，该方法还包括：对标准医学模型进行区域血管边界提取；遍历区域血管边界确定第一目标血管信息，第一目标血管信息包括血管中心线、血管直径以及血管曲率中的至少一个。
[0143]
具体地，第一目标血管信息包括血管中心线、血管直径以及血管曲率中的至少一个，其中血管中心线是指血管的中线，其可以通血管的边界来获得，血管直径也可以通过血管的边界来获得，即血管边界的距离，血管的曲率则是通过计算血管边界的切向量以及血管中心线的夹角来获得。
[0144]
结合图10所示，图10为一个实施例中的血管中心线的提取步骤的示意图，在该实施例中，获取到标准医学模型，或者是获取到对各术前医学图像进行语义分割得到分割结果，基于分割结果提取遍历区域的血管边界，例如按照一定的顺序对血管边界进行遍历，并计算每个遍历区域的血管边界的欧式距离，对当前边界计算欧式距离获得边界的最大内切球，从而获取内切球的球心作为中心线，这样所有的遍历区域遍历完成后，即将所得到的所有的内切球的球心连接成线得到血管中心线。具体地，结合图11所示，图11为一个实施例中的血管中心线的提取示意图，其中将所有的内切球的球心连接成线得到血管中心线。可选地，内切球的直径即为遍历区域的血管的直径，内切球切线与中心线的夹角即为血管曲率。
[0145]
上述实施例中，自动识别血管信息，为后续控制奠定基础。
[0146]
在其中一个实施例中，该方法还包括：对标准医学模型进行目标检测，得到第一目标血管信息；基于第一目标血管信息中的第一目标位置，确定到达第一目标位置的初始路径；基于第一目标血管信息对各初始路径进行筛选得到第一目标路径。
[0147]
具体地目标位置可以是指病变位置，通过对标准医学模型进行目标检测，得到目标信息，或者是获取到对各术前医学图像进行语义分割得到分割结果，基于分割结果得到目标信息。
[0148]
其中对于目标信息的检测可以是通过机器学习模型来进行的，其可以得到目标的位置以及目标的病变类型和严重程度，实际应用中，利用机器学习目标检测模型，对不同病变类型进行匹配和评估，获得血管病变的类型和严重程度，最终对病变位置在血管中心线上进行标记。
[0149]
结合图12所示，图12为一个实施例中的机器学习模型的几种网络结构图，其中包括fast r-cnn、ssd以及yolo模型，在其他的实施例中还可以采用其他的网络结构，如图9
中，输入影像分割结果，这样模型经过多层深度学习网络分割提取，可识别提取出可对分割结果中包含的病变类型和位置进行自动识别标注。其中，机器学习目标检测模型经过对大量专家标注的病变类型进行训练学习，以保证准确性。
[0150]
在确定了第一目标信息后，可以基于目标位置、手术的入口位置以及血管的分支来确定到达目标位置的初始路径，这样对初始路径进行筛选可以得到第一目标路径。
[0151]
可选地，基于第一目标血管信息对各初始路径进行筛选得到第一目标路径，包括：基于第一目标血管信息计算各初始路径的路径因子，路径因子包括路径长度、路径的直径信息以及路径的曲率信息；获取各路径因子的权重系数；基于各初始路径的路径因子以及对应的权重系数，对初始路径进行筛选得到第一目标路径。
[0152]
其中，各个路径因子的权重系数可以是预先设置的，例如医生根据血管的位置来设置，或者是默认的，在此不做具体的限定。
[0153]
其中，处理器对所有可能的初始路径进行遍历，提取每条初始路径的长度、直径和曲率等几何信息，并根据这些几何信息计算出每条初始路径的入路评价值。最终选取入路评价值最小的初始路径为第一目标路径。其中第一目标路径的选取以较短的入路长度、较大的血管直径以及较小的血管曲率为优先原则，入路评价值的计算方式不限于本实施例中所示的方法。
[0154]
具体地，结合图13所示，其中，入路评价值的计算方式可以通过以下公式得到：
[0155]
ep＝a
×
l+b
×
dmin+c
×
dave+d
×
cmax+e
×
cave
[0156]
其中a、b、c、d以及e为权重系数，l为初始路径的长度，dmin为血管的最小直径，dave为血管的平均直径，cmax为血管最大曲率，cave为血管平均曲率。
[0157]
处理器获取入路评价值的最小的初始路径作为第一目标路径。
[0158]
可选地，基于各初始路径的路径因子以及对应的权重系数，对初始路径进行筛选得到第一目标路径之后，还包括：根据第一目标路径的路径长度以及直径信息确定用于操作的医疗器械。
[0159]
具体地，在第一目标路径确定后，处理器基于第一目标路径的路径长度以及直径信息确定用于操作的医疗器械，例如根据第一目标路径的路径长度确定导管的长度，根据第一目标路径的最小直径确定导管的直径以及医疗器械的直径。
[0160]
上述实施例中，根据病变位置对不同初始路径进行分析，自动规划最优路径，选取相应的医疗器械。
[0161]
在其中一个实施例中，将实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系，包括：对实时医学图像以及标准医学模型进行特征提取得到待处理特征；将实时医学图像以及标准医学模型对应待处理特征进行特征匹配；根据特征匹配的结果得到第一配准关系。
[0162]
具体地待处理特征可以是指脊柱、血管或者器官中的至少一个的特征，通过这些特征进行匹配以实现配准，其中需要说明的一点是，对于标准医学模型中的这些特征的识别可以是在术前识别并存储的，这样在术中仅需要实时对实时医学图像进行识别，以提高处理效率，减少术中的计算量。在其他的实施例中也可以在术中通过并行的方式分别对标准医学模型和实时医学图像进行处理，但是需要说明的是对于标准医学模型的处理仅需要一次即可，识别后存储到本地，这样后续可以减少重复计算。
[0163]
结合图14所示，图14为一个实施例中的第一配准关系生成步骤的流程图，在该实施例中，处理器分别对标准医学模型以及实时医学图像进行特征识别，例如识别脊柱、血管或者器官中的至少一个的特征，然后将这些特征进行特征匹配，匹配后对实时医学图像进行线性矩阵变换，实现图像与三维模型的融合。
[0164]
上述实施例中，将术中二维x光影像与术前标准医学模型进行配准和融合显示，从而将术前影像和模型应用于手术过程中，且自动计算医疗器械的推送位置，推送设备进行自动推送，无需医生参与，减少辐射对医生的伤害，缩短手术时间。
[0165]
在其中一个实施例中，医疗器械安装于推送设备；基于控制信息控制医疗器械，包括：获取推送设备与实时医学图像对应的图像坐标系的第二配准关系；基于第二配准关系将医疗器械的控制信息转换为推送设备的控制信息；基于推送设备的控制信息对推送设备进行控制。
[0166]
可选地，获取推送设备与实时医学图像对应的图像坐标系的第二配准关系，包括：分别获取在推送设备的标定纸上的至少两个推送位置；分别获取至少两个推送位置在实时医学图像对应的图像坐标系中对应的待处理位置；基于推送位置以及待处理位置生成第二配准关系。
[0167]
具体地，结合图15所示，图15为一个实施例中的第二配准关系的生成步骤的示意图。其中将标定纸固定于推送设备上，获取标定纸在推送设备上两个位置的坐标(x
1b
、x
2b
)以及图像坐标(x
1c
、x
2c
)。获取坐标后根据坐标系转换关系即可求得图像坐标系与推送设备坐标系之间的转换关系h
bc
，从而建立实时医学图像对应的图像坐标系与推送设备之间的坐标系关系。
[0168]
这样处理器可以基于医疗器械的控制信息以及该转换关系h
bc
确定推送设备的控制信息，进而通过控制推送设备来控制医疗器械的运动。
[0169]
上述实施例中，将实时医学图像与术前三维模型进行配准和融合显示，并基于实时医学图像的坐标系以及推送设备的坐标系的第二配准关系，将对于医疗器械的控制信息转换为对推送设备的控制信息，从而通过推送设备实现对医疗器械的控制。
[0170]
在其中一个实施例中，上述方法还包括：实时检测医疗器械与血管是否发生碰撞；当医疗器械与血管发生碰撞时，控制医疗器械停止运动和/或输出告警信息；当医疗器械与血管未发生碰撞时，继续实时检测医疗器械与血管是否发生碰撞，直至操作结束。
[0171]
具体地医疗器械与血管发生碰撞可以通过实时医学图像和/或传感器采集的数据来判断，例如通过实时医学图像判断医疗器械与血管是否接触，通过实时医学图像检测血管是否发生损伤，通过传感器采集的数据来判断医疗器械的受力是否满足要求。
[0172]
可选地，实时检测医疗器械与血管是否发生碰撞，包括：根据实时医学图像中的医疗器械的位置以及映射至实时医学图像中的目标血管信息，确定医疗器械与实时医学图像的干涉情况和/或获取所述医疗器械的受力情况；根据干涉情况和/或受力情况判断所述医疗器械与血管是否发生碰撞。具体地，根据干涉情况和/或受力情况判断所述医疗器械与血管是否发生碰撞可以包括：检测医疗器械与实时医学图像是否发生干涉和/或检测医疗器械的受力是否大于受力阈值；当医疗器械与医学图像发生干涉时，判定医疗器械与血管发生碰撞；当医疗器械的受力大于受力阈值时，判定医疗器械与血管发生碰撞；当医疗器械的受力小于或等于受力阈值，且基于实时医学图像检测血管损伤，判定医疗器械与血管发生
碰撞；当医疗器械的受力小于或等于受力阈值，且基于实时医学图像检测血管未损伤，继续根据实时医学图像中的医疗器械的位置以及映射至实时医学图像中的目标血管信息，检测医疗器械与实时医学图像是否发生干涉和/或检测医疗器械的受力是否大于受力阈值。
[0173]
具体地，结合图16所示，图16为一个实施例中的安全保护流程的示意图，在该实施例中，通过实时医学图像以及力传感器提供双层保护，首先处理器根据实时医学图像检测医疗器械与血管是否发生干涉，若是发生干涉，即医疗器械与血管接触，则生成告警信息并输出，以提示医生，若是医疗器械与血管未发生干涉，则继续检测医疗器械的受力，当医疗器械的受力大于受力阈值时，则终止操作，否则，处理器继续基于实时医学图像检测血管是否发生损伤，若是发生损伤，则终止操作，否则继续根据实时医学图像检测医疗器械与血管是否发生干涉的步骤，直至手术结束。
[0174]
上述实施例中，通过实时对实时医学影像进行分析，并结合力传感器反馈值，检测医疗器械与血管壁是否发生干涉碰撞，保证手术安全。
[0175]
在其中一个实施例中，上述方法还包括：接收模式切换指令；根据模式切换指令确定当前控制模式；当当前控制模式为自动模式时，继续基于实时医学图像中的医疗器械的位置、映射至实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息；当当前控制模式为手动控制模式时，接收主操作设备发送的医疗器械的控制信息。
[0176]
在其中一个实施例中，上述基于控制信息控制医疗器械之后，包括：当医疗器械达到目标路径对应的目标位置时，确定医疗器械的释放模式，并基于释放模式将医疗器械释放。具体地，可以检测医疗器械是否可以自动释放；当医疗器械可以自动释放时，控制推送设备释放医疗器械；当医疗器械不可以自动释放时，输出手动释放提示信息。
[0177]
具体地，本实施例中主要介绍控制模式，其中控制模式包括自动控制模式和手动控制模式，在操作时，可以设置为自动控制模式，这样在自动控制模式下，可以实现对医疗器械的控制，以及将医疗器械运送至对应的目标位置。医生可以观察到自动控制模式下，医疗器械的运送情况，当医生判定需要接管手术时，则切换控制模式为手动控制模式，这样处理器则接收主操作设备发送的医疗器械的控制信息，因此随时可以引入医生干预，保证手术过程安全。
[0178]
此外，若是整个运送过程医生并未干预，将医疗器械运送至了目标位置，则需要评估球囊、瓣膜等手术耗材能否自动释放，若是能自动释放，则自动释放，否则输出提示信息，以便于医生及时干预，准确释放医疗器械。
[0179]
上述实施例中，医生可通过主操作设备随时干预和接管自动手术，进一步保证手术的安全性。
[0180]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0181]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的医疗器
械控制方法的医疗器械控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医疗器械控制装置实施例中的具体限定可以参见上文中对于医疗器械控制方法的限定，在此不再赘述。
[0182]
在一个实施例中，提供了一种医疗器械控制装置，包括：
[0183]
术中实时医学图像获取模块，用于获取术中的实时医学图像；
[0184]
第一配准模块，用于将术中实时医学图像与术前生成的标准医学模型进行配准得到第一配准关系；
[0185]
映射模块，用于根据第一配准关系，将术前生成的第一目标路径以及第一目标血管信息映射至实时医学图像中；
[0186]
控制信息生成模块，用于基于实时医学图像中的医疗器械的位置、映射至实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息；
[0187]
控制模块，用于基于控制信息控制医疗器械。
[0188]
在其中一个实施例中，上述控制信息生成模块还用于基于实时医学图像中的医疗器械的位置，从映射至实时医学图像中的目标血管信息中，选择上一控制周期所对应的第三目标血管信息；根据第三目标血管信息确定所述医疗器械的控制速度以及运动距离；基于运动距离以及目标路径确定医疗器械的目标位置；将控制速度和目标位置作为医疗器械的控制信息。
[0189]
在其中一个实施例中，上述装置还包括标准医学模型生成模块，该标准医学模型生成模块用于获取采集的各术前医学图像；对各术前医学图像进行语义分割得到分割结果；基于各分割结果进行空间位置融合得到标准医学模型。
[0190]
在其中一个实施例中，上述装置还包括特征提取模块，该特征提取模块用于对标准医学模型进行区域血管边界提取；遍历区域血管边界确定第一目标血管信息，第一目标血管信息包括血管中心线、血管直径以及血管曲率中的至少一个。
[0191]
在其中一个实施例中，上述装置还包括目标路径生成模块，该目标路径生成模块用于对标准医学模型进行目标检测，得到目标信息；基于目标信息中的目标位置，确定到达目标位置的初始路径；基于第一目标血管信息对各初始路径进行筛选得到第一目标路径。
[0192]
在其中一个实施例中，上述目标路径生成模块还用于基于第一目标血管信息计算各初始路径的路径因子，路径因子包括路径长度、路径的直径信息以及路径的曲率信息；获取各路径因子的权重系数；基于各初始路径的路径因子以及对应的权重系数，对初始路径进行筛选得到第一目标路径。
[0193]
在其中一个实施例中，上述目标路径生成模块还用于根据第一目标路径的路径长度以及直径信息确定用于操作的医疗器械。
[0194]
在其中一个实施例中，上述装置还包括第一配准关系生成模块，该第一配准关系生成模块用于对实时医学图像以及标准医学模型进行特征提取得到待处理特征；将实时医学图像以及标准医学模型对应待处理特征进行特征匹配；根据特征匹配的结果得到第一配准关系。
[0195]
在其中一个实施例中，所述医疗器械安装于推送设备；上述控制模块还用于获取推送设备与实时医学图像对应的图像坐标系的第二配准关系；基于第二配准关系将医疗器械的控制信息转换为推送设备的控制信息；基于推送设备的控制信息对推送设备进行控
制。
[0196]
在其中一个实施例中，上述配准模块还用于分别获取在推送设备的标定纸上的至少两个推送位置；分别获取至少两个推送位置在实时医学图像对应的图像坐标系中对应的待处理位置；基于推送位置以及待处理位置生成第二配准关系。
[0197]
在其中一个实施例中，上述装置还包括安全检测模块，该安全检测模块用于实时检测医疗器械与血管是否发生碰撞；当医疗器械与血管发生碰撞时，控制医疗器械停止运动和/或输出告警信息；当医疗器械与血管未发生碰撞时，继续实时检测医疗器械与血管是否发生碰撞，直至操作结束。
[0198]
在其中一个实施例中，该安全检测模块还用于根据实时医学图像中的医疗器械的位置以及映射至实时医学图像中的目标血管信息，确定医疗器械与实时医学图像的干涉情况和/或获取所述医疗器械的受力情况；根据干涉情况和/或受力情况判断所述医疗器械与血管是否发生碰撞。
[0199]
在其中一个实施例中，上述装置还包括模式切换模块，该模式切换模块用于接收模式切换指令；根据模式切换指令确定当前控制模式；当当前控制模式为自动模式时，继续基于实时医学图像中的医疗器械的位置、映射至实时医学图像中的第二目标血管信息以及第二目标路径，确定医疗器械的控制信息；当当前控制模式为手动控制模式时，接收主操作设备发送的医疗器械的控制信息。
[0200]
在其中一个实施例中，上述装置还包括释放模块，用于当医疗器械达到目标路径对应的目标位置时，确定医疗器械的释放模式，并基于释放模式将医疗器械释放。
[0201]
上述医疗器械控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0202]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医疗器械控制方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0203]
本领域技术人员可以理解，图17中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0204]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储
有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0205]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0206]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0207]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0208]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0209]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。