手术引导与监测方法、装置、计算机设备与流程

1.本公开涉及精准手术定位技术领域，特别是涉及一种手术引导与监测方法、装置、计算机设备。


背景技术：

2.目前，在一些较为常见的，需要进行外科手术的病症诊疗中，一系列的微创手术技术得到了广泛的应用。在微创手术中，如何从体表到手术目标位置准确建立通道，是微创手术最为关键的步骤，同时也是微创手术技术成功的前提。例如准确进行经皮穿刺，以及对手术目标位置和病灶组织进行准确的精细操作，如夹持、切除、消融等。而微创手术的进行和准确实施，需要有效的手术引导方法。
3.尤其是在冰冻消融手术中，由于冰冻区域在超声图像中往往显示为黑洞区域，大大减弱了对冰冻区域的监测。且传统操作中需要在超声下进行观测冰冻区域，需要冻结(暂停)超声成像，在暂停的图像上借助其他工具划线测量冰球的横轴、纵轴长度，由医生人工读取尺寸信息，要求冰球达到预先规划的尺寸后停止增长。测量期间图像刷新暂停、失去监控带来风险，且操作效率较低，无法准确把握冰冻速度。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种手术引导与监测方法、装置、计算机设备、存储介质和计算机程序产品。
5.第一方面，本公开提供了一种手术引导与监测方法。所述方法包括：
6.根据操作器械与超声图像的相对位置关系，获取所述操作器械的冰冻中心在所述超声图像的第一位置信息、所述操作器械的操作尖端在所述超声图像的第二位置信息；
7.根据所述第一位置信息生成以所述冰冻中心为中心的共心标尺，所述共心标尺用于衡量冰冻区域轮廓；
8.根据所述相对位置关系、所述第一位置信息、所述第二位置信息生成引导信息；
9.在引导窗口展示所述引导信息和所述共心标尺。
10.在其中一个实施例中，所述操作器械与超声图像的相对位置关系通过以下步骤获得：
11.获取图像采集装置采集的目标区域图像，根据所述目标区域图像获取超声探头于图像采集装置坐标系的第一定位信息、操作器械于所述图像采集装置坐标系的第二定位信息；
12.获取所述超声探头采集的超声图像，确定所述超声图像于超声探头坐标系的第三定位信息；
13.根据所述第一定位信息、第二定位信息，获取所述操作器械于超声探头坐标系的第四定位信息；
14.根据所述第三定位信息、第四定位信息，获取所述操作器械与所述超声图像的相
对位置关系。
15.在其中一个实施例中，所述根据所述目标区域图像获取超声探头于图像采集装置坐标系的第一定位信息、操作器械于所述图像采集装置坐标系的第二定位信息包括：
16.根据所述目标区域图像获取所述超声探头的第一标记件信息、所述操作器械的第二标记件信息；
17.根据所述第一标记件信息确定所述超声探头于所述图像采集装置坐标系的所述第一定位信息，根据所述第二标记件信息确定所述操作器械于所述图像采集装置坐标系的所述第二定位信息。
18.在其中一个实施例中，所述根据所述相对位置关系、所述第一位置信息、所述第二位置信息生成引导信息包括：
19.提取所述相对位置关系的第一特征数据；
20.根据所述相对位置关系、所述第二位置信息，获取所述操作器械的预测轨迹。
21.在其中一个实施例中，所述在引导窗口展示所述引导信息和所述共心标尺包括：
22.在所述引导窗口中以所述超声图像为背景展示所述预测轨迹在所述超声图像上的投影，并在所述引导窗口中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺。
23.在其中一个实施例中，所述在引导窗口展示所述引导信息和所述共心标尺还包括：
24.根据所述相对位置关系，以及所述预测轨迹，获取所述预测轨迹与所述超声图像的预测位置关系；
25.在所述预测位置关系满足预设位置条件的情况下，在所述引导窗口中以第一显示模式展示所述操作器械；在所述预测位置关系不满足预设位置条件的情况下，在所述引导窗口中以第二显示模式展示所述操作器械。
26.在其中一个实施例中，所述在引导窗口展示所述引导信息和所述共心标尺包括：
27.在所述引导窗口中展示所述操作器械与所述超声图像的三维模型，并在所述引导窗口中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺。
28.在其中一个实施例中，所述方法还包括：
29.实时获取冰冻区域的体积数据和温度数据；
30.在监测窗口中展示所述冰冻区域和所述冰冻区域的第二特征数据。
31.在其中一个实施例中，所述冰冻区域的体积数据通过以下步骤获得：
32.指示所述超声图像沿设定方向扫描所述冰冻区域，获取设定方向上所述冰冻区域的横截面积；
33.根据所述横截面积计算获得所述冰冻区域体积数据。
34.在其中一个实施例中，所述方法还包括：
35.根据所述第二特征数据判断所述冰冻区域是否满足冰冻条件；
36.响应于所述第二特征数据不满足所述冰冻条件，在所述监测窗口展示预警信息。
37.第二方面，本公开还提供了一种手术引导与监测装置。所述装置包括：
38.位置信息模块，用于根据操作器械与超声图像的相对位置关系，获取所述操作器械的冰冻中心在所述超声图像的第一位置信息、所述操作器械的操作尖端在所述超声图像
的第二位置信息；
39.共心标尺模块，用于根据所述第一位置信息生成以所述冰冻中心为中心的共心标尺，所述共心标尺用于衡量冰冻区域轮廓；
40.引导信息模块，用于根据所述相对位置关系、所述第一位置信息、所述第二位置信息生成引导信息；
41.引导窗口模块，用于在引导窗口展示所述引导信息和所述共心标尺。
42.在其中一个实施例中，所述位置信息模块包括：
43.第一定位单元，用于获取图像采集装置采集的目标区域图像，根据所述目标区域图像获取超声探头于图像采集装置坐标系的第一定位信息、操作器械于所述图像采集装置坐标系的第二定位信息；
44.第二定位单元，用于获取所述超声探头采集的超声图像，确定所述超声图像于超声探头坐标系的第三定位信息；
45.第三定位单元，用于根据所述第一定位信息、第二定位信息，获取所述操作器械于超声探头坐标系的第四定位信息；
46.位置关系单元，用于根据所述第三定位信息、第四定位信息，获取所述操作器械与所述超声图像的相对位置关系。
47.在其中一个实施例中，所述第一定位单元包括：
48.第一标记件组件，用于根据所述目标区域图像获取所述超声探头的第一标记件信息、所述操作器械的第二标记件信息；
49.第一信息组件，用于根据所述第一标记件信息确定所述超声探头于所述图像采集装置坐标系的所述第一定位信息，根据所述第二标记件信息确定所述操作器械于所述图像采集装置坐标系的所述第二定位信息。
50.在其中一个实施例中，所述引导信息模块包括：
51.第一特征数据单元，用于提取所述相对位置关系的第一特征数据；
52.预测轨迹单元，用于根据所述相对位置关系、所述第二位置信息，获取所述操作器械的预测轨迹。
53.在其中一个实施例中，所述引导窗口模块包括：
54.第一显示单元，用于在所述引导窗口中以所述超声图像为背景展示所述预测轨迹在所述超声图像上的投影，并在所述引导窗口中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺。
55.在其中一个实施例中，所述引导窗口模块还包括：
56.预测位置关系单元，用于根据所述相对位置关系，以及所述预测轨迹，获取所述预测轨迹与所述超声图像的预测位置关系；
57.显示模式单元，用于在所述预测位置关系满足预设位置条件的情况下，在所述引导窗口中以第一显示模式展示所述操作器械；在所述预测位置关系不满足预设位置条件的情况下，在所述引导窗口中以第二显示模式展示所述操作器械。
58.在其中一个实施例中，所述引导窗口模块包括：
59.三维显示单元，用于在所述引导窗口中展示所述操作器械与所述超声图像的三维模型，并在所述引导窗口中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共
心标尺。
60.在其中一个实施例中，所述装置还包括：
61.数据采集模块，用于实时获取冰冻区域的体积数据和温度数据；
62.监测显示模块，用于在监测窗口中展示所述冰冻区域和所述冰冻区域的第二特征数据。
63.在其中一个实施例中，所述数据采集模块包括：
64.扫描单元，用于指示所述超声图像沿设定方向扫描所述冰冻区域，获取设定方向上所述冰冻区域的横截面积；
65.体积计算单元，用于根据所述横截面积计算获得所述冰冻区域体积数据。
66.在其中一个实施例中，所述装置还包括：
67.冰冻条件模块，用于根据所述第二特征数据判断所述冰冻区域是否满足冰冻条件；
68.预警模块，用于响应于所述第二特征数据不满足所述冰冻条件，在所述监测窗口展示预警信息。
69.第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述手术引导与监测方法的步骤。
70.第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述手术引导与监测方法的步骤。
71.第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述手术引导与监测方法的步骤。
72.上述手术引导与监测方法、装置、计算机设备、存储介质和计算机程序产品，至少包括以下有益效果：
73.本公开通过操作器械与超声图像的相对位置关系，对操作器械进行准确定位，同时根据相对位置关系获得操作器械的冰冻中心和操作尖端的位置信息，进一步生成引导信息，提高了对冰冻中心和操作尖端定位的准确性，可以减少操作失误；另外，基于冰冻中心生成共心标尺，可以不借助温度测量更加稳定便捷地通过共心标尺对冰冻区域轮廓进行衡量，可以实时跟踪冰冻区域大小，避免冰冻区域过大过小，且无需冻结(暂停)超声成像后测量，提高了操作效率和准确性。
附图说明
74.为了更清楚地说明本公开实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
75.图1为一些实施例中手术引导与监测方法的应用环境图；
76.图2为一些实施例中手术引导与监测方法的流程示意图；
77.图3为一些实施例中共心标尺示意图；
78.图4为一些实施例中手术引导与监测方法的流程示意图；
79.图5为一些实施例中手术引导与监测方法的流程示意图；
80.图6为一些实施例中在手术载体上进行手术操作的示意图；
81.图7为一些实施例中手术引导与监测方法的流程示意图；
82.图8为一些实施例中显示装置的显示界面的示意图；
83.图9为一些实施例中手术引导与监测方法的流程示意图；
84.图10为一些实施例中显示装置的显示界面的示意图；
85.图11为一些实施例中显示装置的显示界面的示意图；
86.图12为一些实施例中手术引导与监测方法的流程示意图；
87.图13为一些实施例中手术引导与监测方法的流程示意图；
88.图14为一些实施例中手术引导与监测方法的流程示意图；
89.图15为一些实施例中在手术载体上进行手术操作的示意图；
90.图16为一些实施例中手术引导与监测装置的结构框图；
91.图17为一些实施例中手术引导与监测装置的结构框图；
92.图18为一些实施例中手术引导与监测装置的结构框图；
93.图19为一些实施例中手术引导与监测装置的结构框图；
94.图20为一些实施例中手术引导与监测装置的结构框图；
95.图21为一些实施例中手术引导与监测装置的结构框图；
96.图22为一些实施例中手术引导与监测装置的结构框图；
97.图23为一些实施例中手术引导与监测装置的结构框图；
98.图24为一些实施例中计算机设备的内部结构框图。
99.附图标记说明：102－终端，104－图像采集装置，106－超声探头，108－操作器械，202－第一标记件，204－第二标记件，206－第三标记件，300－显示界面，310－引导窗口，320－共心标尺，330－目标区域图像，340－预测轨迹，350－超声图像，360－三维模型。
具体实施方式
100.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
101.除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本公开。
102.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还
包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
103.在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中，术语“和/或”包括相关所列项目的任何及所有组合。
104.本技术实施例提供的手术引导与监测方法，可以应用于如图1所示的应用环境中。其中，终端102与图像采集装置104、超声探头106进行通信。数据存储系统可以存储终端102需要处理的数据。数据存储系统可以集成在终端102上，也可以放在云上或其他网络服务器上。终端102配备有显示装置。终端102可以对图像采集装置104采集的图像进行解析计算，从而对超声探头106和操作器械定位。操作器械可以是医疗手术中的器械，例如穿刺针、手术刀等。在冰冻手术中，操作器械可以是内设中空通道的穿刺针，中空通道设有用于输出冷冻剂或解冻剂的出口。操作器械可以通过从中空通道输出冷冻剂实现冰冻以形成冰冻区域，冰冻区域的中心即为冰冻中心。其中，冰冻中心的位置与操作器械的尺寸和中空通道出口位置有关，终端102可以根据操作器械的尺寸参数、中空通道尺寸参数确定冰冻中心位置，并将冰冻中心位置与操作器械进行关联，即可以根据操作器械位置直接获得冰冻中心位置。终端102还可以根据超声探头106生成超声图像并通过显示装置显示，以及根据操作器械的定位在超声图像中显示操作器械与超声图像的相对位置关系。其中，终端102可以但不限于是各种公共/个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备。
105.在本公开的一些实施例中，如图2所示，提供了一种手术引导与监测方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
106.步骤s10：根据操作器械108与超声图像350的相对位置关系，获取所述操作器械108的冰冻中心在所述超声图像350的第一位置信息、所述操作器械108的操作尖端在所述超声图像350的第二位置信息。
107.具体地，通过终端102获取操作器械108和超声图像350的相对位置关系，相对位置关系可以但不限于包括操作器械108与超声图像350的相对位置坐标、操作器械108与超声图像350的夹角、操作器械108与超声图像350的距离等。根据获得的相对位置关系和已知型号参数的操作器械108，进一步计算获得操作器械108的冰冻中心在超声图像350中的第一位置信息，以及操作器械108的操作尖端在超声图像350中的第二位置信息。其中，操作器械108可以通过从冰冻中心输出冷冻剂，操作器械108的操作尖端可以是指操作器械108非手持端的直接接触目标物体或目标区域的部位。第一位置信息和第二位置信息可以包括位置坐标、与超声图像350的距离等信息。
108.步骤s20：根据所述第一位置信息生成以所述冰冻中心为中心的共心标尺320，所述共心标尺320用于衡量冰冻区域轮廓。
109.具体地，根据第一位置信息，可以确定冰冻中心在超声图像350中的具体位置。以冰冻中心为中心，生成共心标尺320。共心标尺320位于同一平面，可以动态保持与超声图像
350平行或共面。共心标尺320可以是一组同心圆、同心椭圆，或者其他共心形状。如图3所示，以同心圆为例，若干个圆形标尺可以用于对冰冻区域的尺寸和面积进行测量。
110.步骤s30：根据所述相对位置关系、所述第一位置信息、所述第二位置信息生成引导信息。
111.具体地，结合相对位置关系、第一位置信息和第二位置信息，生成引导信息。引导信息可以以数据表格、图像等方式以体现相对位置关系、第一位置信息和第二位置信息。
112.步骤s40：在引导窗口310展示所述引导信息和所述共心标尺320。
113.具体地，通过终端102的显示装置，在引导窗口310对上述引导信息进行展示，同时在超声图像350上展示共心标尺320。
114.上述手术引导与监测方法中，通过操作器械108与超声图像350的相对位置关系，对操作器械108进行准确定位，同时根据相对位置关系获得操作器械108的冰冻中心和操作尖端的位置信息，进一步生成引导信息，提高了对冰冻中心和操作尖端定位的准确性，可以减少操作失误；另外，基于冰冻中心生成共心标尺320，可以不借助温度测量更加稳定便捷地通过共心标尺320对冰冻区域轮廓进行衡量，可以实时跟踪冰冻区域大小，避免冰冻区域过大过小，且无需冻结(暂停)超声成像后测量，提高了操作效率和准确性。
115.在本公开的一些实施例中，如图4所示，获得操作器械108与超声图像350的相对位置关系的步骤包括：
116.步骤a10：获取图像采集装置104采集的目标区域图像330，根据所述目标区域图像330获取超声探头106于图像采集装置104坐标系的第一定位信息、操作器械108于所述图像采集装置104坐标系的第二定位信息。
117.具体地，目标区域通常可以是指需要进行操作的区域，操作器械108在目标区域内进行操作达到练习或者手术目的。图像采集装置104用于采集目标区域图像330，图像采集装置104可以采用单目摄像机。根据目标区域图像330对目标区域内的超声探头106和操作器械108进行追踪定位，分别获得超声探头106和操作器械108在图像采集装置104坐标系中的第一定位信息、第二定位信息。图像采集装置104坐标系可以是指基于图像采集装置104建立的三维坐标系。定位信息可以用于具体描述且确定位置关系，包括具体坐标、距离、角度中的一种或多种。
118.步骤a20：获取所述超声探头106采集的超声图像350，确定所述超声图像350于超声探头106坐标系的第三定位信息。
119.具体地，获取超声探头106采集的超声图像350，根据超声探头106的特性参数确定超声图像350于超声探头106坐标系中的第三定位信息，超声探头106的特性参数包括校准数据等。
120.步骤a30：根据所述第一定位信息、第二定位信息，获取所述操作器械108于超声探头106坐标系的第四定位信息。
121.具体地，结合步骤s10中获得的第一定位信息和第二定位信息，经过计算转换获得操作器械108于超声探头106坐标系的第四定位信息。超声探头106坐标系可以是基于超声探头106建立的三维坐标系。
122.步骤a40：根据所述第三定位信息、第四定位信息，获取所述操作器械108与所述超声图像350的相对位置关系。
123.具体地，根据超声图像350于超声探头106坐标系的第三定位信息，以及操作器械108于超声探头106坐标系的第四定位信息，计算整合获得操作器械108与超声图像350的相对位置关系。
124.本实施例通过建立多个坐标系，结合图像采集装置104、操作器械108、超声探头106、超声图像350之间的定位信息最终确定操作器械108与超声图像350的相对位置关系，定位更加准确；另外通过本方法定位操作器械108与超声图像350，通过多坐标系定位降低了对图像采集装置104的要求，支持相比于双目摄像头成本更低的单目摄像头；同时基于操作器械108与超声图像350的相对位置关系生成引导信息更加完善，有助于医生把握操作器械108的方向和深度，减少了操作失误风险。
125.在本公开的一些实施例中，如图5所示，步骤a10包括：
126.步骤a12：根据所述目标区域图像330获取所述超声探头106的第一标记件202信息、所述操作器械108的第二标记件204信息。
127.具体地，在采集到的目标区域图像330中获取超声探头106的第一标记件202信息、操作器械108的第二标记件204信息。结合图6所示在手术载体上进行手术操作的示意图，例如在超声探头106上布置第一标记件202，在操作器械108上布置第二标记件204，第一标记件202和第二标记件204的布置不影响手术正常进行。标记件可以是二维码标记件，标记件为多面体结构，每一面上设有二维码。在一些实施例中，标记件还可以是其他被定位的预设特定图案；标记件还可以是主动发光led灯，或者被动式红外反射组件等。
128.步骤a14：根据所述第一标记件202信息确定所述超声探头106于所述图像采集装置104坐标系的所述第一定位信息，根据所述第二标记件204信息确定所述操作器械108于所述图像采集装置104坐标系的所述第二定位信息。
129.具体地，根据第一标记信息和第二标记信息获取超声探头106和操作器械108的三维特征，根据获取到的三维特征确定超声探头106的第一定位信息、操作器械108的第二定位信息。
130.进一步地，结合超声探头106的三维特征，选取超声探头106上的某一点(例如顶端)进行定位确定第一定位信息。结合操作器械108的三维特征，选取操作器械108的操作前端进行定位确定第二定位信息，使得定位信息更加精确。在一些实施例中，还可以根据所述目标区域图像330获取目标区域的第三标记件206信息，即在目标区域的目标物体上设置第三标记件206。第三标记件206可以是二维平面的二维码，也可以是每一面设有二维码的多面体。第三标记件206可以设置在目标区域内且不影响操作的位置。从采集到的目标区域图像330中获取第三标记件206信息。根据所述第三标记件206信息确定所述目标区域于所述图像采集装置104坐标系的第五定位信息，根据所述第五定位信息调节所述图像采集装置104。具体地，根据第五定位信息，可以调节图像采集装置104的角度、景深等参数，以更加清晰且全面的采集图像。
131.本实施例通过在超声探头106和操作器械108上配置标记件的形式快速从目标区域图像330中定位超声探头106和操作器械108，提高了超声探头106和操作器械108定位的效率和准确性。
132.在本公开的一些实施例中，如图7所示，所述步骤s30包括：
133.步骤s32：提取所述相对位置关系的第一特征数据。
134.具体地，第一特征数据可以以具体数值的方式体现操作器械108与超声图像350的相对位置关系(例如坐标、夹角、距离等)。
135.步骤s34：根据所述相对位置关系、所述第二位置信息，获取所述操作器械108的预测轨迹340。
136.具体地，结合相对位置关系和第二位置信息，计算在维持当前操作器械108的角度下，操作器械108沿当前前进方向的预测轨迹340。即，预测轨迹340可以是指操作器械108在当前行进路线上，维持当前角度的延伸轨迹。
137.本实施例通过对操作器械108的行进轨迹进行预测，获取操作器械108的预测轨迹340，进一步提高了手术准确度。
138.在本公开的一些实施例中，所述步骤s40包括：
139.步骤s42：在所述引导窗口310中以所述超声图像350为背景展示所述预测轨迹340在所述超声图像350上的投影，并在所述引导窗口310中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺320。
140.具体地，结合图8所示，在显示装置的显示界面300中以引导窗口310的方式显示，引导窗口310可以是单窗口或多窗口显示。引导窗口310可以包括图像区域和数据区域，在图像区域以超声图像350为背景展示预测轨迹340在超声图像350上的投影。数据区域展示相对位置关系的第一特征数据，在显示界面300还可以显示实时的目标区域图像330。同时，以超声图像350为背景展示共心标尺320，以衡量冰冻区域的轮廓面积。
141.在一些实施例中，预测轨迹340和共心标尺320可以在同一引导窗口310中进行展示，即预测轨迹340和共心标尺320同时显示。在另一些实施例中，预测轨迹340和共心标尺320可以在不同的引导窗口310中进行展示，通过窗口切换进行选择，使得预测轨迹340和共心标尺320不再同时显示。例如，在操作器械108穿刺阶段，通过在引导窗口310中显示预测轨迹340，为操作器械108的轨迹进行追踪和及时反馈。在操作器械108抵达目标位置后，操作器械108维持静止状态输出冷冻剂，此时可以通过在引导窗口310中显示共心标尺320，实时获得冰冻区域的轮廓面积和冰冻速度。在一些实施例中，可以基于冰冻区域在超声图像350上显示为黑色空洞的特征，利用图像分割算法提取冰冻区域轮廓，并计算冰冻区域面积，基于冰冻区域面积和时间计算冰冻速度。并将计算得到的冰冻区域面积、冰冻速度进行数据显示。即，在引导窗口310既可以通过共心标尺320直观地展示冰冻区域轮廓的尺寸，还可以通过数据区域展示更为准确的冰冻区域的轮廓面积和冰冻速度。
142.本实施例通过对操作器械108的行进轨迹进行预测，并将预测轨迹340投影到超声图像350上进行展示，更加直观地引导操作器械108的操作，提高了手术准确度。
143.在本公开的一些实施例中，如图9所示，所述步骤s40还包括：
144.步骤s44：根据所述相对位置关系，以及所述预测轨迹340，获取所述预测轨迹340与所述超声图像350的预测位置关系。
145.具体地，根据操作器械108与超声图像350的相对位置关系，结合预测轨迹340，计算确定预测轨迹340与超声图像350预测位置关系，预测位置关系可以包括预测轨迹340与超声图像350的交点位置、预测轨迹340与超声图像350的角度、预测轨迹340与超声图像350的最短距离中的一个或多个。其中，交点位置可以在引导窗口310中预测轨迹340的投影上进行标记显示，例如通过“x”形状的标记显示交点位置。交点位置的具体坐标也可以在引导
窗口310中显示。
146.步骤s46：在所述预测位置关系满足预设位置条件的情况下，在所述引导窗口310中以第一显示模式展示所述操作器械108；在所述预测位置关系不满足预设位置条件的情况下，在所述引导窗口310中以第二显示模式展示所述操作器械108。
147.具体地，根据获得的预测位置关系，判断预测位置关系是否满足预设位置条件，例如可以通过判断预测轨迹340与超声图像350的交点位置、预测轨迹340与超声图像350的角度、预测轨迹340与超声图像350的最短距离中的一个或多个的参数判断是否满足预设位置条件。在一些实施例中，操作器械108在引导窗口310中在超声图像350的背景上进行显示，例如操作器械108为穿刺针时，操作器械108以长条矩形框方式进行显示。当预测位置关系满足预设位置条件的情况下，在引导窗口310中以第一显示模式展示所述操作器械108，例如第一显示模式以实线的长条矩形框方式显示，如图10所示。当预测位置关系不满足预设位置条件的情况下，在引导窗口310中以第二显示模式展示所述操作器械108，例如第二显示模式以虚线的长条矩形框方式显示，如图8所示。
148.需要注意的是，第一显示模式和第二显示模式用于区分不同情况下操作器械108的显示方式，可以通过颜色或其他形状的方式进行区分，并不局限于实线和虚线。操作器械108的显示模式还可以包括其他显示模式，例如可以以第三显示模式进行警示当前交点位置偏差较大或者当前交点位置位于危险操作位置。第三显示模式可以以红色的长条矩形框方式显示。
149.本实施例通过预测轨迹340和操作器械108与超声图像350的相对位置关系确定预测轨迹340与超声图像350的预测位置关系，并通过引导窗口310对预测位置关系进行直观的引导显示；同时，在引导窗口310通过第一显示模式和第二显示模式区分不同情况下操作器械108，进一步提高了引导信息的全面性、直观性和准确性。
150.在本公开的一些实施例中，所述步骤s40包括：
151.在所述引导窗口310中展示所述操作器械108与所述超声图像350的三维模型360，并在所述引导窗口310中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺320。
152.具体地，引导窗口310可以是二维视窗也可以是三维视窗。在一些实施例中，可以根据第三定位信息、第四定位信息、操作器械108与超声图像350的相对位置关系建立操作器械108与超声图像350的三维模型360。三维视窗的引导窗口310可以是单窗口或多窗口显示，如图11所示。进一步地，在一些实施例中，二维的引导窗口310和三维的引导窗口310可以同时在显示装置的显示界面300显示，或者二维的引导窗口310和三维的引导窗口310通过切换的方式单独在显示装置的显示界面300显示。在一些实施例中，引导窗口310可以包括图像区域和数据区域，在图像区域展示三维模型360。数据区域展示相对位置关系的第一特征数据，第一特征数据可以以具体数值的方式显示操作器械108与超声图像350的相对位置关系(例如坐标、夹角、距离等)。在显示界面300还可以显示实时的目标区域图像330。同时通过引导窗口310在三维模型360中显示共心标尺320。共心标尺320所在的平面可以与超声图像350平行或共面。
153.本实施例通过建立相对位置关系的三维模型360，更加直观地显示操作器械108与超声图像350的相对位置关系，提高引导信息的准确性和可读性。
154.具体地，在本公开的一些实施例中，如图12所示，所述方法还包括：
155.步骤s50：实时获取冰冻区域的体积数据和温度数据；
156.步骤s60：在监测窗口中展示所述冰冻区域和所述冰冻区域的第二特征数据。
157.具体地，第二特征数据可以包括冰冻区域的体积数据、冰冻区域的温度数据、冰冻速度、解冻速度、目标温度维持时间中的一种或多种。冰冻速度、解冻速度、目标温度维持时间可以根据冰冻区域的体积数据和温度数据结合时间参数进行计算。监测窗口可以通过显示装置上的视窗进行显示。其中，冰冻速度可以表示温度和时间的关系，在监测窗口中展示冰冻速度便于控制注入冷冻剂的速度。解冻速度可以在注入常温空气或其他回温气体时，表示温度和时间的关系，在监测窗口中展示解冻速度便于控制注入常温气体的速度。目标温度维持时间可以是指目标区域维持目标温度的时间，在监测窗口中展示维持目标温度的时间以对冰冻区域温度维持进行追踪，以保持冰冻区域在操作期间的温度稳定。
158.本实施例中通过设置监测窗口对冰冻区域的第二特征数据进行展示，提高了对冰冻区域的可视性和可控性。
159.在本公开的一些实施例中，如图13所示，获取冰冻区域的体积数据的步骤包括：
160.步骤b10：指示所述超声图像350沿设定方向扫描所述冰冻区域，获取设定方向上所述冰冻区域的横截面积。
161.步骤b20：根据所述横截面积计算获得所述冰冻区域体积数据。
162.具体地，可以通过调节产生探头设置超声图像350的角度和移动方向，指示超声图像350沿设定的方向扫描冷冻区域。例如可以在引导窗口310显示设定方向，操作者控制超声探头106移动使得超声图像350沿设定的方向扫描冷冻区域。结合计算精度的要求，采样得到冷冻区域的若干切片的横截面积。结合微积分理论根据横截面积计算得到冰冻区域体积数据。
163.本实施例通过超声图像350扫描的方式计算冰冻区域面积，可操作性强，且计算便捷，冰冻区域体积数据更加准确。
164.在本公开的一些实施例中，如图14所示，所述方法还包括：
165.步骤s70：根据所述第二特征数据判断所述冰冻区域是否满足冰冻条件。
166.步骤s80：响应于所述第二特征数据不满足所述冰冻条件，在所述监测窗口展示预警信息。
167.具体地，冰冻条件可以包括温度条件、尺寸条件，其中，温度条件可以配置为在冰冻区域中心或者边缘的温度范围，在获取到的第二特征数据中温度数据超出温度范围，例如冰冻区域中心或者边缘的温度范围小于预设的低温阈值时，则判断第二特征数据不满足冰冻条件。温度条件还可以配置为冰冻速度或解冻速度的速度范围，在获取到的第二特征数据中冰冻速度超出速度范围，例如冰冻速度大于预设的冰冻速度阈值时，则判断第二特征数据不满足冰冻条件。
168.在判断第二特征数据不满足冰冻条件的情况下，触发预警信息。预警信息可以通过监测窗口进行直接显示或者弹窗显示。
169.本实施例通过对冰冻区域的状态监测，及时判断第二特征数据是否满足冰冻条件，并在不满足的情况下触发预警，进一步的提高了冰冻过程的稳定性和安全性。
170.在一些实施例中，上述方法还包括存储所述目标区域图像330、所述超声图像350，
以及存储所述引导窗口310和/或监测窗口的展示画面。
171.具体地，对手术过程中所有的图像和视窗进行存储，便于后续查阅。包括图像采集装置104采集的目标区域图像330、超声图像350、引导窗口310和/或监测窗口的展示画面。由于图像采集装置104为单目摄像机，可以直观地记录手术实际的操作影响。超声图像350的存储便于后续查阅分析。引导窗口310和/或监测窗口的展示画面中保留了引导信息，结合目标区域图像330、超声图像350可以全方位地留存手术操作过程。
172.本实施例对目标区域图像330、超声图像350、引导窗口310和/或引导窗口310的展示画面进行存储，便于后续查阅，不仅将引导信息、超声图像350和目标区域图像330相互印证相互支持，全方位多角度地存储了手术操作过程，便于后续学习优化，保留完整教学视频。
173.在本公开的一些实施例中，若干个所述图像采集装置104采集的目标区域图像330用于定位若干个所述操作器械108。
174.具体地，如图15所示，手术过程中，涉及的操作器械108可能是单个也可能是多个。因此存在以下几种情况：
175.(1)存在单个操作器械108的情况下，通过一个图像采集装置104采集目标区域中一个操作器械108的定位信息，执行前述实施例中方法的步骤。
176.(2)存在单个操作器械108的情况下，通过两个或两个以上的图像采集装置104采集目标区域中一个操作器械108的定位信息。
177.通过两个或两个以上的图像采集装置104轮替采集目标区域图像330，根据实时采集的目标区域图像330执行前述实施例中方法的步骤。多图像采集装置104轮替方式避免单个图像采集装置104长时间工作造成的发热。
178.或者，通过每一个图像采集装置104采集目标区域图像330，针对每一个图像采集装置104，执行前述实施例中方法的步骤。终端102在根据每一个图像采集装置104采集目标区域图像330获得操作器械108与超声图像350的相对位置关系后，可以通过算法进行数据融合，例如通过取平均值、加权平均值等算法计算获得最终的操作器械108与超声图像350的相对位置关系，进一步提高了操作器械108与超声图像350定位的准确性。另外，在多个图像采集装置104的情况下，在某一个图像采集装置104出现异常后，其余的图像采集装置104可以正常采集目标区域图像330，提高了整体的容错率。
179.(3)存在两个或两个以上个操作器械108的情况下，可以通过一个图像采集装置104采集目标区域中多个操作器械108的定位信息，根据获取到的目标区域图像330，针对每一个操作器械108，执行前述实施例中方法的步骤。
180.(4)存在两个或两个以上个操作器械108的情况下，可以通过两个或两个以上的图像采集装置104采集目标区域中多个操作器械108的定位信息。其中，一种情况下，图像采集装置104的数量与操作器械108的数量相等，且图像采集装置104与操作器械108一一对应。终端102针对每一组对应的图像采集装置104和操作器械108，执行前述实施例中方法的步骤。
181.另一种情况下，图像采集装置104与操作器械108存在多对多关系，多对多的每一组关系中，可以参考前述(1)-(3)的情况说明。
182.本实施例支持若干个图像采集装置104采集的目标区域图像330用于定位若干个
操作器械108，可以适应各个手术场合下的定位关系，使得操作器械108的定位更加灵活。
183.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
184.基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的手术引导与监测方法的手术引导与监测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个手术引导与监测装置实施例中的具体限定可以参见上文中对于手术引导与监测方法的限定，在此不再赘述。
185.所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
186.在本公开的一些实施例中，如图16所示，提供了一种手术引导与监测装置，所述装置可以为前述所述终端102，或者集成于所述终端102的模块、组件、器件、单元等。该装置z00可以包括：
187.位置信息模块z10，用于根据操作器械108与超声图像350的相对位置关系，获取所述操作器械108的冰冻中心在所述超声图像350的第一位置信息、所述操作器械108的操作尖端在所述超声图像350的第二位置信息；
188.共心标尺320模块z20，用于根据所述第一位置信息生成以所述冰冻中心为中心的共心标尺320，所述共心标尺320用于衡量冰冻区域轮廓；
189.引导信息模块z30，用于根据所述相对位置关系、所述第一位置信息、所述第二位置信息生成引导信息；
190.引导窗口310模块z40，用于在引导窗口310展示所述引导信息和所述共心标尺320。
191.在本公开的一些实施例中，如图17所示，所述位置信息模块z10包括：
192.第一定位单元z12，用于获取图像采集装置104采集的目标区域图像330，根据所述目标区域图像330获取超声探头106于图像采集装置104坐标系的第一定位信息、操作器械108于所述图像采集装置104坐标系的第二定位信息；
193.第二定位单元z14，用于获取所述超声探头106采集的超声图像350，确定所述超声图像350于超声探头106坐标系的第三定位信息；
194.第三定位单元z16，用于根据所述第一定位信息、第二定位信息，获取所述操作器械108于超声探头106坐标系的第四定位信息；
195.位置关系单元z18，用于根据所述第三定位信息、第四定位信息，获取所述操作器械108与所述超声图像350的相对位置关系。
196.在本公开的一些实施例中，如图18所示，所述第一定位单元z12包括：
197.第一标记件组件z122，用于根据所述目标区域图像330获取所述超声探头106的第一标记件202信息、所述操作器械108的第二标记件204信息；
198.第一信息组件z124，用于根据所述第一标记件202信息确定所述超声探头106于所述图像采集装置104坐标系的所述第一定位信息，根据所述第二标记件204信息确定所述操作器械108于所述图像采集装置104坐标系的所述第二定位信息。
199.在本公开的一些实施例中，如图19所示，所述引导信息模块z30包括：
200.预测位置关系单元z32，用于提取所述相对位置关系的第一特征数据；
201.预测轨迹340单元z34，用于根据所述相对位置关系、所述第二位置信息，获取所述操作器械108的预测轨迹340。
202.在本公开的一些实施例中，所述引导窗口310模块包括：
203.第一显示单元，用于在所述引导窗口310中以所述超声图像350为背景展示所述预测轨迹340在所述超声图像350上的投影，并在所述引导窗口310中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺320。
204.在本公开的一些实施例中，如图20所示，所述引导窗口310模块z40还包括：
205.预测位置关系单元z42，用于根据所述相对位置关系，以及所述预测轨迹340，获取所述预测轨迹340与所述超声图像350的预测位置关系；
206.显示模式单元z44，用于在所述预测位置关系满足预设位置条件的情况下，在所述引导窗口310中以第一显示模式展示所述操作器械108；在所述预测位置关系不满足预设位置条件的情况下，在所述引导窗口310中以第二显示模式展示所述操作器械108。
207.在本公开的一些实施例中，所述引导窗口310模块包括：
208.三维显示单元，用于在所述引导窗口310中展示所述操作器械108与所述超声图像350的三维模型360，并在所述引导窗口310中展示所述第一特征数据，以及展示以所述冰冻中心为中心的共心标尺320。
209.在本公开的一些实施例中，如图21所示，所述装置z00还包括：
210.数据采集模块z50，用于实时获取冰冻区域的体积数据和温度数据；
211.监测显示模块z60，用于在监测窗口中展示所述冰冻区域和所述冰冻区域的第二特征数据。
212.在本公开的一些实施例中，如图22所示，所述数据采集模块z50包括：
213.扫描单元z52，用于指示所述超声图像350沿设定方向扫描所述冰冻区域，获取设定方向上所述冰冻区域的横截面积；
214.体积计算单元z54，用于根据所述横截面积计算获得所述冰冻区域体积数据。
215.在本公开的一些实施例中，如图23所示，所述装置z00还包括：
216.冰冻条件模块z70，用于根据所述第二特征数据判断所述冰冻区域是否满足冰冻条件；
217.预警模块z80，用于响应于所述第二特征数据不满足所述冰冻条件，在所述监测窗口展示预警信息。
218.上述手术引导与监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
219.基于前述手术引导与监测方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图24所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种手术引导与监测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
220.本领域技术人员可以理解，图中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
221.基于前述手术引导与监测方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
222.基于前述手术引导与监测方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
223.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形
处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
224.在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
225.可以理解的是，本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。
226.上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
227.以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。