靶点识别方法、装置、手术系统、计算机设备和存储介质与流程

1.本技术涉及图像识别技术领域，特别是涉及一种靶点识别方法、装置、手术系统、计算机设备、存储介质和计算机程序产品。


背景技术：

2.在多靶点切除手术中，由于靶点相对大小、位置、形状不一，随着手术进程根据新的组织暴露，需要重新进行切除靶点决策。而在靶点决策前，需保证靶点识别的准确性。
3.传统技术中，靶点识别方法先获取待识别图像，然后对待识别图像进行特征提取，得到图像特征，之后根据图像特征进行靶点识别，得到靶点的识别结果，该识别结果包括靶点的位置信息和尺寸信息。
4.然而，采用传统技术，会存在漏报或错报的情况，导致靶点识别的准确性较低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高靶点识别准确性的靶点识别方法、装置、手术系统、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种靶点识别方法。所述方法包括：
7.将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度；
8.将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对所述待校核模型识别结果的校核指令；
9.基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果；
10.根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
11.在其中一个实施例中，所述根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果，包括：
12.融合所述置信度小于或等于预设置信度阈值的模型识别结果以及所述校核识别结果，得到所述待识别图像中靶点的目标识别结果。
13.在其中一个实施例中，所述融合所述置信度小于或等于预设置信度阈值的模型识别结果以及所述校核识别结果，得到所述待识别图像中靶点的目标识别结果，包括：
14.对所述置信度小于或等于预设置信度阈值的模型识别结果以及所述校核识别结果进行加权求和，得到加权求和结果；
15.根据所述加权求和结果，确定所述待识别图像中靶点的目标识别结果。
16.在其中一个实施例中，所述靶点决策模型包括靶点识别模型和置信度计算模型；所述将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度，包括：
17.将所述待识别图像输入至所述靶点识别模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的决策向量；
18.将所述决策向量输入至所述置信度计算模型，得到所述模型识别结果对应的置信度。
19.在其中一个实施例中，所述将所述待识别图像输入至所述靶点识别模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的决策向量，包括：
20.通过所述靶点识别模型，对所述待识别图像进行多尺度特征提取，得到不同尺度的特征图；
21.通过所述靶点识别模型，获取所述不同尺度的特征图中的图像边缘特征；
22.通过所述靶点识别模型，将所述图像边缘特征分别与对应尺度的特征图进行合并，得到不同尺度的图像合并特征；
23.通过所述靶点识别模型，根据所述不同尺度的图像合并特征以及所述图像边缘特征的融合结果，确定所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的决策向量。
24.在其中一个实施例中，所述置信度计算模型为概率图神经网络模型；所述将所述决策向量输入至所述置信度计算模型，得到所述模型识别结果对应的置信度，包括：
25.将所述决策向量输入至所述概率图神经网络模型，得到所述模型识别结果对应的置信度。
26.在其中一个实施例中，所述接收外部输入的针对所述待校核模型识别结果的校核指令，包括：
27.通过显示器展示所述待校核模型识别结果；
28.通过人机交互接口接收外部输入的针对所述待校核模型识别结果的校核指令。
29.在其中一个实施例中，所述基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果，包括：
30.对所述校核指令进行解析，得到指令解析结果；
31.根据所述指令解析结果对所述待校核模型识别结果进行校核，得到校核识别结果。
32.在其中一个实施例中，所述校核指令包括多种不同模态的校核指令；
33.所述对所述校核指令进行解析，得到指令解析结果，包括：
34.对多种不同模态的校核指令分别进行解析，得到不同的指令解析结果；
35.所述根据所述指令解析结果对所述待校核模型识别结果进行校核，得到校核识别结果，包括：
36.对不同的指令解析结果进行融合，得到指令融合结果；
37.根据所述指令融合结果对所述待校核模型识别结果进行校核，得到校核识别结果。第二方面，本技术还提供了一种靶点识别装置。所述装置包括：
38.图像处理模块，用于将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度；
39.指令接收模块，用于将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对所述待校核模型识别结果的校核指令；
40.结果校核模块，用于基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果；
41.靶点确定模块，用于根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
42.第三方面，本技术还提供了一种手术系统。所述系统包括：
43.图像主机系统，用于将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度，并将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果；
44.人机交互接口，用于接收外部输入的针对所述待校核模型识别结果的校核指令；
45.所述图像主机系统，还用于基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果，以及根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
46.第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
47.将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度；
48.将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对所述待校核模型识别结果的校核指令；
49.基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果；
50.根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
51.第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
52.将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度；
53.将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对所述待校核模型识别结果的校核指令；
54.基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果；
55.根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
56.第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
57.将待识别图像输入至预设的靶点决策模型，得到所述待识别图像中靶点的模型识别结果和所述模型识别结果对应的置信度；
58.将所述置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对所述待校核模型识别结果的校核指令；
59.基于所述校核指令对所述待校核模型识别结果进行校核，得到校核识别结果；
60.根据所述校核识别结果，确定所述待识别图像中靶点的目标识别结果。
61.上述靶点识别方法、装置、手术系统、计算机设备、存储介质和计算机程序产品，先选出置信度较低的模型识别结果，认为其对应的检测对象为疑似靶点。而针对疑似靶点，会进一步根据外部传入的校核指令来校核其是否为靶点，最后基于校核识别结果来确定出待识别图像中检测对象是靶点的目标识别结果。由此可见，本技术在疑似靶点的处理上，会进一步采用外部校核指令，例如人工校核指令，来校核其是否为靶点，如此针对识别出错率较
高的疑似靶点，即使模型识别出错后也能及时通过校核方式来纠正，有利于提高靶点识别的准确性。
附图说明
62.图1为一个实施例中靶点识别方法的流程示意图；
63.图2为一个实施例中靶点识别方法的应用环境图；
64.图3为一个实施例中靶点识别方法的数据流向图；
65.图4为一个实施例中多尺度边缘自注意靶点识别网络模型的结构图；
66.图5为一个实施例中决策融合的数据流向图；
67.图6为一个实施例中概率图神经网络模型的结构图；
68.图7为一个实施例中人工决策建模的流程示意图；
69.图8为一个实施例中靶点识别方法的流程示意图；
70.图9为一个实施例中交互效果图；
71.图10为一个实施例中靶点识别装置的结构框图；
72.图11为一个实施例中计算机设备的内部结构图。
具体实施方式
73.在一个实施例中，如图1所示，提供了一种靶点识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
74.步骤s102，将待识别图像输入至预设的靶点决策模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的置信度。
75.其中，模型识别结果对应的置信度用于评估靶点的模型识别结果是否需要进行后续的结果校核。置信度越低，表明模型识别出检测对象为靶点的出错率越高；反之，置信度越高，表明模型识别出检测对象为靶点的出错率越低。该置信度可由待识别图像中提取的决策向量通过计算获得。
76.在一具体实例中，如图2和图3所示，终端包括双目内窥镜视觉系统、图像主机系统和人机交互系统(包括人机交互接口)。双目内窥镜视觉系统用于实时采集手术场景下的内窥镜图像，获得待识别图像，然后将待识别图像传输至图像主机系统。图像主机系统用于将待识别图像输入至预设的靶点决策模型中，得到靶点的模型识别结果和模型识别结果对应的置信度。
77.步骤s104，将置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对待校核模型识别结果的校核指令。
78.具体地，在一个实施例中，图像主机系统比较置信度与预设的置信度阈值的大小，并将置信度小于或等于置信度阈值的模型识别结果作为待校核模型识别结果发送至人机交互系统，用来获得外部输入的针对待校核模型识别结果的校核指令。该人机交互系统可实现医生端的可视化并通过其自带接口实现人机交互。可以理解，将模型识别出错率较高的靶点的模型识别结果发送给人工进行进一步地人工校核处理，可及时纠正模型识别错误的模型识别结果，从而有效降低靶点的识别出错率。
79.在另一个实施例中，图像主机系统也可以将待校核模型识别结果发送至外部的结果校核设备。结果校核设备对待校核模型识别结果进行分析，生成校核指令并返回给图像主机系统。
80.步骤s106，基于校核指令对待校核模型识别结果进行校核，得到校核识别结果。
81.具体地，图像主机系统对校核指令进行解析，得到指令解析结果，然后根据指令解析结果对待校核模型识别结果进行校核，得到校核识别结果。可选地，在一个实施例中，指令解析结果可以是校核识别结果标识。图像主机系统对校核指令进行解析，得到校核识别结果标识，然后根据校核识别结果标识，确定待校核模型识别结果的校核识别结果。在另一个实施例中，像主机系统对校核指令进行解析，得到指令解析结果，然后根据指令解析结果对应的校核算法对待校核模型识别结果进行校核，得到校核识别结果。
82.步骤s108，根据校核识别结果，确定待识别图像中靶点的目标识别结果。
83.具体地，在一个实施例中，为了一并考量模型和人工对于靶点识别的影响，图像主机系统将待校核模型识别结果和校核识别结果进行融合，得到待识别图像中靶点的目标识别结果。可选地，图像主机系统根据待校核模型识别结果以及待校核模型识别结果对应的权重，校核识别结果以及校核识别结果对应的权重进行加权融合，得到待识别图像中靶点的目标识别结果。本实施例中，考虑到人工决策与机器决策之间可能存在决策重叠，且人工决策的可信度通常高于机器决策。因此在决策融合中，机器决策与人工决策将采用加权融合的方式实现。在融合后，通过后处理的优化实现最终决策。
84.上述靶点识别方法中，先选出置信度较低的模型识别结果，认为其对应的检测对象为疑似靶点。而针对疑似靶点，会进一步根据外部传入的校核指令来校核其是否为靶点，最后基于校核识别结果来确定出待识别图像中检测对象是靶点的目标识别结果。由此可见，本技术在疑似靶点的处理上，会进一步采用外部校核指令，例如人工校核指令，来校核其是否为靶点，如此针对识别出错率较高的疑似靶点，即使模型识别出错后也能及时通过校核方式来纠正，有利于提高靶点识别的准确性。
85.在一个实施例中，靶点决策模型包括靶点识别模型和置信度计算模型。基于此，在一个实施例中，涉及上述步骤s102“将待识别图像输入至预设的靶点决策模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的置信度”的一种可能的实现方式。在上述实施例的基础上，步骤s102具体可以通过以下步骤实现：
86.步骤s1022，将待识别图像输入至靶点识别模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量；
87.步骤s1024，将决策向量输入至置信度计算模型，得到模型识别结果对应的置信度。
88.具体地，图像主机系统将待识别图像输入至预设的靶点识别模型中，得到待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量。该决策向量既包含低级的位置轮廓等信息，也包含网络提取的高级决策信息。然后，图像主机系统将决策向量输入至预设的置信度计算模型，得到模型识别结果对应的置信度。可选地，如图4和图5所示，图像主机系统将决策向量输入至预设的概率图神经网络模型中，得到模型识别结果对应的置信度，通过该模型的级联图神经网络结构进行计算，最终实现对机器决策的评估与对人工决策的分流。
89.本实施例中，采用深度图神经网络解决疑似区域手术靶点概率估计，更好地利用决策向量，更精准确定人工决策需求。同时使用人机协同实现机器定位靶点的纠正而不是模型准确率评价，提高人工决策的利用率。
90.进一步地，在一个实施例中，涉及上述步骤s1022“将待识别图像输入至靶点识别模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量”的一种可能的实现方式。在上述实施例的基础上，步骤s1022具体可以通过以下步骤实现：
91.步骤s112，通过靶点识别模型，对待识别图像进行多尺度特征提取，得到不同尺度的特征图；
92.步骤s114，通过靶点识别模型，获取不同尺度的特征图中的图像边缘特征；
93.步骤s116，通过靶点识别模型，将图像边缘特征分别与对应尺度的特征图进行合并，得到不同尺度的图像合并特征；
94.步骤s118，通过靶点识别模型，根据不同尺度的图像合并特征以及图像边缘特征的融合结果，确定待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量。
95.可选地，如图6所示，靶点识别模型可以是多尺度边缘自注意靶点识别网络模型。图像主机系统通过多尺度边缘自注意靶点识别网络模型中的多尺度特征提取结构，在不同尺度层面下提取手术靶点的尺寸、位置、颜色、轮廓以及网络提取的高级特征，这些特征构成不同尺度的特征图。多尺度特征提取结构将不同尺度的特征图传输至多尺度边缘自注意靶点识别网络模型中的多个尺度特征计算结构中。另一方面，多尺度特征提取结构将不同尺度的特征图传输至边缘特征计算结构中。边缘特征计算结构对不同尺度的特征图中的边缘轮廓信息进行解码，得到图像边缘特征。边缘特征计算结构将图像边缘特征传输至多个尺度特征计算结构中，为多个尺度特征计算结构提供边缘信息，辅助不同尺度下的靶点识别。
96.各尺度特征计算结构将图像边缘特征分别与对应尺度的特征图进行合并，得到不同尺度的图像合并特征。多尺度边缘自注意靶点识别网络模型中的融合计算结构将不同尺度的图像合并特征和图像边缘特征进行融合，得到融合结果，最后多尺度边缘自注意靶点识别网络模型中的手术靶点定位结构根据融合结果确定待识别图像中靶点的模型识别结果，多尺度边缘自注意靶点识别网络模型中的决策向量计算结构根据融合结果确定模型识别结果对应的决策向量。
97.本实施例中，采用多尺度自监督网络实现复杂环境的靶点识别，能够更好地满足腔镜手术场景应用，有利于提高疑难靶点的准确识别。进而将机器多尺度边缘自注意靶点识别网络靶点决策与人工靶点决策进行融合，在手术靶点纠正这一任务中实现机器决策替代部分医生决策的同时保留手术医生对安全性的监督与把控能力，有利于提高手术中医生实时靶点决策的效率，提高手术安全性和可靠性。
98.对于分流至人工决策的部分将通过图像主机系统进行可视化并传递至人机交互系统，进行交互式人工决策。在一个实施例中，涉及上述步骤“接收外部输入的针对待校核模型识别结果的校核指令”的一种可能的实现方式。在上述实施例的基础上，该步骤具体可以通过以下步骤实现：
99.步骤s1042，通过显示器展示待校核模型识别结果；
100.步骤s1044，通过人机交互接口接收外部输入的针对待校核模型识别结果的校核
指令。
101.具体地，图像主机系统通过人机交互系统中的显示器，向医生展示置信度小于或等于置信度阈值的待校核模型识别结果。人机交互系统支持医生通过语音、手势与界面的多种交互方式进行决策，并通过人机交互系统中的人机交互接口接收外部输入的医生针对待校核模型识别结果的人工校核指令。
102.在一个实施例中，步骤s106包括以下步骤：
103.步骤s1062，对校核指令进行解析，得到指令解析结果；
104.步骤s1064，根据人工决策指令的指令解析结果，对待校核模型识别结果进行校核，得到校核识别结果。
105.进一步地，校核指令包括多种不同模态的校核指令，例如可以是语音校核指令、界面校核指令和手势校核指令等等。在一个实施例中，图像主机系统对多种不同模态的校核指令分别进行解析，得到不同的指令解析结果，然后对不同的指令解析结果进行融合，得到指令融合结果，最后根据指令融合结果对待校核模型识别结果进行校核，得到校核识别结果。
106.具体地，如图7所示，在多模态人工决策解析与决策建模过程中，通过多模态指令解析、解析指令建模、多模态指令融合、决策预处理与人工决策生成五个步骤实现人工决策的高级认知向机器可读的决策指令转化的过程，减轻手术医生的操作难度，实现对手术医生高级认知的利用。
107.本实施例中，通过设置多种人机交互方式进行决策，实现多种输入信号的同时分析与处理，无需对每一种输入设置单独逻辑，有利于减轻医生决策难度与交互复杂度，更好地利用高级认知信息。
108.在一个实施例中，待识别图像可以是结节图像。基于此，靶点识别方法包括以下步骤：
109.步骤s201，双目内窥镜视觉系统将实时采样结节手术场景图像传至图像主机系统；
110.步骤s202，图像主机系统对图像进行参数调整；
111.步骤s203，判断是否到达靶点更新时间；
112.若是，则执行步骤s204，提取不同下采样程度下的特征图进行特征计算，以适应环境中复杂的结节，以及执行步骤s205，边缘敏感解码层进行特征提取后解码，提取所有疑似结节区域的轮廓信息用于在不同尺度下辅助疑似结节的位置与轮廓确定；若否，则执行步骤s211；
113.步骤s206，将网络中检出敏感度调高，尽可能筛出疑似的结节区域，随后通过融合计算与决策向量计算模块，根据每个检出的疑似结节区域的形状、位置等信息以及网络提取的深度特征生成靶点决策向量；
114.步骤s207，决策向量将被用于概率估计图神经网络进行判定是否需要人工决策；
115.步骤s208，判断是否需要人工决策；
116.若是，则执行步骤s209，对于判定需要人工决策的靶点，系统将提示信息传递至人机交互系统，术者接收到提示信息后，将通过交互系统提供的语音、手势、界面等接口给出指令，通过人工决策建模最终生成人工决策；若否，则执行步骤s210；
117.步骤s210，决策融合；
118.步骤s211，通过裸眼3d视觉系统展示融合决策。
119.在一个实施例中，双目内窥镜视觉系统包括左目镜头、右目镜头、冷光源、电缆、接口(包括图像主机系统接口)等物理系统，以及用于调节亮度、白平衡等图像质量的微型视觉控制系统。使用双目内窥镜视觉系统作为系统载体，整体结构更加紧凑高效。在双目内窥镜视觉系统中采用了裸眼3d柱状透镜技术。裸眼3d柱状透镜技术也称为微柱透镜3d技术，其原理是使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到不同的子像素，构成3d视觉。该技术是裸眼3d交互系统的重要组成部分。
120.裸眼3d交互系统包括与图像主机系统交互的双向接口，为人机交互系统提供接口的显示与交互控制系统，以及为实现裸眼3d视觉的左目镜头和右目镜头。在人机交互的人至机器的决策过程中，人机交互系统中的面板同时接收语音、手势以及界面三种信号输入。显示与交互控制系统将对信号进行简单的处理后通过图像主机系统接口传输至图像主机系统进行决策解析与建模。
121.在机器至人发送可视化过程中，图像主机系统发出的可视化信息将在显示与交互控制系统中再进行处理，通过生成至左目视觉与右目视觉，最终在裸眼3d显示器提供立体视觉。在人机交互过程中交互数据从医生端到图像主机系统在输入和输出过程中均经历了两个中间节点。其中，在输入过程中，人机交互系统通过输入接口读入医生的抽象指令并将其简单封装，图像主机系统将其初步解析成算法模型可读信息，随后该信息被传输至算法层作为多模态人机协同手术靶点纠正算法的输入。输出过程中，算法最终的输出结果将通过相同的中间节点，通过人机交互系统的裸眼3d视觉系统为手术医生提供可视化。
122.图像主机系统包括内窥镜系统图像输入接口、图像预处理与优化模块、人机协同子系统硬件平台和可视化后处理模块，其中，内窥镜系统图像输入接口用于接收双目内窥镜视觉系统的输入。图像预处理与优化模块用于通过视觉算法实现图像画质与细节上的优化。人机协同子系统硬件平台用于提供算法所需要的算力，计算环境并提供输入输出接口。可视化后处理模块用于针对算法与人工决策的结果进行可视化。
123.在一具体应用场景中，以多个微小结节靶点切除手术为例，在手术中由于多靶点且相对大小、位置、形状不一，随着手术进程根据新的组织暴露需要重新进行切除靶点决策，人工决策压力较大。而实际大部分的结节具有明显特征，使用机器决策即可得到很高的准确率，本系统将大大减少人工决策的工作量，在该应用中的交互效果如图9示。
124.本技术实施例中，通过对多尺度边缘自注意靶点识别网络得出的疑似靶点判断进行可信度评估，并提供多模态的人机交互接口对于机器识别的疑难靶点以协同决策的方式进行自主纠正。可改变腔镜手术中的机器决策与人工决策分离的技术现状，实现人机协同在保证安全性的同时减轻医生决策工作量。
125.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这
些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
126.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的靶点识别方法的靶点识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个靶点识别装置实施例中的具体限定可以参见上文中对于靶点识别方法的限定，在此不再赘述。
127.在一个实施例中，如图10所示，提供了一种靶点识别装置，包括：图像处理模块202、指令接收模块204、结果校核模块206和靶点确定模块208，其中：
128.图像处理模块202，用于将待识别图像输入至预设的靶点决策模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的置信度；
129.指令接收模块204，用于将置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果，并接收外部输入的针对待校核模型识别结果的校核指令；
130.结果校核模块206，用于基于校核指令对待校核模型识别结果进行校核，得到校核识别结果；
131.靶点确定模块208，用于根据校核识别结果，确定待识别图像中靶点的目标识别结果。
132.在一个实施例中，靶点确定模块208具体用于融合置信度小于或等于预设置信度阈值的模型识别结果以及校核识别结果，得到待识别图像中靶点的目标识别结果。
133.在一个实施例中，靶点确定模块208具体用于对置信度小于或等于预设置信度阈值的模型识别结果以及校核识别结果进行加权求和，计算得到待识别图像中靶点的目标识别结果。
134.在一个实施例中，靶点决策模型包括靶点识别模型和置信度计算模型；图像处理模块202具体用于将待识别图像输入至靶点识别模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量；将决策向量输入至置信度计算模型，得到模型识别结果对应的置信度。
135.在一个实施例中，图像处理模块202具体用于通过靶点识别模型，对待识别图像进行多尺度特征提取，得到不同尺度的特征图；通过靶点识别模型，获取不同尺度的特征图中的图像边缘特征；通过靶点识别模型，将图像边缘特征分别与对应尺度的特征图进行合并，得到不同尺度的图像合并特征；通过靶点识别模型，根据不同尺度的图像合并特征以及图像边缘特征的融合结果，确定待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量。
136.在一个实施例中，置信度计算模型包括概率图神经网络模型；图像处理模块202具体用于将决策向量输入至预设的概率图神经网络模型中，得到机器识别结果对应的置信度。
137.在一个实施例中，人工决策模块204具体用于通过显示器展示待校核模型识别结果；通过人机交互接口接收外部输入的针对待校核模型识别结果的校核指令。
138.在一个实施例中，人工决策模块206具体用于对校核指令进行解析，得到指令解析结果；根据指令解析结果对待校核模型识别结果进行校核，得到校核识别结果。
139.在一个实施例中，校核指令包括多种不同模态的校核指令；人工决策模块206具体
用于对多种不同模态的校核指令分别进行解析，得到不同的指令解析结果；对不同的指令解析结果进行融合，得到指令融合结果；根据指令融合结果对待校核模型识别结果进行校核，得到校核识别结果。上述靶点识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
140.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种靶点识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
141.本领域技术人员可以理解，图11中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
142.在一个实施例中，还提供了一种手术系统，该系统包括：
143.图像主机系统，用于将待识别图像输入至预设的靶点决策模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的置信度，并将置信度小于或等于预设置信度阈值的模型识别结果确定为待校核模型识别结果；
144.人机交互接口，用于接收外部输入的针对待校核模型识别结果的校核指令；
145.图像主机系统，还用于基于校核指令对待校核模型识别结果进行校核，得到校核识别结果，以及根据校核识别结果，确定待识别图像中靶点的目标识别结果。
146.在一个实施例中，图像主机系统具体用于融合置信度小于或等于预设置信度阈值的模型识别结果以及校核识别结果，得到待识别图像中靶点的目标识别结果。
147.在一个实施例中，图像主机系统具体用于将待识别图像输入至靶点识别模型，得到待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量；将决策向量输入至置信度计算模型，得到模型识别结果对应的置信度。
148.在一个实施例中，图像主机系统具体用于通过靶点识别模型，对待识别图像进行多尺度特征提取，得到不同尺度的特征图；通过靶点识别模型，获取不同尺度的特征图中的图像边缘特征；通过靶点识别模型，将图像边缘特征分别与对应尺度的特征图进行合并，得到不同尺度的图像合并特征；通过靶点识别模型，根据不同尺度的图像合并特征以及图像边缘特征的融合结果，确定待识别图像中靶点的模型识别结果和模型识别结果对应的决策向量。
149.在一个实施例中，该系统还包括：
150.显示器，用于展示待校核模型识别结果。
151.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
152.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
153.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
154.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
155.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
156.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
157.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。