手术针关键点的定位方法、医疗系统及介质与流程

1.本说明书属于医疗器械技术领域，尤其涉及手术针关键点的定位方法、医疗系统及介质。


背景技术：

2.通常医疗系统在采集得到关于手术区域的内窥镜图像后，需要对内窥镜图像中的目标物 (例如，手术器械、手术针)的关键点进行定位。
3.目前在图像关键点检测领域，主要采用深度学习算法，通过卷积神经网络对物体关键点 坐标进行热力图回归计算。采用该种计算方式进行计算时，受限于计算量等问题，使得关键 点检测结果存在不可避免的量化误差，特别是图像中的目标物除了包含手术器械等像素相对 较大的目标物，同时又包含手术针等像素比较小的目标物时，严重影响了像素比较小的手术 针关键点定位的准确性。
4.目前，亟需对现有的手术针关键点定位方法进行改进，以提升像素比较小的手术针关键 点定位的准确性。


技术实现要素：

5.本说明书提供了一种手术针关键点的定位方法、医疗系统及介质，能够精准地对诸如手 术场景等环境较为复杂的场景下所采集到的图像中的目标物，特别是像素比较小的手术针， 进行关键点定位。
6.本说明书实施方式提供了一种手术针关键点的定位方法，包括：
7.对包含手术器械和手术针的待处理图片进行训练，获取网络模型，并通过所述网络模型 至少输出与手术针关键点个数相匹配的热力图；
8.对所述热力图进行平滑处理获得调整后的热力图，并基于所述调整后的热力图求出调整 后的热力图上的手术针关键点坐标；
9.将所述调整后的热力图上的手术针关键点坐标映射至所述待处理图片中，确定出所述待 处理图片中的手术针关键点坐标。
10.在一个优选的实施方式中，所述对包含手术器械和手术针的待处理图片进行训练包括：
11.对包含手术器械和手术针的待处理图片中的手术针关键点进行数据标注后生成数据标 签；
12.对所述数据标签对应的数据进行预处理，构建训练数据。
13.在一个优选的实施方式中，所述获取网络模型包括：
14.基于所述训练数据的选取相匹配的深度学习网络模型；
15.将所述训练数据输入所述深度学习网络模型中进行模型训练，以获取用于输出热力图的 网络模型。
16.在一个优选的实施方式中，所述网络模型在输出与手术针关键点个数相匹配的热
力图的 同时还输出能调整尺度差异的尺度图。
17.在一个优选的实施方式中，所述方法还包括：
18.增加所述网络模型的网络分支；
19.利用所述网络分支预测目标尺度图；
20.将所述网络分支预测的目标尺度图和所述热力图的标准差相乘，获得不同视野下的标准 差，其中，有效区较大的手术器械关键点所对应的标准差大于有效区较小的手术针关键点。
21.在一个优选的实施方式中，所述方法还包括：
22.利用所述网络模型输出的尺度图对数据标签进行原高斯核大小调整，获取所述数据标签 的原高斯核的放缩系数，生成优化后的数据标签；
23.根据所述优化后的数据标签和所述网络模型输出的热力图确定所述网络模型的损失函 数；
24.根据所述损失函数反向优化所述网络模型的参数。
25.在一个优选的实施方式中，所述对包含手术器械和手术针的待处理图片进行训练具体为 通过深度神经网络进行训练。
26.在一个优选的实施方式中，所述深度神经网络的训练步骤包括：
27.将所述深度神经网络中的参数、计数器进行初始化；
28.将待处理图片转换成数组后输入所述深度神经网络；
29.通过所述深度神经网络计算获得神经网络每一层的输出，并通过损失函数确定标签与输 出之间的误差；
30.基于损失函数确定的所述误差，通过链式求导方法，反向梯度更新所述深度神经网络每 一层的参数；
31.当所述误差满足预设条件后训练结束。
32.在一个优选的实施方式中，在对包含手术器械和手术针的待处理图片进行训练前，所述 方法还包括：获取待处理图片，所述待处理图片包括直接采集的图像和/或经过优化处理的图 像。
33.在一个优选的实施方式中，当所述待处理图片为经过优化处理的图像时，所述优化处理 的方式包括：
34.将采集的图像输入到图像检测网络模型中，获取图像中目标物的检测框位置；
35.根据所述检测框位置，将所述目标物从所述图像中截取出，以获得包含目标物的图像。
36.在一个优选的实施方式中，所述基于所述调整后的热力图求出调整后的热力图上的关键 点坐标包括：
37.将调整后的热力图用二维高斯函数表示；
38.对上述二维高斯函数两边分别求对数函数，获得第一关系式；
39.将调整前和调整后的热力图上的关键点坐标导入泰勒公式中，获得第二关系式；
40.根据所述第一关系式和第二关系式求一阶导数和二阶导数，获得调整后的热力图上的关 键点坐标。
41.一种医疗系统，包括内窥镜和图像的处理装置，所述图像的处理装置用于采用上
述任一 项所述手术针关键点的定位方法对所述内窥镜采集的图像进行处理。
42.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任一项 所述方法的相关步骤。
43.本发明的特点和优点是：
44.整体上，本技术说明书中所提供的手术针关键点的定位方法，通过对包含手术器械和手 术针的待处理图片进行训练，获取匹配的网络模型，并且对利用网络模型输出的热力图进行 平滑处理，更准确地计算出热力图的峰值，实现手术针关键点坐标优化，当将优化后的手术 针关键点坐标映射至原图(即待处理图片)中时，能够更为精准地确定出待处理图片中的手 术针关键点坐标，当其应用在手术器械中时，能够更为准确地定位手术针等像素较小的目标 物的手术针关键点位置，从而待处理图片在计算成本较低的前提下，提高了手术针关键点的 坐标准确性，对后期自动手术缝合奠定基础。
45.参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以 被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求 的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。针对一种实施方式 描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它 实施方式中的特征相组合，或替代其它实施方式中的特征。
附图说明
46.为了更清楚地说明本说明书实施方式，下面将对实施方式中所需要使用的附图作简单地 介绍，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员 来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本说明书的一个实施方式提供的关键点的定位方法的步骤流程示意图；
48.图2是在一个场景示例中，应用本说明书实施方式提供的关键点的定位方法的一种实施 方式的示意图；
49.图3是在一个场景示例中，应用本说明书实施方式提供的关键点的定位方法的一种实施 方式的示意图；
50.图4是本说明书的一个实施方式提供的关键点的定位方法的流程示意图；
51.图5是在一个场景示例中，应用本说明书实施方式提供的关键点的定位方法的一种实施 方式的示意图；
52.图6是在本说明书实施方式提供的关键点的定位方法的一种算法原理示意图；
53.图7是在图6中算法的数据标签示意图；
54.图8是本说明书实施方式中提供的一种热力图标签优化的示意图；
55.图9是本说明书实施方式中提供的关键点的定位方法中的深度学习网络示意图；
56.图10是本说明书实施方式中提供的关键点的定位方法中一种训练网络过程示意图；
57.图11是本说明书实施方式中提供的关键点的定位方法中一种损失函数优化的示意图；
58.图12是本说明书实施方式中提供的关键点的定位方法中将热力图映射至原图的示意图；
59.图13是本说明书实施方式中提供的关键点的定位方法中将热力图平滑处理的示意图；
60.图14是本说明书实施方式中提供的关键点的定位方法中关键点坐标优化的示意图；
61.图15利用本说明书实施方式中提供的关键点的定位方法获取的预测结果与传统方法获 取的预测结果的对比示意图；
62.图16是一种本说明书实施方式中提供的关键点的定位方法在手术中的用途流程图；
63.图17是另一种本说明书实施方式中提供的关键点的定位方法在手术中的用途流程图。
具体实施方式
64.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施 方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的 实施方式仅仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施 方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应 当属于本说明书保护的范围。
65.参阅图1所示，本说明书实施方式提供了一种手术针关键点的定位方法。其中，该方法 具体应用于医疗系统一侧，具体而言其可以应用到手术器械领域，具体为一种包含较小像素 目标物——手术针的手术器械关键点的定位方法，从而提高手术器械中小像素目标物定位的 准确性。当然，该手术针关键点的定位方法并不限于上述所举例的应用领域，在本说明书中 主要以应用在手术器械中为例进行举例说明，其他应用场景可以参照本说明书所举例子进行 适应性替换，本技术在此不再一一展开详述。
66.具体实施时，该方法可以包括以下内容。
67.步骤s11：对包含手术器械和手术针的待处理图片进行训练，获取网络模型，并通过所 述网络模型至少输出与手术针关键点个数相匹配的热力图。
68.步骤s13：对所述热力图进行平滑处理获得调整后的热力图，并基于所述调整后的热力 图求出调整后的热力图上的手术针关键点坐标。
69.步骤s15：将所述调整后的热力图上的手术针关键点坐标映射至所述待处理图片中，确 定出所述待处理图片中的手术针关键点坐标。
70.在一些实施方式中，上述包含手术器械和手术针的待处理图片可以为通过图像采集设备 获取到，例如可以通过内窥镜获取。该待处理图片中至少包含需要进行关键点定位的目标物， 例如手术器械、手术针等。其中，获取待处理图片的方式可以包括下述中的任意一种：直接 采集的图像、经过优化处理的图像。
71.当该待处理图片为通过内窥镜等图像采集设备直接采集的图像时，该图像的尺寸能够满 足设定的要求(一般在预设尺寸范围以内)，从而有利于减小后续图片中关键点定位的工作 量，提升关键点定位的准确性。其中，该预设尺寸范围的具体数值可以根据具体应用场景等 的不同而不同，本技术在此并不做具体的限定。
72.当待处理图片为经过优化处理的图像时，所述优化处理的方式包括：
73.s101：将采集的图像输入到图像检测网络模型中，获取图像中目标物的检测框位置；
74.s102：根据所述检测框位置，将所述目标物从所述图像中截取出，以获得包含目标物的 图像。
75.以该方法应用在手术平台中为例，利用内窥镜采集到的图像除了包含目标物，例如手术 器械和手术针之外还可能包括其他非目标物，例如手术平台中的其他器械等。这些非目标物 作为目标物的背景，在图片中所占的比例越小，越有利于降低后续数据处理的难度、提高数 据处理的精度。为此，可以为目标物设定一个检测框，并基于该检测框的位置，将目标物从 该检测框内截取，以尽可能获得目标物占比较高的图像，甚至仅包含目标物的图像。
76.当然，需要说明的是，该检测框的形状可以为矩形，也可以为圆形，或者其他规则、甚 至是不规则的形状，本技术在此并不做具体的限定。当然，在一些特殊情况下，该检测框中 也可以包含少量的非目标物图像。
77.在本实施方式中，步骤s11中对包含手术器械和手术针的待处理图片进行训练可以包括：
78.s111：对包含手术器械和手术针的待处理图片中的手术针关键点进行数据标注后生成数 据标签。
79.s113：对所述数据标签对应的数据进行预处理，构建训练数据。
80.其中，预处理可以包括下述中的任意一种或多种组合：随机裁剪、水平翻转、颜色抖动。
81.在一些实施方式中，上述图像的处理方法具体可以应用于医疗系统(例如，手术机器人 等)一侧。具体可以参阅图2和图3。
82.其中，图2具体为面向医生一侧，由医生操作控制的医疗系统的控制台1。图3为面向患 者一侧，响应医生通过控制台1发起的操作指令，为患者执行具体手术操作的医疗系统的手 术台2。上述手术台2具体可以配置有诸如内窥镜3、机械臂、图像的处理装置、机械臂控制 装置等相关器械设备。
83.上述内窥镜3具体可以包括硬性内窥镜和软性内窥镜等。所述内窥镜3具有摄像头和图像 传感器等部件。所述摄像头用于将被摄物体成像于图像传感器上，所述图像传感器用于根据 摄像头的成像输出电信号，所述电信号用于生成包含被摄物体(目标物)的图像。
84.具体的，请结合参阅图4，为本技术一个实施方式提供的手术针关键点的定位方法的流 程示意图。在执行该手术针关键点的定位方法前，可以获取内窥镜下的图片。如图5所示， 该图5具体展示了内窥镜下的图像示意图，在内窥镜视野下可以看到手术器械、手术针和腹 腔内的软组织，生成的图片也是本技术实施方式中所用到的数据样本。
85.在获取内窥镜采集到图片后，可以对图片中目标物对应的关键点制作数据标签，后续再 对数据进行随机裁剪、水平翻转、颜色抖动等预处理来构建训练数据。
86.其中，该关键点可以根据目标物关键位置例如手术器械的末端、手术针的针头、针尾等 进行初步标定。通过对该数据标签中的数据进行预处理可以使得构建的训练数据更为丰富、 真实和全面，更有利于后续数据处理过程中精确地还原目标物。
87.其中，在步骤s11中获取网络模型具体可以包括如下步骤：
88.s115：基于所述训练数据的选取相匹配的深度学习网络模型；
89.s117：将所述训练数据输入所述深度学习网络模型中进行模型训练，以获取用于输出热 力图的网络模型。
90.在完成数据预处理并构建训练数据后，可以构建深度学习网络并训练网络模型。具体的， 如图4所示，可以调研符合该数据特点的深度学习网络模型，搭建深度学习网络，对深度学 习网络输入已经制作好的训练数据进行模型训练，利用该网络模型输出热力图。热力图是模 型最后提取出的特征图，也俗称概率图。该热力图一般与输入原图尺寸成预定的比例，例如 可以为原图尺寸的1/4。当然，该热力图与输入原图的尺寸比例可以根据实际应用的需求而作 适应性调整，本技术在此并不做具体的限定。
91.在获取该用于输出热力图的网络模型后，可以执行步骤s13以及步骤s15，即对所述热力 图进行平滑处理获得调整后的热力图，并基于所述调整后的热力图求出调整后的热力图上的 关键点坐标；将所述调整后的热力图上的关键点坐标映射至所述待处理图片中，确定出所述 待处理图片中的关键点坐标。
92.利用模型输出的热力图可以求出调整后的热力图中最大值，该最大值对应图中关键点的 坐标点位置。由于该坐标点是尺度图上的坐标，再通过映射回原图，可以得到原图的坐标。 整体上，本技术所提供的手术针关键点的定位方法在计算成本较低的前提下，提高了诸如手 术针等小目标物关键点的坐标准确性，对后期自动手术缝合奠定基础。
93.本技术发明人还发现：传统关键点检测采用固定的标准差进行热图回归的方法，忽略了 不同视野角度下目标物的尺度差异，这影响了诸如手术针等小目标物关键点坐标定位的准确 性。
94.为了解决上述问题，本技术所述网络模型在输出与关键点个数相匹配的热力图的同时还 输出能调整尺度差异的尺度图，从而提高手术针等小目标物坐标定位的精度。
95.具体的，该关键点定位方法还可以包括：
96.s121：增加所述网络模型的网络分支；
97.s123：利用所述网络分支预测目标尺度图；
98.s125：将所述网络分支预测的目标尺度图和所述热力图的标准差相乘，获得不同视野下 的标准差，其中，有效区较大的手术器械关键点所对应的标准差大于有效区较小的手术针关 键点。
99.结合参阅图4，尺度图就是根据主干网络输出后再进行一次卷积操作后得到的。它主要 是用来优化数据标签，提升标签的精确度。
100.此外，在本技术中，根据模型输出结果，还可以进行模型测试，如果效果好，直接工程 化部署，如果效果不好，可以进一步判断是数据问题还是网络问题，后续再进一步作出适应 性调整。
101.在一个具体的实施方式中，以图2和图3所示场景为例，并结合参阅图4，该包含手术针 的手术器械关键点的定位方法(或简称手术针关键点的定位方法)可以按照下述流程执行：
102.a1.采集内窥镜下的图片，该图片包括手术器械的彩色图片，图片格式可以保存为jpg， png等格式；
103.a2.通过数据标注，把内窥镜采集到的图片生成对应热力图原始标签；
104.a3.根据网络输出尺度图和热力图原始标签相结合，优化原始标签，生成最终优化后的 数据标签；
105.a4.根据图像特点采用合适的关键点定位网络，比如mspn、openpose、alphapose、 hrnetpose等；
106.a5.向关键点定位网络中输入已经制作好得训练数据进行模型训练；
107.a6.对模型损失函数进行调优；
108.a7.利用模型输出热力图上的关键点坐标，并通过坐标解码将热力图上的关键点坐标恢 复到原图的坐标空间，获得原图(例如内窥镜采集的图片)的关键点坐标。
109.以下结合具体的附图对本技术所提供的关键点的定位方法进行展开解释说明。
110.其中，该关键点的定位方法还可以包括：
111.s141：利用所述网络模型输出的尺度图对数据标签进行原高斯核大小调整，获取所述数 据标签的原高斯核的放缩系数，生成优化后的数据标签；
112.s143：根据所述优化后的数据标签和所述网络模型输出的热力图确定所述网络模型的损 失函数；
113.s145：根据所述损失函数反向优化所述网络模型的参数。
114.具体的，如图6所示，为本发明实施方式的手术器械关键点定位方法的一种算法原理示 意图，其可以分为训练阶段和推理阶段。
115.在模型训练阶段
116.1、原图a1经过网络模型a2后，可以输出尺度图和热力图；
117.具体的，2、利用尺度图对原始标签a3进行原高斯核大小调整，该尺寸调整a4主要是把通 过网络模型a2自适应获得原始标签a3的原高斯核的放缩系数，即把尺度图当成类似于权重系 数一样，通过指数算法对原始标签a3进行调整，生成最新优化后的标签a5；
118.3、根据最新优化后的标签a5和模型输出的热力图求损失函数，根据损失函数反向优化 模型的参数。
119.在模型推理阶段(a1-》a2-》热力图-》a6)
120.1、过程同模型训练阶段1步骤(a1-》a2-》热力图)，根据热力图输出结果，通过坐标解码 恢复到原图坐标空间a6，实现手术器械关键点定位。
121.如图7所示，本发明实施方式中提供的关键点算法的数据标签示意图，该数据标注方法， 是把采集到的a21图像通过以a22中各个关键点(例如针头点、左右加持点、针尾点、转轴 点)的(x，y)坐标为中心，以固定值为方差，通过二维高斯函数得到a23标签图。
122.a23标签图所示，距离中心点(x，y)距离越近，概率值越高，像素值越大，对应的图像越 白。
123.如图8所示，本说明书实施方式中提供的一种热力图标签优化的方法。其中，公式中 124.代表协方差矩阵，公式中x，代表二维随机向量x＝(x y)，公式中s
*
是由尺度图s组成的 二维对角矩阵
125.μ代表x的中心位置，σ0代表x的方差，代表原始热力图函数，代表 优化后的热力图函数。
126.一般的，原始热力图标签都是采用同一个标准差。本发明实施方式中所提供的关键点检 测算法是针对不同有效区大小，即同时针对较大有效区和较小有效区(例如器械和手术针) 进行检测；并且，其中器械关键点的有效区比手术针(针头、针尾)的有效区大很多，相应 的，可以将有效区较大(例如，器械)的标准差σ0设置相对大一些，可以将有效区(例如， 针)的标准差σ0相对小一些。
127.本发明实施方式中根据有效区器械和针的关键点大小不一，故不采用同一标准差，较佳 地解决了同时针对较大有效区和较小有效区进行检测出现的样本不均衡问题。本发明采用深 度学习网络的方法，自动学习生成这样的尺度图s，优化标准差σ0，相对于人为设计不同标 准差而言，相对较为简便，而且容易泛化。
128.本发明采用深度神经网络定位出内窥镜图像中手术器械的关键点位置。图9展示了本发 明所设计的深度学习网络示意图，网络水平方向上全程都是保持特征图高分辨率不变，从而 使得针头、针尾这种小目标不会因为下采样导致信息丢失,竖直方向通过重复并行卷积来执 行多尺度融合从而增强高分辨率表征特征。
129.本发明深度学习网络并行的处理多个不同分辨率的特征图，让不同分辨率的特征图不断 进行信息交互，同时达到强化语义信息和精准位置信息的目的，如图虚线部分为本发明提出 的在网络最后一层，采用转置卷积的上采样高分辨率特征输出，最终分别输出一个尺寸为2*128*128*5和2*64*64*5(5为关键点个数)的输出张量，由于本实验中，大目标(器械) 和小目标(针)一起做关键点定位，故针对小目标采用128*128大的分辨率上输出坐标(x， y)，这样有助于定位小目标精确位置，大目标可才用64*64上的分辨率输出坐标(x，y)，在 预测阶段可对两个尺度进行平均，以进行最终预测。
130.在本发明所提供的一种实施方式中，所述对包含手术器械和手术针的待处理图片进行训 练具体为通过深度神经网络进行训练。
131.具体的，所述深度神经网络的训练步骤可以包括：
132.s110：将所述深度神经网络中的参数、计数器进行初始化；
133.s112：将待处理图片转换成数组后输入所述深度神经网络；
134.s114：通过所述深度神经网络计算获得神经网络每一层的输出，并通过损失函数确定标 签与输出之间的误差；
135.s116：基于损失函数确定的所述误差，通过链式求导方法，反向梯度更新所述深度神经 网络每一层的参数；
136.s118：当所述误差满足预设条件后训练结束。
137.请结合参阅图10，该训练网络的过程具体步骤可以包括如下：
138.a51、把神经网络中所有的参数w(权重矩阵)，b(偏差向量)进行初始化，其中计数 器p初始化为1；
139.a52、输入样本，即把采集的内窥镜图片通过opencv函数转化成数组后，输入神经网络；
140.a53、a52后，通过神经网络计算输出结果和真实标签做对比，通过损失函数计算两
者 之间的误差；
141.a54、根据a53得到的误差，通过链式求导方法，反向梯度更新，进而更新神经网络每 一层的参数值w，b；
142.a55、通过a54不停更新，最后达到误差最小值或者计数器p达到循环epoch(迭代次数最 高值)最大值，训练结束。
143.如图11所示，其中，公式中p代表热力图所对应的概率值，代表优化后的标签值， 其中权重w采用类似于交叉熵损失函数，σ0代表热力图的方差，σ0·
s代表原始高斯核经过 尺度优化后，s代表尺度图。
144.如图12所示，其中热力图映射到原图可以包括如下步骤：
145.a71、通过把模型预测的热力图进行高斯平滑处理后，生成如a71所示调整后热力图；
146.a72、m值是通过模型预测的热力图直接求出，而本发明是通过拟合高斯分布，求出真 正的μ值，μ(x,y)值就是所求热力图上的关键点坐标；
147.a73、原来求出热力图中概率最大值，即为m，m是正整数，但真实的μ最大值，有可 能是小数，故需要进行平移；
148.a74、通过求出真正的最大概率值μ后，对μ进行按比例(例如，4倍)放大映射回原图， 即为原图中关键点坐标。
149.如图13所示，第一排是轴心点高斯分布图，第二排是夹持点高斯分布图，其中a711是神 经网络模型输出的热力图，由图中可发现该热力图中心点附近有多个峰值，对a711平滑处理 后得到a712。
150.其中，a711所标注的示意图为模型预测的热力图，该热力图中心点附近有多个峰值，不 属于严格意义上的高斯结构。a712通对a711的结构进行高斯平滑操作，即生成a712，符合 高斯结构，为后面求出最终μ做准备。
151.如图14所示，本发明提供了一种关键点坐标优化的方法，传统的关键点坐标是直接根据 预测的热力图中的最大值求出，也就是本图中的m值，而本发明主要通过高斯结构，进行推 理，对m值优化从而找到真正的关键点坐标μ。具体的，该关键点坐标优化方法可以包括如下 步骤：
152.所述基于所述调整后的热力图求出调整后的热力图上的关键点坐标包括：
153.将调整后的热力图用二维高斯函数表示；
154.对上述二维高斯函数两边分别求对数函数，获得第一关系式；
155.将调整前和调整后的热力图上的关键点坐标导入泰勒公式中，获得第二关系式；
156.根据所述第一关系式和第二关系式求一阶导数和二阶导数，获得调整后的热力图上的关 键点坐标。
157.如图14所示，a721预测的热力图用二维高斯函数表示。具体的，调整后的热力图用二维 高斯函数表示如下：
[0158][0159]
其中，x代表每个像素的位置，μ代表高斯结构的中心位置，也就是所求的关键点坐
标； σ代表协方差矩阵。
[0160]
a722表示对a721公式两边求对数函数；
[0161]
a723中为泰勒公式表达 式，其中x0代表距离x较近的一个点。
[0162][0163]
a724中
[0164]
为根据a723的泰勒公式，把μ和m代入a723后得到的，其中m是直接通过预测的热力图 求出关键点坐标。
[0165]
a725中通根据a724和a722求一阶导数和二阶导数：
[0166][0167][0168]
p
′
(x)＝p
″
(x)
·
(x-μ)
[0169]
μ＝m-(p
′′
(m))-1
p
′
(m)
[0170]
如图15所示，该图本说明书实施方式中提供的关键点的定位方法获取的预测结果与传统 方法获取的预测结果的对比示意图，其中，a81中的虚线圈是器械关键点针头和针尾；如图 15中可以看出，利用本技术所提供的关键点定位方法获得的a83中针头和针尾坐标位置更接 近标签值，而利用现有的传统方式a82中针头和针尾会有几个像素偏移。
[0171]
如图16所示，是一种本说明书实施方式中提供的手术针关键点的定位方法在手术中的用 途流程图。
[0172]
内窥镜采集的术中组织器官图像，通过本发明的包含手术针的手术器械关键点定位方法， 实现关键点定位，特别是实现了像素比较小的手术针的关键点定位，手术器械的运动控制端 根据手术针关键点的定位，手术台执行端可以自动操作手术器械，进行自动手术。
[0173]
如图17所示，是另一种本说明书实施方式中提供的手术针关键点的定位方法在手术中的 用途流程图。
[0174]
内窥镜采集的术中组织器官图像，通过本发明的包含手术针的手术器械关键点定位方法， 得到手术器械、针头针尾的位置信息，根据手术器械和针的相对距离，用手术器械夹取针尾 附近，同时可以根据图像分割得到的伤口的位置，自定义相隔0.5cm为一个缝合点，进行自 动缝合操作。
[0175]
本说明书实施方式还提供一种医疗系统，具体可以包括内窥镜和图像的处理装置，其中， 所述图像的处理装置用于采用本说明书实施方式所提供的关键点的定位方法对所述内窥镜 采集的图像进行处理。
[0176]
内窥镜所采集到的图像具体可以为手术场景下的内窥镜图像。
[0177]
所述图像的处理装置采用本说明书实施方式所提供的手术针关键点的定位方法对所述 内窥镜采集的图像进行处理，可以得到对应的处理结果。其中，所述处理结果具体
可以为针 对内窥镜所采集到的图像，定位出的手术器械的关键点位置。
[0178]
本说明书实施方式还提供一种计算设备，包括处理器以及用于存储处理器可执行指令的 存储器，所述处理器具体实施时可以根据指令执行手术针关键点的定位方法的相关步骤。
[0179]
本说明书实施方式还提供了一种基于上述图像的处理方法的计算机存储介质，所述计算 机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：对包含手术器械 和手术针的待处理图片进行训练，获取网络模型，并通过所述网络模型至少输出与手术针关 键点个数相匹配的热力图；对所述热力图进行平滑处理获得调整后的热力图，并基于所述调 整后的热力图求出调整后的热力图上的手术针关键点坐标；将所述调整后的热力图上的手术 针关键点坐标映射至所述待处理图片中，确定出所述待处理图片中的手术针关键点坐标。
[0180]
在本实施方式中，上述存储介质包括但不限于随机存取存储器(random access memory, ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive, hdd)或者存储卡(memory card)。所述存储器可以用于存储计算机程序指令。网络通信 单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
[0181]
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其 它实施方式对照解释，在此不再赘述。
[0182]
需要说明的是，上述实施方式阐明的单元、装置或模块等，具体可以由计算机芯片或实 体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为 各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/ 或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所 描述的装置实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系 统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合 或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或 其它的形式。
[0183]
虽然本说明书提供了如实施方式或流程图所述的方法操作步骤，但基于常规或者无创造 性的手段可以包括更多或者更少的操作步骤。实施方式中列举的步骤顺序仅仅为众多步骤执 行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以 按照实施方式或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理 的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些 要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设 备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品 或者设备中还存在另外的相同或等同要素。第一，第二等词语用来表示名称，而并不表示任 何特定的顺序。
[0184]
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以 通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控 制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是
一种硬件部件， 而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以 将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0185]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。 一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、 数据结构、类等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中， 由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以 位于包括存储设备在内的本地和远程计算机存储介质中。
[0186]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助 软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上可 以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、 磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服 务器，或者网络设备等)执行本说明书各个实施方式或者实施方式的某些部分所述的方法。
[0187]
本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分 互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本说明书可用于 众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备 或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子 设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
[0188]
虽然通过实施方式描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和 变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书 的精神。