手术器械分割方法、装置、设备及存储介质

本发明涉及医学图像处理，特别是涉及一种基于局部特征和全局特征提取的腹腔镜下手术器械分割方法、装置、设备及存储介质。

背景技术：

1、机器人辅助手术是随着机器人技术和成像系统的发展而迅速发展起来的一门新兴技术。在视觉、触觉和机器人手臂精确运动方面的创新使外科医生能够进行精确的微创手术。机器人器械和组织的实时语义分割是机器人辅助手术的关键步骤。准确有效的手术场景分割不仅有助于器械的识别和跟踪，而且还提供了不同组织和器械的上下文信息。通过图像分割技术对达芬奇手术机器人导航用的内窥镜实时影像进行分析,分割标记视频中手术器械的位置,对帮助医生在手术操作过程中定位器械、提高手术操作精准度以及参与器械控制等下游任务都有重要意义。

2、近年来,基于编码器-解码器架构的卷积神经网络(cnn)被应用到包括手术视频分割在内的一系列图像分割任务中,该架构使用跳跃连接将低级特征与高级特征相结合,实现像素级别的精确定位,上采样中大量的特征通道可以将上下文信息传播至更高分辨率的层。该结构在许多分割竞赛中取得了出色的效果,但由于卷积运算具有局部性,因此在处理长距离关系依赖时存在局限性。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种手术器械分割方法、装置、设备及存储介质。解决了由于cnn技术无法提供一种有效的对远程关系进行建模的方法，导致分割精度低、分割得到的器械不完整等问题。

2、本发明提供了如下方案：

3、一种手术器械分割方法，包括：

4、获取待分割腹腔镜图像；

5、通过将所述待分割腹腔镜图像输入到目标分割网络对手术器械目标所在区域进行分割获得分割结果；

6、其中，所述目标分割网络包括cnn-transformer混合编码器及cnn-transformer联级解码器架构；所述cnn-transformer混合编码器包括第一cnn网络以及第一transformer模型；所述cnn-transformer联级解码器包括第二cnn网络以及第二transformer模型；所述第一cnn网络中每层的特征与所述第二cnn网络中每层的特征逐一跳层连接；

7、所述第一cnn网络用于对所述待分割腹腔镜图像进行局部特征提取获得第一输出特征，所述第一transformer模型用于对接收到的所述第一输出特征进行全局特征提取并进行混合编码获得第二输出特征；所述第二transformer模型的输入层与所述第一transformer模型的输出层相连以便接收所述第二输出特征；所述第二transformer模型的输出层与所述第二cnn网络的输入层相连，以便所述第二cnn网络利用所述第二transformer模型的第三输出特征以及所述第一输出特征经过联级获得所述分割结果。

8、优选地：对所述分割结果进行二值开运算处理，将二值开运算处理后的分割掩码图作为所述待分割腹腔镜图像的目标分割掩码图。

9、优选地：所述第一cnn网络以及所述第二cnn网络包括的层数相同，每层包括四个卷积层。

10、优选地：所述第一transformer模型以及所述第二transformer模型均的层数相同，每层包括层标准化结构、多头自注意力结构以及多层感知机结构。

11、优选地：所述目标分割网络训练过程中计算dice loss和focal loss的联合损失函数值，使用随机梯度下降法优化所述联合损失函数值。

12、优选地：所述计算dice loss和focal loss的联合损失函数值是由下式得到的：

13、l＝λ·lfocal―logldice

14、式中：l表示分割网络预测的分割掩码与训练样本集真实的分割掩码之间的diceloss和focal loss联合损失函数值，λ表示取值为10的权重因子，·表示点乘操作，lfocal表示focal loss损失函数值，log表示以2为底的对数操作，ldice表示dice loss损失函数值。

15、优选地：所述focal loss损失函数值是由下式得到的：

16、lfocal＝―αy(1―p)γlog p―(1―α)(1―y)(1―p)γlog(1―p)

17、式中：lfocal表示focal loss损失函数值，α表示取值为0.25的参数调节因子，p表示分割网络输出的二值分割掩码图像，γ表示取值为2的参数调节因子；

18、所述dice loss损失函数值是由下式得到的：

19、

20、式中，ldice表示dice loss损失函数值，tp表示预测正确的目标器械部分，fp表示被预测为目标器械但实际为背景的部分，fn表示被预测为背景但实际不是背景的部分。

21、一种手术器械分割装置，包括：

22、图像获取单元，用于获取待分割腹腔镜图像；

23、分割单元，用于通过将所述待分割腹腔镜图像输入到目标分割网络对手术器械目标所在区域进行分割获得分割结果；

24、其中，所述目标分割网络包括cnn-transformer混合编码器及cnn-transformer联级解码器架构；所述cnn-transformer混合编码器包括第一cnn网络以及第一transformer模型；所述cnn-transformer联级解码器包括第二cnn网络以及第二transformer模型；所述第一cnn网络中每层的特征与所述第二cnn网络中每层的特征逐一跳层连接；

25、所述第一cnn网络用于对所述待分割腹腔镜图像进行局部特征提取获得第一输出特征，所述第一transformer模型用于对接收到的所述第一输出特征进行全局特征提取并进行混合编码获得第二输出特征；所述第二transformer模型的输入层与所述第一transformer模型的输出层相连以便接收所述第二输出特征；所述第二transformer模型的输出层与所述第二cnn网络的输入层相连，以便所述第二cnn网络利用所述第二transformer模型的第三输出特征以及所述第一输出特征经过联级获得所述分割结果。

26、一种手术器械分割设备，所述设备包括处理器以及存储器：

27、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

28、所述处理器用于根据所述程序代码中的指令执行上述的手术器械分割方法。

29、一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的手术器械分割方法。

30、根据本发明提供的具体实施例，本发明公开了以下技术效果：

31、本技术实施例提供的一种手术器械分割方法、装置、设备及存储介质，利用cnn提取局部特征、用transformer提取全局特征，克服了现有技术仅有底层灰度及纹理特征造成的鲁棒性较差的问题，使得本技术实施例提供的方法具有鲁棒性高的优点。在编码器解码器之间构建了一个跳层连接模块，有效地弥补了下采样过程中边缘信息的损失，使得本技术实施例提供的方法具有分割边缘清晰的优点。

32、另外，在优选的实施方式下，在分割网络设计在训练过程中引入了dice loss和focal loss的联合损失函数训练分割网络，并对分割掩码使用二值开运算处理，克服了现有技术中分割精度低，网络不易收敛的问题，使得该方法具有分割精度高、收敛快的优点。

33、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。