铰接式腹腔镜钳及基于SBBU-NET的腹腔图像快速分割方法与流程

本发明涉及医疗器械，具体为铰接式腹腔镜钳及基于sbb u-net的腹腔图像快速分割方法。

背景技术：

1、腹腔镜手术是一门新发展起来的微创方法，是未来手术方法发展的一个必然趋势。随着工业制造技术的突飞猛进，相关学科的融合为开展新技术、新方法奠定了坚定的基础，加上医生越来越娴熟的操作，使得许多过去的开放性手术现在已被腔内手术取而代之，大大增加了手术选择机会。腹腔镜手术钳是腹腔镜手术中常用的器械之一。

2、在腹腔手术过程中，需要在腹部的不同位置做数个直径为-毫米的切口，通过这些切口插入摄像镜头和各种特殊的手术器械，将插入腹腔内的摄像头所拍摄的腹腔内的图像，通过导线传导至后方的处理系统上并实时显示在电视屏幕上。主治医生则通过腹腔镜手术钳等手术器械对患者人体组织进行手术作业。

3、现有的腹腔镜手术钳结构和功能都比较单一，在手术过程中只能用于实现夹取和分离人体组织，目前的腹腔镜钳上并未设置图像传感器或其他摄像器械，所以手术过程中腹腔镜钳只能盲进，降低了手术的精度，操作难度较大。

技术实现思路

1、为解决上述技术问题，本发明提出了铰接式腹腔镜钳及基于sbb u-net的腹腔图像快速分割方法，铜鼓采用上下对称摄像头的安装方式和sbb u-net图像分割模型算法处理，使得该铰接式腹腔镜钳能够在手术过程中快速准确的对采集的图像进行分割，确定图像边界，为医生提供指导，保证手术质量。

2、为实现上述目的，本发明采取的技术方案是：

3、铰接式腹腔镜钳，包括手柄、壳体、弓形梁、导管以及工作端，所述壳体安装在手柄上方，所述弓形梁的一端固定安装在壳体上，所述导管连接在弓形梁的另一端，所述工作端活动安装在导管的端部，其特征在于：还包括摄像头，所述弓形梁上设置有冷光源通用接口，所述摄像头对称安装在工作端上，所述摄像头通过连接线路依次穿过导管和弓形梁连接在冷光源通用接口上，所述冷光源通用接口上接冷光源，通过摄像头配合腹腔图像快速分割方法使摄像头拍摄的图像呈现3d效果。

4、上述结构中：本发明提出的铰接式腹腔镜钳，包括手柄、壳体、弓形梁、导管以及工作端，还通过设置有摄像头，摄像头对称安装在工作端上，通过摄像头并结合算法使拍摄的实时图像呈现3d效果，并能够保证减少盲区的同时图像不失真，将摄像头对称安装在工作端上可以实现包装摄像头，使其可以随工作端偏转并永远处于工作端的中心位置，在弓形梁上设置有冷光源通用接口，摄像头通过连接线路依次穿过导管和弓形梁连接在冷光源通用接口上，冷光源通用接口上接冷光源并通过连接线路进入摄像头实现摄像。

5、作为本发明的优选技术方案：还包括扣手，所述扣手活动安装在壳体上且位于手柄的上方，所述扣手对称设置有两个，两个扣手分别穿过壳体、弓形梁以及导管连接工作端，当手指插入扣手中时，控制其开合即可实现控制工作端张合。

6、上述结构中：扣手活动安装在壳体的一侧且位于手柄的上方，用于实现对工作端的控制，扣手对称设置有两个，在使用时，医生的大拇指和食指分别插入在扣手中，当手指插入扣手中之后，控制两个扣手相互靠近或远离即可实现控制工作端张合，使用非常方便。

7、作为本发明的优选技术方案：还包括拉杆，所述拉杆活动安装在手柄上，所述拉杆上设置有防滑凸起，当拉杆远离手柄时，所述工作端锁死，当拉杆靠近手柄时，所述工作端在以导管为轴线的空间里上下左右90°转动。

8、上述结构中：拉杆活动安装在手柄上，用于实现对移动到适当位置的工作端进行锁死固定，当拉杆远离手柄时，工作端被锁死，无法自由转动，当拉杆靠近手柄时，工作端可以在以导管为轴线的空间里上下左右90°转动。

9、作为本发明的优选技术方案：所述工作端包括铰接式钳体，所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头分别对称安装在铰接式钳体上相对的两侧。

10、上述结构中：工作端包括铰接式钳体，摄像头包括第一摄像头和第二摄像头，第一摄像头和第二摄像头分别对称安装在相对两侧的钳体上实现其安装和固定。

11、基于sbb u-net的腹腔图像快速分割方法，其特征在于：包括如下步骤：步骤1，采集模型训练数据，通过摄像头采集各不同病理和不同方位下的腹腔图像，并制作标签图像和病灶边缘标签；

12、步骤2，图像预处理，将步骤1得到的图像按最大最小值处理归一化至[0,1]；

13、步骤3，模型离线训练，利用步骤2归一化的数据，对sbb u-net训练至模型收敛；

14、步骤4，模型实时分割，将步骤3训练所得的模型集成于上位机，对摄像头采集的腹腔图像进行实时分割，并显示于显示器。

15、作为本发明的优选技术方案：步骤3中sbb u-net模型的结构和对应的训练过程可表示为：

16、步骤3.1.搭建各模块：sbbu-net由编码模块、sbb模块和解码模块组成，其中编码模块由四个编码单元组成(e1、e2、e3和e4)，解码模块由边缘分割解码单元(s1、s2和s3)和病灶分割解码单元(d1、d2、d3和d4)组成；

17、步骤3.2.连接各模块：e1在经过s1和s2两层提取后，将s3进行双线性插值上采样，并分别与d2、d3和d4进行连接。e2和d2、e3和d3进行跳跃连接。e4和d4间，利用提出的sbb单元进行连接。

18、步骤3.3.利用步骤3.1～步骤3.2搭建的sbb u-net进行采集图像的处理，其中sbb模块的结构和对应的处理细节为：

19、sbb的输入为e4，输出为d4，e4在此处分为两个注意力模块：

20、步骤3.3.1.利用空间注意力模块进行特征提取，假设输入的数据为fi∈θc×h×w×d，c表示通道数，h、w和d分别表示各通道的规格。集合{f1，f2，f3}∈θc×h×w×d表示在图像三个维度上进行卷积处理后得到的数据，接着将h、w和d三维数据转换成一维数据，转换后的数据记为θc×m，其中m(m＝h×w×d)表示各通道元素总数。为强化特征和加快网络的收敛速度，本专利提出了加权的softmax处理算法，具体表现为：

21、步骤3.3.1.1.求解f1的转置f1t和f2间的空间特征图ξ，其中ξji具体表达式为：

22、

23、式中，f1i表示f1的第i维特征向量，f2j表示f2的第j维特征向量，ξji表示f1i和f2j间空间特征系数，wji表示f1i和f2j间的权重系数，具体的表达式为：

24、

25、式中，||||1表示l1范式。

26、步骤3.3.1.2.将ξt与f3相乘后将所得特征还原为θc×h×w×d，再与fi求和得到特征f，过程可表示为：

27、

28、fj表示f的第j维特征，f3i表示f3的第i维特征，fij表示fi的第j维特征。

29、步骤3.3.2.利用通道注意力模块进行特征提取，处理过程为：将的转置与其相乘，然后经过加权的softmax处理得到通道特征图而后再还原至为θc×h×w×d，最后和输入特征求和得到

30、步骤3.4.迭代训练模型，直至模型收敛，模型收敛的条件为训练次数达到3000次或损失函数小于等于1e-4，其中参数更新方法选用随机梯度下降。考虑到边缘信息对于分割任务能够提供有效的约束作用，边缘损失函数采用二值交叉熵损失(bce)函数le，具体表达式如下：

31、

32、式中，te为输入的病灶边缘标签，pe为sbbu-net得到的边缘概率图像，i和j分别表示输入图像的像素点在w和h维度的序号。

33、在解码单元的训练中，通过直接上采样对各编码单元进行处理至标签图像规格，而后与标签图像计算损失，考虑到边缘信息对于分割任务能够提供有效的约束作用，此处提出融合边缘特征的损失函数leseg：

34、

35、式中，p表示解码单元的个数，本专利中为3，ηi表示第i个解码单元的加权系数，本专利中根据模型调参，分别设置为1.2，1.10和1.06，di表示第i个解码单元的输出，t为标签图像，·表示点积。

36、上述结构中：基于sbb u-net的腹腔图像快速分割方法中的sbb u-net模型，主要由编码模块、解码模块和sbb模块组成，通过逐级的编码，实现对输入图像的抽象特征提取，接着利用sbb和边缘分割解码单元对特征进行解码，而后提出融合边缘特征的损失函数，最终实现模型的高效准确的特征提取。

37、通过设置有sbb多注意力模块，一方面，sbb可以帮助整个模型充分提取多尺度语义特征；另一方面，sbb可以强化模型的学习能力，加速模型的收敛速度。

38、通过设置有sbb u-net，通过在解码模块中引入边缘分割解码单元和提出融合边缘特征的损失函数，可以很好的对分割流程提供有效的约束，同时更加精确的捕获到病灶的边缘特征，提高模型的分割精度。

39、sbb u-net较传统的u-net有着更快的收敛速度和分割精度，从而可以实现手术过程中的更精准的定位，保证手术的质量。

40、与现有技术相比，本发明的有益效果为：

41、本发明中铰接式腹腔镜钳采用上下对称摄像头的安装方式并集合算法，使图像呈现3d效果，并保证减少盲区的同时图像不失真；而且摄像头上下对称安装的安装方式的另外一个好处是可以包装摄像头，使其可以随工作端偏转并永远处于工作端中心位置。

42、本发明提出的基于sbb u-net的腹腔图像快速分割方法中的sbb多注意力模块，一方面，sbb可以帮助整个模型充分提取多尺度语义特征；另一方面，sbb可以强化模型的学习能力，加速模型的收敛速度；

43、本发明提出的基于sbb u-net的腹腔图像快速分割方法中的sbb u-net，通过在解码模块中引入边缘分割解码单元和提出融合边缘特征的损失函数，可以很好的对分割流程提供有效的约束，同时更加精确的捕获到病灶的边缘特征，提高模型的分割精度；

44、sbb u-net较传统的u-net有着更快的收敛速度和分割精度，从而可以实现手术过程中的更精准的定位，保证手术的质量。