一种ESD手术中电刀目标位置的标记辅助方法和装置与流程

本发明属于医学图像处理，具体的涉及，一种esd手术中电刀目标位置的标记辅助方法和装置。

背景技术：

1、内镜下黏膜剥离术（esd）是指内镜下将病变黏膜从黏膜下层完整剥离的微创技术，20世纪90年代末日本首创并应用于临床，是一种择期诊断性手术或根治性手术。esd的主要目的是对早期消化道肿瘤进行诊断和治疗，有一次性完整切除一定面积表浅病变的优点，但技术要求高，难度大。是适用于早期食管癌、早期胃癌、间质瘤及结肠早期肿瘤的诊断和治疗。

2、esd的手术过程具体如下：手术采取仰卧位，对病变进行染色、内镜超声检查以确定病变范围和深度，应用针形电刀或氩气刀（简称apc）于病灶边缘外5mm处进行电凝标记，然后于病灶边缘标记点外侧进行多点黏膜下注射，直至病灶明显隆起，用电刀沿病灶边缘标记点外5mm切开黏膜并对病变黏膜下层进行剥离，之后用电凝或止血夹止血，确定无活动性出血，将所取标本及时送病理检查。

3、但现有技术中对于esd手术中使用电刀进行目标位置标记时，经常出现准确度不高的情况，亟需一种面向esd手术中电刀目标位置的标记辅助方案。

技术实现思路

1、根据本发明第一方面，本发明请求保护一种esd手术中电刀目标位置的标记辅助方法，包括：

2、获取esd手术的标记内镜图像，将所述标记内镜图像输入病灶识别模型，预测出所述标记内镜图像的病灶边界；

3、对所述标记内镜图像的病灶边界进行扩边处理，将扩边后的病灶扩边区域输入边界识别模型；

4、所述边界识别模型基于所述病灶扩边区域预测出esd手术中电刀的标记边界，并将所述标记边界绘制到标记内镜图像中；

5、依据所述标记边界，通过计算机视觉开源运算库opencv中的函数arclength得到标记边界的周长和标记点的数量，预测并输出电刀标记点。

6、进一步的，所述获取esd手术的标记内镜图像，将所述标记内镜图像输入病灶识别模型，预测出所述标记内镜图像的病灶边界，还包括：

7、所述病灶识别模型包括主干网络、neck、box_head、掩膜分支和掩膜头五部分；

8、主干网络使用的网络结构为resnet-50，所述主干网络中的卷积基本结构表示为[卷积核大小, 输出通道数] *循环次数，并且主干网络中的卷积均带有relu激活函数；

9、neck部分采用fpn特征金字塔结构；

10、box_head从特征图中完成候选框分类以及检测目标位置,包含两个分支，每个分支为1*1的卷积，输出通道为256，分别完成所述标记内镜图像的类别预测和位置预测；

11、向掩膜分支中输入fpn的p3特征图，进行4个连续的3x3的卷积层运算，得到输出为fmask；

12、将所述fmask与相对坐标图进行concat连接，得到rmask；

13、将经过上采样的rmask依次经过滤波器组合θ，得到一张二值图，表示对应实例的mask分割结果；

14、所述标记内镜图像分割为n组掩膜头，得到n个实例分割结果。

15、进一步的，所述对所述标记内镜图像的病灶边界进行扩边处理，将扩边后的病灶扩边区域输入边界识别模型，还包括：

16、获取所述标记内镜图像的病灶边界的大小，提取所述病灶边界的大小的长度和宽度；

17、设定扩边百分比，依据所述扩边百分比对所述病灶边界进行上边界、下边界、左边界和右边界的扩边处理，得到候选病灶扩边区域；

18、对所述候选病灶扩边区域进行缩放处理后，得到病灶扩边区域，将所述病灶扩边区域输入边界识别模型。

19、进一步的，所述依据所述标记边界，通过计算机视觉开源运算库opencv中的函数arclength得到标记边界的周长和标记点的数量，预测并输出电刀标记点，还包括：

20、通过计算机视觉开源运算库opencv中的函数arclength得到标记边界的周长和标记点的数量；

21、当肛侧点密、口侧点稀时，从所述标记边界的最上方开始绘制第一个点，随后每个点之间的间隔逐步拉长；

22、当肛侧点稀、口侧点密时，则从所述标记边界的最下方开始绘制第一个点，随后每个点之间的间隔逐步拉长；

23、依据所述标记点的数量构建标记点数组，从所述标记点数组的第一个点开始，依次计算与下一个点之间的欧氏距离，叠加直至所有点遍历结束；

24、从所述标记边界中获取上边界标记点和下边界标记点，计算所述标记边界的左半周长和右半周长；

25、获取所述左半周长和右半周长中的中间边界标记点，根据等差数求和公式，计算所述左半周长和右半周长中第一个点距离所述下边界标记点的距离，之后依次求出剩下每个边界标记点距离所述下边界标记点的距离；

26、再次使用arclength和坐标遍历求出所有的边界标记点作为电刀标记点。

27、进一步的，所述通过计算机视觉开源运算库opencv中的函数arclength得到标记边界的周长和标记点的数量，还包括：

28、将电刀边界识别轮廓图的所述标记边界转化为多边形有序点集，得到点集数组为m（{(x1,y1), (x2, y2), ... (xn, yn)}）；

29、采用arclength计算出所述点集数组m中各个点所包围的总周长；

30、计算出总共需要的标记点的数量，x = floorodd(sqrt(周长) / 3) + 2，其中sqrt表示开方运算，floorodd表示除法之后向下取整，如果取整之后的结果为奇数则对整个结果+1；

31、根据所述点集数组m中的坐标，统计出纵坐标y最大和最小的两个点，作为轮廓的标记点的最上方点和最下方点；

32、标记点集记为r，此时r中一共有两个点；

33、最上方点到最下方点如果纵坐标是单调递减则为左半周长sl，反之为右半周长sr。

34、进一步的，所述依据所述标记点的数量构建标记点数组，从所述标记点数组的第一个点开始，依次计算与下一个点之间的欧氏距离，叠加直至所有点遍历结束，还包括：

35、根据计算出的需要的标记点数量x，计算得到每个半周长所需要的标记点，记为n，n=(x-2)/2，

36、计算所述左半周长的标记点，得到左边的标记点递增间隔e=（sl / (n+1)）* 0.1，之后根据等差数求和的改进公式，左边第一个点距离最下方点的距离为a1=[sl - n(n+1)* e/2] / (n+1)，得到a1；

37、根据an+1 = a1 + n*d求出剩下每个点距离前一个点的距离，左半周第一个点距离最下方点的距离为a1，左半周第二个点距离左半周第一个的距离为a2，左半周第三个点距离左半周第二个点的距离为a3，以此类推，点的疏密遵循下密上疏的规则。

38、进一步的，还包括：

39、在得到左半周的每个点距之后，第一个点l1距离最下方点的距离为a1，l2距离最下方点的距离为a1+a2，l3距离最下方点的距离为a1+a2+a3，以此类推，依次求出剩下每个边界标记点距离所述下边界标记点的距离；

40、基于所述点集数组m，其中的两个点ymin与ymax已经加入到标记点集r中，那么在m中定位ymin到ymax的右半周连续点集mr与左半周连续点集ml；

41、在左半周的点集中，以最下方点为起始点，使用arclength依次计算左半周的点集ml中每个点距离最下方点的距离；

42、遍历打点点距数组{a1，a1+a2，a1+a2+a3，...，a1+a2+..+an}，以及左半周的点集ml中每个点距离最下方点的距离数组{k1, k2, ..., kw}；

43、找左右半周得到一个轮廓的原始点集m，找到上下顶点之后很容易分辨出左半周和右半周的点；

44、依据同样方式获得右半周标记点。

45、根据本发明第二方面，本发明请求保护一种esd手术中电刀目标位置的标记辅助装置，包括：

46、一个或多个处理器；

47、存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的一种esd手术中电刀目标位置的标记辅助方法。

48、本发明属于医学图像处理技术领域，具体的，涉及一种esd手术中电刀目标位置的标记辅助方法和装置，采用两阶段实例分割模型，预测出esd手术的标记边界，随后预测出需要电刀标记的目标位置，其中两阶段的实例分割，可以实时对esd手术中电刀目标位置进行标记边界预测根据标记边界的信息，以及提前预设的肛侧点密口侧点稀或肛侧点稀口侧点密打点原则，预测电刀标记点。本发明的有益效果包括：预切开路径更为明确，尤其对于边界不规则的平坦型病变；保证手术后标本侧切缘阴性；术中出血或液体影响病变边缘观察，观察标记点效果要好于直接观察边缘，提高预切开效率。