基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

1.本发明涉及腹腔镜微创外科手术图像处理与神经网络的技术领域，尤其是指一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统。


背景技术：

2.腹腔镜微创手术是一种常见的微创外科手术，它不仅能为患者提供实质性的医疗效益，而且由于手术过程中需要配备摄像头，因此它还为医生提供了记录手术视频的机会。通过手术视频对对手术流程进行复盘和分析，可以改善外科医生的技术质量，提高患者的安全性。然而人工检索手术视频是一项非常繁琐且耗时的事情，随着计算机辅助技术的日益成熟，自动化手术阶段识别方法能够更好地帮助医生监视和优化手术过程，提高医生的手眼协调并为潜在的偏差和异常生成预警提示。
3.然而，在复杂的手术场景下对手术阶段进行准确而快速的识别仍然是一项艰巨的任务。首先，由于安装在手术器械上的摄像头会随着医生的手部动作不停运动，拍摄出来的手术视频会不可避免地存在快速的场景切换片段和一些模糊帧。其次，手术工具的快速移动不可避免会造成画面模糊。第三，灼烧和切割组织产生的烟雾和血污会导致画面被不同程度地遮挡，加大了手术阶段的识别难度。
4.早期的计算机自动辅助手术阶段识别方法依靠手工制作的视觉特征来进行识别，例如颜色、纹理和形状等，但这些方法的通病是成本高且耗费人工，提取出来的特征通用性不强。随后深度学习的方法涌现，效率高于传统的手工特征制作方法，且准确率也很有竞争力。但仅依靠视觉特征对于高精度的手术阶段识别任务仍有局限性。因为手术视频天然地存在着时序特征，所以手术视频的时间上下文信息是实现准确预测手术阶段的关键。多阶段时间卷积已被证明有利于并行处理视频帧，能够成功应用于视频动作分割任务中。但普通的多阶段时间卷积只有一个随着层数增加而增大的膨胀因子。在网络深层，大的膨胀因子能够使卷积核作用在大的时间跨度上，有利于快速捕获全局信息，但也限制了其提取局部信息的能力。基于普通多阶段时间卷积的限制，本发明提出一种双粒度的时间卷积网络，能够同时利用两种大小的膨胀因子从中提取完整的全局信息和局部信息，大大提升了手术阶段的识别效果和过渡帧的识别准确率。
5.综合以上论述，发明一种具备实时性和高精度的腹腔镜手术阶段识别方法具有较高的实用价值。


技术实现要素：

6.本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于双粒度时间卷积的腹腔镜手术阶段识别方法，使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测。利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。
7.本发明的第二目的在于提供一种基于双粒度时间卷积的腹腔镜手术阶段识别系统。
8.本发明的第一目的通过下述技术方案实现：基于双粒度时间卷积的腹腔镜手术阶段识别方法，包括以下步骤：
9.1)收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
10.2)将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；
11.3)将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
12.4)使用softmax函数将步骤3)得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
13.进一步，在步骤1)中，首先，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
14.进一步，在步骤2)中，所述双粒度时间卷积模块的具体情况如下：
15.第一部分为一个1
×
1卷积，用于调整输入特征图的尺寸和通道数；
16.第二部分为一个双粒度残差膨胀层，用字母d标识，共ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成；用ld∈[0,ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以形式减小；
[0017]
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
[0018][0019]
式中，是第ld层膨胀因子为的膨胀卷积的输出，下标d1用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，r3×k×k表示尺寸为3
×
3的卷积核，3表示卷积核的尺寸为3
×
3，k表示3
×
3卷积核的数量，是递增的膨胀卷积的偏差向量；
[0020]
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
[0021][0022]
式中，是第一层扩张因子为的膨胀卷积的输出，下标d2用于标识膨胀因
子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，是递减的膨胀卷积的偏差向量；
[0023]
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层relu激活，其过程如下公式(3)：
[0024][0025]
式中，cat(
·
)表示串联操作，目的是将和输出的特征图逐通道相加，是和输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
[0026]
得到双粒度的特征图后，需要将其输入一个1
×
1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1
×
1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
[0027][0028][0029]
式中，是对进行1
×
1卷积运算的结果，是双粒度残差膨胀层包含的1
×
1卷积的权重，是双粒度残差膨胀层包含的1
×
1卷积的偏差向量，是双粒度残差膨胀层在第ld层的最终输出结果；
[0030]
第三部分为一个1
×
1卷积，在结束ld层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0031]
进一步，在步骤3)中，所述单粒度时间卷积模块的具体情况如下：
[0032]
第一部分为一个1
×
1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
[0033]
第二部分为一个单粒度残差膨胀层，用字母n标识，共ln层，用l∈[0,ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2
l
形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
[0034][0035][0036]dn,l
＝d
n,l-1
+q
n,l
[0037]
式中，d
n,l-1
是单粒度残差膨胀层中第l-1层的输出，w
n,l
是单粒度膨胀卷积的权重，*代表卷积操作，b
n,l
是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层relu的操作过后得到的特征图，q
n,l
是对进行1
×
1卷积运算的结果，w
l
是单粒度残差膨胀层中所包含的1
×
1卷积的权重，b
l
是单粒度残差膨胀层中所包含的1×
1卷积的偏差向量，d
n,l
是单粒度残差膨胀层在第l层的最终输出结果；
[0038]
第三部分为一个1
×
1卷积，d
n,l
在结束l层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0039]
进一步，在步骤2)和步骤3)中，所述交叉熵损失函数的表达如下：
[0040][0041]
式中，l
phase
是交叉熵损失函数的值，t代表当前视频的总帧数，t∈[0,t]表示当前视频的当前帧数，y
t
是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
[0042]
本发明的第二目的通过下述技术方案实现：基于双粒度时间卷积的腹腔镜手术阶段识别系统，包括：
[0043]
数据采集模块，用于收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
[0044]
数据处理模块，用于将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
[0045]
映射模块，使用softmax函数将数据处理模块得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
[0046]
进一步，在数据采集模块中，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
[0047]
进一步，在数据处理模块中，所述双粒度时间卷积模块的具体情况如下：
[0048]
第一部分为一个1
×
1卷积，用于调整输入特征图的尺寸和通道数；
[0049]
第二部分为一个双粒度残差膨胀层，用字母d标识，共ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成；用ld∈[0，ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以形式减小；
[0050]
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
[0051][0052]
式中，是第ld层膨胀因子为的膨胀卷积的输出，下标d1用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权
重，r3×k×k表示尺寸为3
×
3的卷积核，3表示卷积核的尺寸为3
×
3，k表示3
×
3卷积核的数量，是递增的膨胀卷积的偏差向量；
[0053]
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
[0054][0055]
式中，是第一层扩张因子为的膨胀卷积的输出，下标d2用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，是递减的膨胀卷积的偏差向量；
[0056]
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层relu激活，其过程如下公式(3)：
[0057][0058]
式中，cat(
·
)表示串联操作，目的是将和输出的特征图逐通道相加，是和输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
[0059]
得到双粒度的特征图后，需要将其输入一个1
×
1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1
×
1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
[0060][0061][0062]
式中，是对进行1
×
1卷积运算的结果，是双粒度残差膨胀层包含的1
×
1卷积的权重，是双粒度残差膨胀层包含的1
×
1卷积的偏差向量，是双粒度残差膨胀层在第ld层的最终输出结果；
[0063]
第三部分为一个1
×
1卷积，在结束ld层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0064]
进一步，在数据处理模块中，所述单粒度时间卷积模块的具体情况如下：
[0065]
第一部分为一个1
×
1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
[0066]
第二部分为一个单粒度残差膨胀层，用字母n标识，共ln层，用l∈[0,ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2
l
形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
[0067][0068]
[0069]dn，l
＝d
n，l-1
+q
n，l
[0070]
式中，d
n,l-1
是单粒度残差膨胀层中第l-1层的输出，w
n,l
是单粒度膨胀卷积的权重，*代表卷积操作，b
n,l
是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层relu的操作过后得到的特征图，q
n,l
是对进行1
×
1卷积运算的结果，w
l
是单粒度残差膨胀层中所包含的1
×
1卷积的权重，b
l
是单粒度残差膨胀层中所包含的1
×
1卷积的偏差向量，d
n,l
是单粒度残差膨胀层在第l层的最终输出结果；
[0071]
第三部分为一个1
×
1卷积，d
n,l
在结束l层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0072]
进一步，在数据处理模块中，使用的交叉熵损失函数的表达如下：
[0073][0074]
式中，l
phase
是交叉熵损失函数的值，t代表当前视频的总帧数，t∈[0,t]表示当前视频的当前帧数，y
t
是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
[0075]
本发明与现有技术相比，具有如下优点与有益效果：
[0076]
1、本发明通过双粒度时间卷积模块完成有效的长距离时间上下文建模，通过同时提取时序特征的全局信息和局部信息，得到表达能力优秀的特征，随后为进一步提升手术阶段的识别精度，使用单粒度时间卷积模块来对双粒度时间卷积模块捕获的特征进行微调，校正少量分类错误的图像帧，实现手术阶段识别效果的进一步提升。总之，本发明使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测，利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。
[0077]
2、本发明在腹腔镜外科手术视频的图像处理领域中具有广泛的应用空间，无需手工制作特征，高效准确，泛化性强，对于不同类型的微创外科手术视频都能有良好的识别效果。
附图说明
[0078]
图1为本发明方法的逻辑流程示意图。
[0079]
图2为双粒度时间卷积网络的整体框架图。
[0080]
图3为双粒度时间卷积模块的整体框架图。
[0081]
图4为单粒度时间卷积模块的整体框架图。
[0082]
图5为本发明系统的架构图。
具体实施方式
[0083]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0084]
实施例1
[0085]
如图1至图4所示，本实施例公开的一种基于双粒度时间卷积的腹腔镜手术阶段识别方法，其具体情况如下：
[0086]
1)首先，通过安装于手术器械尖端的微型摄像机对腹腔镜微创手术过程进行全程录制，每一场完整的手术过程存为一个视频。然后使用ffpmeg对每一个视频进行切片，每隔5帧存下一张图片，按帧号顺序排列。然后将异常的图片剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全等问题的图片，制成腹腔镜手术阶段的数据集，并按40:8:32的比例拆分为训练集、验证集和测试集。最后使用opencv对腹腔镜手术图片进行中心翻转、随机剪裁、洗乱顺序等图像增强操作。
[0087]
2)将处理好的数据集按每批次一个视频序列，送入双粒度时间卷积网络的第一个部分
‑‑
双粒度时间卷积模块进行初步预测，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；其中，双粒度时间卷积模块的具体情况如下：
[0088]
输入图像被展平为1
×1×
c，c是一个批次输入的图片数量，其取值由每个视频具体的图片数量决定。
[0089]
第一部分为一个1
×
1卷积层，该层的卷积核大小为(1，1)，步长为1，填充为零，卷积核数量为c。这一层用来调整输入特征图的尺寸和通道数。
[0090]
第二部分为一个双粒度残差膨胀层，该部分用字母d标识，共ld层，每层有两个分支，一个分支由一个膨胀因子随层数增加而增大的膨胀卷积组成，负责通过生成大的感受野快速捕获全局信息；另一个分支由膨胀因子随层数增加而减小的膨胀卷积组成，负责通过生成较小的感受野捕获局部信息；其中，递增的膨胀卷积的膨胀因子呈形式增大；递减的膨胀卷积的膨胀因子以形式减小。经过两个分支后，得到全局和局部这两种粒度的一维特征图，将它们按通道数相加，整合成一个复合特征，将局部信息补充到全局信息中，增强特征的表达能力。然后将整合后的特征送入一个非线性激活层relu中，将每一个像素值归一化为正数，便于最后能以正数形式计算预测值。经由relu激活过后的特征再次通过一个1
×
1卷积进行通道数调整，以便和进入双粒度残差膨胀层之前的原始特征的通道数保持一致。最后将经过relu层和1
×
1卷积的特征与原始特征逐通道相加，得到双粒度残差膨胀层的输出。
[0091]
双粒度残差膨胀层的特征提取过程用公式表示如下：
[0092]
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积的卷积过程如下公式：
[0093][0094]
式中，是第ld层膨胀因子为的膨胀卷积的输出，下标d1用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，r3×k×k表示尺寸为3
×
3的卷积核，数字3表示卷积核的尺寸为3
×
3，k表示3
×
3卷积核的数量，是递增的膨胀卷积的偏差向量。
[0095]
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积的卷积过程如下公式：
[0096][0097]
式中，是第一层扩张因子为的膨胀卷积的输出，下标d2用于标识膨胀因
子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，r3×k×k表示尺寸为3
×
3的卷积核，3表示卷积核的尺寸为3
×
3，k表示3
×
3卷积核的数量，是递减的膨胀卷积的偏差向量。
[0098]
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种特征图逐通道相加，并经过非线性函数relu激活，其过程如下公式：
[0099][0100]
式中，cat(
·
)表示串联操作，目的是将和输出的特征图逐通道相加，是和输出的特征图相加后进行非线性激活的结果。
[0101]
得到双粒度的特征图后，需要将其输入一个1
×
1卷积调整尺寸，使其长宽与没有输入递增膨胀卷积和递减膨胀卷积的原始特征图相等，并将1
×
1卷积调整后的特征图与原始特征图相加，得到双粒度膨胀卷积层的输出，其过程如下公式：
[0102][0103][0104]
式中，是对进行1
×
1卷积运算的结果，是双粒度残差膨胀层包含的1
×
1卷积的权重，是双粒度残差膨胀层包含的1
×
1卷积的偏差向量，是双粒度残差膨胀层在第ld层的最终输出结果。
[0105]
第三部分为一个1
×
1卷积。在结束ld层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0106]
3)双粒度时间卷积模块的输出被送进双粒度时间卷积网络的第二个部分
‑‑
单粒度时间卷积模块，对特征进行进一步的细化提取，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；其中，单粒度时间卷积模块的具体情况如下：
[0107]
第一部分为一个1
×
1卷积层，该层的卷积核大小为(1，1)，步长为1，填充为零，卷积核数量为c。这一层用来调整输入特征的通道数。
[0108]
第二部分为一个单粒度残差膨胀层，此部分用字母n标识，共ln层，用l∈[0,ln]表示本模块的当前层数，每层由一个膨胀因子随l增加而呈2
l
形式增大的膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成。单粒度残差膨胀层的特征提取过程如下所示：
[0109][0110][0111]dn，l
＝d
n，l-1
+q
n，l
[0112]
其中，d
n,l-1
是单粒度残差膨胀层中第l-1层的输出，w
n,l
是单粒度膨胀卷积的权重，*代表卷积操作，b
n,l
是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀
卷积和非线性激活层relu的操作过后得到的特征图，q
n,l
是对进行1
×
1卷积运算的结果，w
l
是单粒度残差膨胀层中所包含的1
×
1卷积的权重，b
l
是单粒度残差膨胀层中所包含的1
×
1卷积的偏差向量，d
n,l
是单粒度残差膨胀层在第l层的最终输出结果。
[0113]
第三部分为一个1
×
1卷积。d
n,l
在结束l层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0114]
进一步，在步骤2)和步骤3)中，交叉熵损失函数的表达如下：
[0115][0116]
式中，l
phase
是交叉熵损失函数的值，t代表当前视频的总帧数，t∈[0,t]表示当前视频的当前帧数，y
t
是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
[0117]
4)使用softmax函数将步骤3)得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
[0118]
实施例2
[0119]
参见图5所示，本实施例公开了一种基于双粒度时间卷积的腹腔镜手术阶段识别系统，包括以下功能模块：
[0120]
数据采集模块，用于收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
[0121]
数据处理模块，用于将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
[0122]
映射模块，使用softmax函数将数据处理模块得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
[0123]
进一步，在数据采集模块中，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
[0124]
进一步，在数据处理模块中，所述双粒度时间卷积模块的具体情况如下：
[0125]
第一部分为一个1
×
1卷积，用于调整输入特征图的尺寸和通道数；
[0126]
第二部分为一个双粒度残差膨胀层，用字母d标识，共ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层relu和一个1
×
1卷积组成；用ld∈[0,ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以形式减小；
[0127]
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
[0128][0129]
式中，是第ld层膨胀因子为的膨胀卷积的输出，下标d1用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，r3×k×k表示尺寸为3
×
3的卷积核，3表示卷积核的尺寸为3
×
3，k表示3
×
3卷积核的数量，是递增的膨胀卷积的偏差向量；
[0130]
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
[0131][0132]
式中，是第一层扩张因子为的膨胀卷积的输出，下标d2用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，是递减的膨胀卷积的偏差向量；
[0133]
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层relu激活，其过程如下公式(3)：
[0134][0135]
式中，cat(
·
)表示串联操作，目的是将和输出的特征图逐通道相加，是和输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
[0136]
得到双粒度的特征图后，需要将其输入一个1
×
1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1
×
1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
[0137][0138][0139]
式中，是对进行1
×
1卷积运算的结果，是双粒度残差膨胀层包含的1
×
1卷积的权重，是双粒度残差膨胀层包含的1
×
1卷积的偏差向量，是双粒度残差膨胀层在第ld层的最终输出结果；
[0140]
第三部分为一个1
×
1卷积，在结束ld层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0141]
进一步，在数据处理模块中，所述单粒度时间卷积模块的具体情况如下：
[0142]
第一部分为一个1
×
1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
[0143]
第二部分为一个单粒度残差膨胀层，用字母n标识，共ln层，用l∈[0,ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2
l
形式增大的膨胀卷积实质为单粒度膨胀
卷积、一个非线性激活层relu和一个1
×
1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
[0144][0145][0146]dn，l
＝d
n，l-1
+q
n，l
[0147]
式中，d
n，l-1
是单粒度残差膨胀层中第l-1层的输出，w
n，l
是单粒度膨胀卷积的权重，*代表卷积操作，b
n，l
是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层relu的操作过后得到的特征图，q
n，l
是对进行1
×
1卷积运算的结果，w
l
是单粒度残差膨胀层中所包含的1
×
1卷积的权重，b
l
是单粒度残差膨胀层中所包含的1
×
1卷积的偏差向量，d
n，l
是单粒度残差膨胀层在第l层的最终输出结果；
[0148]
第三部分为一个1
×
1卷积，d
n,l
在结束l层的迭代后，还需要经过一个1
×
1卷积来调节输出特征图的尺寸和通道数。
[0149]
进一步，在数据处理模块中，使用的交叉熵损失函数的表达如下：
[0150][0151]
式中，l
phase
是交叉熵损失函数的值，t代表当前视频的总帧数，t∈[0,t]表示当前视频的当前帧数，y
t
是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
[0152]
综上所述，在采用以上方案后，本发明为腹腔镜手术阶段的识别提供了新的方法与系统，将双粒度时间卷积网络作为阶段分类的有效工具，能够有效解决计算机难以自动且准确识别阶段类别的问题，有效推动计算机辅助手术阶段识别技术的发展，具有实际推广价值，值得推广。
[0153]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。