一种激光刀手术黑白模式视频上色方法和系统与流程

1.本发明属于激光刀手术黑白模式视频色彩恢复、医工结合领域，特别是涉及一种基于对抗神经网络的激光刀手术黑白模式视频上色方法和系统。


背景技术：

2.随着人口老龄化和社会、环境等因素变化，人类各种腔道器官(包括泌尿道、消化道、女性生殖道、鼻咽喉道、呼吸道)癌症、息肉、慢性炎症等发病率呈现持续上升趋势，早发现、早治疗是有望治愈该类病患，特别是各种早期癌症的共识。虽然上述各类腔道器官早期癌症治疗方法大都已进入微创时代，但是电外科器械(电刀)目前依然是医生手上的主流武器。总体来讲，由于电刀普遍存在切割精准度低、手术副损伤大、技术要求高等问题，这限制了绝大多数微创技术面向广大县域医疗机构的推广应用，不能很好地服务多数普通百姓患者。以奥林巴斯公司为代表研发的内镜黏膜下剥离术(esd)系统虽已广泛应用于消化道即食管、胃、结肠早癌的微创治疗，但相关微创器械的设计仅适配消化内镜，无法配合其他腔道疾病的微创设备使用，昂贵的设备和耗材价格也使基层医疗机构和普通患者望而却步。
3.而激光刀在部分疾病治疗中显示出切割效率高、出血少、副损伤小等明显优势正在不断取代传统的手术器械。目前市场上最具代表性的激光能量平台都是可见光激光和近红外光激光，可以达到减少组织热损伤、术后快速康复的目的。但这些设备无论进口还是国产(核心技术大都源自国外)都普遍存在价格昂贵、设备笨重、工作噪音大等缺点，严重影响其在广大基层医院的推广应用。
4.更为遗憾的是，目前市场上的几乎所有激光能量平台，都不是真正意义上的适用于人类各种腔道器官浅表疾病(如早期癌症、息肉、慢性炎症等)的微创激光手术系统。日本科学家中村修二等于上世纪九十年代初创造性地发明了半导体蓝光led和蓝色半导体激光，填补了没有蓝色半导体激光的空白。此后，该技术及其相关产品已先后应用于照明、显示、投影、通信、探测、传感与武器制造等工业领域，为科技进步和社会发展做出了巨大贡献，并于2014年荣获诺贝尔物理学奖。结合蓝激光光子能量高的生物物理特性，在攻克若干核心技术的基础上，创新研制出专用于各种腔道器官浅表软组织汽化切割精准高效、止血可靠、组织热穿透适度的蓝激光手术系统。开发出可适配软性电子内窥镜的实时成像转录系统，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。
5.然而，在激光刀手术中，内窥镜的镜头会过度曝光，因为强大的激光是如此明亮。对于传统的内窥镜，我们可以使用激光脉冲手术刀来解决这个问题。我们使用激光脉冲来进行手术，在激光脉冲间歇，由于没有激光的影响，相机可以正常工作获得正常的手术画面。再利用获得的正常图像恢复出激光脉冲工作时的画面，从而得到正常的没有激光的手术视频。但是在一些内窥镜情况下，即使激光刀工作的时间很短，使用的彩色相机的画面仍然是曝光的，无法获得有效的画面。但是当相机处于黑白模式时，适当缩短激光脉冲的工作时间的情况下，相机能够拍摄获得正常有效的工作画面，从而能恢复正常的没有激光的手术视频。但是在黑白模式下面，激光工作间隙，会有正常画面出现。因此我们提出了一种利
用基于黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录方案，拓展其在其它腔道器官病损(例如消化道早癌)手术治疗中的应用。


技术实现要素：

6.为了解决内窥镜下激光刀工作时画面曝光异常，无法获得有效画面的情况，本发明提出一种激光刀手术黑白模式视频上色方法和系统，使用卷积神经网络开发一个深度学习算法，用于激光刀手术系统黑白模式视频色彩恢复，开发用于激光刀手术黑白模式视频色彩恢复的可适配软性电子内窥镜的实时成像转录系统。
7.为了达到上述目的，本发明提供的技术方案是：
8.一种激光刀手术黑白模式视频上色方法，其特殊之处是，包括以下步骤：
9.步骤1)获取视频上色样本库：
10.1.1)采集医学内窥镜手术彩色视频；
11.1.2)从彩色视频中选取关键帧彩色图像，同时将关键帧彩色图像转换为原始分辨率的关键帧灰度图像；所述关键帧彩色图像为包含手术部位的彩色图像；
12.1.3)对关键帧彩色图像和关键帧灰度图像分别通过下采样的方式提取其中的手术画面作为子图像，用所述子图像制作视频上色样本库；所述手术画面不包含关键帧彩色图像中的显示信息；
13.步骤2)构建并训练网络模型，得到预训练上色图像；
14.步骤3)计算预训练上色图像与手术彩色图像之间的损失，得到损失函数；
15.步骤4)优化网络模型：
16.将损失函数作为优化目标函数，使所述网络模型参与网络优化中梯度后向传播过程，实现所述网络模型的优化；
17.步骤5)手术图像上色：
18.实时采集激光刀手术中的黑白模式视频，再将下采样后的多帧黑白图像依次输入所述网络模型，将所述网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行hsi融合，得到由多帧原始分辨率彩色图像构成的彩色视频。
19.上述步骤2具体包括：
20.2.1)构建基于对抗神经网络的激光刀手术黑白模式视频上色网络模型；
21.所述网络模型包括生成器网络模型和判别器网络模型；所述生成器网络模型包括依次连接的输入层、第二组合模块和输出层；所述判别器网络模型为resnet模型；
22.所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
23.其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32
×9×
9，stride＝1；64
×3×
3，stride＝2；128
×3×
3，stride＝2；
24.所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3
×
3卷积层、batch norm层以及relu层；
25.反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64
×3×
3，32
×3×
3，3
×9×
9，stride＝1；
26.2.2)使用步骤1中生成的视频上色样本库的灰度图像训练构建好的所述网络模型，得到预训练上色图像。
27.上述判别器网络模型为resnet-18，相应的特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层；其中，
28.第一层卷积核conv1大小为7
×7×
64，stride为2，max-pooling为2
×
2，stride为2；
29.第二层卷积核conv2为2个64
×
64
×
256，stride为1；
30.第三层卷积核conv3为2个128
×
128
×
512；
31.第四层卷积核conv4为2个256
×
256
×
1024；
32.第五层卷积核conv5为512
×
512
×
2048。
33.上述损失函数具体为黑白激光刀手术视频上色损失函数：
[0034][0035]
其中，h表示网络层数；
[0036]
l
bce
的函数表达式为：
[0037][0038]
l
kl
的函数表达式为：
[0039][0040]
式中，(i,j)是像素坐标；
[0041]
(m,n)是图像的宽高；
[0042]
g(i,j)为真值；
[0043]
s(i,j)为预测的目标色彩恢复像素值；
[0044]
为bce损失函数的权重；
[0045]
为kl损失函数的权重。
[0046]
上述步骤1.3是通过定位手术画面的模板来提取规定大小的子图像。
[0047]
上述子图像的分辨率优选100
×
100。
[0048]
一种激光刀手术黑白模式视频上色系统，其特殊之处是，包括以下模块：
[0049]
数据集获取模块，用于采集医学内窥镜手术视频，从视频流中选择色彩呈现丰富的关键帧并通过处理得到其灰度图像作为训练集的真值和图像输入，制作得到训练样本数据集；
[0050]
数据集预处理模块，用于对制作的训练样本数据集进行图像核心内容提取以解决在测试过程中遇到的色彩恢复问题，以及对训练样本数据集进行统一采样处理以解决在测试过程中遇到的色彩恢复效率问题；
[0051]
网络模型训练模块，用于构建一种基于生成对抗网络的激光刀手术视频色彩恢复
网络模型，使用数据集预处理模块中生成的训练样本训练构建好的视频色彩恢复网络模型，生成预测彩色图像；所述视频色彩恢复网络模型包括生成器和判别器；生成器的网络模型结构包括依次连接的输入层、第二组合模块、输出层；判别器的网络模型为resnet模型；
[0052]
损失函数计算模块，用于计算预训练色彩恢复结果与彩色内窥镜手术真值之间的损失；
[0053]
网络优化模块，用于将损失函数作为优化目标函数，使视频色彩恢复网络模型参与网络优化中梯度后向传播过程，实现激光刀手术黑白模式视频色彩恢复的优化；
[0054]
多分辨率融合模块，用于将低分辨率彩色手术图像融合恢复成原始分辨率大小的彩色手术图像。
[0055]
上述第二组合模块具体包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
[0056]
所述第二组合模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；
[0057]
其中卷积模块包含依次连接的三个卷积层，三个卷积层参数分别为32
×9×
9，stride＝1；64
×3×
3，stride＝2；128
×3×
3，stride＝2；
[0058]
所述残差模块包含依次相连的五个残差层，每个残差层的等效卷积层结构为两个依次相连的3
×
3卷积层、batch norm层以及relu层；
[0059]
反卷积模块包含依次连接的三个反卷积层，三个反卷积层参数分别为64
×3×
3，32
×3×
3，3
×9×
9，stride＝1。
[0060]
与现有技术相比，本发明的优点和有益效果：
[0061]
1、由于现有激光刀手术直接用彩色视频，故60帧图像均包含激光，则三张图像合成的图像，均为曝光过度，所以无法得到所需的正常手术图像。本发明实时采集激光刀手术中的干净的黑白模式视频，再将后处理量小的下采样后的多帧黑白图像依次输入网络模型，将网络模型得到的低分辨率上色图像与原始分辨率灰度图像依次进行hsi融合，最终得到由多帧原始分辨率彩色图像构成的彩色视频。
[0062]
2、本发明使用残差网络连接卷积模块与反卷积模块，与非残差网络相比，包含残差网络结构的模型训练速度更快。
[0063]
3、本发明使用八度卷积将卷积层的输出特征图分解为存储在不同组的高低频特征图中，可以安全的降低低频群的空间分辨率减少空间冗余，同时对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此与传统方法相比，能够进一步减少计算量和内存消耗。
[0064]
4、本发明首先对手术视频进行处理包括适应性画面提取、下采样等操作获取统一低分辨率的色彩恢复数据集用于色彩恢复网络的训练，将得到的低分辨率彩色结果与原分辨率的黑白图像进行hsi融合得到原始分辨率的彩色手术图像。用低分辨率数据集训练网络能够提升网络模型的训练以及模型色彩恢复的速度，同时使用低分辨率图像作为模型输入更有利于低维度色彩特征的学习，提升了色彩恢复性能，本发明的这种基于对抗神经网络的激光刀手术黑白模式视频上色方法和系统能够达到实时手术视频色彩恢复的要求。
附图说明
[0065]
图1为本发明实施例流程图；
[0066]
图2为本发明中网络结构示意图；
[0067]
图3为残差模块中一个残差层的结构示意图；
[0068]
图4为残差模块中一个残差层的另一种结构示意图；
[0069]
图5为八度卷积结构示意图。
具体实施方式
[0070]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0071]
本发明将八度卷积代替传统的卷积，运用到黑白模式视频色彩恢复网络中，从而提出一种新的用于色彩恢复的基于对抗神经网络的激光刀手术黑白模式视频上色网络，对经过预处理的数据集使用这种新的色彩恢复网络来更好地利用局部和全局上下文信息来提升色彩恢复效果。这种新的基于对抗神经网络的激光刀手术黑白模式视频上色网络通过卷积操作提取特征，提取内窥镜手术数据不同尺度的颜色特征信息。卷积模块使用八度卷积代替普通卷积进行局部特征的提取。与传统的方法相比，使用八度卷积的方法能够进一步减少计算量和内存消耗，同时提高色彩恢复的性能，并通过残差模块与卷积模块和反卷积模块相连进一步提升网络性能，达到事实处理的性能要求。
[0072]
具体包括以下步骤：
[0073]
1)数据集获取：采集彩色医学内窥镜手术视频，并从视频流中选取关键帧制作训练样本，并获取关键帧的黑白灰度图像用于实现激光刀手术黑白模式视频的色彩恢复；
[0074]
将收集得到的临床内窥镜手术彩色视频进行筛选获得包括丰富颜色信息的关键帧，并对关键帧进行手术画面提取制作合适手术画面的mask用于提取手术画面内容，避免其他无效区域对手术视频色彩恢复造成干扰。本发明实施过程中使用训练集图像为100
×
100大小的子图像，通过定位手术画面的mask提取规定大小的子图像作为训练样本克服不同视频规格不一致的问题。
[0075]
2)训练网络模型：构建一种新的基于对抗神经网络的激光刀手术黑白模式视频上色模型，使用步骤2中生成的训练样本训练构建好的网络模型，生成彩色激光刀手术图片；
[0076]
参考图2对本发明构建的基于对抗神经网络的激光刀手术黑白模式视频上色网络做进一步的详细描述：
[0077]
所述的基于对抗神经网络的激光刀手术黑白模式视频上色网络模型拥有两个部分：一个是生成器g，另一个是判别器d。生成器的网络模型结构包括依次连接的：输入层—第二组合模块—输出层；判别器的网络模型为resnet；
[0078]
构建生成器模型g的第二模块包括依次连接的反射填充层、卷积模块、残差模块层和反卷积模块；其中卷积模块包含依次连接的三个卷积层，参数分为32
×9×
9，stride＝1；64
×3×
3，stride＝2；128
×3×
3，stride＝2；残差模块包含依次相连的五个残差层，其结构如图3或图4所示，每个残差层包含两个3
×
3卷积层，每个层上有相同数量的过滤器；反卷积模块包含依次连接的三个反卷积层，其参数分别为64
×3×
3，32
×3×
3，3×9×
9，stride＝1。
[0079]
构建判别器模型d搭建resnet-18，也就是使用18层作为特征提取。特征提取网络至少包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层。参数设置为，第一层卷积核conv1大小为7
×7×
64，stride为2，max-pooling为2
×
2，stride为2；conv2为2个64
×
64
×
256，stride为1，conv3为2个128
×
128
×
512；conv4为2个256
×
256
×
1024，conv5为512
×
512
×
2048。
[0080]
图5为八度卷积的实现细节图，它由四条计算路径组成分别对应于四项：f(xh；wh→h)、upsamplef(x
l
；w
l
→h)、f(x
l
；wl
→
l)、fpoolxh,2；wh
→
l，两条实线路径对应于高频和低频特征图的信息更新，两条虚线路径便于两个八度卷积之间的信息交换。
[0081]
八度卷积与自然图像空间频率分量的分解一样，将卷积层的输出特征图分解为存储在不同组的高低频特征图中。因此它通过相邻位置之间的信息共享，可以安全的降低低频群的空间分辨率减少空间冗余。除此之外，八度卷积对低频信息进行低频卷积操作能够有效地扩大像素空间中的接受野。因此八度卷积的使用能够进一步减少网络的计算和内存开销。
[0082]
3)计算损失函数：计算预训练手术图像预测色彩恢复结果与彩色手术图像真值之间的损失；
[0083]
在训练过程中，本发明采用了分层训练监督策略代替标准的顶层监督训练和深度监督方案，本发明中的黑白模式视频上色网络损失函数如下：
[0084][0085]
其中h表示网络层数，l
bce
、l
kl
的函数表达式分别为：
[0086][0087][0088]
其中，(i,j)是像素坐标；
[0089]
(m,n)是图像的宽高；
[0090]
g(i,j)和s(i,j)分别为真值和预测的目标色彩恢复像素值；
[0091]
和分别为bce损失函数和kl损失函数的权重。
[0092]
对于每一层，我们都使用了标准的bce损失函数和kl损失函数来计算损失。通过在任意两层之间添加一对概率预测匹配损失(即kl损失函数)，促进了不同层之间的多层交互作用。不同层损失函数的优化目标是一致的，从而保证了模型的鲁棒性和泛化性。
[0093]
4)优化网络：将损失函数作为优化目标函数，使卷积神经网络参与网络优化中梯度后向传播过程，实现激光刀手术系统视频色彩恢复的优化。
[0094]
5)多分辨率融合：将色彩恢复网络得到的低分辨率彩色手术图像与原始分辨率手
术灰度图像进行hsi融合得到原始分辨率的彩色手术图像。