基于进化神经网络结构搜索食管癌病变区域识别建模方法与流程

1.本发明涉及图像模式识别及医学图像的技术领域，具体的涉及一种基于进化神经网络结构搜索食管癌病变区域识别建模方法。


背景技术：

2.食管癌(esophageal cancer, ec)是一种致死率极高的恶性疾病[a. k. rustgi and h. b. el
‑
serag,
ꢀ“
esophageal carcinoma,
”ꢀ
new england journal of medicine, vol. 371, no. 26, pp. 2499
–
2509, 2014.]，研究表明其5年生存率低于20%[ x.
‑
x. chen, q. zhong, y. liu, s.
‑
m. yan, z.
‑
h. chen, s.
‑
z. jin, t.
‑
l. xia, r.
‑
y. li, a.
‑
j. zhou, z. su et al.,
ꢀ“
genomic comparison of esophageal squamous cell carcinoma and its precursor lesions by multi
‑
region whole
‑
exome sequencing,
”ꢀ
nature communications, vol. 8, no. 1, pp. 1
–
12, 2017.]。胃镜检查目前已被广泛用于早期食管癌的诊断，可以为早期的干预和治疗提供指导。在临床检查中，窄带光成像(narrow
‑
band imaging, nbi)技术常用于食管病变区域的识别[y. horiuchi, k. aoyama, y. tokai, t. hirasawa, s. yoshimizu, a. ishiyama, t. yoshio, t. tsuchida, j. fujisaki, and t. tada,
ꢀ“
convolutional neural network for differentiating gastric cancer from gastritis using magnified endoscopy with narrow band imaging,
”ꢀ
digestive diseases and sciences, pp. 1
–
9, 2019.]，并且已有相关研究表明nbi相比普通白光内镜具有更高的食管癌诊断准确率[z. su, l. wang, s. wei, x. wei, y. kong, w. wang, r. guo, and x. shi,
ꢀ“
clinical diagnostic value of digestive endoscopic narrow
‑
band imaging in early esophageal cancer,
”ꢀ
oncology letters, vol. 17, no. 6, pp. 5481
–
5486, 2019.]。虽然内镜检查设备和成像技术已经取得了显著的进展，但是具有丰富临床经验和熟练操作技巧的医生目前仍然较为缺乏，这一情况在欠发达地区更为严重。另一方面，nbi图像中的食管癌病变区域通常展现出不规则、形变、位置随机以及背景内容复杂等特点，因此实现准确的识别非常困难，并且不同医生之间容易产生不一致的观察结果，影响食管癌早期诊断的准确性。
[0003]
现有的技术方案主要通过计算机来辅助进行病变区域识别，可分为两大类，第一类是先设计包括图像、纹理、形状等在内的手工特征[f. van der sommen, s. zinger, e. j. schoon, and p. de with,
ꢀ“
supportive automatic annotation of early esophageal cancer using local gabor and color features,
”ꢀ
neurocomputing, vol. 144, pp. 92
–
106, 2014；a. setio, f. van der sommen, s. zinger, e. schoon et al.,
ꢀ“
evaluation and comparison of textural feature representation for the detection of early stage cancer in endoscopy,
”ꢀ
in proceedings of the 8th international conference on computer vision theory and applications (visapp), 2013.]，然后结合决策树、支持向量机等机器学习方法来对nbi图像的像素点进行分类，进而产生稠密的预测输出，达到自动提示图像中的病变区域位置的目的。另外一类是基于深
2020.]。因此，构建基于进化神经网络结构搜索食管癌病变区域识别建模方法，可以减少对于经验的依赖，节省人力和时间，实现自动化的面向食管癌病变区域识别的神经网络建模。
[0006]
总的来说：卷积神经网络方法已经被广泛用于食管癌病变区域识别，但是网络模型的构建对于医生和神经网络专家的经验具有很强的依赖。鉴于此，本发明旨在提供一种基于进化神经网络结构搜索食管癌病变区域识别建模方法，根据收集到的食管图像自动建立最适宜的卷积神经网络模型，从而减少对于经验的依赖、大量节省人力和时间，最终辅助医生提高食管癌早期诊断的准确性。


技术实现要素：

[0007]
本发明的目的在于：针对上述存在的问题，本发明提供一种基于进化神经网络结构搜索食管癌病变区域识别建模方法，可高效地自动搜索适应于分析所收集到的食管nbi图像数据的神经网络结构，解决食管癌病变区域识别中神经网络模型设计对专家经验依赖性强的问题。
[0008]
本发明采用的技术方案如下：一种基于进化神经网络结构搜索食管癌病变区域识别建模方法，包括如下步骤：s1：采集并标注用于训练神经网络模型的食管图像数据集；s2：构建用于食管癌病变区域识别的神经网络结构搜索空间；s3：训练面向食管癌病变区域识别的超网络模型；s4：使用进化算法在构建的超网络模型上搜索最优神经网络结构；s5：微调搜索到的神经网络结构，并预测新输入的食管图像上的病变区域。
[0009]
优选地，步骤s1中采集并标注用于训练神经网络模型的食管图像数据集包括如下步骤：s1
‑
1：录制并收集食管内镜检查视频流，筛选并裁剪出nbi成像模式的视频片段；s1
‑
2：抽取所述视频片段包含食管病变区域的视频帧，并随机抽取正常食管的视频帧；s1
‑
3：使用多边形对病变区域进行标注，并且对病变和正常视频帧分别进行图像级别标注；s1
‑
4：将标注后的数据集划分成训练集、验证集、测试集三个部分。
[0010]
优选地，步骤s2中构建用于食管癌病变区域识别的神经网络结构搜索空间具体包括如下步骤：s2
‑
1：根据收集到的数据图像的尺寸，构建输入图像尺寸搜索空间，包括192192, 256256, 320320, 384384, 448448五种分辨率；由于输入图像的分辨率对于神经网络模型病变区域识别结果的准确性有较大影响，故进行输入图像尺寸搜索空间的构建；s2
‑
2：构建上采样操作搜索空间，包括反卷积和双线性插值两种操作；由于不同的长采样方法对食管癌病变区域识别结果有一定的影响，故进行上采样操作搜索空间的构建；s2
‑
3：构建卷积操作搜索空间，包括11，33，55，77四种不同尺寸卷积核的卷积操作；每一个卷积操作之后都进行批归一化(batch normalization, bn)，并且使用
relu激活函数。
[0011]
优选地，步骤s2
‑
2中所述的反卷积的步长为2，双线性插值的倍数为2。
[0012]
优选地，步骤s3中训练面向食管癌病变区域识别的超网络模型具体包括如下步骤：s3
‑
1：构建一个训练面向食管癌病变区域识别的超网络模型，整个超网络模型划分为两个部分，分别是下采样部分和上采样部分；下采样部分包括一个卷积层，一个池化层以及四个下采样块，四个下采样块分别是下采样块1、下采样块2、下采样块3、下采样块4，每个下采样块内部包含三个卷积层，并且使用残差连接的方式；上采样部分包括6个上采样块，6个上采样块分别是上采样块1、上采样块2、上采样块3、上采样块4、上采样块5、上采样块6，每个上采样块中包含一个上采样层和两个卷积层，每个上采样层和卷积层都有多个候选操作，只有一个候选操作在网络模型的训练和测试阶段会被激活；其中下采样部分的中间特征图通过相加的方式和上采样块中的特征图进行融合，并最终用于食管癌病变区域的识别；s3
‑
2：对于每一个批次的训练数据，超网络模型中的分辨率，以及上采样部分中的每个上采样操作、卷积操作都只有一个选项，根据均匀分布被随机激活，并且每一个操作的激活是相互独立的；通过随机激活在超网络模型内部形成一条通路，进而构建一个对应的子网用于训练，超网络模型训练过程的形式化描述如下：上式中表示网络结构，代表网络结构随机采样的分布，表示网络参数，表示食管病变区域标签，表示网络模型预测输出，表示网络训练误差函数。
[0013]
优选地，步骤s4中使用进化算法在构建的超网络模型上搜索最优神经网络结构，具体包括如下步骤：s4
‑
1：构建编码方案：使用整数来表示输入图像分辨率、上采样操作类型、卷积运算操作类型；s4
‑
2：设计遗传操作：根据s4
‑
1中构建的编码方案，直接使用单点拆分和重新合并操作来实现交叉，并且以一定的概率随机重新初始化候选解中的某一位编码来实现变异；优选地，以0.1的概率值随机重新初始化候选解中的某一位编码来实现变异；s4
‑
3：确定环境选择方法：在环境选择过程中使用分割dice值和当前模型的每秒浮点运算次数（flops）作为两个目标进行优化，采用非支配排序(non
‑
dominated sorting)和拥挤距离(crowding
‑
distance)确定种群中解的淘汰优先级，进而获得均匀分布的帕累托最优(pareto
‑
optimal)解集。由于食管癌病变区域的识别检查需要考虑到效率问题，故进行此处选择。
[0014]
需要进一步说明的是本发明具体的得到帕累托最优解集过程是：创建初始化种群，进行适应度计算，若满足要求则输出帕累托最优解集，若不满足要求，则进行遗传操作，之后进行多目标选择，产生子代种群后再次进行适应度计算，如图4所示。
[0015]
优选地，步骤s4
‑
1中对于五种图像分辨率，使用1
‑
5五个整数来编码；上采样操作使用1和2，卷积运算操作使用1
‑
4来编码。
[0016]
优选地，步骤s5中微调搜索到的神经网络结构，并预测新输入的食管图像上的病
变区域，具体包括如下步骤：s5
‑
1：根据实际的运算效率约束条件，从步骤s4
‑
3中进化算法得到的帕累托解集中，选择满足约束并且消耗flops最少的解；所述实际的运算效率约束条件包括食管内镜检查视频流的分辨率和帧率，以及当前计算平台所能提供的算力；s5
‑
2：将解的编码转换为实际搜索到的神经网络结构，从超网中继承相应的权重参数，然后继续在食管癌病变数据训练集上进行微调；s5
‑
3：将微调后的模型用于测试集，评估效果，并且进一步用于预测新输入的食管图像的病变区域。
[0017]
与现有的技术相比本发明的有益效果是：1）本发明能够根据收集的食管图像数据自动搜索最优神经网络结构，从而消除食管癌智能识别任务中神经网络结构设计对于专家经验的依赖，使得深度神经网络方法在食管癌病变区域识别方面更加容易使用；2）本发明能够自动发现合适神经网络模型的食管图像的分辨率，从而减少图像分辨率对病变区域识别性能的影响；3）本发明可以自动搜索到一组不同计算量的网络模型结构，因此可以灵活的根据不同计算代价约束条件来选择合适的神经网络模型，方便不同场景下的食管癌病变区域智能识别系统的部署。
附图说明
[0018]
图1为本发明的整体流程图；图2为本发明的搜索空间；图3为本发明的超网络模型；图4为本发明的多目标进化算法流程图；图5为食管癌病变区域识别结果图。
具体实施方式
[0019]
为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
[0020]
一种基于进化神经网络结构搜索食管癌病变区域识别建模方法，包括如下步骤：s1：采集并标注用于训练神经网络模型的食管图像数据集：其中，步骤s1中采集并标注用于训练神经网络模型的食管图像数据集包括如下步骤：s1
‑
1：录制并收集食管内镜检查视频流，筛选并裁剪出nbi成像模式的视频片段；s1
‑
2：抽取所述视频片段包含食管病变区域的视频帧，并随机抽取正常食管的视频帧；s1
‑
3：使用多边形对病变区域进行标注，并且对病变和正常视频帧分别进行图像级别标注；s1
‑
4：将标注后的数据集划分成训练集、验证集、测试集三个部分。
[0021]
s2：构建用于食管癌病变区域识别的神经网络结构搜索空间：其中，步骤s2中构建用于食管癌病变区域识别的神经网络结构搜索空间具体包括如下步骤：s2
‑
1：根据收集到的数据图像的尺寸，构建输入图像尺寸搜索空间，包括192192, 256256, 320320, 384384, 448448五种分辨率；由于输入图像的分辨率对于神经网络模型病变区域识别结果的准确性有较大影响，故进行输入图像尺寸搜索空间的构建；s2
‑
2：构建上采样操作搜索空间，包括反卷积和双线性插值两种操作；由于不同的长采样方法对食管癌病变区域识别结果有一定的影响，故进行上采样操作搜索空间的构建；s2
‑
3：构建卷积操作搜索空间，包括11，33，55，77四种不同尺寸卷积核的卷积操作；每一个卷积操作之后都进行批归一化(batch normalization, bn)，并且使用relu激活函数。
[0022]
进一步的，步骤s2
‑
2中所述的反卷积的步长为2，双线性插值的倍数为2。
[0023]
s3：训练面向食管癌病变区域识别的超网络模型：其中，步骤s3中训练面向食管癌病变区域识别的超网络模型具体包括如下步骤：s3
‑
1：构建一个训练面向食管癌病变区域识别的超网络模型，整个超网络模型划分为两个部分，分别是下采样部分和上采样部分；下采样部分包括一个卷积层，一个池化层以及四个下采样块，四个下采样块分别是下采样块1、下采样块2、下采样块3、下采样块4，每个下采样块内部包含三个卷积层，并且使用残差连接的方式；上采样部分包括6个上采样块，6个上采样块分别是上采样块1、上采样块2、上采样块3、上采样块4、上采样块5、上采样块6，每个上采样块中包含一个上采样层和两个卷积层，每个上采样层和卷积层都有多个候选操作，只有一个候选操作在网络模型的训练和测试阶段会被激活；其中下采样部分的中间特征图通过相加的方式和上采样块中的特征图进行融合，并最终用于食管癌病变区域的识别；s3
‑
2：对于每一个批次的训练数据，超网络模型中的分辨率，以及上采样部分中的每个上采样操作、卷积操作都只有一个选项，根据均匀分布被随机激活，并且每一个操作的激活是相互独立的；通过随机激活在超网络模型内部形成一条通路，进而构建一个对应的子网用于训练，超网络模型训练过程的形式化描述如下：上式中表示网络结构，代表网络结构随机采样的分布，表示网络参数，表示食管病变区域标签，表示网络模型预测输出，表示网络训练误差函数。
[0024]
s4：使用进化算法在构建的超网络模型上搜索最优神经网络结构：其中，步骤s4中使用进化算法在构建的超网络模型上搜索最优神经网络结构，具体包括如下步骤：s4
‑
1：构建编码方案：使用整数来表示输入图像分辨率、上采样操作类型、卷积运算操作类型；s4
‑
2：设计遗传操作：根据s4
‑
1中构建的编码方案，直接使用单点拆分和重新合并
操作来实现交叉，并且以0.1的概率值随机重新初始化候选解中的某一位编码来实现变异。
[0025]
s4
‑
3：确定环境选择方法：在环境选择过程中使用分割dice值和当前模型的每秒浮点运算次数（flops）作为两个目标进行优化，采用非支配排序(non
‑
dominated sorting)和拥挤距离(crowding
‑
distance)确定种群中解的淘汰优先级，进而获得均匀分布的帕累托最优(pareto
‑
optimal)解集。由于食管癌病变区域的识别检查需要考虑到效率问题，故进行此处选择。
[0026]
需要进一步说明的是本发明具体的得到帕累托最优解集过程是：创建初始化种群，进行适应度计算，若满足要求则输出帕累托最优解集，若不满足要求，则进行遗传操作，之后进行多目标选择，产生子代种群后再次进行适应度计算，如图4所示。
[0027]
进一步地，步骤s4
‑
1中对于五种图像分辨率，使用1
‑
5五个整数来编码；上采样操作使用1和2，卷积运算操作使用1
‑
4来编码。
[0028]
s5：微调搜索到的神经网络结构，并预测新输入的食管图像上的病变区域：其中，步骤s5中微调搜索到的神经网络结构，并预测新输入的食管图像上的病变区域，具体包括如下步骤：s5
‑
1：根据实际的运算效率约束条件，从步骤s4
‑
3中进化算法得到的帕累托解集中，选择满足约束并且消耗flops最少的解；所述实际的运算效率约束条件包括管内镜检查视频流的分辨率和帧率，以及当前计算平台所能提供的算力；s5
‑
2：将解的编码转换为实际搜索到的神经网络结构，从超网中继承相应的权重参数，然后继续在食管癌病变数据训练集上进行微调；s5
‑
3：将微调后的模型用于测试集，评估效果，并且进一步用于预测新输入的食管图像的病变区域。
[0029]
通过本方法构建的基于进化神经网络结构搜索的食管癌病变区域识别模型，能够自动发现合适神经网络模型的食管图像的分辨率，从而减少图像分辨率对病变区域识别性能的影响；能够根据收集的食管图像数据自动搜索最优神经网络结构，从而消除食管癌智能识别任务中神经网络结构设计对于专家经验的依赖，使得深度神经网络方法在食管癌病变区域识别方面更加容易使用，详见图5。
[0030]
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。