本发明涉及医疗图像处理领域，尤其涉及一种基于多模态检测网络的宫颈活检区域辅助识别方法及装置。
背景技术：
宫颈癌是指发生在宫颈阴道部或移行带的鳞状上皮细胞及宫颈管内膜的柱状上皮细胞交界处的恶性肿瘤；是威胁全球女性生命的主要原因之一，也是目前人类唯一病因明确的恶性肿瘤。
然而从正常的宫颈到hpv感染，有极少数的宫颈病变会进一步发展成为宫颈癌，这一过程一般需要5-10年左右的时间。因此，如果能通过一定检测技术，在宫颈癌前病变阶段就检测出宫颈出现异样，那么将有很大的可能性预防宫颈癌。而宫颈高级别鳞状上皮内病变(high-gradesquamousintraepitheliallesion，hsil)就是宫颈癌形成的最后一个过程，hsil的诊断和治疗对宫颈癌预防是至关重要的。
宫颈病变的检查步骤主要分三步：(1)宫颈细胞学检查，，最常用的是巴氏涂片法；(2)阴道镜检查，如果细胞学结果有异常，需要做阴道镜检查，观察宫颈上皮颜色、血管等的变化；(3)宫颈组织活检检查，，如果阴道镜检查有疑问，则医生会在阴道镜定位下，对可疑病变处取少许宫颈组织行活检检查，活检结果也就成为宫颈病变的最终结论。
阴道镜检查是一种临床诊断性检查方法，是子宫颈癌筛查和子宫颈病变的诊断中缺一不可的重要技术。通过涂抹醋酸和复方碘溶液，妇科医生肉眼观察子宫颈等部位上皮和血管的变化，评价有无病变和病变程度。但是，阴道镜检查存在两个主要问题：(1)专业要求高，阴道镜图像包含了纹理，颜色等复杂特征，对阴道镜下宫颈组织形态的分析需要高度的专业知识，因此该检查需要经验丰富的妇科医生来进行；(2)主观性强，阴道镜下宫颈图像的诊断含有妇科医生的主观意见，对于一些有争议图像的诊断，每一个专家存在着或多或少的差别。
在这样的情况下，就迫切地需要一种计算机的方法自动分析宫颈图像，输出患者宫颈是否存在活检区域，从根本上辅助医生作出更准确的判断，指导选择活检的准确部位，取代盲目活检，提高活检阳性率与诊断的准确率。
技术实现要素：
本发明提供一种基于多模态检测网络的宫颈活检区域辅助识别装置，通过融合宫颈图像信息和tct、hpv检查信息，得出宫颈存在活检区域的概率标签，从根本上辅助医生对患者的宫颈是否存在活检区域做出更准确的判断。
本发明提供了如下技术方案：
一种基于多模态检测网络的宫颈活检区域辅助识别装置，包括：
非图像信息处理单元，获取患者的tct、hpv检查信息、年龄及宫颈转换区类型，并进行one-hot编码，发送至数据处理单元；
图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；
数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；
显示单元，获取所述的概率标签并显示。
本发明的宫颈活检区域辅助识别装置通过图像采集单元采集宫颈的醋酸图像和碘图像，通过非图像信息处理单元，获取患者的tct、hpv检查信息、年龄及宫颈转换区类型，并进行one-hot编码，数据处理单元对图像信息和非图像信息进行分析处理，得到宫颈存在活检区域的概率标签，并通过显示单元显示，可辅助医生对患者的宫颈是否存在活检区域做出判断。
所述的图像采集单元为阴道镜。宫颈的醋酸图像是指依次涂抹生理盐水、3％-5％醋酸溶液后的宫颈图像，碘图像是指依次涂抹生理盐水、3％-5％醋酸溶液、复方碘溶液后的宫颈图像。
若宫颈存在活检区域，则在3％-5％醋酸溶液作用下，会呈现“厚醋白”、“镶嵌血管”等特征；在复方碘溶液作用下，会呈现“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征，但是存在这些特征也并不能确定宫颈就一定会存在病变，还需要医生做进一步的活检，进而确诊宫颈是否存在病变。
非图像信息包括患者的tct、hpv检查信息、年龄及宫颈转换区类型。
tct信息分为14类：信息缺失、正常、无上皮内病变及恶性改变(nilm)、非典型鳞状细胞，不能明确意义(ascus)、ascus与lsil两者之间、低度鳞状上皮内病变(lsil)、lsil与asc-h两者之间、非典型鳞状细胞，不能除外上皮内高度病变(asc-h)、高度鳞状上皮内病变(hsil)、hsil与scc两者之间、鳞状细胞癌(scc)、非典型腺细胞，无具体指定(agc-nos)、非典型腺细胞，倾向瘤变(agc-fn)、宫颈腺癌。
hpv信息则分为6类：信息缺失、正常、低危阳性、一般阳性、高危阳性①(hpv16和hpv18型)、高危阳性②(hpv12种非16/18高危阳性)。
将20～60岁分为5个年龄段：①20～24岁、②25～34岁、③35～49岁、④50～55岁、⑤56～60岁。
将宫颈转化区类型信息分为4类：信息缺失、i型、ii型、iⅱ型。
所述的宫颈活检区域识别模型包括：
非图像特征提取模块，用于提取非图像信息的特征；
图像特征检测模块，用于获取醋酸图像和碘图像中宫颈面区域的特征，并将醋酸图像宫颈面区域的特征与碘图像宫颈面区域的特征进行融合和降维；
特征结合模块，将融合、降维后的宫颈面区域特征与非图像信息的特征进行拼接；
顶层模块，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签。
所述的非图像特征提取模块包括1个输入层和3个隐层；输入层为tct、hpv、年龄、宫颈转化区类型的数据向量；3个隐层均包含128个神经元；3个隐层的激励函数均为relu函数。
所述的图像特征检测模块包括依次连接的：
2个独立的图像特征检测子网络，分别用于提取醋酸图像和碘图像中宫颈面区域的特征；
图像特征拼接层，将醋酸图像和碘图像宫颈面区域的特征在通道维度上进行拼接；
全连接层，将拼接后的图像特征进行降维。
所述的图像特征检测子网络层为去除最后分类层的fasterr-cnn目标检测网络。其具体结构为：图像特征检测子网络层包括依次连接的去除全连接层的vgg16网络、rpn网络、roipooling层和两个全连接层。
vgg16网络由13个卷积层+relu、5个最大池化层、3个全连接层+relu和softmax分类器组成，有13个卷积层，3个全连接层，故称为vgg16。该网络使用更小的卷积核、更深的网络层数达到很好的图像识别效果。
所述的顶层模块包括2个全连接层和1个softmax分类器。
宫颈活检区域识别模型的训练包括以下步骤：
(1)获取患者的非图像信息和图像信息并进行识别和标记，对非图像信息并进行one-hot编码，构建训练集；
所述的非图像信息包括tct、hpv、年龄、宫颈转化区类型；对非图像信息进行识别和标记是指，判断该组非图像信息所对应的宫颈是否存在活检区域，并标记；
所述的图像信息包括宫颈的醋酸图像和碘图像；对图像信息识别和标记是指，识别图像中宫颈面区域的坐标，判断该组图像信息对应的宫颈是否存在活检区域，并标记；
将同一个患者的非图像信息和图像信息作为一个训练样本；训练集中，存在活检区域的样本数与正常宫颈的样本数比例为0.8～1.2∶1。
(2)对非图像特征提取模块进行预训练；
(2-1)在非图像特征提取模块之后连接1个输出层，构成非图像信息分类网络；
(2-2)采用训练集中的非图像信息编码将非图像信息分类网络训练至收敛，保持非图像特征提取模块部分的模型参数；
(3)对宫颈活检区域识别模型进行训练；
(3-1)将预训练得到的非图像特征提取模块的模型参数加载到宫颈活检区域识别模型中，来进行非图像特征提取模块初始化；
(3-2)将训练集中的非图像信息编码输入到非图像特征提取模块中，获得非图像特征；将训练集中的醋酸图像和碘图像输入到图像特征检测模块中，获得图像特征；
非图像特征和图像特征经过特征结合模块和顶层模块后，输出宫颈存在活检区域的概率标签，训练至对宫颈活检区域识别模型收敛；
保存训练得到的模型参数。
本发明还公开了采用所述的宫颈活检区域辅助识别装置进行宫颈活检区域辅助识别的方法，包括以下步骤：
(1)通过非图像信息处理单元获取患者的tct、hpv检查信息、年龄及宫颈转换区类型，并进行one-hot编码，输入至数据处理单元中的宫颈活检区域识别模型；
(2)通过图像采集单元采集患者宫颈的醋酸图像和碘图像，输入至数据处理单元中的宫颈活检区域识别模型；
(3)通过所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签并通过显示单元显示。
与现有技术相比，本发明的有益效果为：
本发明的基于多模态检测网络的宫颈活检区域辅助识别装置融合了阴道镜检查的图像信息和tct、hpv检查等非图像信息来判断患者的宫颈是否存在活检区域，比只分析图像信息或只分析非图像信息的准确度更高，可以从根本上辅助医生对宫颈是否需要做进一步的活检做出更准确的判断；另外，本发明使用目标检查网络对醋酸图像和碘图像的宫颈区域进行定位的同时完成分类任务，并在网络的高层融合醋酸图像和碘图像特征，进一步提高判断结果的准确性。
附图说明
图1为非图像特征提取模块的预训练流程示意图；
图2为宫颈活检区域识别模型的结构示意图；
图3为vgg16网络的结构示意图；
图4为fasterr-cnn网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
一种基于多模态检测网络的宫颈活检区域辅助识别装置，包括：
图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；
非图像信息处理单元，获取患者的tct、hpv检查信息、年龄及宫颈转换区类型，并进行one-hot编码，发送至数据处理单元；
数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；
所述的宫颈活检区域识别模型包括：
图像特征检测模块，用于获取醋酸图像和碘图像中宫颈面区域的特征，并将醋酸图像宫颈面区域的特征与碘图像宫颈面区域的特征进行融合和降维；
非图像特征提取模块，用于提取非图像信息的特征；
特征结合模块，将融合后的宫颈面区域特征与非图像信息的特征进行拼接；
顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签；
显示单元，获取所述的概率标签并显示。
图像采集单元为阴道镜，医生在对患者进行阴道镜检查时，会依次使用生理盐水、3％-5％醋酸溶液、复方碘溶液涂抹宫颈，通过观察子宫颈鳞柱交界及柱状上皮内特征的变化，评价患者宫颈有无异常。
本发明采用了阴道镜检查过程中拍摄的醋酸图像和碘图像，并人工标注出只包含有宫颈面的区域，避免医疗器械、棉签等噪音的影响。在图像特征的提取上，与一般的基于卷积神经网络的分类模型不同，本发明采用fasterr-cnn检测网络，在对醋酸图像和碘图像的宫颈区域进行定位的同时完成分类任务，并在网络的高层融合醋酸图像和碘图像特征。
由于在阴道镜检查之前，患者需要完成tct、hpv的检查，其检查结果对后续的阴道镜诊断具有指导意义。因此，本发明通过将tct、hpv等检查结果编码，并将该编码信息进行预分类，再融合醋酸图像和碘图像整合之后的特征，得出宫颈存在需要活检的区域的概率标签。
宫颈活检区域识别模型的构建和训练过程如下：
(1)：非图像特征提取模块的构建和预训练
(1-1)tct、hpv检测信息编码
tct和hpv检测结果信息多而繁杂，通过咨询医院宫颈疾病医生，本发明将tct信息分为14类：信息缺失、正常、无上皮内病变及恶性改变(nilm)、非典型鳞状细胞，不能明确意义(ascus)、ascus与lsil两者之间、低度鳞状上皮内病变(lsil)、lsil与asc-h两者之间、非典型鳞状细胞，不能除外上皮内高度病变(asc-h)、高度鳞状上皮内病变(hsil)、hsil与scc两者之间、鳞状细胞癌(scc)、非典型腺细胞，无具体指定(agc-nos)、非典型腺细胞，倾向瘤变(agc-fn)、宫颈腺癌。
tct检测结果有两条线，分别为鳞状细胞和腺细胞，且编码时鳞状细胞和腺细胞是可以共存的，并且tct分级结果中不能跳级，只能在两个级别之间。
hpv信息则分为6类：信息缺失、正常、低危阳性、一般阳性、高危阳性①(hpv16和hpv18型)、高危阳性②(hpv12种非16/18高危阳性)。
另外，除了tct和hpv检查信息，本发明还对病人的年龄和宫颈转化区类型进行了编码。不同的年龄段患病的可能性是有差别的，越年轻患病的可能性越小，将20～60岁分为5个年龄段：①20～24岁、②25～34岁、③35～49岁、④50～55岁、⑤56～60岁。而宫颈转化区类型分为i型、ii型、iⅱ型，不同的转换区类型对最后的分类结果也是有影响的，将宫颈转化区类型信息分为4类：信息缺失、i型、ii型、iⅱ型。
最后，对于一个病人给定的tct、hpv、年龄、宫颈转化区类型等信息进行one-hot编码。
(1-2)构建非图像特征提取模块并进行预训练
非图像特征提取模块包括1个输入层和3个隐层；输入层为tct、hpv、年龄、宫颈转化区类型的数据向量；3个隐层均包含128个神经元；3个隐层的激励函数均为relu函数。
对非图像特征提取模块进行预训练时，在非图像特征提取模块之后添加1个具有2个神经元的输出层，形成非图像信息分类网络，输出为hsil(high-gradesquamousintraepitheliallesion，宫颈高级别鳞状上皮内病变)或正常。
具体来说就是分别将tct(14个神经元)、hpv(6个神经元)、年龄(5个神经元)、宫颈转化区类型(4个神经元)编码好的数据输入到有32个神经元的隐层中；
将4×32个神经元拼接(concat)起来形成128个神经元，再接两个有128个神经元的隐层，最后进行二分类(hsil/正常)，如图1所示。
训练至非图像信息分类网络收敛，保持网络模型参数。
(2)：宫颈活检区域识别模型的构建与训练
(2-1)宫颈图像筛选和预处理
阴道镜检查过程拍摄有涂抹生理盐水、3％-5％醋酸以及复方碘溶液的图像，由于生理盐水只是简单的清洁作用，宫颈上皮并不会产生相应的反应，其图像特征对最后分类任务的作用并不大。因此，本发明仅筛选出每个病人的醋酸图像和碘图像，去除有大面积反光和出血的图像，保留质量较好的图像。完成初步的筛选后，标注出醋酸图像和碘图像中包含整个宫颈面的区域，识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征，并标记；识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征，并标记，供宫颈活检区域识别模型进行分类和检测。
(2-2)构建宫颈活检区域识别模型
宫颈活检区域识别模型包括：
图像特征检测模块，用于获取醋酸图像和碘图像中宫颈面区域的特征，并将醋酸图像宫颈面区域的特征与碘图像宫颈面区域的特征进行融合和降维；
非图像特征提取模块，用于提取非图像信息的特征；
特征结合模块，将融合后的宫颈面区域特征与非图像信息的特征进行拼接；
顶层，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签。
其中，图像特征检测模块，包括：
2个独立的图像特征检测子网络，分别提取醋酸图像和碘图像宫颈面区域的特征，每个图像特征检测子模块包括依次连接的去除全连接层的vgg16网络、rpn网络、roipooling层和两个全连接层，每个全连接层的神经元数为4096；
图像特征拼接层，将醋酸图像和碘图像宫颈面区域的特征在通道维度上进行拼接；
3个全连接层，将拼接后的图像特征进行降维，3个全连接层的神经元数分别为4096、4096和128。
非图像特征提取模块，结构如步骤(1-2)所述。
顶层包括2个全连接层和1个分类器，2个全连接层的神经元数均为128，分类器输出宫颈是否存在需要活检的区域(异常区域)。
(2-3)宫颈活检区域识别模型的训练
(2-31)将预训练得到的非图像特征提取模块参数加载到宫颈活检区域识别模型中来进行非图像特征提取模块初始化；
(2-32)将非图像信息输入到非图像特征提取模块中，获得非图像特征；
(2-33)再分别把标注过宫颈面区域的醋酸图像和碘图像分别输入到两个图像特征检测模块中，具体来说就是，先输入到去除全连接层的vgg16网络(如图1所示)来获得初步的featuremaps，然后将featuremaps经过rpn网络获得宫颈面的区域提名，并将rpn网络的结果和featuremaps输入到roipooling层中，再通过2个全连接层；通过直接拼接来融合两张图像的特征，然后再接三个全连接层将融合后的图像特征降维，得到图像特征；
(2-34)融合图像特征和非图像特征(直接拼接)，最后通过2个全连接层和一个softmax层得到最后的分类结果。
训练至宫颈活检区域识别模型收敛，保存模型参数。
当有新的患者时，获取其tct、hpv、年龄、宫颈转化区类型等信息并进行one-hot编码，采用阴道镜分别采集其宫颈的3％-5％醋酸溶液、复方碘溶液图像，数据处理单元获取上述图像信息和非图像信息后将其输入到宫颈活检区域识别模型中，即可输出该患者宫颈需要进行活检的概率标签并在显示单元显示，医生根据输出的概率标签，再结合该患者的生理盐水、3％-5％醋酸溶液、复方碘溶液图像以及其他检查结果判断该患者是否需要进一步的活检，进而判断该患者的宫颈是否存在病变。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。