基于皮肤病理图像的识别方法及系统与流程

本发明涉及医疗影像识别技术领域，具体涉及一种基于皮肤病理图像的识别方法及系统。

背景技术：

皮肤病理检查是医生在临床进行皮肤特性判断的“金标准”，其过程为借助病变组织病理切片(通常将病变组织包埋在石蜡块里，用切片机切成薄片，再用苏木精－伊红(h-e)染色，并非以有生命的人体或者动物体为直接实施对象)，进行显微镜下的皮肤组织及细胞的微观层面观察，确认疾病类型。目前炎症性皮肤病患者数量在我国皮肤科临床占据主要部分，并且其病理检查数量在逐年增长。由于炎症性皮肤病为病变组织中所有浸润细胞均为炎症细胞，包含种类繁多，既包括全局组织结构信息，又包括局部差异变化，模式复杂，十分具有专业性，目前炎症性皮肤特性识别均需皮肤科医生或病理科资深医生来完成。

现阶段，计算机视觉和机器学习技术虽然在医学领域已经取得了广泛的应用，在皮肤病识别方面也有诸多探索，但主要是针对皮肤镜和皮损图像，而对于直接表征疾病内在特征的皮肤病理切片图像，国内外尚没有能够覆盖炎症性皮肤病病理模式和疾病类型自动识别的方法，仍需要依靠医生的经验来进行判断，不仅筛查效率和准确率低，而且成本相当高，造成优质皮肤病理医生资源的紧张。因此，亟需一种新的技术方案针对炎症性皮肤病病理图像进行快速、准确的病理特征及疾病类型识别。

技术实现要素：

本发明实施例的目的在于提供一种基于皮肤病理图像的识别方法及系统，作用于病理特征复杂的炎症性皮肤病病理图像(并非以有生命的人体或者动物体为直接实施对象)，克服目前炎症性皮肤特性识别自动化水平低、效率低等问题，可辅助医生判断，提高根据皮肤病理图像的筛查率和准确率。

为实现上述目的，本发明实施例提供一种基于皮肤病理图像的识别方法，包括如下步骤：

1)数据预处理：

101)根据炎症性皮肤病的亚型所包含的细分类型，选取经临床明确确诊属于所述细分类型的病例作为对应样本；

102)通过数字切片扫描仪对皮肤病理切片进行扫描，采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本；

103)对所述皮肤病理图像样本进行组织区域和病理学特征标注，形成组织区域划分标签和病理学特征标签；

2)生成组织区域分割模型：

根据所述皮肤病理图像样本和组织区域划分标签，应用全卷积神经网络fcn模型进行皮肤病理图像样本深度学习训练，迭代优化调整网络参数，性能稳定后保存训练为组织区域分割模型；

3)生成病理特征提取模型：

根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，对皮肤病理图像样本进行深度学习训练，迭代优化调整生成新的网络参数，性能稳定后保存训练为病理特征提取模型，在获取所述组织区域分割模型后，加载所述病理特征提取模型生成图像样本的病理学特征结果；

4)生成疾病类型分类模型：

根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，对皮肤病理图像样本进行深度学习训练，迭代优化调整网络层数和宽度，生成权重参数，性能稳定后保存为疾病类型分类模型，在获取所述病理学特征结果后，加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。

作为基于皮肤病理图像的识别方法的优选方案，所述步骤101)中，将炎症性皮肤病分为九个亚型，九个亚型及每个亚型所包含的细分类型如下：

a)真皮浅层血管周围炎：单纯型、界面皮炎型、海绵水肿型、银屑病样型；

b)真皮浅层和深层血管周围炎：单纯型、界面皮炎型、海绵水肿型、银屑病样型；

c)结节性和弥漫性皮炎：结节性、弥漫性；

d)表皮内水疱和脓疱型皮肤病：海绵水肿性、气球变性、棘层松解性、表皮内脓疱性；

e)表皮下水疱性：无或很少炎症细胞浸润、有炎症细胞浸润；

f)毛囊炎及毛囊周围炎：毛囊炎、毛囊周围炎、脱发；

g)纤维性皮炎：纤维生成前病变、纤维化、硬化；

h)血管炎：嗜中性粒细胞性、淋巴细胞性、组织细胞性、静脉血栓性；

i)脂膜炎：间隔性、小叶性。

作为基于皮肤病理图像的识别方法的优选方案，所述步骤102)中，将采集的皮肤病理图像样本保存为4倍率图像样本，皮肤病理图像样本的存储格式为jpg或bmp。

作为基于皮肤病理图像的识别方法的优选方案，所述步骤103)中，对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括：角质层、棘层、真皮乳头层和真皮网状层；

所述步骤103)中，对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括：角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死；

所述步骤103)中，在对所述皮肤病理图像样本进行组织区域标注时，皮肤病理图像样本的每个像素点有一个区域划分标签，皮肤病理图像样本的每个像素点有若干个病理学特征标签。

作为基于皮肤病理图像的识别方法的优选方案，所述步骤3)中，根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，应用基于tensorflow环境的unet和resnet结合模型对皮肤病理图像样本进行深度学习训练。

作为基于皮肤病理图像的识别方法的优选方案，所述步骤4)中，根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，通过svm分类识别模型对皮肤病理图像样本进行深度学习训练。

本发明实施例还提供一种基于皮肤病理图像的识别系统，包括：数据预处理模块、组织区域分割模型生成模块、病理特征提取模型生成模块和疾病类型分类模型生成模块；

所述数据预处理模块包括样本选取单元、样本采集单元和样本标注单元，所述样本选取单元用于根据炎症性皮肤病的亚型所包含的细分类型，选取经临床明确确诊属于所述细分类型的病例作为对应样本；所述样本采集单元用于通过数字切片扫描仪对皮肤病理切片进行扫描，采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本；所述样本标注单元用于对皮肤病理图像样本进行组织区域和病理学特征标注形成组织区域划分标签和病理学特征标签；

所述组织区域分割模型生成模块用于根据所述皮肤病理图像样本和组织区域划分标签，应用全卷积神经网络fcn模型进行皮肤病理图像样本深度学习训练，迭代优化调整网络参数，性能稳定后保存训练为组织区域分割模型；

所述病理特征提取模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，对皮肤病理图像样本进行深度学习训练，迭代优化调整生成新的网络参数，性能稳定后保存训练为病理特征提取模型，在获取所述组织区域分割模型后，加载所述病理特征提取模型生成图像样本的病理学特征结果；

所述疾病类型分类模型生成模块用于根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，对皮肤病理图像样本进行深度学习训练，迭代优化调整网络层数和宽度，生成权重参数，性能稳定后保存为疾病类型分类模型，在获取所述病理学特征结果后，加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。

作为基于皮肤病理图像的识别系统的优选方案，所述样本采集单元中，将采集的皮肤病理图像样本保存为4倍率图像样本，皮肤病理图像样本的存储格式为jpg或bmp。

作为基于皮肤病理图像的识别系统的优选方案，所述样本标注单元中对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括：角质层、棘层、真皮乳头层和真皮网状层；

所述样本标注单元中对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括：角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死；

所述样本标注单元中在对所述皮肤病理图像样本进行组织区域标注时，皮肤病理图像样本的每个像素点有一个区域划分标签，皮肤病理图像样本的每个像素点有若干个病理学特征标签。

作为基于皮肤病理图像的识别系统的优选方案，所述病理特征提取模型生成模块中，根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，应用基于tensorflow环境的unet和resnet结合模型对皮肤病理图像样本进行深度学习训练；

所述疾病类型分类模型生成模块中，根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，通过svm分类识别模型对皮肤病理图像样本进行深度学习训练。

本发明实施例具有如下优点：采用多任务学习(multi-tasklearning)的深度学习技术，依次完成组织区域分割、病理特征提取和疾病分类识别三个任务，对应建立组织区域分割模型、病理特征提取模型和疾病分类模型三个深度学习模型，遵循了医生临床的结构型式分析法进行系统化建模，实现了人工智能用于病理诊断的关键环节和指标可控；组织区域分割和病理特征提取模型，以像素为最小单位训练学习，所需样本数量规模可控，突破了海量样本限制，并且最终学习结果用于处理病种繁多的炎症性皮肤病病理特性识别，大大提升我国皮肤病理诊断和识别效率，自动化技术程度高，可节省大量的人力、物力资源。

附图说明

图1为本发明实施例提供的基于皮肤病理图像的识别方法流程图。

图2为本发明实施例提供的基于皮肤病理图像的识别方法架构图。

图3为本发明实施例提供的基于皮肤病理图像的识别过程中病理图像样本标注示意图。

图4为本发明实施例提供的基于皮肤病理图像的识别系统示意图。

图中：1、数据预处理模块；2、组织区域分割模型生成模块；3、病理特征提取模型生成模块；4、疾病类型分类模型生成模块；5、样本选取单元；6、样本采集单元；7、样本标注单元。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

参见图1、图2和图3，本实施例提供一种基于皮肤病理图像的识别方法，包括如下步骤：

s1：数据预处理：

s101：根据炎症性皮肤病的亚型所包含的细分类型，选取经临床明确确诊属于所述细分类型的病例作为对应样本；

s102：通过数字切片扫描仪对皮肤病理切片进行扫描，采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本；

s103：对所述皮肤病理图像样本进行组织区域和病理学特征标注，形成组织区域划分标签和病理学特征标签；

s2：生成组织区域分割模型：

根据所述皮肤病理图像样本和组织区域划分标签，应用全卷积神经网络fcn模型进行皮肤病理图像样本深度学习训练，迭代优化调整网络参数，性能稳定后保存训练为组织区域分割模型；

s3：生成病理特征提取模型：

根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，对皮肤病理图像样本进行深度学习训练，迭代优化调整生成新的网络参数，性能稳定后保存训练为病理特征提取模型，在获取所述组织区域分割模型后，加载所述病理特征提取模型生成图像样本的病理学特征结果；

s4：生成疾病类型分类模型：

根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，对皮肤病理图像样本进行深度学习训练，迭代优化调整网络层数和宽度，生成权重参数，性能稳定后保存为疾病类型分类模型，在获取所述病理学特征结果后，加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。

基于皮肤病理图像的识别方法的一个实施例中，步骤s1，将炎症性皮肤病分为九个亚型，具体的九个亚型及每个亚型所包含的细分类型参见表1，

表1炎症性皮肤病九个亚型及每个亚型所包含的细分类型

基于皮肤病理图像的识别方法的一个实施例中，所述步骤s101将采集的皮肤病理图像样本保存为4倍率图像样本，皮肤病理图像样本的存储格式为jpg(jointphotographicexpertsgroup)或bmp(bitmap)。应用数字切片扫描仪对皮肤病理切片扫描后保存为4倍率图像，保证皮肤病理图像的清洗度，满足特性识别的需求。

基于皮肤病理图像的识别方法的一个实施例中，所述步骤s103中，对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括：角质层、棘层、真皮乳头层和真皮网状层；对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括：角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死；在对所述皮肤病理图像样本进行组织区域标注时，皮肤病理图像样本的每个像素点有一个区域划分标签，皮肤病理图像样本的每个像素点有若干个病理学特征标签。对应标注时的组织区域，每个像素点只能有一个区域划分标签，而病理学特征标签可以有若干个，并且区域划分和特征标签直接可以重复标记，例如，一块区域即可以标记为棘层，也可以标记为棘层肥厚。

基于皮肤病理图像的识别方法的一个实施例中，所述步骤s3中，根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，应用基于tensorflow环境的unet和resnet结合模型对皮肤病理图像样本进行深度学习训练。具体的，tensorflow是一个基于数据流编程(dataflowprogramming)的符号数学系统，可以应用于皮肤病理图像的炎症性皮肤特性识别过程中深度学习(machinelearning)算法的编程实现。tensorflow拥有多层级结构，可部署于各类服务器、pc终端和网页，并支持gpu和tpu高性能数值计算。具体的，unet是基于fcn(fullyconvolutionalnetworks)的一个语义分割网络，unet前半部分作用是特征提取，后半部分是上采样。unet是一种编码器-解码器结构。具体的，resnet又名残差神经网络，是在传统卷积神经网络中加入残差学习(residuallearning)的思想，解决了深层网络中梯度弥散和精度下降(训练集)的问题，使网络能够越来越深，既保证了精度，又控制了速度。

基于皮肤病理图像的识别方法的一个实施例中，所述步骤s4中，根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，通过svm(supportvectormachine)分类识别模型对皮肤病理图像样本进行深度学习训练。svm指的是支持向量机，针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而实现高维特征空间采用线性算法对样本的非线性特征进行线性分析。基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个皮肤病理图像样本空间的期望以某个概率满足一定上界。

参见图4，本发明实施例还提供一种基于皮肤病理图像的识别系统，包括数据预处理模块1、组织区域分割模型生成模块2、病理特征提取模型生成模块3和疾病类型分类模型生成模块4；

所述数据预处理模块1包括样本选取单元5、样本采集单元6和样本标注单元7，所述样本选取单元5用于根据炎症性皮肤病的亚型所包含的细分类型，选取经临床明确确诊属于所述细分类型的病例作为对应样本；所述样本采集单元6用于通过数字切片扫描仪对皮肤病理切片进行扫描，采集并保存扫描的所述皮肤病理切片的皮肤病理图像样本；所述样本标注单元7用于对皮肤病理图像样本进行组织区域和病理学特征标注形成组织区域划分标签和病理学特征标签；

所述组织区域分割模型生成模块2用于根据所述皮肤病理图像样本和组织区域划分标签，应用全卷积神经网络fcn模型进行皮肤病理图像样本深度学习训练，迭代优化调整网络参数，性能稳定后保存训练为组织区域分割模型；

所述病理特征提取模型生成模块3用于根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，对皮肤病理图像样本进行深度学习训练，迭代优化调整生成新的网络参数，性能稳定后保存训练为病理特征提取模型，在获取所述组织区域分割模型后，加载所述病理特征提取模型生成图像样本的病理学特征结果；

所述疾病类型分类模型生成模块4用于根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，对皮肤病理图像样本进行深度学习训练，迭代优化调整网络层数和宽度，生成权重参数，性能稳定后保存为疾病类型分类模型，在获取所述病理学特征结果后，加载所述疾病类型分类模型获得最终炎症性疾病的分类识别结果。

基于皮肤病理图像的识别系统的一个实施例中，所述样本采集单元6中，将采集的皮肤病理图像样本保存为4倍率图像样本，皮肤病理图像样本的存储格式为jpg或bmp。保证皮肤病理图像的清洗度，满足特性识别的需求。

基于皮肤病理图像的识别系统的一个实施例中，所述样本标注单元7中对所述皮肤病理图像样本进行组织区域标注形成的组织区域划分标签包括：角质层、棘层、真皮乳头层和真皮网状层；所述样本标注单元7中对所述皮肤病理图像样本进行病理学特征标注形成的病理学特征标签包括：角化不全、角化过度、棘层肥厚、海绵水肿、炎症细胞浸润、基底细胞液化变性、银屑病样增生、颗粒层肥厚、增厚、变薄、纤维化、硬化、气球变性、网状变性、噬黑素细胞、疱、毛囊上皮内炎症细胞浸润、嗜中性粒细胞浸润、淋巴细胞浸润、组织细胞浸润、血栓、小叶间隔增宽、肉芽肿、脂肪坏死；所述样本标注单元7中在对所述皮肤病理图像样本进行组织区域标注时，皮肤病理图像样本的每个像素点有一个区域划分标签，皮肤病理图像样本的每个像素点有若干个病理学特征标签。

基于皮肤病理图像的识别系统的一个实施例中，所述病理特征提取模型生成模块3中，根据所述皮肤病理图像样本、组织区域划分标签和病理学特征标签，应用基于tensorflow环境的unet和resnet结合模型对皮肤病理图像样本进行深度学习训练；所述疾病类型分类模型生成模块4中，根据所述皮肤病理图像样本、组织区域划分标签、病理学特征标签和图像样本病例所属亚型的细分类型，通过svm分类识别模型对皮肤病理图像样本进行深度学习训练。

本发明采用多任务学习(multi-tasklearning)的深度学习技术，依次完成组织区域分割、病理特征提取和疾病分类识别三个任务，对应建立组织区域分割模型、病理特征提取模型和疾病分类模型三个深度学习模型，遵循了医生临床的结构型式分析法进行系统化建模，实现了人工智能用于病理诊断的关键环节和指标可控；组织区域分割和病理特征提取模型，以像素为最小单位训练学习，所需样本数量规模可控，突破了海量样本限制，并且最终学习结果用于处理病种繁多的炎症性皮肤病病理特性识别，大大提升我国皮肤病理诊断和识别效率，自动化技术程度高，可节省大量的人力、物力资源。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。