原发性胃MALT淋巴瘤数字病理切片图像处理及辅助判读系统

本发明属于医疗图像处理、辅助诊断装置，具体涉及一种原发性胃malt淋巴瘤数字病理切片图像处理及辅助判读系统。

背景技术：

1、在世界卫生组织(who)的分类中，超过100种淋巴瘤亚型被定义。淋巴瘤主要被分为霍奇金淋巴瘤和非霍奇金淋巴瘤两大类，根据肿瘤细胞的大小、形态、分布方式，还可以进一步分成不同的小类型。 原发性胃淋巴瘤( primary gastric lymphoma，pgl)是原发于胃肠道黏膜下淋巴组织的恶性肿瘤，是最常见的非霍奇金结外淋巴瘤，占所有非霍奇金结外淋巴瘤的30%～40%,占胃肠道肿瘤的1%～4%。胃肠道是malt淋巴瘤的最常见原发部位，约占总发病率的50%，其中以胃原发最多见，约占85%。但非特异性腹部症状(如腹部不适、恶心呕吐和体重减轻) 往往导致诊断延迟、容易漏诊或误诊为胃炎、消化性溃疡、胃癌和炎症性肠病等。由于pgl的异质性，在最优的治疗模式上还没有共识。不同类型的淋巴瘤治疗和预后方案也各有差异，错误诊断淋巴瘤亚型可导致病情加重，正确诊断并及早治疗能够有效提高淋巴瘤的治愈率。鉴别胃淋巴瘤是具有挑战性的,特别是如果活检组织很小，仅靠h&e染色玻片很难区分淋巴瘤亚型。最终的结果要依赖于免疫组化染色来揭示共同表达的恶性生发中心。

2、近年来计算机技术蓬勃发展，随着gpu算力的逐渐强大，人工智能已经走进各行各业。基于智能化计算机技术的图像数据分析方法被广泛运用到医学领域的数据分析中，同时在人工智能的大背景下，算力和数据成为了算法领域的硬通货，一些国家部门和社会机构建立了不同的医学图像数据库，例如肝脏肿瘤数据库lits，肺结节数据库lidc-idri，老年痴呆症数据库adni等，推动了很多科研学者专注于研究医学图像处理方法，并取得了诸多成果。当前计算机与数字病理图像结合的辅助诊断策略发展地如火如荼，目前基于机器学习和深度学习技术的分析已成为淋巴瘤病理图像分类的主要方法。国内外学者们利用机器学习技术在淋巴瘤病理图像分类方面进行了诸多研究和探索。通过文献调研可以发现，早期关于数字病理图像的研究，大多是基于数字图像处理技术或基于概率统计分析模型的图像分析与识别方法，存在着数据迁移性较差，泛化性差的局限。深度学习技术将图像特征提取与分析融为一体，相比于传统的机器学习算法，分类过程中采用监督学习或半监督学习的高效算法代替手动获取特征的方法，有效减少了中间过程产生的误差，能够提高淋巴瘤病理图像的分类准确率。

3、但就目前而言，该领域的研究还存在一些问题。首先，该领域的研究数据集大多数是收集来自身体各个不同部位的病变区域，对原发性部位的淋巴瘤诊断是极少的，因此对胃淋巴瘤数字病理切片的研究还停留在浅层认识，尚未进行深入研究。其次，由于淋巴瘤数字病理切片各个批次的染色情况不同，图像存在色域不一的问题，对神经网络的分类结果影响很大，深度学习网络模型对其淋巴瘤分类的泛化能力比较差。此外，先前基于深度学习的其他种类淋巴瘤诊断研究往往更关注其patch层面的分类结果和精度，缺少对整张全视野淋巴瘤数字病理切片诊断结果的识别和可视化解释，但从病理医生的角度，对整张数字病理切片的判读更加具有临床意义。不仅如此，单张全视野病理切片大多在十亿像素以上，这不仅给医生的日常判读带来了繁重的工作，也给ai建模带来了巨大的挑战。

技术实现思路

1、因此，针对现有技术存在的缺陷和不足，本发明提出了一种原发性胃malt淋巴瘤数字病理切片图像处理及辅助判读方案，辅助医生进行实时判读。

2、本发明旨在基于人工智能技术提出了一种原发性胃malt淋巴瘤数字病理切片图像处理及辅助判读方案，辅助医生进行判读。考虑在现有的临床应用中，需要人工肉眼在数字h&e染色切片图像中判断该切片是否属于malt淋巴瘤并通过免疫组化染色技术辅助从而进行最终的诊断，而这个过程通常是耗时且耗力的。因此，本发明首次提出一种原发性胃malt淋巴瘤数字病理切片图像处理及辅助判读系统来辅助医生进行判读。通过在计算机系统当中，输入一张病理切片，输出一张有着疑似原发性胃malt淋巴瘤类别和位置的图像，并可以自动化得到原发性胃malt淋巴瘤初步判读的结果，能够大大减轻医生的阅片时间和诊断难度，提升医生的工作效率，为判断原发性胃malt淋巴瘤患者的预后及治疗手段的改善起到积极的作用，具有非常重要的意义和广阔的前景。

3、本发明解决其技术问题具体采用的技术方案是：

4、一种原发性胃malt淋巴瘤数字病理切片图像处理及辅助判读系统，其特征在于：

5、使用patch分类网络融合模型识别wsi图像，基于从分类网络得到的预测值一维向量，使用预测概率最高的前20%的补丁计算平均值得到整张wsi的判断结果；

6、并通过将patch化的图像块拼回成数字病理切片原图大小使处理结果可视化，输出的图像为包含有疑似原发性胃malt淋巴瘤位置和类别的病理图像。

7、进一步地，所述patch分类网络融合模型的训练过程中：

8、首先，将整张病理图像采用滑动窗口的方式，切分为小patch训练图像块；其次，构建染色归一化模型，解决各个批次数字病理图像的染色情况不同，图像存在色域不一的问题；而后，基于处理过的图像patch构建分类网络，对图像patch进行原发性胃malt淋巴瘤的预测，输出其预测值一维向量；最后，基于在patch层面上的分类结果和预测值一维向量，对整张wsi进行分类，最后将小patch图像块拼回原始大小图像输出。

9、进一步地，在对wsi图像的处理过程中，使用基于滑动窗口的采样策略，将大尺寸的wsi以相等的间隔裁剪成数个较小的512×512图像块，以获得不包含重复区域的子图。

10、进一步地，通过设置阈值去除无关图像信息。

11、进一步地，通过在训练数据输入网络中加入包括不同程度的亮度，对比度，旋转，尺寸变换的图像数据变换，以扩增训练数据的多样性，提高模型泛化性能。

12、进一步地，所述染色归一化模型的处理过程具体为：从切除的图像块中随机挑选一定比例的图像块作为模板图像集进行处理，将rgb通道图像转换到hsv通道；然后，使用阈值算法计算出模板数据集在hsv模式下的均值，公式（1）中θ是从预定义模板图像集中提取的一组hsv参数，f是将给定图像的视觉外观与模板图像匹配的映射函数；参数θ定义为捕捉图像中主要染色成分的颜色信息：

13、                      （1）

14、通过随机按比例选择数据模板集提取色域空间信息，作用于其他不同批次的不同色域图像，以统一重组图像色域，获得染色归一化的图像。

15、进一步地，patch分类网络采用不同的网络模型提取图像的低维度信息和高维度信息，使不同维度层面的特征加以融合：通过resnet50网络提取图像的高维特征，efficientnetb0和efficientnetv2网络提取图像的低维特征，将不同网络提取到的信息进行信息的融合，将其加权平均得到新的分类概率值和分类结果；所有网络在训练前都在imagenet数据集上进行预训练。

16、为了能够减轻病理医生阅片过程中对原发性胃malt淋巴瘤进行诊断所花费的大量精力、时间，以及减少其免疫组化染色所花费的昂贵费用，本发明及其优选方案提出了一种原发性胃malt淋巴瘤数字病理切片智能辅助判读方案，并通过计算机系统加以实现，结合了对数字病理图像染色归一化的算法，辅助了原发性胃malt淋巴瘤分类算法的最终结果判读，可以仅利用其数字病理切片的智能分类有效的辅助病理医生对病理切片的诊断以及对预后的计划和分析。本发明弥补了当前深度学习算法在原发性胃malt淋巴瘤数字病理切片图像处理领域的空白，为人工智能技术在原发性胃淋巴瘤病理辅助领域的应用打下基础。