结合反绎学习与深度学习的免疫固定电泳图像识别方法

本发明涉及一种结合反绎学习与深度学习的免疫固定电泳图像识别方法和系统，属于图像数据处理。

背景技术：

1、免疫固定电泳是一种用于分离蛋白质的技术，它采用高压直流电为驱动力进行液相分离，以血清蛋白电泳和抗原抗体免疫沉淀为基础，在琼脂糖平板上进行区带电泳，各个电泳条包被不同类型的单克隆抗体，具有高分辨率和高灵敏度，被广泛应用于蛋白质组学，临床诊断和生物技术等领域。通常，免疫固定电泳图像需要有经验的专家通过长期总结出的规则进行识别，免疫固定电泳图像可以分为纵向六个条带和横向四个区域。专家通过不同条带之间相同横向区域的匹配情况来对图像进行识别和分类。

2、传统的识别方法需要耗费大量的时间，且需要有经验的经过培养的专家才能胜任，人力和时间成本都很高。随着计算机技术和人工智能技术的发展，前人也对免疫固定电泳图像的自动化识别进行了许多探索。然而，由于图像的复杂性、获取难度、噪声和干扰等因素影响，免疫固定电泳图像的自动化识别一直是一个挑战。传统的免疫固定电泳图像识别方法主要是基于手工设计的特征提取和分类器构建，存在着特征表达不充分、分类泛化能力差、可解释性差等问题。随着深度学习近些年的发展，基于深度学习的医学图像分类也成为了研究的重点与热点，然而，基于深度学习的医学图像分类方法在现实场景下的应用中存在明显的不足，现有的深度学习算法难以在其上训练出具有良好泛化性能的模型。在临床应用中，医学影像数据必须从实际患者身上获得，因此其批量收集往往存在困难；其次，实际收集的患者数据类别往往与疾病的严重程度和发病率有关，因此数据类别间存在严重的不平衡现象；同时，医学影像数据的标注需要医生的专业知识和精细标注，其所需的人力物力也比普通图像数据高。因此，医学影像数据往往存在数量少、不平衡、标注少等诸多问题。基于深度学习的免疫固定电泳图像分类模型也往往依赖大量的标注数据才能提升精度，而相关疾病发病率的不平衡导致了某些类别的数据天生存在难以收集的问题，这使得分类模型的精度提升也存在困难，且泛用的深度学习模型在医疗领域也存在可解释性差等问题。综上所述，虽然免疫固定电泳图像的自动化识别分类在科研中取得了一定成果，但医学影像数据在实际中存在的数量少、不平衡、标注少，以及模型的可解释性差等问题，使得其在实际临床应用中存在诸多困难。

技术实现思路

1、发明目的：针对现有技术中存在的问题与不足，本发明提供了结合反绎学习与深度学习的免疫固定电泳图像识别方法和系统，通过引入专家知识，利用可以获得的少量有标注免疫固定电泳图像生成额外数据，并在神经网络的设计和训练过程中引入专家知识和逻辑推理的帮助，增强模型在特定任务上的可解释性和表达能力，加快模型的训练速度，提升模型最终的预测准确率。

2、本发明方法融合了人类专家知识的作用，在数据增强和模型设计两方面着手，使得在训练数据数量少、不平衡、标注少的临床应用环境下，分类模型仍能取得良好的分类判别结果，且能够利用现有少量样本和专家知识，获得大量新的有标注样本，大大降低了人力成本。

3、技术方案：一种结合反绎学习与深度学习的免疫固定电泳图像识别方法，首先，获取免疫固定电泳图像及图像相关联的标记信息，构建基于专家知识的生成式模型；针对少量且类别不平衡现象较为严重的样例数据，结合反绎学习引入专家知识，依照人工识别规则对样例数据进行切分和重新组合，从而实现免疫固定电泳图像的自动生成和标注；结合专家知识，利用多任务学习范式和注意力机制设计神经网络结构，构建深度学习模型，对经反绎学习增广后的数据进行训练，获得高效且准确的分类模型；将所得到的分类模型应用于免疫固定电泳图像的识别中，准确、高效地实现免疫固定电泳图像的自动识别。

4、所述基于专家知识的生成式模型构建中：收集免疫固定电泳图像关于异常分类时的依据，作为记录，包括异常出现区域和异常出现模式；从记录中提取出相应的规则，包括异常区域与异常模式和标注类别的匹配；利用提取出的规则构造生成式模型g。

5、依照专家知识，免疫固定电泳图像可以纵向分为六个条带，包括对照带elp，和g、a、m、k、l五种m蛋白带，并且横向可以分为四个区域。通过不同纵向条带相同横向区域的匹配情况可以将图像分为九类；将上述专家知识以规则的形式进行抽象化表达，并基于这些规则建立生成式模型g，模型g输入少量已有模型和预设标注信息，生成大量符合规则的新样本。

6、基于反绎学习实现免疫固定电泳图像的自动生成和标注：收集少量免疫固定电泳图像，并进行标注，形成数据集s_0；根据已收集的少量有标注的免疫固定电泳图像，按照需求设定需要生成的样例图像的标注信息，如蛋白质异常类别信息，异常出现的区域信息；输入数据集s_0中的样本图像到生成式模型g，生成式模型g将根据设定好的图像的标注信息，将图像进行切分与重新组合，生成新的有标注的样例图像，重复生成多幅符合设定需求的样例图像，将新生成的样例图像加入到数据集s_0中，将扩增之后的数据集记为s_1。

7、基于专家知识与注意力机制构建深度学习模型：基于残差卷积网络设计构建特征提取器模块；根据专家知识设计不同的子任务，对于不同的子任务构建独立参数的分类器模块； 基于专家知识，构建注意力模块，针对不同类型的免疫固定电泳图像，注意力模块关注不同的注意力区域；将特征提取器模块，子任务分类器模块和注意力模块进行耦合得到最终深度学习模型；

8、分类模型的初始化与监督训练中：将构建的深度学习模型作为分类模型，对分类模型进行参数初始化；将有标注免疫固定电泳图像数据集s_1按一定比例分为训练集d_1和验证集e_1；以交叉熵损失函数作为模型更新过程中的损失函数，利用有标注免疫固定电泳图像训练集d_1对于分类模型进行多轮梯度下降和反向传播更新参数；直到模型在训练集d_1上的损失函数不再下降，且验证集e_1上的准确率不再发生明显上升，此时视为完成训练，记当前模型为分类模型m。

9、在每轮更新之后，于验证集e_1上测试分类性能，包括分类准确率，f1得分等；重复训练与验证过程，直至模型在训练集上的交叉熵损失函数下降不再明显，并且在验证集上的性能无明显提升；此时认为模型收敛，得到分类模型m。

10、将所得到的分类模型应用于免疫固定电泳图像的识别，具体实现过程为：收集未标注的免疫固定电泳图像测试集t；对于测试集t中的每一个样本t，利用分类模型m对于测试集t生成其分类识别结果，记录每个样本最终输出的logit，根据输出的logit信息对样本进行分类，得到免疫固定电泳图像的类别信息。

11、其中，分类模型的训练训练阶段可对免疫固定电泳图像样本进行进一步预处理，包括缩放、添加噪声、随机扰动、随机裁剪、归一化等操作，这样做的目的是增加样本空间的多样性，在提高模型的泛化能力的同时，也能通过集成提高模型的预测性能。

12、所述梯度下降，指随机梯度下降法，即通过在一小批数据上计算损失函数的梯度而迭代地更新模型参数，帮助模型收敛到（局部）最优解。

13、一种结合反绎学习与深度学习的免疫固定电泳图像识别系统，包括基于专家知识构建生成式模型模块，基于反绎学习的样例图像自动生成与标注模块，基于专家知识与注意力机制的多任务分类模型构建模块，分类模型的初始化与监督训练模块，以及免疫固定电泳图像识别结果的生成模块；

14、所述基于专家知识构建生成式模型模块，收集免疫固定电泳图像关于异常分类时的依据，作为记录，包括异常出现区域和异常出现模式；从记录中提取出相应的规则，包括异常区域与异常模式和标注类别的匹配；利用提取出的规则构造生成式模型g。

15、所述基于反绎学习的样例图像自动生成与标注模块，收集免疫固定电泳图像，并进行标注，形成数据集s_0；根据已收集的有标注的免疫固定电泳图像，按照需求设定需要生成的样例图像的标注信息；输入数据集s_0中的样本图像到生成式模型g，生成式模型g将根据设定好的图像的标注信息，将图像进行切分与重新组合，生成新的有标注的样例图像，重复生成多幅符合设定需求的样例图像，将新生成的样例图像加入到数据集s_0中，将扩增之后的数据集记为s_1。

16、基于专家知识与注意力机制的多任务分类模型构建模块，基于残差卷积网络设计构建特征提取器模块；根据专家知识设计不同的子任务，对于不同的子任务构建独立参数的分类器模块； 基于专家知识，构建注意力模块，针对不同类型的免疫固定电泳图像，注意力模块关注不同的注意力区域；将特征提取器模块，子任务分类器模块和注意力模块进行耦合得到最终深度学习模型；

17、分类模型的初始化与监督训练模块，将构建的深度学习模型作为分类模型，对分类模型进行参数初始化；将有标注免疫固定电泳图像数据集s_1按一定比例分为训练集d_1和验证集e_1；以交叉熵损失函数作为模型更新过程中的损失函数，利用有标注免疫固定电泳图像训练集d_1对于分类模型进行多轮梯度下降和反向传播更新参数；直到模型在训练集d_1上的损失函数不再下降，且验证集e_1上的准确率不再发生明显上升，此时视为完成训练，记当前模型为分类模型m。

18、免疫固定电泳图像识别结果的生成模块，收集未标注的免疫固定电泳图像测试集t；对于测试集t中的每一个样本t，利用分类模型m对于测试集t生成其分类识别结果，记录每个样本最终输出的logit，根据输出的logit信息对样本进行分类，得到免疫固定电泳图像的类别信息。

19、一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的结合反绎学习和深度学习的免疫固定电泳图像识别方法。

20、一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的结合反绎学习和深度学习的免疫固定电泳图像识别方法的计算机程序。

21、基于规则的生成式模型，仅用少量有标记数据即可生成多数满足要求和设定的样例图片。

22、分类模型训练阶段，利用生成的有标记数据进行训练，可以缓解原始图像数据少、标注少、类别不平衡严重的问题，提高了分类模型的鲁棒性和训练效率。

23、有益效果：与现有技术相比，本发明提供的结合反绎学习与深度学习的免疫固定电泳图像识别方法和系统，针对智能辅助医学领域所存在的影像数据数量少、标注少，以及模型的不可解释性等问题提出了可行的解决思路，并在免疫固定电泳图像识别中提升了模型预测准确率和模型训练效率的同时，极大减轻了医生的工作量，同时为数据的大量收集提供了可能。

24、本发明通过结合反绎学习和深度学习的方法，能够在数据不足且数据不平衡的情况下，提高图像识别的准确性和鲁棒性，实现自动化识别和分析；在构建深度模型时，引入专家知识，利用多任务学习范式和注意力机制设计网络结构，进一步缓解了不平衡问题，并使得模型具有良好的可解释性。同时，该方法能够通过引入专家知识，对样例数据进行自动生成和标注，提高数据的多样性和数量，避免了大量的手动标注工作，提高工作效率。