抗后门攻击的智能早产儿视网膜病变分类预测方法

本发明涉及分类模型，尤其涉及一种抗后门攻击的智能早产儿视网膜病变分类预测方法。

背景技术：

1、早产儿视网膜病变是全世界儿童致盲的重要原因之一，但由于存在医疗资源分布不均衡、能够进行早产儿视网膜病变筛查和诊断的眼科医生短缺等问题，使得部分患儿得不到及时的诊断和治疗。同时，实际临床筛查出的早产儿视网膜病变患儿中大约仅有不到10%的需要接受进一步治疗，结合筛查工作所付出的巨大成本，亟需更为高效、便捷的方法来辅助医生识别高危患儿。随着科技的发展，基于深度学习的智能医疗技术，立足于医疗数据分析和疾病分类模型，能够智能化、自动化地对疾病发展进行预测。该技术能实现系统化、精准化、智能化的计算机辅助诊疗服务和健康管理的研究，不仅极大程度上减少专业医生的工作压力、提高工作效率，同时有望实现疾病的早期精准筛查，从而预防疾病进展，在一定程度上缓解医疗资源紧张的问题。

2、此外，现有的针对智能早产儿视网膜病变分类预测的模型，虽然能够准确预测早产儿是否发生视网膜病变，但难以抵御后门攻击，一旦模型被投毒，注入后门攻击触发器，模型性能将出现大幅度的下降。对抗训练虽然能够一定程度上缓解后门攻击的问题，但存在效率低下、性能差等问题。综合考虑到早产儿视网膜病变辅助诊断技术是智能医疗的重要研究方向，因此，研究一种能够抗后门攻击的智能早产儿视网膜病变分类预测的新方法是迫切需要的。

技术实现思路

1、针对上述问题，本发明提出一种抗后门攻击的智能早产儿视网膜病变分类预测方法，旨在解决现有的智能早产儿视网膜病变分类预测算法无法有效抵御后门攻击的问题，以提高模型的安全性、确保诊断质量，以及实现自动抵御后门攻击的智能医疗的目的。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种抗后门攻击的智能早产儿视网膜病变分类预测方法，包括以下步骤：

4、获取患儿电子病历文书数据，并对所述患儿电子病历文书进行预处理，得到样本数据；

5、以带有诊断标签的所述样本数据作为输入，以及以早产儿视网膜病变类别作为输出，建立基于深度学习的分类预测模型；

6、使用字符级别的触发器对所述分类预测模型注入权重后门攻击，形成被投毒模型；

7、利用lora算法微调所述被投毒模型的权重，并根据所述被投毒模型输出的置信度识别中毒样本和干净样本；

8、最后结合对抗训练进一步提升所述分类预测模型的抗攻击性。

9、在一些实施方式中，所述患儿电子病历文书进行预处理包括：数据脱敏化处理和文本预处理。

10、在一些实施方式中，所述分类预测模型的建立过程包括：

11、获取来源于眼科及儿科领域的语料库，将所述语料库输入通用预训练模型进行学习，将带有诊断标签的所述样本数据作为输入微调所述通用预训练模型；

12、所述通用预训练模型中全连接层的输出节点数量与疾病种类标签数量一致，使用softmax作为所述通用预训练模型的激活函数，并将所述通用预训练模型的分类结果输出并转化为文字，建立所述分类预测模型；

13、将所述样本数据输入所述分类预测模型，对所述分类预测模型进行微调，所述分类预测模型对应的输出类别划分为无早产儿视网膜病变、轻度早产儿视网膜病变，以及重度早产儿视网膜病变。

14、在一些实施方式中，所述分类预测模型微调过程中的训练损失为：

15、

16、其中，表示标准参考疾病类别；表示分类预测模型的第个输出；表示样本数量；表示分类预测模型的模型参数。

17、在一些实施方式中，采用滑动窗口法将所述语料库中包含的长文本划分为有重叠的若干段短文本，将每一段所述短文本作为独立的样本输入所述通用预训练模型进行处理，最后再将各个所述短文本对应的输出结果进行整合，作为所述长文本的最终分类输出；采用填补法将所述语料库中长度不满足输入条件的文本则进行填补，令所述文本的长度和所述短文本的长度一致。

18、在一些实施方式中，所述利用lora算法微调所述被投毒模型的权重包括：当所述lora算法微调模型权重时，冻结所述被投毒模型的初始模型参数，仅更新lora矩阵。

19、在一些实施方式中，所述被投毒模型在微调过程中的训练损失为：

20、

21、其中，表示标准参考疾病类别；表示分类预测模型的第个输出；表示样本数量；表示被投毒模型的初始模型参数；表示被投毒模型可更新学习的模型参数。

22、在一些实施方式中，所述被投毒模型在微调过程中，随机对所述分类预测模型的训练数据的诊断标签进行翻转，并根据所述置信度识别和过滤中毒样本，所述中毒样本识别过程为：

23、

24、其中，表示输入样本；表示模型输出置信度；表示置信度阈值。

25、在一些实施方式中，所述对抗训练包括：在所述被投毒模型的训练数据中加入对抗样本，对损失函数和所述被投毒模型的结构进行改动，并将所述对抗样本输入到所述分类预测模型，所述对抗训练的优化过程为：

26、

27、其中，为分类预测模型的训练集；为对抗样本；为对抗样本的标签；为分类预测模型的可更新参数；为单个样本的loss；为对抗扰动；为扰动空间；为模型优化目标。

28、本发明的有益效果为：通过使用字符级别的触发器对分类预测模型注入权重后门攻击，利用lora算法优化模型参数并根据模型输出的置信度识别、过滤中毒样本，从而抵御后门攻击，最后结合对抗训练，从数据层面和模型训练层面多维度的抵御后门攻击，保证分类预测模型的安全性。

技术特征：

1.一种抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，包括以下步骤：

2.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述患儿电子病历文书进行预处理包括：数据脱敏化处理和文本预处理。

3.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述分类预测模型的建立过程包括：

4.如权利要求3所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述分类预测模型微调过程中的训练损失为：

5.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，采用滑动窗口法将所述语料库中包含的长文本划分为有重叠的若干段短文本，将每一段所述短文本作为独立的样本输入所述通用预训练模型进行处理，最后再将各个所述短文本对应的输出结果进行整合，作为所述长文本的最终分类输出；采用填补法将所述语料库中长度不满足输入条件的文本则进行填补，令所述文本的长度和所述短文本的长度一致。

6.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述利用lora算法微调所述被投毒模型的权重包括：当所述lora算法微调模型权重时，冻结所述被投毒模型的初始模型参数，仅更新lora矩阵。

7.如权利要求6所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述被投毒模型在微调过程中的训练损失为：

8.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述被投毒模型在微调过程中，随机对所述分类预测模型的训练数据的诊断标签进行翻转，并根据所述置信度识别和过滤中毒样本，所述中毒样本识别过程为：

9.如权利要求1所述的抗后门攻击的智能早产儿视网膜病变分类预测方法，其特征在于，所述对抗训练包括：在所述被投毒模型的训练数据中加入对抗样本，对损失函数和所述被投毒模型的结构进行改动，并将所述对抗样本输入到所述分类预测模型，所述对抗训练的优化过程为：

技术总结
本发明公开一种抗后门攻击的智能早产儿视网膜病变分类预测方法，包括以下步骤：获取患儿电子病历文书数据，并对患儿电子病历文书进行预处理，得到样本数据；以带有诊断标签的样本数据作为输入，以及以早产儿视网膜病变类别作为输出，建立基于深度学习的分类预测模型；使用字符级别的触发器对分类预测模型注入权重后门攻击，形成被投毒模型，利用LoRA算法微调被投毒模型的权重，并根据被投毒模型输出的置信度识别中毒样本和干净样本，最后结合对抗训练进一步提升分类预测模型的抗攻击性。本发明的有益效果是：从数据层面和模型训练层面多维度的抵御后门攻击，保证分类预测模型的安全性。

技术研发人员：温金明,赵帅,张雨林,张国明,李庆,何腾蛟
受保护的技术使用者：暨南大学
技术研发日：
技术公布日：2024/1/15