对预测分子性质的人工智能模型进行评价的方法

本发明属于人工智能模型的，具体涉及一种对预测分子性质的人工智能模型进行评价的方法。

背景技术：

1、近年来，药物设计、材料科学和生物技术领域对高质量分子表征的需求不断增长。除了传统的湿实验室方法外，研究人员还开发了许多人工智能模型来预测分子性质。尽管传统的湿实验室实验可以准确预测分子性质，但耗时费力。深度学习技术可以克服传统湿实验室实验的缺点，使研究人员能够快速预测分子性质，显著加速药物开发过程并降低成本。特别地，近期提出的预训练大模型更是在分子性质预测任务上比有监督深度学习有了显著的性能提升。

2、为了使某一领域的人工智能模型能够得以持续稳定地发展，建立一个评价体系是必要的。

3、现有的关于分子性质预测的三种基准方法：

4、第一种matbench引入了一个基准测试套件和一个自动化机器学习程序，用于评估针对有监督机器学习设计的模型，以预测大规模无机材料的性质。该基准包含了13个不同的机器学习任务，包括基于材料的组成和/或晶体结构预测性质。matbench旨在预测无机材料性质并识别不同有监督机器学习技术的优势和劣势，从而推动材料科学领域的发展。随着自监督预训练大模型越来越受到研究人员们的青睐，其能够学习到大量无标签分子数据的特征，使模型具备更强的泛化能力和鲁棒性，从而促进分子性质预测的下游任务，因此需要把预训练模型应用到有化学、物理意义任务的评测也考虑进去。

5、第二种moleculenet收集了化学、物理等多个领域的分子数据且公开使用，建立了评估指标，并提供了传统的分子表征和算法的实现。它表明相对于机器学习的固定表示，数据驱动的深度神经网络学习到的分子特征表示提供了更优秀的预测性能。同时，它指出分子性质预测任务的数据仍然稀缺很多都是小数据集和分类任务数据集里类别样本严重不平衡导致性能不好是亟需解决的问题。moleculenet主要贡献是提供了被广泛认可和供研究人员们使用的多个分子性质预测任务数据集。然而，评测的模型缺乏近期的深度学习模型和在各个领域都取得了突破性进展的预训练大模型。其次，评测使用的指标单一，对于深度学习模型的特点，还应该要有对模型除性能以外的其他能力的评测，通过多维度评测来对人工智能模型有个全面的评测。

6、第三种muben是对分子表示学习预训练模型中不确定性的基准评测。通过精心微调不同的骨干分子表示模型，利用各种分子描述符作为输入，并集成来自不同类别的不确定性量化(uq)方法，muben对架构决策和训练策略的影响进行了严格的检查。muben的开发旨在促进对不确定性在这个科学领域基础应用的研究，体现了一个具有权威学术探究的严格标准。然而，muben也没有提供一个包含预训练大模型的用于分子性质预测任务的基准评测方法。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种对预测分子性质的人工智能模型进行评价的方法。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明的一个方面，提供了一种对预测分子性质的人工智能模型进行评价的方法，包括下述步骤：

4、获取基准数据集以及基准模型；

5、利用基准数据集对基准模型进行多次独立训练，计算得到基准模型的性能指标、稳定性指标和任务覆盖度指标，作为指标基准；

6、利用基准数据集对待评价的分子性质预测模型进行训练和预测；

7、根据预测结果计算待评价的分子性质预测模型的性能指标、稳定性指标和任务覆盖度指标，并与指标基准进行比较，得到待评价的分子性质预测模型的评价结果。

8、作为优选的技术方案，所述基准数据集选择基于moleculenet的若干数据集，包括分类任务和回归任务；

9、所述基于moleculenet的若干数据集包括量子力学类别的数据集、物理化学类别的数据集以及生理学类别的数据集。

10、作为优选的技术方案，所述基准模型包括基于ecfp的传统机器学习模型、基于图的模型以及预训练模型；

11、所述基于ecfp的传统机器学习模型包括支持向量机svm、随机森林rf、xgboost和多层感知器mlp；

12、所述基于图的模型包括图卷积网络gcn、图注意力网络gat、图同构网络gin、attentivefp和有向信息传递神经网络d-mpnn；

13、所述预训练模型包括pretraingnn、molclr、grover和uni-mol。

14、作为优选的技术方案，对基准模型或待评价的分子性质预测模型进行训练前，对基准数据集进行处理，具体为：

15、对获取的基准数据集进行分类得到ecfp和分子图的两类数据集；

16、对基准数据集采用骨架scaffold分类，通过设置若干随机种子，并按照8:1:1的比例随机分为训练集、验证集和测试集。

17、作为优选的技术方案，所述性能指标包括roc-auc、mae以及rmse；

18、对于分类任务，采用roc曲线的auc作为性能指标进行评价，其中roc曲线是真阳性率相对于假阳性率在不同阈值下的图形表示，auc用于测量曲线下的整个二维区域；具体如下：

19、

20、其中tpr表示真阳性率，fpr表示假阳性率；

21、对于量子力学数据集，采用mae作为性能指标进行评价；所述mae用于衡量了预测值和实际值之间的绝对差异，给出预测的错误程度，具体如下：

22、

23、其中n表示测试集的数量，yi表示实际值，表示预测值；

24、对于其他回归任务采用rmse作为性能指标进行评价，所述rmse表示预测值和观测值之间差异的二阶样本矩的平方根，或者是这些差异的平方均值，具体如下：

25、

26、其中n表示测试集的数量，yi表示实际值，表示预测值。

27、作为优选的技术方案，通过以下方法量化基准模型或待评价的分子性质预测模型在分子性质预测任务中的性能指标表现：

28、计算每个基准模型或待评价的分子性质预测模型在基准数据集上的性能指标并进行排名，统计每个基准模型或待评价的分子性质预测模型的性能指标获得设定前列名次的次数，在某个数据集上的性能指标获得名次越高，得分越高；最后计算总分。

29、作为优选的技术方案，所述稳定性指标具体为：

30、在每个任务上多次独立运行待评价的分子性质预测模型，计算每个任务的模型的性能指标的平均值和标准差，具体为：

31、

32、

33、其中，i为独立运行次数，xi为第i次独立运行的模型的性能指标，为模型的性能指标的平均值，σ为模型的性能指标的标准差；

34、将模型的性能指标的标准差除以模型的性能指标的平均值，计算每个任务的变异系数cv；

35、确定分类和回归任务的平均变异系数cv。

36、作为优选的技术方案，所述任务覆盖度指标具体为：

37、通过计算所有基准模型在单个数据集上的平均性能指标来设定一个给定任务的基线；如果待评价的分子性质预测模型超过了某个数据集的基线，则认为待评价的分子性质预测模型在该任务上有能力，否则认为无能力。

38、本发明的另一个方面，还提供了一种对预测分子性质的人工智能模型进行评价的系统，应用于上述的对预测分子性质的人工智能模型进行评价的方法，包括模型和数据集获取模块、模型训练模块、指标计算模块以及模型评价模块；

39、所述模型和数据集获取模块用于获取基准数据集以及基准模型；

40、所述模型训练模块用于利用基准数据集对基准模型或待评价的分子性质预测模型进行训练和预测；

41、所述指标计算模块用于计算得到基准模型的性能指标、稳定性指标和任务覆盖度指标，作为指标基准；计算待评价的分子性质预测模型的性能指标、稳定性指标和任务覆盖度指标；

42、所述模型评价模块用于将待评价的分子性质预测模型的性能指标、稳定性指标和任务覆盖度指标与指标基准进行比较，得到待评价的分子性质预测模型的评价结果。

43、本发明的另一个方面，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的对预测分子性质的人工智能模型进行评价的方法。

44、本发明与现有技术相比，具有如下优点和有益效果：

45、(1)本发明考虑在分子性质预测领域真得到广泛认可和应用的预训练模型作为基准模型，使得最后得到的基准指标更为可靠；

46、(2)本发明提出了除性能指标外的稳定性指标和任务覆盖度指标，建立了多维度的评测指标，对分子性质预测的人工智能模型的效果进行全面、可靠、准确的评测；

47、(3)本发明通过计算所有基准模型在单个数据集上的平均性能指标来设定一个给定任务的基线，得到的基线结果可直接用于评价模型的比较，评价直观而快速。