数据处理方法、装置、设备及存储介质与流程

文档序号:31775631发布日期:2022-10-12 08:21阅读:32来源:国知局
数据处理方法、装置、设备及存储介质与流程

1.本技术实施例涉及人工智能技术领域,特别涉及一种数据处理方法、装置、设备及存储介质。


背景技术:

2.随着人工智能技术的发展,数据处理的方法越来越多,例如,先基于元学习的模型训练过程获取一个模型,然后利用该模型进行数据处理。元学习是解决小样本问题常用的方法,利用基于元学习的模型训练过程,能够在较少数据的基础上训练得到一个性能较好的模型。
3.相关技术中,基于元学习的模型训练过程包括:通过均匀采样的方式从候选任务中选取任务,基于选取的任务更新神经网络模型的参数,基于参数更新后的模型学习目标任务,获取目标神经网络模型。
4.均匀采样的方式赋予不同的候选任务相同的采样概率,难以保证选取的任务的可靠性,容易导致模型的参数的更新质量不佳,基于参数更新后的模型难以较为准确的学习目标任务,得到的目标神经网络模型的质量较差,利用目标神经网络模型难以对与目标任务匹配的数据进行较为准确的处理。


技术实现要素:

5.本技术实施例提供了一种数据处理方法、装置、设备及存储介质,可用于提高数据处理的准确性。所述技术方案如下:
6.一方面,本技术实施例提供了一种数据处理方法,所述方法包括:
7.基于初始神经网络模型获取第一候选任务的噪声衡量指标,所述噪声衡量指标用于衡量所述第一候选任务对更新所述初始神经网络模型的参数的干扰程度,所述第一候选任务为与待学习的目标任务匹配的任务;
8.基于所述第一候选任务的噪声衡量指标,获取所述第一候选任务的采样概率;从所述第一候选任务中选取采样概率满足第一选取条件的参考任务;
9.基于所述参考任务更新所述初始神经网络模型的参数;基于参数更新后的神经网络模型学习所述目标任务,得到目标神经网络模型,所述目标神经网络模型用于数据处理。
10.还提供了一种数据处理方法,所述方法包括:
11.获取与目标任务匹配的待处理数据以及目标神经网络模型,所述目标神经网络模型通过上述任一所述的数据处理方法得到;
12.调用所述目标神经网络模型对所述待处理数据进行处理,得到所述待处理数据对应的处理结果。
13.另一方面,提供了一种数据处理装置,所述装置包括:
14.第一获取单元,用于基于初始神经网络模型获取第一候选任务的噪声衡量指标,所述噪声衡量指标用于衡量所述第一候选任务对更新所述初始神经网络模型的参数的干
扰程度,所述第一候选任务为与待学习的目标任务匹配的任务;
15.第二获取单元,用于基于所述第一候选任务的噪声衡量指标,获取所述第一候选任务的采样概率;从所述第一候选任务中选取采样概率满足第一选取条件的参考任务;
16.更新单元,用于基于所述参考任务更新所述初始神经网络模型的参数;
17.第三获取单元,用于基于参数更新后的神经网络模型学习所述目标任务,得到目标神经网络模型,所述目标神经网络模型用于数据处理。
18.在一种可能实现方式中,所述第一候选任务对应有训练数据和测试数据;所述第一获取单元,用于基于所述第一候选任务对应的训练数据和所述初始神经网络模型,获取所述第一候选任务对应的任务处理模型;利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试,得到所述第一候选任务对应的任务处理模型的测试性能;基于所述第一候选任务对应的训练数据获取所述初始神经网络模型的参数对应的第一更新梯度;基于所述第一候选任务对应的测试数据获取所述初始神经网络模型的参数对应的第二更新梯度;基于所述第一更新梯度与所述第二更新梯度之间的相似性以及所述第一候选任务对应的任务处理模型的测试性能,获取所述第一候选任务的噪声衡量指标。
19.在一种可能实现方式中,所述第一候选任务对应有训练数据和测试数据;所述第一获取单元,用于基于所述第一候选任务对应的训练数据和所述初始神经网络模型,获取所述第一候选任务对应的任务处理模型;利用所述第一候选任务对应的测试数据对所述第一候选任务对应的任务处理模型进行测试,得到所述第一候选任务对应的任务处理模型的测试性能;基于所述第一候选任务对应的任务处理模型的测试性能,获取所述初始神经网络模型的参数对应的二阶更新梯度,将所述二阶更新梯度作为所述第一候选任务的噪声衡量指标。
20.在一种可能实现方式中,所述第二获取单元,用于调用目标调度模型基于所述第一候选任务的噪声衡量指标,获取所述第一候选任务的采样概率。
21.在一种可能实现方式中,所述第二获取单元,用于调用所述目标调度模型对当前参数更新轮数进行编码,得到第一编码信息;对所述第一候选任务的噪声衡量指标进行编码,得到第二编码信息;对所述第一编码信息和所述第二编码信息进行拼接,得到目标编码信息;基于所述目标编码信息预测所述第一候选任务的采样概率。
22.在一种可能实现方式中,所述第二获取单元,还用于调用初始调度模型基于第二候选任务的噪声衡量指标,获取所述第二候选任务的初始采样概率;从所述第二候选任务中选取初始采样概率满足第二选取条件的初始任务;
23.所述更新单元,还用于基于所述初始任务和所述初始神经网络模型,获取待验证模型;基于验证任务获取所述待验证模型的验证性能,基于所述验证性能获取所述初始调度模型的参数对应的第三更新梯度;基于所述第三更新梯度更新所述初始调度模型的参数,得到所述目标调度模型。
24.在一种可能实现方式中,所述验证任务对应有训练数据和测试数据;所述更新单元,还用于基于所述验证任务对应的训练数据对所述待验证模型进行训练,得到所述验证任务对应的任务处理模型;利用所述验证任务对应的测试数据对所述验证任务对应的任务处理模型进行测试,得到所述验证任务对应的任务处理模型的测试性能;基于所述验证任
务对应的任务处理模型的测试性能,获取所述待验证模型的验证性能。
25.在一种可能实现方式中,所述第二获取单元,还用于获取样本任务的样本噪声衡量指标以及所述样本任务的标准采样概率;调用初始调度模型基于所述样本噪声衡量指标,获取所述样本任务的初始采样概率;
26.所述更新单元,还用于基于所述样本任务的初始采样概率和标准采样概率,获取目标损失;基于所述目标损失获取所述初始调度模型的参数对应的第四更新梯度;基于所述第四更新梯度更新所述初始调度模型的参数,得到所述目标调度模型。
27.在一种可能实现方式中,所述第二获取单元,用于基于噪声衡量指标与采样概率之间的映射关系,将所述第一候选任务的噪声衡量指标映射为所述第一候选任务的采样概率。
28.在一种可能实现方式中,所述参考任务的数量为至少一个,任一参考任务对应有训练数据和测试数据;所述更新单元,用于基于所述任一参考任务对应的训练数据和所述初始神经网络模型,获取所述任一参考任务对应的任务处理模型;利用所述任一参考任务对应的测试数据对所述任一参考任务对应的任务处理模型进行测试,得到所述任一参考任务对应的任务处理模型的测试性能;基于至少一个参考任务对应的任务处理模型的测试性能,获取所述初始神经网络模型的参数对应的目标更新梯度,基于所述目标更新梯度更新所述初始神经网络模型的参数。
29.在一种可能实现方式中,所述第一候选任务对应的训练数据包括训练样本数据和所述训练样本数据对应的标准处理结果;所述第一获取单元,用于调用参考模型对所述训练样本数据进行处理,得到所述训练样本数据对应的预测处理结果,所述参考模型的参数与所述初始神经网络模型的参数相同;基于所述训练样本数据对应的预测处理结果和所述训练样本数据对应的标准处理结果,获取第一损失;基于所述第一损失对所述参考模型的参数进行更新,得到所述第一候选任务对应的任务处理模型。
30.在一种可能实现方式中,所述第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务,所述训练样本数据为第一化合物的表征信息,所述预测处理结果为所述第一化合物针对所述第一候选靶点蛋白质的预测活性;所述第一获取单元,用于调用所述参考模型对所述第一化合物的表征信息进行处理,得到所述第一化合物针对所述第一候选靶点蛋白质的预测活性;基于所述第一化合物针对所述第一候选靶点蛋白质的预测活性和所述第一化合物针对所述第一候选靶点蛋白质的标准活性,获取所述第一损失。
31.还提供了一种数据处理装置,所述装置包括:
32.第四获取单元,用于获取与目标任务匹配的待处理数据以及目标神经网络模型,所述目标神经网络模型通过上述任一所述的数据处理方法得到;
33.处理单元,用于调用所述目标神经网络模型对所述待处理数据进行处理,得到所述待处理数据对应的处理结果。
34.在一种可能实现方式中,所述目标任务为预测化合物针对目标靶点蛋白质的活性的任务,所述待处理数据为目标化合物的表征信息,所述待处理数据对应的处理结果为所述目标化合物针对所述目标靶点蛋白质的目标活性;所述处理单元,用于调用所述目标神经网络模型对所述目标化合物的表征信息进行处理,得到所述目标化合物针对所述目标靶点蛋白质的目标活性。
35.在一种可能实现方式中,所述装置还包括:
36.确定单元,用于基于所述目标化合物针对所述目标靶点蛋白质的目标活性,从所述目标化合物中确定所述目标靶点蛋白质的苗头化合物。
37.另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现上述任一所述的数据处理方法。
38.另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现上述任一所述的数据处理方法。
39.另一方面,还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或所述计算机指令由处理器加载并执行,以使计算机实现上述任一所述的数据处理方法。
40.本技术实施例提供的技术方案至少带来如下有益效果:
41.本技术实施例提供的技术方案,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于衡量候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用目标神经网络模型能够对与目标任务匹配的数据进行较为准确的处理。
附图说明
42.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
43.图1是本技术实施例提供的一种实施环境的示意图;
44.图2是本技术实施例提供的一种药物研发全流程的示意图;
45.图3是本技术实施例提供的一种数据处理方法的流程图;
46.图4是本技术实施例提供的一种调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的过程的示意图;
47.图5是本技术实施例提供的一种训练得到目标调度模型的实现方式的流程图;
48.图6是本技术实施例提供的一种根据调度模型实现参数更新的过程的示意图;
49.图7是本技术实施例提供的另一种训练得到目标调度模型的实现方式的流程图;
50.图8是本技术实施例提供的一种数据处理方法的流程图;
51.图9是本技术实施例提供的一种数据处理装置的示意图;
52.图10是本技术实施例提供的一种数据处理装置的示意图;
53.图11是本技术实施例提供的一种服务器的结构示意图;
54.图12是本技术实施例提供的一种终端的结构示意图。
具体实施方式
55.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
56.需要说明的是,本技术中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
57.在示例性实施例中,本技术实施例提供的数据处理方法可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
58.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
59.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
60.本技术实施例提供的方案涉及人工智能技术中的机器学习技术,机器学习(machine learning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习、元学习等技术。
61.随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
62.图1示出了本技术实施例提供的一种实施环境的示意图。该实施环境可以包括:终端11和服务器12。
63.本技术实施例提供的数据处理方法可以由终端11执行,也可以由服务器12执行,还可以由终端11和服务器12共同执行,本技术实施例对此不加以限定。对于本技术实施例提供的数据处理方法由终端11和服务器12共同执行的情况,服务器12承担主要计算工作,终端11承担次要计算工作;或者,服务器12承担次要计算工作,终端11承担主要计算工作;或者,服务器12和终端11二者之间采用分布式计算架构进行协同计算。
64.可选地,终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如pc(personal computer,个人计算机)、手机、智能手机、pda(personal digital assistant,个人数字助手)、可穿戴设备、ppc(pocket pc,掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、智能语音交互设备、智能家电、车载终端、vr(virtual reality,虚拟现实)设备、ar(augmented reality,增强现实)设备等。服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
65.本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本技术,也应包含在本技术保护范围以内,并在此以引用方式包含于此。
66.本技术实施例提供的数据处理方法中涉及一种基于元学习(meta-learning)的模型训练过程。元学习是解决小样本问题常用的方法之一,元学习也可以称为学会学习(learning to learn),即利用以往的知识经验来指导新任务的学习,使模型具备学会学习的能力。元学习希望使得模型获取一种学会学习的能力,使其可以在获取已有知识的基础上快速学习新的任务。元学习可以有效的缓解大量调参和任务切换模型重新训练带来的计算成本问题。
67.随着人工智能技术的发展,元学习算法的类型越来越多,例如,maml(model agnostic meta learning,模型无关原学习)、metamix(一种元学习算法)、frml(一种元学习算法)等。其中,maml的核心思想是从大量候选任务中学习神经网络的初始参数,即元参数,该元参数可使得新的机器学习任务在小样本条件下也能快速收敛到一个较优的解。metamix和frml均在maml的基础上改进得到。
68.在基于元学习的模型训练过程中,需要基于候选任务更新神经网络模型的参数,然后再基于更新参数后的模型学习目标任务,以利用较少的数据得到适用于目标任务的目标神经网络模型。由于计算机设备的内存限制,难以将全部的候选任务的数据均加载进内存参与参数的更新过程,因此,实际过程中采用每次采样部分任务(参考任务)参与参数的更新过程的策略,对应随机梯度优化。相关技术中,通过均匀采样的方式从候选任务中选取参考任务,然后基于参考任务更新模型的参数。均匀采样的方式赋予不同的候选任务相同的采样概率,此种方式无法处理存在相当数量噪声较大的任务的难题,容易导致参数的更新过程被噪声较大的任务带偏,泛化性能下降,进而导致模型的参数的更新质量不佳,基于参数更新后的模型难以较为准确的学习目标任务,得到的目标神经网络模型的质量较差,利用目标神经网络模型难以对与目标任务匹配的数据进行较为准确的处理。
69.本技术实施例提供的数据处理方法中涉及的基于元学习的模型训练过程,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于指示候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用目标神经网络模型能够对与目标任务匹配的
数据进行较为准确的处理。
70.在示例性实施例中,基于元学习的模型训练过程可以应用在多种场景中。示例性地,基于元学习的模型训练过程可以应用在虚拟筛选苗头化合物的场景中。虚拟筛选苗头化合物的场景的目的是虚拟筛选针对特定靶点蛋白质的苗头化合物,苗头化合物是指对特定靶点蛋白质具有初步活性的化合物。通过虚拟筛选针对特定靶点蛋白质的苗头化合物,能够有效缩减药物探索空间,加速药物的研发。在虚拟筛选苗头化合物的场景中,基于元学习的模型训练过程所依据的任务为预测化合物针对靶点蛋白质的活性的任务。
71.作为虚拟筛选的主要手段之一,基于配体的虚拟筛选方法(也可以称为基于分子结构的虚拟筛选方法)利用已经过湿实验测定的分子(或者称为化合物)活性数据,建立用于预测化合物针对某靶点蛋白质的活性的预测模型(活性预测模型),以预测大量化合物库中其他化合物的活性,筛选出有活性的苗头化合物。由于湿实验代价巨大,大量靶点蛋白质下已测化合物活性数据量极少,阻碍了活性预测模型的准确性。基于元学习的模型训练能够迁移其他相似靶点蛋白质下分子结构和蛋白质交互的元知识,从而大幅提升小样本数据下的化合物的活性预测性能。
72.目前通过基于元学习的模型训练实现基于分子结构的虚拟筛选方法的技术主要有:(1)maml技术:将每个靶点蛋白质下已测活性的化合物拆分为训练集和测试集。该技术旨在寻找一个对于所有靶点蛋白质泛化性良好的、活性预测模型的初始化,从该初始化出发,经过在特定靶点蛋白质的训练集上经过若干步数的梯度优化,可以得到用于预测化合物针对特定靶点蛋白质的活性的神经网络模型(也即活性预测模型),该神经网络模型在特定靶点蛋白质的测试集上有较好的泛化性能。(2)metamix技术:在maml技术的基础上,通过对靶点蛋白质内训练集和测试集进行线性组合,扩充测试集,从而更好评估泛化性能,学习得到更好的神经网络模型初始化。(3)frml技术:在maml技术的基础上,对神经网络结构进行模块化,对不同的靶点蛋白质(任务)适配不同的模块,以解决靶点蛋白质分布广、差异大的问题。
73.目前的基于元学习的模型训练过程以均匀分布的概率随机采样元训练任务(一个任务为预测化合物针对某个靶点蛋白质的活性的任务),也即所有任务以相同的概率被采样,并未考虑任务中存在噪声的情形。该采样策略仅在所有任务同等重要的前提下有效。然而,由于仪器测量精度限制、实验环境变化、实验条件未满足等多种因素,虚拟筛选场景下存在相当数量的任务噪声较大的问题,例如,某些即任务中的所有化合物都被测定具有同样数值的活性。基于本技术实施例提供的数据处理方法中涉及的基于元学习的模型训练过程,可以通过考虑任务的噪声衡量指标,获取任务的采样概率,进而根据采样概率选取当前迭代中用于更新参数的任务,此种方式能够使基于元学习的模型训练过程在相当数量的有噪任务下仍然有效,保证基于元学习的模型训练过程在各类虚拟筛选业务场景下的鲁棒性。
74.示例性地,基于分子结构的虚拟筛选方法为药物研发全流程中的一个流程,将本技术实施例提供的数据处理方法涉及的基于元学习的模型训练过程应用在基于分子结构的虚拟筛选方法流程中,能够支持药物研发平台为药厂以及药化领域提供服务,加速苗头化合物的研发。示例性地,药物研发全流程可以如图2所示。药物研发流程包括靶点识别、苗头化合物发现、先导化合物发现和优化、候选化合物确认及开发、临床实验等环节。在靶点
识别环节中,包括蛋白质结构预测流程;在苗头化合物发现环节,包括基于靶点结构的虚拟筛选、基于分子结构的虚拟筛选以及分子生成等流程;在先导化合物发现和优化环节中,包括admet(absorption distribution metabolism excretion toxicity,吸收、分布、代谢、排泄和毒性)性质预测和分子生成等流程;在候选化合物确认及开发环节中,包括合成路线规划流程。
75.需要说明的是,以上所述基于元学习的模型训练过程应用在虚拟筛选苗头化合物的场景中仅为示例性举例,本技术实施例对此不加以限定。示例性地,基于元学习的模型训练过程还可以应用在图像分类场景中、分子性质预测场景中等。在图像分类场景中,基于元学习的模型训练过程所依据的任务为对图像进行分类的任务。在分子性质预测场景中,基于元学习的模型训练过程所依据的任务为预测分子的性质的任务。示例性地,分子的性质可以是指分子的admet性质。当然,分子的性质还可以为其他性质,本技术实施例在此不再一一赘述。
76.本技术实施例提供一种数据处理方法,以该方法应用于上述图1所示的实施环境为例,该数据处理方法由计算机设备执行,该计算机设备可以为图1所示的实施环境中的终端11,也可以为图1所示的实施环境中的服务器12,本技术实施例对此不加以限定。如图3所示,本技术实施例提供的数据处理方法可以包括如下步骤301至步骤304。
77.在步骤301中,基于初始神经网络模型获取第一候选任务的噪声衡量指标,噪声衡量指标用于衡量第一候选任务对更新初始神经网络模型的参数的干扰程度。
78.其中,第一候选任务为与待学习的目标任务匹配的任务。
79.目标任务是指基于元学习的模型训练的过程中真正需要学习的任务,通过学习目标任务,能够使得到的目标神经网络模型较为准确的处理与目标任务匹配的待处理数据。目标任务可以根据实际应用场景灵活设置,本技术实施例对此不加以限定。
80.示例性地,目标任务是指预测参考类型的对象的目标属性的任务。参考类型是指实际应用场景中需要研究的对象的类型,参考类型的对象的具体情况可以灵活设置,例如,参考类型的对象可以是指化合物,也可以是指图像等。当然,在一些实施例中,参考类型的对象还可以是指文本、视频、音频等。目标属性用于描述参考类型的对象的某一方面的性质。目标属性的具体情况可以根据参考类型的对象的具体情况灵活设置。示例性地,若参考类型的对象为化合物,则目标属性可以是指针对目标靶点蛋白质的活性,目标靶点蛋白质可以为任一靶点蛋白质,靶点蛋白质是指能够与药物分子(也可以称为药物化合物)结合并产生药理效应的生物大分子。示例性地,若参考类型的对象为图像,则目标属性可以是指是否属于目标类别,目标类别可以为任一图像类别。
81.在参考类型的对象以及目标属性的不同情况下,目标任务的具体类型有所不同。示例性地,若参考类型的对象为化合物,目标属性为针对目标靶点蛋白质的活性,则目标任务可以为预测化合物针对目标靶点蛋白质的活性的任务。化合物针对目标靶点蛋白质的活性用于指示该化合物能够作用于目标靶点蛋白质的可能性,化合物针对目标靶点蛋白质的活性越大,说明该化合物能够作用于目标靶点蛋白质的可能性越大。
82.示例性地,若参考类型的对象为图像,目标属性为是否属于目标类别,则目标任务可以为预测图像是否属于目标类别的任务。示例性地,预测图像是否属于目标类别的任务还可以称为对图像进行关于目标类别的二分类的任务。
83.以上所述目标任务的类型仅为示例性举例,本技术实施例并不局限于此。目标任务的类型还可以为其他情况,示例性地,目标任务还可以为预测分子的admet性质的任务、预测文本的语种类别的任务等。
84.在确定出目标任务后,可以确定与目标任务匹配的第一候选任务。与目标任务匹配的第一候选任务是指在基于元学习的模型训练的过程中为目标任务的学习提供先验知识,以减少学习目标任务所需的数据的任务。示例性地,为目标任务的学习提供先验知识体现在根据第一候选任务更新初始神经网络模型的参数,以得到用于学习目标任务的模型的过程中。也就是说,第一候选任务为预先设置的可供在基于元学习的模型训练的过程中更新初始神经网络模型的参数的任务。示例性地,第一候选任务的数量为多个。
85.第一候选任务的类型与目标任务的类型有关。示例性地,目标任务为预测参考类型的对象的目标属性的任务,第一候选任务为预测参考类型的对象的候选属性的任务。候选属性为与目标属性匹配的属性,候选属性可以与目标属性相同,也可以与目标属性不同。对于候选属性与目标属性不同的情况,候选属性与目标属性为类似的属性,以保证模型的训练效果。
86.示例性地,对于参考类型的对象为化合物,目标属性为针对目标靶点蛋白质的活性(也即目标任务为预测化合物针对目标靶点蛋白质的活性的任务)的情况,候选属性可以为针对第一候选靶点蛋白质的活性,第一候选靶点蛋白质可以与目标靶点蛋白质相同,也可以与目标靶点蛋白质不同。此种情况下,第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务。示例性地,不同的第一候选任务所针对的第一候选靶点蛋白质的类型可以相同,也可以不同。示例性地,若不同的第一候选任务所针对的第一候选靶点蛋白质的类型不同,有利于进一步提高根据第一候选任务更新后的模型的参数的泛化能力。
87.示例性地,对于参考类型的对象为图像,目标属性为是否属于目标类别(也即目标任务为预测图像是否属于目标类别的任务)的情况,候选属性可以为是否属于第一候选类别,第一候选类别可以与目标类别相同,也可以与目标类别不同。此种情况下,第一候选任务为预测图像是否属于第一候选类别的任务。示例性地,不同的第一候选任务所针对的第一候选类别可以相同,也可以不同。示例性地,若不同的第一候选任务所针对的第一候选类别不同,有利于进一步提高根据第一候选任务更新后的模型的参数的泛化能力。
88.以上所述第一候选任务的类型仅为示例性举例,本技术实施例并不局限于此。第一候选任务的类型还可以为其他情况,示例性地,第一候选任务还可以为预测分子的admet性质的任务、预测文本的语种类别的任务等。
89.示例性地,第一候选任务对应有任务数据,第一候选任务对应的任务数据是与第一候选任务相关的数据。示例性地,不同的第一候选任务对应的任务数据不同,以保证根据第一候选任务更新后的模型的参数的泛化能力,提高基于元学习的模型训练的训练质量。示例性地,第一候选任务对应的任务数据为有标签数据,第一候选任务对应的任务数据的类型与第一候选任务的类型有关。示例性地,第一候选任务对应的任务数据可以包括任务样本数据以及任务样本数据对应的标准处理结果,任务样本数据对应的标准处理结果是指任务样本数据的标签。
90.示例性地,第一候选任务为预测参考类型的对象的候选属性的任务,任务样本数据可以是指样本对象的表征信息,任务样本数据对应的标准处理结果可以是指样本对象的
候选属性标签。其中,样本对象的类型为参考类型。样本对象的表征信息用于对样本对象进行表征,样本对象的候选属性标签用于指示样本对象的真实的候选属性。
91.接下来,结合第一候选任务的具体类型,对样本对象的表征信息以及样本对象的候选属性标签的情况进行举例说明。
92.示例性地,若第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务,则样本对象的表征信息可以是指样本化合物的表征信息,样本对象的候选属性标签可以是指样本化合物针对第一候选靶点蛋白质的标准活性。此种情况下,任务样本数据是指样本化合物的表征信息,任务样本数据对应的标准处理结果是指样本化合物针对第一候选靶点蛋白质的标准活性。示例性地,样本化合物可以为已知针对第一候选靶点蛋白质的标准活性的任一化合物,样本化合物针对第一候选靶点蛋白质的标准活性可以通过湿实验测定得到。其中,湿实验是指通过在实验室里采用分子、细胞、生理学试验方法进行研究。
93.样本化合物的表征信息用于对样本化合物进行表征,示例性地,样本化合物的表征信息可以是指样本化合物的分子式,也可以是样本化合物的分子字符串,还可以是样本化合物的morgan fingerprints(摩根分子指纹)特征。示例性地,样本化合物的表征信息的形式可以为向量或矩阵,该向量或矩阵的维度根据经验设置,或者根据应用场景灵活调整,例如,维度为1024维。
94.第一候选任务包括的任务数据的数量为至少一个。示例性地,第一候选任务包括的任务数据的数量越多,该第一候选任务对模型更新所起到的贡献可能越大。示例性地,假设在第一候选任务所针对的第一候选靶点蛋白质下的活性测定实验中一共测定了n(n为不小于1的整数)个样本化合物针对该第一候选靶点蛋白质的活性,则第一候选任务对应的任务数据的数量为n个,第一候选任务对应的任务数据可以表示为其中,xi表示第i(i为不小于1且不大于n的整数)个任务数据中的样本化合物的表征信息,yi表示第i个任务数据中的样本化合物针对第一候选靶点蛋白质的标准活性。
95.示例性地,若第一候选任务为预测图像是否属于第一候选类别的任务,则样本对象的表征信息可以是指样本图像的表征信息,样本对象的候选属性标签可以是指样本图像对应的标准分类结果。此种情况下,任务样本数据是指样本图像的表征信息,任务样本数据对应的标准处理结果是指样本图像对应的标准分类结果。示例性地,样本图像对应的标准分类结果为样本图像属于第一候选类别或者为样本图像不属于第一候选类别,样本图像对应的标准分类结果可以由技术人员标注得到。样本图像可以为已知标准分类结果的任一图像。样本图像的表征信息用于对样本图像进行表征,示例性地,样本图像的表征信息可以是指样本图像中的像素点的像素值,也可以是指样本图像的图像特征等。
96.当然,在第一候选任务为其他类型的任务时,样本对象的表征信息以及样本对象的候选属性标签还可以为其他情况,此处不再一一赘述。
97.示例性地,第一候选任务对应的任务数据可以划分为第一候选任务对应的训练数据和测试数据。第一候选任务对应的训练数据包括训练样本数据和训练样本数据对应的标准处理结果,第一候选任务对应的测试数据包括测试样本数据和测试样本数据对应的标准处理结果。
98.其中,训练样本数据对应的标准处理结果是指训练样本数据的标签,测试样本数据对应的标准处理结果是指测试样本数据的标签。示例性地,第一候选任务为预测参考类
型的对象的候选属性的任务,训练样本数据是指第一对象的表征信息,训练样本数据对应的标准处理结果是指第一对象的候选属性标签,测试样本数据是指第二对象的表征信息,测试样本数据对应的标准处理结果是指第二对象的候选属性标签。示例性地,第一对象和第二对象可以为样本对象中的不同对象。
99.接下来,结合第一候选任务的具体类型,对第一对象的表征信息、第一对象的候选属性标签、第二对象的表征信息以及第二对象的候选属性标签的情况进行举例说明。
100.示例性地,对于第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务的情况,第一对象的表征信息可以是指第一化合物的表征信息,第一对象的候选属性标签可以是指第一化合物针对第一候选靶点蛋白质的标准活性,第二对象的表征信息可以是指第二化合物的表征信息,第二对象的候选属性标签可以是指第二化合物针对第一候选靶点蛋白质的标准活性,示例性地,第一化合物与第二化合物可以为样本化合物中的不同化合物。此种情况下,训练样本数据是指第一化合物的表征信息,训练样本数据对应的标准处理结果是指第一化合物针对第一候选靶点蛋白质的标准活性,测试样本数据是指第二化合物的表征信息,测试样本数据对应的标准处理结果是指第二化合物针对第一候选靶点蛋白质的标准活性。
101.示例性地,对于第一候选任务为预测图像是否属于第一候选类别的任务的情况,第一对象的表征信息可以是指第一图像的表征信息,第一对象的候选属性标签可以是指第一图像对应的标准分类结果,第二对象的表征信息可以是指第二图像的表征信息,第二对象的候选属性标签可以是指第二图像对应的标准分类结果。示例性地,第一图像与第二图像为样本图像中的不同图像。此种情况下,训练样本数据是指第一图像的表征信息,训练样本数据对应的标准处理结果是指第一图像对应的标准分类结果,测试样本数据是指第二图像的表征信息,测试样本数据对应的标准处理结果是指第二图像对应的标准分类结果。
102.初始神经网络模型为待利用基于元学习的模型训练过程进行训练的模型。初始神经网络模型的结构可以根据经验设置,也可以根据目标任务的类型灵活调整,本技术实施例对此不加以限定。示例性地,初始神经网络模型的结构为m(m为不小于1的整数)层的多层感知机,m的取值根据经验设置,例如,m的取值为4,或者,m的取值为3等。m层多层感知机中的第一次多层感知机为输入层,其他层多层感知机为处理层,处理层包含的神经元的个数可以根据经验设置,也可以根据实际的应用场景灵活调整,例如,以m的取值为3为例,中间三层多层感知机包含的神经元个数可以分别为128、128、128,当然,神经元个数也可以为其他情况。
103.初始神经网络模型的功能与目标任务的类型有关。示例性地,当目标任务为预测化合物针对目标靶点蛋白质的活性的任务时,初始神经网络模型的功能为预测化合物的活性。当目标任务为预测图像是否属于目标类别的任务时,初始神经网络模型的功能为对图像进行二分类。当目标任务为预测分子的admet性质的任务时,初始神经网络模型的功能为预测分子的admet性质。
104.在利用基于元学习对初始神经网络模型进行训练的过程中,先基于第一候选任务更新初始神经网络模型的参数。由于第一候选任务中可能存在噪声较大的任务,此种任务不利于模型的参数的更新,所以,在确定出第一候选任务后,基于初始神经网络模型获取第一候选任务的噪声衡量指标,以便于根据噪声衡量指标筛选出不利于参数更新的任务。
105.第一候选任务的噪声衡量指标用于衡量第一候选任务的噪声,第一候选任务的噪声是指第一候选任务对更新初始神经网络模型的参数的干扰程度,也就是说,第一候选任务的噪声衡量指标用于衡量第一候选任务对更新初始神经网络模型的参数的干扰程度。示例性地,第一候选任务的噪声衡量指标与第一候选任务对更新初始神经网络模型的参数的干扰程度呈正相关关系,也即第一候选任务的噪声衡量指标越大,说明第一候选任务对更新初始神经网络模型的参数的干扰程度越大。
106.本技术实施例对基于初始神经网络模型获取第一候选任务的噪声衡量指标的实现方式不加以限定,只要能够保证噪声衡量指标能够衡量第一候选任务对更新初始神经网络模型的参数的干扰程度,也即能够衡量第一候选任务的噪声即可。
107.在一种可能实现方式中,第一候选任务对应有训练数据和测试数据,基于初始神经网络模型获取第一候选任务的噪声衡量指标的实现方式包括以下步骤3011至3024。
108.步骤3011:基于第一候选任务对应的训练数据和初始神经网络模型,获取第一候选任务对应的任务处理模型。
109.第一候选任务对应的任务处理模型是指在初始神经网络模型的基础上利用第一候选任务对应的训练数据训练得到的用于处理第一候选任务的模型。
110.在示例性实施例中,基于第一候选任务对应的训练数据和初始神经网络模型,获取第一候选任务对应的任务处理模型的实现过程包括:构建一个与初始神经网络模型的结构以及参数均相同的参考模型;利用第一候选任务对应的训练数据对参考模型进行训练,将训练得到的模型作为第一候选任务对应的任务处理模型。
111.示例性地,第一候选任务对应的训练数据包括第一候选任务对应的训练样本数据和训练样本数据对应的标准处理结果,利用第一候选任务对应的训练数据对参考模型进行训练的过程包括:调用参考模型对第一候选任务对应的训练样本数据进行处理,得到训练样本数据对应的预测处理结果;基于训练样本数据对应的预测处理结果和训练样本数据对应的标准处理结果,获取第一损失;基于第一损失对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型。其中,参考模型的参数与初始神经网络模型的参数相同。
112.第一损失用于衡量训练样本数据对应的预测处理结果和训练样本数据对应的标准处理结果之间的差异,第一损失可以通过将训练样本数据对应的预测处理结果和训练样本数据对应的标准处理结果代入损失函数计算得到,本技术实施例对计算第一损失所利用的损失函数的类型不加以限定,可以根据经验设置,或者根据应用场景灵活调整,例如,损失函数可以交叉熵损失函数,也可以为均方误差损失函数等。需要说明的是,第一候选任务对应的训练数据的数量为一个或多个,第一损失是基于第一候选任务对应的全部的训练数据得到的。
113.示例性地,以损失函数为均方误差损失函数,以第一候选任务对应的训练数据的数量为n(n为不小于1的整数)为例,第一损失可以基于下述公式1计算得到:
[0114][0115]
其中,xi表示第一候选任务对应的第i(i为不小于1且不大于n的整数)个训练数据中的训练样本数据;yi表示第一候选任务对应的第i个训练数据中的标准处理结果;θ表示参考模型的参数;f
θ
(xi)表示调用参考模型获取的预测处理结果;表示第一损失。
[0116]
示例性地,基于第一损失对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型的过程包括:基于第一损失获取参考模型的参数的更新梯度;基于更新梯度对参考模型的参数进行更新,响应于更新过程满足第一条件,将具有更新过程满足第一条件时得到的参数的模型作为第一候选任务对应的任务处理模型。
[0117]
由于第一损失是在参考模型的参数的基础上通过前向传播得到的损失,所以在获取第一损失后,能够通过链式求导法则计算第一损失关于参考模型的参数的梯度,将该梯度作为参考模型的参数的更新梯度。在计算得到参考模型的参数的更新梯度后,基于更新梯度对参考模型的参数进行更新。示例性地,基于更新梯度对参考模型的参数进行更新的方式为:计算第一学习率与更新梯度的第一乘积,将参考模型的参数与第一乘积的差作为参考模型的更新后的参数。第一学习率根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0118]
示例性地,以第一候选任务为第k(k为不小于1的整数)个第一候选任务为例,基于更新梯度对参考模型的参数进行更新的过程可以基于公式2实现:
[0119][0120]
其中,θ0表示参考模型的参数;α表示第一学习率;表示第k个第一候选任务对应的训练数据中的训练样本数据;表示第k个第一候选任务对应的训练数据中的标准处理结果;表示基于第k个第一候选任务对应的训练数据中的训练样本数据得到的预测处理结果;表示第一损失;表示参考模型的参数的更新梯度;θ

表示参考模型的更新后的参数。
[0121]
在基于更新梯度对参考模型的参数进行更新后,判断更新过程是否满足第一条件,若更新过程满足第一条件,将具有更新过程满足第一条件时得到的参数的模型作为第一候选任务对应的任务处理模型;若更新过程不满足第一条件,继续利用第一候选任务对应的训练数据对具有更新后的参数的模型进行训练,直至更新过程满足第一条件,将具有更新过程满足第一条件时得到的参数的模型作为第一候选任务对应的任务处理模型。
[0122]
更新过程满足第一条件根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定,示例性地,更新过程满足第一条件可以为更新次数达到第一次数阈值、第一损失收敛、第一损失小于第一损失阈值等。第一次数阈值和第一损失阈值根据经验设置,或者根据应用场景灵活调整。
[0123]
示例性地,第一候选任务为预测参考类型的对象的候选属性的任务,第一候选任务对应的训练样本数据是指第一对象的表征信息,训练样本数据对应的标准处理结果是指第一对象的候选属性标签,训练样本数据对应的预测处理结果是指第一对象的候选属性预测结果。此种情况下,获取第一候选任务对应的任务处理模型的过程包括:调用参考模型对第一对象的表征信息进行处理,得到第一对象的候选属性预测结果;基于第一对象的候选属性预测结果和第一对象的候选属性标签,获取第一损失;基于第一损失对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型。
[0124]
接下来,结合第一对象的表征信息、第一对象的候选属性预测结果和第一对象的候选属性标签的具体类型,对获取第一候选任务对应的任务处理模型的过程进行介绍。
[0125]
示例性地,当第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务时,第一对象的表征信息是指第一化合物的表征信息,第一对象的候选属性标签是指第一化合物针对第一候选靶点蛋白质的标准活性,第一对象的候选属性预测结果是指第一化合物针对第一候选靶点蛋白质的预测活性。此种情况下,获取第一候选任务对应的任务处理模型的过程包括:调用参考模型对第一化合物的表征信息进行处理,得到第一化合物针对第一候选靶点蛋白质的预测活性;基于第一化合物针对第一候选靶点蛋白质的预测活性和第一化合物针对第一候选靶点蛋白质的标准活性,获取第一损失;基于第一损失对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型。
[0126]
示例性地,当第一候选任务为预测图像是否属于第一候选类别的任务时,第一对象的表征信息是指第一图像的表征信息,第一对象的候选属性标签是指第一图像对应的标准分类结果,第一对象的候选属性预测结果是指第一图像对应的预测分类结果。此种情况下,获取第一候选任务对应的任务处理模型的过程包括:调用参考模型对第一图像的表征信息进行处理,得到第一图像对应的预测分类结果;基于第一图像对应的预测分类结果和第一图像对应的标准分类结果,获取第一损失;基于第一损失获取对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型。
[0127]
步骤3012:利用第一候选任务对应的测试数据对第一候选任务对应的任务处理模型进行测试,得到第一候选任务对应的任务处理模型的测试性能。
[0128]
第一候选任务对应的任务处理模型的测试性能用于衡量第一候选任务对应的任务处理模型处理第一候选任务的性能。
[0129]
在示例性实施例中,第一候选任务对应的测试数据包括第一候选任务对应的测试样本数据和测试样本数据对应的标准处理结果,利用第一候选任务对应的测试数据对第一候选任务对应的任务处理模型进行测试,得到第一候选任务对应的任务处理模型的测试性能的过程包括:调用第一候选任务对应的任务处理模型对第一候选任务对应的测试样本数据进行处理,得到测试样本数据对应的测试处理结果;基于测试样本数据对应的测试处理结果和测试样本数据对应的标准处理结果,获取第二损失;将第二损失作为第一候选任务对应的任务处理模型的测试性能。
[0130]
获取第二损失的原理与获取第一损失的原理相同,此处不再加以赘述。在将第二损失作为第一候选任务对应的任务处理模型的测试性能的情况下,测试性能越小,说明第一候选任务对应的任务处理模型处理第一候选任务的性能越好;测试性能越大,说明第一候选任务对应的任务处理模型处理第一候选任务的性能越差。
[0131]
示例性地,第一候选任务为预测参考类型的对象的候选属性的任务,第一候选任务对应的测试样本数据是指第二对象的表征信息,测试样本数据对应的标准处理结果是指第二对象的候选属性标签,测试样本数据对应的测试处理结果是指第二对象的候选属性测试结果。此种情况下,获取第一候选任务对应的任务处理模型的测试性能的过程包括:调用第一候选任务对应的任务处理模型对第二对象的表征信息进行处理,得到第二对象的候选属性测试结果;基于第二对象的候选属性测试结果和第二对象的候选属性标签,获取第二损失;将第二损失作为第一候选任务对应的任务处理模型的测试性能。
[0132]
接下来,结合第二对象的表征信息、第二对象的候选属性测试结果以及第二对象的候选属性标签的具体类型,对获取第一候选任务对应的任务处理模型的测试性能的过程
进行介绍。
[0133]
示例性地,当第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务时,第二对象的表征信息是指第二化合物的表征信息,第二对象的候选属性标签是指第二化合物针对第一候选靶点蛋白质的标准活性,第二对象的候选属性测试结果是指第二化合物针对第一候选靶点蛋白质的测试活性。此种情况下,获取第一候选任务对应的任务处理模型的测试性能的过程包括:调用第一候选任务对应的任务处理模型对第二化合物的表征信息进行处理,得到第二化合物针对第一候选靶点蛋白质的测试活性;基于第二化合物针对第一候选靶点蛋白质的测试活性和第二化合物针对第一候选靶点蛋白质的标准活性,获取第二损失;将第二损失作为第一候选任务对应的任务处理模型的测试性能。
[0134]
示例性地,当第一候选任务为预测图像是否属于第一候选类别的任务时,第二对象的表征信息是指第二图像的表征信息,第二对象的候选属性标签是指第二图像对应的标准分类结果,第二对象的候选属性测试结果是指第二图像对应的测试分类结果。此种情况下,获取第一候选任务对应的任务处理模型的测试性能的过程包括:调用第一候选任务对应的任务处理模型对第二图像的表征信息进行处理,得到第二图像对应的测试分类结果;基于第二图像对应的测试分类结果和第二图像对应的标准分类结果,获取第二损失;将第二损失作为第一候选任务对应的任务处理模型的测试性能。
[0135]
步骤3013:基于第一候选任务对应的训练数据获取初始神经网络模型的参数对应的第一更新梯度;基于第一候选任务对应的测试数据获取初始神经网络模型的参数对应的第二更新梯度。
[0136]
第一更新梯度为在第一候选任务对应的训练数据的基础上得到的初始神经网络模型的参数的更新梯度。在示例性实施例中,第一候选任务对应的训练数据包括训练样本数据和训练样本数据对应的标准处理结果,基于第一候选任务对应的训练数据获取初始神经网络模型的参数对应的第一更新梯度的实现过程包括:调用初始神经网络模型对训练样本数据进行处理,得到训练样本数据对应的预测处理结果;基于训练样本数据对应的预测处理结果和训练样本数据对应的标准处理结果,获取第三损失;基于第三损失,获取初始神经网络模型的参数对应的第一更新梯度。上述获取第一更新梯度的实现过程的原理与步骤3011中获取参考模型的参数的更新梯度的实现过程的原理相同,区别在于步骤3011中所依据的模型为参考模型,此处所依据的模型为初始神经网络模型。
[0137]
第二更新梯度为在第一候选任务对应的测试数据的基础上得到的初始神经网络模型的参数的更新梯度。在示例性实施例中,第一候选任务对应的测试数据包括测试样本数据和测试样本数据对应的标准处理结果。基于第一候选任务对应的测试数据获取初始神经网络模型的参数对应的第二更新梯度的实现过程包括:调用初始神经网络模型对测试样本数据进行处理,得到测试样本数据对应的测试处理结果;基于测试样本数据对应的测试处理结果和测试样本数据对应的标准处理结果,获取第四损失;基于第四损失,获取初始神经网络模型的参数对应的第二更新梯度。上述获取第二更新梯度的实现过程的原理与步骤3011中获取参考模型的参数的更新梯度的实现过程的原理相同,区别在于步骤3011中所依据的模型为参考模型,此处所依据的模型为初始神经网络模型,且步骤3011中所依据的数据为第一候选任务对应的训练数据,此处所依据的数据为第一候选任务对应的测试数据。
[0138]
步骤3014:基于第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对
应的任务处理模型的测试性能,获取第一候选任务的噪声衡量指标。
[0139]
在获取第一更新梯度和第二更新梯度后,计算第一更新梯度和第二更新梯度之间的相似性。计算第一更新梯度和第二更新梯度之间的相似性的方式可以根据经验设置,也可以根据应用场景灵活调整,本技术实施例对此不加以限定。示例性地,第一更新梯度和第二更新梯度的形式均为向量,则可以将第一更新梯度和第二更新梯度之间的内积作为第一更新梯度和第二更新梯度之间的相似性。当然,也可以通过计算第一更新梯度和第二更新梯度之间的欧式距离来计算第一更新梯度和第二更新梯度之间的相似性等。
[0140]
示例性地,由于第一更新梯度是在第一候选任务对应的训练数据的基础上得到的,第二更新梯度是在第一候选任务对应的测试数据的基础上得到的,所以第一更新梯度和第二更新梯度之间的相似性可以用来衡量第一候选任务对应的训练数据和测试数据之间的泛化距离,第一更新梯度和第二更新梯度之间的相似性越大,说明第一候选任务对应的训练数据和测试数据之间的泛化距离越小。
[0141]
第一更新梯度与第二更新梯度之间的相似性和第一候选任务对应的任务处理模型的测试性能这两项分别代表以初始神经网络模型的参数为初始化,在第一候选任务上学习的结果和学习的过程。示例性地,第一更新梯度与第二更新梯度之间的相似性可以认为是初始神经网络模型关于第一候选任务的训练数据和测试数据的参数更新梯度的内积。第一候选任务对应的任务处理模型的测试性能可以认为是初始神经网络模型在第一候选任务对应的测试数据上的目标函数值(也即损失)。
[0142]
示例性地,当第一候选任务对应的任务处理模型的测试性能较大时,有两种可能的原因:第一个原因是第一候选任务的学习难度较大,初始神经网络模型未学会如何较好的处理该第一候选任务;第二个原因是第一候选任务的噪声较大,初始神经网络模型无法学会如何较好的处理该第一候选任务。结合第一更新梯度与第二更新梯度之间的相似性来看,当该相似性较小时,说明第一候选任务对应的训练数据和测试数据之间的差异性很大,也即说明该第一候选任务存在泛化上的挑战,该第一候选任务本身具有较高学习难度;而当该相似性较大时,说明该第一候选任务本身不存在泛化上的挑战,也即第一候选任务的学习难度较小(这种情况下,因为无噪声且任务简单,那么测试性能不可能大),或者说明噪声均匀分布在该第一候选任务对应的训练数据和测试数据上,也即噪声较大。
[0143]
综上可以推出,当第一候选任务对应的任务处理模型的测试性能较大,且第一更新梯度与第二更新梯度之间的相似性较大时,极有可能说明第一候选任务的噪声较大,也即极有可能说明第一候选任务对更新初始神经网络模型的参数的干扰程度较大。其他情况(如,第一候选任务对应的任务处理模型的测试性能较大,且第一更新梯度与第二更新梯度之间的相似性较小),则有较大的可能性说明第一候选任务的噪声较小,也即有较大的可能性说明第一候选任务对更新初始神经网络模型的参数的干扰程度较小,还能说明第一候选任务为一个真正有挑战性的任务,该真正有挑战性的任务能够为对参数更新提供较大的贡献。
[0144]
根据上述分析可知,第一更新梯度与第二更新梯度之间的相似性和第一候选任务对应的任务处理模型的测试性能这两项能够一定程度上体现出第一候选任务的噪声的大小,也即体现出第一候选任务对更新初始神经网络模型的参数的干扰程度的大小,所以,在获取第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对应的任务处理模型
的测试性能后,可以将包括第一更新梯度与第二更新梯度之间的相似性和第一候选任务对应的任务处理模型的测试性能这两项的指标作为第一候选任务的噪声衡量指标。
[0145]
在另一种可能实现方式中,基于初始神经网络模型获取第一候选任务的噪声衡量指标的实现方式包括以下步骤301a至步骤301c。
[0146]
步骤301a:基于第一候选任务对应的训练数据和初始神经网络模型,获取第一候选任务对应的任务处理模型。
[0147]
该步骤301a的实现方式参见上述步骤3011,此处不再加以赘述。
[0148]
步骤301b:利用第一候选任务对应的测试数据对第一候选任务对应的任务处理模型进行测试,得到第一候选任务对应的任务处理模型的测试性能。
[0149]
该步骤301b的实现方式参见上述步骤3012,此处不再加以赘述。
[0150]
步骤301c:基于第一候选任务对应的任务处理模型的测试性能,获取初始神经网络模型的参数对应的二阶更新梯度,将二阶更新梯度作为第一候选任务的噪声衡量指标。
[0151]
由于第一候选任务对应的任务处理模型的测试性能是在第一候选任务对应的任务处理模型的参数的基础上得到的,第一候选任务对应的任务处理模型的参数是在初始神经网络模型的参数的基础上得到的,因此,在获取第一候选任务对应的处理模型的测试性能后,能够通过链式求导法则计算第一候选任务对应的处理模型的测试性能关于初始神经网络模型的参数的二阶梯度,将该二阶梯度作为初始神经网络模型的参数对应的二阶更新梯度。示例性地,该二阶更新梯度可以利用hessian(黑塞)矩阵表示。示例性地,该二阶更新梯度可以认为是初始神经网络模型的参数关于第一候选任务对应的测试数据的二阶更新梯度。示例性地,二阶更新梯度还可以称为二阶曲率。
[0152]
示例性地,二阶梯度通常能够代表第一候选任务对应的处理模型的测试性能周围的平滑程度,当二阶更新梯度较大时,第一候选任务对应的处理模型的测试性能周围较不平滑,初始神经网络模型关于该第一候选任务的泛化难度较大,也即说明该第一候选任务的噪声可能较大。因此,二阶更新梯度可以作为反映第一候选任务的噪声的另外一个维度的指标。若二阶更新梯度较大,则说明第一候选任务存在噪声的可能性较大,也即有较大的可能性说明第一候选任务对更新初始神经网络模型的参数的干扰程度较大;若二阶更新梯度较小,则说明第一候选任务存在噪声的可能性较小,也即有较大的可能性说明第一候选任务对更新初始神经网络模型的参数的干扰程度较小。
[0153]
示例性地,第一候选任务对更新初始神经网络模型的参数的干扰程度较小可以认为利用第一候选任务对初始神经网络模型的参数进行更新,有利于保证更新后的参数的泛化性能。示例性地,二阶更新梯度较小可以认为是二阶曲率的局部线性程度较大。
[0154]
根据上述分析可知,二阶更新梯度能够一定程度上体现出第一候选任务的噪声的大小,也即体现出第一候选任务对更新初始神经网络模型的参数的干扰程度的大小,所以,在获取二阶更新梯度后,可以将二阶更新梯度作为第一候选任务的噪声衡量指标。
[0155]
需要说明的是,上述步骤3011至步骤3014以及步骤301a至步骤301c的实现过程仅为获取第一候选任务的噪声衡量指标的示例性实现过程,本技术实施例并不局限于此。示例性地,还可以将包括第一更新梯度与第二更新梯度之间的相似性、第一候选任务对应的任务处理模型的测试性能以及二阶更新梯度这三项的指标作为第一候选任务的噪声衡量指标。
[0156]
本技术实施例以一个第一候选任务为例,介绍了获取第一候选任务的噪声衡量指标的实现过程。对于第一候选任务的数量为多个的情况,需要分别获取每个第一候选任务的噪声衡量指标。示例性地,不同的第一候选任务的噪声衡量指标采样相同原理的方式获取,以保证不同的第一候选任务的噪声衡量指标之间具有可比性。
[0157]
在步骤302中,基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率;从第一候选任务中选取采样概率满足第一选取条件的参考任务。
[0158]
第一候选任务的采样概率为选取该第一候选任务更新初始神经网络模型的参数的概率,根据第一候选任务的采样概率能够决定选取哪些任务更新初始神经网络模型的参数。第一候选任务的采样概率是通过考虑第一候选任务的噪声衡量指标来获取的,噪声衡量指标用于指示第一候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与第一候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取更新初始神经网络模型的参数的任务的可靠性较高,从而有利于提高模型的参数的更新质量,提高基于元学习的模型训练过程在存在噪声较大的任务的情况下的鲁棒性,提高基于元学习的模型训练的训练质量。
[0159]
本技术实施例对基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现方式不加以限定,可以根据经验设置,也可以根据实际的应用场景灵活调整。示例性地,第一候选任务的噪声衡量指标越大,说明第一候选任务的噪声越大,也说明第一候选任务对更新初始神经网络模型的参数的干扰程度越大,也说明第一候选任务能够带来的对更新初始神经网络模型的参数的有贡献的信息越少。基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的目标是:若第一候选任务的噪声衡量指标较小,则为第一候选任务赋予较大的采样概率;若第一候选任务的噪声衡量指标较大,则为第一候选任务赋予较小的采样概率。示例性地,若第一候选任务的噪声衡量指标较小,可以认为第一候选任务为对更新参数而言真正有挑战性的任务。
[0160]
在示例性实施例中,基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现方式包括但不限于以下方式1和方式2。
[0161]
方式1:调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率。
[0162]
目标调度模型为训练好的能够根据输入的任务的噪声衡量指标输入任务的采样概率的模型,通过调用目标调度模型来获取第一候选任务的采样概率,有利于提高第一候选任务的采样概率的可靠性以及准确性。调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现方式与目标调度模型的结构有关,本技术实施例对此不加以限定。
[0163]
在示例性实施例中,调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现过程包括以下步骤3021至步骤3023。
[0164]
步骤3021:调用目标调度模型对当前参数更新轮数进行编码,得到第一编码信息。
[0165]
当前参数更新轮数是指神经网络模型的参数的当前更新轮数,每基于选取的任务更新一次神经网络模型的当前参数,当前参数更新轮数增加1。示例性地,初始神经网络模型的参数可以是指初始化后未进行过更新的参数,也可以是指初始化后进行过一次或多次更新的参数,本技术实施例对此不加以限定。当前参数更新轮数可以是指相对于初始化后
的参数而言的更新轮数。示例性地,若初始神经网络模型的参数是指初始化后的未进行过更新的参数,则在选取参考任务时,可以将参考值作为当前参数更新轮数,参考值根据经验设置,例如,参考值可以为1,也可以为0等。若初始神经网络模型的参数是指初始化后进行过t(t为不小于1的整数)次更新的参数,则在选取参考任务时,可以将参考值与l的和作为当前参数更新轮数。
[0166]
第一编码信息是对当前参数更新轮数进行编码得到的信息,能够表征当前参数更新轮数。本技术实施例地第一编码信息的表示形式不加以限定,例如,第一编码信息的表示形式可以为向量,也可以为矩阵等。
[0167]
示例性地,目标调度模型包括第一编码器,该第一编码器用于对当前参数更新轮数进行编码,也就是说,调用目标调度模型中的第一编码器对当前参数更新轮数进行编码,得到第一编码信息。第一编码器为能够进行编码的任一模型,本技术实施例对第一编码器的类型不加以限定,可以根据经验灵活选定,示例性地,第一编码器可以为一个卷积模型,也可以为一个lstm(long short-term memory,长短期记忆)模型等。
[0168]
步骤3022:对第一候选任务的噪声衡量指标进行编码,得到第二编码信息。
[0169]
第一编码信息是对第一候选任务的噪声衡量指标进行编码得到的信息,能够表征第一候选任务的噪声衡量指标。本技术实施例地第二编码信息的表示形式不加以限定,例如,第二编码信息的表示形式可以为向量,也可以为矩阵等。示例性地,第二编码信息的表示形式与第二编码信息的表示形式相同,以便于拼接。
[0170]
示例性地,对于第一候选任务的噪声衡量指标包括多个指标的情况(如,第一候选任务的噪声衡量指标包括第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对应的任务处理模型的测试性能),对第一候选任务的噪声衡量指标进行编码可以是指对第一候选任务的噪声衡量指标包括的各个指标分别进行编码,对噪声衡量指标中的每个指标进行编码,均能够得到一个第二编码信息。也就是说,第二编码信息的数量与第一候选任务的噪声衡量指标包括的指标的数量相同。
[0171]
示例性地,目标调度模型包括第二编码器,该第二编码器用于对第一候选任务的噪声衡量指标进行编码,也就是说,调用目标调度模型中的第二编码器对第一候选任务的噪声衡量指标进行编码,得到第二编码信息。第二编码器为能够进行编码的任一模型,本技术实施例对第二编码器的类型不加以限定,可以根据经验灵活选定,示例性地,第二编码器可以为一个卷积模型,也可以为一个lstm模型等。需要说明的是,对于第一候选任务的噪声衡量指标包括多个指标的情况,第二编码器的数量可以为多个,每个第二编码器用于对第一候选任务的噪声衡量指标中的一个指标进行编码。
[0172]
步骤3023:对第一编码信息和第二编码信息进行拼接,得到目标编码信息;基于目标编码信息预测第一候选任务的采样概率。
[0173]
通过对第一编码信息和第二编码信息进行拼接,得到目标编码信息,目标编码信息综合了当前参数更新轮数和第一候选任务的噪声衡量指标的信息,基于该目标编码信息预测第一候选任务的采样概率综合考虑了当前参数更新轮数和第一候选任务的噪声衡量指标,有利于保证第一候选任务的采样概率的可靠性。
[0174]
示例性地,目标调度模型包括解码器,该解码器用于对目标编码信息进行解密以得到第一候选任务的采样概率。也就是说,调用目标调度模型中的解码器基于目标编码信
息预测第一候选任务的采样概率。解码器的类型可以根据经验设定,本技术实施例对此不加以限定,示例性地,解码器可以是指mlp(multilayer perception,多层感知器)。
[0175]
示例性地,以第一候选任务的噪声衡量指标包括第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对应的任务处理模型的测试性能为例,调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的过程可以如图4所示。将当前参数更新轮数输入目标调度模型中的第一编码器进行编码,得到第一编码信息;将第一候选任务对应的任务处理模型的测试性能输入目标调度模型中的第一个第二编码器进行编码,得到第一个第二编码信息;将第一更新梯度与第二更新梯度之间的相似性输入目标调度模型中的第二个第二编码器进行编码,得到第二个第二编码信息。对第一编码信息、第一个第二编码信息和第二个第二编码信息进行拼接,得到目标编码信息;将目标编码信息输入目标调度模型中的解码器进行预测,得到第一候选任务的采样概率。
[0176]
需要说明的是,基于上述步骤3021至步骤3023实现调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的过程仅为一种示例性举例,本技术实施例并不局限于此。示例性地,调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现过程还可以为:调用目标调度模型对第一候选任务的噪声衡量指标进行编码,得到第二编码信息,基于第二编码信息预测第一候选任务的采样概率。
[0177]
示例性地,目标调度模型的输入包括第一候选任务的噪声衡量指标,输出为第一候选任务的采样概率,其中,第一候选任务的噪声衡量指标是基于初始神经网络模型获取的。示例性地,目标调度模型的处理过程可以利用下述公式3表示:
[0178][0179]
其中,wk表示第k个第一候选任务的采样概率,g()表示目标调度模型的处理逻辑,表示第k个第一候选任务,θ0表示初始神经网络模型的参数。
[0180]
示例性地,以第一候选任务的噪声衡量指标包括第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对应的任务处理模型的测试性能为例,目标调度模型的处理过程可以利用下述公式4表示:
[0181][0182]
其中,表示第k个第一候选任务对应的任务处理模型的测试性能;表示第一更新梯度;表示第二更新梯度;表示通过内积计算得到的第一更新梯度与第二更新梯度之间的相似性;表示第k个第一候选任务对应的训练数据中的训练样本数据;表示第k个第一候选任务对应的训练数据中的标准处理结果;表示基于初始神经网络模型和第k个第一候选任务对应的训练数据中的训练样本数据得到的预测处理结果;表示第三损失;θ0表示初始神经网络模型的参数。
[0183]
表示第k个第一候选任务对应的测试数据中的测试样本数据;表示第k个第
一候选任务对应的测试数据中的标准处理结果;表示基于初始神经网络模型和第k个第一候选任务对应的测试数据中的测试样本数据得到的测试处理结果;表示第四损失;θk表示第k个第一候选任务对应的任务处理模型的参数;表示基于第k个第一候选任务对应的任务处理模型和第k个第一候选任务对应的测试数据中的测试样本数据得到的测试处理结果。其他参数的含义参见公式3。
[0184]
在基于方式1实现基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率之前,需要训练得到目标调度模型。目标调度模型通过对初始调度模型进行训练得到,本技术实施例对在初始调度模型的基础上训练得到目标调度模型的实现方式不加以限定,只要保证训练得到的目标调度模型具有根据任务的噪声衡量指标较为准确的预测任务的采样概率的功能即可。示例性地,训练得到目标调度模型的实现方式包括但不限于图5所示的实现方式以及图7所示的实现方式。
[0185]
方式2:基于噪声衡量指标与采样概率之间的映射关系,将第一候选任务的噪声衡量指标映射为第一候选任务的采样概率。
[0186]
噪声衡量指标与采样概率之间的映射关系用于指示如何将任务的噪声衡量指标映射为任务的采样概率,噪声衡量指标与采样概率之间的映射关系可以由技术人员设置。本技术实施例对噪声衡量指标与采样概率之间的映射关系的形式不加以限定,只要能够指示出如何将任务的噪声衡量指标映射为任务的采样概率即可。示例性地,噪声衡量指标与采样概率之间的映射关系可以为以采样概率为因变量以噪声衡量指标为自变量的函数关系。示例性地,噪声衡量指标与采样概率之间的映射关系还可以为噪声衡量指标与采样概率的一一对应关系。
[0187]
由于噪声衡量指标与采样概率之间的映射关系能够指示如何将任务的噪声衡量指标映射为任务的采样概率,所以能够按照噪声衡量指标与采样概率之间的映射关系指示的将任务的噪声衡量指标映射为任务的采样概率的方式,将第一候选任务的噪声衡量指标映射为第一候选任务的采样概率。此种获取第一候选任务的采样概率的方式无需依赖调度模型,计算量较小,有利于提高获取第一候选任务的采样概率的效率。
[0188]
需要说明的是,第一候选任务的数量为多个,每个第一候选任务均对应有噪声衡量指标,基于每个第一候选任务的噪声衡量指标,均能够获取每个第一候选任务的采样概率。
[0189]
在获取全部的第一候选任务的采样概率后,能够从全部的第一候选任务中选取采样概率满足第一选取条件的任务,将采样概率满足第一选取条件的任务作为参考任务。参考任务即为用于更新初始神经网络模型的参数的任务。采样概率满足第一选取条件的任务为采样概率较高的任务。采样概率满足第一选取条件根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0190]
在示例性实施例中,采样概率满足第一选取条件可以是指采样概率不小于第一概率阈值,第一概率阈值根据经验设置,或者根据应用场景灵活调整,例如,第一概率阈值为0.8,或者,第一概率阈值为0.9等。在示例性实施例中,采样概率满足第一选取条件还可以是指采样概率为全部的第一候选任务的采样概率中的前l(l为不小于1的整数)大的采样概
率。l的取值能够对更新初始神经网络模型的任务的数量进行约束,l的取值根据经验设置,或者根据应用场景灵活调整,例如,l的取值为4,或者,l的取值为6等。
[0191]
在步骤303中,基于参考任务更新初始神经网络模型的参数。
[0192]
在选取参考任务后,基于参考任务更新初始神经网络模型的参数。由于参考任务是基于第一候选任务的采样概率选取的,第一候选任务的采样概率是与第一候选任务对更新初始神经网络模型的参数的干扰程度匹配的概率,所以,参考任务的选取可靠性较高,基于参考任务更新初始神经网络模型的参数,有利于保证参数更新的可靠性,避免参数更新过程被噪声较大的任务带偏,从而提高更新后的参数的泛化性能,提高基于元学习的模型训练过程在存在噪声较大的任务的情况下的鲁棒性,提高模型训练的质量。一些实施例中,用于更新初始神经网络模型的参数的参考任务还可以称为元训练任务。
[0193]
在一种可能实现方式中,参考任务的数量为至少一个,任一参考任务对应有训练数据和测试数据;基于参考任务更新初始神经网络模型的参数的过程包括以下步骤3031至步骤3033。
[0194]
步骤3031:基于任一参考任务对应的训练数据和初始神经网络模型,获取任一参考任务对应的任务处理模型。
[0195]
任一参考任务对应的任务处理模型是指在初始神经网络模型的基础上利用任一参考任务对应的训练数据训练得到的用于处理任一参考任务对应的模型。该步骤3031的实现原理与步骤3011的实现原理相同,区别在于步骤3011中所依据的任务为第一候选任务,步骤3031中所依据的任务为任一参考任务。
[0196]
步骤3032:利用任一参考任务对应的测试数据对任一参考任务对应的任务处理模型进行测试,得到任一参考任务对应的任务处理模型的测试性能。
[0197]
任一参考任务对应的任务处理模型的测试性能用于衡量任一参考任务对应的任务处理模型处理任一参考任务的性能。该步骤3032的实现原理与步骤3012的实现原理相同,区别在于步骤3012中所依据的任务为第一候选任务,步骤3032中所依据的任务为任一参考任务。
[0198]
步骤3033:基于至少一个参考任务对应的任务处理模型的测试性能,获取初始神经网络模型的参数对应的目标更新梯度,基于目标更新梯度更新初始神经网络模型的参数。
[0199]
参考步骤3031和步骤3032的过程,能够获取至少一个参考任务对应的任务处理模型的测试性能,然后可以将至少一个参考任务对应的任务处理模型的测试性能的总和作为目标测试性能。示例性地,由于目标测试性能是基于至少一个参考任务对应的任务处理模型的测试性能获取的,至少一个参考任务对应的任务处理模型的测试性能是基于至少一个参考任务对应的任务处理模型的参数获取的,至少一个参考任务对应的任务处理模型是基于初始神经网络模型的参数获取的,所以,在获取目标测试性能后,能够通过链式求导法则计算目标测试性能关于初始神经网络模型的参数的梯度,将该梯度作为初始神经网络模型的参数对应的目标更新梯度。
[0200]
在计算得到初始神经网络模型的参数对应的目标更新梯度后,基于目标更新梯度对初始神经网络模型的参数进行更新。示例性地,基于目标更新梯度对初始神经网络模型的参数进行更新的方式为:计算第二学习率与目标更新梯度的第二乘积,将初始神经网络
模型的参数与第二乘积的差作为初始神经网络模型的更新后的参数。第二学习率根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。此种参数更新过程可视为将至少一个参考任务对应的任务处理模型在至少一个参考任务对应的测试数据上的性能作为反馈来更新参数的构成,此种参数更新过程综合考虑了至少一个参考任务,有利于保证更新后的参数的泛化性。
[0201]
示例性地,以至少一个参考任务的数量为k(k为不小于1的整数)个为例,基于目标更新梯度对初始神经网络模型的参数进行更新的过程可以基于公
[0202]
式5实现:
[0203][0204]
其中,θ0表示初始神经网络模型的参数;θ
′0表示初始神经网络模型的更新后的参数;β表示第二学习率;表示第k(k为不小于1且不大于k的整数)个参考任务对应的测试数据中的测试样本数据;表示第k个参考任务对应的测试数据中的标准处理结果;θk表示第k个参考任务对应的任务处理模型的参数;表示基于第k个参考任务对应的任务处理模型和第k个参考任务对应的测试数据中的测试样本数据得到的测试处理结果;表示第k个参考任务对应的任务处理模型的测试性能;表示目标测试性能;表示初始神经网络模型的参数对应的目标更新梯度。
[0205]
示例性地,k个参考任务对应的任务处理模型与初始神经网络模型相比,结构相同,区别在于模型的参数,初始神经网络模型的参数为θ0,第一个参考任务对应的任务处理模型的参数为θ1,第二个参考任务对应的任务处理模型的参数为θ2,以此类推,第k个参考任务对应的任务处理模型的参数为θk。其中,θ1、θ2以及θk等均以θ0为初始值通过若干步梯度优化得到。基于元学习的模型训练的核心在于学习一个可在多个任务上取得较好的泛化性能的参数,将该参数作为学习目标任务的初始化参数,该初始化参数即为需要学习目标任务的模型具有的参数。
[0206]
在步骤304中,基于参数更新后的神经网络模型学习目标任务,得到目标神经网络模型,目标神经网络模型用于数据处理。
[0207]
在基于参考任务更新初始神经网络模型的参数后,能够得到参数更新后的神经网络模型,然后在参数更新后的神经网络模型的基础上,学习目标任务,以得到适用于目标任务的目标神经网络模型。该目标神经网络模型用于数据处理,示例性地,目标神经网络模型用于对与目标任务匹配的数据进行处理。
[0208]
由于参数更新后的神经网络模型是利用参考任务对初始神经网络模型的参数进行更新得到的,参考任务为根据采样概率从第一候选任务中选取的可靠性较高的任务,所以利用参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,进而提高利用目标神经网络模型进行数据处理的准确性。
[0209]
在示例性实施例中,基于参数更新后的神经网络模型学习目标任务,得到目标神
经网络模型的过程包括:基于参数更新后的神经网络模型获取第一神经网络模型,基于目标任务对应的训练数据对第一神经网络模型进行训练,得到目标神经网络模型。
[0210]
示例性地,基于参数更新后的神经网络模型获取第一神经网络模型的方式包括:响应于参数更新过程满足参考条件,将参数更新后的神经网络模型作为第一神经网络模型;响应于参数更新过程不满足参考条件,参考步骤301至步骤303的方式继续进行参数更新,直至参数更新过程满足参考条件,将参数更新过程满足参考条件时得到的神经网络模型作为第一神经网络模型。也就是说,第一神经网络模型的结构与初始神经网络模型的结构相同,第一神经网络模型的参数通过对初始神经网络模型的参数更新一次或多次得到。
[0211]
参数更新过程满足参考条件根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。示例性地,参数更新过程满足参考条件可以是指对神经网络模型的参数更新的次数达到第二次数阈值,也可以是指目标测试性能收敛,还可以是指目标测试性能小于第二损失阈值。第二次数阈值和第二损失阈值根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0212]
在示例性实施例中,在获取第一神经网络模型后,可以基于目标任务对应的训练数据对第一神经网络模型进行训练,得到目标神经网络模型,以实现对目标任务的学习。目标神经网络模型为适用于目标任务的模型,适用于目标任务的模型能够用于处理与目标任务匹配的待处理数据。示例性地,由于第一神经网络模型的参数在与第一候选任务同类型的任务上的泛化能力较好,所以,在基于目标任务对应的训练数据对第一神经网络模型进行训练的过程中,可以通过较少步的训练(或者称为梯度优化、参数更新等),较为快速的得到目标神经网络模型。
[0213]
基于目标任务对应的训练数据对第一神经网络模型进行训练的实现原理与步骤3011中利用第一候选任务对应的训练数据对参考模型进行训练的实现原理相同,区别在于步骤3011中所依据的数据为第一候选任务的训练数据,所依据的模型为参考模型,此处所依据的数据为目标任务对应的训练数据,所依据的模型为第一神经网络模型。
[0214]
在得到目标神经网络模型之后,还可以应用目标神经网络模型。应用目标神经网络模型的过程详见图8所示的实施例,此处暂不赘述。
[0215]
本技术实施例提供的数据处理方法,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于衡量候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用目标神经网络模型能够对与目标任务匹配的数据进行较为准确的处理。
[0216]
图5示出了一种训练得到目标调度模型的方法,该方法可以包括如下步骤501至步骤503。
[0217]
在步骤501中,调用初始调度模型基于第二候选任务的噪声衡量指标,获取第二候选任务的初始采样概率;从第二候选任务中选取初始采样概率满足第二选取条件的初始任务。
[0218]
初始调度模型是指待训练的调度模型,第二候选任务为训练初始调度模型所依据
的任务,第二候选任务与第一候选任务的类型相同,以保证调度模型的训练可靠性。第二候选任务可以与第一候选任务相同,也可以与第一候选任务不同。调用初始调度模型基于第二候选任务的噪声衡量指标,获取第二候选任务的初始采样概率的实现原理与图3所示的实施例中调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现原理相同,此处不再加以赘述。
[0219]
从第二候选任务中选取初始采样概率满足第二选取条件的初始任务的实现原理与图3所示的实施例中从第一候选任务中选取采样概率满足第一选取条件的参考任务的实现原理相同,此处不再加以赘述。需要说明的是,第二选取条件可以与第一选取条件相同,也可以与第一选取条件不同。
[0220]
在步骤502中,基于初始任务和初始神经网络模型,获取待验证模型。
[0221]
待验证模型为在初始任务和初始神经网络模型的基础上得到的待利用验证任务衡量验证性能的模型。在示例性实施例中,基于初始任务和初始神经网络模型,获取待验证模型的过程包括:构建一个结构以及参数均与初始神经网络模型相同的候选模型,基于初始任务更新候选模型的参数,将具有更新后的参数的模型作为待验证模型。
[0222]
示例性地,基于初始任务更新候选模型的参数的过程包括:基于初始任务对应的训练数据对候选模型进行训练,得到初始任务对应的任务处理模型;利用初始任务对应的测试数据对初始任务对应的任务处理模型进行测试,得到初始任务对应的任务处理模型的测试性能;基于初始任务对应的任务处理模型的测试性能,获取候选模型的参数对应的更新梯度,基于候选模型的参数对应的更新梯度更新候选模型的参数。该实现过程的原理与图3所示的实施例中基于参考任务更新初始神经网络模型的参数的实现过程的原理相同,此处不再加以赘述。
[0223]
在步骤503中,基于验证任务获取待验证模型的验证性能,基于验证性能获取初始调度模型的参数对应的第三更新梯度;基于第三更新梯度更新初始调度模型的参数,得到目标调度模型。
[0224]
验证任务为用于对待验证模型进行验证的任务,验证任务的类型与第二候选任务的类型相同。验证任务的数量可以为一个,也可以为多个。待验证模型的验证性能能够用于衡量根据初始调度模型选取的初始任务进行参数更新的效果,基于待验证模型的验证性能对初始调度模型进行更新,能够以提高验证性能为导向更新调度模型的参数,从而能够通过提高根据选取的任务得到的模型的验证性能来间接提高调度模型对采样概率的预测准确性。
[0225]
在示例性实施例中,验证任务对应有训练数据和测试数据。基于验证任务获取待验证模型的验证性能的实现过程包括:基于验证任务对应的训练数据对待验证模型进行训练,得到验证任务对应的任务处理模型;利用验证任务对应的测试数据对验证任务对应的任务处理模型进行测试,得到验证任务对应的任务处理模型的测试性能;基于验证任务对应的任务处理模型的测试性能,获取待验证模型的验证性能。获取验证任务对应的任务处理模型的测试性能的实现原理与图3所示的实施例中获取至少一个参考任务对应的任务处理模型的测试性能的实现原理相同,此处不再加以赘述。在获取验证任务对应的任务处理模型的测试性能后,将验证任务对应的任务处理模型的测试性能的总和作为待验证模型的验证性能。
[0226]
示例性地,由于待验证模型的验证性能是基于验证任务对应的任务处理模型的测试性能获取的,验证任务对应的任务处理模型的测试性能是基于验证任务对应的任务处理模型的参数获取的,验证任务对应的任务处理模型是基于初始调度模型的参数获取的,所以,在获取待验证模型的验证性能后,能够通过链式求导法则计算待验证模型的验证性能关于初始调度模型的参数的梯度,将该梯度作为初始调度模型的参数对应的第三更新梯度。
[0227]
在计算得到初始调度模型的参数对应的第三更新梯度后,基于第三更新梯度对初始调度模型的参数进行更新。示例性地,基于第三更新梯度对初始调度模型的参数进行更新的方式为:计算第三学习率与第三更新梯度的第三乘积,将初始调度模型的参数与第三乘积的差作为初始调度模型的更新后的参数。第三学习率根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0228]
示例性地,以验证任务的数量为kv(kv为不小于1的整数)个为例,基于第三更新梯度对初始调度模型的参数进行更新的过程可以基于公式6实现:
[0229][0230]
其中,φ表示初始调度模型的参数;φ

表示初始调度模型的更新后的参数;γ表示第三学习率;表示第k(k为不小于1且不大于kv的整数)个验证任务对应的测试数据中的测试样本数据;表示第k个验证任务对应的测试数据中的标准处理结果;θk表示第k个验证任务对应的任务处理模型的参数;表示基于第k个验证任务对应的任务处理模型和第k个验证任务对应的测试数据中的测试样本数据得到的测试处理结果;表示第k个验证任务对应的任务处理模型的测试性能;表示待验证模型的验证性能;表示初始调度模型的参数对应的第三更新梯度。
[0231]
示例性地,基于第三更新梯度更新初始调度模型的参数,得到目标调度模型可以是指将基于第三更新梯度更新初始调度模型的参数后得到的模型作为目标调度模型;也可以是指在基于第三更新梯度更新初始调度模型的参数后,继续参考步骤501至步骤503的方式更新调度模型的参数,直至调度模型的参数的更新过程满足第二条件,将具有满足第二条件时得到的参数的模型作为目标调度模型。示例性地,满足第二条件可以是指调度模型的参数的更新次数达到第三次数阈值,也可以是指验证性能收敛,还可以是指验证性能不小于第三损失阈值等。第三次数阈值和第三损失阈值根据经验设置,或者根据应用场景灵活调整。
[0232]
示例性地,待验证模型可视为一种临时的时序元模型,该临时的时序元模型能够避免引入超长优化链路和较大的优化代价,降低优化难度。
[0233]
示例性地,调度模型的训练过程可以与神经网络模型的参数的更新过程交叉进行,交叉进行的过程包括:基于神经网络模型对调度模型进行训练,得到训练一次的调度模型,利用根据训练一次的调度模型选取的任务对神经网络模型的参数进行更新,得到参数更新一次的神经网络模型;基于参数更新一次的神经网络模型对训练一次的调度模型进行
训练,得到训练两次的调度模型,利用根据训练两次的调度模型选取的任务对参数更新一次的神经网络模型的参数进行更新,得到参数更新两次的神经网络模型。以此类推,直至得到参数更新g(g为不小于1的整数)次的神经网络模型。g的取值根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0234]
在调度模型的训练过程可以与神经网络模型的参数的更新过程交叉进行的情况下,图3以及图5所示的实施例中的初始神经网络模型可以是指参数更新l(l为不小于0且不大于(g-1)的整数)次的神经网络模型,初始调度模型可以是指训练l次的调度模型,目标调度模型可以是指训练(l+1)次的调度模型。
[0235]
示例性地,根据调度模型实现参数更新的过程可以如图6所示。从任务池中获取第二候选任务,基于初始神经网络模型获取第二候选任务的噪声衡量指标;调用初始调度模型基于第二候选任务的噪声衡量指标获取第二候选任务的采样概率;根据第二候选任务的采样概率进行任务采样,得到选取的初始任务,基于初始任务和初始神经网络模型,计算选取的初始任务对应的任务处理模型的测试性能;基于选取的初始任务对应的任务处理模型的测试性能的反馈,获取待验证模型;基于待验证模型的验证性能的反馈获取目标调度模型。
[0236]
从任务池中获取第一候选任务,基于初始神经网络模型获取第一候选任务的噪声衡量指标;调用目标调度模型基于第一候选任务的噪声衡量指标获取第一候选任务的采样概率;根据第一候选任务的采样概率进行任务采样,得到选取的参考任务,基于参考任务和初始神经网络模型,计算选取的参考任务对应的任务处理模型的测试性能,基于选取的参考任务对应的任务处理模型的测试性能更新初始神经网络模型的参数。
[0237]
图7示出了另一种训练得到目标调度模型的方法,该方法可以包括如下步骤701至步骤703。
[0238]
在步骤701中,获取样本任务的样本噪声衡量指标以及样本任务的标准采样概率。
[0239]
样本任务的样本噪声衡量指标用于衡量样本任务对更新初始神经网络模型的参数的干扰程度,样本任务的样本噪声衡量指标的获取原理与第一候选任务的噪声衡量指标的获取原理相同,此处不再加以赘述。示例性地,样本任务与第一候选任务的类型相同,以保证调度模型的训练可靠性。
[0240]
样本任务的标准采样概率可以认为是样本任务的真实采样概率,样本任务的标准采样概率用于为调度模型预测采样概率的过程提供监督信号。示例性地,样本任务的标准采样概率可以由技术人员通过对样本任务的样本噪声衡量指标进行分析得到。示例性地,样本任务的数量为多个,以保证调度模型的训练质量。每个样本任务均对应有样本噪声衡量指标和标准采样概率。
[0241]
在步骤702中,调用初始调度模型基于样本噪声衡量指标,获取样本任务的初始采样概率;基于样本任务的初始采样概率和标准采样概率,获取目标损失。
[0242]
调用初始调度模型基于样本噪声衡量指标,获取样本任务的初始采样概率的实现原理与图3所示的实施例中调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率的实现原理相同,此处不再加以赘述。
[0243]
目标损失用于衡量样本任务的初始采样概率和标准采样概率之间的差异,目标损失可以通过将训样本任务的初始采样概率和标准采样概率代入目标损失函数计算得到,本
申请实施例对计算目标损失所利用的目标损失函数的类型不加以限定,可以根据经验设置,或者根据应用场景灵活调整,例如,目标损失函数可以交叉熵损失函数,也可以为均方误差损失函数等。需要说明的是,样本任务的数量为一个或多个,目标损失是基于全部的样本任务得到的。
[0244]
在步骤703中,基于目标损失获取初始调度模型的参数对应的第四更新梯度;基于第四更新梯度更新初始调度模型的参数,得到目标调度模型。
[0245]
由于目标损失是在初始调度模型的参数的基础上通过前向传播得到的损失,所以在获取目标损失后,能够通过链式求导法则计算目标损失关于初始调度模型的参数的梯度,将该梯度作为初始调度模型的参数对应的第四更新梯度。
[0246]
在计算得到初始调度模型的参数对应的第四更新梯度后,基于第四更新梯度对初始调度模型的参数进行更新。示例性地,基于第四更新梯度对初始调度模型的参数进行更新的方式为:计算第四学习率与第四更新梯度的第四乘积,将初始调度模型的参数与第四乘积的差作为初始调度模型的更新后的参数。第四学习率根据经验设置,或者根据应用场景灵活调整,本技术实施例对此不加以限定。
[0247]
示例性地,基于第四更新梯度更新初始调度模型的参数,得到目标调度模型可以是指将基于第四更新梯度更新初始调度模型的参数后得到的模型作为目标调度模型;也可以是指在基于第四更新梯度更新初始调度模型的参数后,继续参考步骤701至步骤703的方式更新调度模型的参数,直至调度模型的参数的更新过程满足第三条件,将具有满足第三条件时得到的参数的模型作为目标调度模型。
[0248]
示例性地,满足第三条件可以是指调度模型的参数的更新次数达到第四次数阈值,也可以是指目标损失收敛,还可以是指目标损失不小于第四损失阈值等。第四次数阈值和第四损失阈值根据经验设置,或者根据应用场景灵活调整。
[0249]
在此种调度模型的训练过程中,利用样本任务对应的标准采样概率直接为调度模型预测采样概率的过程提供监督信号,能够以缩小调度模型预测的采样概率与标准采样概率之间的差异为导向更新调度模型的参数,从而能够直观的提高调度模型对采样概率的预测准确性。
[0250]
本技术实施例提供一种数据处理方法,以该方法应用于上述图1所示的实施环境为例,该数据方法由计算机设备执行,该计算机设备可以为图1所示的实施环境中的终端11,也可以为图1所示的实施环境中的服务器12,本技术实施例对此不加以限定。如图8所示,本技术实施例提供的数据方法可以包括如下步骤801和步骤802。
[0251]
在步骤801中,获取与目标任务匹配的待处理数据以及目标神经网络模型。
[0252]
其中,目标神经网络模型通过图3所示的实施例提供的数据处理方法得到。
[0253]
与目标任务匹配的待处理数据是指待利用目标神经网络模型进行处理的数据,由于通过图3所示的实施例提供的数据处理方法得到目标神经网络模型是通过对目标任务进行较为准确的学习后得到的模型,所以利用目标神经网络模型能够对于目标任务匹配的待处理数据进行较为准确的处理,从而保证数据处理的准确性。
[0254]
待处理数据的类型与目标任务的类型有关,本技术实施例对此不加以限定。示例性地,目标任务是指预测参考类型的对象的目标属性的任务,待处理数据是指目标对象的表征信息,其中,目标对象的类型为参考类型。目标对象的表征信息用于对目标对象进行表
征。
[0255]
接下来,结合预测参考类型的对象的目标属性的任务的具体类型,对目标对象的表征信息的具体情况进行举例说明。示例性地,若预测参考类型的对象的目标属性的任务为预测化合物针对目标靶点蛋白质的活性的任务,则目标对象的表征信息是指目标化合物的表征信息,此种情况下,待处理数据是指目标化合物的表征信息;若预测参考类型的对象的目标属性的任务为预测图像是否属于目标类别的任务,则目标对象的表征信息是指目标图像的表征信息,此种情况下,待处理数据是指目标图像的表征信息。
[0256]
目标化合物是指未知针对目标靶点蛋白的活性的化合物。目标化合物的表征信息用于对目标化合物进行表征,示例性地,目标化合物的表征信息可以是指目标化合物的分子式,也可以是目标化合物的分子字符串,还可以是目标化合物的摩根分子指纹特征等。示例性地,目标化合物的表征信息的形式可以为向量或矩阵,该向量或矩阵的维度根据经验设置,或者根据应用场景灵活调整,例如,维度为1024维。目标图像是指未知是否属于目标类别的图像。目标图像的表征信息用于对目标图像进行表征,示例性地,目标图像的表征信息可以是指目标图像中的像素点的像素值,也可以是指目标图像的图像特征等。
[0257]
本技术实施例对获取与目标任务匹配的待处理数据的方式不加以限定,示例性地,可以从数据库中提取与目标任务匹配的待处理数据,也可以从网络上提取与目标任务匹配的待处理数据,还可以接收技术人员上传的与目标任务匹配的待处理数据等。
[0258]
示例性地,获取目标神经网络模型的方式可以是指根据图3所示的实施例提供的方法实时获取目标神经网络模型,也可以是指从存储中提取预先根据图3所示的实施例提供的方法获取的目标神经网络模型等,本技术实施例对此不加以限定。
[0259]
在步骤802中,调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果。
[0260]
调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果的过程为目标神经网络模型的内部处理过程,与目标神经网络模型的结构有关,本技术实施例对此不加以限定。示例性地,调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果的过程可以为:调用目标神经网络模型提取待处理数据的特征,对提取的特效进行转换,得到待处理数据对应的处理结果。
[0261]
示例性地,待处理数据对应的处理结果的类型与待处理数据的类型有关。示例性地,待处理数据为目标对象的表征信息,待处理数据对应的处理结果为目标对象的目标属性,调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果的过程包括:调用目标神经网络模型对目标对象的表征信息进行处理,得到目标对象的目标属性。
[0262]
示例性地,目标对象的表征信息是指目标化合物的表征信息,目标对象的目标属性是指目标化合物针对目标靶点蛋白质的目标活性,此种情况下,调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果的过程包括:调用目标神经网络模型对目标化合物的表征信息进行处理,得到目标化合物针对目标靶点蛋白质的目标活性。
[0263]
示例性地,目标对象的表征信息是指目标图像的表征信息,目标对象的目标属性是指目标图像的目标分类结果,目标分类结果用于指示目标图像是否属于目标类别。此种
情况下,调用目标神经网络模型对待处理数据进行处理,得到待处理数据对应的处理结果的过程包括:调用目标神经网络模型对目标图像的表征信息进行处理,得到目标图像的目标分类结果。
[0264]
在示例性实施例中,在获取待处理数据对应的处理结果后,可以应用待处理数据对应的处理结果。应用待处理数据对应的处理结果的方式与待处理数据以及待处理数据对应的处理结果的类型有关。
[0265]
示例性地,若待处理数据为目标化合物的表征信息,待处理数据对应的处理结果为目标化合物针对目标靶点蛋白质的目标活性,应用待处理数据对应的处理结果的方式包括:基于目标化合物针对目标靶点蛋白质的目标活性,从目标化合物中确定目标靶点蛋白质的苗头化合物。
[0266]
示例性地,将目标化合物中的针对目标靶点蛋白质的目标活性不小于活性阈值的化合物作为目标靶点蛋白质的苗头化合物,活性阈值根据经验设置,或者根据应用场景灵活调整。示例性地,将目标化合物中的针对目标靶点蛋白质的目标活性最大的q(q为不小于1的整数)个化合物作为目标靶点蛋白质的苗头化合物,q的取值根据经验设置,或者根据应用场景灵活调整。
[0267]
上述确定目标靶点蛋白质的苗头化合物的应用是在虚拟筛选苗头化合物的应用场景中的具体应用,将本技术实施例提供的数据处理方法应用在虚拟筛选苗头化合物的应用场景中,带来的技术影响力主要体现在提升基于分子结构的药物虚拟筛选精度。通过减少元学习框架对相当数量存在噪声的已测活性实验的敏感性,提高基于元学习的模型训练过程在存在噪声较大的任务的情况下的鲁棒性,提升神经网络模型的参数的泛化能力,从而在各类业务场景中可能出现的多样化靶点蛋白质上均取得较理想的活性预测精度,保证虚拟筛选出的化合物的质量,发现更优更准确的苗头化合物,为后续先导化合物的优化以及药物合成等环节奠定重要基础。
[0268]
在示例性实施例中,若待处理数据为目标图像的表征信息,待处理数据对应的处理结果为目标图像的目标分类结果,应用待处理数据对应的处理结果的方式包括:基于目标图像的目标分类结果,确定目标图像是否属于目标类别。示例性地,目标图像的目标分类结果可以为0或1,若目标分类结果为0,则说明目标图像不属于目标类别;若目标分类结果为1,则说明目标图像属于目标类别。示例性地,目标图像的目标分类结果还可以为0~1之间的一个数值,若该数值大于分类阈值,则说明目标图像属于目标类别;若该数值不大于分类阈值,则说明目标图像不属于目标类别。分类阈值根据经验设置,或者根据应用场景灵活调整,例如,分类阈值可以为0.85,也可以为0.9等。
[0269]
本技术实施例提供的数据处理方法,对待处理数据进行处理的目标神经网络模型是通过图3所示的实施例提供的方法得到的,在图3所示的实施例提供的方法中,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于衡量候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用此种目标神经网络模型能够对待处理数据进行
较为准确的处理,数据处理的准确性较高。
[0270]
参见图9,本技术实施例提供了一种数据处理装置,该装置包括:
[0271]
第一获取单元901,用于基于初始神经网络模型获取第一候选任务的噪声衡量指标,噪声衡量指标用于衡量第一候选任务对更新初始神经网络模型的参数的干扰程度,第一候选任务为与待学习的目标任务匹配的任务;
[0272]
第二获取单元902,用于基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率;从第一候选任务中选取采样概率满足第一选取条件的参考任务;
[0273]
更新单元903,用于基于参考任务更新初始神经网络模型的参数;
[0274]
第三获取单元904,用于基于参数更新后的神经网络模型学习目标任务,得到目标神经网络模型,目标神经网络模型用于数据处理。
[0275]
在一种可能实现方式中,第一候选任务对应有训练数据和测试数据;第一获取单元901,用于基于第一候选任务对应的训练数据和初始神经网络模型,获取第一候选任务对应的任务处理模型;利用第一候选任务对应的测试数据对第一候选任务对应的任务处理模型进行测试,得到第一候选任务对应的任务处理模型的测试性能;基于第一候选任务对应的训练数据获取初始神经网络模型的参数对应的第一更新梯度;基于第一候选任务对应的测试数据获取初始神经网络模型的参数对应的第二更新梯度;基于第一更新梯度与第二更新梯度之间的相似性以及第一候选任务对应的任务处理模型的测试性能,获取第一候选任务的噪声衡量指标。
[0276]
在一种可能实现方式中,第一候选任务对应有训练数据和测试数据;第一获取单元901,用于基于第一候选任务对应的训练数据和初始神经网络模型,获取第一候选任务对应的任务处理模型;利用第一候选任务对应的测试数据对第一候选任务对应的任务处理模型进行测试,得到第一候选任务对应的任务处理模型的测试性能;基于第一候选任务对应的任务处理模型的测试性能,获取初始神经网络模型的参数对应的二阶更新梯度,将二阶更新梯度作为第一候选任务的噪声衡量指标。
[0277]
在一种可能实现方式中,第二获取单元902,用于调用目标调度模型基于第一候选任务的噪声衡量指标,获取第一候选任务的采样概率。
[0278]
在一种可能实现方式中,第二获取单元902,用于调用目标调度模型对当前参数更新轮数进行编码,得到第一编码信息;对第一候选任务的噪声衡量指标进行编码,得到第二编码信息;对第一编码信息和第二编码信息进行拼接,得到目标编码信息;基于目标编码信息预测第一候选任务的采样概率。
[0279]
在一种可能实现方式中,第二获取单元902,还用于调用初始调度模型基于第二候选任务的噪声衡量指标,获取第二候选任务的初始采样概率;从第二候选任务中选取初始采样概率满足第二选取条件的初始任务;
[0280]
更新单元903,还用于基于初始任务和初始神经网络模型,获取待验证模型;基于验证任务获取待验证模型的验证性能,基于验证性能获取初始调度模型的参数对应的第三更新梯度;基于第三更新梯度更新初始调度模型的参数,得到目标调度模型。
[0281]
在一种可能实现方式中,验证任务对应有训练数据和测试数据;更新单元903,还用于基于验证任务对应的训练数据对待验证模型进行训练,得到验证任务对应的任务处理模型;利用验证任务对应的测试数据对验证任务对应的任务处理模型进行测试,得到验证
任务对应的任务处理模型的测试性能;基于验证任务对应的任务处理模型的测试性能,获取待验证模型的验证性能。
[0282]
在一种可能实现方式中,第二获取单元902,还用于获取样本任务的样本噪声衡量指标以及样本任务的标准采样概率;调用初始调度模型基于样本噪声衡量指标,获取样本任务的初始采样概率;
[0283]
更新单元903,还用于基于样本任务的初始采样概率和标准采样概率,获取目标损失;基于目标损失获取初始调度模型的参数对应的第四更新梯度;基于第四更新梯度更新初始调度模型的参数,得到目标调度模型。
[0284]
在一种可能实现方式中,第二获取单元902,用于基于噪声衡量指标与采样概率之间的映射关系,将第一候选任务的噪声衡量指标映射为第一候选任务的采样概率。
[0285]
在一种可能实现方式中,参考任务的数量为至少一个,任一参考任务对应有训练数据和测试数据;更新单元903,用于基于任一参考任务对应的训练数据和初始神经网络模型,获取任一参考任务对应的任务处理模型;利用任一参考任务对应的测试数据对任一参考任务对应的任务处理模型进行测试,得到任一参考任务对应的任务处理模型的测试性能;基于至少一个参考任务对应的任务处理模型的测试性能,获取初始神经网络模型的参数对应的目标更新梯度,基于目标更新梯度更新初始神经网络模型的参数。
[0286]
在一种可能实现方式中,第一候选任务对应的训练数据包括训练样本数据和训练样本数据对应的标准处理结果;第一获取单元901,用于调用参考模型对训练样本数据进行处理,得到训练样本数据对应的预测处理结果,参考模型的参数与初始神经网络模型的参数相同;基于训练样本数据对应的预测处理结果和训练样本数据对应的标准处理结果,获取第一损失;基于第一损失对参考模型的参数进行更新,得到第一候选任务对应的任务处理模型。
[0287]
在一种可能实现方式中,第一候选任务为预测化合物针对第一候选靶点蛋白质的活性的任务,训练样本数据为第一化合物的表征信息,预测处理结果为第一化合物针对第一候选靶点蛋白质的预测活性;第一获取单元902,用于调用参考模型对第一化合物的表征信息进行处理,得到第一化合物针对第一候选靶点蛋白质的预测活性;基于第一化合物针对第一候选靶点蛋白质的预测活性和第一化合物针对第一候选靶点蛋白质的标准活性,获取第一损失。
[0288]
本技术实施例提供的数据处理装置,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于衡量候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用目标神经网络模型能够对与目标任务匹配的数据进行较为准确的处理。
[0289]
参见图10,本技术实施例提供了一种数据处理装置,该装置包括:
[0290]
第四获取单元1001,用于获取与目标任务匹配的待处理数据以及目标神经网络模型,目标神经网络模型通过图3所示的实施例中的数据处理方法得到;
[0291]
处理单元1002,用于调用目标神经网络模型对待处理数据进行处理,得到待处理
数据对应的处理结果。
[0292]
在一种可能实现方式中,目标任务为预测化合物针对目标靶点蛋白质的活性的任务,待处理数据为目标化合物的表征信息,待处理数据对应的处理结果为目标化合物针对目标靶点蛋白质的目标活性;处理单元1002,用于调用目标神经网络模型对目标化合物的表征信息进行处理,得到目标化合物针对目标靶点蛋白质的目标活性。
[0293]
在一种可能实现方式中,该装置还包括:
[0294]
确定单元,用于基于目标化合物针对目标靶点蛋白质的目标活性,从目标化合物中确定目标靶点蛋白质的苗头化合物。
[0295]
本技术实施例提供的数据处理装置,对待处理数据进行处理的目标神经网络模型是通过图3所示的实施例提供的方法得到的,在图3所示的实施例提供的方法中,通过考虑候选任务的噪声衡量指标来获取候选任务的采样概率,噪声衡量指标用于衡量候选任务对更新模型的参数的干扰程度,通过考虑噪声衡量指标获取的采样概率是与候选任务对更新模型的参数的干扰程度匹配的采样概率,基于此种采样概率从候选任务中选取的参考任务的可靠性较高,基于可靠性较高的参考任务更新模型的参数的可靠性较高,有利于提高模型的参数的更新质量,基于参数更新后的模型能够较为准确的学习目标任务,从而有利于提高得到的目标神经网络模型的质量,利用此种目标神经网络模型能够对待处理数据进行较为准确的处理,数据处理的准确性较高。
[0296]
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将设备的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
[0297]
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行,以使该计算机设备实现上述任一种数据处理方法。该计算机设备可以为服务器,也可以为终端。接下来,对服务器和终端的结构分别进行介绍。
[0298]
图11是本技术实施例提供的一种服务器的结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(central processing units,cpu)1101和一个或多个存储器1102,其中,该一个或多个存储器1102中存储有至少一条计算机程序,该至少一条计算机程序由该一个或多个处理器1101加载并执行,以使该服务器实现上述各个方法实施例提供的数据处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
[0299]
图12是本技术实施例提供的一种终端的结构示意图。该终端可以是:pc、手机、智能手机、pda、可穿戴设备、ppc、平板电脑、智能车机、智能电视、智能音箱、智能语音交互设备、智能家电、车载终端、vr设备、ar设备。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0300]
通常,终端包括有:处理器1501和存储器1502。
[0301]
处理器1501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处
理器1501可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1501可以集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1501还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
[0302]
存储器1502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1501所执行,以使该终端实现本技术中方法实施例提供的数据处理方法。
[0303]
在一些实施例中,终端还可选包括有:外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地,外围设备包括:射频电路1504、显示屏1505、摄像头组件1506、音频电路1507和电源1508中的至少一种。
[0304]
外围设备接口1503可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中,处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上;在一些其他实施例中,处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
[0305]
射频电路1504用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1504包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路1504还可以包括nfc(near field communication,近距离无线通信)有关的电路,本技术对此不加以限定。
[0306]
显示屏1505用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时,显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时,显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1505可以为一个,设置在终端的前面板;在另一些实施例中,显示屏1505可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在另一些实施例中,显示屏1505可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,
显示屏1505还可以设置成非矩形的不规则图形,也即异形屏。显示屏1505可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0307]
摄像头组件1506用于采集图像或视频。可选地,摄像头组件1506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
[0308]
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1501进行处理,或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1507还可以包括耳机插孔。
[0309]
电源1508用于为终端中的各个组件进行供电。电源1508可以是交流电、直流电、一次性电池或可充电电池。当电源1508包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0310]
在一些实施例中,终端还包括有一个或多个传感器1509。该一个或多个传感器1509包括但不限于:加速度传感器1510、陀螺仪传感器1511、压力传感器1512、光学传感器1513以及接近传感器1514。
[0311]
加速度传感器1510可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1510可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1510采集的重力加速度信号,控制显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1510还可以用于游戏或者用户的运动数据的采集。
[0312]
陀螺仪传感器1511可以检测终端的机体方向及转动角度,陀螺仪传感器1511可以与加速度传感器1510协同采集用户对终端的3d动作。处理器1501根据陀螺仪传感器1511采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0313]
压力传感器1512可以设置在终端的侧边框和/或显示屏1505的下层。当压力传感器1512设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器1501根据压力传感器1512采集的握持信号进行左右手识别或快捷操作。当压力传感器1512设置在显示屏1505的下层时,由处理器1501根据用户对显示屏1505的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0314]
光学传感器1513用于采集环境光强度。在一个实施例中,处理器1501可以根据光学传感器1513采集的环境光强度,控制显示屏1505的显示亮度。具体地,当环境光强度较高时,调高显示屏1505的显示亮度;当环境光强度较低时,调低显示屏1505的显示亮度。在另一个实施例中,处理器1501还可以根据光学传感器1513采集的环境光强度,动态调整摄像头组件1506的拍摄参数。
[0315]
接近传感器1514,也称距离传感器,通常设置在终端的前面板。接近传感器1514用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器1514检测到用户与终端的正面之间的距离逐渐变小时,由处理器1501控制显示屏1505从亮屏状态切换为息屏状态;当接近传感器1514检测到用户与终端的正面之间的距离逐渐变大时,由处理器1501控制显示屏1505从息屏状态切换为亮屏状态。
[0316]
本领域技术人员可以理解,图12中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
[0317]
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由计算机设备的处理器加载并执行,以使计算机实现上述任一种数据处理方法。
[0318]
在一种可能实现方式中,上述计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、只读光盘(compact disc read-only memory,cd-rom)、磁带、软盘和光数据存储设备等。
[0319]
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机指令,该计算机程序或计算机指令由处理器加载并执行,以使计算机实现上述任一种数据处理方法。
[0320]
需要说明的是,本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本技术中涉及到的目标化合物的表征信息、训练数据以及测试数据等都是在充分授权的情况下获取的。
[0321]
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0322]
以上所述仅为本技术的示例性实施例,并不用以限制本技术,凡在本技术的原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1