预训练模型的生成方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景，具体涉及预训练模型的生成方法、装置、电子设备和存储介质。


背景技术：

2.最近几年，预训练模型取得了巨大的成功。预训练模型在上游任务上通过大量的数据进行训练，进而，在下游任务上，只需要少量数据训练就可以取得较好的结果。而相关技术中的预训练模型在场景迁移上具有较大的局限性，无法满足精度的要求。因此，如何提高生成的预训练模型的精度是亟待解决的技术问题。


技术实现要素：

3.本公开提供了一种预训练模型的生成方法、装置、电子设备和存储介质。
4.根据本公开的一方面，提供了一种预训练模型的生成方法，包括：
5.对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；
6.从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；
7.采用第一图像集测试各组所述候选模型组合，以得到各组所述候选模型组合对第一图像集进行特征提取时所关注的关注图像区域；
8.根据各组所述候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合；
9.根据所述目标模型组合生成预训练模型。
10.根据本公开的另一方面，提供了一种预训练模型的生成装置，包括：
11.训练模块，用于对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型；
12.组合模块，用于从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合；
13.测试模块，用于采用第一图像集测试各组所述候选模型组合，以得到各组所述候选模型组合对第一图像集进行特征提取时所关注的关注图像区域；
14.选取模块，用于根据各组所述候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合；
15.生成模块，用于根据所述目标模型组合生成预训练模型。
16.根据本公开的另一方面，提供了一种电子设备，包括：
17.至少一个处理器；以及
18.与所述至少一个处理器通信连接的存储器；其中，
19.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。
20.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述的方法。
21.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面所述的方法。
22.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
23.附图用于更好地理解本方案，不构成对本公开的限定。其中：
24.图1为本公开实施例提供的一种预训练模型的生成方法的流程示意图；
25.图2为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；
26.图3为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；
27.图4为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；
28.图5为本公开实施例提供的另一种预训练模型的生成方法的流程示意图；
29.图6为本公开实施例提供的一种预训练模型的生成装置的结构示意图；
30.图7为本公开实施例提供的示例电子设备700的示意性框图。
具体实施方式
31.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
32.下面参考附图描述本公开实施例的预训练模型的生成方法、装置、电子设备和存储介质。
33.图1为本公开实施例提供的一种预训练模型的生成方法的流程示意图。
34.如图1所示，该方法包含以下步骤：
35.步骤101，对超网络执行对应的训练任务，以得到训练后的超网络，其中，超网络中包含多个模型。
36.其中，训练任务和业务场景相关，例如为图像处理任务，图像识别任务。超网络中包含的多个模型为神经网络的模型。
37.本公开实施例中，超网络是用于加速模型训练的一种方式，其中，超网络并非一个具体的网络架构，而是包括有多个模型的集合，其中，多个模型类型相同，而参数不同。通过训练初始状态的超网络，能过调整超网络中每个模型的参数。训练完成的超网络，同样包括上述多个模型，不同的是，模型的参数经过了调节，实现了对模型的训练。从而，在对模型集合训练的场景下，通过超网络执行对应的训练任务进行训练，实现通过对超网络训练，在超网络训练完成时超网络中包含的所有的模型也训练完成，模型训练速度更快，相比于对每个模型单独训练，提高了模型训练的速度。同时，本公开的超网络在训练过程中，会确定多
个模型间互补关系，以使得模型组合时精度更高，提高模型组合的性能。
38.对于超网络的训练方法，作为一种可能的实现方式，可基于一次性成功的one
‑
shot神经网络结构搜索(neural architecture search，nas)思想训练超网络，即将相应的训练数据仅输入超网络一次，也就是对超网络的参数进行调整一次，而无需重复的多次迭代训练，网络即可收敛，提高了训练的速度。其中，超网络的训练方法，后续实施例中会具体说明。
39.步骤102，从训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。
40.在本公开实施例中，可采用随机搜索算法，或进化搜索算法，或蚁群搜索算法，又或者是强化学习算法，从训练后的超网络中，按照设定的模型组合数量，得到多组候选模型组合。
41.其中，设定数量的模型，可以为超网络中的部分模型，或者是超网络中的全部数量的模型。
42.步骤103，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域。
43.其中，第一图像集中包含多个图像。
44.本公开实施例中，针对每一个候选模型组合，由于候选模型组合中各模型对图像进行特征提取时，不同的模型对图像中不同的区域的关注度不同，采用第一图像集测试各组候选模型组合，得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域也会不同。
45.例如，模型组合a中，包含的各模型在对包含人脸的图像进行特征提取时，会关注图像中人眼部分的特征，也就是说模型组合a中各模型进行特征提取时关注的图像区域是人眼的区域，则模型组合a中的各模型在对人脸图像进行特征提取时，会着重提取人眼部分的特征，也就是说提取得到的特征中，人眼部分的特征包含的信息量较多，而脸部其它区域的特征包含的信息量则会较少。
46.需要说明的时，模型组合中包含的各个模型对图像中关注的图像区域可以相同，也可以不同。
47.步骤104，根据各组候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合。
48.本公开实施例的一种实现方式中，从各组候选模型组合中，选取关注图像区域的面积最大的候选模型组合，将面积最大的候选模型组合作为目标模型组合，由于候选模型组合关注图像区域的面积越大，说明该候选模型组合在对图像进行特征提取时，可以提取得到的特征信息越多，则该候选模型组合的性能则越好，从而，基于关注图像区域的面积的大小，选取目标模型组合，提高了目标模型组合确定的准确性。
49.本公开实施例的另一种实现方式中，从各组候选模型组合中，选取关注图像区域的面积在图像区域中的占比最大的候选模型组合，将面积占比最大的候选模型组合作为目标模型组合，其中，面积占比越大，候选模型组合的性能越好，从而，基于关注图像区域的面积占比大小，选取目标模型组合，提高了目标模型组合确定的准确性。
50.步骤105，根据目标模型组合生成预训练模型。
51.本公开实施例中，将筛选确定的目标模型组合作为预训练模型，提高了预训练模型的训练效果。
52.本公开实施例的预训练模型的生成方法中，对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域，根据各组候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型，本公开中根据各组候选模型组合关注图像区域的面积大小，筛选确定目标模型组合，以提高预训练过程中模型组合的精度。
53.基于上一实施例，本实施例提供了另一种预训练模型的生成方法，说明了如何确定各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域。图2为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图2所示，上述步骤103包含以下步骤：
54.步骤201，对任意的一候选模型组合，将第一图像集内的图像作为输入图像，输入一候选模型组合中的各模型，以得到各模型输出的特征。
55.本公开实施例中，将第一图像集中的任一个图像，作为输入图像，输入一候选模型组合中的各模型，以得到各模型针对输入图像输出的特征。
56.其中，第一图像集中包含多个图像，每一个候选模型组合输入的图像，可以相同，也可以不同，例如，候选模型组合a和候选模型组合b中输入的输入图像均为x，或者是候选模型组合a中输入的输入图像为x和候选模型组合b中输入的输入图像为m。
57.步骤202，根据各模型输出的特征，确定各模型的损失函数。
58.本公开实施例中，根据各模型输出的特征，和输入图像标注的标准信息间的差异，确定各模型的损失函数，例如，损失函数可以为交叉熵目标函数。其中，各模型的损失函数的类型，可以根据模型的结构具体设置，本实施例中不进行限定。
59.步骤203，根据各模型的损失函数相对输入图像的偏导，得到各模型的损失函数随输入图像中各图像区域内容变化的变化程度。
60.步骤204，根据各模型的损失函数随输入图像中各图像区域内容变化的变化程度，确定各模型的关注图像区域。
61.本公开实施例中，根据各模型的损失函数对输入图像求导，得到输入图像中各图像区域的像素值变化引起的各模型的损失函数变化的大小程度，根据这个变化的程度，确定各模型对图像中哪些图像区域关注，哪些图像区域不关注。进而，根据各模型的损失函数随输入图像中各图像区域内容变化的变化程度，与设定的阈值比较，将变化程度大于阈值的图像区域，作为各模型的关注图像区域。
62.例如，输入图像为人脸图像，将人脸图像划分为头发区域、眼部区域、鼻部区域和嘴部区域，候选模型组合a中的模型1的损失函数对输入的人脸图像进行求导后，得到模型1的损失函数随输入图像中头部区域、眼部区域、鼻部区域和嘴部区域的变化程度，其中，嘴部区域的变化程度最大，即模型1关注的图像区域为嘴部区域。同理，确定候选模型组合a中的模型2关注的图像区域也为嘴部区域，候选模型组合a中的模型3关注的图像区域为眼部区域。
63.需要说明的是，候选模型组合a中的模型1和模型2虽然均关注嘴部区域，而实际应用中，确定的模型1和模型2关注的嘴部区域的面积可以是不同的。
64.同理，还可以确定候选模型组合b中各模型关注的图像区域，以及其它候选模型组合中各模型关注的图像区域，原理相同，不再赘述。
65.步骤205，根据各模型的关注图像区域，确定一候选模型组合的关注图像区域。
66.在本公开实施例的一种实现方式中，将各模型的关注图像区域的并集，确定为一候选模型组合的关注图像区域，由于候选模型组合是由各个模型组合得到的，因此，候选模型组合的关注图像区域，可以是基于各模型关注图像区域的并集确定的，通过各模型关注图像区域的并集来衡量候选模型组合的性能，以提高后续候选模型组合筛选的准确性。
67.本公开实施例的预训练模型的生成方法中，通过损失函数对输入图像求导的方式，将损失函数反向传递到输入图像，以确定模型在对图像进行特征提取时对哪些区域关注程度大，对哪些区域关注程度小，可准确确定各模型对输入图像进行特征提取时对图像的关注区域，进而确定各模型的组合进行特征提取时关注的图像区域，提高了模型组合关注图像区域确定的准确性。
68.基于上述实施例，本实施例提供了另一种预训练模型的生成方法，说明了可从各组候选模型组合中，将在特征提取时关注图像区域的面积最大的候选模型组合确定为目标模型组合，其中，候选模型组合关注图像区域的面积越大，在进行特征提取时，提取到的特征中包含的信息越多，候选模型组合的性能越好。图3为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图3所示，上述步骤104包含以下步骤：
69.步骤301，从各组候选模型组合中，选取关注图像区域的面积最大的候选模型组合。
70.步骤302，获取面积最大的候选模型组合对第一图像集进行特征提取所需的计算时延。
71.步骤303，确定面积最大的候选模型组合的计算时延小于或等于设定时长，以将该面积最大的候选模型组合作为目标模型组合。
72.本公开实施例中，在从各组候选模型组合中，确定了在进行特征提取时关注图像区域的面积最大的候选模型组合后，在一种场景下，可能存在并列的多个面积最大的候选模型组合，为了筛选出更优的候选模型组合，可获取面积最大的各候选模型组合对第一图像集进行特征提取所需的计算时延，利用计算时延去除计算时延大于设定时长的候选模型组合，将面积最大同时计算时延小于或等于设定时长的候选模型组合作为目标模型组合，使得确定的目标模型组合不仅精度较高，同时在进行特征提取时满足速度要求。
73.本公开实施例的预训练模型的生成方法中，利用计算时延去除计算时延大于设定时长的候选模型组合，将面积最大同时计算时延小于或等于设定时长的候选模型组合作为目标模型组合，使得确定的目标模型组合不仅精度较高，同时在进行特征提取时满足速度要求。
74.上述实施例中说明了，通过对超网络训练，以实现批量训练多个模型，提高模型训练的效率和建立了模型间的关联，下面通过两种实现方式，具体说明超网络的模型训练方法。
75.基于上述实施例，作为第一种实现方式，本实施例提供了另一种预训练模型的生
成方法，其中，超网络为多个。图4为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图4所示，该方法包含以下步骤：
76.步骤401，将第二样本集内的训练样本输入各超网络。
77.其中，第二样本集内的样本可以根据场景的需求进行设定，例如，识别场景、分类场景等，本实施例中不进行限定。
78.步骤402，对各超网络输出的特征进行融合，得到融合特征。
79.步骤403，根据融合特征执行多种训练任务，得到各训练任务的预测信息。
80.其中，训练任务的数量可以大于超网络的数量，也可以等于超网络的数量。
81.本公开实施例中，将各超网络输出的特征融合得到的融合特征，执行多种训练任务，得到各训练任务的预测信息，实现了将各超网络中包含的多个模型均执行了多个训练任务，相比与将每一个超网络中的每个模型分别执行多个训练任务，本公开的方式消耗的时间更少，效率更高。同时，执行多个训练任务，使得各个超网络中包含的多个模型，均可以在多个任务中进行特征提取，增加了各个超网络可适配的场景。
82.步骤404，根据各训练任务的预测信息，与对应训练任务的标准信息之间的差异，确定各训练任务的损失函数值。
83.其中，第二样本集内的样本对应的标准信息和训练任务具有对应关系，也就是说训练任务不同，样本对应的标准信息不同，即对于每个训练任务，样本均具有对应的标准信息。
84.步骤405，对各训练任务的损失函数值加权求和，以及各超网络对第二样本集进行特征提取时所关注的关注图像区域面积，得到总损失函数值。
85.作为一种实现方式，可将各训练任务的损失函数值通过平均加权的方式融合得到融合损失函数值；作为另一种实现方式，可以根据预先设定的各个训练任务的损失函数值的重要程度，确定各个训练任务的损失函数值的权重，即各训练任务的重要性和损失函数值的权重成正比，进而，根据各训练任务的损失函数值的权重和对应的损失函数值进行加权计算，以得到融合损失函数值。进而，在融合损失函数值的基础上，叠加各超网络对第二样本集进行特征提取时所关注的关注图像区域面积，得到总损失函数值。
86.步骤406，根据总损失函数值，更新各超网络的参数。
87.根据总损失函数值，更新各超网络的参数，可实现对各超网络中包含的各模型的参数的调整，同时，在对各个超网络训练的过程中，还考虑的超网络间的参数关联关系，以及各个超网络中各个模型间的参数关联关系，提高了大量模型训练的速度和精度，并使得基于超网络选取候选模型组合时，可以提高组合模型间的互补性。
88.需要说明的是，超网络可以提高各模型训练的速度，是因为在通过融合损失函数对超网络中的各模型进行参数调整时，根据各个模型间参数共享的方式，实现对多个模型的参数调整，从而整体上降低了可调整的参数的数量，提高了各个模型训练的速度。而通过超网络的损失函数对超网络进行参数调整时，由于超网络中的各个模型间存在参数共享，从而，在对模型进行参数调整时，使得各模型间建立了互补的关联性，以使得后续各模组间进行组合时组合模型的精度更高，提高模型组合的性能。
89.步骤407，从训练后的各超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。
90.本公开实施例中，候选模型组合，可以是从一个超网络中选择到的多个模型组合得到的，或者是从多个超网络中选择得到的多个模型组合得到的。
91.步骤408，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域。
92.步骤409，根据各组模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合。
93.步骤410，根据目标模型组合生成预训练模型。
94.其中，步骤408
‑
步骤410，具体可参照上述实施例中的相关解释说明，原理相同，本实施例中不进行限定。
95.本公开实施例的预训练模型的生成方法中，对多个超网络输出的特征进行融合得到融合特征，基于融合特征分别执行多种训练任务，以得到各个超网络在不同的训练任务上的表现，通过联合训练得到的各训练任务的损失函数来指示，进而，将个训练任务的损失函数值加权求和，并叠加各个超网络对第二样本集进行特征提取时关注的图像区域面积，得到总损失函数，利用总损失函数更新各超网络的参数，建立了模型间的关联性和互补性，实现了快速训练多个模型，同时使得后续基于多个超网络中的模型进行组合时，确定的可作为预训练模型的组合模型在同样的速度情况下精度更高，或者，在同样精度的情况下，速度更快，可以提升模型在特定硬件或芯片上处理图像或者音视频的速度。同时，相比相关技术中在单任务上对模型进行预训练的方式，存在应用场景的局限性的问题，通过对各个超网络在不同训练任务上的表现，可得到多个模型在不同训练任务上的表现，使得多个模型可适配多种任务的场景。
96.基于上述实施例，作为第二种实现方式，本实施例提供了另一种预训练模型的生成方法，其中，超网络为多个，每一个超网络具有对应的训练任务。图5为本公开实施例提供的另一种预训练模型的生成方法的流程示意图，如图5所示，该方法包含以下步骤：
97.步骤501，将第三样本集内的训练样本输入各超网络，以得到各超网络输出的特征。
98.本公开实施例中的第二样本集和第三样本集可以为相同的样本集，本公开实施例中并不进行限定。
99.步骤502，根据各超网络输出的特征执行对应的训练任务，得到各训练任务的预测信息。
100.步骤503，根据各训练任务的预测信息，与对应训练任务的标准信息之间的差异，确定各训练任务的损失函数值。
101.步骤504，根据各训练任务的损失函数值，更新对应的超网络的参数。
102.本公开实施例中，针对每一个超网络，针对该超网络对应的训练任务，分别对每一个超网络进行训练，以得到训练后的超网络，使得超网络训练完成时，则超网络中的多个模型也在相应的训练任务上训练完成，相比单个模型单独训练的方式，提高了大规模模型训练的速度，以及建立了模型间的关联性和互补性。
103.步骤505，从训练后的各超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。
104.步骤506，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第
一图像集进行特征提取时所关注的关注图像区域。
105.步骤507，根据各组模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合。
106.步骤508，根据目标模型组合生成预训练模型。
107.其中，步骤505
‑
步骤508可参照上述实施例中的解释说明，原理相同，本实施例中不再赘述。
108.本公开实施例的预训练模型的生成方法中，通过对各个超网络在对应训练任务上的表现，可得到各超网络中的多个模型在相应训练任务上的表现，使得其中的多个模型可适配对应的任务的场景，实现了快速训练多个模型，同时建立了模型间的关联性和互补性，使得后续基于多个超网络中的模型进行组合时，提高了组合模型的精度，以及增加了可适配的任务场景。
109.为了实现上述实施例，本公开实施例提供了一种预训练模型的生成装置。
110.图6为本公开实施例提供的一种预训练模型的生成装置的结构示意图。
111.如图6所示，该装置包含：
112.训练模块61，用于对超网络执行对应的训练任务，以得到训练后的超网络；其中，所述超网络中包含多个模型。
113.组合模块62，用于从所述训练后的超网络中选取至少部分模型进行模型组合，得到多组候选模型组合。
114.测试模块63，用于采用第一图像集测试各组所述候选模型组合，以得到各组所述候选模型组合对第一图像集进行特征提取时所关注的关注图像区域。
115.选取模块64用于根据各组所述候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合。
116.生成模块65，用于根据所述目标模型组合生成预训练模型。
117.进一步，作为一种实现方式，测试模块63，还用于：
118.对任意的一候选模型组合，将所述第一图像集内的图像作为输入图像，输入所述一候选模型组合中的各模型，以得到各模型输出的特征；根据各所述模型输出的特征，确定各所述模型的损失函数；根据各所述模型的损失函数相对所述输入图像的偏导，得到各所述模型的损失函数随输入图像中各图像区域内容变化的变化程度；根据各所述模型的损失函数随输入图像中各图像区域内容变化的变化程度，确定各所述模型的关注图像区域；根据各所述模型的关注图像区域，确定所述一候选模型组合的关注图像区域。
119.作为一种实现方式，测试模块63，还用于：
120.将各所述模型的关注图像区域的并集，确定为所述一候选模型组合的关注图像区域。
121.作为一种实现方式，选取模块64，还用于：
122.从各组所述候选模型组合中，选取面积最大的候选模型组合；
123.将所述面积最大的候选模型组合作为所述目标模型组合。
124.作为一种实现方式，选取模块64，还用于：
125.获取所述面积最大的候选模型组合对第一图像集进行特征提取所需的计算时延；
126.确定所述面积最大的候选模型组合的计算时延小于或等于设定时长。
127.作为一种实现方式，超网络为多个，训练模块61，还用于：
128.将第二样本集内的训练样本输入各所述超网络；对各所述超网络输出的特征进行融合，得到融合特征；根据所述融合特征执行多种训练任务，得到各训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；对各所述训练任务的损失函数值加权求和，以及各所述超网络对所述第二样本集进行特征提取时所关注的关注图像区域面积，得到总损失函数值；根据所述总损失函数值，更新各所述超网络的参数。
129.作为一种实现方式，所述超网络为多个，各所述超网络具有对应的训练任务；训练模块61，还用于：
130.将第三样本集内的训练样本输入各所述超网络，以得到各所述超网络输出的特征；根据各所述超网络输出的特征执行对应的训练任务，得到各所述训练任务的预测信息；根据各所述训练任务的所述预测信息，与对应训练任务的所述标准信息之间的差异，确定各所述训练任务的损失函数值；根据各所述训练任务的损失函数值，更新对应的所述超网络的参数。
131.需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，原理相同，本实施例中不再赘述。
132.本公开实施例的预训练模型的生成装置中，对包含多个模型的超网络执行对应的训练任务，从训练后的超网络中选取部分模型进行模型组合得到多组候选模型组合，采用第一图像集测试各组候选模型组合，以得到各组候选模型组合对第一图像集进行特征提取时所关注的关注图像区域，根据各组候选模型组合的关注图像区域的面积，从多组候选模型组合中选取目标模型组合，根据目标模型组合生成预训练模型，本公开中根据各组候选模型组合关注图像区域的面积大小，筛选确定目标模型组合，以提高预训练过程中模型组合的精度。
133.为了实现上述实施例，本公开实施例提供了一种电子设备，包括：
134.至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例所述的方法。
135.为了实现上述实施例，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例所述的方法。
136.为了实现上述实施例，本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述方法实施例所述的方法。
137.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
138.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
139.图7为本公开实施例提供的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装
置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
140.如图7所示，设备700包括计算单元701，其可以根据存储在rom(read
‑
only memory，只读存储器)702中的计算机程序或者从存储单元708加载到ram(random access memory，随机访问/存取存储器)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。i/o(input/output，输入/输出)接口705也连接至总线704。
141.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
142.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于cpu(central processing unit，中央处理单元)、gpu(graphic processing units，图形处理单元)、各种专用的ai(artificial intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、dsp(digital signal processor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如预训练模型的生成方法。例如，在一些实施例中，预训练模型的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的预训练模型的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练模型的生成方法。
143.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、fpga(field programmable gate array，现场可编程门阵列)、asic(application
‑
specific integrated circuit，专用集成电路)、assp(application specific standard product，专用标准产品)、soc(system on chip，芯片上系统的系统)、cpld(complex programmable logic device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
144.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
145.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、ram、rom、eprom(electrically programmable read
‑
only
‑
memory，可擦除可编程只读存储器)或快闪存储器、光纤、cd
‑
rom(compact disc read
‑
only memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
146.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathode
‑
ray tube，阴极射线管)或者lcd(liquid crystal display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
147.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：lan(local area network，局域网)、wan(wide area network，广域网)、互联网和区块链网络。
148.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
149.其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
150.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
151.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。