模型优化方法、装置、设备、存储介质及程序产品与流程

1.本技术涉及人工智能技术领域，尤其涉及一种模型优化方法、装置、设备、存储介质及程序产品。


背景技术：

2.近年来，人工智能技术取得了长足的发展和进步，并已广泛应用于众多与人类生活息息相关的实际场景，极大地丰富和便捷了人们的日常生活。例如，人工智能技术中的深度学习技术如今普遍应用于图像分类、语音识别、机器翻译、自动驾驶以及智慧医疗等应用场景。具体地，深度学习技术可以用于对上述各应用场景下的标签预测模型进行模型优化，以使得优化后的标签预测模型可以具备更高以及更稳定的标签预测能力，从而相关设备可以基于优化后的标签预测模型处理得到准确的预测结果。
3.就当前而言，基于深度学习技术提出的众多模型优化方法通常无法优化得到鲁棒性较强的标签预测模型，这影响了优化后的标签预测模型在实际应用中的预测能力，进一步导致了预测结果的准确度较低的问题。因此，如何提升标签预测模型的鲁棒性成了当下的研究热点。


技术实现要素：

4.本技术实施例提供了一种模型优化方法、装置、设备、存储介质及程序产品，可提升用于进行标签预测的标签预测模型的鲁棒性。
5.一方面，本技术实施例提供了一种模型优化方法，包括：
6.获取测试样本；
7.采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
8.分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
9.根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
10.再一方面，本技术实施例提供了一种模型优化装置，包括：
11.获取单元，用于获取测试样本；
12.特征提取单元，用于采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
13.预测单元，用于分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
14.模型优化单元，用于根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
15.再一方面，本技术实施例提供了一种计算机设备，包括：
16.处理器，所述处理器用于实现一条或多条计算机程序；
17.计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面的模型优化方法。
18.再一方面，本技术实施例还提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如第一方面的模型优化方法。
19.再一方面，本技术实施例提供了一种计算机产品，所述计算机产品包括计算机程序，所述计算机程序适于由处理器加载并执行如第一方面的模型优化方法。
20.在本技术实施例中，计算机设备获取的预测样本特征包括测试样本的部分特征信息，计算机设备分别根据多个预测样本特征中每个预测样本特征，对测试样本进行标签预测，进而基于各个预测结果中候选标签的预测概率来确定模型置信度，以使得计算机设备可以向着增大模型置信度的方向对标签预测模型进行模型优化处理。其中，增大模型置信度意味着增大各个测试结果中相同候选标签的预测概率的相似度，那么，不难理解，增大模型置信度可以使得计算机设备基于测试样本的不同预测样本特征得到较为相似的预测结果。那么，这可以使得优化后的标签预测模型可以根据待预测数据的部分数据特征预测得到相应的目标标签，增强了标签预测模型的鲁棒性，进而可以在一定程度上提升计算机设备在部署标签预测模型时的稳定性。
附图说明
21.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本技术实施例提供的一种模型优化至模型应用的流程示意图；
23.图2是本技术实施例提供的一种模型优化方法的示意流程图；
24.图3是本技术实施例提供的又一种模型优化方法的示意流程图；
25.图4a是本技术实施例提供的一种子模型的获取方式的示意图；
26.图4b是本技术实施例提供的一种模型损失值确定方式的示意图；
27.图5是本技术实施例提供的一种模型优化装置的结构示意图；
28.图6是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术实施例所提供的方法，下面将结合本技术实施例中的附图，对本技术实施例中的技术方法进行清楚、完整地描述。需要说明的是，本技术实施例中描述的各个具体实施例只是本技术一部分实施例，而不是全部的实施例。基于本技术中的各个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.随着互联网技术的蓬勃发展，标签预测任务也取得了长足的进步。此处提及的标签预测任务可以理解为：用以预测相应数据所蕴含的标签信息的任务。其中，标签信息可以如：文本信息、语义信息、图像信息等。示例性地，当标签信息为文本信息时，标签预测任务可以具体例如是：文本翻译任务、文本标签预测任务、语音识别任务(即：预测语音信号所蕴含的文本内容)等。当标签信息为语义信息时，标签预测任务可以是语义理解任务，具体如：用于预测图像的语义信息的任务、用于预测文本的语义信息的任务，或用于预测语音的语义信息的任务等。当标签信息是图像信息时，标签预测任务可以是图像生成任务、图像检索任务等。图像生成任务可以具体用于生成与相应数据所指示的特征信息(如：颜色信息、语义信息、形状信息等)相匹配的图像，图像检索任务可以用于检索与相应数据所指示的特征信息相匹配的图像。
31.那么，基于上述描述不难看出，标签预测任务可以应用于多种互联网场景中。举例来说，标签预测可以应用于数据检索场景。以视频检索为例，标签预测任务可以用于对海量的视频进行标签预测，以得到每个视频的视频标签(如：视频类别或视频标题等)，进而使得相应视频检索设备可以基于各个视频的视频标签进行快速且高效地检索。再如，标签预测还可以应用于数据分类场景(如：语音分类、视频分类、文本分类、图像分类等)。以图像分类场景为例，当待分类图像为一个或多个时，图像分类设备可以先对各个图像进行标签预测，以得到相应各个图像的标签信息，进而使得图像分类设备可以将标签信息相同或相似的图像分为同一类别，以便于后续相关对象的浏览或使用。由于标签预测任务在多种互联网场景下均可得到应用，因此，提升标签预测任务的鲁棒性可以对互联网的发展起到一定的促进作用。鲁棒性主要指：在某些参数(如：标签预测模型的模型参数)略微改变或控制量稍微偏离最优值时，标签预测模型仍然可以保持稳定性和有效性。
32.为了提升标签预测任务的鲁棒性，本技术实施例结合人工智能技术提出了一种模型优化方案，该模型优化方案可以用于优化各类标签预测模型。该方案指出：在对标签预测模型进行模型优化时，可以基于同一测试样本的多个预测结果来构建优化目标，且每个预测结果均是采用标签预测模型基于该测试样本的一个残缺的样本特征预测得到的，不同预测结果对应采用的残缺的样本特征不同。其中，优化目标可以与模型置信度相关，且各个预测结果之间的相似度越高，则模型置信度越高。其中，模型置信度指的是：该标签预测模型得到的预测结果的可信度。如：模型置信度为80％时，可以表示标签预测模型的预测结果有80％的概率是正确的。那么，本技术实施例中，可以按照增大模型置信度的方向对标签预测模型进行模型优化。实际应用中，优化后的标签预测模型可以用于对待预测数据进行标签预测，以得到相应的预测结果。为了便于相关阅读人员可以清楚地理解本技术实施例的实现原理，以及优化后的标签预测模型的存在意义，后续将结合图1所示的阐述流程来对本技术实施例的相关步骤以及原理进行详细阐述。即：后续实施例中，先对计算机设备采用测试
样本对标签预测模型进行模型优化的过程进行详细阐述，再对计算机设备采用优化后的标签测试模型对待测试数据进行标签预测的方式进行详细阐述。
33.在上述模型优化方案中，每个预测结果均是基于残缺的样本特征进行标签预测得到的，模型置信度又可以反映各个预测结果之间的相似度以及可信度。因此，不难理解，当模型置信度满足优化目标时，各个预测结果之间的相似度较高，且每个预测结果的可信度均较高。那么，也就是说，优化后的标签预测模型可以基于一个或多个残缺的样本特征预测得到可信度较高的预测结果。因此，也就不难理解，在实际采用优化后的标签预测模型进行标签预测的过程中，纵使优化后的标签预测模型无法对待预测数据进行特征提取得到较为完整的数据特征，该优化后的标签预测模型也可以预测得到该待预测数据的目标标签。可见，采用本技术实施例有效提升了优化后的标签预测模型的鲁棒性。
34.在具体应用中，上述模型优化方案可以采用一个或多个计算机设备来执行(为了便于说明，本技术实施例以一个计算机设备执行相关方法为例进行说明)。其中，计算机设备可以是终端设备，也可以是服务器，当然还可以是终端设备和服务器组成的计算系统，本技术实施例对此不作限制。并且具体地，在本技术实施例中，终端设备可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、车载终端、智能语音交互设备、智能家电、飞行器等。在具体实施例中，终端设备内还可以运行各式各样的应用程序(application，app)和/或客户端，如：多媒体播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端以及图像处理客户端，等等。此外，上述提及的服务器可以包括但不限于：独立的物理服务器，多个物理服务器构成的服务器集群或者分布式系统，提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等。
35.此外，需要说明的是，本技术实施例中采用的人工智能(artificial intelligence，ai)技术是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，基于人工智能可以使机器具有感知、推理与决策的功能。具体来说，人工智能技术可以利用数字计算机或者利用数字计算机控制的机器来模拟、延伸和扩展人的智能，使得数字计算机或相关机器能够感知环境、获取知识。那么，也就是说，基于人工智能可以实现利用数字计算机或相关机器使用其学习到的知识来获得最佳结果的理论、方法、技术及应用系统。在实际应用中，人工智能技术涉及的领域广泛，其既包括硬件层面的技术也包括软件层面的技术。具体地，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术一般包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习技术等技术。
36.本技术实施例在提出模型优化方法时，主要利用了人工智能技术中的机器学习/深度学习技术。为了便于清楚地了解本技术实施例的实现方式，以下对计算机视觉技术以及机器学习/深度学习技术进行简要介绍。
37.机器学习(machine learning，ml)技术及深度学习技术是一门多领域交叉学科，其具体可以涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习技
术是一门专门研究采用计算机模拟或实现人类的学习行为的技术。基于机器学习技术，计算机可以不断获取新的知识或技能，并可以重新组织已有的知识结构使计算机可以不断改善自身的性能，从而达到更好的智能处理效果(如：图像识别效果、文本翻译效果、语音生成效果等)。基于上述描述不难看出，机器学习技术可谓是人工智能技术的核心，是使计算机具有智能的根本途径。因此，机器学习技术的应用遍及人工智能的各个领域。在实际应用中，机器学习技术和深度学习技术通常包括：人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
38.为了验证本方案的实用性，本技术相关技术人员在imagenet-c数据集(一个测试数据集，该测试数据集中的测试数据包含多种不同类型的扰动)中，对mobilenet-v3预训练模型以及采用本方案优化后的mobilenet-v3预训练模型的性能进行了试验对比。经过试验表明(试验数据可参见表1)，相较于未优化的mobilenet-v3预训练模型而言，基于本技术实施例提供的模型优化方案优化后的mobilenet-v3预训练模型的多项性能指标均得到了明显提升。
39.表1中，base表示采用本技术实施例优化前的mobilenet-v3预训练模型，ours表示采用本技术实施例优化后的mobilenet-v3预训练模型。
40.表1
[0041][0042]
基于上述模型优化方案的原理，本技术实施例提出了一种具体的模型优化方法，该模型优化方法仍然可以采用计算机设备来执行。请参见图2，图2是本技术实施例提出的该模型优化方法的流程示意图。如图2所示，该模型优化方法可以包括步骤s201-s204：
[0043]
s201、获取测试样本。
[0044]
在本技术实施例中，计算机设备获取的测试样本可以为一个或多个。测试样本指的是：需要预测得到某一标签信息的样本。标签信息的类型可以是文本类型，也可以是图像类型，还可以是语音类型或视频类型等等。同理地，测试样本的类型也可以包括文本类型、图像类型、语音类型以及视频类型中的任一种。举例来说，一个测试样本可以包括一段文本内容，也可以包括一张图像，还可以包括一段语音数据，以及可以包括一段视频内容。本技术实施例中以一个测试样本为一张图像为例来对相关实现方式进行详细说明。
[0045]
在一个实施例中，测试样本可以携带参考标签，参考标签用于指示该测试样本所属的正确的标签信息。当测试样本携带参考标签时，计算机设备对标签预测模型进行模型优化的过程可以理解为有监督训练过程。在此情况下，计算机设备可以基于预测结果包括的标签信息与参考标签之间的差异构建优化目标(如：预测结果包括的标签信息与参考标签之间的差异小于预设差异)，从而使得计算机设备可以向着优化目标对标签预测模型进行模型优化，以得到优化后的标签预测模型。
[0046]
在又一个实施例中，测试样本也可以不携带参考标签。当测试样本不携带参考标签时，计算机设备对标签预测模型进行模型优化的过程可以理解为无监督训练过程。在此
情况下，计算机设备可以基于多个预测结果构建优化目标(如：各个预测结果之间的相似度大于相似度阈值)，以使得计算机设备可以向着优化目标对标签预测模型进行模型优化得到优化后的标签预测模型。本技术实施例中主要以测试样本不携带参考标签为例来对相关实现步骤进行详细说明。
[0047]
s202、采用标签预测模型提取得到测试样本的多个预测样本特征，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同。
[0048]
在具体实施例中，标签预测模型可以是任意类型的神经网络模型，如：resnet(residual neural network，残差神经网络)、mobilenet(轻量化神经网络)、nasnet(neural architecture search network，神经结构搜索网络)、lstm(long short-term memory，长短期记忆网络)等。具体来说，标签预测模型可以是未进行预训练的初始的神经网络模型。初始的神经网络模型指的是：在计算机设备需要借助神经网络模型来执行某一标签预测任务时，计算机设备构建出的具备相应功能的神经网络模型，该神经网络模型中的一个或多个模型参数可以是随机初始化得到的。基于上述描述可以理解，由于初始的神经网络模型的模型参数是随机初始化得到的，因此初始的神经网络模型在进行标签预测时，预测结果通常无法达到期望的效果。那么，计算机设备对初始的神经网络模型进行模型优化时，所需优化时间通常较长，且工作量也较大。因此，为了提升标签预测任务的开发速率，可选地，在实际应用中的标签预测模型还可以是计算机设备基于训练样本进行预训练之后的神经网络模型。所谓预训练指的是：为了得到预测结果符合期望值的神经网络模型，计算机设备可以采用训练样本对初始的神经网络模型进行训练(即：调整模型参数)，在训练的过程中，一开始初始化的模型参数会不断变化以使得神经网络模型得到的预测结果可以逐渐接近期望效果，这个过程就可以称为预训练过程。
[0049]
本技术实施例中，计算机设备采用标签预测模型对测试样本进行特征提取后得到的预测样本特征只包括测试样本的部分特征信息。预测样本特征中存在的特征信息可以是：计算机设备在采用标签预测模型对测试样本进行特征提取的过程中，从提取到的全部特征信息中进行随机选取得到的。换句话说，在计算机设备获取预测样本特征的过程中，计算机设备可以随机丢弃提取得到的测试样本的部分特征信息，以基于丢弃部分特征信息后生成的样本特征作为预测样本特征。其中，计算机设备丢弃的部分特征信息可以包括：测试样本的部分或全部颜色信息、测试样本的部分或全部语义信息、测试样本的部分或全部形状信息、测试样本的部分或全部位置信息等等。
[0050]
在实际应用中，计算机设备可以获取多个预测样本特征，不同预测样本特征是通过计算设备丢弃不同的特征信息得到的。那么，可以理解，不同的预测样本特征其对应的特征分布不一致。其中，需要说明的是，本技术实施例中的多个预测样本特征可以理解为：至少两个预测样本特征。其中，每个预测样本特征都是计算机设备通过丢弃测试样本的部分特征信息后得到的，并且不同的预测样本特征对应丢弃的特征信息可以不同。也就是说，这多个预测样本特征中，不同的预测样本特征所包括的特征信息不同。举例来说，在计算机设备采用标签预测模型对测试样本a进行特征提取的过程中，计算机设备可以通过丢弃测试样本的部分颜色特征，以基于提取到的除被丢弃的部分颜色特征以外的其他所有特征信息生成一个预测样本特征。同理地，计算机设备可以通过丢弃测试样本的部分语义特征，以基
于提取到的除被丢弃的语义特征之外的其他所有特征信息生成又一个预测样本特征，以此类推，计算机设备便可以得到多个预测样本特征。
[0051]
s203、分别基于每个预测样本特征对测试样本进行标签预测，得到每个预测样本特征对应的预测结果；预测结果包括至少一个候选标签中每个候选标签的预测概率。
[0052]
在具体实施例中，当计算机设备获取到多个预测样本特征之后，计算机设备可以分别基于每个预测样本特征预测得到一个预测结果。也就是说，若计算机设备获取到的预测样本特征数量为n(n为大于1的正整数，如：n＝3)个，则计算机设备得到的预测结果的数量也为n个，一个预测样本特征对应得到一个预测结果。其中，每个预测结果包括至少一个候选标签中每个候选标签的预测概率。候选标签可以理解为标签预测模型可以预测出的标签，在实际应用中，候选标签可以是计算机设备预先设置的。预测概率可以用于指示：计算机设备将测试样本预测为相应候选标签的概率。举例来说，候选标签a的预测概率可以理解为：计算机设备认为测试样本具备候选标签a所指示的特点的概率。或者理解为：计算机设备认为测试样本为候选标签a所指示的对象的概率。此处提及的对象可以是物体(如：人、花、草)、文本(如：视频标题、一篇文章等)、视频(如：一个电影片段)、音频(如：一段语音、一首歌曲等)等等。
[0053]
在一种实现方式中，每个预测结果中存在的预测概率所对应的候选标签相同(后续实施例中以此实现方式为例来对本技术实施例提出的模型优化方法进行阐述)。举例来说，假设计算机设备获取到的预测样本特征的数量为3个，分别为预测样本特征1、预测样本特征2与预测样本特征3，并且假设候选标签的总数量为2个，分别为标签a和标签b。那么，计算机设备可以根据预测样本特征1对测试样本进行标签预测，得到相应的预测结果1，以及根据预测样本特征2对测试样本进行标签预测，得到相应的预测结果2，以及根据预测样本特征3对测试样本进行标签预测，得到相应的预测结果3。其中，预测结果1、预测结果2以及预测结果3中每个预测结果，都包括相应的标签a的预测概率和标签b的预测概率。
[0054]
在又一种实现方式中，每个预测结果中存在的预测概率所对应的候选标签也可以不相同。具体地，每个预测结果中可以只存在预测概率最大(或满足概率条件，概率条件如：概率满足阈值或概率值按从大到小的顺序排列前n位等)的候选标签的预测概率。举例来说，以每个预测结果中可以只存在预测概率最大的候选标签的预测概率为例，假设计算机设备获取到的预测样本特征的数量为3个，分别为预测样本特征1与预测样本特征2，并且假设候选标签的总数量为2个，分别为标签a和标签b。那么，若计算机设备根据预测样本特征1预测得到候选标签a的预测概率为70％，候选标签b的概率为30％，则预测样本特征1对应的预测结果中可以只存在标签a的预测概率；同理地，若计算机设备根据预测样本特征2预测得到候选标签a的预测概率为20％，候选标签b的概率为80％，则预测样本特征2对应的预测结果中可以只存在候选标签b的预测概率。
[0055]
s204、根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定标签预测模型的模型置信度，并向着增大模型置信度的方向对标签预测模型进行模型优化处理，以得到优化后的标签预测模型。
[0056]
在本技术实施例中，模型置信度用于指示：标签预测模型得到的预测结果的可信度。具体地，模型置信度越高，表示标签预测模型得到的预测结果的可信度越高。因此，计算机设备可以按照增大模型置信度的方向对标签预测模型进行模型优化处理。
[0057]
其中，计算机设备确定模型置信度的方式可以如下：计算机设备先基于每个预测样本特征对应的预测结果，获取每个候选标签的预测概率，以得到每个候选标签对应的多个预测概率。然后，计算机设备可以基于每个候选标签的多个预测概率，确定出相应候选标签的平均预测概率。进一步地，计算机设备可以采用如式1所示的方式计算得到模型损失值，然后计算机设备可以采用目标算法根据模型损失值确定模型置信度，其中，目标算法确定出的模型置信度与模型损失值呈负相关关系，本技术对目标算法并不做具体限制。
[0058][0059]
其中，x表示测试样本；y表示候选标签；y表示候选标签集，该候选标签集包括多个候选标签，任一候选标签可以用y表示。表示标签预测模型将测试样本x预测为候选标签y的平均概率(即：候选标签y的平均预测概率)。示例性地，可以按照如式2所示的方式计算得到。
[0060][0061]
其中，n表示预测样本特征的数量，也可以表示预测结果的数量。对应的，n可以表示第n个预测样本特征中的第n个预测样本特征，mn(y|x)表示第n个预测样本特征对应的预测结果中候选标签y的预测概率。此外需要补充说明的是，上述式1中表示模型损失值，其本质为信息熵。信息熵越大，则表示各个候选标签的预测概率分布越均匀，则说明标签预测模型预测得到的各个预测概率具有较高的不确定性(即：较低的可信度)。因此，信息熵可以用于指示模型置信度。且具体地，信息熵与模型置信度负相关，也即：信息熵越大则模型置信度越小。那么，基于此不难理解，计算机设备可以朝着减小信息熵的方向对标签预测模型进行模型优化。
[0062]
此外，基于前述关于预测样本特征的相关描述可知，不同预测结果是基于不同的特征分布确定出的。由于模型损失值是根据各个预测结果中每个候选标签的预测概率计算得到的，那么，模型损失值还可以用于衡量各个预测结果之间的一致性，也即：计算机设备可以根据模型损失值衡量标签预测模型对于特征分布不一致的测试样本进行标签预测时的泛化能力。模型损失值越大，各个预测结果之间的一致性越低，则其对应的泛化能力就越低。因此不难看出，计算机设备朝着减小模型损失值的方向对标签预测模型进行模型优化，还可以增强标签预测模型的泛化能力。其中，预测结果之间的一致性具体可以指：不同预测结果之间相同候选标签的预测概率的一致性。可以理解，相同候选标签的预测概率越接近，则说明相应两个预测结果之间的一致性越高。
[0063]
在本技术实施例中，计算机设备获取的预测样本特征包括测试样本的部分特征信息，计算机设备分别根据多个预测样本特征中每个预测样本特征，对测试样本进行标签预测，进而基于各个预测结果中候选标签的预测概率来确定模型置信度，以使得计算机设备可以向着增大模型置信度的方向对标签预测模型进行模型优化处理。其中，增大模型置信度意味着增大各个测试结果中相同候选标签的预测概率的相似度，那么，不难理解，增大模型置信度可以使得计算机设备基于测试样本的不同预测样本特征得到较为相似的预测结果。那么，这可以使得优化后的标签预测模型可以根据待预测数据的部分数据特征预测得
到相应的目标标签，增强了标签预测模型的鲁棒性，进而可以在一定程度上提升计算机设备在部署标签预测模型时的稳定性。
[0064]
基于上述模型优化方案的原理以及模型优化方法的实现方式，本技术实施例还提出了另一种模型优化方法，该模型优化方法仍然可以采用计算机设备来执行。请参见图3，图3是该模型优化方法的流程示意图。如图3所示，该模型优化方法可以包括步骤s301-s307：
[0065]
s301、获取测试样本。
[0066]
在一个实施例中，计算机设备获取测试样本的方式可以参见步骤s201的相关描述，本技术实施例在此不做赘述。
[0067]
s302、采用标签预测模型提取得到测试样本的多个预测样本特征，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同。
[0068]
在本技术实施例中，标签预测模型可以包括至少一个特征提取层，每个特征提取层可以包括多个特征提取模块。在实际应用中，不同的特征提取模块可以用于提取测试样本的不同特征信息。由于本技术实施例中的预测样本特征包括测试样本部分特征信息，那么，也就不难理解，在本技术实施例中，计算机设备可以采用标签预测模型中的部分特征提取模块来对测试样本进行特征提取，以得到该测试样本的预测样本特征。可选地，计算机设备还可以采用标签预测模型中全部特征提取模块提取得到包括测试样本的完整特征信息的参考样本特征。进一步的，计算机设备可以将参考样本特征中的部分特征信息丢弃，以得到包括部分特征信息的预测样本特征。
[0069]
以下结合具体示例对上述两种预测样本特征的提取方式进行详细阐述。
[0070]
在一种实现方式中，计算机设备采用部分特征提取模块来获取预测样本特征的方式可以如下：计算机设备从每个特征提取模块选取至少一个特征提取模型，以得到多个目标特征提取模块。然后，计算机设备可以采用这多个目标特征提取模块对测试样本进行特征提取，得到测试样本的预测样本特征。其中，用于提取预测样本特征的多个目标特征提取模块的数量，小于标签预测模型中全部特征提取模块的总数量。此外，目标特征提取模块可以是计算机设备随机选取的，也可以计算机设备根据特征规则选取的(如：计算机设备选取优化等级较高的模型参数所在的特征提取模块)。为了便于清楚地理解本技术实施例的具体实现方式，以下结合图4a进行举例说明。
[0071]
如图4a所示，对于一个完整的标签预测模型(如图4a中由40标记的结构所示)，其可以包括多个特征提取层(如：图4a中由401标记的一行圆圈表示)。每个特征提取层可以包括至少一个特征提取模块(如：图4a中由402标记的一个圆圈表示)。那么，计算机设备可以在每一个特征提取层中随机丢弃一部分特征提取模块，以生成标签预测模型的一个子模型(或理解为：标签预测模型的一个特征提取子网络)。进一步地，计算机设备可以采用生成的子模型对测试样本进行特征提取得到测试样本的预测样本特征。被丢弃的特征提取模块可以如图4a中由411标记的圆圈所示，子模型(或：特征提取子网络)可以如图4a中由41标记的结构所示。
[0072]
值得一提的是，在实际应用中，计算机设备可以生成多个特征提取子网络，使得计算机设备可以采用多个特征提取子网络并行地获取得到多个预测样本特征。其中，当计算
机设备并行获取多个预测样本特征时，计算机设备可以先获取多个相同的测试样本，然后分别将各个测试样本输入至不同的特征提取子网络即可以得到相应的多个预测样本特征。当然，在其他实现方式中，计算机设备也可以一次获取一个预测样本特征，在此情况下，计算机设备可以通过多次重复执行获取一个预测样本特征的步骤，以得到多个预测样本特征，但需要说明的是，在计算机设备重复执行获取预测样本特征这一过程中，至少获取两个不同的预测样本特征。
[0073]
在又一种实现方式中，计算机设备通过丢弃参考样本特征中部分特征信息以获取预测样本特征的方式可以如下：计算机设备采用每个特征提取层中的每个特征提取模块对测试样本进行特征提取，得到测试样本的参考样本特征。进一步地，计算机设备可以对参考样本特征中的部分特征信息进行丢弃，并将丢弃部分特征信息后的参考样本特征作为预测样本特征。那么，在此情况下，为了得到不同的多个预测样本特征，计算机设备可以多次丢弃参考样本特征中不同的特征信息，每次得到一个预测样本特征。
[0074]
s303、分别基于每个预测样本特征对测试样本进行标签预测，得到每个预测样本特征对应的预测结果；预测结果包括至少一个候选标签中每个候选标签的预测概率。
[0075]
在本技术实施例中，每个预测结果均可以包括至少一个候选标签的预测概率。又由于一个预测结果可以是由一个预测样本特征进行标签预测后得到的，而一个预测样本特征又可以是计算机设备采用一个特征提取子网络对测试样本进行特征提取得到的，那么，也就可以理解，在本技术实施例中，一个预测结果可以对应一个特征提取子网络。示例性地，计算机设备得到多个预测结果的方式可以如图4b所示。图4b中，sub-model x表示第x个特征提取子网络(或子模型)，x＝1、2，
…
，n。每个特征提取子网络对应的预测结果中可以存在每个候选标签的预测概率。
[0076]
s304、根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定标签预测模型的模型置信度。
[0077]
在具体实现中，模型置信度可以是计算机设备基于模型损失值确定的，且模型置信度与模型损失值呈负相关关系。示例性地，模型置信度可以用预设参数(如：1)与模型损失值之间的差值来指示，也可以用模型损失值的倒数值来指示。此外，本技术实施例中，模型损失值可以是计算机设备采用目标损失函数基于每个候选标签的预测概率计算得到的，其中，目标损失函数可以如上述式1所示，式1中表示模型损失值，对于其他损失参数本技术实施例在此不作赘述。此外，计算机设备确定标签预测模型的模型置信度的其他具体实现方式也可以参见步骤s204的相关描述，本技术实施例在此也不再赘述。
[0078]
s305、获取标签预测模型中的多个候选模型参数。
[0079]
在具体实施例中，候选模型参数指的是：计算机设备在提取预测样本特征时所用到的模型参数。由于计算机设备用于获取预测样本特征的特征提取模块称为目标特征提取模块，并且针对多个预测样本特征中的每个预测样本特征，计算机设备都采用了多个目标特征提取模块。那么，计算机设备获取候选模型参数的方式可以如下：针对每个预测样本特征，计算机设备可以获取该预测样本特征对应的多个目标特征提取模块中每个目标特征提取模块的模型参数，以得到候选模型参数，进一步地，计算机设备可以将每个预测样本特征对应获取到的所有候选模型参数作为计算机设备获取到的多个候选模型参数。
[0080]
在其他实施例中，由于预测样本特征可以是对参考样本特征进行特征信息丢弃后
得到的，而参考样本特征是计算机设备采用了标签预测模型中全部特征提取模块提取得到的，因此，在本技术实施例中，计算机设备也可以将标签预测模型中每个模型参数作为候选模型参数。也就是说，在此情况下，计算机设备获取到的多个候选模型参数为标签预测模型中的全部模型参数。
[0081]
s306、从多个候选模型参数中确定出至少一个待优化模型参数，每个待优化模型参数的泛化能力强度值均满足强度值条件。
[0082]
计算机设备确定至少一个待优化模型参数的方式可以如下：计算机设备反向传播模型损失值，并且，在反向传播的过程中计算目标损失函数针对每个候选模型参数的二阶导数。其中，二阶导数的绝对值可以用于指示相应候选模型参数的泛化能力强度值，且二阶导数的绝对值越高，相应候选模型参数的泛化能力强度值越低。在实际应用中，候选模型参数的泛化能力强度值越高，计算机设备对其进行调整后，对标签预测模型的预测能力的影响较小，可以避免计算机设备对标签预测模型进行模型优化的过程中，该标签预测模型预测出的预测结果的准确度出现较大的性能波动，从而保证了模型优化的稳定性。在计算机设备获取到多个候选模型参数中每个候选模型参数的二阶导数的绝对值之后，计算机设备可以基于每个候选模型参数的二阶导数的绝对值确定出至少一个待优化模型参数。具体来说，计算机设备可以将泛化能力强度值满足强度值条件的候选模型参数作为待优化模型参数。
[0083]
其中，强度值条件可以包括但不限于以下任意一种：(1)泛化能力强度值为所有候选模型参数对应的泛化能力强度值中最小值；(2)按照泛化能力强度值从小到大的顺序对各个候选模型参数的泛化能力强度值进行排序后，相应泛化能力强度值位于排序序列的前m位，m为任意正整数。(3)泛化能力强度值小于预设强度值。
[0084]
s307、向着增大模型置信度的方向对每个待优化模型参数进行参数调整，以对标签预测模型进行模型优化处理得到优化后的标签预测模型。
[0085]
当计算机设备确定出待优化模型参数之后，计算机设备可以采用模型优化器对各个待优化模型参数进行相应的参数调整。其中，示例性地，计算机设备可以朝着增大测试样本的各个预测结果之间相似度的方向，对相应待优化模型参数进行调整。其中，不同预测结果之间的相似度可以采用kl散度(或称：相对熵)、js散度(即：jensen-shannon散度)、余弦相似度等衡量，本技术实施例对此不作限制。可以理解，由于本技术实施例中，计算机设备可以对标签预测模型中的部分模型参数进行调整，这可以有效降低计算机设备在模型优化过程中所需的计算资源开销，从而可以使得低计算能力的相关设备上也可以部署相应的模型优化方法，在一定程度上扩展了模型优化方法的应用范围，进而扩展了相关标签预测方法的应用范围。
[0086]
在具体实施例中，当计算机设备得到优化后的标签预测模型之后，计算机设备可以采用优化后的标签预测模型对待预测数据进行标签预测处理。具体来说，计算机设备可以在接收到标签预测请求之后，获取标签预测请求中携带的待预测数据。然后，计算机设备可以采用优化后的标签预测模型提取得到待预测数据的数据特征，进而使得计算机设备可以基于数据特征对待预测数据进行标签预测，得到至少一个候选标签中每个候选标签的目标预测概率，目标预测概率用于指示待预测数据被预测为相应候选标签的概率。其中，计算机设备可以采用标签预测模型中全部特征提取模块对待预测数据进行特征提取，得到待预
测数据的数据特征。也就是说，在实际应用优化后的标签预测模型时，计算机设备可以无需提取该待预测数据的多个数据特征，有效降低了计算机设备的工作量，在一定程度上提升了标签预测的速率。
[0087]
进一步地，计算机设备可以基于每个候选标签的目标预测概率，从各个候选标签中选取出待预测数据的目标标签。其中，待预测数据的目标标签可以为一个或多个。具体来说，当目标标签的数量为一个时，计算机设备可以将目标预测概率最大的候选标签作为待预测数据的目标标签，或者，计算机设备可以从目标预测概率满足概率阈值的候选标签中随机选取一个作为目标标签。当目标标签为多个时，计算机设备可以将目标预测概率满足概率阈值的候选标签均作为待预测数据的目标标签，或者，在将各个候选标签的目标预测概率按照从大到小的顺序排列后，计算机设备可以将排列顺序位于前q位的目标预测概率对应的候选标签作为目标标签，q为正整数。
[0088]
在本技术实施例中，在计算机设备对标签预测模型进行模型优化时，计算机设备提取了同一测试样本的不同预测样本特征，然后计算机设备基于每个预测样本特征对应的预测结果中候选标签的预测概率确定了模型损失值，使得该模型损失值可以用于衡量不同预测结果之间的一致性以及各个预测结果的置信度。其中，模型损失值越大，则说明预测结果之间的一致性越低，各个预测结果的置信度也就越低。因此，计算机设备朝着增大模型置信度的方向对标签预测模型进行模型优化，可以使得优化后的标签预测模型具备较高的置信度。并且，由于优化后的标签预测模型可以根据不同的预测样本特征预测得到一致的预测结果，因此，计算机设备可以采用优化后的标签预测模型，基于待预测数据的残缺的数据特征预测得到目标标签，这使得计算机设备在实际进行标签预测的过程中，无需过多关注于相应数据的特征提取是否全面，在一定程度上可以提升标签预测的效率，并且保证了优化后的标签预测模型的鲁棒性。
[0089]
基于上述模型优化方法的相关描述，本技术实施例还公开了一种模型优化装置。该模型优化装置可以是运行于上述所提及的计算机设备中的一个或多个计算机程序(包括程序代码)。在具体实施例中，该模型优化装置可以用于执行如图2或图3所示的模型优化方法。请参见图5，该模型优化装置可以包括：获取单元501、特征提取单元502、预测单元503、模型优化单元504以及模型应用单元505。其中：
[0090]
获取单元501，用于获取测试样本；
[0091]
特征提取单元502，用于采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
[0092]
预测单元503，用于分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
[0093]
模型优化单元504，用于根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
[0094]
在一种实施方式中，所述模型优化单元504具体可以用于执行：
[0095]
获取所述标签预测模型中的多个候选模型参数；
[0096]
从所述多个候选模型参数中确定出至少一个待优化模型参数，所述至少一个待优化模型参数中每个待优化模型参数的泛化能力强度值均满足强度值条件；
[0097]
向着增大所述模型置信度的方向对每个待优化模型参数进行参数调整，以对所述标签预测模型进行模型优化处理。
[0098]
在又一种实施方式中，所述模型置信度是基于模型损失值确定的，所述模型损失值是采用目标损失函数基于所述每个候选标签的预测概率计算得到的；所述模型优化单元504还可以用于执行：
[0099]
反向传播所述模型损失值，并在反向传播过程中计算所述目标损失函数针对每个候选模型参数的二阶导数，所述二阶导数的绝对值用于指示相应候选模型参数的泛化能力强度值；
[0100]
基于所述多个候选模型参数中每个候选模型参数的二阶导数的绝对值，确定出所述至少一个待优化模型参数。
[0101]
在又一种实施方式中，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块，所述特征提取单元502可以具体用于执行：
[0102]
从每个特征提取层中选取至少一个特征提取模块，得到多个目标特征提取模块；其中，所述多个目标特征提取模块的数量小于所述标签预测模型中全部特征提取模块的总数量，所述全部特征提取模块用于提取得到包括所述测试样本的完整特征信息的样本特征；
[0103]
采用所述多个目标特征提取模块对所述测试样本进行特征提取，得到所述测试样本的预测样本特征。
[0104]
在又一种实施方式中，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块，所述特征提取单元502还可以具体用于执行：
[0105]
采用每个特征提取层中的每个特征提取模块对所述测试样本进行特征提取，得到所述测试样本的参考样本特征，所述参考样本特征包括所述测试样本的完整特征信息；
[0106]
对所述参考样本特征中的部分特征信息进行丢弃，并将丢弃部分特征信息后的参考样本特征作为所述预测样本特征。
[0107]
在又一种实施方式中，所述模型优化单元504还可以用于执行：
[0108]
针对所述多个预测样本特征中每个预测样本特征，获取用于提取所述每个预测样本特征的多个目标特征提取模块中每个目标特征提取模块包括的模型参数；
[0109]
将获取到的所有模型参数作为候选模型参数，以得到所述多个候选模型参数。
[0110]
在又一种实施方式中，所述模型应用单元505可以用于执行：
[0111]
接收标签预测请求，所述标签预测请求携带待预测数据；
[0112]
采用所述优化后的标签预测模型提取得到所述待预测数据的数据特征；
[0113]
基于所述数据特征对所述待预测数据进行标签预测，得到所述至少一个候选标签中每个候选标签的目标预测概率；
[0114]
基于所述每个候选标签的目标预测概率，从所述至少一个候选标签选取出所述待预测数据的目标标签。
[0115]
根据本技术的一个实施例，图2以及图3所示的模型优化方法所涉及的各个步骤可以由图5所示的模型优化装置中的各个单元来执行。例如，图2所示的步骤s201可以由图5所示的模型优化装置中的获取单元501来执行；步骤s202可以由图5所示的模型优化装置中的特征提取单元502来执行；步骤s203可以由图5所示的模型优化装置中的预测单元503来执行；步骤s204可以由图5所示的模型优化装置中的模型优化单元504来执行。再如，图3所示的模型优化方法中的步骤s301可以由图5所示的模型优化装置中的获取单元501来执行；步骤s302可以由图5所示的模型优化装置中的特征提取单元502来执行；步骤s303可以由图5所示的模型优化装置中的预测单元503来执行；步骤s304至步骤s307均可以由图5所示的模型优化装置中的模型优化单元504来执行。
[0116]
根据本技术的另一个实施例，图5所示的模型优化装置中各个单元是基于逻辑功能划分的。上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者，其中的某个(某些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术实施例的技术效果的实现。在本技术的其他实施例中，上述模型优化装置也可以包括其他单元，在实际应用中，这些功能也可以由其他单元协助实现，并且可以由多个单元协助实现。
[0117]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如域名管理设备的通用计算设备上，运行能够执行如图2以及图3所示的方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5所示的模型优化装置，以及来实现本技术实施例的模型优化方法。计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。
[0118]
在本技术实施例中，模型优化装置获取的预测样本特征包括测试样本的部分特征信息，模型优化装置分别根据多个预测样本特征中每个预测样本特征，对测试样本进行标签预测，进而基于各个预测结果中候选标签的预测概率来确定模型置信度，以使得模型优化装置可以向着增大模型置信度的方向对标签预测模型进行模型优化处理。其中，增大模型置信度意味着增大各个测试结果中相同候选标签的预测概率的相似度，那么，不难理解，增大模型置信度可以使得模型优化装置基于测试样本的不同预测样本特征得到较为相似的预测结果。那么，这可以使得优化后的标签预测模型可以根据待预测数据的部分数据特征预测得到相应的目标标签，增强了标签预测模型的鲁棒性，进而可以在一定程度上提升模型优化装置在部署标签预测模型时的稳定性。
[0119]
基于上述方法实施例以及装置实施例的相关描述，本技术实施例还提供了一种计算机设备，请参见图6。该计算机设备至少包括处理器601以及计算机存储介质602，且处理器601以及计算机存储介质602可以通过总线或其他方式连接。
[0120]
其中，上述提及的计算机存储介质602是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质602既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质602提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的计算机程序，这些计算机程序可以是一个或一个以上的程序代码。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳
定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的存储介质。处理器601(或称cpu(central processing unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行一条或多条计算机程序从而实现相应方法流程或相应功能。
[0121]
在一个实施例中，可以由处理器601加载并执行计算机存储介质602中存放的一条或多条计算机程序，以实现上述有关图2以及图3所示的方法实施例中的相应方法步骤。在具体实现中，计算机存储介质602中的一条或多条计算机程序可以由处理器601加载并执行如下步骤：
[0122]
获取测试样本；
[0123]
采用标签预测模型提取得到所述测试样本的多个预测样本特征，其中，每个预测样本特征是通过丢弃所述测试样本的部分特征信息得到的，且不同预测样本特征对应丢弃的特征信息不同；
[0124]
分别基于每个预测样本特征对所述测试样本进行标签预测，得到所述每个预测样本特征对应的预测结果；其中，所述预测结果包括至少一个候选标签中每个候选标签的预测概率，所述预测概率用于指示所述测试样本预测为相应候选标签的概率；
[0125]
根据每个预测样本特征对应的预测结果中每个候选标签的预测概率，确定所述标签预测模型的模型置信度，并向着增大所述模型置信度的方向对所述标签预测模型进行模型优化处理，以得到优化后的标签预测模型，所述优化后的标签预测模型用于预测得到待预测数据的目标标签。
[0126]
在一种实施方式中，所述处理器601可以具体用于加载并执行：
[0127]
获取所述标签预测模型中的多个候选模型参数；
[0128]
从所述多个候选模型参数中确定出至少一个待优化模型参数，所述至少一个待优化模型参数中每个待优化模型参数的泛化能力强度值均满足强度值条件；
[0129]
向着增大所述模型置信度的方向对每个待优化模型参数进行参数调整，以对所述标签预测模型进行模型优化处理。
[0130]
在又一种实施方式中，所述模型置信度是基于模型损失值确定的，所述模型损失值是采用目标损失函数基于所述每个候选标签的预测概率计算得到的；所述处理器601可以具体用于加载并执行：
[0131]
反向传播所述模型损失值，并在反向传播过程中计算所述目标损失函数针对每个候选模型参数的二阶导数，所述二阶导数的绝对值用于指示相应候选模型参数的泛化能力强度值；
[0132]
基于所述多个候选模型参数中每个候选模型参数的二阶导数的绝对值，确定出所述至少一个待优化模型参数。
[0133]
在又一种实施方式中，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块，所述处理器601可以具体用于加载并执行：
[0134]
从每个特征提取层中选取至少一个特征提取模块，得到多个目标特征提取模块；其中，所述多个目标特征提取模块的数量小于所述标签预测模型中全部特征提取模块的总数量，所述全部特征提取模块用于提取得到包括所述测试样本的完整特征信息的样本特征；
[0135]
采用所述多个目标特征提取模块对所述测试样本进行特征提取，得到所述测试样本的预测样本特征。
[0136]
在又一种实施方式中，所述标签预测模型包括至少一个特征提取层，每个特征提取层包括多个特征提取模块，所述处理器601可以具体用于加载并执行：
[0137]
采用每个特征提取层中的每个特征提取模块对所述测试样本进行特征提取，得到所述测试样本的参考样本特征，所述参考样本特征包括所述测试样本的完整特征信息；
[0138]
对所述参考样本特征中的部分特征信息进行丢弃，并将丢弃部分特征信息后的参考样本特征作为所述预测样本特征。
[0139]
在又一种实施方式中，所述处理器601可以具体用于加载并执行：
[0140]
针对所述多个预测样本特征中每个预测样本特征，获取用于提取所述每个预测样本特征的多个目标特征提取模块中每个目标特征提取模块包括的模型参数；
[0141]
将获取到的所有模型参数作为候选模型参数，以得到所述多个候选模型参数。
[0142]
在又一种实施方式中，所述处理器601可以具体用于加载并执行：
[0143]
接收标签预测请求，所述标签预测请求携带待预测数据；
[0144]
采用所述优化后的标签预测模型提取得到所述待预测数据的数据特征；
[0145]
基于所述数据特征对所述待预测数据进行标签预测，得到所述至少一个候选标签中每个候选标签的目标预测概率；
[0146]
基于所述每个候选标签的目标预测概率，从所述至少一个候选标签选取出所述待预测数据的目标标签。
[0147]
在本技术实施例中，计算机设备获取的预测样本特征包括测试样本的部分特征信息，计算机设备分别根据多个预测样本特征中每个预测样本特征，对测试样本进行标签预测，进而基于各个预测结果中候选标签的预测概率来确定模型置信度，以使得计算机设备可以向着增大模型置信度的方向对标签预测模型进行模型优化处理。其中，增大模型置信度意味着增大各个测试结果中相同候选标签的预测概率的相似度，那么，不难理解，增大模型置信度可以使得计算机设备基于测试样本的不同预测样本特征得到较为相似的预测结果。那么，这可以使得优化后的标签预测模型可以根据待预测数据的部分数据特征预测得到相应的目标标签，增强了标签预测模型的鲁棒性，进而可以在一定程度上提升计算机设备在部署标签预测模型时的稳定性。
[0148]
本技术还提供了一种计算机存储介质，该计算机存储介质中存储了上述模型优化方法对应的一条或多条计算机程序，当一个或多个处理器加载并执行该一条或多条计算机程序，可以实现实施例中对模型优化方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，计算机程序可以被部署在一个或多个能够相互通信的设备上执行。
[0149]
需要说明的是，根据本技术的一个方面，还提供了一种计算机产品或计算机程序，该计算机产品包括计算机程序，该计算机程序存储在计算机存储介质中。计算机设备中的处理器从计算机存储介质读取该计算机程序，然后执行该计算机程序，进而使得该计算机设备能够执行上述图2以及图3所示的模型优化方法实施例方面的各种可选方式中提供的方法。
[0150]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的硬件来完成，计算机程序可存储于计算机存储介质中，该计算机程序在执行时，可包括如上述模型优化方法的实施例的流程。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0151]
可以理解的是，以上所揭露的仅为本技术的局部实施例而已，当然不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本技术权利要求所作的等同变化，仍属于发明所涵盖的范围。