一种标签分布预测方法及装置与流程

文档序号:18450672发布日期:2019-08-17 01:14阅读:188来源:国知局
一种标签分布预测方法及装置与流程
本发明涉及数据处理
技术领域
,特别涉及一种标签分布预测方法及装置。
背景技术
:在图像识别、视频解析等领域,针对所输入的一个实例,所需要的输出结果是整个标签集的分布向量,分布向量中的每一个元素为标签集中相对应标签描述该实例的程度。比如,在根据一个学生的照片预测该学生的年龄时,如果预估这个学生的年龄为18至22岁,则相当于估计这个学生的年龄属于年龄标签集[18,19,20,21,22]中每个元素的可能性,如果18岁的可能性为10%,19岁的可能性为20%,20岁的可能性为40%,21岁的可能性为20%,22岁的可能性为10%,则所需要的输出结果为年龄标签集[18,19,20,21,22]的分布向量为[0.1,0.2,0.4,0.2,0.1]。目前,一般通过标签分布学习算法(labeldistributionlearning,ldl)对实例进行标签分布预测,以确定实例针对整个标签集的分布向量。由于标签分布学习算法中的标签是由专家人为给出或通过机器学习获得,这使得标签的划分边界存在模糊性,即不同标签之间是相互关联的,而目前利用标签分布学习算法对实例进行标签分布预测时并未考虑不同标签之间的关联性,导致对实例进行标签分布预测的准确性较低。技术实现要素:本发明实施例提供了一种标签分布预测方法及装置,能够提高对实例进行标签分布预测的准确性。第一方面,本发明实施例提供了一种标签分布预测方法,包括:s1:获取训练集合,并初始化潜在因子矩阵,其中,所述训练集合包括有至少一个样本的特征信息和实际标签分布信息,所述潜在因子矩阵用于从特征信息到标签分布的转换;s2:根据所述训练集合和所述潜在因子矩阵构建基础目标函数,其中,所述基础目标函数用于衡量实际标签分布与预测标签分布之间的差距;s3:根据所述潜在因子矩阵构建距离映射函数,其中,所述距离映射函数用于描述标签相关性;s4:根据所述基础目标函数和所述距离映射函数构建目标函数;s5:针对所述目标函数对所述潜在因子矩阵求一阶偏导,获得一阶偏导向量;s6:将初始化后的所述潜在因子矩阵确定为第一因子矩阵;s7:将所述第一因子矩阵代入所述一阶偏导向量,获得一阶梯度矩阵;s8:判断所述一阶梯度矩阵的f范数是否小于预先设定的临界阈值,如果是,执行s10,否则执行s9;s9:对所述潜在因子矩阵进行一次迭代优化,将迭代优化后的所述潜在因子矩阵确定为所述第一因子矩阵,并执行s7;s10:根据所述第一因子矩阵,获得待预测实例的标签分布向量。可选地,所述距离映射函数包括:g(θi,θj)=sgn(triangle(θi,θj))·dis(θi,θj),其中,其中,所述sgn(triangle(θi,θj))表征所述潜在因子矩阵中因子向量θi与因子向量θj之间的相关性;所述θik表征所述潜在因子矩阵中第i个因子向量中的第k个元素;所述θjk表征所述潜在因子矩阵中第j个因子向量中的第k个元素;所述m表征所述训练集合中每个样本的特征的个数。可选地,所述基础目标函数包括:其中,所述t0(θ)表征所述基础目标函数;所述所述θjr表征所述潜在因子矩阵中第j个因子向量中的第r个元素,所述xir表征所述训练集合中第i个样本的第r个特征对应的数值;所述dij表征所述训练集合所包括的所述实际标签分布信息中第j个标签描述第i个样本的程度;所述n表征所述训练集合中样本的总个数;所述c表征所述训练集合中标签的总个数。可选地,所述s4包括:根据所述潜在因子矩阵确定正则项;根据所述基础目标函数、所述距离映射函数和所述正则项,构建如下目标函数;其中,所述t(θ)表征所述目标函数;所述θij表征所述潜在因子矩阵中第i个因子向量中的第j个元素;所述λ1和所述λ2为预设的系数;所述表征所述正则项。可选地,所述s9包括:s91:将当前的所述第一因子矩阵代入如下第一公式,计算搜索方向参数;所述第一公式包括:其中,所述θ(l)表征当前的所述第一因子矩阵,所述l为非负整数,l+1表征已对所述潜在因子矩阵进行的迭代优化的次数;所述d(l)表征所述搜索方向参数;所述表征当前的所述一阶梯度矩阵;所述h(θ(l))表征基于当前的所述第一因子矩阵的海森矩阵;s92:将当前的所述第一因子矩阵和所述搜索方向参数代入如下第二公式,计算第二因子矩阵;所述第二公式包括:θ(l+1)=θ(l)+d(l)其中,所述θ(l+1)表征所述第二因子矩阵,默认搜索步长为1;s93:将所述第二因子矩阵作为新的所述第一因子矩阵,并执行s7。可选地,在所述s10之前,进一步包括:获取测试集合,其中,所述测试集合包括有至少一个样本的特征信息和实际标签分布信息;根据所述测试集合对应的样本特征矩阵和所述第一因子矩阵,获得对应于所述测试集合的预测标签分布;利用所述预测标签分布和所述测试集合对应的实际标签分布,计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标;根据计算出的所述至少一个评价指标校验所述第一因子矩阵的准确性。第二方面,本发明实施例还提供了一种标签分布预测装置,包括:预处理单元、函数构建单元、赋值单元、运算单元、判断单元、迭代优化单元和预测单元;所述预处理单元,用于获取训练集合,并初始化潜在因子矩阵,其中,所述训练集合包括有至少一个样本的特征信息和实际标签分布信息,所述潜在因子矩阵用于从特征信息到标签分布的转换;所述函数构建单元,用于根据所述预处理单元获取到的所述训练集合和所述潜在因子矩阵构建用于衡量实际标签分布与预测标签分布之间差距的基础目标函数,根据所述潜在因子矩阵构建用于描述标签相关性的距离映射函数,并根据所述基础目标函数和所述距离映射函数构建目标函数,以及针对所述目标函数对所述潜在因子矩阵求一阶偏导,获得一阶偏导向量;所述赋值单元,用于将所述预处理单元初始化后的所述潜在因子矩阵确定为第一因子矩阵;所述运算单元,用于将所述第一因子矩阵代入所述函数构建单元获得的所述一阶偏导向量;所述判断单元,用于判断所述运算单元获得的所述一阶偏导向量的f范数是否小于预先设定的临界阈值,如果是,触发所述预测单元根据所述第一因子矩阵获得待预测实例的标签分布向量,否则触发所述迭代优化单元对所述潜在因子矩阵进行一次迭代优化,将迭代优化后的所述潜在因子矩阵确定为所述第一因子矩阵;所述迭代优化单元,用于在迭代优化出新的所述第一因子矩阵后,触发所述运算单元执行将新的所述第一因子矩阵代入所述一阶偏导向量,获得新的所述一阶梯度矩阵。可选地,所述函数构建单元,在构建所述目标函数时,用于根据所述潜在因子矩阵确定正则项,并根据所述基础目标函数、所述距离映射函数和所述正则项,构建如下目标函数;其中,所述t(θ)表征所述目标函数;所述θij表征所述潜在因子矩阵中第i个因子向量中的第j个元素;所述λ1和所述λ2为预设的系数;所述表征所述正则项。可选地,所述迭代优化单元,用于执行如下步骤:s91:将当前的所述第一因子矩阵代入如下第一公式,计算搜索方向参数;所述第一公式包括:其中,所述θ(l)表征当前的所述第一因子矩阵,所述l为非负整数,l+1表征已对所述潜在因子矩阵进行的迭代优化的次数;所述d(l)表征所述搜索方向参数;所述表征当前的所述一阶梯度矩阵;所述h(θ(l))表征基于当前的所述第一因子矩阵的海森矩阵;s92:将当前的所述第一因子矩阵和所述搜索方向参数代入如下第二公式,计算第二因子矩阵;所述第二公式包括:θ(l+1)=θ(l)+d(l)其中,所述θ(l+1)表征所述第二因子矩阵,默认搜索步长为1;s93:将所述第二因子矩阵作为新的所述第一因子矩阵,并触发所述运算单元将新的所述第一因子矩阵代入所述一阶偏导向量,获得新的所述一阶梯度矩阵。可选地,该标签分布预测装置进一步包括:校验单元;所述校验单元,用于在所述判断单元确定所述一阶梯度矩阵的f范数小于所述临界阈值后,根据所获取的测试集合对应的样本特征矩阵和所述第一因子矩阵,获得对应于所述测试集合的预测标签分布,利用所述预测标签分布和所述测试集合对应的实际标签分布,计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标,根据计算出的所述至少一个评价指标校验所述第一因子矩阵的准确性。本发明实施例提供的标签分布预测方法及装置,获取包括有至少一个样本的特征信息和实际标签分布信息的训练集合,并初始化用于从特征信息到标签分布转换的潜在因子矩阵,之后根据训练集合和潜在因子矩阵构建用于衡量实际标签分布与预测标签分布之间差距的基础目标函数,并根据潜在因子矩阵构建用于描述标签相关性的距离映射函数,之后根据基础目标函数和距离映射函数构建目标函数,之后针对目标函数对潜在因子矩阵求一阶偏导而获得一阶偏导向量,最初将初始化的潜在因子矩阵确定为第一因子矩阵。将第一因子矩阵代入一阶偏导向量获得一阶梯度矩阵,如果一阶偏导矩阵的f范数小于预设的临界阈值,则说明的当前的第一因子矩阵已经达到了精度要求,进而可以利用当前的第一因子矩阵来获得待预测实例的标签分布向量,如果一阶偏导矩阵的f范数大于或等于临界阈值,则说明当前的第一因子矩阵没有达到精度要求,对潜在因子矩阵进行依次迭代优化,并将迭代优化的结果作为新的第一因子矩阵以重新计算一阶偏导矩阵的f范数与临界阈值进行比较,直至获得满足精度要求的第一因子矩阵。由此可见,由于目标函数是根据基础目标函数和距离映射函数构建而成,而距离映射函数用于描述标签之间的相关性,从而目标函数考虑了不同标签之间的关联性,使得利用目标函数迭代优化出的潜在因子矩阵具有较高的准确性,进而在利用潜在因子矩阵可以提高对实例进行标签分布预测的准确性。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明一个实施例提供的一种标签分布预测方法的流程图;图2是本发明一个实施例提供的一种目标函数构建方法的流程图;图3是本发明一个实施例提供的一种潜在因子矩阵迭代优化方法的流程图;图4是本发明一个实施例提供的一种第一因子矩阵校验方法的流程图;图5是本发明一个实施例提供的另一种标签分布预测方法的流程图;图6是本发明一个实施例提供的一种标签分布预测装置所在设备的示意图;图7是本发明一个实施例提供的一种标签分布预测装置的示意图;图8是本发明一个实施例提供的另一种标签分布预测装置的示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。如图1所示,本发明实施例提供了一种标签分布预测方法,该方法可以包括以下步骤:步骤101:获取训练集合,并初始化潜在因子矩阵,其中,训练集合包括有至少一个样本的特征信息和实际标签分布信息,潜在因子矩阵用于从特征信息到标签分布的转换;步骤102:根据训练集合和潜在因子矩阵构建基础目标函数,其中,基础目标函数用于衡量实际标签分布与预测标签分布之间的差距;步骤103:根据潜在因子矩阵构建距离映射函数,其中,距离映射函数用于描述标签相关性;步骤104:根据基础目标函数和距离映射函数构建目标函数;步骤105:针对目标函数对潜在因子矩阵求一阶偏导,获得一阶偏导向量;步骤106:将初始化后的潜在因子矩阵确定为第一因子矩阵;步骤107:将第一因子矩阵代入一阶偏导向量,获得一阶梯度矩阵;步骤108:判断一阶梯度矩阵的f范数是否小于预先设定的临界阈值,如果是,执行步骤110,否则执行步骤109;步骤109:对潜在因子矩阵进行一次迭代优化,将迭代优化后的潜在因子矩阵确定为第一因子矩阵,并执行步骤107;步骤110:根据第一因子矩阵,获得待预测实例的标签分布向量。本发明实施例提供的标签分布预测方法,获取包括有至少一个样本的特征信息和实际标签分布信息的训练集合,并初始化用于从特征信息到标签分布转换的潜在因子矩阵,之后根据训练集合和潜在因子矩阵构建用于衡量实际标签分布与预测标签分布之间差距的基础目标函数,并根据潜在因子矩阵构建用于描述标签相关性的距离映射函数,之后根据基础目标函数和距离映射函数构建目标函数,之后针对目标函数对潜在因子矩阵求一阶偏导而获得一阶偏导向量,最初将初始化的潜在因子矩阵确定为第一因子矩阵。将第一因子矩阵代入一阶偏导向量获得一阶梯度矩阵,如果一阶偏导矩阵的f范数小于预设的临界阈值,则说明的当前的第一因子矩阵已经达到了精度要求,进而可以利用当前的第一因子矩阵来获得待预测实例的标签分布向量,如果一阶偏导矩阵的f范数大于或等于临界阈值,则说明当前的第一因子矩阵没有达到精度要求,对潜在因子矩阵进行依次迭代优化,并将迭代优化的结果作为新的第一因子矩阵以重新计算一阶偏导矩阵的f范数与临界阈值进行比较,直至获得满足精度要求的第一因子矩阵。由此可见,由于目标函数是根据基础目标函数和距离映射函数构建而成,而距离映射函数用于描述标签之间的相关性,从而目标函数考虑了不同标签之间的关联性,使得利用目标函数迭代优化出的潜在因子矩阵具有较高的准确性,进而在利用潜在因子矩阵可以提高对实例进行标签分布预测的准确性。在本发明实施例中,步骤101所获取到的训练集合包括有至少一个样本,具体是包括有每一个样本的特征信息和实际标签分布信息,在后续步骤102根据训练集合和潜在因子矩阵构建基础目标函数时,具体是利用与训练集合相对应的训练样本特征矩阵和训练样本实际标签分布矩阵来与潜在因子矩阵共同构建基础目标函数。进一步地,与训练集合相对应的训练样本特征矩阵可以是一个n行m列的矩阵,其中,n表征训练集合中包括有n个样本,m表征每一个样本所对应的m个特征。与训练集合相对应的训练样本实际标签分布矩阵可以是一个n行c列的矩阵,其中,n表征训练集合中包括的n个样本,c表征每一个样本所对应标签的总个数。在本发明实施例中,与训练样本特征矩阵和训练样本实际标签分布矩阵相对应的,潜在因子矩阵具体是指实例到分布的特征-标签潜在因子矩阵,潜在因子矩阵可以是一个c行m列的矩阵。具体的,训练样本特征矩阵x、训练样本实际标签分布矩阵d和潜在因子矩阵θ可以为如下所示的矩阵:可选地,在图1所示标签分布预测方法的基础上,步骤103根据潜在因子矩阵构建用于描述标签相关性的距离映射函数,距离映射函数的具体形式可以如下所示:g(θi,θj)=sgn(triangle(θi,θj))·dis(θi,θj)在上述距离映射函数中,距离映射函数由两部分组成,第一部分为符号函数sgn(triangle(θi,θj)),符号函数用于表征潜在因子矩阵中因子向量θi与因子向量θj之间的相关性,第二部分为距离函数dis(θi,θj),距离函数用于描述潜在因子矩阵中因子向量之间的相关程度。在本发明实施例中,组成距离映射函数的符号函数的具体形式可以如下所示:其中,θik表征潜在因子矩阵中第i个因子向量中的第k个元素,θjk表征潜在因子矩阵中第j个因子向量中的第k个元素,m表征训练集合中每个样本的特征的个数。在本发明实施例中,组成距离映射函数的距离函数的具体形式可以如下所示:其中,θik表征潜在因子矩阵中第i个因子向量中的第k个元素,θjk表征潜在因子矩阵中第j个因子向量中的第k个元素,m表征训练集合中每个样本的特征的个数。距离映射函数g(θi,θj)通过表征相关性的符号函数sgn(triangle(θi,θj))乘以表征相关程度的距离函数dis(θi,θj),得到正相关距离、负相关距离以及不相关距离,形象地描述了标签之间的关联性。例如,g(θa,θb)>0且值越大,表明当出现标签a时,出现标签b的可能性越大;g(θa,θb)<0且值越小,表明当出现标签a时,出现标签b的可能性越小;g(θa,θb)=0时,则表明标签a的出现与否与标签b无关。距离映射函数由表征标签间相关性的符号函数和表征标签建相关程度的距离函数相乘而得到,在符号函数中使用三角距离衡量标签之间的相关性,充分利用特征数据,使得根据距离映射函数所构建的目标函数包括反应标签之间关联性的项,通过求解新的优化目标函数得到最优的潜在因子矩阵,保证所获得潜在因子矩阵的准确性,进而在利用所获得潜在因子矩阵预测标签分布时可以保证预测结果具有较高的准确性。可选地,在图1所示标签分布预测方法的基础上,步骤102根据训练集合和潜在因子矩阵构建基础目标函数,基础目标函数的具体形式可以如下所示:在上述基础目标函数中,t0(θ)表征基础目标函数,pij表征预测标签分布中第j个标签描述第i个实例的程度,具体θ表征实例到分布的潜在因子矩阵,θjr表征潜在因子矩阵中第j个因子向量中的第r个元素,xir表征训练集合中第i个样本的第r个特征对应的数值,dij表征训练集合所包括的实际标签分布信息中第j个标签描述第i个样本的程度,n表征训练集合中样本的总个数,c表征训练集合中标签的总个数。在本发明实施例中,pi表征实例xi对应的预测标签分布,令pi为满足参数向量θ的参数模型p(yj|xiθ)。使用kullback-leibler(kl)散度衡量实际标签分布和预测标签分布之间的差距,得到基础目标函数t0(θ)。在基础目标函数t0(θ)中,令pij满足最大熵模型利用kullback-leibler散度来衡量实际标签分布与预测标签分布之间的差距,进而得到基础目标函数,保证基础目标函数在结合距离映射函数之后所获得的目标函数能够更加准确地衡量实际标签分布与预测标签分布之间的差距,进而在利用目标函数可以迭代优化出更加准确的潜在因子矩阵,从而保证利用潜在因子矩阵进行标签分布预测的准确性。可选地,在图1所示标签分布预测方法的基础上,步骤104根据基础目标函数和距离映射函数构建目标函数时,具体可以根据基础目标函数、距离映射函数以及根据潜在因子矩阵而获得的正则项来构建目标函数。如图2所示,具体可以通过如下方式来构建目标函数:步骤201:根据潜在因子矩阵确定正则项;步骤202:根据基础目标函数、距离映射函数和正则项,构建目标函数。在本发明实施例中,步骤201根据潜在因子矩阵确定正则项时,正则项具体可以用潜在因子矩阵的f范数的平方表示,潜在因子矩阵的f范数的平方即正则项为其中,θij表征潜在因子矩阵中第i个因子向量中的第j个元素。在本发明实施例中,步骤202根据基础目标函数、距离映射函数和正则项构建目标函数时,分别为矩阵映射函数和正则项配置相对应的系数后对三者进行求和,可以得到如下目标函数:其中,在上述目标函数中,t(θ)表征目标函数,λ1和λ2为预设的系数,在实际业务实现时可以根据标签之间的关联性灵活设置系数λ1和系数λ2的值,比如可以将系数λ1的值设定为0.01,同时将系数λ2的值设定为0.1。通过对上述目标函数进行化简,可以获得如下所示的目标函数的最终形式:目标函数由三部分组成,第一部分为基础目标函数,第二部分为配置了相应系数的距离映射函数,第三部分为配置了相应系数的正则项,通过将上述三个部分求和获得目标函数,使得所获得目标函数包括反映不同标签之间关联性的运算项,进而在利用目标函数对潜在因子矩阵进行迭代优化时,会将标签之间的关联性作为一个探索因素对潜在因子矩阵进行迭代优化,保证最终所获得的潜在因子矩阵具有较高的准确性,进而利用获得的潜在因子矩阵进行标签分布预测时可以获得更加准确的预测结果。可选地,在图1所示标签分布预测方法的基础上,当步骤108判断基于当前的第一因子矩阵所确定出的一阶梯度矩阵的f范数大于或等于临界阈值后,步骤109便会基于当前的第一因子矩阵对潜在因子矩阵进行一次迭代优化,获得新的第一因子矩阵,进而针对新的第一因子矩阵执行步骤107和步骤108,重复这一过程,直至获得对应一阶梯度矩阵的f范数小于临界阈值的第一因子矩阵。如图3所示,对潜在因子矩阵进行迭代优化的具体过程可以通过如下步骤实现:步骤301:将当前的第一因子矩阵代入第一公式,计算搜索方向参数。其中,第一公式包括:其中,θ(l)表征当前的第一因子矩阵,l为非负整数,l+1表征已对潜在因子矩阵进行的迭代优化的次数;d(l)表征搜索方向参数;表征当前的一阶梯度矩阵;h(θ(l))表征基于当前的第一因子矩阵的海森矩阵。步骤302:将当前的第一因子矩阵和搜索方向参数代入第二公式,计算第二因子矩阵。其中,第二公式包括:θ(l+1)=θ(l)+d(l)其中,θ(l+1)表征第二因子矩阵,默认搜索步长为1。步骤303:将第二因子矩阵作为新的第一因子矩阵。在本发明实施例中,对潜在因子矩阵θ进行初始化获得θ(0),首先将θ(0)作为第一因子矩阵代入一阶偏导向量获得一阶梯度矩阵,如果所获得的一阶梯度矩阵的f范数小于预先设定的临界阈值,则直接将θ(0)作为第一因子矩阵来对计算待预测实例的标签分布向量,如果所获得的一阶梯度矩阵的f范数大于或等于预先设定的临界阈值,则正式开始对潜在因子矩阵进行迭代优化。在第一次对潜在因子矩阵θ进行迭代优化时(即l=0时),首先计算基于θ(0)的海森矩阵h(θ(0)),之后根据计算出的h(θ(0))和已经获得到的通过第一公式计算对应于第一次迭代优化的搜索方向参数d(θ),之后将θ(0)和d(0)代入第二公式计算出对应于当前次迭代优化的第一因子矩阵θ(1)。在本发明实施例中,当前次对潜在因子矩阵进行迭代优化需要基于上一次对潜在因子矩阵进行迭代优化的结果而进行。具体地,下面以l>0为例进行说明:在第l+1次对潜在因子矩阵θ进行迭代优化时,首先获取第l次对潜在因子矩阵θ进行迭代优化而获得的一阶梯度矩阵之后获得基于第l次迭代优化所获得的第一因子矩阵θ(l)的海森矩阵h(θ(l)),之后将获得一阶梯度矩阵和海森矩阵h(θ(l))代入第一公式,计算出对应于第l+1次迭代优化的搜索方向参数d(l),之后将对应于第l次迭代优化的第一因子矩阵θ(l)和对应于第l+1次迭代优化的搜索方向参数d(l)代入第二公式,计算出对应于第l+1次迭代优化的第一因子矩阵θ(l+1)。在每一次对潜在因子矩阵进行迭代优化时,首先获取上一次对潜在因子矩阵进行迭代优化时所确定出的一阶梯度矩阵,之后获取基于上一次迭代优化所获得第一因子矩阵的海森矩阵,之后根据所获得的一阶梯度矩阵和海森矩阵来计算对应于当前次迭代优化的搜索方向参数,之后根据计算出的搜索方向参数和上一次迭代优化所获得的第一因子矩阵来计算对应于当前次迭代优化的第一因子矩阵。由此可见,每一次对潜在因子矩阵进行优化时,通过生成搜索方向参数来对上一次迭代优化所获得的第一因子矩阵进行优化,使得潜在因子矩阵不断向能够更好地实现从特征到标签分布的转换的方向优化,保证最终可以将潜在因子矩阵迭代优化至满足标签预分布预测准确性的要求。在本发明实施例中,临界阈值可以根据对标签分布预测的准确性要求来灵活设置,比如可以将临界阈值设置为1×10-6。可选地,在图1所示标签分布预测方法的基础上,在步骤108确定出一阶梯度矩阵的f范数小于临界阈值后,说明当前的第一因子矩阵已经可以满足基于临界阈值所定义的转换准确度,为了进一步验证第一因子矩阵的转换准确度,可以通过测试结合对第一因子矩阵进行验证。如图4所示,对第一因子矩阵进行验证的方法可以包括如下步骤:步骤401:获得测试集合,其中,测试集合包括有至少一个样本的特征信息和实际标签分布信息;步骤402:根据测试集合对应的样本特征矩阵和第一因子矩阵,获得对应于测试集合的预测标签分布;步骤403:利用预测标签分布和测试集合对应的实际标签分布,计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标;步骤404:根据计算出的至少一个评价指标校验第一因子矩阵的准确性。根据测试集合所包括至少一个样本的特征信息生成对应于测试集合的样本特征矩阵,并根据测试集合所包括至少一个样本的实际标签分布信息生成对应于测试集合的实际标签分布,之后根据对应于测试集合的样本特征矩阵和第一因子矩阵计算出对应于测试集合的预测标签分布,之后根据对应于测试集合的预测标签分布和实际标签分布来计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标,进而根据所计算出的至少一个评价指标来校验利用第一因子矩阵进行从特征至标签分布预测的准确性,保证可以更加准确地对第一因子矩阵进行验证。在本发明实施例中,可以将对应于测试集合的预测标签分布和实际标签分布代入如下公式来计算欧氏距离:其中,dis的含义是距离,j是标签的下标,c是标签总个数。pj表示真实标签分布中第j个标签对应的数值,qj表示预测标签分布中第j个标签对应的数值。计算得出的欧式距离越小,说明两个分布距离越近,差距越小。在本发明实施例中,可以将对应于测试集合的预测标签分布和实际标签分布代入如下公式来计算索尔森距离:其中,dis的含义是距离,j是标签的下标,c是标签的总个数。pj表示真实标签分布中第j个标签对应的数值,qj表示预测标签分布中第j个标签对应的数值。计算得出的索尔森距离越小,说明两个分布距离越近,差距越小。在本发明实施例中,可以将对应于测试集合的预测标签分布和实际标签分布代入如下公式来计算卡方距离:其中,dis的含义是距离,j是标签的下标,c是标签的总个数。pj表示真实标签分布中第j个标签对应的数值,qj表示预测标签分布中第j个标签对应的数值。计算得出的卡方距离越小,说明两个分布距离越近,差距越小。在本发明实施例中,可以将对应于测试集合的预测标签分布和实际标签分布代入如下公式来计算相似度:其中,sim的含义是相似度,j是标签的下标,c是标签的总个数。pj表示真实标签分布中第j个标签对应的数值,qj表示预测标签分布中第j个标签对应的数值。计算得出的相似度越大,说明两个分布越相似。在本发明实施例中,可以将对应于测试集合的预测标签分布和实际标签分布代入如下公式来计算保真度:其中,sim的含义是相似度,j是标签的下标,c是标签的总个数。pj表示真实标签分布中第j个标签对应的数值,qj表示预测标签分布中第j个标签对应的数值。计算得出的保真度越大,说明预测分布和真实分布越接近。下面结合具体数据集给出对第一因子矩阵进行校验的结果。如下表1为4个数据集的具体信息,4个数据集分别为dtt、cold、heat和elu。其中,在进行预处理时,以8:2的比例将上述4个数据集拆分为训练数据集和测试数据集,训练数据集即为步骤101中的训练集合,如下表2至表5为针对测试数据集对第一因子矩阵进行测试的结果。表1dttcoldheatelu实例个数2465246524652465特征个数24242424标签个数44614如下表2为通过数据集dtt对第一因子矩阵进行校验的结果,如下表3为通过数据集cold对第一因子矩阵进行校验的结果,如下表4为通过数据集heat对第一因子矩阵进行校验的结果,如下表5为通过数据集elu对第一因子矩阵进行校验的结果。表2表3表4表5在上述表2至表5中,euclidean表征欧氏距离,表征索尔森距离,squardχ2表征卡方距离,intersection表征相似度,fidelity表征保真度。t-ldl表征本发明实施例所提供的标签分布预测方法,ldllc、pt-bayes、pt-svm、aa-knn、aa-bp、iis-lld、bfgs-lld、edl表征8种不同的现有标签分布预测学习算法。根据上述表2至表5的数据可知,相对于其他标签预测方法,通过本发明实施例所提供标签分布预测方法得到的预测标签分布与真实标签分布更加接近。下面结合上述各个实施例,对本发明实施例提供的标签分布方法作进一步详细说明,如图5所示,该方法可以包括如下步骤:步骤501:根据训练集合生成训练样本特征矩阵和训练样本实际标签分布矩阵。在本发明实施例中,获取包括有至少一个样本的训练集合,根据训练集合中各个样本的特征信息和实际标签分布信息获得训练样本特征矩阵x和训练样本实际标签分布矩阵d。训练样本特征矩阵x和训练样本实际标签分布矩阵d的具体形式已经在上述实施例中给出,在此不再赘述。步骤502:初始化潜在因子矩阵。在本发明实施例中,根据训练样本特征矩阵和训练样本实际标签分布矩阵的行数和列数,初始化相对应的潜在因子矩阵θ,潜在因子矩阵θ的具体形式已经在上述实施例中给出,在此不再赘述。步骤503:根据训练样本特征矩阵、训练样本实际标签分布矩阵和潜在因子矩阵构建基础目标函数。在本发明实施例中,根据训练样本特征矩阵x、训练样本实际标签分布矩阵d和潜在因子矩阵θ构建如下基础目标函数:其中,t0(θ)表征基础目标函数;θjr表征潜在因子矩阵中第j个因子向量中的第r个元素,xir表征训练集合中第i个样本的第r个特征对应的数值;dij表征训练集合所包括的实际标签分布信息中第j个标签描述第i个样本的程度;n表征训练集合中样本的总个数;c表征训练集合中标签的总个数;m表征训练集合中每个样本的特征的个数。步骤504:根据潜在因子矩阵构建距离映射函数。在本发明实施例中,根据潜在因子矩阵θ构建如下距离映射函数:g(θi,θj)=sgn(triangle(θi,θj))·dis(θi,θj),其中,其中,sgn(triangle(θi,θj))表征潜在因子矩阵中因子向量θi与因子向量θj之间的相关性;θik表征潜在因子矩阵中第i个因子向量中的第k个元素;θjk表征潜在因子矩阵中第j个因子向量中的第k个元素;m表征训练集合中每个样本的特征的个数。步骤505:根据基础目标函数和距离映射函数构建目标函数。在本发明实施例中,根据所构建出的基础目标函数t0(θ)和构建出的距离映射函数g(θi,θj)构建如下目标函数:其中,t(θ)表征目标函数;θij表征潜在因子矩阵中第i个因子向量中的第j个元素;λ1和λ2为预设的系数;表征正则项。步骤506:针对目标函数对潜在因子矩阵求一阶偏导,获得一阶偏导向量。在本发明实施例中,在获得目标函数后,针对目标函数对潜在因子矩阵θ求一阶偏导,获得一阶偏导向量。步骤507:将初始化后的潜在因子矩阵确定为第一因子矩阵。在本发明实施例中,初始化后的潜在因子矩阵θ为θ(0),将θ(0)确定为第一因子矩阵。步骤508:将第一因子矩阵代入一阶偏导向量,获得一阶梯度矩阵。在本发明实施例中,如果还未对潜在因子矩阵θ进行过迭代优化,则将作为第一因子矩阵的θ(0)代入一阶偏导向量,获得一阶梯度矩阵如果已经对潜在因子矩阵θ进行过迭代优化,则将迭代优化获得的最新第一因子矩阵代入一阶偏导向量,获得一阶梯度矩阵步骤509:判断一阶梯度矩阵的f范数是否小于临界阈值,如果是,执行步骤513,否则执行步骤510。在本发明实施例中,在针对当前的第一因子矩阵获得一阶梯度矩阵后,计算一阶梯度矩阵的f范数,并判断所计算出的f范数是否小于预先设定的临界阈值,如果计算出的f范数小于临界阈值,说明对潜在因子矩阵的迭代优化已经达到目标,可以利用当前的第一因子矩阵来预测标签分布,相应地执行步骤511,如果计算出的f范数大于或等于临界阈值,说明对潜在因子矩阵的迭代优化未达到目标,相应地执行步骤510继续对潜在因子矩阵进行迭代优化。步骤510:根据当前的第一因子矩阵确定用于对潜在因子矩阵进行迭代优化的搜索方向参数。在本发明实施例中,将当前的第一因子矩阵以及当前的一阶梯度矩阵代入如下第一公式,计算用于对潜在因子矩阵进行迭代优化的搜索方向参数。其中,第一公式包括:其中,θ(l)表征当前的第一因子矩阵,l为非负整数,l+1表征已对潜在因子矩阵进行的迭代优化的次数;d(l)表征搜索方向参数;表征当前的一阶梯度矩阵;h(θ(l))表征基于当前的第一因子矩阵的海森矩阵。步骤511:根据搜索方向参数对潜在因子矩阵进行一次迭代优化,获得第二因子矩阵。在本发明实施例中,在根据当前的第一因子矩阵确定出搜索方向参数后,根据确定出的搜索方向参数以及默认为1的搜索步长,基于当前的第一因子矩阵通过如下第二公式对潜在因子矩阵进行一次迭代优化,获得迭代优化出的第二因子矩阵。其中,第二公式包括:θ(l+1)=θ(l)+d(l)其中,θ(l+1)表征第二因子矩阵。步骤512:将第二因子矩阵确定为新的第一因子矩阵,并执行步骤508。在本发明实施例中,在对潜在因子矩阵进行迭代优化获得第二因子矩阵后,将获得的第二因子矩阵确定为新的第一因子矩阵,并针对新的第一因子矩阵执行步骤508,即将新的第一因子矩阵代入一阶偏导向量获得一阶梯度矩阵。即,在获得第二因子矩阵θ(l+1)后,执行θ(l)=θ(l+1),将第二因子矩阵作为第一因子矩阵执行步骤508。步骤513:利用当前的第一因子矩阵进行标签分布预测。在本发明实施例中,利用当前的第一因子矩阵与待预测实例的特征矩阵进行运算,获得待预测实例的标签分布向量。如图6、图7所示,本发明实施例提供了一种标签分布预测装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图6所示,为本发明实施例提供的标签分布预测装置所在设备的一种硬件结构图,除了图6所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图7所示,作为一个逻辑意义上的装置,是通过其所在设备的cpu将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的标签分布预测装置,包括:预处理单元701、函数构建单元702、赋值单元703、运算单元704、判断单元705、迭代优化单元706和预测单元707;预处理单元701,用于获取训练集合,并初始化潜在因子矩阵,其中,训练集合包括有至少一个样本的特征信息和实际标签分布信息,潜在因子矩阵用于从特征信息到标签分布的转换;函数构建单元702,用于根据预处理单元701获取到的训练集合和潜在因子矩阵构建用于衡量实际标签分布与预测标签分布之间差距的基础目标函数,根据潜在因子矩阵构建用于描述标签相关性的距离映射函数,并根据基础目标函数和距离映射函数构建目标函数,以及针对目标函数对潜在因子矩阵求一阶偏导,获得一阶偏导向量;赋值单元703,用于将预处理单元701初始化后的潜在因子矩阵确定为第一因子矩阵;运算单元704,用于将第一因子矩阵代入函数构建单元702获得的一阶偏导向量;判断单元705,用于判断运算单元704获得的一阶偏导向量的f范数是否小于预先设定的临界阈值,如果是,触发预测单元707根据第一因子矩阵获得待预测实例的标签分布向量,否则触发迭代优化单元706对潜在因子矩阵进行一次迭代优化,将迭代优化后的潜在因子矩阵确定为第一因子矩阵;迭代优化单元706,用于在迭代优化出新的第一因子矩阵后,触发运算单元704执行将新的第一因子矩阵代入一阶偏导向量,获得新的一阶梯度矩阵。可选地,在图7所示标签分布预测装置的基础上,函数构建单元702,在构建目标函数时,用于根据潜在因子矩阵确定正则项,并根据基础目标函数、距离映射函数和正则项,构建如下目标函数;其中,t(θ)表征目标函数;θij表征潜在因子矩阵中第i个因子向量中的第j个元素;λ1和λ2为预设的系数;表征正则项。可选地,在图7所示标签分布预测装置的基础上,所述迭代优化单元706,用于执行如下步骤:s91:将当前的第一因子矩阵代入如下第一公式,计算搜索方向参数;第一公式包括:其中,θ(l)表征当前的第一因子矩阵,l为非负整数,l+1表征已对潜在因子矩阵进行的迭代优化的次数;d(l)表征搜索方向参数;表征当前的一阶梯度矩阵;h(θ(l))表征基于当前的第一因子矩阵的海森矩阵;s92:将当前的第一因子矩阵和搜索方向参数代入如下第二公式,计算第二因子矩阵;第二公式包括:θ(l+1)=θ(l)+d(l)其中,θ(l+1)表征第二因子矩阵,默认搜索步长为1;s93:将第二因子矩阵作为新的第一因子矩阵,并触发运算单元将新的第一因子矩阵代入一阶偏导向量,获得新的一阶梯度矩阵。可选地,在图7所示标签分布预测装置的基础上,如图8所示,该标签分布预测装置进一步包括:校验单元708;校验单元708,用于在判断单元705确定一阶梯度矩阵的f范数小于临界阈值后,根据所获取的测试集合对应的样本特征矩阵和第一因子矩阵,获得对应于测试集合的预测标签分布,利用预测标签分布和测试集合对应的实际标签分布,计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标,根据计算出的至少一个评价指标校验第一因子矩阵的准确性。需要说明的是,上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。综上所述,本发明各个实施例提供的标签分布预测方法及装置,至少具有如下有益效果:1、在本发明实施例中,由于目标函数是根据基础目标函数和距离映射函数构建而成,而距离映射函数用于描述标签之间的相关性,从而目标函数考虑了不同标签之间的关联性,使得利用目标函数迭代优化出的潜在因子矩阵具有较高的准确性,进而在利用潜在因子矩阵可以提高对实例进行标签分布预测的准确性。2、在本发明实施例中,距离映射函数由表征标签间相关性的符号函数和表征标签建相关程度的距离函数相乘而得到,在符号函数中使用三角距离衡量标签之间的相关性,充分利用特征数据,使得根据距离映射函数所构建的目标函数包括反应标签之间关联性的项,通过求解新的优化目标函数得到最优的潜在因子矩阵,保证所获得潜在因子矩阵的准确性,进而在利用所获得潜在因子矩阵预测标签分布时可以保证预测结果具有较高的准确性。3、在本发明实施例中,利用kullback-leibler散度来衡量实际标签分布与预测标签分布之间的差距,进而得到基础目标函数,保证基础目标函数在结合距离映射函数以及正则项之后所获得的目标函数能够更加准确地衡量实际标签分布与预测标签分布之间的差距,进而在利用目标函数可以迭代优化出更加准确的潜在因子矩阵,从而保证利用潜在因子矩阵进行标签分布预测的准确性。4、在本发明实施例中,目标函数由三部分组成,第一部分为基础目标函数,第二部分为配置了相应系数的距离映射函数,第三部分为配置了相应系数的正则项,通过将上述三个部分求和获得目标函数,使得所获得目标函数包括反映不同标签之间关联性的运算项,进而在利用目标函数对潜在因子矩阵进行迭代优化时,会将标签之间的关联性作为一个探索因素对潜在因子矩阵进行迭代优化,保证最终所获得的潜在因子矩阵具有较高的准确性,进而利用获得的潜在因子矩阵进行标签分布预测时可以获得更加准确的预测结果。5、在本发明实施例中,每一次对潜在因子矩阵进行优化时,通过生成搜索方向参数来对上一次迭代优化所获得的第一因子矩阵进行优化,使得潜在因子矩阵不断向能够更好地实现从特征到标签分布的转换的方向优化,保证最终可以将潜在因子矩阵迭代优化至满足标签预分布预测准确性的要求。6、在本发明实施例中,根据测试集合所包括至少一个样本的特征信息生成对应于测试集合的样本特征矩阵,并根据测试集合所包括至少一个样本的实际标签分布信息生成对应于测试集合的实际标签分布,之后根据对应于测试集合的样本特征矩阵和第一因子矩阵计算出对应于测试集合的预测标签分布,之后根据对应于测试集合的预测标签分布和实际标签分布来计算欧氏距离、索尔森距离、卡方距离、相似度、保真度中的至少一个评价指标,进而根据所计算出的至少一个评价指标来校验利用第一因子矩阵进行从特征至标签分布预测的准确性,保证可以更加准确地对第一因子矩阵进行验证。需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1