多目标流形数据分析方法、装置、设备及存储介质与流程

文档序号:29630918发布日期:2022-04-13 15:53阅读:107来源:国知局
多目标流形数据分析方法、装置、设备及存储介质与流程

1.本发明涉及大数据分析技术领域,尤其涉及多目标流形数据分析方法、装置、设备及存储介质。


背景技术:

2.在大数据时代,很多类型的数据受到多维特征的影响,使得数据的复杂度越来越高,可以将复杂度高的数据称为流形数据。例如,电影数据的维度包括制片人维度、拍摄时间维度、结束时间维度、赞助公司维度、演员维度以及上映时间等维度。
3.对于海量的流形数据,用户希望高效且准确的分析流形数据。但是,目前的数据分析手段可以对低维度的数据进行有效分析,对于高维度的流形数据的分析准确性极低。
4.流形数据分析方法是一种广义的优化求解算法,在流形上的限制条件下,求单位对数似然函数j(θ)的最小值,其中θ为模型参数集。j(θ)定义为:
[0005][0006]
其中,y为真实数据观测值,p为模型预测值,ln()表示自然对数函数,《
·
》表示均值函数;λ为常数,w为每组的权重,ρ为信号流形空间,表示组求和函数。
[0007]
模型预测值p是真实数据x和参数集θ的函数,根据费米-狄拉克分布函数,可以表示为:
[0008][0009]
其中,e表示指数函数,f(x|θ)表示如下:
[0010]
f(x|θ)=θ
μ
δ
μ
(x-α
δ
)+o(

)
[0011]
其中,x表示真实数据,θ
μ
表示变量参数向量;δ
μ
(x-α
δ
)为狄拉克δ函数构成的行向量(即各变量对应的组参数向量);o(

)表示其他项,如高阶无穷小、或神经网络模型等。
[0012]
信号流形空间ρ为分组集δ上的函数,定义为:
[0013][0014]
其中,δ表示组,《y》
δ
为真实数据观测值在各分组上的均值,《p》
δ
为模型预测值在各分组上的均值,ln()表示自然对数函数。
[0015]
单位对数似然函数j(θ)的梯度向量和海森矩阵分别为:
[0016][0017]
[0018]
其中,μ,v表示变量,δ
μ

μ
表示变量对应的组参数,《
·
》表示均值函数;λ为常数,w为每组的权重,ρ为信号流形空间,表示组求和函数。
[0019]
非线性优化问题的迭代解为:
[0020][0021][0022]
其中,δθ
μ
为每次迭代变量参数更新的增量向量,表示的逆矩阵,表示的行向量。δα
δ
为每次迭代组参数更新的增量向量,β为常数,ln()表示自然对数函数,《
·
》表示均值函数。


技术实现要素:

[0023]
为了解决上述技术问题或者至少部分地解决上述技术问题,本发明提供了多目标流形架构的流形数据分析方法、装置、设备及存储介质。
[0024]
第一方面,本发明提供了多目标流形数据分析方法,该方法包括:
[0025]
获取多目标流形数据;
[0026]
将多目标流形数据输入预先训练好的流形数据分析模型,得到
[0027]
多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0028]
第二方面,本发明提供了多目标流形数据分析装置,该装置包括:
[0029]
多目标流形数据获取模块,用于获取多目标流形数据;
[0030]
分析结果确定模块,用于将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0031]
第三方面,本发明还提供了多目标流形数据分析设备,该设备包括:
[0032]
一个或多个处理器;
[0033]
存储装置,用于存储一个或多个程序,
[0034]
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所提供的流形数据分析方法。
[0035]
第四方面,本发明实施例还提供了计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面所提供的流形数据分析方法。
[0036]
本发明提供的技术方案与现有技术相比具有如下优点:
[0037]
本发明实施例的多目标流形架构的流形数据分析方法、装置、设备及存储介质,在获取多目标流形数据之后,能够将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,由于流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得利用流形数据分析模型,能够很好的分析高维度的流形数据,保证流形数据分析的准确性,可以适用于海量的高维流形数据进行分析,具有很好的推广应用价值。
附图说明
[0038]
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0040]
图1为本发明实施例提供的流形数据分析方法的流程示意图;
[0041]
图2为本发明实施例提供的另一种流形数据分析方法的详细流程示意图;
[0042]
图3为本发明实施例提供的流形数据分析装置的结构示意图;
[0043]
图4为本发明实施例提供的流形数据分析设备的结构示意图;
[0044]
图5为本发明实施例提供的现场可编程逻辑门阵列的结构示意图。
具体实施方式
[0045]
为了能够更清楚地理解本发明的上述目的、特征和优点,下面将对本发明的方案进行进一步描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
[0046]
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但本发明还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本发明的一部分实施例,而不是全部的实施例。
[0047]
当今世界的大数据无处不在,呈现形态丰富多彩,包括我们熟悉的文字、图片、音频、视频等。数字化后,数据的基本类型分为整数、浮点和字符,数据储存的形态可以是标量、向量、张量等形式。
[0048]
对于海量的流形数据,发明人发现,很多事件产生的流行数据都可以转化成非线性优化问题。非线性优化问题的经典算法包括梯度下降法和牛顿法。梯度下降法是一阶收敛,即用一个平面拓扑去拟合当前所处位置的局部流形。牛顿法是二阶收敛,即用一个二阶拓扑曲面,拟合当前的局部流形。由于牛顿法涉及的下降路径更符合真实的最优下降路径。因此,对于非线性优化问题,牛顿法速度更快。
[0049]
为了提高高维度的流形数据的分析准确性,基于上述发现,本发明给采用拓扑空间中的优化求解算法,通过流形上的一阶梯度向量和二阶海森矩阵,求单位对数似然函数的最小值。
[0050]
基于上述分析,本发明实施例提供了多目标流形架构的流形数据分析方法、装置、设备及存储介质。
[0051]
图1示出了本发明实施例提供的流形数据分析方法的流程示意图。
[0052]
在本发明的一些实施例中,图1所示的流形数据分析方法可以由电子设备执行或服务器。该电子设备可以包括但不限于诸如智能手机、笔记本电脑、个人数字助理(pda)、平板电脑(pad)、便携式多媒体播放器(pmp)、车载终端(例如车载导航终端)、可穿戴设备等的移动终端,以及诸如数字tv、台式计算机、智能家居设备等的固定终端。服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。
[0053]
如图1所示,该流形数据分析方法可以包括如下步骤。
[0054]
s110、获取多目标流形数据。
[0055]
在本发明实施例中,当需要对高维度的流形数据进行分析时,电子设备可以获取高维度的流形数据,作为多目标流形数据,以进一步利用拓扑空间中的优化求解算法,对多目标流形数据进行分析。
[0056]
在本发明实施例中,多目标流形数据可以是拓扑空间中的多维特征数据。
[0057]
可选的,多目标流形数据可以为金融领域的数据、电信领域的数据、物联网领域的数据、能源领域的数据等。可选的,多目标流形数据可以是文字数据、图片数音频数据以及视频数据等。
[0058]
s120、将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0059]
在本发明实施例中,电子设备获取到多目标流形数据之后,可以将多目标流形数据输入预先训练好的流形数据分析模型,以利用流形数据分析模型,基于多目标流形数据的多维度特征,对多目标流形数据进行分析,得到多目标流形数据的分析结果。
[0060]
在本发明实施例中,由于流形数据分析模型可以预先利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得训练好的流形数据分析模型可以对流形空间内的流形数据进行分析。
[0061]
具体的,在对初始分析模型进行训练时,电子设备可以利用初始分析模型确定样本流形数据的索引、进行排序以及进行分组,并基于分组后的样本流形数据进行分析,得到样本分析序列。
[0062]
具体的,流形数据分析模型可以结合分辨率、精确度、算法效率、存储效率、能耗效率、数据量以及性价共七个准则。其中,分辨率可以用于流形数据分析模型区分好坏的程度,可以用跨时间样本的好坏分离度(ks)进行判断;精确度可以是数据和模型的统计误差,可以用模型变量维度上的累计平方卡方值判断;算法效率可以是模型训练和预测效率,可以用所需时间的长短来判断;存储效率可以是模型训练和预测所需的存储空间,可以用随机存取存储器(random access memory,ram)的大小判断;能耗效率可以是模型预测所需的功率;数据量可以是优化变量或模型维度的标签和列;性价比是在一定的精确度和运算速度条件下,用硬件架构的成本进行判断。
[0063]
在本发明实施例中,在获取多目标流形数据之后,能够将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,由于流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得利用流形数据分析模型,能够很好的分析高维度的流形数据,保证流形数据分析的准确性,可以适用于海量的高维流形数据进行分析,具有很好的推广应用价值。
[0064]
进一步的,在s120之后,该方法还可以包括如下步骤:
[0065]
对多目标流形数据的分析结果进行噪声过滤,得到噪声过滤之后的分析结果。
[0066]
具体的,在电子设备确定多目标流形数据的分析结果之后,可以利用反褶积算法,对多目标流形数据的分析结果进行噪声过滤,得到噪声过滤之后的分析结果,使得降低分析结果的复杂度,并进一步对复杂度低的分析结果进行分析。
[0067]
由此,在本发明实施例中,可以将流形数据分析模型和反褶积算法结合,对多目标
流形数据进行分析,在提高流形数据分析的准确性的同时,也可以降低分析结果的复杂度。
[0068]
在本发明详细实施方式中,在s110之前,还包括对流形数据分析模型训练的步骤。
[0069]
图2示出了本发明实施例提供的另一种流形数据分析方法的详细流程示意图。
[0070]
s210、获取样本流形数据、样本流形数据对应的样本分析序列以及初始分析模型的初始模型参数。
[0071]
在本发明实施例中,电子设备可以获取用于训练初始分析模型的样本流形数据和样本流形数据对应的样本分析序列,并随机确定初始分析模型的模型参数,得到初始模型参数。
[0072]
以样本流形数据为电影数据为例,电影数据包括制片人信息、拍摄时间、结束时间、赞助公司、演员信息以及上映时间等信息,则样本分析序列可以包括电影数据的票房量等信息。
[0073]
s220、基于样本流形数据和样本分析序列,对流形空间内的初始分析模型的初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0074]
在本发明实施例中,电子设备可以将样本流形数据输入流形空间内的初始分析模型,得到输出分析序列,基于输出分析序列和样本分析序列调整初始模型参数,直至输出分析序列和样本分析序列之间的误差值小于预设的误差阈值,则确定当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0075]
在本发明实施例中,预设的误差阈值可以是根据需要预先确定的用于判断当前调整次数下的当前模型参数是否稳定的误差。
[0076]
具体的,电子设备可以根据样本流形数据的每个维度的特征,对样本流形数据进行排序,得到排序后的样本流行数据;然后,对排序后的样本流行数据进行分组,得到样本流形数据的分组序列,根据样本流形数据的分组序列,确定样本分析序列的分组序列;接着,可以根据样本流形数据的每个分组序列以及样本流形数据的每个分组序列对应的样本分析序列的分组序列,计算初始分析模型的分组参数的和;进一步的,可以根据所有分组对应的分组参数的和,确定每个分组对应的分组参数,直至初始分析模型稳定,得到流形数据分析模型的模型参数。
[0077]
由此,在本发明实施例中,可以利用样本流形数据和样本分析序列,对流形空间内的初始分析模型进行迭代训练,在迭代训练的过程中,可以对样本流形数据以及样本分析序列分别进行排序、分组以及计算所有分组对应的分组参数的和,得到每个分组对应的分组参数,直至初始分析模型稳定,得到流形数据分析模型的模型参数,由此,可以准确的训练流形数据分析模型,另外,计算每个分组对应的分组参数,可以提高流形数据分析模型的训练速度。
[0078]
s230、获取多目标流形数据。
[0079]
其中,s230与s110相似,在此不做赘述。
[0080]
s240、将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0081]
在本发明实施例中,电子设备可以对多目标流形数据进行排序和分组,基于流形
数据分析模型的模型参数和分组之后的多目标流形数据,确定多目标流形数据的分析结果,由此,可以基于训练好的流形数据分析模型,准确且高效的确定多目标流形数据的分析结果。
[0082]
在本发明又一种实施方式中,可以采用不同的方式,对样本流形数据进行分组,并对每个第一样本分组序列对应的分组参数和,然后,根据每个第一样本分组序列对应的分组参数和,确定初始模型参数。
[0083]
在本发明实施例中,可选的,s220具体可以包括如下步骤:
[0084]
s2201、对样本流形数据进行分组,得到样本流形数据的多个第一样本分组序列;
[0085]
s2202、基于各个第一样本分组序列中的样本流形数据分别对应的初始模型参数,计算初始分析模型的预测分析序列;
[0086]
s2203、基于预测分析序列与样本分析序列,对初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0087]
其中,s2201具体可以包括如下步骤:
[0088]
s22011、基于样本流形数据的每个维度的特征,对样本流形数据进行排序,得到样本流形数据分别对应的第一排序序列;
[0089]
s22012、对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的多个第一样本分组序列。
[0090]
具体的,电子设备可以根据样本流形数据的每个维度的特征,对样本流形数据进行排序,确定样本流形数据分别对应的第一排序序列,并对第一排序序列对应的样本流形数据进行分组,使得将样本流形数据分成多个组,得到样本流形数据的多个第一样本分组序列。
[0091]
其中,样本流形数据可以用x[n]表示,样本流形数据分别对应的第一排序序列可以用sx[n]表示,样本流形数据的多个第一样本分组序列可以用gx[n]表示,并且,gx[n]=sx[bx:ex],其中,bx可以是gx[n]的初始索引,ex可以是gx[n]的结束索引。
[0092]
在一些实施例中,s22012具体可以包括如下步骤:
[0093]
s1、基于第一排序序列对应的样本流形数据的数据量,确定样本流形数据的第一分组切分点;
[0094]
s2、根据第一分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0095]
具体的,电子设备可以确定第一排序序列对应的样本流形数据的数据量,并根据第一排序序列对应的样本流形数据的数据量,确定样本流形数据的第一分组切分点,然后按照第一分组切分点,对第一排序序列对应的样本流形数据进行分组,使得将样本流形数据切分成多个分组,得到样本流形数据的至少两个第一样本分组序列。
[0096]
其中,数据量可以是样本流形数据的数据总数。
[0097]
其中,第一分组切分点可以是根据第一排序序列对应的样本流形数据的百分位数确定的。
[0098]
以样本流形数据为1000个数据为例,分组百分比可以是10%,则每个分组可以包括100样本流形数据,则每100个样本流形数据确定一个分组切分点,得到9个第一分组切分
点,基于第一分组切分点将样本流形数据切分成10个分组,得到样本流形数据的10个第一样本分组序列。
[0099]
在另一些实施例中,s22012具体可以包括如下步骤:
[0100]
s3、将第一排序序列对应的样本流形数据输入初始分析模型,得到样本流形数据对应的预测分析序列;
[0101]
s4、基于预测分析序列中的各个预测分析结果对应的概率值,确定样本流形数据的第二分组切分点;
[0102]
s5根据第二分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0103]
具体的,电子设备可以将第一排序序列对应的样本流形数据输入初始分析模型,得到样本流形数据对应的预测分析序列,预测分析序列中的各个预测分析结果均对应概率值,基于概率值,计算ks值和/或信息价值(information value,iv),将最大的ks值和/或最大的iv作为分组切分点,得到样本流形数据的第二分组切分点,并根据第二分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0104]
其中,ks=max{《csy=1|sp》-《csy=0|sp》}。
[0105]
其中,sp表示排序后的预测值,csy=1|sp为预测值排序后对应实际值为1的样本流形数据,csy=0|sp为预测值排序后对应实际值为0的样本流形数据,《csy=1|sp》为实际值为1的累计概率,《csy=0|sp》为实际值为0的累计概率。
[0106]
其中,iv=(g-b)ln(g/b)。
[0107]
其中,g为每个分组中实际值为1的概率,b为每个分组中实际值为0的概率,模型iv为各组iv的最大值。
[0108]
由此,在本发明实施例中,可以根据样本流形数据的百分位数确定第一样本分组序列的切分点,得到第一分组切分点,也可以根据ks值和/或iv,确定第一样本分组序列的切分点,得到第二分组切分点,并根据第一分组切分点或第二分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0109]
其中,s2202具体可以包括如下步骤:
[0110]
s22021、基于第一样本分组序列,确定初始模型参数的初始分组参数;
[0111]
s22022、针对每个第一样本分组序列,计算第一样本分组序列对应的初始分组参数的分组参数和,得到初始分析模型的预测分析序列,分组参数和为第一样本分组序列对应的初始分组参数中所有初始模型参数的和。
[0112]
具体的,电子设备确定第一样本分组序列之后,可以确定初始模型参数的初始分组参数,针对每个第一样本分组序列,可以计算第一样本分组序列对应的初始分组参数的分组参数和,以计算每列所有行的初始分组参数的分组参数和,然后根据分组参数和以及第一样本分组序列,可以确定初始分析模型的预测分析序列,得到第一样本分组序列对应的初始分组参数中所有初始模型参数的和。
[0113]
其中,在s2202之后,该方法还可以包括如下步骤:
[0114]
基于第一样本分组序列,确定样本分析序列对应的多个第二样本分组序列。
[0115]
相应的,s2203具体可以包括如下步骤:
[0116]
s22031、针对每个第二样本分组序列,计算第二样本分组序列对应的样本分析结果的分析结果和;
[0117]
s22032、基于每个第二样本分组序列对应分析结果和,以及预测分析序列,对初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0118]
具体的,电子设备确定第一样本分组序列之后,可以确定样本分析序列对应的多个第二样本分组序列,针对每个第二样本分组序列,计算第二样本分组序列对应的样本分析结果的分析结果和,以计算每行所有列的第二样本分组序列的和,然后根据每个第二样本分组序列对应分析结果和,以及预测分析序列,调整初始模型参数,以得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0119]
其中,s22031具体可以包括如下步骤:
[0120]
针对每个第二样本分组序列,确定第二样本分组序列中的初始索引至结束索引之间各全局索引分别对应的样本分析结果;
[0121]
将初始索引至结束索引之间各全局索引分别对应的样本分析结果的和,作为第二样本分组序列对应的样本分析结果的分析结果和。
[0122]
具体的,电子设备确定第二样本分组序列之后,可以确定第二样本分组序列中的初始索引至结束索引之间各全局索引分别对应的样本分析结果,然后将初始索引至结束索引之间各全局索引分别对应的样本分析结果的和,作为第二样本分组序列对应的样本分析结果的分析结果和,以计算每行所有列第二样本分组序列对应的样本分析结果的分析结果和。
[0123]
在一些实施例中,s22032具体可以包括如下步骤:
[0124]
基于预测分析序列与第二样本分组序列对应分析结果和,计算多个分析差值;
[0125]
若数值最大的分析差值大于预设容错值,对初始模型参数进行迭代调整,直至数值最大的分析差值小于或等于预设容错值,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0126]
具体的,电子设备可以预测分析序列与第二样本分组序列对应的分析结果和相减,得到多个分析差值,如果数值最大的分析差值大于预设容错值,则对初始模型参数进行迭代调整,直至数值最大的分析差值小于或等于预设容错值,以得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0127]
其中,预设容错值可以是根据需要预先确定的用于确定是否停止调整初始模型参数的容错值。
[0128]
在另一些实施例中,s22032具体可以包括如下步骤:
[0129]
基于预测分析序列与第二样本分组序列对应的分析结果和,计算多个分析差值;
[0130]
若所有分析差值的均值大于预设容错值,对初始模型参数进行迭代调整,直至所有分析差值的均值小于或等于预设容错值,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0131]
具体的,电子设备可以预测分析序列与第二样本分组序列对应分析结果和相减,得到多个分析差值,如果分析差值的均值小于或等于预设容错值,则对初始模型参数进行迭代调整,直至分析差值的均值小于或等于预设容错值,以得到用于确定多目标流形数据
的分析结果的流形数据分析模型。
[0132]
以样本流形数据为样本分析结果为为例。
[0133]
其中,m为列数,表示m个维度变量,n为行数。
[0134]
具体的,可以将样本流形数据x[n]以及样本分析结果y[n]存储到随机存取存储器(random access memory,ram)中,则memory,ram)中,则
[0135]
其中,基于样本流形数据的每个维度的特征,对样本流形数据进行排序,得到样本流形数据分别对应的第一排序序列,由此,第一排序序列,并将第一排序序列sx继续存储值ram,则
[0136]
由此,样本流形数据为x[n]与第一排序序列sx之间的映射关系,
[0137]
其中,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列,则第一样本分组序列gx[n]=sx[bx:ex],两个第一样本分组序列,则第一样本分组序列gx[n]=sx[bx:ex],其中,11为第1个维度变量的第1个分组,g11为第1个维度变量的第g1个分组,以此类推,1m为第m个维度变量的第1个分组,gmm为第m个维度变量的第gm个分组。bx表示各维度变量各分组的起始索引,ex表示各维度变量各分组的结束索引。由此,上述过程依次为:x[n]-》sx[n]-》gx[g]=sx[bx:ex]。
[0138]
进一步的,基于第一样本排序序列,确定样本分析序列对应的多个第二样本排序序列,由此,则样本流形数据x[n]、y[n]、sx[bx:ex]以及sy之间的对应关系为:
[0139]
进一步的,根据第二样本排序序列sy,可以对sy求累积行和,得到
其中,各维度变量各分组的分析结果和也可表示为yg=csy(ex)-csy(bx)。
[0140]
由此,上述过程依次为:
[0141]
y[n]-》《sy|sx》-》《csy|sx》-》《gy|gx》=《cxy|[bx:ex]|sx》。
[0142]
假设样本分析序列对应的每个第二样本分组序列:第一样本分组序列对应的初始分组参数:则初始模型参数进一步的,针对每个第一样本分组序列,计算第一样本分组序列对应的初始分组参数的分组参数和,即针对每一行初始分组数据,计算所有列初始分组参数的分组参数和,初始分组参数的分组参数和:由此,上述过程依次为:《gp|gx》-》《p|x》-》p[n]=sum《p|x》。
[0143]
进一步的,基于预测分析序列与样本分析序列,对初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0144]
其中,可以将样本流形数据、样本分析序列以及第一排序序列,则ram=[x,y,sx],依次确定x-》sx-》gx,其中,gx[g]=sx[bx:ex],则依次确定y-》《y|x》-》《sy|sx》-》《csy|sx》,其中,《gy|gx》=《csy(bx:ex)|sx》。
[0145]
其中,依次确定《gp|gx》=《gy|gx》

p

《sp|sx》,则分组参数和p=∑pm,由此,上述过程依次为:
[0146]
p[n]-》《sp|sx》-》《csp|sx》-》《gp|gx》=《csp[bx:ex]|sx》。
[0147]
进一步的,可以基于全部或部分的预测分析序列与全部或部分的第二样本分组序列对应的分析结果和,计算多个分析差值,则数值最大的分析差值:则分析差值的均值:
[0148]
可选的,若则数值最大的分析差值大于预
设容错值,或者,若则分析差值的均值大于预设容错值,则初始模型参数进行迭代调整,直至则数值最大的分析差值小于或等于预设容错值,或者,则分析差值的均值小于或等于预设容错值,则可以得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0149]
由此,在本发明实施例中,可以采用不同的方式对样本流形数据进行分组,并对每个第一样本分组序列对应的分组参数和,然后根据每个第一样本分组序列对应的分组参数和,准确的确定初始模型参数。
[0150]
进一步的,以样本流形数据可以为样本分析序列样本分析序列为例对上述过程继续进行分析。以x1,

,x5属于第一组g1,x6,

,x
10
属于第二组g2,则bx=[1,6]为g1和g2的初始索引,ex=[5,10]为g1和g2的结束索引,令gy=[gy1,gy2],其中,gy1=y1+

+y5,gy2=y6+

+y
10
,并且,设置初始模型参数的分组参数和p0=[p
01
,p
02
]。
[0151]
进一步的,计算数值最大的分析差值若数值最大的分析差值大于预设容错值,则p
11
=gy1/p
01
,p
12
=gy2/p
02
,即p
new
=p1=[p
11,
p
12
],p
old
=p0,根据p
new
=p1=[p
11
,p
12
],p
old
=p0,继续计算数值最大的分析差值,若数值最大的分析差值大于预设容错值,则p
21
=p
11
,p
22
=gy2/p
12
,即p
new
=p2=[p
21
,p
22
],p
old
=p1,根据p
new
=p2=[p
21
,p
22
],p
old
=p1,继续计算数值最大的分析差值,若数值最大的分析差值小于或等于预设容错值,则pk=[p
k1
,p
k2
]为最终模型参数,由此,上述过程依次为:《gp|gx》
new
=《gy|gx》/《gp|gx》
old
,max|《gp|gx》-《gy|gx》|《err。
[0152]
本发明实施例还提供了用于实现上述的流形数据分析方法的流形数据分析装置,下面结合图3进行说明。在本发明实施例中,该流形数据分析装置可以为电子设备。其中,电子设备可以包括移动终端、平板电脑、车载终端、可穿戴电子设备、虚拟现实(virtual reality,vr)一体机、智能家居设备等具有通信功能的设备。
[0153]
图3示出了本发明实施例提供的流形数据分析装置的结构示意图。
[0154]
如图3所示,流形数据分析装置300可以包括:多目标流形数据获取模块310和分析结果确定模块320。
[0155]
多目标流形数据获取模块310,用于获取多目标流形数据;
[0156]
分析结果确定模块320,用于将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0157]
在本发明实施例中,在获取多目标流形数据之后,能够将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的分析结果,由于流形数据分析模型
利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到,使得利用流形数据分析模型,能够很好的分析高维度的流形数据,保证流形数据分析的准确性,可以适用于海量的高维流形数据进行分析,具有很好的推广应用价值。
[0158]
可选的,该装置还包括:样本获取模块和训练模块;
[0159]
样本获取模块,可以用于获取样本流形数据、样本流形数据对应的样本分析序列以及初始分析模型的初始模型参数;
[0160]
训练模块,可以用于基于样本流形数据和样本分析序列,对流形空间内的初始分析模型的初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0161]
可选的,训练模块可以包括:分组单元、预测分析序列计算单元和训练单元;
[0162]
分组单元,可以用于对样本流形数据进行分组,得到样本流形数据的多个第一样本分组序列;
[0163]
预测分析序列计算单元,可以用于基于各个第一样本分组序列中的样本流形数据分别对应的初始模型参数,计算初始分析模型的预测分析序列;
[0164]
训练单元,可以用于基于预测分析序列与样本分析序列,对初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定多目标流形数据的分析结果的流形数据分析模型。
[0165]
可选的,分组单元还可以用于,基于样本流形数据的每个维度的特征,对样本流形数据进行排序,得到样本流形数据分别对应的第一排序序列;
[0166]
对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的多个第一样本分组序列。
[0167]
可选的,分组单元还可以用于,基于第一排序序列对应的样本流形数据的数据量,确定样本流形数据的第一分组切分点;
[0168]
根据第一分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0169]
可选的,分组单元还可以用于,将第一排序序列对应的样本流形数据输入初始分析模型,得到样本流形数据对应的预测分析序列;
[0170]
基于预测分析序列中的各个预测分析结果对应的概率值,确定样本流形数据的第二分组切分点;
[0171]
根据第二分组切分点,对第一排序序列对应的样本流形数据进行分组,得到样本流形数据的至少两个第一样本分组序列。
[0172]
可选的,预测分析序列计算单元还可以用于,基于第一样本分组序列,确定初始模型参数的初始分组参数;
[0173]
针对每个第一样本分组序列,计算第一样本分组序列对应的初始分组参数的分组参数和,得到初始分析模型的预测分析序列,分组参数和为第一样本分组序列对应的初始分组参数中所有初始模型参数的和。
[0174]
可选的,该装置还包括:第二样本分组序列确定模块;
[0175]
第二样本分组序列确定模块,可以用于基于第一样本分组序列,确定样本分析序列对应的多个第二样本分组序列;
programmable rom,eeprom)、电可改写rom(electrically alterable rom,earom)或闪存,或者两个或及其以上这些的组合。
[0191]
处理器401通过读取并执行存储器402中存储的计算机程序指令,以执行本发明实施例所提供的流形数据分析方法的步骤。
[0192]
在一个示例中,该流形数据分析设备还可包括收发器403和总线404。其中,如图4所示,处理器401、存储器402和收发器403通过总线404连接并完成相互间的通信。
[0193]
总线404包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(accelerated graphics port,agp)或其他图形总线、增强工业标准架构(extended industry standard architecture,eisa)总线、前端总线(front side bus,fsb)、超传输(hyper transport,ht)互连、工业标准架构(industrial standard architecture,isa)总线、无限带宽互连、低引脚数(low pin count,lpc)总线、存储器总线、微信道架构(micro channel architecture,mca)总线、外围控件互连(peripheral component interconnect,pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technology attachment,sata)总线、视频电子标准协会局部(video electronics standards association local bus,vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线404可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
[0194]
在本发明实施例中,可选的,处理器可以为由现场可编程逻辑门阵列。
[0195]
其中,现场可编程逻辑门阵列可以用于处理n行m列的多目标流形数据,现场可编程逻辑门阵列可以通过管道,对n行m列的多目标流形数据进行处理。
[0196]
图5示出了本发明实施例提供的现场可编程逻辑门阵列的结构示意图。
[0197]
如同5所示,现场可编程逻辑门阵列包括n个管道,csy为每个第二样本分组序列对应的样本分析结果的分析结果和,yg为样本分析序列对应的每个第二样本分组序列,bx为gx[n]的初始索引,ex为gx[n]的结束索引。
[0198]
具体的,对于每个列m,即第m个维度变量,以第一行第一组数据开始,即以n=1,g=1开始,获取第m个维度变量的第g个分组的起始位置bxgm,并获取第m个维度变量的第g个分组的结束位置exgm,从第g个分组开始,通过exgm确定每个第二样本分组序列对应的样本分析结果的分析结果和csy
bxgm,m
,通过exgm确定每个第二样本分组序列对应的样本分析结果的分析结果和csy
exgm,m
,则第m个变量的第g组的y值ygm=csy
exgm,m
—csy
bxgm,m
。基于每个第二样本分组序列对应分析结果和,以及预测分析序列,迭代计算n=n+1,if bxgm=exgm,g=g+1,即对初始模型参数进行迭代调整,直至当前调整次数下的当前模型参数稳定,得到用于确定所述多目标流形数据的分析结果的流形数据分析模型。
[0199]
以下是本发明实施例提供的计算机可读存储介质的实施例,该计算机可读存储介质与上述各实施例的流形数据分析方法属于同一个发明构思,在计算机可读存储介质的实施例中未详尽描述的细节内容,可以参考上述流形数据分析方法的实施例。
[0200]
本实施例提供计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行流形数据分析方法,该方法包括:
[0201]
获取多目标流形数据;
[0202]
将多目标流形数据输入预先训练好的流形数据分析模型,得到多目标流形数据的
分析结果,流形数据分析模型利用样本流形数据和样本流形数据对应的样本分析序列,对流形空间内的初始分析模型训练得到。
[0203]
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的流形数据分析方法中的相关操作。
[0204]
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机云平台(可以是个人计算机,服务器,或者网络云平台等)执行本发明各个实施例所提供的流形数据分析方法。
[0205]
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1