基于张量分解的异构大数据因子特征提取的方法及系统与流程

本发明涉及张量数据处理技术领域，尤其涉及基于张量分解的异构大数据因子特征提取的方法及系统。

背景技术：

近年来，随着互联网、物联网、云计算等高新信息技术的迅猛发展，信息社会已经进入大数据时代。现实世界大量的感知设备、智能产品、网络通信、社交媒体等源源不断的产生海量异构的高维数据汇集在信息-物理-社会空间(cpss)。相对于大数据典型特征，如数据规模大(volume)、类型多(variety)、产生速度快(velocity)、数据不完整(veracity)、价值密度低(value)等，多样化的数据来源以及组织方式导致了cpss大数据具有多源、异构、高维、混杂等特点。同时随着数据的源源不断产生以及不同应用领域数据之间的深度融合，cpss系统中的数据结构以及关联关系变得更加复杂。直接对cpss中采集的低质、高维、海量数据进行处理与分析，一方面会给计算机带来巨大的存储与计算开销，另一方面由于数据的低质、冗余效应，直接影响各种模式识别、机器学习等任务的效率与精度。

为了解决高维数据带来的维度灾难问题，工程上通常会对原始观测数据进行特征提取与数据降维，这不仅可以降低数据特征空间的维度，减少各种学习任务的数据存储空间，而且可以对原始数据进行降噪以及提高学习任务的精度。现有技术中，通过基于张量的流形学习方法保持原始数据固有流形的局部结构或几何性质来实现降维，但降维提取的数据特征难以保留原始张量数据嵌入在高维空间中的低维流形结构。

技术实现要素：

本申请实施例通过提供基于张量分解的异构大数据因子特征提取的方法及系统，解决现有对张量数据降维提取的数据特征难以保留原始张量数据嵌入在高维空间中的低维流形结构的技术问题。

一方面，本申请通过本申请的一实施例提供如下技术方案：

一种基于张量分解的异构大数据因子特征提取的方法，所述方法包括：

获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；

基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；

对g进行特征值分解，获得

对g^1/2进行张量化操作，获得系数张量g；

将x^(k)与g进行多模乘，获得变换后的张量数据

根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y；

对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；

基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；

基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

可选的，所述对g^1/2进行张量化操作，获得系数张量g，具体包括：

利用如下公式计算获得系数张量g：

其中，reshape表示重组函数。

可选的，所述将x^(k)与g进行多模乘，获得变换后的张量数据具体包括：

利用如下公式变化获得

其中，具体的元素运算如下：

可选的，所述根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y，具体包括：

利用如下公式计算获得n+1阶张量y：

其中，cat表示数组联结函数。

可选的，所述基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征，具体包括：

提取所述n+1个正交因子矩阵中第n+1个因子矩阵u⁽ⁿ⁺¹⁾的每行向量；其中，所述每行向量的第k行对应第k个原始张量数据x^(k)的低维因子特征。

可选的，所述基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离，具体包括：

利用如下公式计算获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离：

其中，jn+1表示正交tucker-n模式分解中奇异值分解的有效秩。

可选的，在基于所述张量数据，获得由元素glm构成的系数矩阵g之前，所述方法还包括：

对所述张量数据进行预处理，获得预处理后的张量数据；

其中，利用如下公式对所述张量数据进行预处理：

所述基于所述张量数据，获得由元素glm构成的系数矩阵g，包括：

基于所述预处理后的张量数据，获得由元素glm构成的系数矩阵g。

另一方面，本申请通过本申请的另一实施例提供一种基于张量分解的异构大数据因子特征提取的系统，所述系统包括：

数据获取模块，用于获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；

第一获得模块，用于基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；

第二获得模块，用于对g进行特征值分解，获得

第三获得模块，用于对g^1/2进行张量化操作，获得系数张量g；

第四获得模块，用于将x^(k)与g进行多模乘，获得变换后的张量数据

第五获得模块，用于根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y；

第六获得模块，用于对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；

第七获得模块，用于基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；

第八获得模块，用于基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

本发明公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明的方法，首先获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；为了使张量数据所提取低维特征能够保持原始张量数据的张量距离，并减少运算复杂度，需要对样本进行多模乘变换，而在此之前，需要首先基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；对g进行特征值分解，获得对g^1/2进行张量化操作，获得系数张量g；在获得系数张量后，为了避免大规模样本数据在向量化操作以及矩阵乘法变换时，带来额外的时间开销，直接将x^(k)与g进行多模乘，获得变换后的张量数据为了提取张量数据的有效特征，并且尽可能的保持原始多个张量数据之间的全局信息，本发明的方法根据n+1阶张量的正交tucker-n分解模型，将变换后的k个张量数据y^(k)沿第n+1阶进行串联，获得n+1阶张量y；并对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。不仅对k个张量数据同时进行了降维，且由于对k个张量数据串联后，再进行正交tucker-n模式分解，其获得的低维因子特征保持原始k个张量数据的全局信息，使任意两个张量数据的低阶、低维因子特征距离等于相对应的两个原始张量数据之间的张量距离，因此，利于后续直接对提取到的低维因子特征进行深度处理与分析，从而获得更准确的分析结果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一种实施例中的基于张量分解的异构大数据因子特征提取的方法流程图；

图2是本发明一种实施例中的基于张量分解的异构大数据因子特征提取的系统结构图。

具体实施方式

本申请实施例通过提供基于张量分解的异构大数据因子特征提取的方法，解决了现有对张量数据降维提取的数据特征难以保留原始张量数据嵌入在高维空间中的低维流形结构的技术问题。

本申请实施例的技术方案为解决上述技术问题，总体思路如下：

一种基于张量分解的异构大数据因子特征提取的方法，所述方法包括：获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；对g进行特征值分解，获得对g^1/2进行张量化操作，获得系数张量g；将x^(k)与g进行多模乘，获得变换后的张量数据根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y；对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

近年来，随着互联网、物联网、云计算等高新信息技术的迅猛发展，信息社会已经进入大数据时代。现实世界大量的感知设备、智能产品、网络通信、社交媒体等源源不断的产生海量异构的高维数据汇集在信息-物理-社会空间(cpss)。相对于大数据典型特征，如数据规模大(volume)、类型多(variety)、产生速度快(velocity)、数据不完整(veracity)、价值密度低(value)等，多样化的数据来源以及组织方式导致了cpss大数据具有多源、异构、高维、混杂等特点。同时随着数据的源源不断产生以及不同应用领域数据之间的深度融合，cpss系统中的数据结构以及关联关系变得更加复杂。直接对cpss中采集的低质、高维、海量数据进行处理与分析，一方面会给计算机带来巨大的存储与计算开销，另一方面由于数据的低质、冗余效应，直接影响各种模式识别、机器学习等任务的效率与精度。

为了解决高维数据带来的维度灾难问题，工程上通常会对原始观测数据进行特征提取与数据降维，这不仅可以降低数据特征空间的维度，减少各种学习任务的数据存储空间，而且可以对原始数据进行降噪以及提高学习任务的精度。其中，一方面，最具代表性的特征提取方法有小波变换、主成分分析(pca)、核主成分分析(kpca)、独立成分分析(ica)以及线性判别分析(lda)等，利用数学方法分析原始数据本身的特征属性，将原始数据转化为低维子空间中具有较大区分性的特征。然而，这些方法都是基于矩阵或者向量的方法对原始数据进行处理分析的，需要对原始数据进行向量化处理，这在很大程度上破坏了原始数据的结构信息，同时，高维数据的矢量化表示也会带来维度灾难和很高的计算复杂度等问题。另一方面，现有技术还提出了一些基于张量的流形学习方法，主要包括张量邻域保持嵌入(tensorneighborhoodpreservingembedding，tnpe)、张量局部保持投影(tensorlocalitypreservingprojection，tlpp)以及张量局部判别嵌入(tensorlocaldiscriminantembedding，tlde)等，这些方法通过保持原始数据固有流形的局部结构或几何性质来实现降维。但降维提取的数据特征往往不能最大限度地保留原始数据嵌入在高维空间中的低维流形结构，导致低维子空间的特征区分性不够理想，同时，基于张量的流形学习方法也存在较高的计算复杂度。

为此，本申请提供了如下实施例，以解决大数据融合的问题。

实施例一

本实施例提供一种基于张量分解的异构大数据因子特征提取的方法，参见图1，所述方法包括：

s101、获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；

s102、基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；

s103、对g进行特征值分解，获得

s104、对g^1/2进行张量化操作，获得系数张量g；

s105、将x^(k)与g进行多模乘，获得变换后的张量数据

s106、根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y；

s107、对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；

s108、基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；

s109、基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

需要说明的是，本申请中张量数据就是异构大数据的张量表现形式，但并不限于大数据，异构大数据是指多样化的数据来源以及组织方式生成的信息-物理-社会空间(cpss)大数据，具有多源、异构、高维、混杂等特点。在实际应用中，往往需要对大规模高维张量数据进行模式识别、计算机视觉等任务，而在此之前，需要对高维张量数据进行降维，但现有方法都是针对单个张量数据继续降维，并重点考虑每个张量数据降维后的特征保持，因此，并未考虑张量数据之间的特征保持，例如，原始张量距离特征的保持，对于应用于图像处理任务非常重要。而本发明的方法对张量数据进行拼接后，再提取特征，最大限度的保留了原始张量数据的全局因子特征，后续可直接对提取到的低维因子特征进行深度处理与分析。

下面结合附图，对各步骤进行详细的解释。

参见图1，首先执行s101，获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度。

需要说明的是，获取的张量的数据包括各种场景的，因此，本实施例中的张量数据并不受限制性。在具体应用时，可根据具体的模式识别或计算机视觉任务，从不同空间采集的多源异构相关数据，根据融合跨域异构特征空间构建张量数据集。其中，不同空间以及跨域异构特征空间，包括信息空间、物理空间和社会空间中的一种或多种。

接下来，执行s102，基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离。

需要说明的是，对于高阶张量数据，张量距离能够很好的捕获数据间的不同维度之间的关系以及数据的内在结构。因此，对于张量数据的降维处理，最大限度的保留其距离特征，对降维后的数据处理显得尤为重要。在具体实施过程中，为了使张量数据所提取的低维特征能够保持原始数据的张量距离，并减少运算复杂度，需要对张量数据进行多模乘变换。但在进行多模乘之前，需要获得系数矩阵，具体方法如下：

将张量数据的张量距离定义为：

td表示张量距离，英文全称tensordistance，x，y分别表示张量数据的向量化结果，张量数据中的元素对应向量化后的元素为向量化的结果与相同。其中σ是正则化参数，是张量数据的元素和的位置距离：g是由元素glm构成的系数矩阵。

为了便于对张量数据的后续处理，在基于所述张量数据，获得由元素glm构成的系数矩阵g之前，所述方法还包括：

对所述张量数据进行预处理，获得预处理后的张量数据；

其中，利用如下公式对所述张量数据进行预处理：

接下来，执行s103，对g进行特征值分解，获得

s102中获得的g是非负对称矩阵，可直接对g进行特征值分解令

则s102中的张量距离可以进一步表示为：

接下来，执行s104，对g^1/2进行张量化操作，获得系数张量g。

对g^1/2进行张量化操作，即将成2n阶张量。在具体实施过程中，利用如下公式计算获得系数张量g：

其中，reshape表示重组函数。

接下来，执行s105，将x^(k)与g进行多模乘，获得变换后的张量数据

为了避免大规模样本数据在向量化操作以及矩阵乘法变换时，带来额外的时间开销，直接将张量数据与系数张量进行多模乘，得到变换后的张量数据数据，具体操作为：其中，具体的元素运算步骤如下：

接下来，执行s106，根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y。

需要说明的是，为了提取张量数据的有效特征，并且尽可能的保持原始张量数据的全局信息，这里的原始张量数据全局信息指的是尽可能的保持原始张量数据任意两个数据点的张量距离。为此，首先执行s106，将k个张量数据进行串联，作为一种可的实施方式，所述根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y，具体包括：

利用如下公式计算获得n+1阶张量y：

其中，cat表示数组联结函数。

接下来，执行s107，对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵。

具体的，可首先进行高阶奇异值分解，再对分解结果进行正交tucker-n模式分解，分解结果简记为y≈f×1u⁽¹⁾×2u⁽²⁾…×nu⁽ⁿ⁾×n+1u⁽ⁿ⁺¹⁾，分解结果由n+7个列正交因子矩阵和一个核心张量组成。

需要说明的是，这里获得n+1个正交因子矩阵的原因是：尽可能的保证对因子特征的全面提取。

接下来，执行s108，基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征。

在具体实施过程中，因子特征提取方法如下：

对于s107分解结果y≈f×1u⁽¹⁾×2u⁽²⁾…×nu⁽ⁿ⁾×n+1u⁽ⁿ⁺¹⁾，进一步改写成如下形式：为了方便，简记sv＝s(：，…，：，v)，对于第k张量数据其中。表示外积，第n+1个因子矩阵u⁽ⁿ⁺¹⁾的第k行对应第k个原始张量数据x^(k)的低维表示特征，记为ui，：⁽ⁿ⁺¹⁾，sv＝f(：，…，：，v)×1u⁽¹⁾×2u⁽²⁾…×nu⁽ⁿ⁾，且满足：且其中

对于提取的因子特征矩阵u⁽ⁿ⁺¹⁾，u⁽ⁿ⁺¹⁾的每一个长度为jn行向量对应一个原始张量数据的低阶、低维表示特征。

接下来，执行s109，基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

计算提取的第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离为：

按照上述方式计算的加权特征距离满足：

需要说明的是，对于提取的因子特征u⁽ⁿ⁺¹⁾，将u⁽ⁿ⁺¹⁾的每一行作为对应的原始张量数据的低维表示特征，保持了原始数据的全局信息，即任意两个样本的低阶、低维因子特征距离等于相对应的两个原始张量数据之间的张量距离，后面可直接对提取到的因子特征进行深度处理与分析。在大规模高维张量数据进行模式识别、计算机视觉等任务前，进行本实施例方法的处理，对原始的高维张量数据进行全局特征提取与降维预处理，不但可降低数据存储与计算开销，还能提高对高维张量数据处理分析效率与精度。

考虑到在具体执行本实施的步骤过程中，任务数据实时产生，对于新增数据也要快速、准确的进行处理与特征提取。对此，新增数据的因子特征提取过程如下：对于新增数据首先对其进行零均值化等预处理过程以及相应的多模乘变换，再对变换后的张量数据计算其低维因子特征：f′←y′×1u^(1)t×2u^(2)t…×nu^(n)t。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

本实施的方法，首先获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；为了使张量数据所提取低维特征能够保持原始张量数据的张量距离，并减少运算复杂度，需要对样本进行多模乘变换，而在此之前，需要首先基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；对g进行特征值分解，获得对g^1/2进行张量化操作，获得系数张量g；在获得系数张量后，为了避免大规模样本数据在向量化操作以及矩阵乘法变换时，带来额外的时间开销，直接将x^(k)与g进行多模乘，获得变换后的张量数据为了提取张量数据的有效特征，并且尽可能的保持原始多个张量数据之间的全局信息，本发明的方法根据n+1阶张量的正交tucker-n分解模型，将变换后的k个张量数据y^(k)沿第n+1阶进行串联，获得n+1阶张量y；并对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。不仅对k个张量数据同时进行了降维，且由于对k个张量数据串联后，再进行正交tucker-n模式分解，其获得的低维因子特征保持原始k个张量数据的全局信息，使任意两个张量数据的低阶、低维因子特征距离等于相对应的两个原始张量数据之间的张量距离，因此，利于后续直接对提取到的低维因子特征进行深度处理与分析，从而获得更准确的分析结果。

实施例二

基于与实施例一相同的发明构思，本实施例提供基于张量分解的异构大数据因子特征提取系统，参见图2，所述系统包括：

数据获取模块，用于获取社会物理信息系统中的k个n阶张量数据i1，i2，…in表示n个特征空间的维度；

第一获得模块，用于基于所述张量数据，获得由元素glm构成的系数矩阵g；其中，σ是正则化参数，是两个所述张量数据的位置距离；

第二获得模块，用于对g进行特征值分解，获得

第三获得模块，用于对g^1/2进行张量化操作，获得系数张量g；

第四获得模块，用于将x^(k)与g进行多模乘，获得变换后的张量数据

第五获得模块，用于根据n+1阶张量的正交tucker-n分解模型，将y^(k)沿第n+1阶进行串联，获得n+1阶张量y；

第六获得模块，用于对y进行正交tucker-n模式分解，获得n+1个正交因子矩阵；

第七获得模块，用于基于所述n+1个正交因子矩阵，获得所述张量数据x^(k)的低维因子特征；

第八获得模块，用于基于所述张量数据x^(k)的低维因子特征，获得第m个张量数据的因子特征与第n个张量数据的因子特征之间的加权距离。

由于本实施例所介绍的基于张量分解的异构大数据因子特征提取系统为实现本申请实施例基于张量分解的异构大数据因子特征提取方法所采用的系统，故而基于本申请实施例一中所介绍的基于张量分解的异构大数据因子特征提取方法，本领域所属技术人员能够了解本实施例的系统的具体实施方式以及其各种变化形式，所以在此对于如何利用本中的系统实现实施例一中的方法不再详细介绍。只要本领域所属技术人员用于实现本申请实施例中基于张量分解的异构大数据因子特征提取方法所采用的系统，都属于本申请所欲保护的范围。

基于与前述实施例中同样的发明构思，本发明实施例还提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。

基于与前述实施例中同样的发明构思，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文任一所述方法的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。