一种多元数据微融合的方法与流程

技术特征：

1.一种多元数据微融合的方法，其特征在于，包括如下步骤：

步骤一，多元变量数据集X＝{x₁,x₂,...,x_N}，其中每一个数据元素x_i是一个n元变量x_i＝{y_i1,y_i2,...,y_in}，为了匿名保护，将数据集X分组，每一组的数据数量不小于k；

步骤二，计算数据集的全局中心以及各个数据之间的欧式距离；

步骤三，判断数据集中剩余数据的数量，如果小于k，转到步骤六，否则计算距离全局中心最远的数据，并生成一个新的分组；

步骤四，依次选择距离分组数据中心最近的数据加入到分组，新的数据加入后重新计算分组中心，直至分组数据数量为k；

步骤五，对分组进行扩展，使用分组的中心判断新的数据是否加入，并保证每一个分组的数量不超过2k-1，转至步骤二；

步骤六，将剩余的数据分别添加到信息损失增加最小的分组，并输出分组结果。

2.根据权利要求1所述的多元数据微融合的方法，其特征在于，所述步骤一包括如下步骤：

步骤1.1，数据集大小N远大于k,分组的目的为了保护匿名隐私，信息损失衡量分组带来的数据信息丢失程度，信息损失越小数据的保真度越高；

步骤1.2，假设得到N_k个分组G＝{g₁,g₂,...,g_Nk}，对于分组g_i，其组内平方和为：

${\mathrm{sse}}_i=\underset{j=1}{\overset{n_i}{\Σ}}{(x_{ij}-{\stackrel{\‾}{x}}_i)}^T(x_{ij}-{\stackrel{\‾}{x}}_i)$

其中n_i为数据数量，T是转置，x_ij与分别为g_i中第j个元素和中心，所有的组内平方和为：

$SSE=\underset{i=1}{\overset{N_k}{\Σ}}{\mathrm{sse}}_i=\underset{i=1}{\overset{N_k}{\Σ}}\underset{j}{\overset{n_i}{\Σ}}{(x_{ij}-{\stackrel{\‾}{x}}_i)}^T(x_{ij}-{\stackrel{\‾}{x}}_i)$

SSE描述了数据分组后的一致性；

步骤1.3，数据集X的所有平方和为：

$SST=\underset{i=1}{\overset{N_k}{\Σ}}\underset{j}{\overset{n_i}{\Σ}}{(x_{ij}-\stackrel{\‾}{x})}^T(x_{ij}-\stackrel{\‾}{x})$

其中为数据集的全局中心，可以知道SST与数据的分组无关，当数据集给定后SST也就确定了；

步骤1.4，分组的信息损失定义为SSE与SST的比值：

$IL=\frac{SSE}{SST}$

可以知道IL仅与SSE相关，最小化IL只需要最小SSE。

3.根据权利要求1所述的多元数据微融合的方法，其特征在于，所述步骤二包括如下步骤：

步骤2.1，对于数据集X，其全局中心为：

$\stackrel{\‾}{x}=\frac{{\mathrm{\Σ}}_{i=1}^N{x}_i}{N}$

即：

${\stackrel{\‾}{y}}_j=\frac{{\Σ}_{i=1}^N{x}_{ij}}{N},\∀j=1,2,...,n$

步骤2.2，对于数据集X中的任意两个元素x_i,x_j其欧式距离定义为：

$d(x_i,x_j)=\sqrt{{(x_i-x_j)}^T(x_i-x_j)}=\sqrt{{\Σ}_{l=1}^n{(y_{il}-y_{jl})}^2}.$

4.根据权利要求1所述的多元数据微融合的方法，其特征在于，所述步骤四包括如下步骤：

步骤4.1，对于分组g_i，假设已经有n_i个数据，则该分组的中心为：

${\stackrel{\‾}{x}}_i=\frac{{\Σ}_{j=1}^{n_i}{x}_{ij}}{n_1}$

选择距离最近的数据加入到分组g_i中，并更新直至g_i的数据数量为k；

步骤4.2,对于分组g_i，其中心的更新按照如下方式：

${\stackrel{\‾}{x}}_i=\frac{n_i{\stackrel{\‾}{x}}_i+x^{\′}}{n_i+1}$

其中x′是新加入的数据；

步骤4.3，选择距离分组中心最近的数据元素加入是为了减少信息损失的增加量，假设x′需要加入到分组g_i中，原组内平方和sse_i为：

$\begin{array}{c}{\mathrm{ssee}}_i=\underset{j=1}{\overset{n_i}{\Σ}}{(x_{ij}-{\stackrel{\‾}{x}}_i)}^T(x_{ij}-{\stackrel{\‾}{x}}_i)=\underset{j=1}{\overset{n_i}{\Σ}}\underset{l=1}{\overset{n}{\Σ}}{(y_{ijl}-{\stackrel{\‾}{y}}_{il})}^2\\ =\underset{l=1}{\overset{n}{\Σ}}(\underset{j=1}{\overset{n_i}{\Σ}}{y}_{ijl}^2-\frac{{\left({\Σ}_{m=1}^{n_i}{y}_{iml}\right)}^2}{n_i})\end{array}$

当x′加入时，组内平方和变为：

$\begin{array}{c}{\mathrm{sse}}_i^{\′}=\underset{j=1}{\overset{n_i+1}{\Σ}}{(x_{ij}-{\stackrel{\‾}{x}}_i)}^T(x_{ij}-{\stackrel{\‾}{x}}_i)=\underset{j=1}{\overset{n_i+1}{\Σ}}\underset{l=1}{\overset{n}{\Σ}}{(y_{ijl}-{\stackrel{\‾}{y}}_{il})}^2\\ =\underset{l=1}{\overset{n}{\Σ}}(\underset{j=1}{\overset{n_i+1}{\Σ}}{y}_{ijl}^2-\frac{{\left({\Σ}_{m=1}^{n_i+1}{y}_{iml}\right)}^2}{n_i+1})\end{array}$

这里将x′看做是第(n_i+1)个元素，那么组内平方和的增加为：

$\begin{array}{c}{\mathrm{\Δ}}_i={\mathrm{sse}}_i^{\′}-{\mathrm{sse}}_i\\ =\frac{n_i}{n_i+1}\underset{l=1}{\overset{n}{\Σ}}{(y_l^{\′}-{\stackrel{\‾}{y}}_{il})}^2\end{array}$

即，选择距离分组中心最近的数据加入能够减少组内平方和的增加，也就减少信息损失的增加。

5.根据权利要求1所述的多元数据微融合的方法，其特征在于，所述步骤五包括如下步骤：

步骤5.1，在每个分组数据数量不小k时，最优分组大小应该在k与2k-1之间，因此，在扩展分组的大小时不能超过2k-1；

步骤5.2，假设距离g_i中心最近的数据为x_out，其距离为在没有被加入分组的数据集中，距离x_out最近距离为d_out，如果满足：

$d({\stackrel{\‾}{x}}_i,x_{out})\<{\mathrm{\βd}}_{out}$

则将x_out加入到g_i；

步骤5.3，当上式不满足或者分组大小到达2k-1则终止。

6.根据权利要求1所述的多元数据微融合的方法，其特征在于，所述步骤六包括如下步骤：

步骤6.1，对于剩余的数据，比较其距离已有的分组的中心，选择最小的分组加入；

步骤6.2，其中是数据加入分组时组内平方和增加的系数，加入后更新该分组的中心。