一种基于KNN的改进缺失数据填补算法的制作方法

技术特征：

1.一种基于KNN的改进缺失数据填补算法，其特征在于包括步骤：

(1)对数据属性进行精简预处理，包括步骤：

设数据集X＝{X₁，X₂，…，X_n}，n为事例的个数；定义数据集中第i条事例X_i的属性j值为x_ij，将x_ij表示为：

x_ij＝k_1jx_i1+k_2jx_i2+…k_tjx_it+…+k_mjx_im，t≠j

式(1)中，m为X_i的属性总数目，k_tj表示属性t对于属性j的权重系数；

定义属性t和属性j之间的相关系数为p_tj，p_tj的表达式为：

$p_{tj}=\frac{{\Σ}_{i=1}^n(x_{it}-\stackrel{\‾}{x_t}){\mathrm{\Σ}}_{i=1}^n(x_{ij}-\stackrel{\‾}{x_j})}{\sqrt{{\Σ}_{i=1}^n{(x_{it}-\stackrel{\‾}{x_t})}^2}-\sqrt{{\Σ}_{i=1}^n{(x_{ij}-\stackrel{\‾}{x_j})}^2}}$

计算权重系数k_tj为：

$k_{tj}=\frac{{\left|p_{tj}\right|}^{-1}}{{\Σ}_{j=1}^m{\left|p_{tj}\right|}^{-1}}$

设置阈值A，当满足k_tj＜A时，删除属性t；

(2)选择缺失事例的邻近样本，包括步骤：

基于步骤(1)精简后的剩余属性数据，分别计算缺失事例各属性之间的马氏距离以及缺失事例与其他事例间的灰色相关系数；根据计算出的马氏距离和灰色相关系数计算邻近样本选择距离：

$D_{ist}(x_a,x_i)=\frac{CRG(x_a,x_i)+Mahal(x_{aj},x_{ij})}{2}$

a∈[1，2，…，n]且a≠i

式中，CRG(x_a，x_i)表示事例X_a与X_i之间的灰色关联度，Mahal(x_aj，x_ij)表示属性x_a与x_i之间的马氏距离；

从数据集X中挑选出与缺失事例之间的距离d_k满足d_k≤D_ist(x_t，x_i)的K个完整事例，k∈[1，2，…，K]；

(3)计算缺失事例的填补估计值，包括步骤：

将步骤(2)中选出的K个完整事例形成的数据集记为Y＝[y₁，y₂，…，y_k，…，y_K]

$y_k=\frac{x_k-\min \left(x_k\right)}{\max \left(x_k\right)-\min \left(x_k\right)}$

计算事例y_k对应属性的熵权值E_k为：

E_k＝-Mp_klnp_k

$M=\frac{1}{\ln K}$

$p_k=\frac{y_k}{{\Σ}_{k=1}^K{y}_k}$

根据熵权值E_k计算事例y_k的属性权值：

$w_k=\frac{1-E_k}{K-{\Σ}_{k=1}^K{E}_k}$

其中，0≤w_k≤1，

计算缺失事例的填补估计值为：

$X_i=\frac{1}{K}\underset{i=1}{\overset{K}{\Σ}}{w}_K{x}_{iK}.$

2.根据权利要求1所述的一种基于KNN的改进缺失数据填补算法，其特征在于，所述步骤(2)中的马氏距离Mahal(x_tj，x_ij)的计算方法为：

$Mahal(x_{aj},x_{ij})=\sqrt{{(x_{aj}-x_{ij})}^T{\Σ}^{-1}(x_{aj}-x_{ij})}$

式中，T代表转置矩阵，Σ代表样本协方差。

3.根据权利要求2所述的一种基于KNN的改进缺失数据填补算法，其特征在于，所述步骤(2)中的灰色相关系数的计算方法为：

将所有属性值均量化到区间[0，1]，计算事例X_a与事例X_i在属性p上灰色相关系数为：

$GRC(x_{ap},x_{ip})=\frac{{\min }_{\∀i}{\min }_{\∀q}\left|x_{aq}-x_{iq}\right|+{\mathrm{\ρmax}}_{\∀i}{\max }_{\∀q}\left|x_{aq}-x_{iq}\right|}{\left|x_{ap}-x_{ip}\right|+{\mathrm{\ρmax}}_{\∀i}{\max }_{\∀q}\left|x_{aq}-x_{iq}\right|}$

式中，ρ为调整参数，ρ∈(0，1)；q∈[1，2，…，m]；

根据GRC(x_ap，x_ip)计算事例X_a与事例X_i之间的灰色相关系数为：

$GRC(x_a,x_i)=\frac{1}{m}\underset{q=1}{\overset{m}{\Σ}}{w}_{q}GRC(x_{aq},x_{iq}).$