基于变分推断和张量神经网络的知识库补全方法与流程

技术特征：

1.基于变分推断和张量神经网络的知识库补全方法，其特征在于，包括以下步骤：

S1、根据知识库中的三元组(e_i,e_j,r_k)，构造张量Y；

S2、根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)；

S3、将隐含张量X中的每个元素x_ijk用两层神经网络表示；

S4、给三元组(e_i,e_j,r_k)中的隐含实体变量和隐含关系变量一个高斯先验；

S5、根据贝叶斯框架，假设三元组(e_i,e_j,r_k)中的隐含实体变量和隐含关系变量的后验分布为高斯分布；

S6、根据变分推断，最大化ELOB来近似后验高斯分布，采用SGVB方法优化ELOB，并用随机梯度求解。

2.根据权利要求1所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S1具体为：

假设知识库中的实体个数为N，关系个数为M，构造的张量Y∈R^N×N×M，R^N×N×M为维数是N×N×M的三维实数空间；若知识库中三元组(e_i,e_j,r_k)存在，则张量Y的各维度上的下标对应的元素y_ijk为1，否则y_ijk为0。

3.根据权利要求2所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S2具体为：

根据张量Y，在一个隐含张量X的条件下构造一个似然函数p(Y|X)：

$p\left(Y\right|X)=\underset{i=1}{\overset{N}{\Π}}\underset{j=1}{\overset{N}{\Π}}\underset{k=1}{\overset{M}{\Π}}{\[Ber\left(y_{ijk}\right|\mathrm{\σ}\left(x_{ijk};\mathrm{\α}\right))\]}^{I_{ijk}}---\left(1\right)$

其中Ber(y_ijk|σ(x_ijk；α))是伯努利分布，它的均值是σ(x_ijk；α)，而σ(x_ijk；α)是sigmoid函数，具体形式为I_ijk是一个指示变量，三元组(e_i,e_j,r_k)在训练数据中存在的话，I_ijk值为1，否则I_ijk值为0。

4.根据权利要求3所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S3具体为：

将隐含张量X中的每个元素x_ijk用两层神经网络表示，具体表示为：

x_ijk＝w^Th_ijk+b₀ (2)

其中w为权重向量，b₀表示一个线性偏差；e_i,e_j,r_k∈R^d×1,b∈R^K×1,w∈R^K×d,W₁,W₂,W₃∈R^K×d，K为关系用向量表示之后的维度，d为实体用向量表示之后的维度；是神经网络表示中的权重和偏差；f(·)是激活函数。

5.根据权利要求4所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S4具体为：

三元组(e_i,e_j,r_k)中每个隐含实体变量和每个隐含关系变量都有先验知识，假设隐含实体变量和隐含关系变量均为高斯分布，具体形式如下：

$p\left(e_i\right|{\mathrm{\μ}}_i,{\mathrm{\λ}}_i)=N\left(e_i\right|{\mathrm{\μ}}_E,diag\left({\mathrm{\λ}}_E^{-1}\right))---\left(3\right)$

$p\left(r_k\right|{\mathrm{\μ}}_k,{\mathrm{\λ}}_k)=N\left(r_k\right|{\mathrm{\μ}}_R,diag\left({\mathrm{\λ}}_R^{-1}\right))---\left(4\right)$

其中，p(·)为先验的概率密度函数，N(·)为高斯分布的概率密度函数；μ_i,λ_i分别表示e_i的先验概率密度函数的参数，其值分别为μ_E,μ_k,λ_k分别表示r_k的先验概率密度函数的参数，其值分别为μ_R,分别表示高斯分布的协方差矩阵。

6.根据权利要求5所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S5具体为：

根据贝叶斯框架，三元组(e_i,e_j,r_k)中每个隐含实体变量和每个隐含关系变量的后验分布服从高斯分布，具体形式如下：

$q\left(e_i\right|{\widetilde{\mathrm{\μ}}}_i,{\widetilde{\mathrm{\λ}}}_i)=N\left(e_i\right|{\widetilde{\mathrm{\μ}}}_i,diag\left({{\widetilde{\mathrm{\λ}}}_i}^{-1}\right))---\left(5\right)$

$q\left(r_k\right|{\widetilde{\mathrm{\μ}}}_k,{\widetilde{\mathrm{\λ}}}_k)=N\left(r_k\right|{\widetilde{\mathrm{\μ}}}_k,diag\left({{\widetilde{\mathrm{\λ}}}_k}^{-1}\right))---\left(6\right)$

其中，q(·)为后验的概率密度函数，N(·)为高斯分布的概率密度函数；分别表示e_i的后验概率密度函数的参数，分别表示r_k的后验概率密度函数的参数；分别表示高斯分布的协方差矩阵。

7.根据权利要求6所述的基于变分推断和张量神经网络的知识库补全方法，其特征在于，所述步骤S6具体为：

根据变分推断，近似后验高斯分布的时候需要最大化下界ELOB，表示为：

logp(xⁱ|θ)≥L(q(z|xⁱ,φ),θ) (7)

其中xⁱ代表的是第i个数据，L(·)代表的是最大化下界ELOB函数，θ为ELOB的参数，z表示隐含变量，φ为z后验概率密度函数的参数；

$L\left(q\right(z|x^i,\mathrm{\φ}),\mathrm{\θ})=-KL\left(q\right(z|x^i,\mathrm{\φ}\left)\right|\left|p\right(z|\mathrm{\θ}\left)\right)+E_{q\left(z\right|x^i,\mathrm{\φ})}\[\log q\left(z\right|x^i,\mathrm{\φ})\]---\left(8\right)$

采用SGVB方法将ELOB第二项期望项进行简化，引入一个可微的转换和噪声ε，形式如下：z＝g_φ(ε),ε～p(ε)，则公式(8)可重新表示为：

$L\left(q\left(z|x^i,\mathrm{\φ}\right),\mathrm{\θ}\right)=\frac{1}{L}\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\log p\left(x^i|z^{\left(i,l\right)},\mathrm{\θ}\right)-KL\left(q\left(z|x^i,\mathrm{\φ}\right)\left|\right|p\left(z|\mathrm{\θ}\right)\right)---\left(9\right)$

其中z^(i,l)＝g_φ(ε),ε～p(ε)；假设z＝g_φ(ε)＝μ+diag(λ^-1/2)ε，下界ELOB形式变为：

$\begin{array}{c}L\left(\mathrm{\Θ},\mathrm{\Φ}|Y\right)=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\frac{I_{ijk}}{L}\log Ber\left(y_{ijk}|{\mathrm{\σ}}^{\left(l\right)}\left(x_{ijk};\mathrm{\α}\right)\right)\\ -\underset{i=1}{\overset{N}{\mathrm{\Σ}}}KL\[q\left(e_i|{\widetilde{\mathrm{\μ}}}_i,{\widetilde{\mathrm{\λ}}}_i\right)\left|\right|p\left(e_i|{\mathrm{\μ}}_E,{\mathrm{\λ}}_E\right)\]\\ -\underset{j=1}{\overset{N}{\mathrm{\Σ}}}KL\[q\left(e_j|{\widetilde{\mathrm{\μ}}}_j,{\widetilde{\mathrm{\λ}}}_j\right)\left|\right|p\left(e_j|{\mathrm{\μ}}_E,{\mathrm{\λ}}_E\right)\]\\ -\underset{k=1}{\overset{M}{\mathrm{\Σ}}}KL\[q\left(r_k|{\widetilde{\mathrm{\μ}}}_k,{\widetilde{\mathrm{\λ}}}_k\right)\left|\right|p\left(e_k|{\mathrm{\μ}}_R,{\mathrm{\λ}}_R\right)\]\end{array}---\left(10\right)$

其中分别表示e_j的后验概率密度函数的参数，μ_E,μ_R值为0，λ_E,λ_R设定为I；

采用随机梯度上升算法求解，不断更新参数Θ,Φ，直到收敛停止。