非结构化文本数据增强型分布式大规模数据维度抽取方法与流程

技术特征：

1.一种非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：包括以下步骤：

步骤1：文本分词：对输入文本进行分词，找出最小语义单位之间的互信息值，通过训练设定第一阈值，第一阈值与最小语义单位之间的互所述信息值进行比较，当互信息值大于等于第一阈值时，取得分词结果；

步骤2：词频统计：根据分词结果，对输入文本进行词频统计，并且建立相应的词频关系表；

步骤3：输入文本主题提取：根据抽取所关注的目标领域，确定目标领域的主题词集合，通过计算确定输入文本中主题词与此主题词所有左侧词共同出现时的稳定性，通过训练设定第二阈值，将稳定性与第二阈值进行对比，当稳定性不小于第二阈值时，取得输入文本主题相关的左侧主题词的集合；通过计算确定输入文本中主题词与此主题词所有右侧词共同出现时的稳定性，将稳定性与第二阈值进行对比，当稳定性不小于第二阈值时，取得输入文本主题相关的右侧主题词的集合；所取得的左侧主题词的集合和右侧主题词之和即为输入文本主题词集合；

步骤4：过滤主题词：根据词频统计的结果来对输入文本主题提取的主题词集合进行过滤，筛选出候选维度词，计算候选维度词的熵值，取这些值中最前面几个词为提取的维度词。

2.根据权利要求1所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：在步骤1中，最小语义单位之间的互信息值公式如下：

$MIV(X,Y)={\log }_2\frac{p(X,Y)}{p\left(X\right)p\left(Y\right)}---\left(1\right)$

在公式(1)中，X、Y分别表示出现的最小语义单位，用C_min表示最小语义单位集合，则X、Y和C_min满足X,Y∈C_min；

MIV(X,Y)表示最小语义单位中X，Y之间的互信息值；p(X)，p(Y)表示X和Y在输入文本中分别出现的概率，p(X,Y)表示X和Y在输入文本中共同出现的概率；

第一阈值用TH_miv表示，第一阈值TH_miv与最小语义单位中X，Y之间的互信息值满足以下关系时取得分词结果，关系如下：

MIV(X,Y)≥TH_miv (2)。

3.根据权利要求1所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：在步骤2中：词频关系表用T_WF＝[{ω₁:f₁},{ω₂:f₂},…]表示，其中ω₁…ω_i表示输入文本经过分词得到的词汇，f₁…f_i表示ω₁…ω_i这些词汇在输入文本中出现的对应次数。

4.根据权利要求1所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：在步骤3中，主题词集合用S_theme＝{s₁,s₂,…,s_i}表示，计算出在输入文本中主题词s_i与主题词s_i所有左侧词s_il共同出现时的稳定性：

${\mathrm{ES}}_{left}=-{\mathrm{\Σ}}_{l\∈S_L}p\left(s_{il}\right|s_i){\log }_{2}p\left(s_{il}\right|s)---\left(3\right)$

在公式(3)中：S_L表示主题词s_i左侧的所有词集合；p(s_il|s_i)表示主题词s_i所在的位置其左侧词S_il出现的条件概率；

p(s_il|s_i)表示主题词s_i所在的位置其左侧词S_il出现的条件概率是利用极大似然估计得到，公式如下：

$p\left(s_{il}\right|s_i)=\frac{N\left(s_{il}\right)}{N\left(s_i\right)}---\left(4\right)$

第二阈值用TH_es表示，当输入文本中主题词s_i与其所有左侧词s_il共同出现时的稳定性ES_left不小于该值时s_il与描述输入文本的主题相关，得到输入文本主题相关的左侧主题词s_il的集合，关系如下：

$T_{ltheme}^{input}=\left\{s_{il}\right|{\mathrm{ES}}_{left}\≥{\mathrm{TH}}_{es}\}---\left(5\right)$

表示输入文本主题相关的左侧主题词s_il的集合，计算输入文本中主题词s_i与主题词s_i所有右侧词s_ir共同出现时的稳定性：

${\mathrm{ES}}_{right}=-{\mathrm{\Σ}}_{r\∈S_R}p\left(s_{ir}\right|s_i){\log }_{2}p\left(s_{ir}\right|s)---\left(6\right)$

输入文本中主题词s_i所在位置p(s_ir|s_i)是利用极大似然估计得到：

$p\left(s_{ir}\right|s_i)=\frac{N\left(s_{ir}\right)}{N\left(s_i\right)}---\left(7\right)$

p(s_ir|s_i)表示主题词s_i所在位置其右侧词S_ir出现的条件概率；

第二阈值用TH_es表示，当输入文本中主题词s_i与其所有右侧词s_ir共同出现时的稳定性ES_left不小于该值时s_ir与描述输入文本的主题相关，得到输入文本主题相关的右侧主题词s_ir的集合，关系如下：

$T_{rtheme}^{input}=\left\{s_{ir}\right|{\mathrm{ES}}_{right}\≥{\mathrm{TH}}_{es}\}---\left(8\right)$

由公式(3)～(8)可得输入文本主题相关的主题词集合：

$T_{theme}^{input}=\left\{s_i\right|s_i\∈T_{ltheme}^{input}\∪T_{rtheme}^{input}\}---\left(9\right).$

5.根据权利要求4所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：在步骤4中，根据词频统计的结果对输入文本主题提取的主题词集合进行过滤，筛选出候选维度词，词频统计的结果用T_WF表示，输入文本主题提取的主题词集合用表示，T_candi为候选维度词集合，则有以下关系：

$T_{cadi}=T_{WF}\∩T_{theme}^{input}---\left(10\right)$

根据公式(10)，得到T_candi中所有词在输入文本中的平均词频，平均词频用表示；

计算度量函数：

$I_{m,w}=\exp \left(\frac{1}{2}\ln \sqrt{{\mathrm{DIS}}_{m,w}}{\mathrm{DIS}}_{m,w}\right)---\left(11\right)$

公式(11)中的DIS_m，w表示平均词频的欧式距离DIS_m,w，候选维度词集合T_candi可以表示为T_candi＝{t₁,t₂,…,t_i}以及度量函数，计算T_candi的熵值，公式如下：

${\mathrm{ET}}_{candi}=\underset{n=1}{\overset{i}{\Σ}}{I}_{m,w}\log I_{m,w}+(1-I_{m,w})log(1-I_{m,w})---\left(12\right)$

I_m,w表示度量函数，ET_candi表示熵值，取这些熵值最前面几个词作为提取的维度词。

6.根据权利要求1所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：所述第一阈值和所述第二阈值分别是训练架构通过数据训练得到的，所述第一阈值和所述第二阈值的训练架构为多通道卷积神经网络。

7.根据权利要求6所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：所述第一阈值表示输出的分词结果中成词的比例最大化。

8.根据权利要求6所述的非结构化文本数据增强型分布式大规模数据维度抽取方法，其特征在于：所述第二阈值表示候选维度词在主题词集合中的占比最大化。