多领域词典自动构建方法与流程

文档序号：11918980阅读：来源：国知局

技术特征：

1.多领域词典自动构建方法，其特征在于，包含以下实现步骤：

(1)构建初始文本集；

(2)提取出初始文本集中各文本的关键词；

(3)对待处理文本进行聚类，生成N个主题文本集，其中N为整数且N≥2；

(4)构建M个领域，选取各领域的种子词，其中M为≤N的正整数；

(5)依次统计各领域种子词在各主题文本集中出现的频率；将频率最高的主题文本集作为对应领域词典扩展的源文本集；

(6)计算各领域种子词与对应源文本集的文本中各候选词的关联度，将关联度到达设置阈值的候选词作为该领域词存入对应的词典中。

2.如权利要求1所述的方法，其特征在于，所述步骤(2)之前包含：分词、去高频词、去停用词的预处理步骤。

3.如权利要求1所述的方法，所述步骤(2)中采用以下计算公式来提取关键词，所述公式为：

$<mrow> <mi>T</mi> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mn>1</mn> <mo>-</mo> <mi>d</mi> </mrow> <mi>N</mi> </mfrac> <mo>+</mo> <mi>d</mi> <munder> <mo>Σ</mo> <mrow> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>&Element;</mo> <mi>r</mi> <mi>e</mi> <mi>l</mi> <mi>a</mi> <mi>t</mi> <mo>{</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>}</mo> </mrow> </munder> <mfrac> <mrow> <mi>T</mi> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>$

TR(v_i)是文本中词v_i的重要性，d是阻尼系数，一般设置为0.85，N是无向图中所有词的个数，relat{v_i}是与词v_i有共现关系的词集合，v_j是relat{v_i}中的任意一个词，TR(v_j)是v_j的重要性，N(p_j)是与v_j有共现关系的词的个数。

4.如权利要求3所述的方法，其特征在于：所述步骤(3)中对待处理文本聚类包含以下过程：

(3-1)初始时，每个待处理文本各自为一个类；

类间距离定义为两个类中两两文本对间距离的最大值，文本间距离的计算公式如下：

$<mrow> <mi>C</mi> <mrow> <mo>(</mo> <mi>t</mi> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mn>2</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>t</mi> <mn>1</mn> <mo>∩</mo> <mi>t</mi> <mn>2</mn> </mrow> <mrow> <mi>m</mi> <mi>i</mi> <mi>d</mi> <mrow> <mo>(</mo> <mi>t</mi> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>$

其中C(t1，t2)表示文本1和文本2之间的距离，t1∩t2表示文本1和文本2之间包含相同关键词的个数，mid(t1，t2)表示文本1和文本2中包含关键词的平均个数；

类间距离计算公式如下：

Dist(c_a，c_b)＝max{C(t_a，t_b)，t_a∈c_a，t_b∈c_b}

其中，Dist(c_a，c_b)表示任意两个类簇之间的距离，c_a和c_b分别代表两个类，C(t_a，t_b)表示两个文本之间的距离，t_a和t_b分别表示两个文本，并且要求t_a∈c_a、t_b∈c_b；

(3-2)计算所有类两两之间的距离，将距离最小的类进行合并，命名为cnew；

(3-3)在待处理文本集中将已被合并的类簇删除，并将新类簇cnew加入到聚类结果中；

(3-4)重复步骤(3-1)至(3-3)，直到待处理文本集中仅包含N个类簇时，停止聚类。

5.如权利要求4所述的方法，其特征在于：所述步骤(6)中候选词与种子词的关联度计算公式为：

$<mrow> <mi>M</mi> <mi>I</mi> <mrow> <mo>(</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>1</mn> <mo>,</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>2</mn> <mo>)</mo> </mrow> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>1</mn> <mo>,</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>1</mn> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>w</mi> <mi>o</mi> <mi>r</mi> <mi>d</mi> <mn>2</mn> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>$

其中p(word1，word2)为词word1和词word2共同出现的概率，p(word1)和p(word2)表示词word1和词word2分别出现的概率。

6.如权利要求5所述的方法，其特征在于：所述步骤(4)中，所选取的种子词的个数为50-200个。

7.如权利要求6所述的方法，其特征在于：所述步骤(6)中，待扩展词与种子词的关联度阈值设置为：0.2。

完整全部详细技术资料下载

当前第2页1 2 3