一种中文文本相似度的检测方法及检测装置与流程

技术特征：

1.一种中文文本相似度的检测方法，其特征在于，所述检测方法包括：

步骤一：对中文本中的各个高频字进行拆分，获得多个部件及各部件之间的关联频次；

步骤二：根据所述多个部件及各部件之间的关联频次，绘制对应中文文本的部件关联图；

步骤三：基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度。

2.根据权利要求1所述的中文文本相似度的检测方法，其特征在于，在步骤一之前，所述检测方法包括：

对中文文本进行预处理，获取高频字。

3.根据权利要求2所述的中文文本相似度的检测方法，其特征在于，所述获取高频字的方法包括：

删除所述中文文本中的停用字、无用字；

从删除后的文本中抽取中文文字；

统计各所述中文文字的出现频率；

按照设定的频率比例，从所述中文文字中筛选高频字。

4.根据权利要求1所述的中文文本相似度的检测方法，其特征在于，所述获得多个部件及各部件之间的关联频次的方法包括：

根据汉子数学表达式将中文本中的各个高频字拆分，分别获得关于部件的集合；

根据各部件的集合中确定不同部件出现的频次，并对各不同的部件依次进行编号；

根据部件的集合确定各部件之间的关联频次。

5.根据权利要求1所述的中文文本相似度的检测方法，其特征在于，所述部件关联图的包括单个部件的部件关联簇图和整个文本的部件关联全图；

其中，所述基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度的方法包括：

步骤31：根据以下公式确定待检测文本B与参照文本A中相同部件i的部件关联簇图的相似度sim(C_i,C′_i)：

$sim(C_i,C_i^{\′})=\underset{k=1}{\overset{n}{\Σ}}\frac{min(W_{ik},W_{ik}^{\′})}{{\mathrm{\ΣW}}_i}\×1\{C_k=C_k^{\′}\}---\left(1\right);$

其中，i、k分别表示中文文本中部件号，i＝1,...,n、k＝1,...,n、i≠k，C_i表示参照文本A中第i号部件，C′_i表示待检测文本B中第i号部件，W_ik表示参照文本A中第i号部件与第k号的关联频次，W′_ik表示待检测文本B中第i号部件与第k号的关联频次，min(W_ik,W′_ik)表示待检测文本B与参照文本A中分别第i号部件与第k号部件关联频次的最小值，∑W_i表示参照文本A中所有第i号部件关联频次的总和，×1{C_k＝C′_k}表示若待检测文本B与参照文本A中第i号部件都同时与第k号部件关联，则将关联度加入第i号部件的关联簇结果中，否则忽略；

步骤32：根据以下公式确定待检测文本B中全部部件的部件关联簇图相似度的比例和sim(C,C')：

$sim(C,C^{\′})=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{F}_{C_i^{\′}}sim(C_i,C_i^{\′})---\left(2\right);$

其中，表示在待检测文本B与参照文本A中第i号部件的部件关联簇图的相似度占待检测文本B中部件关联簇图相似度的比例；

步骤33：根据以下公式确定待检测文本B与参照文本A中的部件关联全图的相似度sim(CRM(A),CRM(B))：

$sim\left(CRM\right(A),CRM(B\left)\right)=\left|\frac{CRM\left(A\right)\∩CRM\left(B\right)}{CRM\left(A\right)\∪CRM\left(B\right)}\right|---\left(3\right);$

$CRM\left(A\right)\∩CRM\left(B\right)=\mathrm{\Σ}\min (D_{c_i},D_{c_i^{\′}})\×i\×1\{C_i=C_i^{\′}\}---\left(4\right);$

$CRM\left(A\right)\∪CRM\left(B\right)=\mathrm{\Σ}max(D_{c_i},D_{c_i^{\′}})\×i\×1\{C_i=C_i^{\′}\}+{\mathrm{\ΣD}}_{C_j}\×j+{\mathrm{\ΣD}}_{C_k^{\′}}\×k---\left(5\right);$

其中，CRM(A)∩CRM(B)表示待检测文本B与参照文本A中部件关联的相同部分，CRM(A)∪CRM(B)表示待检测文本B与参照文本A中部件关联的总和，表示待检测文本B与参照文本A分别第i号部件关联与其他部件的关联频次之和的最小值，表示待检测文本B与参照文本A中分别第i号部件关联与其他部件的关联频次之和的最大值，×1{C_i＝C_i'}表示若待检测文本B与参照文本A中都有第i号部件才对其进行计算，否则忽略，表示所有在参照文本A中出现但在待检测文本B中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和，表示所有在待检测文本B中出现但在参照文本A中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和；

步骤34：根据以下公式确定计算待检测文本B与参照文本A的相似度sim(A,B)：

sim(A,B)＝α×sim(C,C′)+(1-α)×sim(CRM(A),CRM(B))---------(6)；

其中，α为系统参考系数。

6.根据权利要求5所述的中文文本相似度的检测方法，其特征在于，α的初始值为0.5，之后按照设定比例增减以计算相似度sim(A,B)，根据相似度sim(A,B)调整α的数值。

7.根据权利要求1-6中任一项所述的中文文本相似度的检测方法，其特征在于，所述检测方法还包括：

根据各部件出现频次绘制部件直方图。

8.一种中文文本相似度的检测装置，其特征在于，所述检测装置包括：

拆分单元，用于对中文本中的各个高频字进行拆分，获得多个部件及各部件之间的关联频次；

绘图单元，用于根据所述多个部件及各部件之间的关联频次，绘制对应中文文本的部件关联图；

计算单元，用于基于所述中文文本的部件关联图，计算待检测文本与参照文本的相似度。

9.根据权利要求8所述的中文文本相似度的检测装置，其特征在于，所述检测装置还包括：

预处理单元，与所述拆分单元连接，用于对中文文本进行预处理，获取高频字。

10.根据权利要求8所述的中文文本相似度的检测装置，其特征在于，所述，所述部件关联图的包括单个部件的部件关联簇图和整个文本的部件关联全图；

其中，计算单元包括：

关联簇图计算模块，用于根据以下公式确定待检测文本B与参照文本A中相同部件i的部件关联簇图的相似度sim(C_i,C′_i)：

$sim(C_i,C_i^{\′})=\underset{k=1}{\overset{n}{\Σ}}\frac{min(W_{ik},W_{ik}^{\′})}{{\mathrm{\ΣW}}_i}\×1\{C_k=C_k^{\′}\}---\left(1\right);$

其中，i、k分别表示中文文本中部件号，i＝1,...,n、k＝1,...,n、i≠k，C_i表示参照文本A中第i号部件，C′_i表示待检测文本B中第i号部件，W_ik表示参照文本A中第i号部件与第k号的关联频次，W′_ik表示待检测文本B中第i号部件与第k号的关联频次，min(W_ik,W′_ik)表示待检测文本B与参照文本A中分别第i号部件与第k号部件关联频次的最小值，∑W_i表示参照文本A中所有第i号部件关联频次的总和，×1{C_k＝C′_k}表示若待检测文本B与参照文本A中第i号部件都同时与第k号部件关联，则将关联度加入第i号部件的关联簇结果中，否则忽略；

比例计算模块，用于根据以下公式确定待检测文本B中全部部件的部件关联簇图相似度的比例和sim(C,C')：

$sim(C,C^{\′})=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{F}_{C_i^{\′}}sim(C_i,C_i^{\′})---\left(2\right);$

其中，表示在待检测文本B与参照文本A中第i号部件的部件关联簇图的相似度占待检测文本B中部件关联簇图相似度的比例；

关联全图计算模块，用于根据以下公式确定待检测文本B与参照文本A中的部件关联全图的相似度sim(CRM(A),CRM(B))：

$sim\left(CRM\right(A),CRM(B\left)\right)=\left|\frac{CRM\left(A\right)\∩CRM\left(B\right)}{CRM\left(A\right)\∪CRM\left(B\right)}\right|---\left(3\right);$

$CRM\left(A\right)\∩CRM\left(B\right)=\mathrm{\Σ}\min (D_{c_i},D_{c_i^{\′}})\×i\×1\{C_i=C_i^{\′}\}---\left(4\right);$

$CRM\left(A\right)\∪CRM\left(B\right)=\mathrm{\Σ}max(D_{c_i},D_{c_i^{\′}})\×i\×1\{C_i=C_i^{\′}\}+{\mathrm{\ΣD}}_{C_j}\×j+{\mathrm{\ΣD}}_{C_k^{\′}}\×k---\left(5\right);$

其中，CRM(A)∩CRM(B)表示待检测文本B与参照文本A中部件关联的相同部分，CRM(A)∪CRM(B)表示待检测文本B与参照文本A中部件关联的总和，表示待检测文本B与参照文本A分别第i号部件关联与其他部件的关联频次之和的最小值，表示待检测文本B与参照文本A中分别第i号部件关联与其他部件的关联频次之和的最大值，×1{C_i＝C_i'}表示若待检测文本B与参照文本A中都有第i号部件才对其进行计算，否则忽略，表示所有在参照文本A中出现但在待检测文本B中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和，表示所有在待检测文本B中出现但在参照文本A中不出现的部件j与其他部件的关联频次之和，乘以部件号，再求和；

相似度计算模块，分别与比例计算模块和关联全图计算模块连接，用于根据以下公式确定计算待检测文本B与参照文本A的相似度sim(A,B)：

sim(A,B)＝α×sim(C,C′)+(1-α)×sim(CRM(A),CRM(B))---------(6)；

其中，α为系统参考系数。