文档主题词提取方法及装置的制造方法
【技术领域】
[0001] 本发明设及数据处理领域，具体地，设及一种文档主题词提取方法及装置。
【背景技术】
[0002] 主题词是一篇文章所表达的中屯、思想，主题信息挖掘是有效解决文档空间向量高 维稀疏性，提高文本分类质量的重要手段，同时也在信息推荐中起到了重要的作用。评估一 个词汇对于一个文档库中的其中一份文档的重要程度的算法常用的是TF( Term Rrequency，词频)-IDF(Inverse Do州ment Rrequency，逆向文档频率）算法。
【发明内容】
[0003] 本发明的目的是提供一种文档主题词提取方法及装置，W使得提取出的主题词更 为准确。
[0004] 为了实现上述目的，根据本发明的第一方面，提供一种文档主题词提取方法，所述 方法包括:对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档;针对同 一分词，根据该分词在所述目标文档中每次出现时的分词属性，获取与所述分词属性相对 应的权值，并根据所述权值，确定该分词在所述目标文档中的词频权重;基于所述文档库， 确定所述分词的逆向文档频率;基于所述词频权重和所述逆向文档频率，提取预定数量的 分词作为所述目标文档的主题词。
[0005] 在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值， 包括:判断所述分词属性是否满足多个预设条件中的至少一个预设条件;在所述分词属性 不满足任一预设条件时，获取预设的基准权值作为与所述分词属性相对应的权值。
[0006] 在第一方面的一些可选的实施方式中，所述获取与所述分词属性相对应的权值， 还包括:在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的各个预设 条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘积作为与所述分词属性 相对应的权值。
[0007] 在第一方面的一些可选的实施方式中，所述分词属性包括分词位置、字体样式、字 体号和分词内容；W及，所述多个预设条件包括:分词位置位于段首;分词位置位于标题;分 词的字体样式为粗体;分词的字体样式为斜体;分词的字体号大于常规字体号;分词的字体 号小于常规字体号;分词内容与预设的干扰词内容相匹配。
[000引在第一方面的一些可选的实施方式中，所述分词位置位于段首运一预设条件所对 应的权值、所述分词位置位于标题运一预设条件所对应的权值、所述分词的字体样式为粗 体运一预设条件所对应的权值、所述分词的字体样式为斜体运一预设条件所对应的权值、 W及所述分词的字体号大于常规字体号运一预设条件所对应的权值大于所述基准权值；W 及所述分词的字体号小于常规字体号运一预设条件所对应的权值、所述分词内容与预设的 干扰词内容相匹配运一预设条件所对应的权值小于所述基准权值。
[0009]在第一方面的一些可选的实施方式中，通过W下方式来确定该分词在所述目标文 档中的词频权重：
[0010]
[ocm]其中，TFW表示分词的词频权重;Wn表示该分词在所述目标文档中第η次出现时的 分词属性所对应的权值;Ν表示该分词在所述目标文档中的总出现次数；I表示所述目标文 档中的分词总数。
[0012] 在第一方面的一些可选的实施方式中，所述基于所述词频权重和所述逆向文档频 率，提取预定数量的分词作为所述目标文档的主题词，包括:计算所述分词的词频权重与逆 向文档频率的乘积;按照所述词频权重与所述逆向文档频率的乘积从大到小的顺序，提取 预定数量的分词作为所述目标文档的主题词。
[0013] 根据本发明的第二方面，提供一种文档主题词提取装置，所述装置包括:分词处理 模块，被配置为对目标文档进行分词处理，其中，所述目标文档为文档库中的任一文档;权 值获取模块，被配置为针对同一分词，根据该分词在所述目标文档中每次出现时的分词属 性，获取与所述分词属性相对应的权值;词频权重确定模块，被配置为根据所述权值，确定 该分词在所述目标文档中的词频权重;逆向文档频率确定模块，被配置为基于所述文档库， 确定所述分词的逆向文档频率;主题词提取模块，被配置为基于所述词频权重和所述逆向 文档频率，提取预定数量的分词作为所述目标文档的主题词。
[0014] 在第二方面的一些可选的实施方式中，所述权值获取模块包括:判断子模块，被配 置为判断所述分词属性是否满足多个预设条件中的至少一个预设条件;第一权值获取子模 块，被配置为在所述分词属性不满足任一预设条件时，获取预设的基准权值作为与所述分 词属性相对应的权值。
[0015] 在第二方面的一些可选的实施方式中，所述权值获取模块还包括:第二权值获取 子模块，被配置为在所述分词属性满足至少一个预设条件时，获取所述分词属性所满足的 各个预设条件所对应的权值，并将获取到的各个预设条件所对应的权值的乘积作为与所述 分词属性相对应的权值。
[0016] 在第二方面的一些可选的实施方式中，所述分词属性包括分词位置、字体样式、字 体号和分词内容；W及，所述多个预设条件包括:分词位置位于段首;分词位置位于标题;分 词的字体样式为粗体;分词的字体样式为斜体;分词的字体号大于常规字体号;分词的字体 号小于常规字体号;分词内容与预设的干扰词内容相匹配。
[0017] 在第二方面的一些可选的实施方式中，所述分词位置位于段首运一预设条件所对 应的权值、所述分词位置位于标题运一预设条件所对应的权值、所述分词的字体样式为粗 体运一预设条件所对应的权值、所述分词的字体样式为斜体运一预设条件所对应的权值、 W及所述分词的字体号大于常规字体号运一预设条件所对应的权值大于所述基准权值；W 及所述分词的字体号小于常规字体号运一预设条件所对应的权值、所述分词内容与预设的 干扰词内容相匹配运一预设条件所对应的权值小于所述基准权值。
[0018] 在第二方面的一些可选的实施方式中，所述词频权重确定模块被配置为通过W下 方式来确定该分词在所述目标文档中的词频权重：
[0019]
[0020] 其中，TFW表示分词的词频权重;Wn表示该分词在所述目标文档中第η次出现时的 分词属性所对应的权值;Ν表示该分词在所述目标文档中的总出现次数；I表示所述目标文 档中的分词总数。
[0021] 在第二方面的一些可选的实施方式中，所述主题词提取模块包括:计算子模块，被 配置为计算所述分词的词频权重与逆向文档频率的乘积;主题词提取子模块，被配置为按 照所述词频权重与所述逆向文档频率的乘积从大到小的顺序，提取预定数量的分词作为所 述目标文档的主题词。
[0022] 在上述技术方案中，考虑了分词在文档中每次出现时的分词属性（例如，分词位 置、字体样式等等），并基于与分词属性相对应的权值来确定该分词在文档中的词频权重， 由此使得所提取出的主题词具有更高的准确性和可靠性，能够更客观地表示该文档的中屯、 思想，从而能够为后续的文档分类、文档推荐等提供准确、可靠的数据支持，使得文档分类 结果更为准确、文档推荐结果更符合用户需求等等。
[0023] 本发明的其他特征和优点将在随后的【具体实施方式】部分予W详细说明。
【附图说明】
[0024] 附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具 体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
[0025] 图1是根据本发明的实施方式提供的文档主题词提取方法的流程图。
[00%]图2Α示出了一示例目标文档的内容。
[0027] 图2Β示出了对图2Α所述的目标文档进行分词处理后的分词结果。
[0028] 图3Α至图3D是根据本发明的实施方式提供的文档主题词提取装置的框图。
【具体实施方式】
[0029] W下结合附图对本发明的【具体实施方式】进行详细说明。应当理解的是，此处所描 述的【具体实施方式】仅用于说明