技术编号:6372630
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。本发明涉及搜索引擎中的文本消重,特别涉及。背景技术文本消重是搜索引擎中基本需求之一。目前常用的消重方法有基于中心词的消重方法,和针对全部文本或部分文本进行哈希计算消重等。目前常用的手段是基于中心词的消重方法。提取文本中的中心词,然后利用中心词进行消重,这样文本中即使进行了一定内容的修改,只要中心词没有改变,就可以发现是重复内容。 但是基于中心词的消重方法缺点是明显的,很容易把原本无关的文章判定为重复比如在一些专业类的文章中,中心词消重往往错误率比较高。如体...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。