一种行业数据源侦测方法
【专利摘要】本发明提出了一种行业数据源侦测方法，通过建立行业本体库，根据相似度语义分析，逆向搜索数据源网页，具体包括以下步骤：建立数据源库，用于存储数据源链接；集合行业基本用语，建立行业本体库；针对每一条基本用语，集合与其语义相似度大于A的关联语建立关联语库，0＜A＜1；通过网页探针获取包含基本用语或关联语的网页链接；从获取的网页链接中筛选可用网页链接添加到数据源库。本发明提出的一种行业数据源侦测方法，有利于实时掌握行业信息，判断行业动态。
【专利说明】-种行业数据源侦测方法
【技术领域】
[0001] 本发明涉及信息收集【技术领域】，尤其涉及一种行业数据源侦测方法。
【背景技术】
[0002] 随着信息化程度不断加深，企业对"大数据"分析服务的渴求也日益强烈；互联 网持续增长信息资源蕴含了巨量的具有商业价值的信息，成为重要的商业智能服务信息源 头。但是，作为大数据的主要载体的互联网，由于数据量鹿大、获取难度大、单位价值相对 低、几乎全是文本等非结构数据等难点，其价值并没有被业界充分开发和利用。
[0003] 随着互联网的发展，个人和企业获得的信息越来越多，但互联网数据价值密度相 对较低，面对如此纷繁复杂的信息，如果没有有效的源头探测、质量判断机制，用户往往无 法从中提取出真正有效的信息，无法实现有效利用。
【发明内容】
[0004] 基于【背景技术】存在的技术问题，本发明提出了一种行业数据源侦测方法，有利于 实时掌握行业信息，判断行业动态。
[0005] 本发明提出的一种行业数据源侦测方法，通过建立行业本体库，根据相似度语义 分析，逆向搜索数据源网页，具体包括W下步骤：
[0006] 建立数据源库，用于存储数据源链接；
[0007] 集合行业基本用语，建立行业本体库；
[0008] 针对每一条基本用语，集合与其语义相似度大于A的关联语建立关联语库，0 < A < 1 ;
[0009] 通过网页探针获取包含基本用语或关联语的网页链接；
[0010] 从获取的网页链接中筛选可用网页链接添加到数据源库。
[0011] 优选地，关联语库中各关联语根据关联程度与基本用语形成W基本用语为根节点 的语义树，语义相似度根据语义树中关联语与基本用语之间的距离进行计算。
[0012] 优选地，语义相似度计算方法为，
【权利要求】
1. 一种行业数据源侦测方法，其特征在于，通过建立行业本体库，根据相似度语义分 析，逆向搜索数据源网页，具体包括以下步骤： 建立数据源库，用于存储数据源链接； 集合行业基本用语,建立行业本体库； 针对每一条基本用语，集合与其语义相似度大于A的关联语建立关联语库，O < A < 1 ; 通过网页探针获取包含基本用语或关联语的网页链接； 从获取的网页链接中筛选可用网页链接添加到数据源库。
2. 如权利要求1所述的行业数据源侦测方法，其特征在于，关联语库中各关联语根据 关联程度与基本用语形成以基本用语为根节点的语义树，语义相似度根据语义树中关联语 与基本用语之间的距离进行计算。
3. 如权利要求2所述的行业数据源侦测方法，其特征在于，语义相似度计算方法为，
WO表示基本用语，Wl表示作为计算对象的关联语，Dis (Wtl, W1)为WO、Wl在语义树上的 距离，a为可调节的计算常数。
4. 如权利要求1所述的行业数据源侦测方法，其特征在于，A = 0. 6。
5. 如权利要求1所述的行业数据源侦测方法，其特征在于，从获取的网页链接中筛选 可用网页链接的具体方式为： 为各网页链接预设可信度和行业相关度，并预设可信度阈值和相关度阈值； 筛选可信度大于可信度阈值且行业相关度大于相关度阈值的网页链接作为可用网页 链接。
6. 如权利要求1所述的行业数据源侦测方法，其特征在于，从获取的网页链接中筛选 可用网页链接的具体方式为： 为各网页链接预设可信度和行业相关度； 对获取的网页链接分别进行可信度和行业相关度排序； 获取的网页链接数目为K，筛选可信度排序位于前M且行业相关度排序位于前N的网页 链接作为可用网页链接，1彡M彡K，1彡N彡K。
7. 如权利要求6所述的行业数据源侦测方法，其特征在于，M等于K被C整除， I ^ C ^ 100〇
8. 如权利要求7所述的行业数据源侦测方法，其特征在于，C = 2或者C = 10。
9. 如权利要求6所述的行业数据源侦测方法，其特征在于，N等于K被D整除， I ^ D ^ 100〇
10. 如权利要求9所述的行业数据源侦测方法，其特征在于，D = 2或者D = 10。
【文档编号】G06F17/30GK104331443SQ201410582304
【公开日】2015年2月4日 申请日期:2014年10月27日 优先权日:2014年10月27日
【发明者】贾岩 申请人:安徽华贞信息科技有限公司