企业信息图谱构建方法、装置、计算机设备及存储介质与流程

文档序号:16931723发布日期:2019-02-22 20:20阅读:163来源:国知局
企业信息图谱构建方法、装置、计算机设备及存储介质与流程

本发明涉及计算机技术领域,尤其涉及一种企业信息图谱构建方法、装置、计算机设备及存储介质。



背景技术:

互联网的网页中保存有海量的企业数据信息以供网络用户进行浏览,然而面对海量的企业数据信息用户只能浏览网页中静态的数据信息,而无法从网页中提取用户所需的有用信息并对企业进行关联分析,从而导致从海量企业数据信息中获取有用信息并进行分析的效率较低。因而现有的技术方法中存在无法高效地对海量企业数据信息进行提取及分析的问题。



技术实现要素:

本发明实施例提供了一种企业信息图谱构建方法、装置、计算机设备及存储介质,旨在解决现有技术中存在无法海量企业数据信息进行提取及分析的问题。

第一方面,本发明实施例提供了一种企业信息图谱构建方法,其包括:

若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中;

将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端;

通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中;

若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词;

根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息;

根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

第二方面,本发明实施例提供了一种企业信息图谱构建装置,其包括:

网址信息添加单元,用于若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中;

信息爬取程序发送单元,用于将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端;

企业数据信息保存单元,用于通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中;

分词处理单元,用于若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词;

关键字匹配单元,用于根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息;

企业信息图谱构建单元,用于根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的企业信息图谱构建方法。

第四方面,本发明实施例还提供了一种存储介质,其中所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的企业信息图谱构建方法。

本发明实施例提供了一种企业信息图谱构建方法、装置、计算机设备及存储介质。通过信息爬取程序对网页中海量的企业数据信息进行采集,根据识别模型对企业数据信息进行分词并获取相应的企业实体信息及实体关联信息,构建得到企业信息图谱,用户可通过所构建的企业信息图谱直观地查看企业信息及各企业之间所存在的关联信息,大幅提高了对海量企业数据信息进行提取及分析的效率。

附图说明

为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的企业信息图谱构建方法的流程示意图;

图2为本发明实施例提供的企业信息图谱构建方法的应用场景示意图。

图3为本发明实施例提供的企业信息图谱构建方法的子流程示意图;

图4为本发明实施例提供的企业信息图谱构建方法的另一流程示意图;

图5为本发明实施例提供的企业信息图谱构建方法的另一子流程示意图;

图6为本发明实施例提供的企业信息图谱构建方法的另一子流程示意图;

图7为本发明实施例提供的企业信息图谱构建装置的示意性框图;

图8为本发明实施例提供的企业信息图谱构建装置的子单元示意性框图;

图9为本发明实施例提供的企业信息图谱构建装置的另一示意性框图;

图10为本发明实施例提供的企业信息图谱构建装置的另一子单元示意性框图;

图11为本发明实施例提供的企业信息图谱构建装置的另一子单元示意性框图;

图12为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

请参阅图1-图2,图1是本发明实施例提供的企业信息图谱构建方法的流程示意图;图2为本发明实施例提供的企业信息图谱构建方法的应用场景示意图。该企业信息图谱构建方法应用于用户终端10中,该方法通过安装于用户终端10中的应用软件进行执行,用户终端10即是用于执行企业信息图谱构建方法以对企业信息图谱进行构建的终端设备,多台信息采集终端20通过管理服务器30与用户终端10建立网络连接以进行信息传输。其中,用户终端10是具有接入互联网功能的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等;管理服务器30即是用于将多台信息采集终端20与用户终端10建立网络连接的服务器端,信息采集终端20即是具有接入互联网功能、用于对企业数据信息进行采集的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等。

如图1所示,该方法包括步骤s101~s106。

s101、若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中。

若用户终端接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中。用户所输入的网址信息为所需进行信息爬取的网页的网络地址信息。例如,在对以企业为主体的数据信息进行采集时,可将工商业政府网站、税务部门网站、企业官网、财经网站作为网址信息进行输入。待爬取列表即是信息爬取程序中用于存放用户所输入的网址信息的数据表,信息爬取程序即是预先在用户终端中创建的用于对网页中的企业数据信息进行爬取的软件程序。

s102、将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端。

管理服务器预先与用户终端及多台信息采集终端建立网络连接,将已添加待爬取列表的信息爬取程序通过预设的管理服务器从用户终端发送至多台信息采集终端中,通过多台信息采集终端执行信息爬取程序即可对待爬取列表中的网址信息所对应网页的企业数据信息进行采集。其中,管理服务器即是用于在用户终端与信息采集终端建立网络连接的服务器端,信息采集终端即是用于执行信息爬取程序并对相应网页中的企业数据信息进行采集的终端设备。

s103、通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中。

通过管理服务器接收多台信息采集终端所采集的企业数据信息,并保存至用户终端中预设的数据库中。信息采集终端执行信息爬取程序并对相应网页中的企业数据信息进行采集,信息采集终端将所采集得到的企业数据信息通过管理服务器发送至用户终端,用户终端接收所采集得到的企业数据信息,并保存至预设的数据库中。通过将包含不同网址信息的多个待爬取列表添加至预设的信息爬取程序,并通过信息采集终端多次执行信息爬取程序以对多个网址信息所对应网页中的企业数据信息进行采集,即可采集得到多个网页中的企业数据信息。

s104、若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词。

若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,并根据预设的识别模型对所述企业数据信息进行分词处理以得到单词。图谱构建信息即是用户所输入的对企业信息图谱进行构建的具体信息,图谱构建信息中具体包括识别模型、关键字信息及图谱构建规则。其中,数据表中所保存的企业数据信息中包含多个语句,一个语句即是一句话,以句号作为结尾。

例如,企业数据信息中的某一段信息为“xx公司的全称是xx集团股份有限公司。xx公司下属的子公司包括:aa公司、bb公司。”中包含了两个语句。

在一实施例中,如图3所示,步骤s104包括子步骤s1041、s1042、s1043和s1044。

s1041、根据所述识别模型中的向量提取规则对企业数据信息中所包含的语句进行特征提取以得到所有语句中字符的特征向量。

根据识别模型中的向量提取规则,对企业数据信息中所包含语句进行提取以得到所有语句中字符的特征向量。向量提取规则即是用于对语句中每一个字符的特征向量进行提取的规则信息,特征向量即是语句中所有字符所包含的多维向量信息。

具体的,向量提取规则中包括字符特征提取规则、词性特征提取规则。字符特征提取规则中包括多个词汇表,每一个词汇表中包含多个预设的字符;词性特征提取规则中包含多个词性特征表,每一个词性特征表中包含多个预设的词性特征。

例如,某一个语句为“xx公司的全称是xx集团股份有限公司”,字符特征提取规则中的某一个词汇表为w1={公、司、企、业},词性特征提取规则中的某一个词性特征表为d1={动词、名词、形容词、谓词}。则将该语句中每一个字符与上述词汇表和词性特征表进行匹配后,所得到的字符“公”的特征向量中包含两个维度w1(公)={1、0、0、0},d1(公)={0、1、1、0};字符“司”的特征向量中包含两个维度w1(司)={0、1、0、0},d1(司)={1、1、0、0}。

s1042、根据所述识别模型中概率计算公式对所得到字符的特征向量进行计算以得到所有字符的单词起始概率和单词终止概率。

根据识别模型中的概率计算公式对所得到的字符的特征向量进行计算,即可得到所有字符的单词起始概率和单词终止概率。其中,单词起始概率即是该字符作为单词的第一个字符的概率值,单词终止概率即是该字符作为单词中最后一个字符的概率值。具体的,概率计算公式中包含多个输入计算公式和输出计算公式。

通过概率计算公式中的多个输入计算公式,对所得到的字符的特征向量进行计算,输入节点为字符的特征向量,输入节点与100个中间节点相连接,也即是分别通过100个输入计算公式计算得到与字符的输入节点相连接的100个中间节点的值,第一个输入计算公式可表示为c1=w1×x1+b1,其中,c1为第一个中间节点的计算值,x1为字符的特征向量的值,w1和b1为第一中间节点与输入节点之间的第一输入计算公式中所预设的参数值,通过100个输入计算公式即可计算得到与字符的输入节点相连接的100个中间节点的值;100个中间节点分别与2个输出节点相连接,也即是通过多个输出计算公式计算得到与100个中间节点相连接的2个输出节点的值,其中第一个输出计算公式为f1=a1×c1+a2×c2+……a100×c100+d1,其中,f1为第一个输出节点的值,c1为第一个中间节点的计算值,a1为第一个输出计算公式中与第一中间节点对应的预设参数值,d1为第一输出计算公式中所预设的参数值。第一个输出节点的值对应为该字符的单词起始概率,第二个输出节点的值对应为该字符的单词终止概率。

s1043、根据所述识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断以得到所有语句的概率判断结果。

根据识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断,以得到所有语句的概率判断结果。具体的,通过预设的概率阈值对语句中字符的单词起始概率和单词终止概率进行判断,即可得到该语句中多个单词的起始位置和终止位置,所得到的语句中多个单词的起始位置和终止位置即是该语句的概率判断结果。

例如,预设的概率阈值为80%,则若某一字符的单词起始概率大于或等于80%,则将该字符作为单词的第一个字符得到单词的起始位置,若某一字符的单词终止概率大于或等于80%,则将该字符作为单词的最后一个字符得到单词的终止位置。

s1044、根据所得到的所有语句的概率判断结果对语句进行分词处理以得到单词。

根据所得到的语句的概率判断结果对语句进行分词处理,以得到该语句中的多个单词。由于概率判断结果中包含语句中多个单词的起始位置和终止位置,根据单词的起始位置和终止位置,对语句进行分词处理即可得到该语句中所包含的多个单词。

在一实施例中,如图4所示,步骤s104之前,还包括步骤s1040。

s1040、通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型。

通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型,其中,所述训练数据中包括多条训练语句,每条训练语句中均包含多个单词起始位置和单词终止位置。通过多条训练语句对识别模型进行反复训练,得到的训练后的识别模型能够大幅提高识别精度。

具体的,步骤s1040中具体包括步骤s104a、104b和104c。

s104a、根据识别模型中的向量提取规则对多条训练语句进行特征提取以得到所有训练语句中字符的特征向量。

根据识别模型中的向量提取规则,对多条训练语句进行提取以得到所有训练语句中字符的特征向量。向量提取规则即是用于对语句中每一个字符的特征向量进行提取的规则信息,特征向量即是语句中所有字符所包含的多维向量信息。具体的,向量提取规则中包括字符特征提取规则、词性特征提取规则。

s104b、根据识别模型中概率计算公式对所得到训练语句的特征向量进行计算以得到所有训练语句中字符的单词起始概率和单词终止概率。

根据识别模型中概率计算公式对所得到训练语句的特征向量进行计算,即可得到所有训练语句中字符的单词起始概率和单词终止概率。其中,单词起始概率即是该字符作为单词的第一个字符的概率值,单词终止概率即是该字符作为单词中最后一个字符的概率值。

104c、根据预设的参数调整规则、所得到训练语句中字符的单词起始概率和单词终止概率及训练语句中的单词起始位置和单词终止位置对识别模型中概率计算公式的参数值进行调整,以得到训练后的识别模型。

根据预设的参数调整规则、所得到训练语句中字符的单词起始概率和单词终止概率及训练语句中的单词起始位置和单词终止位置,对识别模型中概率计算公式的参数值进行调整,以得到训练后的识别模型。具体的,根据训练语句中的单词起始位置和单词终止位置对所得到训练语句中字符的单词起始概率和单词终止概率进行判断,根据预设的参数调整规则结合所得到的判断结果对概率计算公式中的参数值进行调整,概率调整公式中包含调整概率阈值、调整方向、调整幅度。调整概率阈值即是用于对字符的单词起始概率或单词终止概率进行判断的阈值信息,调整方向即是用于对概率计算公式中的参数值进行放大或缩小的方向信息,调整幅度即是用于对概率计算公式中参数值进行调整的幅度信息。

若训练语句中某字符为单词的起始位置,则判断该字符的单词起始概率是否大于参数调整规则中预设的调整概率阈值,若该字符的单词起始概率大于调整概率阈值,则不对概率计算公式的参数值进行调整,若该字符的单词起始概率不大于调整概率阈值,则根据预设的参数调整规则对概率计算公式的参数值进行调整;若训练语句中某字符为单词的终止位置,则判断该字符的单词终止概率是否大于参数调整规则中预设的调整概率阈值,若该字符的单词终止概率大于调整概率阈值,则不对概率计算公式中的参数值进行调整,若该字符的单词终止概率不大于调整概率阈值,则根据预设的参数调整规则对概率计算公式的参数值进行调整。

例如,预设的调整概率阈值为90%,调整方向为放大,调整幅度为2%,若训练语句中某一字符为单词的终止位置,该字符所对应的单词终止概率为75%,由于该字符的单词终止概率75%小于调整概率阈值90%,则根据参数调整规则对概率计算公式中的参数值进行放大调整,放大调整的幅度为2%,也即是将参数值×1.02以得到调整后新的参数值。

s105、根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息。

根据预设的关键字信息对所得到的单词进行匹配,即可获取与关键字信息相匹配的企业实体信息及实体关联信息。所述关键字信息中包含多个实体关键字及多个关联关键字。关键字信息即是用于对所得到的单词进行匹配的信息,企业实体信息即是数据库所保存企业数据信息的主体数据信息,实体关联信息即是数据库所保存企业数据信息中主体之间的关联信息。例如,在对以企业为主体的企业数据信息进行采集时,则企业实体信息即是企业名称。

在一实施例中,如图5所示,步骤s105包括子步骤s1051和s1052。

s1051、根据预设的实体关键字对所得到的单词进行匹配以将包含预设实体关键字的单词作为识别得到的企业实体信息。

根据预设的实体关键字对所得到的单词进行匹配,根据匹配结果将包含预设关键字信息的单词作为识别得到的企业实体信息。其中,预设的实体关键字中包含多个具体的关键字,若某一单词包含实体关键字中的一个或多个关键字,则该单词为识别得到的企业实体信息,若某一单词不包含实体关键字中的任一关键字,则该单词不作为识别得到的企业实体信息。

例如,预设的实体关键字中所包含的关键字为“公司、企业、有限、责任、股份”,某一单词为“xx有限责任公司”,则该单词包含实体关键字中的多个关键字,该单词作为识别得到的企业实体信息。

s1052、根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配以将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。

根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配,根据匹配结果将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。其中,预设关联关键字中包含多个具体的关键字,若某两个企业实体信息之间的单词包含关联关键字中的一个或多个关键字,则该单词作为两个企业实体信息之间的实体关联信息,若某两个企业实体信息之间的单词不包含关联关键字中任一关键字,则该单词不作为两个实体之间的实体关联信息。

例如,预设的关联关键字中所包含的关键字为“属于、收购、控股、下属、母公司”,某两个企业实体信息“aa公司”与“bb集团”之间的单词为“属于”,该单词包含关联关键字中的关键字,则将“属于”作为两个企业实体信息“aa公司”与“bb集团”之间实体关联信息

s106、根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

根据预设的图谱构建规则及所得到的企业实体信息、实体关联信息构建得到企业信息图谱。其中,图谱构建规则即是用于构建企业信息图谱的规则信息,企业信息图谱即是用于直观表述多个企业实体信息及多个实体之间关联关系的图谱。

在一实施例中,如图6所示,步骤s106包括子步骤s1061、s1062和s1063。

s1061、根据所述图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体。

根据图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体,每一个企业实体信息对应一个图谱实体,图谱实体即是企业信息图谱中用于对企业实体信息进行直观表述的图谱信息。其中,图谱实体在所构建的企业信息图谱中可以用圆圈、三角形或其他任意多边形来进行表示,将企业实体信息标注在所构建的图谱实体中。

s1062、根据所述图谱构建规则中的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息。

根据预设的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息,每一个实体关联信息对应一个图谱关联信息,图谱关联信息即是实体图谱中用于对图谱实体之间的关联信息进行直观表述的关联信息。其中,图谱关联信息在所构建的实体图谱中可以用箭头或其他任意线段来进行表示,若用箭头表示图谱关联信息,则在两个图谱实体中箭头所指向的图谱实体属于另一个图谱实体。例如,若箭头从图谱实体“bb集团”指向“aa公司”,则该箭头在所构建的实体图谱中表示的信息为箭头所指向的图谱实体“aa公司”属于另一个图谱实体“bb集团”。

s1063、根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。

根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。通过所构建的实体图谱中添加时间信息以方便用户在察看实体图谱时获取图谱实体及图谱关联信息的时间信息。

若构建得到实体图谱之后,数据库中添加了新增企业数据信息,可根据数据库中的新增企业数据信息对所构建的实体图谱进行更新。具体的,根据上述企业实体信息及实体关联信息匹配方法对数据库中的新增企业数据信息进行匹配,得到新增企业实体信息及新增实体关联信息,根据预设的实体构建规则及关联构建规则在所构建的实体图谱中创建新的图谱实体及图谱关联信息,并为新增的图谱实体及新增的图谱关联信息添加时间信息以完成对实体图谱的更新。

通过信息爬取程序对网页中海量的企业数据信息进行采集,根据识别模型对企业数据信息进行分词并获取相应的企业实体信息及实体关联信息,构建得到企业信息图谱,用户可通过所构建的企业信息图谱直观地查看企业信息及各企业之间所存在的关联信息,大幅提高了对海量企业数据信息进行提取及分析的效率。

本发明实施例还提供一种企业信息图谱构建装置,该企业信息图谱构建装置用于执行前述企业信息图谱构建方法的任一实施例。具体地,请参阅图7,图7是本发明实施例提供的企业信息图谱构建装置的示意性框图。该企业信息图谱构建装置100可以配置于用户终端10中。

如图7所示,企业信息图谱构建装置100包括网址信息添加单元101、信息爬取程序发送单元102、企业数据信息保存单元103、分词处理单元104、关键字匹配单元105及企业信息图谱构建单元106。

网址信息添加单元101,用于若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中。

若用户终端接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中。用户所输入的网址信息为所需进行信息爬取的网页的网络地址信息。例如,在对以企业为主体的数据信息进行采集时,可将工商业政府网站、税务部门网站、企业官网、财经网站作为网址信息进行输入。待爬取列表即是信息爬取程序中用于存放用户所输入的网址信息的数据表,信息爬取程序即是预先在用户终端中创建的用于对网页中的企业数据信息进行爬取的软件程序。

信息爬取程序发送单元102,用于将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端。

管理服务器预先与用户终端及多台信息采集终端建立网络连接,将已添加待爬取列表的信息爬取程序通过预设的管理服务器从用户终端发送至多台信息采集终端中,通过多台信息采集终端执行信息爬取程序即可对待爬取列表中的网址信息所对应网页的企业数据信息进行采集。其中,管理服务器即是用于在用户终端与信息采集终端建立网络连接的服务器端,信息采集终端即是用于执行信息爬取程序并对相应网页中的企业数据信息进行采集的终端设备。

企业数据信息保存单元103,用于通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中。

通过管理服务器接收多台信息采集终端所采集的企业数据信息,并保存至用户终端中预设的数据库中。信息采集终端执行信息爬取程序并对相应网页中的企业数据信息进行采集,信息采集终端将所采集得到的企业数据信息通过管理服务器发送至用户终端,用户终端接收所采集得到的企业数据信息,并保存至预设的数据库中。通过将包含不同网址信息的多个待爬取列表添加至预设的信息爬取程序,并通过信息采集终端多次执行信息爬取程序以对多个网址信息所对应网页中的企业数据信息进行采集,即可采集得到多个网页中的企业数据信息。

分词处理单元104,用于若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词。

若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,并根据预设的识别模型对所述企业数据信息进行分词处理以得到单词。图谱构建信息即是用户所输入的对企业信息图谱进行构建的具体信息,图谱构建信息中具体包括识别模型、关键字信息及图谱构建规则。其中,数据表中所保存的企业数据信息中包含多个语句,一个语句即是一句话,以句号作为结尾。

其他发明实施例中,如图8所示,所述分词处理单元104包括子单元:特征向量提取单元1041、单词概率计算单元1042、概率判断单元1043及分词单元1044。

特征向量提取单元1041,用于根据所述识别模型中的向量提取规则对企业数据信息中所包含的语句进行特征提取以得到所有语句中字符的特征向量。

根据识别模型中的向量提取规则,对企业数据信息中所包含语句进行提取以得到所有语句中字符的特征向量。向量提取规则即是用于对语句中每一个字符的特征向量进行提取的规则信息,特征向量即是语句中所有字符所包含的多维向量信息。

具体的,向量提取规则中包括字符特征提取规则、词性特征提取规则。字符特征提取规则中包括多个词汇表,每一个词汇表中包含多个预设的字符;词性特征提取规则中包含多个词性特征表,每一个词性特征表中包含多个预设的词性特征。

单词概率计算单元1042,用于根据所述识别模型中概率计算公式对所得到字符的特征向量进行计算以得到所有字符的单词起始概率和单词终止概率。

根据识别模型中的概率计算公式对所得到的字符的特征向量进行计算,即可得到所有字符的单词起始概率和单词终止概率。其中,单词起始概率即是该字符作为单词的第一个字符的概率值,单词终止概率即是该字符作为单词中最后一个字符的概率值。具体的,概率计算公式中包含多个输入计算公式和输出计算公式。

通过概率计算公式中的多个输入计算公式,对所得到的字符的特征向量进行计算,输入节点为字符的特征向量,输入节点与100个中间节点相连接,也即是分别通过100个输入计算公式计算得到与字符的输入节点相连接的100个中间节点的值,第一个输入计算公式可表示为c1=w1×x1+b1,其中,c1为第一个中间节点的计算值,x1为字符的特征向量的值,w1和b1为第一中间节点与输入节点之间的第一输入计算公式中所预设的参数值,通过100个输入计算公式即可计算得到与字符的输入节点相连接的100个中间节点的值;100个中间节点分别与2个输出节点相连接,也即是通过多个输出计算公式计算得到与100个中间节点相连接的2个输出节点的值,其中第一个输出计算公式为f1=a1×c1+a2×c2+……a100×c100+d1,其中,f1为第一个输出节点的值,c1为第一个中间节点的计算值,a1为第一个输出计算公式中与第一中间节点对应的预设参数值,d1为第一输出计算公式中所预设的参数值。第一个输出节点的值对应为该字符的单词起始概率,第二个输出节点的值对应为该字符的单词终止概率。

概率判断单元1043,用于根据所述识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断以得到所有语句的概率判断结果。

根据识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断,以得到所有语句的概率判断结果。具体的,通过预设的概率阈值对语句中字符的单词起始概率和单词终止概率进行判断,即可得到该语句中多个单词的起始位置和终止位置,所得到的语句中多个单词的起始位置和终止位置即是该语句的概率判断结果。

分词单元1044,用于根据所得到的所有语句的概率判断结果对语句进行分词处理以得到单词。

根据所得到的语句的概率判断结果对语句进行分词处理,以得到该语句中的多个单词。由于概率判断结果中包含语句中多个单词的起始位置和终止位置,根据单词的起始位置和终止位置,对语句进行分词处理即可得到该语句中所包含的多个单词。

其他发明实施例中,如图9所示,所述企业信息图谱构建装置100还包括子单元:识别模型训练单元1040。

识别模型训练单元1040,用于通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型。

通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型,其中,所述训练数据中包括多条训练语句,每条训练语句中均包含多个单词起始位置和单词终止位置。通过多条训练语句对识别模型进行反复训练,得到的训练后的识别模型能够大幅提高识别精度。

其他发明实施例中,所述识别模型训练单元1040包括子单元:训练语句特征提取单元104a、概率计算单元104b、参数调整单元104c。

训练语句特征提取单元104a,用于根据识别模型中的向量提取规则对多条训练语句进行特征提取以得到所有训练语句中字符的特征向量。

根据识别模型中的向量提取规则,对多条训练语句进行提取以得到所有训练语句中字符的特征向量。向量提取规则即是用于对语句中每一个字符的特征向量进行提取的规则信息,特征向量即是语句中所有字符所包含的多维向量信息。具体的,向量提取规则中包括字符特征提取规则、词性特征提取规则。

概率计算单元104b,用于根据识别模型中概率计算公式对所得到训练语句的特征向量进行计算以得到所有训练语句中字符的单词起始概率和单词终止概率。

根据识别模型中概率计算公式对所得到训练语句的特征向量进行计算,即可得到所有训练语句中字符的单词起始概率和单词终止概率。其中,单词起始概率即是该字符作为单词的第一个字符的概率值,单词终止概率即是该字符作为单词中最后一个字符的概率值。

参数调整单元104c,用于根据预设的参数调整规则、所得到训练语句中字符的单词起始概率和单词终止概率及训练语句中的单词起始位置和单词终止位置对识别模型中概率计算公式的参数值进行调整,以得到训练后的识别模型。

根据预设的参数调整规则、所得到训练语句中字符的单词起始概率和单词终止概率及训练语句中的单词起始位置和单词终止位置,对识别模型中概率计算公式的参数值进行调整,以得到训练后的识别模型。具体的,根据训练语句中的单词起始位置和单词终止位置对所得到训练语句中字符的单词起始概率和单词终止概率进行判断,根据预设的参数调整规则结合所得到的判断结果对概率计算公式中的参数值进行调整,概率调整公式中包含调整概率阈值、调整方向、调整幅度。调整概率阈值即是用于对字符的单词起始概率或单词终止概率进行判断的阈值信息,调整方向即是用于对概率计算公式中的参数值进行放大或缩小的方向信息,调整幅度即是用于对概率计算公式中参数值进行调整的幅度信息。

若训练语句中某字符为单词的起始位置,则判断该字符的单词起始概率是否大于参数调整规则中预设的调整概率阈值,若该字符的单词起始概率大于调整概率阈值,则不对概率计算公式的参数值进行调整,若该字符的单词起始概率不大于调整概率阈值,则根据预设的参数调整规则对概率计算公式的参数值进行调整;若训练语句中某字符为单词的终止位置,则判断该字符的单词终止概率是否大于参数调整规则中预设的调整概率阈值,若该字符的单词终止概率大于调整概率阈值,则不对概率计算公式中的参数值进行调整,若该字符的单词终止概率不大于调整概率阈值,则根据预设的参数调整规则对概率计算公式的参数值进行调整。

关键字匹配单元105,用于根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息。

根据预设的关键字信息对所得到的单词进行匹配,即可获取与关键字信息相匹配的企业实体信息及实体关联信息。所述关键字信息中包含多个实体关键字及多个关联关键字。关键字信息即是用于对所得到的单词进行匹配的信息,企业实体信息即是数据库所保存企业数据信息的主体数据信息,实体关联信息即是数据库所保存企业数据信息中主体之间的关联信息。例如,在对以企业为主体的企业数据信息进行采集时,则企业实体信息即是企业名称。

其他发明实施例中,如图10所示,所述关键字匹配单元105包括子单元:企业实体信息匹配单元1051及实体关联信息匹配单元1052。

企业实体信息匹配单元1051,用于根据预设的实体关键字对所得到的单词进行匹配以将包含预设实体关键字的单词作为识别得到的企业实体信息。

根据预设的实体关键字对所得到的单词进行匹配,根据匹配结果将包含预设关键字信息的单词作为识别得到的企业实体信息。其中,预设的实体关键字中包含多个具体的关键字,若某一单词包含实体关键字中的一个或多个关键字,则该单词为识别得到的企业实体信息,若某一单词不包含实体关键字中的任一关键字,则该单词不作为识别得到的企业实体信息。

实体关联信息匹配单元1052,用于根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配以将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。

根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配,根据匹配结果将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。其中,预设关联关键字中包含多个具体的关键字,若某两个企业实体信息之间的单词包含关联关键字中的一个或多个关键字,则该单词作为两个企业实体信息之间的实体关联信息,若某两个企业实体信息之间的单词不包含关联关键字中任一关键字,则该单词不作为两个实体之间的实体关联信息。

企业信息图谱构建单元106,用于根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

根据预设的图谱构建规则及所得到的企业实体信息、实体关联信息构建得到企业信息图谱。其中,图谱构建规则即是用于构建企业信息图谱的规则信息,企业信息图谱即是用于直观表述多个企业实体信息及多个实体之间关联关系的图谱。

其他发明实施例中,如图11所示,所述企业信息图谱构建单元106包括子单元:图谱实体构建单元1061、图谱关联信息构建单元1062及时间信息添加单元1063。

图谱实体构建单元1061,用于根据所述图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体。

根据图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体,每一个企业实体信息对应一个图谱实体,图谱实体即是企业信息图谱中用于对企业实体信息进行直观表述的图谱信息。其中,图谱实体在所构建的企业信息图谱中可以用圆圈、三角形或其他任意多边形来进行表示,将企业实体信息标注在所构建的图谱实体中。

图谱关联信息构建单元1062,用于根据所述图谱构建规则中的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息。

根据预设的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息,每一个实体关联信息对应一个图谱关联信息,图谱关联信息即是实体图谱中用于对图谱实体之间的关联信息进行直观表述的关联信息。其中,图谱关联信息在所构建的实体图谱中可以用箭头或其他任意线段来进行表示,若用箭头表示图谱关联信息,则在两个图谱实体中箭头所指向的图谱实体属于另一个图谱实体。

时间信息添加单元1063,用于根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。

根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。通过所构建的实体图谱中添加时间信息以方便用户在察看实体图谱时获取图谱实体及图谱关联信息的时间信息。

若构建得到实体图谱之后,数据库中添加了新增企业数据信息,可根据数据库中的新增企业数据信息对所构建的实体图谱进行更新。具体的,根据上述企业实体信息及实体关联信息匹配方法对数据库中的新增企业数据信息进行匹配,得到新增企业实体信息及新增实体关联信息,根据预设的实体构建规则及关联构建规则在所构建的实体图谱中创建新的图谱实体及图谱关联信息,并为新增的图谱实体及新增的图谱关联信息添加时间信息以完成对实体图谱的更新。

通过信息爬取程序对网页中海量的企业数据信息进行采集,根据识别模型对企业数据信息进行分词并获取相应的企业实体信息及实体关联信息,构建得到企业信息图谱,用户可通过所构建的企业信息图谱直观地查看企业信息及各企业之间所存在的关联信息,大幅提高了对海量企业数据信息进行提取及分析的效率。

上述企业信息图谱构建装置可以实现为计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。

请参阅图12,图12是本发明实施例提供的计算机设备的示意性框图。

参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行企业信息图谱构建方法。

该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行企业信息图谱构建方法。

该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图12中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下功能:若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中;将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端;通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中;若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词;根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息;根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

在一实施例中,处理器502在执行若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词的步骤时,执行如下操作:根据所述识别模型中的向量提取规则对企业数据信息中所包含的语句进行特征提取以得到所有语句中字符的特征向量;根据所述识别模型中概率计算公式对所得到字符的特征向量进行计算以得到所有字符的单词起始概率和单词终止概率;根据所述识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断以得到所有语句的概率判断结果;根据所得到的所有语句的概率判断结果对语句进行分词处理以得到单词。

在一实施例中,处理器502在执行若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词的步骤之前,还执行如下操作:通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型。

在一实施例中,处理器502在执行根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息的步骤时,执行如下操作:根据预设的实体关键字对所得到的单词进行匹配以将包含预设实体关键字的单词作为识别得到的企业实体信息;根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配以将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。

在一实施例中,处理器502在执行根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱的步骤时,执行如下操作:根据所述图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体;根据所述图谱构建规则中的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息;根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。

本领域技术人员可以理解,图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图12所示实施例一致,在此不再赘述。

应当理解,在本发明实施例中,处理器502可以是中央处理单元(centralprocessingunit,cpu),该处理器502还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供存储介质。该存储介质可以为非易失性的计算机可读存储介质。该存储介质存储有计算机程序,其中计算机程序被处理器执行时实现以下步骤:若接收到用户所输入的网址信息,将所述网址信息作为待爬取列表添加至预设的信息爬取程序中;将已添加待爬取列表的信息爬取程序发送至与预设管理服务器建立网络连接的多台信息采集终端;通过所述管理服务器接收多台信息采集终端所采集得到的企业数据信息并保存至预设的数据库中;若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词;根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息;根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱。

在一实施例中,所述若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词的步骤,包括:根据所述识别模型中的向量提取规则对企业数据信息中所包含的语句进行特征提取以得到所有语句中字符的特征向量;根据所述识别模型中概率计算公式对所得到字符的特征向量进行计算以得到所有字符的单词起始概率和单词终止概率;根据所述识别模型中预设的概率阈值对所得到的语句中字符的单词起始概率和单词终止概率进行判断以得到所有语句的概率判断结果;根据所得到的所有语句的概率判断结果对语句进行分词处理以得到单词。

在一实施例中,所述若接收到用户所输入的图谱构建信息,获取所述数据库中所保存的企业数据信息,根据图谱构建信息中的识别模型对所述企业数据信息进行分词处理以得到单词的步骤之前,还包括:通过预设的训练数据对识别模型进行训练,以得到训练后的识别模型。

在一实施例中,所述根据图谱构建信息中的关键字信息对所得到的单词进行匹配以获取与关键字信息相匹配的企业实体信息及实体关联信息的步骤,包括:根据预设的实体关键字对所得到的单词进行匹配以将包含预设实体关键字的单词作为识别得到的企业实体信息;根据预设的关联关键字对所得到的企业实体信息之间的单词进行匹配以将包含预设关联关键字的单词作为企业实体信息之间的实体关联信息。

在一实施例中,所述根据图谱构建信息中的图谱构建规则、所得到的企业实体信息及实体关联信息构建得到企业信息图谱的步骤,包括:根据所述图谱构建规则中的实体构建规则及所得到的企业实体信息构建图谱实体;根据所述图谱构建规则中的关联构建规则及所得到的实体关联信息构建图谱实体之间的图谱关联信息;根据当前时间在所述图谱实体及图谱关联信息添加时间信息以得到企业信息图谱。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1