数据检索的方法、系统、计算设备及存储介质与流程

文档序号:14554956阅读:222来源:国知局
数据检索的方法、系统、计算设备及存储介质与流程

本发明涉及数据检索领域,具体而言,涉及一种数据检索的方法、系统、一种计算机设备以及一种计算机可读存储介质。



背景技术:

数据库作为常见和主要的数据存储和维护的载体,一般地,数据库的维护主要是面向功能点层面的数据维护,因此,在对数据库中的存储的数据进行检索时,只能得到被检索对象的单一检索结果,对于与其数据相关联的关联关系和数据无法被检索出来,不能深度挖掘被检索对象的数据关联价值;此外,目前对于数据库的检索不存在元数据层面的支持,无法对自然语言交互方式的提供支持,无法对基于自然语言的搜索请求进行检索,数据检索的搜索能力较弱,无法满足人们对数据检索的需求。

因此,需要一种数据库检索方法来解决上述技术问题,从而挖掘数据检索关联价值,并提高数据检索能力,满足人们对数据的检索需求。



技术实现要素:

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此,本发明的一个方面在于提出了一种数据检索的方法。

本发明的另一个方面在于提出了一种数据检索的系统。

本发明的再一个方面在于提出了一种计算机设备。

本发明的又一个方面在于提出了一种计算机可读存储介质。

有鉴于此,根据本发明的一个方面,提出了一种数据检索的方法。

本发明提供的数据检索的方法包括:获取数据模型,并对数据模型进行分析,得到模型定义信息;获取数据信息并对数据信息进行分析,得到数据关联关系;根据模型定义信息、数据信息和数据关联关系建立知识图谱;获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

本发明提供的数据检索的方法,获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容。在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

当然,在获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果之后,还可以对自然语言对话信息中上下文进行处理,提取自然语言对话信息的关键词以及关联关系;根据知识图谱对关键词以及关联关系进行检索,得到知识图谱检索结果。

根据本发明的上述数据检索的方法,还可以具有以下技术特征:

在上述技术方案中,优选地,获取数据模型,并对数据模型进行分析,得到模型定义信息包括:通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。

在该技术方案中,生成模型定义信息时,可以根据数据库中存储的数据对象的集合(schema)来生成模型定义信息,从而实现在建立知识图谱时对普通数据库的支持,从而得到在普通数据库进行检索时得到被检索对象的关联关系;也可以通过获取应用程序的元数据描述信息来生成模型定义信息,实现在软件层面上对数据表的提取,从而建立知识图谱;还可以通过使用机器学习对领域设计模型数据知识进行提取并生成模型定义信息,即通过机器学习对专业领域内的设计模型数据知识进行学习,如:领域设计产品的概念,从而生成模型定义信息,通过使用元数据完成对自然语言的进行处理,使得自然语言处理过程比较准确和高效,在对知识图谱进行检测时更为准确的得到检索结果,从而保证了生成的知识图谱中各数据表之间的关系更加准确;此外还可以对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。通过上述几种方式得到的模型定义信息,生成的知识图谱具有多样来源,并以此建立知识图谱在对自然语言进行检索得到的知识图谱检索结果更准确。

在上述技术方案中,优选地,模型定义信息包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系。

在该技术方案中,生成的模型定义信息中包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系,其中数据表模型与数据表列模型是拥有关系、数据表列模型与其他数据表列模型的根据数值建立关联关系,从而得到模型定义信息,通过建立模型定义信息,可以在建立知识图谱中数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系任意两个给出一个关联关系,即对填充的数据信息一个关系表述角度,从而实现将有关联的数据关联起来,以此达到用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值,在扩展和提高传统检索能力的同时,还提高用户使用体验。

在上述技术方案中,优选地,根据模型定义信息、数据信息和数据关联关系建立知识图谱具体包括:根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;以及对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱。

在该技术方案中,根据数据关联关系,将与数据表模型具有实例相关的实例行以及根据数据关联关系、数据表列模型生成实例行数据单元,根据生成的具有实例关系的实例行以及实例行数据单元,将模型定义信息中的数据表模型和数据表列模型联系起来,通过为数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,从而将模型定义信息中各部分之间的关系以及通过数据分析出来的关联关系建立起来,即得到数据表模型、数据表列模型、实例行、实例行数据单元、不同数据表列模型的关联关系以及具有关联关系的不同数据行和/或不同数据表模型的实例行数据单元的实例关联关系。通过该过程,实现用户可以根据关联关系进行检索,得到与被检索对象相关联的数据信息,从而深度挖掘被检索对象的数据关联价值。在摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

在上述技术方案中,优选地,在获取数据模型,并对数据模型进行分析,生成模型定义信息之后,在获取数据信息并对并对数据信息进行分析,得到数据关联关系之前,还包括:对模型定义信息进行修订。

在该技术方案中,在对生成的模型定义信息之后,还需要专业人员对生成的模型定义信息进行修改,通过专业人员对其中的模型定义信息进行添加无法获取得到的关联关系,以及对出现错误的关联关系进行删除,以此来保证生成的知识图谱的准确性,从而保证通过知识图谱检索得到的知识图谱检索结果的准确性。

在上述技术方案中,优选地,在建立知识图谱之后,在获取自然语言对话信息之前,还包括:建立全文检索模型,建立全文检索模型包括:获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果;根据实例行数据单元和数据筛查结果建立全文检索模型。

在该技术方案中,在生成模型定义信息的同时,还需要并对实例行数据单元的数据类型进行筛查,判断实例行数据单元的数据类型是否值得建立全文检索,并且对于实例行数据单元的进行哈希分布分析,通过哈希分布分析判断数据本身是否值得建立全文检索,根据数据表以及筛查结果建立全文检索。在此过程中,对实例行数据单元进行筛查,将不值得建立全文检索的数据类型以及根据哈希分布分析确定不值得检索的实例行数据单元筛查出去,使得建立全文检索时,减少了过多不值得建立全文检索的数据,建立得到的全文检索整体数据结构精简,在进行全文检索时,速度更快,减少用户等待时间。

在上述技术方案中,优选地,在根据知识图谱对检测结果进行检索,得到知识图谱检索结果之后,还包括:通过全文检索模型对检测结果进行检索,得到全文检索结果;以及对知识图谱检索结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检索结果和全文检索结果。

在该技术方案中,在根据知识图谱对检测结果进行检索,得到知识图谱检索结果之后,还要通过全文检索模型对检测结果进行检测,并将知识图谱检测结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检测结果和全文检索结果。在此过程中,发送的知识图谱检测结果和全文检索结果是经过关系补齐的,即用户在收到的是包括全文检索和知识图谱合并在一起的反馈结果,用户可以直接通过全文检索的检索结果得到与之关联的其他数据,或者用户可以通过知识图谱查找到对应的全文检索结果,从而使得用户只需通过输入自然语言对话信息即可得到与对话信息有价值的关联信息。

根据本发明的另一个方面,提出了一种数据检索的系统。

本发明提供的数据检索的系统包括:提取单元,用于获取数据模型,并对数据模型进行分析,得到模型定义信息;分析单元,用于获取数据信息并对数据信息进行分析,得到数据关联关系;建立单元,用于根据模型定义信息、数据信息和数据关联关系建立知识图谱;检测单元,用于获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;检索单元,用于根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

在该技术方案中,提取单元获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;分析单元对获取到的数据信息进行分析,得到数据关联关系,建立单元根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,检索单元在检测单元在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

当然,在获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果之后,还可以对自然语言对话信息中上下文进行处理,提取自然语言对话信息的关键词以及关联关系;根据知识图谱对关键词以及关联关系进行检索,得到知识图谱检索结果。

在上述技术方案中,优选地,提取单元通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息来生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。

在该技术方案中,生成模型定义信息时,可以根据数据库中存储的数据对象的集合(schema)来生成模型定义信息,从而实现在建立知识图谱时对普通数据库的支持,从而实现对普通数据库进行检索时得到被检索对象的关联关系;也可以通过获取应用程序的元数据描述信息来生成模型定义信息,实现在软件层面上对数据表的提取,从而建立知识图谱;还可以通过使用机器学习对领域设计模型数据知识进行提取并生成模型定义信息,即通过机器学习对专业领域内的设计模型数据知识进行学习,如:领域设计产品的概念,从而生成模型定义信息,通过使用元数据完成对自然语言的进行处理,使得自然语言处理过程比较准确和高效,在对知识图谱进行检测时更为准确的得到检索结果,从而保证了生成的知识图谱中各数据表之间的关系更加准确;此外还可以对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。通过上述几种方式得到的模型定义信息,生成的知识图谱具有多样来源,并以此建立知识图谱在对自然语言进行检索得到的知识图谱检索结果更准确。

在上述技术方案中,优选地,建立单元包括:生成单元,用于根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;关系建立单元,用于对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱。

在该技术方案中,生成单元根据数据关联关系,将与数据表模型具有实例相关的实例行以及根据数据关联关系、数据表列模型生成实例行数据单元,根据生成的具有实例关系的实例行以及实例行数据单元,将模型定义信息中的数据表模型和数据表列模型联系起来,通过关系建立单元为数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,从而将模型定义信息中各部分之间的关系以及通过数据分析出来的关联关系建立起来,即得到数据表模型、数据表列模型、实例行、实例行数据单元、不同数据表列模型的关联关系以及具有关联关系的不同数据行和/或不同数据表模型的实例行数据单元的实例关联关系,通过该过程,实现用户可以根据关联关系进行检索,得到与被检索对象相关联的数据信息,从而深度挖掘被检索对象的数据关联价值。在摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

在上述技术方案中,优选地,还包括:修订单元,用于对模型定义信息进行修订。

在该技术方案中,在对生成的模型定义信息之后,还需要专业人员对生成的模型定义信息进行修改,通过专业人员对其中的模型定义信息进行添加无法获取得到的关联关系,以及对出现错误的关联关系进行删除,以此来保证生成的知识图谱的准确性,从而保证通过知识图谱检索得到的知识图谱检索结果的准确性。

在上述技术方案中,优选地,还包括:第一建立单元,用于建立全文检索模型,第一建立单元包括:筛查单元,用于获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果;第一建立子单元,用于根据实例行数据单元和数据筛查结果建立全文检索模型。

在该技术方案中,在生成模型定义信息的同时,还需要通过筛查单元从所述数据模型中提取实例行数据单元,并对实例行数据单元的数据类型进行筛查,判断实例行数据单元的数据类型是否值得建立全文检索,并且对于实例行数据单元的进行哈希分布分析,通过哈希分布分析判断数据本身是否值得建立全文检索,第一建立子单元根据数据表以及筛查结果建立全文检索。在此过程中,对数据表中的数据进行筛查,将不值得建立全文检索的数据类型以及根据哈希分布分析确定不值得检索的实例行数据单元筛查出去,使得建立全文检索时,减少了过多不值得建立全文检索的数据,建立得到的全文检索整体数据结构精简,在进行全文检索时,速度更快,减少用户等待时间。

在上述技术方案中,优选地,检索单元还用于通过全文检索模型对检测结果进行检索,得到全文检索结果;以及对知识图谱检索结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检索结果和全文检索结果。

在该技术方案中,检索单元在根据知识图谱对检测结果进行检索,得到知识图谱检索结果之后,还要通过全文检索模型对检测结果进行检测,并将知识图谱检测结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检测结果和全文检索结果。在此过程中,发送的知识图谱检测结果和全文检索结果是经过关系补齐的,即用户在收到的是包括全文检索和知识图谱合并在一起的反馈结果,用户可以直接通过全文检索的检索结果得到与之关联的其他数据,或者用户可以通过知识图谱查找到对应的全文检索结果,从而使得用户只需通过输入自然语言对话信息即可得到与对话信息有价值的关联信息。

根据本发明的又一个方面,提出了一种计算机装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一项的数据检索的方法的步骤。

本发明提供的计算机装置,处理器执行计算机程序时实现通过获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

根据本发明的又一个方面,提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一项的数据检索的方法的步骤。

本发明提供的计算机可读存储介质,计算机程序被处理器执行时实现通过获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1示出了本发明的一个实施例中数据检索的方法的流程示意图;

图2示出了本发明的一个实施例中数据检索的方法的流程示意图;

图3示出了本发明的一个实施例中数据检索的方法的流程示意图;

图4示出了本发明的一个实施例中数据检索的方法的流程示意图;

图5示出了本发明的一个实施例中数据检索的方法的流程示意图;

图6示出了本发明的一个实施例中数据检索的方法的流程示意图;

图7示出了本发明中数据检索的系统的示意框图;

图8示出了本发明的一个实施例的计算机装置的示意框图;

图9示出知识图谱中存储的数据表的关系;

图10示出经过四种方式生成模型定义信息示意图;

图11示出获取数据信息并对数据信息进行分析并得到数据关联关系的示意框图;

图12示出建立知识图谱和全文检索模型的示意框图;

图13示出本申请的方案使用的场景的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例,提出一种数据检索的方法,图1示出了本发明的一个实施例中数据检索的方法的流程示意图。其中,该方法包括:

s102,获取数据模型,并对数据模型进行分析,得到模型定义信息;

s104,获取数据信息并对数据信息进行分析,得到数据关联关系;

s106,根据模型定义信息、数据信息和数据关联关系建立知识图谱;

s108,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s110,根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

在该实施例中,获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。如:现有李某的员工表和销售人员表,现阶段在对李某的销售人员进行查找是,第一步找到李某,第二步找到李某的员工表,第三部找到李某的销售人员表,从而找到李某想要找的销售人员,而本申请的技术方案,通过使用知识图谱可以直接检索李某的销售人员,通过李某和销售人员的关联关系得到检索结果,如果存在订单表,也能直接找到对应的订单。如找到李某某个销售人员的订单,同样的通过李某的关联关系就可以检索得到。

当然,在获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果之后,还可以对自然语言对话信息中上下文进行处理,提取自然语言对话信息的关键词以及关联关系;根据知识图谱对关键词以及关联关系进行检索,得到知识图谱检索结果。

图2示出了本发明的一个实施例中数据检索的方法的流程示意图。

在本发明的一个实施例中,优选地,数据检索方法包括:

s202,通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息;

s204,获取数据信息并对数据信息进行分析,得到数据关联关系;

s206,根据模型定义信息、数据信息和数据关联关系建立知识图谱;

s208,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s210,根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

在该实施例中,生成模型定义信息时,可以根据数据库中存储的数据对象的集合(schema)来生成模型定义信息,从而实现在建立知识图谱时对普通数据库的支持,从而实现对普通数据库进行检索时得到被检索对象的关联关系;也可以通过获取应用程序的元数据描述信息来生成模型定义信息,实现在软件层面上对数据表的提取,从而建立知识图谱;还可以通过使用机器学习对领域设计模型数据知识进行提取并生成模型定义信息,即通过机器学习对专业领域内的设计模型数据知识进行学习,从而生成模型定义信息,通过使用有元数据完成对自然语言的进行处理,使得自然语言处理过程比较准确和高效,在对知识图谱进行检测时更为准确的得到检索结果,从而保证了生成的知识图谱中各数据表之间的关系更加准确;此外还可以对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。通过上述几种方式得到的模型定义信息,生成的知识图谱具有多样来源,并以此建立知识图谱在对自然语言进行检索得到的知识图谱检索结果更准确。

图3示出了本发明的一个实施例中数据检索的方法的流程示意图。

在本发明的一个实施例中,优选地,数据检索方法包括:

s302,通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息;

s304,获取数据信息并对数据信息进行分析,得到数据关联关系;

s306,根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;以及

s308,对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱;

s310,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s312,根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

其中模型定义信息包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系。

在该实施例中,根据数据关联关系,将与数据表模型具有实例相关的实例行以及根据数据关联关系、数据表列模型生成实例行数据单元,根据生成的具有实例关系的实例行以及实例行数据单元,将模型定义信息中的数据表模型和数据表列模型联系起来,通过为数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,从而将模型定义信息中各部分之间的关系以及通过数据分析出来的关联关系建立起来,即得到数据表模型、数据表列模型、实例行、实例行数据单元、不同数据表列模型的关联关系以及具有关联关系的不同数据行和/或不同数据表模型的实例行数据单元的实例关联关系。通过该过程,实现用户可以根据关联关系进行检索,得到与被检索对象相关联的数据信息,从而深度挖掘被检索对象的数据关联价值。在摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

图4示出了本发明的一个实施例中数据检索的方法的流程示意图。

在本发明的一个实施例中,优选地,数据检索方法包括:

s402,通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息;

s404,对模型定义信息进行修订;

s406,获取数据信息并对数据信息进行分析,得到数据关联关系;

s408,根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;以及

s410,对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱;

s412,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s414,根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

其中模型定义信息包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系。

在该实施例中,在对生成的模型定义信息之后,还需要专业人员对生成的模型定义信息进行修改,通过专业人员对其中的模型定义信息进行添加无法获取得到的关联关系,以及对出现错误的关联关系进行删除,以此来保证生成的知识图谱的准确性,从而保证通过知识图谱检索得到的知识图谱检索结果的准确性。

图5示出了本发明的一个实施例中数据检索的方法的流程示意图。

在本发明的一个实施例中,优选地,数据检索的方法包括:

s502,通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息;

s504,对模型定义信息进行修订;

s506,获取数据信息并对数据信息进行分析,得到数据关联关系;

s508,根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;以及

s510,对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱;

s512,获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果;

s514,根据实例行数据单元和数据筛查结果建立全文检索模型;

s516,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s518,根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

其中模型定义信息包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系。

在该实施例中,在生成模型定义信息的同时,还需要对实例行数据单元的数据类型进行筛查,判断实例行数据单元的数据类型是否值得建立全文检索,如:对于给定的128位的默认信息,没有建立全文检索的价值,因此,将此筛查出去。并且对于实例行数据单元的进行哈希分布分析,如:哈希分布分析的结果特别集中,不具备分布波动的特性,因而,将此筛查出去。通过哈希分布分析判断数据本身是否值得建立全文检索,根据数据表以及筛查结果建立全文检索。在此过程中,对实例行数据单元进行筛查,将不值得建立全文检索的数据类型以及根据哈希分布分析确定不值得检索的实例行数据单元筛查出去,使得建立全文检索时,减少了过多不值得建立全文检索的数据,建立得到的全文检索整体数据结构精简,在进行全文检索时,速度更快,减少用户等待时间。

图6示出了本发明的一个实施例中数据检索的方法的流程示意图。

在本发明的一个实施例中,优选地,数据检索的方法包括:

s602,通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息;

s604,对模型定义信息进行修订;

s606,获取数据信息并对数据信息进行分析,得到数据关联关系;

s608,根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;以及

s610,对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱;

s612,获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果;

s614,根据实例行数据单元和数据筛查结果建立全文检索模型;

s616,获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;

s618,根据知识图谱对检测结果进行检索,得到知识图谱检索结果;

s620,通过全文检索模型对检测结果进行检索,得到全文检索结果;以及对知识图谱检索结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检索结果和全文检索结果。

其中模型定义信息包括:数据表模型、数据表列模型、数据表模型与数据表列模型的关联关系以及数据表列模型与其他数据表列模型的关联关系。

在该实施例中,在根据知识图谱对检测结果进行检索,得到知识图谱检索结果之后,还要通过全文检索模型对检测结果进行检测,并将知识图谱检测结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检测结果和全文检索结果。在此过程中,发送的知识图谱检测结果和全文检索结果是经过关系补齐的,即用户在收到的是包括全文检索和知识图谱合并在一起的反馈结果,用户可以直接通过全文检索的检索结果得到与之关联的其他数据,或者用户可以通过知识图谱查找到对应的全文检索结果,从而使得用户只需通过输入自然语言对话信息即可得到与对话信息有价值的关联信息。

本发明第二方面的实施例,提出了一种数据检索的系统。图7示出了本发明中数据检索的系统的示意框图。其中数据检索的系统包括:提取单元702,用于获取数据模型,并对数据模型进行分析,得到模型定义信息;分析单元704,用于获取数据信息并对数据信息进行分析,得到数据关联关系;建立单元706,用于根据模型定义信息、数据信息和数据关联关系建立知识图谱;检测单元708,用于获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果;检索单元710,用于根据知识图谱对检测结果进行检索,得到知识图谱检索结果。

在该实施例中,提取单元702获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;分析单元704对获取到的数据信息进行分析,得到数据关联关系,建立单元706根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,检索单元710在检测单元708在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。如:现有李某的员工表和销售人员表,现阶段在对李某的销售人员进行查找是,第一步找到李某,第二步找到李某的员工表,第三部找到李某的销售人员表,从而找到李某想要找的销售人员,而本申请的技术方案,通过使用知识图谱可以直接检索李某的销售人员,通过李某和销售人员的关联关系得到检索结果,如果存在订单表,也能直接找到对应的订单。如找到李某某个销售人员的订单,同样的通过李某的关联关系就可以检索得到。

当然,在获取自然语言对话信息,对自然语言对话信息进行意图检测,得到检测结果之后,还可以对自然语言对话信息中上下文进行处理,提取自然语言对话信息的关键词以及关联关系;根据知识图谱对关键词以及关联关系进行检索,得到知识图谱检索结果。

在本发明的一个实施例中,优选地,提取单元702通过获取数据库中数据对象的集合生成模型定义信息;和/或获取应用程序的元数据描述信息来生成模型定义信息;和/或通过使用机器学习对领域设计模型数据知识进行提取来生成模型定义信息;和/或对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。

在该实施例中,通过提取单元702生成模型定义信息时,可以根据数据库中存储的数据对象的集合(schema)来生成模型定义信息,从而实现在建立知识图谱时对普通数据库的支持,从而实现对普通数据库进行检索时得到被检索对象的关联关系;也可以通过获取应用程序的元数据描述信息来生成模型定义信息,实现在软件层面上对数据表的提取,从而建立知识图谱;还可以通过使用机器学习对领域设计模型数据知识进行提取并生成模型定义信息,即通过机器学习对专业领域内的设计模型数据知识进行学习,从而生成模型定义信息,通过使用有元数据完成对自然语言的进行处理,使得自然语言处理过程比较准确和高效,在对知识图谱进行检测时更为准确的得到检索结果,从而保证了生成的知识图谱中各数据表之间的关系更加准确;此外还可以对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息。通过上述几种方式得到的模型定义信息,生成的知识图谱具有多样来源,并以此建立知识图谱在对自然语言进行检索得到的知识图谱检索结果更准确。

在本发明的一个实施例中,优选地,建立单元706包括:生成单元712,用于根据数据关联关系、数据表模型生成实例行,以及根据数据关联关系、数据表列模型生成实例行数据单元;关系建立单元714,用于对数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,得到知识图谱。

在该实施例中,生成单元712根据数据关联关系,将与数据表模型具有实例相关的实例行以及根据数据关联关系、数据表列模型生成实例行数据单元,根据生成的具有实例关系的实例行以及实例行数据单元,将模型定义信息中的数据表模型和数据表列模型联系起来,通过关系建立单元714为数据表模型和实例行建立实例关联关系、对数据表列模型和实例行数据单元建立实例关联关系、对实例行和实例行数据单元建立拥有关联关系、对实例行数据单元和其他实例行数据单元建立数值关联关系,从而将模型定义信息中各部分之间的关系以及通过数据分析出来的关联关系建立起来,即得到数据表模型、数据表列模型、实例行、实例行数据单元、不同数据表列模型的关联关系以及具有关联关系的不同数据行和/或不同数据表模型的实例行数据单元的实例关联关系,通过该过程,实现用户可以根据关联关系进行检索,得到与被检索对象相关联的数据信息,从而深度挖掘被检索对象的数据关联价值。在摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

在本发明的一个实施例中,优选地,还包括:修订单元716,用于对模型定义信息进行修订。

在该实施例中,在提取单元702生成的模型定义信息之后,还需要专业人员对生成的模型定义信息进行修改,通过专业人员对其中的模型定义信息进行添加无法获取得到的关联关系,以及对出现错误的关联关系进行删除,以此来保证生成的知识图谱的准确性,从而保证通过知识图谱检索得到的知识图谱检索结果的准确性。

在本发明的一个实施例中,优选地,还包括:第一建立单元718,用于建立全文检索模型,第一建立单元718包括:筛查单元720,用于获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果;第一建立子单元722,用于根据实例行数据单元和数据筛查结果建立全文检索模型。

在该实施例中,在提取单元702生成模型定义信息的同时,还需要通过筛查单元720从所述数据模型中提取实例行数据单元,并对实例行数据单元的数据类型进行筛查,判断实例行数据单元的数据类型是否值得建立全文检索,如:对于给定的128位的默认信息,没有建立全文检索的价值,因此,将此筛查出去。并且对于实例行数据单元的进行哈希分布分析,如:哈希分布分析的结果特别集中,不具备分布波动的特性,因而,将此筛查出去。通过哈希分布分析判断数据本身是否值得建立全文检索,第一建立子单元722根据数据表以及筛查结果建立全文检索。在此过程中,对数据表中的数据进行筛查,将不值得建立全文检索的数据类型以及根据哈希分布分析确定不值得检索的实例行数据单元筛查出去,使得建立全文检索时,减少了过多不值得建立全文检索的数据,建立得到的全文检索整体数据结构精简,在进行全文检索时,速度更快,减少用户等待时间。

在本发明的一个实施例中,优选地,检索单元710还用于通过全文检索模型对检测结果进行检索,得到全文检索结果;以及对知识图谱检索结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检索结果和全文检索结果。

在该实施例中,检索单元710在根据知识图谱对检测结果进行检索,得到知识图谱检索结果之后,还要通过全文检索模型对检测结果进行检测,并将知识图谱检测结果和全文检索结果进行关系补齐,并发送补齐后的知识图谱检测结果和全文检索结果。在此过程中,发送的知识图谱检测结果和全文检索结果是经过关系补齐的,即用户在收到的是包括全文检索和知识图谱合并在一起的反馈结果,用户可以直接通过全文检索的检索结果得到与之关联的其他数据,或者用户可以通过知识图谱查找到对应的全文检索结果,从而使得用户只需通过输入自然语言对话信息即可得到与对话信息有价值的关联信息。

本发明第三方面的实施例,提出了一种计算机装置,图8示出了本发明的一个实施例的计算机装置800的示意框图。包括存储器802、处理器804及存储在存储器802上并可在处理器上运行的计算机程序,处理器804执行计算机程序时实现如上述任一项的数据检索的方法的步骤。

本发明提供的计算机装置800,处理器804执行计算机程序时实现通过获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

本发明第四方面的实施例,提出了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述任一项的数据检索的方法的步骤。

本发明提供的计算机可读存储介质,计算机程序被处理器执行时实现通过获取数据模型,并对数据模型进行分析,得到用来建立知识图谱的模型结构;对获取到的数据信息进行分析,得到数据关联关系,根据数据关联关系将数据信息添加到模型定义信息中,并利用数据关联关系将模型定义信息中具有关联关系的数据关联起来,得到知识图谱,在获取到自然语言对话信息后,对该对话信息进行意图检测,确定对话内容中想要找到的目标以及得到目标的关联关系,将此关联关系通过知识图谱进行检索,即可得到需要检索的内容,在此过程中,用户可以根据关联关系进行检索,从而深度挖掘被检索对象的数据关联价值。此外,本申请提出的技术方案能够完成对通用数据库的关联关系的检索,从而摆脱了现阶段无法对检索对象给出跨功能节点的数据检索和数据关系导航,并且可以根据自然语言对话信息完成对数据的检索,在扩展和提高传统检索能力的同时,还提高用户使用体验。

图9示出知识图谱中存储的数据表的关系。其中t_entity是实体,即数据表模型、t_field是表字段,即数据表列模型、t_row是行,即生成的实例行、t_col(t_column)是实例行数据单元,其中er_instance是t_entity与t_row的实例关联关系;ef_own是t_entity与t_field的拥有关系;fc_instance是t_field与t_col的实例关联关系;rc_own是t_row与t_col的拥有关系;ff_rel是不同实体之间t_field的实例关联关系;cc_rel是不同数据表模型(实体)之间t_col的实例关联关系。图10示出经过四种方式生成模型定义信息示意图,其中模型定义信息中entity表示数据表模型(实体)、fieid表示数据表列模型(列名)、name表示对应实体和列名的名称、label是对应实体和列名的标签、id_field是实体中field的唯一标识、data_type是对应field的数据类型、relation是关系、其中relation中src_entity是entity的来源、src_field是field的来源、dst_entity是entity的目标、dst_field是field的目标。图11示出获取数据信息并对数据信息进行分析并得到数据关联关系的示意框图。其中column的数据类型筛查和分析column数据的哈希分布即用于获取实例行数据单元;对实例行数据单元的数据类型进行筛查以及对实例行数据单元进行哈希分布分析;根据数据类型筛查结果和哈希分布结果确定数据筛查结果。图12示出建立知识图谱和全文检索模型的示意框图。其中模型描述文件是应用程序的元数据描述信息来生成模型定义信息、领域设计模型数据知识(机器学习)是通过使用机器学习对领域设计模型数据知识进行提取并生成模型定义信息、schema和数据是根据数据库中schema提取多个数据表并生成模型定义信息和对数据库中任意两个基础数据表中存储的数据进行相关性分析,对存在关联关系的基础数据表进行提取并生成模型定义信息,对于生成的模型定义信息还可以由专业人员进行修订;通过获取数据信息并对数据信息分析得到数据关联关系,通过模型定义信息和数据关联关系生成知识图谱;此外在获取到数据信息后还对数据信息进行数据类型筛查以及哈希分布分析,得到数据筛查结果,根据数据筛查结果和数据信息建立全文检索模型。图13示出本申请的方案使用的场景的流程示意图。其中在获取到自然语言对话信息,对其进行意图检测,并结合上下文处理,提取到关键词和关联关系,对于关键词在全文检索模型进行检索,关联关系在知识图谱中检索,并将全文检索结果和知识图谱检索结果进行关系补齐,并对补齐后的全文检索结果和知识图谱检索结果进行包装处理,并返回处理结果。

在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1