用于数据中台的数据查询方法及装置与流程

本发明涉及通信技术领域，尤其涉及一种用于数据中台的数据查询方法及装置。

背景技术：

数据中台的作用是通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。

在现有技术中，数据中台的数据存储模型主要包括：雪花模型和星型模型，其中，星型模型的具体示例图可参见附图2，雪花模型的具体示例图可参见附图3。该雪花模型和星型模型均是以事实表为核心，将各维度表直接或分层连接至事实表上，当需要进行数据查询时，以事实表为入口点，关联其对应的维度表信息，完成数据查询工作。

举例来说，在一类专题应用中，包括：办理出国留学、转户口等多个不套的事实表，该办理出国留学的事实表对应的维度表中包含有办理出国留学的人的姓名、性别、年龄等身份信息，而办理转户口的事实表对应的维度表中也包含有办理出国留学的人的姓名、性别、年龄等身份信息，这就会导致不同的事实表间存在大量的数据冗余，进而造成存储空间的浪费。

技术实现要素：

本发明实施例提供一种用于数据中台的数据查询方法，用以保证同一项数据在资产数据结构中只保存一份，避免出现数据冗余，从而造成存储空间的浪费，该方法包括：

获取资产数据结构，所述资产数据结构包括：资产信息模块、资产属性模块和属性标签模块，所述资产信息模块用于存储资产数据信息，所述资产属性模块用于存储资产数据信息对应的属性信息，所述属性标签模块用于存储所述属性信息对应的特征信息；

自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，自资产属性模块中获取与待查询业务信息相关的属性信息。

可选的，所述资产数据信息包括：资产数据分类信息、资产数据标识信息和资产数据标签信息。

可选的，所述属性标签模块包括：业务标签、权限标签。

可选的，所述属性标签模块还包括：资产档案，所述资产档案用于标注不同属性信息之间的关联性。

本发明实施例还提供一种用于数据中台的数据查询装置，用以保证同一项数据在资产数据结构中只保存一份，避免出现数据冗余，从而造成存储空间的浪费，该装置包括：

数据结构获取模块，用于获取资产数据结构，所述资产数据结构包括：资产信息模块、资产属性模块和属性标签模块，所述资产信息模块用于存储资产数据信息，所述资产属性模块用于存储资产数据信息对应的属性信息，所述属性标签模块用于存储所述属性信息对应的特征信息；

资产信息查询模块，用于自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，自资产属性模块中获取与待查询业务信息相关的属性信息。

可选的，所述资产数据信息包括：资产数据分类信息、资产数据标识信息和资产数据标签信息。

可选的，所述属性标签模块包括：业务标签、权限标签。

可选的，所述属性标签模块还包括：资产档案，所述资产档案用于标注不同属性信息之间的关联性。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明实施例中，通过获取包括资产信息模块、资产属性模块和属性标签模块的资产数据结构，其中，资产信息模块用于存储资产数据信息，资产属性模块用于存储资产数据信息对应的属性信息，属性标签模块用于存储所述属性信息对应的特征信息，保证了同一项数据在资产数据结构中只保存一份，避免出现数据冗余，从而造成存储空间的浪费。当需要进行数据查询时，只需自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，即可准确地筛选出与待查询业务信息相关的属性信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中用于数据中台的数据查询方法的流程图；

图2为现有技术中星型模型结构的具体示例图；

图3为现有技术中雪花模型结构的具体示例图；

图4为本发明实施例中资产数据结构的具体示例图；

图5为本发明实施例中用于数据中台的数据查询装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

附图1为本发明实施例提供的一种用于数据中台的数据查询方法的流程图，如附图1所示，该方法包括：

步骤101、获取资产数据结构，所述资产数据结构包括：资产信息模块、资产属性模块和属性标签模块，所述资产信息模块用于存储资产数据信息，所述资产属性模块用于存储资产数据信息对应的属性信息，所述属性标签模块用于存储所述属性信息对应的特征信息。

在本实施例中，资产数据信息包括：资产数据分类信息、资产数据标识信息和资产数据标签信息。其中，资产数据指的是明确了价值、使用场景、生命周期、特征标签的数据。

具体地，资产数据分类信息用于定义资产的分类信息，如一个政务系统中，资产类别可能有自然人信息、企事业信息、税务信息等。

资产数据标识信息用于记录资产的唯一标识，例如，在自然人信息里，资产数据标识信息可能就是身份证号或护照编号。该资产数据标识信息也可以理解为资产id。

资产数据标签信息用于记录对资产分析后对应的特征或画像，如80后、高收入人群、高信用群体、有不良案底等。

资产属性模块可以为记录每份资产所涉及的各类属性信息的属性表。对于“属性”，举例来说，其可以包括个人基本信息的属性信息可能包括性别、生日、籍贯、民族、户口等信息，教育背景属性信息可能包括历年教育经历，健康属性信息可能包括历年体检与医疗结果等。

属性标签模块用于对属性对应的特征加以约束。举例来说，属性标签模块可以包括：业务标签、权限标签和资产档案，所述资产档案用于标注不同属性信息之间的关联性。具体地，业务标签可以标注某个属性是否与某项业务相关，比如户口、年龄、职业背景这些属性，都可能与某项信贷业务相关。权限标签可以标注某项属性的密级、行政公开范围、涉及的业务或部门。资产档案可以标注某项属性的血缘信息、不同属性间的关联性，某个属性是否是由其他属性统计或推导而来。资产数据结构的结构的具体示例图可参见附图4，在附图4中，资产信息模块包括多个资产类别表，资产属性模块包括多个属性组，属性标签模块包括业务标签表、权限标签表和资产档案表。

步骤102、自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，自资产属性模块中获取与待查询业务信息相关的属性信息。

具体实施时，举例来说，对于上述资产信息、资产属性信息以及属性标签，以一个政务系统的数据中台为例：

资产信息可以包括自然人信息、企业信息、各级政府部门信息等。

资产属性针对自然人有户口所在地、出生日期、教育经历、缴税记录、社保缴纳记录、贷款记录、医疗记录等，针对企业有员工规模、注册资金、法人信息等，针对政府部门有行政级别、辖区范围、财政预算等。

属性标签针对各属性会有xx业务相关、xx级别可调阅、xx分析专题相关等。

在清洗流程中，因为这个中台的数据源可能分别来自行政系统、医疗系统、财政系统等不同的数据库，清洗时，根据资产库、属性库两层存储结构进行持久化存储，同时根据业务、权限、应用、血缘关系等不同的视角分别给资产信息和属性信息打标签。

在查询流程中，请求接口提供本次查询所涉及的数据资产范围、数据筛选条件，和诸如请求者本身的权限、场景等限制条件，数据中台通过将用户请求中隐含的标签范围与中台内的资产标签、属性标签进行匹配，只在匹配的资产库中进行数据查询。

由附图1可知，本发明实施例提供的用于数据中台的数据查询方法，通过获取包括资产信息模块、资产属性模块和属性标签模块的资产数据结构，其中，资产信息模块用于存储资产数据信息，资产属性模块用于存储资产数据信息对应的属性信息，属性标签模块用于存储所述属性信息对应的特征信息，保证了同一项数据在资产数据结构中只保存一份，避免出现数据冗余，从而造成存储空间的浪费。当需要进行数据查询时，只需自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，即可准确地筛选出与待查询业务信息相关的属性信息。

基于同一发明构思，本发明实施例中还提供了一种用于数据中台的数据查询装置，如下面的实施例所述。由于用于数据中台的数据查询装置解决问题的原理与用于数据中台的数据查询方法相似，因此，用于数据中台的数据查询装置的实施可以参见用于数据中台的数据查询方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

附图5为本发明实施例提供的一种用于数据中台的数据查询装置的结构示意图，如附图5所示，该装置包括：

数据结构获取模块501，用于获取资产数据结构，所述资产数据结构包括：资产信息模块、资产属性模块和属性标签模块，所述资产信息模块用于存储资产数据信息，所述资产属性模块用于存储资产数据信息对应的属性信息，所述属性标签模块用于存储所述属性信息对应的特征信息。

资产信息查询模块502，用于自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，自资产属性模块中获取与待查询业务信息相关的属性信息。

在本发明实施例中，所述资产数据信息包括：资产数据分类信息、资产数据标识信息和资产数据标签信息。

在本发明实施例中，所述属性标签模块包括：业务标签、权限标签。

在本发明实施例中，所述属性标签模块还包括：资产档案，所述资产档案用于标注不同属性信息之间的关联性。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

综上，本发明通过获取包括资产信息模块、资产属性模块和属性标签模块的资产数据结构，其中，资产信息模块用于存储资产数据信息，资产属性模块用于存储资产数据信息对应的属性信息，属性标签模块用于存储所述属性信息对应的特征信息，保证了同一项数据在资产数据结构中只保存一份，避免出现数据冗余，从而造成存储空间的浪费。当需要进行数据查询时，只需自资产信息模块中提取与待查询业务信息相关的资产数据信息，结合与待查询业务信息相关的属性标签模块中的特征信息，即可准确地筛选出与待查询业务信息相关的属性信息。

此外，如附图4所示，本发明获取的资产数据结构类似于天平结构，当需要进行数据查询时，可以从资产信息模块和属性标签模块两个方向对资产属性模块中的数据进行查找、筛选，有效地避免了出现数据冗余。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。