一种可视化的数仓建模方法及系统与流程

1.本发明属于数据建模技术领域，更具体地说，涉及一种可视化的数仓建模方法及系统。


背景技术：

2.大数据时代，海量的数据处理中数据治理是非常重要的一个环节。对数据集市的管理维护和数据质量监控是数据治理的重中之重。hive是基于hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供sql查询功能，能将sql语句转变成mapreduce任务来执行。hive的优点是学习成本低，可以通过类似sql语句实现快速mapreduce统计，使mapreduce变得更加简单，而不必开发专门的mapreduce应用程序。hive十分适合对数据仓库进行统计分析。
3.现有技术中，一般都是通过hive管理数据，例如发明创造名称为：一种基于hive的数据处理的方法、系统及终端设备(申请日：2017年6月9日；申请号：201710437410.6)，该方案公开了一种基于hive的数据处理的方法，包括：将hadoop集群数据中的源头数据通过hive映射为源表，源表包括源头数据中用于描述行数据标记的第一主键字段；将hadoop集群数据中的由源头数据产生的中间数据通过hive映射为中间表，中间表包括中间数据从源头数据继承的第一主键字段；将欲清理的中间数据所对应的中间表中的第一主键字段备份到备份表；清理欲清理的中间数据及其所对应的中间表。本发明在不删除源头数据的情形下，对中间数据进行有效的备份，既能存储更长时间的源头数据，又能从备份表快速恢复已清理的中间数据，保证中间数据的有效利用。
4.但是，现有技术中一般直接在hive数据仓库中管理数据，并在hive数据仓库中进行数仓建模，在hive数据仓库中操作流程复杂，执行起来比较繁琐。而且hive中的数据集市浏览数据资产时不够直观，需要配合详细的模型文档罗列出所有的数据资产和详情，导致数仓管理不便。
5.综上所述，如何简化数仓建模过程以及提高数仓数据的管理效率，是现有技术亟需解决的问题。


技术实现要素：

6.1.要解决的问题
7.本发明克服了现有技术中，数仓建模过程复杂且管理不便的不足，提供了一种可视化的数仓建模方法及系统，可以实现数仓建模的可视化，并且可以简化数仓建模过程，进一步降低了数仓的管理难度，大大提高了数据的管理效率。
8.2.技术方案
9.为了解决上述问题，本发明所采用的技术方案如下：
10.本发明的一种可视化的数仓建模方法，先构建web端，将web端与hive数据仓库连
接；然后在web端构建模型目录，再根据模型目录构建表，并对构建的表配置数据质量预警规则；之后根据模型目录和表构建表清单。
11.更进一步地，构建模型目录的具体过程为：在web端构建一级目录和二级目录，一级目录对应展示hive数据仓库，二级目录对应展示hive数据仓库中不同的业务领域或者应用领域。
12.更进一步地，构建表的具体过程为：利用字段信息或者建表语句在模型目录的二级目录下构建表。
13.更进一步地，对构建的表配置数据质量预警规则的具体过程为：对表的字段数据配置字段规则，并对表的数据量配置表级规则。
14.更进一步地，web端通过建立连接池与hive数据仓库连接。
15.更进一步地，构建表清单的具体过程为：对二级目录下的所有的表的信息进行统计生成表清单；其中，表的信息包括表的基本信息、表的字段数据、字段规则信息以及表级规则信息。
16.本发明的一种可视化的数仓建模系统，采用上述的一种可视化的数仓建模方法，包括hive数据仓库和web端，hive数据仓库通过连接池与web端连接。
17.更进一步地，web端包括目录模块，该目录模块用于构建模型目录；新建表模块，该新建表模块与目录模块连接，且新建表模块用于根据模型目录构建表；规则模块，该规则模块与新建表模块连接，且该规则模块用于对表配置数据质量预警规则；表清单模块，目录模块、新建表模块和规则模块分别与表清单模块连接，该表清单模块用于根据模型目录和表构建表清单。
18.更进一步地，目录模块包括一级目录模块和二级目录模块，一级目录模块和二级目录模块分别与hive数据仓库连接。
19.更进一步地，规则模块包括字段规则模块和表级规则模块，字段规则模块和表规则模块分别与新建表模块连接；其中，字段规则模块用于对表的字段数据配置字段规则，表规则模块用于对表的数据量配置表级规则。
20.3.有益效果
21.相比于现有技术，本发明的有益效果为：
22.(1)本发明的一种可视化的数仓建模方法，通过将web端与hive数据仓库连接，从而可以实现可视化数仓建模，进一步通过在web端进行数仓建模，不仅提高了数仓建模的效率，并且提高了对数仓管理的简便性，并且提高了对数仓管理的简便性，进一步实现了对数据的快速管理，大大提升了数仓管理效率。
23.(2)本发明的一种可视化的数仓建模系统，通过设置web端实现了数仓建模的可视化，进一步通过设置目录模块、新建表模块、规则模块和表清单模块可以简化数仓建模过程，并且大大降低了数仓的管理难度，进而可以提高数仓数据的管理效率。
附图说明
24.图1为本发明一种可视化的数仓建模方法的流程示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；而且，各个实施例之间不是相对独立的，根据需要可以相互组合，从而达到更优的效果。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
27.实施例1
28.结合图1所示，本发明的一种可视化的数仓建模方法，通过将web端与hive数据仓库连接，从而可以实现可视化数仓建模，进一步通过在web端进行数仓建模，大大简化了数仓建模流程，并且提高了对数仓管理的简便性，进而实现了对数仓数据的快速管理，进一步提高了数据的管理效率。本发明方法的具体步骤如下：
29.1)构建web端
30.构建web端，将web端与hive数据仓库连接；具体地，web端通过建立连接池与hive数据仓库连接，从而可以快速获取和操作hive数据仓库，本实施例中web端通过api接口调用的方式实现与连接池连接。值得说明的是，如果每次访问hive数据仓库时，都需要与hive数据仓库连接会降低访问效率，而且如果用户忘记释放连接，则会导致资源的浪费。通过连接池连接hive数据仓库，实现了访问连接的重复利用，从而大大提高了访问效率以及资源的使用效率。
31.2)构建模型目录
32.在web端构建模型目录，具体地，在web端构建一级目录和二级目录，一级目录对应展示hive数据仓库，二级目录对应展示hive数据仓库中不同的业务领域或者应用领域。值得说明的是，可以根据实际需求构建多级目录，以此实现hive数据仓库的数据可视化，进而提高数据管理的简便性。
33.3)构建表
34.根据模型目录构建表，具体地，利用字段信息或者建表语句在模型目录的二级目录下构建表。值得说明的是，通过字段信息建表具体过程为：通过人工输入或者选择表名称、字段名、类型、描述等表信息，待表信息输入或选择完毕，则表示完成表的构建。此外，通过建表语句建表的具体过程为：通过建表sql构建新表。
35.4)配置数据质量预警规则
36.对构建的表配置数据质量预警规则。值得说明的是，对构建的表配置数据质量预警规则的具体过程为：对表的字段数据配置字段规则，并对表的数据量配置表级规则。其中，字段规则包括日期格式、数据类型以及数据范围。表级规则包括表的总条数、日新增条数等。通过设置字段规则和表级规则实现了表的规范化，更有利于对表的信息进行管理。
37.5)构建表清单
38.根据模型目录和表构建表清单，具体地，对二级目录下的所有的表的信息进行统计生成表清单；其中，表的信息包括表的基本信息、表的字段数据、字段规则信息以及表级
规则信息。值得说明的是，通过构建表清单实现了数仓建模。另外，表清单可充分展示所有表的信息，进而实现了对hive数据仓库的数据的可视化。
39.本发明的一种可视化的数仓建模方法，通过构建与hive连接的web端，可以实现数仓建模的可视化，并且数仓建模流程可在web端实现，不仅提高了数仓建模的效率，并且提高了对数仓管理的简便性，进一步实现了对数据的快速管理，大大提升了数仓管理效率。
40.本发明的一种可视化的数仓建模系统，采用上述的一种可视化的数仓建模方法，本发明的一种可视化的数仓建模系统包括hive数据仓库和web端，hive数据仓库通过连接池与web端连接，从而可以在web端实现对hive数据仓库的访问，实现了hive数据仓库的数据可视化。
41.本发明的web端包括目录模块、新建表模块、规则模块和表清单模块，目录模块与新建表模块连接，目录模块用于构建模型目录，具体地，目录模块包括一级目录模块和二级目录模块，一级目录模块和二级目录模块分别与hive数据仓库连接，一级目录模块根据hive数据仓库构建一级目录，二级目录模块根据hive数据仓库的数据构建二级目录。
42.进一步地，新建表模块根据模型目录构建表，具体地，新建表模块在模型目录的二级目录下构建表。本发明的规则模块与新建表模块连接，规则模块用于对表配置数据质量预警规则；具体地，规则模块包括字段规则模块和表级规则模块，字段规则模块和表规则模块分别与新建表模块连接；其中，字段规则模块对表的字段数据配置字段规则，表规则模块对表的数据量配置表级规则。
43.此外，目录模块、新建表模块和规则模块分别与表清单模块连接，表清单模块根据模型目录和表构建表清单，具体地，表清单模块对二级目录下的所有的表的信息进行统计生成表清单，从而实现了数仓建模。
44.本发明的一种可视化的数仓建模系统，通过设置web端实现了数仓建模的可视化，进一步通过设置目录模块、新建表模块、规则模块和表清单模块可以简化数仓建模过程，并且大大降低了数仓的管理难度，进而可以提高数仓数据的管理效率。
45.在上文中结合具体的示例性实施例详细描述了本发明。但是，应当理解，可在不脱离由所附权利要求限定的本发明的范围的情况下进行各种修改和变型。详细的描述和附图应仅被认为是说明性的，而不是限制性的，如果存在任何这样的修改和变型，那么它们都将落入在此描述的本发明的范围内。此外，背景技术旨在为了说明本技术的研发现状和意义，并不旨在限制本发明或本申请和本发明的应用领域。