一种基于多维数据标注的动态数据统计方法及系统与流程

本发明属于数据统计技术领域，特别涉及一种基于多维数据标注的动态数据统计方法及系统。

背景技术：

信息化时代的统计数据可以帮助我们更直观了解信息。现有技术中，已经可以通过固定的查询语句实现按单一的组织方式查找数据、查询数据的统计项计算结果，得到统计数据。但问题在于，数据的组织方式会发生变化，甚至根据需要会多样化的特点。现有方法已经无法适应这种变化。同时，对于同一个统计对象，需要统计的指标也并非一成不变。

技术实现要素：

本发明提供一种基于多维数据标注的动态数据统计方法及系统，用以解决统计数据结构多样化，统计指标多变的问题。

本发明的实施例之一，一种基于多维数据标注的动态数据统计方法，包括以下步骤：

步骤1，在分类系统中，建立统计对象的多维多层级分类；

步骤2，在统计对象管理系统中，使用分类系统的分类数据标注统计对象，在分类系统中存储统计对象id及与分类的关联关系；

步骤3，在指标系统中，按统计场景创建指标集；

步骤4，统计系统根据指标系统存储的指标，创建统计结果表，编写数据抽取脚本，在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值；

步骤5，统计系统根据指标系统创建的指标集生成的统计结果表关联分类信息后，支持查询任意分类的指标统计数据及多分类统计的比对结果。

本发明实施例的有益效果包括：

1.本发明可通过新建分类、分类标注统计对象这样简单的操作，实现数据的多分类统计，无须多次编写查询语句，

2.本发明可通过新建指标，自动采集对应的指标值实现统计，无须重复编码。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1根据本发明实施例之一的动态数据统计系统组成示意图。

具体实施方式

根据一个或者多个实施例，如图1所示一种基于多维数据标注的动态数据统计方法，包括以下步骤：

步骤1：在分类系统中，建立统计对象的多维多层级分类。

步骤1.1：按统计场景从数据的对象维度、级别维度、内容维度等新建第一级多分类；

步骤1.2：在第一级分类下，创建第二级分类；第二级分类下再创建第三级分类，以此类推，建立树状结构的多层级分类。

步骤2：在统计对象管理系统中，使用分类系统的分类数据标注统计对象，在分类系统中存储统计对象id及与分类的关联关系。统计对象可以有多个分类，记录多条关联关系数据。

步骤3：在指标管理系统中，按统计场景创建指标集。

步骤3.1新建统计对象的统计指标，并记录该指标在统计对象管理系统中对应的标识符。可以为统计对象创建多个指标。

步骤3.2定义统计对象的指标值存储在统计系统中的表结构，即统计对象的最终统计数据表。

步骤4：根据指标系统存储的指标，使用etl工具kettle编写数据抽取脚本，在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值。

步骤4.1查找分类系统中记录的所有对象；

步骤4.2获取指标管理系统存储的指标标识符；

步骤4.3在统计对象管理系统中，采集步骤4.1获取对象的指标标识符对应数值，根据步骤3.2定义的表结构，存储数据，完成数据采集。

步骤5:统计结果表关联分类信息后，支持查询任意分类的指标统计数据及多分类统计的比对结果

步骤6：重复步骤1、2、4，在不重新定义指标集的情况下，通过创建分类及数据标注，无须二次开发，实现更多分类场景的数据统计

步骤7：重复步骤3、4、5，在不重新组织数据的情况下，通过定义不同的统计指标集，无须二次开发，实现更多指标的数据统计

根据一个或者多个实施例，如图1所示，一种基于多维数据标注的动态数据统计系统，该包括：

分类系统，用于建立统计对象的多维多层级分类；

统计对象管理系统，使用分类系统的分类数据标注统计对象，在分类系统中存储统计对象id及与分类的关联关系；

指标系统，按统计场景创建指标集；

统计系统，根据指标系统创建的指标集生成统计结果表。

统计数据的采集流程包括：

查询分类系统获得被标记对象，从指标系统获取指标标识符，从统计对象管理系统中查询对象指标值，最后写入统计系统的统计结果表。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：

技术总结
一种基于多维数据标注的动态数据统计方法，包括：步骤1，在分类系统中，建立统计对象的多维多层级分类；步骤2，在统计对象管理系统中，使用分类系统的分类数据标注统计对象，在分类系统中存储统计对象ID及与分类的关联关系；步骤3，在指标管理系统中，按统计场景创建指标集；步骤4，统计系统根据指标系统存储的指标，编写数据抽取脚本，在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值；步骤5，统计系统根据指标系统创建的指标集生成的统计结果表关联分类信息后，支持查询任意分类的指标统计数据及多分类统计的比对结果。

技术研发人员：陈昊;王鹏;于会游;姜玉峰;李栋;滕姿;顾俊杰;唐丽娜;饶定远;陈燕秋;吴怀谷;刘伟平;孙瑜;刘枭雄
受保护的技术使用者：中电科嘉兴新型智慧城市科技发展有限公司;中电科华云信息技术有限公司
技术研发日：2019.04.25
技术公布日：2019.07.30