一种指标数据的低代码生产方法及其可视化数据处理系统与流程

1.本发明涉及业务数据处理领域，特别涉及一种指标数据的低代码生产方法及其可视化数据处理系统。


背景技术：

2.随着信息化的发展至今，各行各业的数据量、数据种类和数据存放类型都已经形成一定规模且形成相应的数据规范。面对如此丰富的数据如何把各行各业关注的重点数据进行一个快速提取以方便数据分析人员对行业数据信息的情况快速掌握是一个重要问题。
3.业务和数据的结合就形成了数据指标，数据指标是数据统计的基础，也成为量化业务效果的重要依据，数据指标随着时间推移是具有变化的特性，如何快速响应指标计算的变化是确保数据分析准确性的一个重要要求。
4.数据指标的计算是严谨的，指标算法一般是专业性较强的，不同业务人员对指标算法的理解掌握程度是不一致的，通过统一的行业指标库，普通业务人员只要通过设置指标参数去应用底层算法获取计算结果，而底层算法由专家或专业性较强的人员维护，使得普通业务员就可以简单快速搭建专业的权威的指标数据。
5.目前大量数据的指标处理都是基于大数据处理的概念，处理过程基本经过转换、清洗、汇总等步骤将被处理的数据标识上带有指标计算唯一标识的字段，基于特殊标识自动去生成指标数据。在大数据处理技术上，所面对的技术复杂度和技术栈范围是很广的，每次指标数据的生成都需要专业人员去生产数据，在不断更新的业务场景中频繁处理数据也是无法做到及时响应的。
6.要想解决指标数据快速准确的生成，要实现自动化生产指标数据，首先要创建一批指标算子库，通过指标算子的参数配置将元数据关联起来，形成基于指标算子的自动化计算，并将计算结果实时响应。在整个过程中，编排人员只需要理清做什么计算、计算类型是什么和数据源的配置即可完成专业且准确的指标计算结果输出。
7.目前与本案例最相近的案例是实时数据指标计算系统方案。实时数据指标计算系统是通过将用于计算指标的字段单独存储在一张数据表里，表内记录关联关系信息和关联字段信息。然后利用读取到的关联关系和关联字段通过内存数据库存储实时计算的数据指标，而维护指标的过程就是维护关联关系信息和关联字段信息的过程。由于所有指标都是根据数据库字段配置，指标数据的输出结果都是列表数据，面对需要二次加工的数据，此时就需要对数据进行处理后生成新数据表后，然后再添加指标配置新的指标关联信息和字段信息，因此在快速新增指标和使用复杂数据展示环境上是有所不足的。
8.现有的指标数据自动生成的方法都是基于添加或记录数据字段的标识实现指标数据的自动生成，这种方式在指标数据新增的时候，就涉及到数据的处理，所需要的人员和时间都是很多的，不仅效率低、工作量大、成本高、时间长、效果差等缺点，而且现有方式指标输出格式单一，很难做到适应各种使用环境。


技术实现要素：

9.本发明提供一种指标数据的低代码生产方法及其可视化数据处理系统，旨在解决现有指标数据处理方式效率低、工作量大、输出格式单一等问题。
10.本发明提供一种指标数据的低代码生产方法，包括以下步骤：s1.调用并查看指标元数据，对指标元数据信息进行分析，根据当前业务特征信息进行判断，提取指标元数据中的指标特征信息；s2.依据指标特征信息，调用算子做新增和维护，并与指标特征信息结合，创建形成指标数据基础算子库；s3.调用工程服务管理模块，在服务构建页面选择合适的指标算子，根据步骤s1得到的指标特征信息配置指标参数，编排连接指标算子之间的输入和输出；s4.保存运行服务并进入测试，若测试结果未满意则返回参数修正并重新执行步骤s3，若测试结果满意则输出指标结果，并以服务形式发布。
11.作为本发明的进一步改进，所述步骤s1中指标元数据信息分析的具体步骤为：s11.调用元数据管理系统查看元数据信息；s12.编排人员获取待分析的行业指标特征信息；s13.编排人员提取元数据中需要的表信息和字段信息并记录。
12.作为本发明的进一步改进，所述步骤s2具体包括：s21.调用算子列表管理模块中的算子做新增或维护；s22.通过拖拽方式在服务构建页面处编排，编排的过程包含算子的输入输出设定、数据库连接、数据计算、数据格式转换；s23.保存编排结果，形成指标基础算子库。
13.作为本发明的进一步改进，所述步骤s2中，指标算子库中指标算子的新增和维护包括以下形式：a1.新增新的算法规则生成新的指标结果；a2.对既有的算法规则进行组合计算获得新的指标结果；a3.对指标生成结果进行多种转换输出，包括将已生成的结果再融合计算得到高阶的指标结果。
14.作为本发明的进一步改进，所述步骤s3中根据指标特征信息配置指标参数的具体步骤为：s31.在服务构建页面的可视化操作区选择使用中的指标算子并在属性编辑区打开该算子的属性项；s32.在属性编辑区的属性项中根据要求填写或选择指标特征信息对应的参数值；s33.保存参数配置结果。
15.作为本发明的进一步改进，所述步骤s3中对指标算子的编排方式包括：指标算子根据配置的指标参数产生指标结果，指标结果在服务构建页面的操作区通过连接线与其它指标算子有向连接形成流向，下一个指标算子将接收上一个指标算子的结果并结合自己的指标参数二次计算获得新的指标结果，直至将连接线连接到结束节点后终止流程并将最终指标计算结果输出。
16.作为本发明的进一步改进，所述步骤s4中，当指标算子直接计算出的指标数据格
式不满足需求的时候，通过引入脚本处理算子对指标结果加以修正，脚本处理算子通过连接线连接到主流程中进行处理。
17.本发明还提供一种可视化数据处理系统，包括：系统管理模块：包含用户信息管理、权限分配管理，负责用户登录注册、用户权限控制；元数据管理模块：负责存储和调用元数据；算子列表管理模块：负责调用算子做新增和维护，并与指标特征信息结合，创建形成指标数据基础算子库；可视化编排模块：负责编排连接指标算子之间有向连接形成流向；工程服务管理模块：负责管理工程信息和服务信息，对工程和服务进行新建、编辑、删除、查询、模拟测试；服务运行管理模块：负责管理服务的运行状态，单个或批量启动或停止工程服务信息，对运行服务进行删除、查询、模拟测试；审批管理模块：负责对待审批的工程服务进行审批上线；日志管理模块：负责对系统操作的记录，同时提示运行服务监控管理，对服务的使用状况进行监控，辅助分析服务的使用情况。
18.作为本发明的进一步改进，所述工程服务管理模块中，工程信息包括：工程名、工程描述、端口号、工程类型、服务数量、创建人、操作时间、操作；服务信息包含：运行状态、服务名、服务描述、服务标识符、分类标签、理论依据、服务类型、创建人、发布时间、操作。
19.本发明的有益效果是：本方法和系统通过优化参数，快捷的查看不同指标参数获得的效果，降低了使用难度，提高了配置效率和准确性。在对复杂指标的生成过程中，可以通过二次计算将多个指标融合得到新的指标数据，还可将指标数据输出格式自定义转换适配各种展示需求，并且可以快速的审批发布即上线，做到实时响应。
附图说明
20.图1是本发明中指标数据低代码生产方法的指标结果生成流程图；图2是本发明中可视化数据处理系统的前后台模块结构图。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
22.本发明借助计算机技术、可视化编排技术、数据流处理技术、大数据处理技术，通过对业务的特征信息进行分析生成指标算子，再通过关联业务资源元数据连接指标算子生成指标数据，并以工程化方式管理，以服务形式对外输出。
23.如图1所示，一种用于指标数据自动生成的低代码自动化生产方法，包括以下步骤：s1.调用并查看指标元数据，对指标元数据信息进行分析，根据当前业务特征信息进行判断，提取指标元数据中的指标特征信息；s2.依据指标特征信息，调用算子做新增和维护，并与指标特征信息结合，创建形
成指标数据基础算子库；s3.调用工程服务管理模块，在服务构建页面选择合适的指标算子，根据步骤s1得到的指标特征信息配置指标参数，编排连接指标算子之间的输入和输出；s4.保存运行服务并进入测试，若测试结果未满意则返回参数修正并重新执行步骤s3，若测试结果满意则输出指标结果，并以服务形式发布。
24.步骤s1的指标元数据信息分析中，要实现技术目标，首先要对指标元数据信息进行分析，根据当前业务特征信息进行判断，理清数据中需要的指标特征信息。
25.指标元数据信息分析的具体步骤是：s11.调用元数据管理系统查看元数据信息；s12.编排人员获取待分析的行业指标特征信息；s13.编排人员提取元数据中需要的表信息和字段信息并记录。
26.步骤s2中指标数据基础算子库的维护，指标数据生成的关键就是维护指标数据基础算子库。指标算子是针对一类指标处理类型的一种抽象定义的算法，是可以多次复用的。
27.新增和维护算子库的具体步骤为：s21.调用定制算法集成的可视化数据处理系统的算子列表管理模块做新增或维护功能；s22.通过拖拽方式在构建页面处编排，编排包含输入输出的设定、数据库连接、数据计算、数据格式转换等过程；s23.保存编排结果，形成指标基础算子。
28.步骤s2中，指标算子库中指标算子的新增和维护包括以下形式：a1.新增新的算法规则生成新的指标结果；a2.对既有的算法规则进行组合计算获得新的指标结果；a3.对指标生成结果进行多种转换输出，包括将已生成的结果再融合计算得到高阶的指标结果。
29.本方法通过指标算子库进行指标的生成，指标算子是一种抽象的概念，是对一类指标数据生成的通用算法，新增指标的过程既可新增规则生产新的指标结果，也可基于既有规则组合计算获得最新的指标数据。同时能够对指标生成结果进行多种转换输出，在需要的时候还可以将结果数据再融合计算得到更复杂的指标。在指标算子库不断完善的过程中，指标的生成效率也会越来越高，随着时间的推移，使用成本将越来越低。
30.步骤s3中根据指标特征信息配置指标参数的具体步骤为：s31.在服务构建页面的可视化操作区选择使用中的指标算子并在属性编辑区打开该算子的属性项；s32.在属性编辑区的属性项中根据要求填写或选择指标特征信息对应的参数值；s33.保存参数配置结果。
31.步骤s3中对指标算子的编排方式包括：在编排过程中，每个指标算子都是一个独立的计算单元，指标算子根据配置的指标参数产生指标结果，指标结果在服务构建页面的操作区通过连接线与其它指标算子有向连接形成流向，下一个指标算子将接收上一个指标算子的结果并结合自己的指标参数二次计算获得新的指标结果，直至将连接线连接到结束节点后终止流程并将最终指标计算结果
输出。
32.本方法通过创建指标算子库，通过配置参数和可视化流程编排去设计计算范围，并借助于计算机系统的计算能力不断调整优化，本方法简单、低成本、高效地解决了指标数据自动生成的低代码自动化生产，并可视化呈现。
33.步骤s4中，当指标算子直接计算出的指标数据格式不满足需求的时候，可以通过脚本处理算子的引入，脚本处理算子支持ecmascript、groovy和python语言的代码对结果加以修正，脚本处理算子的使用也是通过连接线按流程处理。
34.本发明的一种可视化数据处理系统，上述用于指标数据自动生成的低代码自动化生产方法是基于该系统来实现。
35.如图2所示，该系统包括：系统管理模块、登录模块、工程服务管理模块、算子列表管理模块、审批管理模块、服务运行管理模块、日志管理模块、可视化编排模块。
36.其中，系统管理模块：包含用户信息管理、权限分配管理。系统对接统一支撑的单点登录模块，负责用户登录注册、用户权限控制。为系统提供保障能力；元数据管理模块：负责存储和调用元数据；算子列表管理模块：负责调用算子做新增和维护，并与指标特征信息结合，创建形成指标数据基础算子库；可视化编排模块：负责编排连接指标算子之间有向连接形成流向；工程服务管理模块：负责管理工程服务信息，工程信息包括：工程名、工程描述、端口号、工程类型、服务数量、创建人、操作时间、操作。服务信息包含：运行状态、服务名、服务描述、服务标识符、分类标签、理论依据、服务类型、创建人、发布时间、操作。可以对工程和服务进行新建、编辑、删除、查询、模拟测试；服务运行管理模块：负责管理服务的运行状态，可以单个或批量启动或停止工程服务信息，可以对运行服务进行删除、查询、模拟测试；审批管理模块：负责对待审批的工程服务进行审批上线。针对提交发布的服务进行审批，服务经过审批通过才能正式的发布上线；日志管理模块：负责对系统操作的记录，为系统提供溯源追溯，确保系统遇到问题有据可查做到快速解决问题。同时提示运行服务监控管理，对服务的使用状况进行监控，辅助分析服务的使用情况。
37.本发明通过可视化编排的方式不断调整参数去调整指标数据的完整性，提高了数据的可靠性、减少了人工分析数据的成本、还能随着数据的更新，快速响应最新的业务情况自动更新输出，同时还提供数据转换处理可以对响应结果进行二次融合计算，对结果进行二次分析，以适应更复杂的数据展示环境。
38.本发明具有以下特点：（1）通过维护指标算子库，可以通过可视化调节参数就生产出服务指标数据，过程中不需要考虑计算公式和代码逻辑，出错概率低。通过维护和扩充算子库，可以适用不断复杂的业务需求，做到快速响应，降低适用难度；（2）指标输出的结果可以通过简易代码加以修正，使其能够适应各种复杂应用场景，满足各种展示需求；（3）可以实时测试调试，直观看到指标生成的效果，通过参数的优化调整使得结果
可靠性更强；（4）可以做到工程服务保存即发布，发布即上线，杜绝指标数据在开发部署过程中出现二次错误。
39.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。