数据指标综合管理与可视化评价方法与系统与流程

1.本发明属于数据指标处理与可视化技术领域，尤其涉及一种数据指标综合管理与可视化评价系统、数据指标综合管理与可视化评价方法、实现所述方法的计算机程序指令介质与图像处理终端。


背景技术：

2.数据可视化在一定程度上可以更好地传递信息、监测数据，进而推动问题更快地被发现和解决。而合适的数据指标选择有助于更好地构建数据可视化体系，规避潜在风险。
3.在产品和运营的工作中，我们会接触不同的数据、不同的指标。很多时候我们做的数据，都是针对单个点的层面去做，而最终显示出来的数据往往比较零散，无法串联起来，发现全局的问题。而指标体系化以及可视化，则是将零散的数据串联起来，让你通过单点看到全局，通过全局解决单点的问题，从而发现数据的价值等级和分类级别，使得数据逐渐发挥出其价值，从一串串各不相关的数字度量，到有一定的业务价值，可以起到监测、预警、控制的作用，这里所指的带有业务价值的数字度量就是数据指标。
4.中国发明专利申请cn201910298385.7提出一种报表生成方法包括：配置用于在一单位的预算填报稿中及决算填报稿中进行数据填写的数据填写逻辑；判断填报稿中填报的数据是否满足所述逻辑审核公式，若是，则将填报的数据保存至预设数据库，若否，则输出提示信息，以提示填写人对填报的数据进行修改；接收报表导出请求，并根据目标报表的id获取与所述id相对应的报表模板；根据所述数据指标从所述预设数据库中获取目标报表数据；基于所述模板框架及所述目标报表数据生成所述目标报表，可实现减少繁琐的报表统计工作，提高报表生成效率，解放人力。
5.中国发明专利申请cn202010106706.1提出实现面向金融大数据分析可视化方法，包括：s01、元数据采集管理；s02、数据质量管理；s03、数据标准化；s04、数据仓库管理；s05、数据可视化；s06、数据分析；本发明将海量数据聚合起来实现数据弱相关性的挖掘，产生更多的数据价值，更好地对所采集的数据进行相关的计算分析以及对算法、模型进行升级，通过数据治理使系统多维分析和动态分析进而可视化展现。
6.然而，针对大持续时空变化数据，现有技术都是基于数据本身的产生时序，按照预设不变的尺度或者顺序执行指标可视化分析，给处理系统本身带来巨大的数据压力，并且处理时间较长，响应后续的可视化模型输出效果。


技术实现要素：

7.为解决上述技术问题，本发明提出一种数据指标综合管理与可视化评价系统、方法、实现所述方法的计算机程序指令介质与图像处理终端。
8.在系统技术方案方面，本发明提出的一种数据指标综合管理与可视化评价系统包括数据获取子系统、数据分解子系统、数据归集子系统、数据关联子系统以及数据可视化子系统。
9.从功能上讲，上述各个子系统具体实现如下：
10.数据获取子系统：获取时间数据流，所述时间数据流来自于多个异构终端，所述异构终端包括移动终端和桌面终端；
11.数据分解子系统：将所述时间数据流按照时序数据块为单位，分解出每个时序数据块中的不变部分与可变部分；
12.数据归集子系统：连接所述数据分解子系统，基于每个时序数据块的大小，在第一进程中建立第一预定大小的第一数据堆栈，在第二进程中建立第二预定大小的第二数据堆栈，并将所述每个时序数据块中的不变部分存储至第二数据堆栈，将每个时序数据块中的可变部分存储至第一数据堆栈；
13.数据关联子系统：从所述第一数据堆栈中取出可变部分数据，并从所述第二数据堆栈中取出不变部分数据，所述可变部分数据与所述不变部分数据通过时序关联；
14.数据可视化子系统：将所述通过时序关联的时序数据块，按照所述时序可视化显示，所述可视化显示包括所述时序数据块的每个不变部分对应的可变部分数据的时间预测趋势。
15.作为本发明的进一步优点之一，所述第一进程通过单向数据管道与所述第二进程连接；所述第二预定大小大于所述第一预定大小；
16.并且，所述数据归集子系统基于所述数据可视化子系统显示的所述时间预测趋势的预测尺度，更新所述第一预定大小。
17.在方法技术方案方面，本发明提出一种数据指标综合管理与可视化评价方法，所述方法应用于可视化终端，所述方法包括如下步骤：
18.数据获取步骤：获取待分析的时间数据流，所述时间数据流包括多个时序数据块，每个时序数据块包括可变部分和不变部分；
19.数据分解步骤：对所述时间数据流中的每个时序数据块，分解出其中的可变部分与不变部分；
20.数据归集步骤：将所述可变部分按照其对应的时序归集到第一数据堆栈；将所述不变部分归集到第二数据堆栈；
21.数据关联步骤：从所述第一数据堆栈中取出可变部分数据，并从所述第二数据堆栈中取出不变部分数据，所述可变部分数据与所述不变部分数据通过时序关联；
22.数据可视化步骤：将所述通过时序关联的时序数据块，按照所述时序可视化显示，所述可视化显示包括所述时序数据块的每个不变部分对应的可变部分数据的时间预测趋势。
23.其中，所述数据关联步骤进一步包括：
24.判断所述第一数据堆栈是否满栈，如果是，则从所述第一数据堆栈中取出所有可变部分数据，并从所述第二数据堆栈中查找所述取出的所有可变部分数据对应的不变部分数据，将所述对应的不变部分数据从所述第二数据堆栈中取出。
25.在本发明的第三个方面，还公开一种电子装置，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行所述方法技术方案中的步骤的指令。
26.作为进一步的实现，所述电子装置可以是包含处理器和存储器的终端设备，尤其
是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，其包含存储介质，通过程序指令自动化的执行程序指令，用于实现所述方法的全部步骤指令。
27.需要指出的是，本发明的可视化评价方法针对的数据对象为时序数据流，即带有时序变化的数据流，而不是针对一般性的普遍性数据。
28.作为更具体的例子，在本发明的技术方案中，每个时序数据流的不变部分包括数据静态属性，所述数据静态属性包括数据指标名称；
29.每个时序数据流的可变部分包括动态数据属性，所述数据动态属性包括数据指标值。
30.本发明通过将数据获取步骤、数据分解步骤、数据归集步骤、数据关联步骤以及数据可视化步骤应用于可视化终端，所述可视化终端包括第一cpu和第二cpu；所述数据归集步骤对应第一堆栈进程和第二堆栈进程；所述第一堆栈进程运行于所述第一cpu，所述第二堆栈进程运行所述第二cpu；所述第一堆栈进程和所述第二堆栈进程之间采用数据管道连接，实现了时序数据流的分解组合以及关联后的不变部分与关联部分的快速可视化操作，减少了数据处理量与数据处理成本。
31.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明一个实施例的一种数据指标综合管理与可视化评价方法的主要步骤示意图
34.图2是实现图1所述方法的图像处理设备的示意图
35.图3是实现图1所述数据指标综合管理与可视化评价方法的可视化终端的结构示意图
36.图4是图1所述数据指标综合管理与可视化评价方法的部分步骤的数据处理示意图
37.图5是本发明一个实施例的一种数据指标综合管理与可视化评价系统的子系统结构示意图
38.图6是实现图1所述方法流程的计算机可读存储介质与终端设备的示意图
具体实施方式
39.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
40.参照图1，是本发明一个实施例的一种数据指标综合管理与可视化评价方法的主要步骤示意图。
41.如图1所述，所述方法主要包括数据获取步骤、数据分解步骤、数据归集步骤、数据关联步骤以及数据可视化步骤，各个步骤具体实现如下：
42.数据获取步骤：获取待分析的时间数据流，所述时间数据流包括多个时序数据块，
每个时序数据块包括可变部分和不变部分；
43.数据分解步骤：对所述时间数据流中的每个时序数据块，分解出其中的可变部分与不变部分；
44.数据归集步骤：将所述可变部分按照其对应的时序归集到第一数据堆栈；将所述不变部分归集到第二数据堆栈；
45.数据关联步骤：从所述第一数据堆栈中取出可变部分数据，并从所述第二数据堆栈中取出不变部分数据，所述可变部分数据与所述不变部分数据通过时序关联；
46.数据可视化步骤：将所述通过时序关联的时序数据块，按照所述时序可视化显示，所述可视化显示包括所述时序数据块的每个不变部分对应的可变部分数据的时间预测趋势。
47.在本实施例中，时间数据流又称时序数据流或者时空数据。
48.作为其典型的特点，该数据流通常包含不变部分和可变部分，可变部分随着时间、空间演化，从而为趋势预测、可视化演化图的生成提供条件。
49.在各种实际场景中，时空数据流都是每时每刻都在源源不断地产生大量的数据。
50.与传统的数据集不同,这些数据是海量的(massive),时序的(temporally ordered),快速变化的和潜在无限的(potentially infinite)。如果采用传统的遵照数据本身产生顺序来进行分析，将会带来巨大的数据压力。
51.本实施例实现了时序数据流的分解组合以及关联后的不变部分与关联部分的快速可视化操作，减少了数据处理量与数据处理成本。
52.作为更具体的例子，每个时序数据流的不变部分包括数据静态属性，所述数据静态属性包括数据指标名称；
53.每个时序数据流的可变部分包括动态数据属性，所述数据动态属性包括数据指标值。
54.图1所述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行。
55.参见图2，提供一种图像处理设备，所述图像处理设备包含存储器和处理器，所述处理器和存储器通过总线通信，所述图像处理设备包括人机交互界面，例如可触摸显示屏，通过人机交互操作，可动态可视化的查看前述数据指标综合管理与可视化评价方法的各个步骤的执行进度。
56.其中，处理器包括应用处理器和基带处理器，处理器是电子装置的控制中心，利用各种接口和线路连接整个电子装置的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行电子装置的各种功能和处理数据，从而对电子装置进行整体监控。其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器中。存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行电子装置的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性
固态存储器件。
57.作为更具体的例子，图1所述方法可以应用于可视化终端，例如，参见图3，所述方法的部分或者全部步骤可以采用移动终端实现，所述移动终端包括第一cpu和第二cpu；
58.所述数据归集步骤对应第一堆栈进程和第二堆栈进程；
59.所述第一堆栈进程运行于所述第一cpu，所述第二堆栈进程运行所述第二cpu；所述第一堆栈进程和所述第二堆栈进程之间采用数据管道连接。
60.优选的，所述数据管道为单向数据管道(data pipeline)。
61.数据管道技术原本是用于不同数据库(数据源)之间的数据转移的技术，例如数据备份、数据还原等，采用数据管道技术，可以避免进程阻塞或者使用第三方代理进行数据传输。
62.在本发明中，首次将数据管道技术应用于不同进程之间的数据传输，可避免不同进程之间存在的干扰，尤其是单向数据管道的的使用，使得反馈和控制信号的传输稳定可靠。
63.接下来参见图4，图4是图1所述数据指标综合管理与可视化评价方法的部分步骤的数据处理示意图。
64.参照图4所述的适宜性框图，相应的步骤包括：
65.s1：获取待分析的时间数据流，所述时间数据流包括多个时序数据块；
66.s2：对所述时间数据流中的每个时序数据块，分解出其中的可变部分与不变部分；
67.s3：将所述可变部分按照其对应的时序归集到第一数据堆栈；将所述不变部分归集到第二数据堆栈。
68.具体的，在本实施例中，所述第一数据堆栈具有第一预定大小，所述第二数据堆栈具有第二预定大小；所述第一预定大小低于所述第二预定大小。
69.s4：从所述第一数据堆栈中取出可变部分数据，并从所述第二数据堆栈中取出不变部分数据，所述可变部分数据与所述不变部分数据通过时序关联；
70.作为优选，这里时序关联，是指将处于同一个时间段或者时间点产生的针对同一个指标名称(不变部分)的所有指标值(可变部分)建立映射关系。
71.更具体的，执行所述关联具体包括：
72.判断所述第一数据堆栈是否满栈，如果是，则从所述第一数据堆栈中取出所有可变部分数据，并从所述第二数据堆栈中查找所述取出的所有可变部分数据对应的不变部分数据，将所述对应的不变部分数据从所述第二数据堆栈中取出。
73.显然，不同于现有技术的周期性处理或者按量处理，本实施例采用堆栈存储，并且在满栈时才取出数据执行后续可视化进程，可以在符合当前设备处理能力的情况下，尽可能的减少进程间调度，又最大化的利用了堆栈处理能力。
74.虽然，图4未示出，但是相应的步骤还可以包括：
75.s5：将所述通过时序关联的时序数据块，按照所述时序可视化显示，所述可视化显示包括所述时序数据块的每个不变部分对应的可变部分数据的时间预测趋势。
76.需要说明的是，时序数据、时空数据具体如何实现可视化演化、实现时间序列趋势分析等，根据不同的数据类型，本领域有不同的可视化分析方法，包括时间趋势分析模型等，本发明对此不作具体展开，这也不是本发明的改进重点，本发明的重点在于进入可视化
处理之前的数据分组和调度，因此，具体的可视化阶段所采用的方法可以参见现有技术(例如背景技术提及的公开文献)。
77.优选的，在本实例中，还根据所述数据可视化步骤显示的时间预测趋势的预测尺度，调节所述第一数据堆栈的第一预定大小，从而实现动态的闭环反馈，实现可视化的软件处理过程与硬件资源调度过程的相互匹配和动态更新。
78.基于图1
‑
图4的原理介绍，参见图5，提供一种数据指标综合管理与可视化评价系统，所述系统包括数据获取子系统、数据分解子系统、数据归集子系统、数据关联子系统以及数据可视化子系统，可用于实现图1
‑
图4所述实施例。
79.具体的，在图5中，所述数据获取子系统，用于获取时间数据流，所述时间数据流来自于多个异构终端，所述异构终端包括移动终端和桌面终端；
80.所述数据分解子系统，用于将所述时间数据流按照时序数据块为单位，分解出每个时序数据块中的不变部分与可变部分；
81.所述数据归集子系统连接所述数据分解子系统，用于基于每个时序数据块的大小，在第一进程中建立第一预定大小的第一数据堆栈，在第二进程中建立第二预定大小的第二数据堆栈，并将所述每个时序数据块中的不变部分存储至第二数据堆栈，将每个时序数据块中的可变部分存储至第一数据堆栈；
82.所述数据关联子系统，用于从所述第一数据堆栈中取出可变部分数据，并从所述第二数据堆栈中取出不变部分数据，所述可变部分数据与所述不变部分数据通过时序关联；
83.所述数据可视化子系统，用于将所述通过时序关联的时序数据块，按照所述时序可视化显示，所述可视化显示包括所述时序数据块的每个不变部分对应的可变部分数据的时间预测趋势。
84.作为进一步的优选，所述数据关联子系统连接所述数据归集子系统；
85.当所述第一数据堆栈满栈时，所述数据归集子系统发送满栈信号给所述数据关联子系统；所述数据关联子系统从所述第一数据堆栈中取出所有可变部分数据，并从所述第二数据堆栈中查找所述取出的所有可变部分数据对应的不变部分数据，将所述对应的不变部分数据从所述第二数据堆栈中取出。
86.所述第一进程通过单向数据管道与所述第二进程连接。
87.所述第二预定大小大于所述第一预定大小；
88.并且，所述数据归集子系统基于所述数据可视化子系统显示的所述时间预测趋势的预测尺度，更新所述第一预定大小。
89.最后，参见图6，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现所述方法的全部或者部分步骤。所述处理器和存储器通过总线连接，构成终端设备的内部通信。
90.本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。
91.而前述的存储器包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储
器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
92.针对海量的(massive),时序的(temporally ordered),快速变化的和潜在无限的(potentially infinite)的是空数据流，本发明改变了传统的遵照数据本身产生顺序来进行分析的方法，避免了带来巨大的数据压力；本发明实现了时序数据流的分解组合以及关联后的不变部分与关联部分的快速可视化操作，并且采用可动态更细的数据堆栈以及进程间管道通信，减少了数据处理量与数据处理成本，并且保证了数据传输稳定。
93.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。