用于实时计算异常时的数据处理方法、装置以及电子设备与流程

1.本技术涉及数据处理技术领域，尤其是涉及一种用于实时计算异常时的数据处理方法、装置以及电子设备。


背景技术：

2.目前，大数据场景下的数据流实时计算的场景有很多，如通过网络交易平台的监控大屏，可以不断的看到实时的交易额的上升、交易地点情况、快递物流的流向等。
3.但是，这种实时计算的过程存在很多风险和难以控制的场景。例如，如果某个实时环节出现错误(数据异常)，错误便将实时的反馈在监控大屏上，可能会使一张平滑的曲线便会变成错误的锯齿状，也可能会使一张交易数额上涨据的曲线便会呈错误的跌落状态。现有的处理这种异常情况的方法一般是通过数据修复来处理，但是，通过该方法解决这种异常情况的处理效率较低，且修复的数据往往与真实值偏差较大。


技术实现要素：

4.本发明的目的在于提供一种用于实时计算异常时的数据处理方法、装置以及电子设备，以缓解数据实时计算显示过程中针对异常情况进行处理修复后的数据与真实值偏差较大的技术问题。
5.第一方面，本技术实施例提供了一种用于实时计算异常时的数据处理方法，包括：
6.获取多个不同时期的历史数据；
7.根据所述多个不同时期的历史数据计算多种变化率；
8.对每种所述变化率进行加权平均运算，获得综合变化率；
9.基于最近时间片的历史数据，利用所述综合变化率计算当前时间片的实时数据的推测值。
10.在一个可能的实现中，所述根据历史数据，还包括：
11.获取当前时间片的实时数据的真实值；
12.如果所述真实值与所述推测值之间的差值超过预设阈值，则将所述推测值推送至显示单元。
13.在一个可能的实现中，所述基于最近时间片的历史数据，利用所述综合变化率计算当前时间片的实时数据的推测值的步骤，包括：
14.获取最近时间片的历史数据；
15.将所述最近时间片的历史数据与所述综合变化率相乘，获得当前时间片的实时数据的推测值。
16.在一个可能的实现中，所述变化率包括多种同比变化率和多种环比变化率；
17.所述同比变化率包括月同比变化率、日同比变化率、时同比变化率和分同比变化率；
18.所述环比变化率包括年环比变化率、月环比变化率、日环比变化率、时环比变化率
和分环比变化率。
19.在一个可能的实现中，所述对每种所述变化率进行加权平均运算，获得综合变化率的步骤，包括：
20.对所述多种同比变化率进行加权平均运算，获得综合同比变化率；
21.对所述多种环比变化率进行加权平均运算，获得综合环比变化率；
22.对所述综合同比变化率和所述综合环比变化率进行加权平均运算，获得综合变化率。
23.在一个可能的实现中，所述预设阈值在25-50％之间。
24.第二方面，提供了一种用于实时计算异常时的数据处理装置，包括：
25.获取模块，用于获取多个不同时期的历史数据；
26.变化率模块，用于根据所述多个不同时期的历史数据计算多种变化率；对每种所述变化率进行加权平均运算，获得综合变化率；
27.计算模块，用于基于最近时间片的历史数据，利用所述综合变化率计算当前时间片的实时数据的推测值。
28.在一个可能的实现中，所述变化率包括多种同比变化率和多种环比变化率；
29.所述同比变化率包括月同比变化率、日同比变化率、时同比变化率和分同比变化率；
30.所述环比变化率包括年环比变化率、月环比变化率、日环比变化率、时环比变化率和分环比变化率。
31.第三方面，本技术实施例又提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
32.第四方面，本技术实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
33.本技术实施例带来了以下有益效果：
34.本技术实施例提供的一种用于实时计算异常时的数据处理方法、装置以及电子设备，能够获取多个不同时期的历史数据，再根据多个不同时期的历史数据计算多种变化率，然后，对每种变化率进行加权平均运算从而获得综合变化率，之后基于最近时间片的历史数据，利用综合变化率计算当前时间片的实时数据的推测值，通过计算多个不同时期历史数据多种变化率的加权平均值进而得到更加综合更加接近真实情况的变化率，再利用这种综合变化率预测当前时间片的实时数据，使预测出的推测值更加接近真实值，推测值与真实值之间的偏差值占比较低，而异常部分通常由于由故障率占比较低，所以预测的偏差在整体部分上对于真实的显示并不会产生较大偏差影响，不仅提高了异常情况的处理效率，还缓解了修复的数据与真实值偏差较大的情况。
35.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
36.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本技术实施例提供的用于实时计算异常时的数据处理方法的流程图示意图；
38.图2为本技术实施例提供的用于实时计算异常时的数据处理方法的演示数据的示例示意图；
39.图3为本技术实施例提供的一种用于实时计算异常时的数据处理装置的结构示意图；
40.图4为示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
41.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.本技术实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
43.目前，面对数据流实时计算的异常情况，一般是进入应急预案通过数据修复来处理。但是，实时的数据修复需要较长的响应时间，如果问题暴露给用户后再去修复便属于事后处理。而更多的时候是需要能够不将问题暴露给用户，以时刻准确且平滑的状态显现出数据曲线并且使真实的数据又能自行恢复。而且，目前处理以上异常情况的方式大多都没有形成有效的规范和通用的模型，都是非标准的业务实现方式，并无系统化的解决方案，解决上述异常情况的效率普遍较低，而且数据实时计算显示过程中针对异常情况进行处理修复后的数据与真实值偏差较大。
44.基于此，本技术实施例提供了一种用于实时计算异常时的数据处理方法、装置以及电子设备。通过该方法可以缓解数据实时计算显示过程中针对异常情况进行处理修复后的数据与真实值偏差较大的技术问题。
45.下面结合附图对本发明实施例进行进一步地介绍。
46.图1为本技术实施例提供的一种用于实时计算异常时的数据处理方法的流程示意图。如图1所示，该方法包括：
47.步骤s110，获取多个不同时期的历史数据。
48.其中，数据可以为交易数额、交易地点情况、快递物流的流向等实时数据。其中的交易数额等数据的计算过程可以是实时计算完成，即通过实时数据以流的形式传入计算节点。例如，可以将每时每刻的交易数额进行累加，将当前某个时间点累加的结果保持在一个
存储空间中。
49.本技术实施例提供的方法可以由内容分发网络(content delivery network，简称cdn)服务器来执行，cdn服务器的缓存服务可以为用户提供监视看板，以实时流量监控统计图。
50.步骤s120，根据多个不同时期的历史数据计算多种变化率。
51.其中，变化率可以包括多种同比变化率和多种环比变化率。例如，去年本月交易数额与今年本月交易数额之间的变化率，今年上个月交易数额与今年本月交易数额之间的变化率，等等。
52.步骤s130，对每种变化率进行加权平均运算，获得综合变化率。
53.其中，加权平均值运算，指的是将各数值乘以相应的权数，然后加总求和得到总体值，再除以总的单位数。加权平均值的大小不仅取决于总体中各单位的数值的大小，而且取决于各数值出现的次数，各数值出现的次数对其在平均数中的影响起着权衡轻重的作用。
54.步骤s140，基于最近时间片的历史数据，利用综合变化率计算当前时间片的实时数据的推测值。
55.在实际应用中，推测值的计算过程也可以利用机器学习(machine learning，简称ml)和人工智能(artificial intelligence，简称ai)来执行。例如，可以根据以往的历史数据，利用机器学习算法来计算当前时间片的实时数据的推测值。其中，ml是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，用于研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，从而能够在经验学习中改善具体算法的性能。
56.本技术实施例提供的用于实时计算异常时的数据处理方法可以作为一种实时计算异常情况下的实时数据推测方法。通过采用机器学习算法形成包括推测值和真实值两个部分的数据模型，即对结果数据进行预测，在真实数据出现错误的时候将局部预测的结果作为局部的显示结果，可以实现故障期的正常显示，为后期修补和回填预留了有效的时间，最终达到一个效果较好的展示结果。当然，其中的数据模型可以通过不同的数学模型来实现。
57.下面对上述步骤进行详细介绍。
58.在一些实施例中，该方法还可以包括以下步骤：
59.步骤s150，获取当前时间片的实时数据的真实值；
60.步骤s160，如果真实值与推测值之间的差值超过预设阈值，则将推测值推送至显示单元。
61.本技术实施例中，当推测值和真实值相差较大，并且系统确实发生明确故障后，显示值以推测值作为最终加权计算显示的内容。
62.例如，在出现错误的时候，即预测值和真实值相差较大时，将局部预测的结果进行权重累加可以实现故障期的正常显示，为后期修补和回填预留了有效的时间，以达到更有效的展示效果。
63.再例如，如图2所示，其中的预测段指的是故障发生的时间片段，即预测值和真实值相差较大，通过可预测的自恢复实时计算模型的设计方式可以实现在异常出现曲线下滑时，通过平滑性判断保持合理曲线。通过重新计算历史数据回填预测段的真实内容并达到
恢复正常数据轴线的目的。因此，如果出现故障也会呈现一个完整可靠最接近真实值的实时数据曲线，并随着时间的推移慢慢的恢复到正常的状态。
64.基于此，上述预设阈值可以限制在一定范围内。作为一个示例，预设阈值在25-50％之间。
65.本技术实施例中，真实值与推测值之间的差值没有超过预设阈值便显示实时计算结果，如果差异超过阈值则显示预测结果。其中的预设阈值优选在25-50％之间，以使差值标准设置的更加合理。
66.在一些实施例中，上述步骤s140可以包括如下步骤：
67.步骤s1402，获取最近时间片的历史数据；
68.步骤s1404，将最近时间片的历史数据与综合变化率相乘，获得当前时间片的实时数据的推测值。
69.通过将最近时间片的历史数据与综合变化率相乘从而得到当前时间片的实时数据的推测值，可以使当前时间片的实时数据的推测值更加合理接近真实数据，更加符合当前时间片的实时数据。
70.在一些实施例中，变化率包括多种同比变化率和多种环比变化率；同比变化率包括月同比变化率、日同比变化率、时同比变化率和分同比变化率；环比变化率包括年环比变化率、月环比变化率、日环比变化率、时环比变化率和分环比变化率。
71.在实际应用中，预测的数据本身最好的情况也是接近真实但却不是真实，通过在年度变化率、月环比变化率和月同比变化率等时间属性的部分比例(占比由故障率决定)较低，所以预测的偏差往往在整体上对于真实的显示并不会产生较大偏差影响。
72.基于此，上述步骤s130可以包括如下步骤：
73.步骤s1302，对多种同比变化率进行加权平均运算，获得综合同比变化率；
74.步骤s1304，对多种环比变化率进行加权平均运算，获得综合环比变化率；
75.步骤s1306，对综合同比变化率和综合环比变化率进行加权平均运算，获得综合变化率。
76.对于上述加权平均运算的过程，其中的加权算式可以为：
[0077][0078]
h(x)＝[h(x)
year
+h(x)
month
+h(x)
day
+h(x)
hour
+h(x)
min
]/5；
[0079]
f(x)＝[h(x)
×
qh+t(x)
×
qt]/2；
[0080]
其中，h表示月环比变化率预测值，t表示月同比变化率预测值，v表示年度变化率预测值，q表示权重，f表示综合变化率。
[0081]
示例性的，对于当销售数额的推算过程，需要预测某一天的销售额的时候最优的方案是算出变化率(也就是增幅)，同时变化率在这种情况下是非线性变动。例如，2010年公司业绩增长500％，2011年增长230％，2012年增长110％，2013年增长72％，2014年增长43％，2015年增长38％。在配合预测的同比/环比中年、月、日的加权平均值，最终会得出比较合理的预测结果。
[0082]
在机器学习训练过程中，训练数据约定为历史上的每一天的真实销售额，并将数据向量化，然后根据以下指标进行预测。
[0083]
年度变化率预测：[[1983,f(1983)],[1984,f(1984)]
…
[2019,f(2019)]]([年，变化率]二维向量)，年变化率(年份)＝(年销售额(年份)
–
年销售额(去年))/销售额(去年)；
[0084]
月环比化率预测：[[198301,f(198301)],[198401,f(198401)]]，如年度计算规则，计算出月环比变化率；
[0085]
月同比变化率预测：[[198301,f(198301)],[198302,f(198302)]]，如上计算出月、日、小时、分钟的同、环比变化率预测同上方法一致，然后以下列模式进行加权平均，然后求出接近真实的结果。
[0086]
本技术实施例中，可以推算出不同时期的增长率，再进行加权平均和合适的变化率的演算最终推测出最接近真实的销售预测值。
[0087]
图3提供了一种用于实时计算异常时的数据处理装置的结构示意图。如图3所示，用于实时计算异常时的数据处理装置包括：
[0088]
第一获取模块301，用于获取多个不同时期的历史数据；
[0089]
变化率模块302，用于根据多个不同时期的历史数据计算多种变化率；对每种变化率进行加权平均运算，获得综合变化率；
[0090]
计算模块303，用于基于最近时间片的历史数据，利用综合变化率计算当前时间片的实时数据的推测值。
[0091]
在一些实施例中，还包括：
[0092]
第二获取模块，用于获取当前时间片的实时数据的真实值；
[0093]
推送模块，用于如果真实值与推测值之间的差值超过预设阈值，则将推测值推送至显示单元。
[0094]
在一些实施例中，计算模块303具体用于：
[0095]
获取最近时间片的历史数据；
[0096]
将最近时间片的历史数据与综合变化率相乘，获得当前时间片的实时数据的推测值。
[0097]
在一些实施例中，变化率包括多种同比变化率和多种环比变化率；
[0098]
同比变化率包括月同比变化率、日同比变化率、时同比变化率和分同比变化率；
[0099]
环比变化率包括年环比变化率、月环比变化率、日环比变化率、时环比变化率和分环比变化率。
[0100]
在一些实施例中，变化率模块302具体用于：
[0101]
对多种同比变化率进行加权平均运算，获得综合同比变化率；
[0102]
对多种环比变化率进行加权平均运算，获得综合环比变化率；
[0103]
对综合同比变化率和综合环比变化率进行加权平均运算，获得综合变化率。
[0104]
在一些实施例中，预设阈值在25-50％之间。
[0105]
本技术实施例提供的用于实时计算异常时的数据处理装置，与上述实施例提供的用于实时计算异常时的数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
[0106]
本技术实施例提供的一种电子设备，如图4所示，电子设备400包括存储器401、处理器402，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
[0107]
参见图4，电子设备还包括：总线403和通信接口404，处理器402、通信接口404和存储器401通过总线403连接；处理器402用于执行存储器401中存储的可执行单元，例如计算机程序。
[0108]
其中，存储器401可能包含高速随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口404(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
[0109]
总线403可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0110]
其中，存储器401用于存储程序，所述处理器402在接收到执行指令后，执行所述程序，前述本技术任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器402中，或者由处理器402实现。
[0111]
处理器402可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器402可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成上述方法的步骤。
[0112]
对应于上述用于实时计算异常时的数据处理方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述用于实时计算异常时的数据处理方法的步骤。
[0113]
本技术实施例所提供的用于实时计算异常时的数据处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本技术实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
[0114]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可
以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0115]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0116]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0117]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段或代码的一部分，所述单元、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0118]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述用于实时计算异常时的数据处理方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0119]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0120]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。