本发明属于数据处理,尤其涉及一种基于参数平滑的指标规范化方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、在使用大数据技术处理业务数据过程中,需要对数据指标进行规范化处理。数据指标进行规范化是指通过一系列数学和统计方法,对数据进行变换,使其符合特定的标准或规范。这种变换的目的是消除或减弱原始数据中的一些特定影响,使得数据更具有可比性、可解释性,并更适合于分析、建模和比较。通常使用z-score标准化、min-max缩放、百分位数等方法来规范化这些指标,这些方法通常用于处理具有不同尺度、单位或分布的指标,使它们在进行比较和分析时更具有一致性。
3、在传统的指标规范化方法处理大数据中较为实时的业务数据的过程中,存在异常事件或离群值时,这些极端值可能导致瞬时波动,使得规范化过程受到不稳定的影响,例如,突发性的业务事件或者数据采集系统存在延迟会导致实时数据的突然变化,而这些传统的规范化过程可能无法即时应对。因此,这些规范化方法在面对极端值和瞬时波动时可能表现出不稳定性的问题。
技术实现思路
1、为克服上述现有技术的不足,本发明提供了一种基于参数平滑的指标规范化方法及系统,引入平滑参数对实时的业务数据进行处理,引入自适应学习速率的adam优化算法来优化平滑指数,进一步提高系统的性能和鲁棒性。
2、为实现上述目的,本发明的第一个方面提供一种基于参数平滑的指标规范化方法,包括:
3、实时获取业务数据;
4、根据不断更新后的平滑参数,对实时获取的业务数据进行平滑处理,得到平滑序列;其中,所述平滑参数采用adam优化算法进行实时更新优化处理。
5、本发明的第二个方面提供一种基于参数平滑的指标规范化系统,包括:
6、获取模块:实时获取业务数据;
7、处理模块:根据不断更新后的平滑参数,对实时获取的业务数据进行平滑处理,得到平滑序列;其中,所述平滑参数采用adam优化算法进行实时更新优化处理。
8、本发明的第三个方面提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行一种基于参数平滑的指标规范化方法。
9、本发明的第四个方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行一种基于参数平滑的指标规范化方法。
10、以上一个或多个技术方案存在以下有益效果:
11、在本发明中,引入平滑参数对实时的业务数据进行处理,在处理过程中,采用实时更新的平滑参数,避免对系统的不稳定性影响;引入自适应学习速率的adam优化算法来优化平滑指数,进一步提高系统的性能和鲁棒性。
12、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种基于参数平滑的指标规范化方法,其特征在于,包括:
2.如权利要求1所述的一种基于参数平滑的指标规范化方法,其特征在于,还包括:计算业务数据的累积分布函数作为平滑参数。
3.如权利要求1所述的一种基于参数平滑的指标规范化方法,其特征在于,根据不断更新后的平滑参数,对实时获取的业务数据进行平滑处理,得到平滑序列,具体为:基于当前观测值与平滑参数,以及上一时刻平滑值和平滑参数,计算当前时刻的平滑值。
4.如权利要求1所述的一种基于参数平滑的指标规范化方法,其特征在于,在下一时间点采样时,通过将历史业务数据输入到深度学习模型进行学习,对所述平滑参数进行更新。
5.如权利要求4所述的一种基于参数平滑的指标规范化方法,其特征在于,所述平滑参数采用adam优化算法进行实时更新优化处理,具体为:
6.如权利要求1所述的一种基于参数平滑的指标规范化方法,其特征在于,还包括:对平滑序列进行格式化处理。
7.一种基于参数平滑的指标规范化系统,其特征在于,包括:
8.如权利要求7所述的一种基于参数平滑的指标规范化系统,其特征在于,在处理模块中,所述平滑参数采用adam优化算法进行实时优化处理,具体为:
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一项所述的一种基于参数平滑的指标规范化方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的一种基于参数平滑的指标规范化方法。