本发明属于数据处理,具体涉及一种基于数据处理的大数据聚合分析方法及系统。
背景技术:
1、随着科技的发展,人们的线上支付行为越发频繁。移动支付、电子钱包和其他数字支付工具的普及使得线上支付变得更加便捷。人们可以通过手机应用、电子钱包等方式完成购物、转账等支付活动。
2、异常交易监测是防范金融欺诈的关键工具之一。通过监控用户的交易模式和行为,系统能够快速识别出不正常的交易行为,从而预防欺诈活动的发生。
3、当前的异常交易监测主要有基于规则的方式,检查当前交易数据,如果交易行为与规则匹配,例如超过设定的金额阈值、频繁的异地交易等,来识别异常交易,则会触发警报或采取措施。
4、然而,基于规则的异常交易监测方法由于需要事先定义规则,限制了异常交易监测的灵活性,难以适应新出现的异常交易模式,对于不法分子可能绕过已知的规则进行的新型异常交易行为的检测存在滞后性,难以及时、准确地检测新型的交易行为。
技术实现思路
1、为了解决当前基于规则的异常交易监测方法由于需要事先定义规则,限制了异常交易监测的灵活性,难以适应新出现的异常交易模式,对于不法分子可能绕过已知的规则进行的新型异常交易行为的检测存在滞后性,难以及时、准确地检测新型的交易行为的技术问题,本发明提供一种基于数据处理的大数据聚合分析方法及系统。
2、第一方面,
3、本发明提供了一种基于数据处理的大数据聚合分析方法,包括:
4、s1:获取历史交易数据;
5、s2:从所述历史交易数据中,提取出各个交易数据点的数据特征,所述数据特征包括:交易类型、交易方式、交易金额、交易地点、交易时间、之前预设时长内交易次数以及当天交易次数;
6、s3:根据所述数据特征,对各个交易数据点进行稀疏重构;
7、s4:引入权重系数,对稀疏重构前的原始数据点与稀疏重构后的重构数据点进行聚合处理,得到原始数据点的聚合特征向量以及重构数据点的聚合特征向量;
8、s5:根据原始数据点的聚合特征向量以及重构数据点的聚合特征向量,通过异常交易监测模型进行聚合分析,判断本次交易是否为异常交易。
9、第二方面,
10、本发明提供了一种基于数据处理的大数据聚合分析系统,包括处理器和用于存储处理器可执行指令的存储器;所述处理器被配置为调用所述存储器存储的指令,以执行第一方面中的基于数据处理的大数据聚合分析方法。
11、与现有技术相比,本发明至少具有以下有益技术效果:
12、在本发明中,根据所述数据特征,对各个交易数据点进行稀疏重构,之后引入权重系数,对稀疏重构前的原始数据点与稀疏重构后的重构数据点进行聚合处理,可以根据不同特征的重要性进行加权处理,有助于更准确地捕捉交易中的关键信息,提高了异常交易监测的灵活性和适应性,进而根据原始数据点的聚合特征向量以及重构数据点的聚合特征向量,通过异常交易监测模型进行聚合分析,判断本次交易是否为异常交易,综合考虑了交易类型、交易方式、交易金额、交易地点、交易时间、之前预设时长内交易次数以及当天交易次数等数据特征,可以适应各种不同支付环境、不同不法异常交易行为的交易特征变化,提升了对于新型异常交易的检测性能,能够及时、准确地检测出异常交易。
1.一种基于数据处理的大数据聚合分析方法,其特征在于,包括:
2.根据权利要求1所述的基于数据处理的大数据聚合分析方法,其特征在于,所述s3具体包括:
3.根据权利要求2所述的基于数据处理的大数据聚合分析方法,其特征在于,所述自编码器与所述自解码器的训练方式具体为:
4.根据权利要求1所述的基于数据处理的大数据聚合分析方法,其特征在于,所述s4具体包括:
5.根据权利要求1所述的基于数据处理的大数据聚合分析方法,其特征在于,所述s5具体包括:
6.根据权利要求5所述的基于数据处理的大数据聚合分析方法,其特征在于,所述位秩的计算方式具体为:
7.根据权利要求1所述的基于数据处理的大数据聚合分析方法,其特征在于,所述异常交易监测模型的训练方法为:
8.根据权利要求7所述的基于数据处理的大数据聚合分析方法,其特征在于,以所述异常交易监测模型的损失函数的函数值最小为目标,通过改进的飞鼠搜寻算法,对所述异常交易监测模型进行训练,具体包括:
9.根据权利要求8所述的基于数据处理的大数据聚合分析方法,其特征在于,所述对所述次优模型参数集合通过模拟退火算法进行局部寻优,确定最终的最优模型参数集合,具体包括:
10.一种基于数据处理的大数据聚合分析系统,其特征在于,包括处理器和用于存储处理器可执行指令的存储器;所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至9中任意一项所述的基于数据处理的大数据聚合分析方法。