一种基于大数据的数据融合方法及系统与流程

本申请涉及大数据处理领域，尤其涉及一种基于大数据的数据融合方法及系统。

背景技术：

1、在经济高速发展的当代，随着互联网突飞猛进的发展，信息平台（例如：银行平台、电商平台等）的用户量呈爆发式增长，信息平台的规模的也呈爆发式增长，从而使得信息平台的各种数据（例如：用户个人数据、用户交易数据、平台设备数据等）均呈井喷式增长。通常，对于信息平台的风险监测是通过监测信息平台的各种数据进行的，但是对信息平台的海量数据进行监测，考虑到监测数据量过大，监测设备或监测模型的测算工作量巨大，而从海量的数据中随机抽取部分数据进行风险监测，可能会导致风险监测的准确率较低。

2、因此，如何降低信息平台风险监测的工作量，并且提高信息平台风险监测的准确率，是本领域技术人员目前急需解决的技术问题。

技术实现思路

1、本申请提供了一种基于大数据的数据融合方法及系统，以降低信息平台风险监测的工作量，并且提高信息平台风险监测的准确率。

2、为解决上述技术问题，本申请提供如下技术方案：

3、一种基于大数据的数据融合方法，包括如下步骤：步骤t110、采集信息平台的历史数据，并且将历史数据分类集合在一起形成历史数据推荐集；步骤t120、将历史数据推荐集输入推荐模型，从而输出推荐值；步骤t130、在监测时间段内，采集信息平台的实时数据，并且从采集的实时数据中随机抽取预定数量的实时数据，形成实时数据监测集；步骤t140、将实时数据监测集和推荐值输入至监测模型，从而输出风险监测值；步骤t150、依据风险监测值判断信息平台是否存在风险，并进行风险提示。如上所述的基于大数据的数据融合方法，其中，优选的是，在步骤t130和步骤t150之间具有以下步骤：步骤t142、在监测时间段内，采集信息平台的实时数据，并将采集的所有实时数据集合在一起形成实时数据更新集；步骤t144、将实时数据更新集输入推荐模型，从而输出更新推荐值；步骤t146、将实时数据监测集、推荐值和更新推荐值输入至监测模型，从而输出风险监测值。

4、如上所述的基于大数据的数据融合方法，其中，优选的是，将采集的所有实时数据进行分类，从每类中随机抽取预定数量的实时数据，以均衡抽取的每类实时数据。

5、如上所述的基于大数据的数据融合方法，其中，优选的是，推荐模型运行在信息平台中，监测模型运行在信息平台中。

6、如上所述的基于大数据的数据融合方法，其中，优选的是，在得到风险监测值后，将风险监测值与阈值进行比较，若风险监测值高于阈值，则判断信息平台存在风险；若风险监测值不高于阈值，则判断信息平台不存在风险。

7、一种基于大数据的数据融合系统，包括：数据采集单元、数据输入单元、数据输出单元、数据抽取单元、风险判断单元和风险提示单元；数据采集单元采集信息平台的历史数据，并且将历史数据分类集合在一起形成历史数据推荐集；数据输入单元将历史数据推荐集输入推荐模型，从而数据输出单元输出推荐值；数据采集单元在监测时间段内，采集信息平台的实时数据，并且数据抽取单元从采集的实时数据中随机抽取预定数量的实时数据，形成实时数据监测集；数据输入单元将实时数据监测集和推荐值输入至监测模型，从而数据输出单元输出风险监测值；风险判断单元依据风险监测值判断信息平台是否存在风险，并风险提示单元进行风险提示。

8、如上所述的基于大数据的数据融合系统，其中，优选的是，形成实时数据监测集后，数据采集单元在监测时间段内，采集信息平台的实时数据，并将采集的所有实时数据集合在一起形成实时数据更新集；数据输入模块将实时数据更新集输入推荐模型，从而数据输出模块输出更新推荐值；数据输入模块将实时数据监测集、推荐值和更新推荐值输入至监测模型，从而数据输出模块输出风险监测值。

9、如上所述的基于大数据的数据融合系统，其中，优选的是，将采集的所有实时数据进行分类，从每类中随机抽取预定数量的实时数据，以均衡抽取的每类实时数据。

10、如上所述的基于大数据的数据融合系统，其中，优选的是，推荐模型运行在信息平台中，监测模型运行在信息平台中。

11、如上所述的基于大数据的数据融合系统，其中，优选的是，在得到风险监测值后，将风险监测值与阈值进行比较，若风险监测值高于阈值，则判断信息平台存在风险；若风险监测值不高于阈值，则判断信息平台不存在风险。

12、相对上述背景技术，由于本申请中进行风险监测时，使用的是抽取的部分数据，因此降低了信息平台风险监测的工作量，同时还由于本申请在进行风险监测时使用了通过历史大数据得到推荐值，以及实时大数据得到的更新推荐值，从而提高了信息平台风险监测的准确率。

技术特征：

1.一种基于大数据的数据融合方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于大数据的数据融合方法，其特征在于，在步骤t130和步骤t150之间具有以下步骤：

3.根据权利要求1或2所述的基于大数据的数据融合方法，其特征在于，将采集的所有实时数据进行分类，从每类中随机抽取预定数量的实时数据，以均衡抽取的每类实时数据。

4.根据权利要求1或2所述的基于大数据的数据融合方法，其特征在于，推荐模型运行在信息平台中，监测模型运行在信息平台中。

5.根据权利要求1或2所述的基于大数据的数据融合方法，其特征在于，在得到风险监测值后，将风险监测值与阈值进行比较，若风险监测值高于阈值，则判断信息平台存在风险；

6.一种基于大数据的数据融合系统，其特征在于，包括：数据采集单元、数据输入单元、数据输出单元、数据抽取单元、风险判断单元和风险提示单元；

7.根据权利要求6所述的基于大数据的数据融合系统，其特征在于，形成实时数据监测集后，数据采集单元在监测时间段内，采集信息平台的实时数据，并将采集的所有实时数据集合在一起形成实时数据更新集；

8.根据权利要求6或7所述的基于大数据的数据融合系统，其特征在于，将采集的所有实时数据进行分类，从每类中随机抽取预定数量的实时数据，以均衡抽取的每类实时数据。

9.根据权利要求6或7所述的基于大数据的数据融合系统，其特征在于，推荐模型运行在信息平台中，监测模型运行在信息平台中。

10.根据权利要求6或7所述的基于大数据的数据融合系统，其特征在于，在得到风险监测值后，将风险监测值与阈值进行比较，若风险监测值高于阈值，则判断信息平台存在风险；

技术总结
本申请涉及大数据处理领域，尤其涉及一种基于大数据的数据融合方法及系统，包括：采集信息平台的历史数据，并且将历史数据分类集合在一起形成历史数据推荐集；将历史数据推荐集输入推荐模型，从而输出推荐值；在监测时间段内，采集信息平台的实时数据，并且从采集的实时数据中随机抽取预定数量的实时数据，形成实时数据监测集；将实时数据监测集和推荐值输入至监测模型，从而输出风险监测值；依据风险监测值判断信息平台是否存在风险，并进行风险提示。本申请可以降低信息平台风险监测的工作量，并且提高信息平台风险监测的准确率。

技术研发人员：白金阁
受保护的技术使用者：天云融创数据科技（北京）有限公司
技术研发日：
技术公布日：2024/5/16