基于大数据的碳交易市场风险预警系统以及方法

本发明涉及大数据分析，具体涉及基于大数据的碳交易市场风险预警系统以及方法。

背景技术：

1、随着碳交易市场的兴起，越来越多的企业或者个人参与进入碳交易中，碳交易市场变得更加复杂，因此需要对碳交易市场进行必要的风险预警。

2、目前的碳交易模型主要是以碳减排量、减排效益、清洁能源利用率等作为指标对结果进行衡量，现有的碳交易模型缺少对于碳交易市场未来的预测。

3、综上所述，急需基于大数据的碳交易市场风险预警系统以及方法以解决现有技术中存在的问题。

技术实现思路

1、本发明目的在于提供基于大数据的碳交易市场风险预警系统以及方法，具体技术方案如下：

2、基于大数据的碳交易市场风险预警系统，包括数据采集模块、数据预处理模块、风险评估模块、模型更新模块和预警模块；所述数据采集模块连接所述数据预处理模块，所述数据预处理模块连接所述风险评估模块，所述风险评估模块连接所述预警模块，所述模型更新模块连接所述风险评估模块；

3、所述数据采集模块用于采集第一交易数据；

4、所述数据预处理模块用于对所述第一交易数据进行数据清洗，得到第二交易数据；

5、所述风险评估模块包括风险评估模型，所述风险评估模型用于对所述第二交易数据进行风险评估，得到风险评估结果；

6、所述模型更新模块用于对所述风险评估模型进行更新优化；

7、所述预警模块中设有可调节的风险阈值，当所述风险评估结果超过所述风险阈值时，则向用户发出预警，反之则不发出预警。

8、优选的，在所述数据采集模块中，所述第一交易数据包括碳交易市场中的交易数据。

9、优选的，在所述数据预处理模块中，所述数据清洗包括处理缺失值、处理异常值和处理重复值。

10、优选的，在所述风险评估模块中，所述风险评估模型包括随机森林模型和引入残差连接的长短期记忆神经网络模型，其中，所述随机森林模型对所述第二交易数据进行预测并得到第一预测结果，所述长短期记忆神经网络模型对第二交易数据进行预测并得到第二预测结果，所述第一预测结果和第二预测结果进行加权平均求和得到风险评估结果。

11、优选的，所述随机森林模型对所述第二交易数据进行预测的过程如下：

12、步骤a1：构建决策树模型，具体是，将第二交易数据划分为训练集和测试集，从训练集中有放回地随机抽取一定数量的样本，形成多个随机子集，对每个随机子集的特征进行随机选择，得到多个特征子集，对特征子集采用分类与回归树算法构建决策树模型，每个特征子集对应一个独立的决策树模型；

13、步骤a2：构建随机森林模型，具体是，将构建的多个决策树模型组合，得到随机森林模型，将测试集中的样本输入每个决策树模型，得到决策树模型预测结果，所有决策树模型预测结果的平均值即为第一预测结果。

14、优选的，在步骤a2中，还包括对随机森林模型进行优化的过程，具体是：计算均方根误差作为优化指标，基于所述优化指标调整决策树模型的深度和最小样本数，或者是调整随机森林模型中决策树模型的数量和特征子集的大小；均方根误差表达式如下：

15、

16、其中，rmse表示均方根误差，n表示样本个数，ypred表示样本的预测值，ytrue表示样本的真实值。

17、优选的，所述长短期记忆神经网络模型对第二交易数据进行预测的过程如下：

18、步骤b1：构建长短期记忆神经网络模型，具体是，将第二交易数据划分为训练集、验证集和测试集，定义长短期记忆神经网络模型的输入层、隐藏层、输入层节点、隐藏层节点和激活函数，并在隐藏层之间添加残差连接；采用均方差作为损失函数，采用反向传播算法和adam优化算法对所述长短期记忆神经网络模型进行训练，得到训练模型；

19、步骤b2：模型验证，具体是，将验证集输入到训练模型中，得到预测值，根据预测值和真实标签计算评估指标；

20、步骤b3：模型调优，具体是，根据评估指标对训练模型进行调优，所述调优包括调整训练模型的输入层、隐藏层、输入层节点和隐藏层节点，使用交叉验证的方式选择输入层、隐藏层、输入层节点和隐藏层节点的最佳组合，得到预测模型；

21、步骤b4：数据预测，具体是，将测试集输入到预测模型中，通过预测模型的前向传播过程计算得到第二预测结果。

22、优选的，在所述预警模块中，所述预警模块持续监控用户的反馈，如果用户在接收到预警后没有采取任何措施，则再次对用户发出预警。

23、优选的，所述碳交易市场风险预警系统还包括数据可视化模块，用于向用户实时展示风险评估结果。

24、另外，本发明还公开了基于大数据的碳交易市场风险预警方法，所述方法应用如上述的碳交易市场风险预警系统实现碳交易市场风险预警方法，所述方法的步骤如下：

25、步骤s1：数据采集，具体是，数据采集模块采集第一交易数据，将所述第一交易数据传输到数据预处理模块；

26、步骤s2：数据清洗，具体是，处理第一交易数据中的缺失值、异常值和重复值，然后将第一交易数据进行特征选取以及归一化处理，得到第二交易数据，将所述第二交易数据传输到风险评估模块；

27、步骤s3：风险评估，具体是，将第二交易数据输入到风险评估模块中的风险评估模型，得到风险评估结果，将所述风险评估结果传输到预警模块；

28、步骤s4：风险预警，具体是，预警模块检测风险评估结果是否超过预先设置的风险阈值，当所述风险评估结果超过所述风险阈值时，则向用户发出预警，反之则不发出预警。

29、应用本发明的技术方案，具有以下有益效果：

30、本发明公开了基于大数据的碳交易市场风险预警系统以及方法，所述系统包括数据采集模块、数据预处理模块、风险评估模块、模型更新模块和预警模块，数据采集模块采集碳交易市场中的第一交易数据，数据预处理模块对第一交易数据进行预处理得到第二交易数据，风险评估模块基于第二交易数据得到风险评估结果，实现了对碳交易市场风险的预测，预警模块可以根据风险评估结果向用户发出预警。

31、本发明中的数据预处理模块提取交易数据中的特征，并通过信息增益方法对特征进行评估和筛选，选取具有较高信息增益的特征作为最重要的特征。

32、本发明中的风险评估模块包括风险评估模型，所述风险评估模型采用了随机森林模型和引入残差连接的长短期记忆神经网络模型(reslstm模型)的结合，充分利用二者的优势，获得更全面的风险预测能力。所述随机森林模型擅长处理结构化数据和特征的重要性排序，可用于特征选择和预测模型的构建；所述随机森林模型通过集成多个决策树来进行预测，对噪声和异常值具有一定的鲁棒性，并能处理多个特征之间的复杂关系，包括非线性关系和交互效应，解决了这对于碳交易市场中风险预估受到多个因素影响的问题。另一方面，本发明还引入了残差连接的lstm模型(reslstm模型)，以处理时序数据和捕捉序列中的长期依赖关系，在碳交易市场中，时间序列数据具有重要意义，市场中的风险和趋势往往存在时间上的相关性。本发明通过引入残差连接，可以有效缓解梯度消失问题，使网络能够更好地捕捉长期依赖关系，同时增强模型的表达能力、提高鲁棒性和泛化能力，以及促进模型的收敛和训练效率。本发明通过融合随机森林模型和reslstm模型，可以更全面地捕捉碳交易市场的特征和趋势，更好地应对不确定性和数据的多样性，提高风险预测的准确性和稳定性。

33、除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。