本发明涉及大数据分析研究领域，具体涉及一种基于大数据算法的风险评估和预测预警方法。
背景技术：
1、散布在各个部门系统中的民意信息存在分散、表达不一致的问题，当前的技术在整合这些信息并进行综合分析时面临困难，本文通过争议焦点bert模型和lac实体识别方法，能够有效提取工单文本信息，判断反映在不同平台的同一内容。对于预测预警中群体性事件特征的选取和标签的确定还存在问题。因此，本文提出一种基于大数据算法的事件风险评估和预测预警方法，特别针对群事件，能够有效的对还未发生的群体事件进行预测预警和对已经发生的群体事件进行风险评估。
技术实现思路
1、为了克服现有技术的不足，本发明提供了一种基于大数据算法的风险评估和预测预警方法，通过利用争议焦点bert模型和lac实体识别方法，有效提取工单文本信息，从中识别出工单的关键内容，确保工单处理的准确性和效率；同时，构建了预测模型，利用历史数据和趋势分析，提前识别可能演化成群体性事件的趋势。技术方案如下：
2、一种基于大数据算法的风险评估和预测预警方法，包括如下步骤：
3、步骤1，获取历史矛盾纠纷工单数据；优选的，所述工单数据包括诉求内容、登记时间、登记机构、涉及人数、诉求人身份证号、诉求人手机号。
4、步骤2，使用lac工具对所述历史工单数据进行实体识别，提取机构名和地名。
5、步骤3，选择部分历史工单数据，进行争议焦点标注，训练争议焦点bert分类模型，使用训练好的争议焦点bert分类模型预测得到所有历史工单数据的争议焦点。
6、步骤4，使用实体+争议焦点的方式对历史工单内容进行总结，得到事件主题，将事件主题一致的数据归为一簇。
7、步骤5，构建群体性事件预测模型，构建步骤如下：
8、步骤5.1，针对每一簇数据，获取每条数据当前日期往前90天内的所有数据，以发生的最早日期作为事件开始日期，开始日期到当前日期的发生数据事件涉及人数总和，若大于等于5人，则判断为群体性事件，若小于5人，则判断为非群体性事件；针对非群体性事件，以事件开始日期往后90天作为事件截止日期，若开始日期到截止日期这段时间范围发生的所有事件涉及人数大于等于5人，则判断为演化群体性事件标签1，否则判断为0。
9、确定完事件标签后，根据开始日期到当前日期这段时间范围内发生的所有事件，获取特征；优选的，获取的特征包括：事件发生的最早日期距离当前日期的天数即距今天数，涉及人数总和，国家登记工单数、省登记工单数、市登记工单数、区等级工单数、已办结工单数、延期办结工单数、超期办结工单数、超期未办结工单数、事件争议焦点。
10、步骤5.2，将数据拆分为训练集和测试集，采用欠采样方法去除反例，使得负样本数量是正样本的2倍。
11、步骤5.3，对训练集和测试集进行特征清洗；优选的，使用one-hot编码，将分类变量转换为二进制向量。
12、步骤5.4，对训练集进行拟合和归一化，并保存归一化后所用的统计参数，使用训练集的统计参数对测试集进行归一化；
13、步骤5.5，构建多个机器学习模型，对归一化后的训练样本进行模型拟合；优选的，机器学习模型包括逻辑斯蒂回归模型、支持向量机、决策树、集成模型、朴素贝叶斯、boosting方法。
14、步骤5.6，使用归一化后的测试样本进行模型测试；
15、步骤5.7，根据召回率评价指标确定最优模型，并保存该模型；
16、步骤6，构建风险评估方法，包括以下参数：
17、risk1＝40+(3*涉及人数+4*国家登记工单数+3*省登记工单数+2*市登记工单数+3*未办结工单数)*e-0.01*距今天数
18、risk2＝min(risk1,95)
19、当风险值risk2超过75时进行预警。
20、优选的，实际使用时，采用以下步骤：
21、步骤7，将当天的日期作为当前日期，以当前日期往前90天，获取近90天所有数据包含的事件主题，根据每个事件主题，判断已经是群体性事件的事件主题和非群体性事件的主题；
22、步骤8，对步骤7得到的非群体性事件进行特征处理，使用步骤5得到的群体性事件预测模型，预测有可能演化成为群体性事件的主题；
23、步骤9，使用步骤6构建的群体性事件风险评估方法，对步骤7得到的群体性事件进行风险评估，对超过风险值75的主题件预警；
24、步骤10，对每周预测有误的数据，将其特征和真实标签放入训练集进行训练，更新模型参数，提高模型准确率。
25、与现有技术相比，本发明的有益效果为：通过大数据争议焦点bert模型和lac实体识别方法，确定工单所述事件主题，综合分析不同部门的工单数据。
26、通过构建群体性事件预测模型，分析判断有可能演化成为群体性事件的主题，及时进行预警；通过建立群体性事件预测模型，我们能够分析和判断潜在的群体性事件主题，提前识别可能演化成群体性事件的趋势，并及时进行预警。
27、通过构建一个综合的群体性事件风险评估体系，以分析已经发生的群体事件风险，并对高风险的群体事件进行预警。
1.一种基于大数据算法的风险评估和预测预警方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于大数据算法的风险评估和预测预警方法，其特征在于，所述工单数据包括诉求内容、登记时间、登记机构、涉及人数、诉求人身份证号、诉求人手机号。
3.根据权利要求2所述的一种基于大数据算法的风险评估和预测预警方法，其特征在于，步骤5.1获取的特征包括：事件发生的最早日期距离当前日期的天数即距今天数，涉及人数总和，国家登记工单数、省登记工单数、市登记工单数、区等级工单数、已办结工单数、延期办结工单数、超期办结工单数、超期未办结工单数、事件争议焦点。
4.根据权利要求3所述的一种基于大数据算法的风险评估和预测预警方法，其特征在于，步骤5.3特征清洗使用one-hot编码，将分类变量转换为二进制向量。
5.根据权利要求4所述的一种基于大数据算法的风险评估和预测预警方法，其特征在于，使用机器学习模型包括逻辑斯蒂回归模型、支持向量机、决策树、集成模型、朴素贝叶斯、boosting方法。
6.根据权利要求1-5所述的任一一种基于大数据算法的风险评估和预测预警方法，其特征在于，实际使用时，采用以下步骤：