本申请涉及紧急响应和人工智能,尤其涉及一种智能化警情分类方法、装置及可读存储介质。
背景技术:
1、现代社会中,公安警务管理面临着越来越复杂的挑战,特别是在警情分类方面。传统的警情处理流程高度依赖人工操作,从接听报警电话到信息录入,再到警情分类,这一系列步骤都需要人工完成。这不仅对接警员的反应速度和专业素养提出了很高的要求,而且由于人为因素,失误的几率也相对增大。整体而言,这一流程的效率和准确性有待提高。
技术实现思路
1、本申请实施例提供一种智能化警情分类方法、装置及可读存储介质,用以基于深度学习的bert模型,结合改进的focal loss损失函数以特别关注分层不平衡数据,来解决警情分类的问题。
2、本申请实施例提供一种智能化警情分类方法,包括如下步骤:
3、预先执行如下步骤执行模型训练:
4、获取原始警情数据集,并基于原始警情数据集进行预处理,以通过预处理对数据集进行数据增强,其中所述原始警情数据集包括采用文字描述的警情相关信息,数据增强用以增强警情相关信息的警情描述;
5、从多个预训练bert模型中选择一个基础bert模型作为警情分类预训练模型;
6、将预处理之后的始警情数据集,作为训练集,训练所述警情分类预训练模型,其中训练过程采用改进的focal loss作为的损失函数,且所述损失函数中引入有层次距离权重,所述层次距离权重用于描述真实类别和模型预测的类别之间的层次结构关系;
7、警情分类步骤:
8、将待分类的警情数据,按照指定的格式封装;
9、将封装后的警情数据,输入训练后的警情分类预训练模型,以完成对警情数据的分类。
10、可选的,基于原始警情数据集进行预处理之前还包括:对原始警情数据集进行数据清洗,以去除无关信息以及数据噪声。
11、可选的,通过预处理对数据集进行数据增强包括,对警情相关信息进行同义词替换、调换语句顺序,和/或,添加增强词汇,以增强警情相关信息的警情描述。
12、可选的,从多个预训练bert模型中选择一个基础bert模型作为警情分类预训练模型包括选取bert-base作为基础bert模型;
13、训练所述警情分类预训练模型还包括:
14、根据警情分类任务的类别数量,在所述基础bert模型的基础上添加全连接层,所添加的全连接层所包含的神经元数量与警情分类任务的类别数量相同。
15、可选的,训练所述警情分类预训练模型包括采用如下改进的focal loss作为损失函数,训练所述警情分类预训练模型:
16、
17、其中,lhierarchical(ptj)表示每个真实类别t与模型预测的每个类别j之间的预测概率ptj计算一个加权损失,ptj表示模型预测输入样本属于类别j的概率,j表示模型可能预测的任意一个类别,包括真实类别t本身;n表示总的类别数;δhtj表示层次距离权重,δhtj根据真实类别t和预测类别j之间的层次结构关系进行调整,真实类别t和预测类别j在层次结构中越近,δhtj越小;αt表示真实类别t的权重,用于调整不同类别在损失函数中的比重,γ表示调焦参数。
18、可选的,将待分类的警情数据,按照指定的格式封装包括:将待分类的警情数据,按照json格式封装;
19、在将封装后的警情数据,输入训练后的警情分类预训练模型之前还包括:
20、对json格式封装的警情数据进行分词处理,并在分词后基于预先构建的字典进行id映射;
21、基于映射后的id,转换为嵌入向量,以加载警情分类预训练模型完成警情分类。
22、本申请实施例还提出一种智能化警情分类装置,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的智能化警情分类方法的步骤。
23、本申请实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的智能化警情分类方法的步骤。
24、本申请实施例的警情分类方法基于深度学习的bert模型,结合改进的focal loss损失函数以特别关注分层不平衡数据,来解决警情分类的问题。
25、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
1.一种智能化警情分类方法,其特征在于,包括如下步骤:
2.如权利要求1所述的智能化警情分类方法,其特征在于,基于原始警情数据集进行预处理之前还包括:对原始警情数据集进行数据清洗,以去除无关信息以及数据噪声。
3.如权利要求1所述的智能化警情分类方法,其特征在于,通过预处理对数据集进行数据增强包括,对警情相关信息进行同义词替换、调换语句顺序,和/或,添加增强词汇,以增强警情相关信息的警情描述。
4.如权利要求1所述的智能化警情分类方法,其特征在于,从多个预训练bert模型中选择一个基础bert模型作为警情分类预训练模型包括选取bert-base作为基础bert模型;
5.如权利要求4所述的智能化警情分类方法,其特征在于,训练所述警情分类预训练模型包括采用如下改进的focal loss作为损失函数,训练所述警情分类预训练模型:
6.如权利要求5所述的智能化警情分类方法,其特征在于,将待分类的警情数据,按照指定的格式封装包括:将待分类的警情数据,按照json格式封装;
7.一种智能化警情分类装置,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的智能化警情分类方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的智能化警情分类方法的步骤。