报警管理系统及其工作方法与流程

1.本发明涉及智能交通安全的领域，且更为具体地，涉及一种报警管理系统及其工作方法。


背景技术：

2.公交车是城市居民生活、工作出行的最重要的交通工具之一，公交车在居民生活、工作出行中承担着城市客运的重要任务。而近些年来，城市公交系统内出现的各种安全事故，已经成为社会公共安全建设中亟需解决的问题。
3.经研究表明：造成车辆伤害事故的原因中，驾驶员与乘客发生冲突的安全事故居然高达6.25％。社会热点2018年10月28日的重庆万州坠江公交事件也正属于此范畴。乘客刘某和驾驶员冉某在争吵的过程中发生互殴行为，驾驶员冉某情绪化驾驶，导致车辆与对向正常行驶的小轿车撞击后坠江，造成了15人遇难。也就是说，公交车安全和驾驶员的驾驶行为存在直接关系。
4.因此，期待一种报警管理系统，其能够综合路况信息和驾驶员的情绪模式来自动产生警报。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种报警管理系统及其工作方法，其通过基于卷积神经网络的图像识别和分类技术来对驾驶员的情绪进行识别以获得情绪指数，同时通过基于深度神经网络的路况编码器来对电子地图的路况数据进行编码以得到编码的路况特征向量，并且还进一步地基于时间维度上的变化趋势结合绝对数值来进行分类，以提高分类的准确性。通过这样的方式，可以综合路况信息和驾驶员的情绪模式来自动产生警报，从而保证公交车出行的安全性。
6.根据本技术的一个方面，提供了一种报警管理系统，其包括：
7.原始数据获取单元，用于获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据；
8.情绪识别单元，用于使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量；
9.情绪编码单元，用于使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量；
10.路况编码单元，用于使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量；
11.路况矩阵构造单元，用于将所述一系列路况特征向量沿样本维度排列为输入特征矩阵；
12.路况变化特征提取单元，用于使用基于第二卷积神经网络的路况变化特征提取器
对所述输入特征矩阵进行显示空间编码以获得路况特征图；
13.池化单元，用于对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵；
14.响应单元，用于对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成；以及
15.警示单元，用于将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
16.在上述报警管理系统中，所述情绪识别单元，包括：特征提取子单元，用于使用所述情绪识别器的第一卷积神经网络从所述面部图像获得面部特征图；情绪分类子单元，用于将所述面部特征图输入所述情绪识别器的分类器以获得所述情绪指数；以及，向量构造单元，用于将所述情绪指数按照时间维度排列为所述情绪输入向量。
17.在上述报警管理系统中，所述情绪编码单元，包括：全连接编码子单元，用于使用所述情绪编码器的全连接层对所述情绪输入向量进行全连接编码以提取所述情绪输入向量中各个位置的特征值的高维隐含特征；以及，一维卷积编码子单元，用于使用所述情绪编码器的一维卷积层对所述情绪输入向量进行一维卷积处理以提取所述情绪输入向量中各个位置的特征值之间的关联的高维隐含特征以获得所述情绪特征向量。
18.在上述报警管理系统中，所述基于第二卷积神经网络的路况变化特征提取器以如下公式对所述输入特征矩阵进行显示空间编码以获得所述路况特征图；其中，所述公式为：
19.fi＝active(ni×fi-1
+bi)
20.其中，f
i-1
为第i层第二卷积神经网络的输入，fi为第i层第二卷积神经网络的输出，ni为第i层第二卷积神经网络的卷积核，且bi为第i层第二卷积神经网络的偏置向量，active表示非线性激活函数。
21.在上述报警管理系统中，所述响应单元，进一步用于：对于所述情绪特征向量的每个位置的特征值，以如下公式计算该位置的特征值相对于所述路况特征矩阵的响应特征值；其中，所述公式为：
[0022][0023]fi
表示所述情绪特征向量中各个位置的特征值，表示所述路况特征矩阵中的第一行到第i行的i个行均值。
[0024]
在上述报警管理系统中，所述警示单元，进一步用于：将所述响应特征值排列为分类特征向量后输入所述分类器的softmax分类函数以获得所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值；以及，基于所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值，确定所述分类结果。
[0025]
根据本技术的另一方面，一种报警管理系统的工作方法，其包括：
[0026]
获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据；
[0027]
使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量；
[0028]
使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量；
[0029]
使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量；
[0030]
将所述一系列路况特征向量沿样本维度排列为输入特征矩阵；
[0031]
使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图；
[0032]
对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵；
[0033]
对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成；以及
[0034]
将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
[0035]
在上述报警管理系统的工作方法中，使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量，包括：使用所述情绪识别器的第一卷积神经网络从所述面部图像获得面部特征图；将所述面部特征图输入所述情绪识别器的分类器以获得所述情绪指数；以及，将所述情绪指数按照时间维度排列为所述情绪输入向量。
[0036]
在上述报警管理系统的工作方法中，使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量，包括：使用所述情绪编码器的全连接层对所述情绪输入向量进行全连接编码以提取所述情绪输入向量中各个位置的特征值的高维隐含特征；以及，使用所述情绪编码器的一维卷积层对所述情绪输入向量进行一维卷积处理以提取所述情绪输入向量中各个位置的特征值之间的关联的高维隐含特征以获得所述情绪特征向量。
[0037]
在上述报警管理系统的工作方法中，所述基于第二卷积神经网络的路况变化特征提取器以如下公式对所述输入特征矩阵进行显示空间编码以获得所述路况特征图；其中，所述公式为：
[0038]fi
＝active(ni×fi-1
+bi)
[0039]
其中，f
i-1
为第i层第二卷积神经网络的输入，fi为第i层第二卷积神经网络的输出，ni为第i层第二卷积神经网络的卷积核，且bi为第i层第二卷积神经网络的偏置向量，active表示非线性激活函数。
[0040]
在上述报警管理系统的工作方法中，对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成，包括：对于所述情绪特征向量的每个位置的特征值，以如下公式计算该位置的特征值相对于所述路况特征矩阵的响应特征值；其中，所述公式为：
[0041][0042]fi
表示所述情绪特征向量中各个位置的特征值，表示所述路况特征矩阵中的第一行到第i行的i个行均值。
[0043]
在上述报警管理系统的工作方法中，将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号，包括：将所述响应特征值排列为分类特征向量后输入所述分类器的softmax分类函数以获得所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值；以及，基于所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值，确定所述分类结果。
[0044]
与现有技术相比，本技术提供的报警管理系统及其工作方法，其通过基于卷积神经网络的图像识别和分类技术来对驾驶员的情绪进行识别以获得情绪指数，同时通过基于深度神经网络的路况编码器来对电子地图的路况数据进行编码以得到编码的路况特征向量，并且还进一步地基于时间维度上的变化趋势结合绝对数值来进行分类，以提高分类的准确性。通过这样的方式，可以综合路况信息和驾驶员的情绪模式来自动产生警报，从而保证公交车出行的安全性。
附图说明
[0045]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0046]
图1为根据本技术实施例的报警管理系统的应用场景图。
[0047]
图2为根据本技术实施例的报警管理系统的框图。
[0048]
图3为根据本技术实施例的报警管理系统中情绪识别单元的框图。
[0049]
图4为根据本技术实施例的报警管理系统的工作方法的流程图。
[0050]
图5为根据本技术实施例的报警管理系统的工作方法的架构示意图。
具体实施方式
[0051]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0052]
场景概述
[0053]
如前所述，公交车是城市居民生活、工作出行的最重要的交通工具之一，公交车在居民生活、工作出行中承担着城市客运的重要任务。而近些年来，城市公交系统内出现的各种安全事故，已经成为社会公共安全建设中亟需解决的问题。
[0054]
经研究表明：造成车辆伤害事故的原因中，驾驶员与乘客发生冲突的安全事故居然高达6.25％。社会热点2018年10月28日的重庆万州坠江公交事件也正属于此范畴。乘客
刘某和驾驶员冉某在争吵的过程中发生互殴行为，驾驶员冉某情绪化驾驶，导致车辆与对向正常行驶的小轿车撞击后坠江，造成了15人遇难。也就是说，公交车安全和驾驶员的驾驶行为存在直接关系。
[0055]
因此，期待一种报警管理系统，其能够综合路况信息和驾驶员的情绪模式来自动产生警报。
[0056]
具体地，在本技术的技术方案中，首先通过对驾驶员的情绪进行识别以获得情绪指数，例如这可以通过基于卷积神经网络的图像识别和分类技术来实现。并且，对于路况信息，也可以基于电子地图的路况数据，来通过基于深度神经网络的路况编码器得到编码的路况特征向量。
[0057]
本技术的申请人考虑到，无论是反映驾驶员情绪的情绪指数，还是反映路况信息的路况特征向量，其在时间维度上均有一个变化的过程，因此，如果能够基于时间维度上的变化趋势结合绝对数值来进行分类，显然能够提高分类的准确性。因此，针对在一系列预定时间点上获得的如上所述的情绪指数，将其排列为情绪输入向量之后，通过包含一维卷积层和全连接层的情绪编码器以得到情绪特征向量。并且，针对该一系列预定时间点上获得的如上所述的路况特征向量，将其沿样本维度排列为输入特征矩阵之后输入卷积神经网络，且对卷积神经网络输出的特征图进行沿通道维度的全局池化以获得路况特征矩阵。
[0058]
并且，本技术的申请人考虑到如果考察情绪指数与路况的关系，则显然情绪指数具有对于路况的响应特性，且这种响应特性不仅局限于对当前的同一时间点的路况的响应，也包含了对之前的时间点的路况的累积响应。
[0059]
因此，根据响应性估计理论，针对情绪特征向量的每个位置的特征值，例如记为fi，计算其对于路况特征矩阵的响应性特征值，表示为：
[0060][0061]
也就是，针对每个fi，计算路况特征矩阵中的第一行到第i行的i个行均值，再计算fi与该i个行均值的商之和。可以看到，显然距当前时间点越近，得到的响应性特征值越大，这也符合客观实际。
[0062]
这样，将响应性特征值ri排列为分类特征向量，就可以将分类特征向量输入分类器，以获得用于判定驾驶员情绪的警示信号。
[0063]
基于此，本技术提出了一种报警管理系统，其包括：原始数据获取单元，用于获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据；情绪识别单元，用于使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量；情绪编码单元，用于使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量；路况编码单元，用于使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量；路况矩阵构造单元，用于将所述一系列路况特征向量沿样本维度排列为输入特征矩阵；路况变化特征提取单元，用于使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图；池
化单元，用于对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵；响应单元，用于对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成；以及，警示单元，用于将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
[0064]
图1图示了根据本技术实施例的报警管理系统的应用场景图。如图1所示，在该应用场景中，首先，通过摄像头(例如，如图1中所示意的c)来获取一系列预定时间点的驾驶员(例如，如图1中所示意的d)的面部图像，以及从云端(例如，如图1中所示意的t)获取所述一系列预定时间点的基于电子地图(例如，如图1中所示意的m)的路况数据，其中，所述驾驶员正在驾驶公交车(例如，如图1中所示意的b)行驶在道路(例如，如图1中所示意的r)上，且所述基于电子地图的路况数据是指所述公交车正在行驶的道路的路况数据以及接下来一段时间需要行驶的规划道路的路况数据。然后，将获取的所述面部图像和所述路况数据输入至部署有报警管理系统算法的服务器中(例如，如图1中所示意的云服务器s)，其中，所述服务器能够以报警管理系统算法对所述面部图像和所述路况数据进行处理，以生成用于表示判定驾驶员情绪的警示信号的分类结果。进而，基于所述分类结果来确定是否发出警示信号，以保证公交车出行的安全性。
[0065]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0066]
示例性系统
[0067]
图2图示了根据本技术实施例的报警管理系统的框图。如图2所示，根据本技术实施例的报警管理系统200，包括：原始数据获取单元210，用于获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据；情绪识别单元220，用于使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量；情绪编码单元230，用于使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量；路况编码单元240，用于使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量；路况矩阵构造单元250，用于将所述一系列路况特征向量沿样本维度排列为输入特征矩阵；路况变化特征提取单元260，用于使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图；池化单元270，用于对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵；响应单元280，用于对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成；以及，警示单元290，用于将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
[0068]
具体地，在本技术实施例中，所述原始数据获取单元210和所述情绪识别单元220，用于获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地
图的路况数据，并使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量。如前所述，应可以理解，当路况信息较佳时，对驾驶员的情绪容忍度相对较高，而当所述路况信息较差时，对所述驾驶员的情绪容忍度相对较低，因此，在本技术的技术方案中，可综合地对所述路况信息和所述驾驶员的情绪模式来进行融合，以智能地生成警示信号。相应地，针对所述驾驶员的情绪信息，可以通过对所述驾驶员的情绪进行识别以获得情绪指数，在一个具体示例中，这可以通过基于卷积神经网络的图像识别和分类技术来实现。也就是，首先，就需要通过摄像头来获取一系列预定时间点的驾驶员的面部图像，以及从云端获取所述一系列预定时间点的基于电子地图的路况数据，其中，所述驾驶员正在驾驶公交车行驶在道路上，且所述基于电子地图的路况数据是指所述公交车正在行驶的道路的路况数据以及接下来一段时间需要行驶的规划道路的路况数据。然后，再将所述一系列预定时间点的驾驶员的面部图像输入第一卷积神经网络中进行处理，以对所述驾驶员的情绪进行识别，从而获得由一系列情绪指数组成的情绪输入向量。
[0069]
更具体的，在本技术实施例中，所述情绪识别单元，包括：特征提取子单元，用于使用所述情绪识别器的第一卷积神经网络从所述面部图像获得面部特征图，也就是，将所述面部图像通过所述情绪识别器的第一卷积神经网络进行处理，以提取出所述面部图像中的局部特征在高维空间中的特征分布表示，从而得到面部特征图。情绪分类子单元，用于将所述面部特征图输入所述情绪识别器的分类器以获得所述情绪指数，也就是，将所述面部特征图通过所述情绪识别器的分类器进行处理，以将面部特征图转化为情绪指数，从而便于后续的处理。应可以理解，通过基于所述卷积神经网络的图像识别和分类技术对驾驶员的情绪进行识别处理，以得到所述情绪指数。向量构造单元，用于将所述情绪指数按照时间维度排列为所述情绪输入向量。应可以理解，所述反映驾驶员的情绪的情绪指数在时间维度上有一个变化的过程，因此，在本技术的技术方案中，期望能够基于时间维度上的变化趋势结合绝对数值来进行分类，因此，为了便于后续对其进行更好地处理，这里，将得到的所述情绪指数按照时间维度排列为所述情绪输入向量。
[0070]
图3图示了根据本技术实施例的报警管理系统中情绪识别单元的框图。如图3所示，所述情绪识别单元220，包括：特征提取子单元221，用于使用所述情绪识别器的第一卷积神经网络从所述面部图像获得面部特征图；情绪分类子单元222，用于将所述面部特征图输入所述情绪识别器的分类器以获得所述情绪指数；以及，向量构造单元223，用于将所述情绪指数按照时间维度排列为所述情绪输入向量。
[0071]
具体地，在本技术实施例中，所述情绪编码单元230，用于使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量。应可以理解，用于反映驾驶员的情绪的所述情绪指数，其在时间维度上有一个变化的过程，因此，如果能够基于时间维度上的变化趋势结合绝对数值来进行分类，显然能够提高分类的准确性。因此，在本技术的技术方案中，针对在所述一系列预定时间点上获得的所述的情绪指数，将其排列为所述情绪输入向量之后，再将所述情绪输入向量通过包含一维卷积层和全连接层的情绪编码器中进行处理，以得到情绪特征向量。
[0072]
更具体地，在本技术实施例中，所述情绪编码单元，包括：全连接编码子单元，用于使用所述情绪编码器的全连接层对所述情绪输入向量进行全连接编码以提取所述情绪输
入向量中各个位置的特征值的高维隐含特征；以及，一维卷积编码子单元，用于使用所述情绪编码器的一维卷积层对所述情绪输入向量进行一维卷积处理以提取所述情绪输入向量中各个位置的特征值之间的关联的高维隐含特征以获得所述情绪特征向量。
[0073]
具体地，在本技术实施例中，所述路况编码单元240和所述路况矩阵构造单元250，用于使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量，并将所述一系列路况特征向量沿样本维度排列为输入特征矩阵。如前所述，应可以理解，针对所述路况信息，也可以基于电子地图的路况数据，来通过基于深度神经网络的路况编码器得到编码的路况特征向量。也就是，在一个具体示例中，首先，使用基于深度神经网络的路况编码器对从云端获取的所述一系列预定时间点的所述基于电子地图的路况数据进行编码，从而得到一系列的路况特征向量。然后，将所述一系列的路况特征向量沿样本维度排列为输入特征矩阵，以便于后续对其进行处理。
[0074]
具体地，在本技术实施例中，所述路况变化特征提取单元260和所述池化单元270，用于使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图，并对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵。应可以理解，反映路况信息的所述路况特征向量在时间维度上也有一个变化的过程，因此，在本技术中，考虑到如果能够基于时间维度上的变化趋势结合绝对数值来进行分类，显然能够提高分类的准确性。因此，在本技术的技术方案中，针对该所述一系列预定时间点上获得的所述的路况特征向量，在将其沿样本维度排列为输入特征矩阵之后，将所述输入特征矩阵通过基于第二卷积神经网络的路况变化特征提取器进行处理，以对所述输入特征矩阵进行显示空间编码，从而获得路况特征图。接着，再对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵。应可以理解，将所述路况特征矩阵进行全局池化处理，可以减小参数的数量，并减小过拟合，以提高后续分类的准确性。
[0075]
更具体地，在本技术实施例中，所述基于第二卷积神经网络的路况变化特征提取器以如下公式对所述输入特征矩阵进行显示空间编码以获得所述路况特征图；
[0076]
其中，所述公式为：
[0077]fi
＝active(ni×fi-1
+bi)
[0078]
其中，f
i-1
为第i层第二卷积神经网络的输入，fi为第i层第二卷积神经网络的输出，ni为第i层第二卷积神经网络的卷积核，且bi为第i层第二卷积神经网络的偏置向量，active表示非线性激活函数。
[0079]
具体地，在本技术实施例中，所述响应单元280，用于对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成。应可以理解，考虑到如果考察所述情绪指数与所述路况的关系，则显然所述情绪指数具有对于所述路况的响应特性，且这种响应特性不仅局限于对当前的同一时间点的路况的响应，也包含了对之前的时间点的路况的累积响应。因此，在本技术的技术方案中，根据响应性估计理论，针对所述情绪特征向量的每个位置的特征值，例如记为fi，计算其对于所述路况特征矩阵的响应性特征值ri。也就是，针对每个fi，计算所述路况特征矩阵中的第一行到第i行的i个行均值，再计算fi与该i个行均值的商之和。应可以理解，显然距
当前时间点越近，得到的响应性特征值越大，这也符合客观实际。
[0080]
更具体地，在本技术实施例中，所述响应单元，进一步用于：对于所述情绪特征向量的每个位置的特征值，以如下公式计算该位置的特征值相对于所述路况特征矩阵的响应特征值；
[0081]
其中，所述公式为：
[0082][0083]fi
表示所述情绪特征向量中各个位置的特征值，表示所述路况特征矩阵中的第一行到第i行的i个行均值。
[0084]
具体地，在本技术实施例中，所述警示单元290，用于将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。也就是，在一个具体示例中，首先，将所述响应特征值排列为分类特征向量后输入所述分类器的softmax分类函数以获得所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值；然后，基于所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值，确定所述分类结果。具体地，基于所述驾驶员情绪的警示信号的各个标签的概率值的最大值所对应的标签为分类的结果。
[0085]
综上，基于本技术实施例的所述报警管理系统200被阐明，其通过基于卷积神经网络的图像识别和分类技术来对驾驶员的情绪进行识别以获得情绪指数，同时通过基于深度神经网络的路况编码器来对电子地图的路况数据进行编码以得到编码的路况特征向量，并且还进一步地基于时间维度上的变化趋势结合绝对数值来进行分类，以提高分类的准确性。通过这样的方式，可以综合路况信息和驾驶员的情绪模式来自动产生警报，从而保证公交车出行的安全性。
[0086]
如上所述，根据本技术实施例的报警管理系统200可以实现在各种终端设备中，例如报警管理系统算法的服务器等。在一个示例中，根据本技术实施例的报警管理系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该报警管理系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该报警管理系统200同样可以是该终端设备的众多硬件模块之一。
[0087]
替换地，在另一示例中，该报警管理系统200与该终端设备也可以是分立的设备，并且该报警管理系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0088]
示例性方法
[0089]
图4图示了报警管理系统的工作方法的流程图。如图4所示，根据本技术实施例的报警管理系统的工作方法，包括步骤：s110，获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据；s120，使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量；s130，使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量；s140，使
用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量；s150，将所述一系列路况特征向量沿样本维度排列为输入特征矩阵；s160，使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图；s170，对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵；s180，对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成；以及，s190，将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
[0090]
图5图示了根据本技术实施例的报警管理系统的工作方法的架构示意图。如图5所示，在所述报警管理系统的工作方法的网络架构中，首先，使用基于第一卷积神经网络的情绪识别器(例如，如图5中所示意的cnn1)对获得的所述一系列预定时间点的驾驶员的面部图像(例如，如图5中所示意的in1)进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量(例如，如图5中所示意的v1)；接着，使用包含一维卷积层和全连接层的情绪编码器(例如，如图5中所示意的e1)对所述情绪输入向量进行编码以获得情绪特征向量(例如，如图5中所示意的vf1)；然后，使用基于深度神经网络的路况编码器(例如，如图5中所示意的e2)对获得的所述一系列预定时间点的所述基于电子地图的路况数据(例如，如图5中所示意的in2)进行编码以获得一系列路况特征向量(例如，如图5中所示意的vf2)；接着，将所述一系列路况特征向量沿样本维度排列为输入特征矩阵(例如，如图5中所示意的m)；然后，使用基于第二卷积神经网络的路况变化特征提取器(例如，如图5中所示意的cnn2)对所述输入特征矩阵进行显示空间编码以获得路况特征图(例如，如图5中所示意的f)；接着，对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵(例如，如图5中所示意的mf)；然后，对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值(例如，如图5中所示意的cv)；以及，最后，将所述响应特征值排列为分类特征向量(例如，如图5中所示意的vfc)后输入分类器(例如，如图5中所示意的圈s)以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。
[0091]
更具体地，在步骤s110和步骤s120中，获取一系列预定时间点的驾驶员的面部图像和所述一系列预定时间点的基于电子地图的路况数据，并使用基于第一卷积神经网络的情绪识别器对所述一系列预定时间点的驾驶员的面部图像进行图像处理以对所述驾驶员的情绪进行识别以获得由一系列情绪指数组成的情绪输入向量。也就是，首先，通过摄像头来获取一系列预定时间点的驾驶员的面部图像，以及从云端获取所述一系列预定时间点的基于电子地图的路况数据，其中，所述驾驶员正在驾驶公交车行驶在道路上，且所述基于电子地图的路况数据是指所述公交车正在行驶的道路的路况数据以及接下来一段时间需要行驶的规划道路的路况数据。然后，再将所述一系列预定时间点的驾驶员的面部图像输入第一卷积神经网络中进行处理，以对所述驾驶员的情绪进行识别，从而获得由一系列情绪指数组成的情绪输入向量。
[0092]
更具体地，在步骤s130中，使用包含一维卷积层和全连接层的情绪编码器对所述情绪输入向量进行编码以获得情绪特征向量。应可以理解，用于反映驾驶员的情绪的所述
情绪指数，其在时间维度上有一个变化的过程，因此，如果能够基于时间维度上的变化趋势结合绝对数值来进行分类，显然能够提高分类的准确性。因此，在本技术的技术方案中，针对在所述一系列预定时间点上获得的所述的情绪指数，将其排列为所述情绪输入向量之后，再将所述情绪输入向量通过包含一维卷积层和全连接层的情绪编码器中进行处理，以得到情绪特征向量。
[0093]
相应地，在一个具体示例中，首先，使用所述情绪编码器的全连接层对所述情绪输入向量进行全连接编码以提取所述情绪输入向量中各个位置的特征值的高维隐含特征；然后，使用所述情绪编码器的一维卷积层对所述情绪输入向量进行一维卷积处理以提取所述情绪输入向量中各个位置的特征值之间的关联的高维隐含特征以获得所述情绪特征向量。
[0094]
更具体地，在步骤s140和步骤s150中，使用基于深度神经网络的路况编码器对所述一系列预定时间点的所述基于电子地图的路况数据进行编码以获得一系列路况特征向量，并将所述一系列路况特征向量沿样本维度排列为输入特征矩阵。也就是，在一个具体示例中，首先，使用基于深度神经网络的路况编码器对从云端获取的所述一系列预定时间点的所述基于电子地图的路况数据进行编码，从而得到一系列的路况特征向量。然后，将所述一系列的路况特征向量沿样本维度排列为输入特征矩阵，以便于后续对其进行处理。
[0095]
更具体地，在步骤s160和步骤s170中，使用基于第二卷积神经网络的路况变化特征提取器对所述输入特征矩阵进行显示空间编码以获得路况特征图，并对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵。应可以理解，反映路况信息的所述路况特征向量在时间维度上也有一个变化的过程，因此，在本技术中，考虑到如果能够基于时间维度上的变化趋势结合绝对数值来进行分类，显然能够提高分类的准确性。因此，在本技术的技术方案中，针对该所述一系列预定时间点上获得的所述的路况特征向量，在将其沿样本维度排列为输入特征矩阵之后，将所述输入特征矩阵通过基于第二卷积神经网络的路况变化特征提取器进行处理，以对所述输入特征矩阵进行显示空间编码，从而获得路况特征图。接着，再对所述路况特征图进行沿通道维度的全局池化处理以获得路况特征矩阵。应可以理解，将所述路况特征矩阵进行全局池化处理，可以减小参数的数量，并减小过拟合，以提高后续分类的准确性。
[0096]
更具体地，在步骤s180中，对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成。应可以理解，考虑到如果考察所述情绪指数与所述路况的关系，则显然所述情绪指数具有对于所述路况的响应特性，且这种响应特性不仅局限于对当前的同一时间点的路况的响应，也包含了对之前的时间点的路况的累积响应。因此，在本技术的技术方案中，根据响应性估计理论，针对所述情绪特征向量的每个位置的特征值，例如记为fi，计算其对于所述路况特征矩阵的响应性特征值ri。也就是，针对每个fi，计算所述路况特征矩阵中的第一行到第i行的i个行均值，再计算fi与该i个行均值的商之和。应可以理解，显然距当前时间点越近，得到的响应性特征值越大，这也符合客观实际。
[0097]
具体地，在本技术实施例中，对于所述情绪特征向量的每个位置的特征值，计算该位置的特征值相对于所述路况特征矩阵的响应特征值，其中，所述响应特征值基于所述路况特征矩阵中第一行到第i行的i个行均值与该位置的特征值之间的商之和生成的过程，包
括：对于所述情绪特征向量的每个位置的特征值，以如下公式计算该位置的特征值相对于所述路况特征矩阵的响应特征值；
[0098]
其中，所述公式为：
[0099][0100]fi
表示所述情绪特征向量中各个位置的特征值，表示所述路况特征矩阵中的第一行到第i行的i个行均值。
[0101]
更具体地，在步骤s190中，将所述响应特征值排列为分类特征向量后输入分类器以获得分类结果，所述分类结果用于表示判定驾驶员情绪的警示信号。也就是，在一个具体示例中，首先，将所述响应特征值排列为分类特征向量后输入所述分类器的softmax分类函数以获得所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值；然后，基于所述分类特征向量分别归属于驾驶员情绪的警示信号的各个标签的概率值，确定所述分类结果。具体地，基于所述驾驶员情绪的警示信号的各个标签的概率值的最大值所对应的标签为分类的结果。
[0102]
综上，基于本技术实施例的所述报警管理系统的工作方法被阐明，其通过基于卷积神经网络的图像识别和分类技术来对驾驶员的情绪进行识别以获得情绪指数，同时通过基于深度神经网络的路况编码器来对电子地图的路况数据进行编码以得到编码的路况特征向量，并且还进一步地基于时间维度上的变化趋势结合绝对数值来进行分类，以提高分类的准确性。通过这样的方式，可以综合路况信息和驾驶员的情绪模式来自动产生警报，从而保证公交车出行的安全性。
[0103]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0104]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0105]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0106]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0107]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实
施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。