一种轨道车辆司机情绪识别算法的制作方法

1.本发明涉及轨道车辆司机情绪识别技术领域，具体涉及一种轨道车辆司机情绪识别算法。


背景技术：

2.交通事故的发生有多种原因，一般来说是人的因素、车辆因素、道路和环境因素等，其中人的因素居首位。人的因素中又以轨道车辆司机的因素最为重要，轨道车辆司机的不良情绪是造成交通事故的重要原因。
3.当受到刺激时一般人都是通过面部、动作、眼神等表现出来。在驾驶车辆行驶过程中，当轨道车辆司机心情愉快、满意时能感到心情舒畅、心理舒适，对事物的观察和判断具有积极的促进作用，常常表现出感受力强，勤于观察，反应迅速，判断准确，动作敏捷，有利于车辆行驶安全；反之，如果产生忧愁、恐惧、苦恼、愤怒等情绪波动时，则感受力下降、精力分散、懒于观察思考，一但遇到紧急情况和突发事件时，则发生反应迟钝，判断失误等不良行为；
4.现有技术中只能通过检测轨道车辆当前的速度是否超速，并在超速时加以提醒，但不能解决由于当轨道车辆司机情绪不稳定而增加交通事故发生概率的问题。


技术实现要素：

5.本发明的目的在于提供一种轨道车辆司机情绪识别算法，通过实时监控当轨道车辆司机的面部信息图像、肢体动作信息图像和语音数据，获取轨道车辆司机在工作时段的情绪，并针对不同情绪做出不同的预警或者报警，最大幅度的降低轨道车辆交通事故发生概率，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：
7.一种轨道车辆司机情绪识别算法，包括如下步骤：
8.s1、建立轨道车辆司机信息数据库，所述该信息数据库包括：面部信息数据库、肢体信息数据库以及语音数据库；
9.s2、轨道车辆司机上岗后获取目标对象在提供服务期间的多张面部信息图像、肢体动作信息图像和语音数据；
10.s3、将采集到的面部信息图像、肢体动作信息图像和语音数据分别与所述信息数据库作对比，得出司机实时的情绪数据；
11.s4、对采集到的面部信息图像、肢体动作信息图像和语音数据提取出梅尔频域特征，并将所述梅尔频域特征输入完成训练的卷积神经网络；
12.s5、基于完成训练的卷积神经网络通过三维建模系统制作出轨道车辆司机在未来一段时间内的情绪波动曲线；
13.s6、截取情绪波动曲线未来时段波动点，计算该波动点与实际时间的相距时长t1，同时，调取该轨道车辆司机工作时间t2，对比t1和t2的重合度，包括如下情况：
14.1)t1＞t2，则说明该轨道车辆司机在工作时间内不会出现情绪波动；
15.2)t1＝t2，则说明该轨道车辆司机在工作时间内可能出现情绪波动，需持续监控该轨道车辆司机的面部信息图像、肢体动作信息图像和语音数据，并将预警信息发送至轨道交通控制中心，同时建立预警日志；
16.3)t1＜t2，则说明该轨道车辆司机在工作时间内或者已经出现情绪波动，立即发出报警信息，并将信息发送至轨道交通控制中心，通过轨道交通控制中心的管理员与该轨道车辆司机进行实时语音沟通；
17.4)立即发出报警信息，并将信息发送至轨道交通控制中心，通过轨道交通控制中心的管理员在该轨道车辆最近的站点更换该轨道车辆司机，并在轨道交通控制中心建立日志。
18.优选的，步骤s2中所述的获取目标对象在提供服务期间的语音数据，包括：
19.检测当前是否开启语音获取权限；
20.若已开启所述语音获取权限，则在检测到所述车辆的行进速度达到预设的速度阈值时，获取所述司机的语音数据。
21.优选的，步骤s4所述的对采集到的面部信息图像、肢体动作信息图像和语音数据提取出梅尔频域特征，包括：
22.1)照预设的采样率对所述语音数据进行重采样，得到采样数据；
23.2)对所述采样数据按照预设的帧长进行分帧处理，得到单帧的短时信号；
24.3)对每个所述短时信号进行傅里叶变换得到频域数据，并计算所述频域数据的功率谱；
25.4)计算所述功率谱在预设的梅尔滤波器中的能量值，并对所述能量值取对数，得到所述梅尔频域特征；
26.5)将所述梅尔频域特征通过预先训练得到的卷积神经网络，提取出所述面部信息图像、肢体动作信息图像和语音数据的短时域的特征。
27.优选的，步骤s2中所述的获取目标对象在提供服务期间的多张面部信息图像、肢体动作信息图像和语音数据具体采用信息获取模块，所述信息获取模块包括：
28.麦克风、音频采集控制器、模数转换器和红外摄像头，所述麦克风用于采集声音信号，并将所述声音信号转换为模拟音频信号，所述音频采集控制器，用于产生多个第一同步时钟信号，所述模数转换器与麦克风连接，所述模数转换器用于将所述模拟音频信号转换为数字音频信号，每个模数转换器均接收所述第一同步时钟信号，所述模数转换器还在所述第一同步时钟信号的作用下将所述模拟音频信号转换为所述数字音频信号的时序同步。
29.优选的，还包括：
30.镜头、感光元件、信号处理元件和灯动态补光单元，外部光线通过镜头聚焦在感光元件上，感光元件与信号处理元件电连接，所述信号处理模块输出端输出模拟信号或数字信号，所述灯动态补光单元包括感光芯片，用于检测拍摄画面影像信息并判断画面亮暗程度；isp图像处理模块，用于接收感光芯片反馈的信号以及进行图像信息处理并输出补光控制信号；pwm控制模块，用于接收isp图像模块输出的控制信号并输出占空比不同的补光驱动信号；红外补光灯装置，用于接收占空比不同的补光驱动信号并发出亮暗不一的补光。
31.优选的，获取所述面部信息图像还包括：
32.1)通过光流法获取各用户视频的视频图像序列中包含微表情的图像帧；
33.2)根据经验帧数值，在轨道车辆司机信息数据库包含微表情的图像帧中获取与所述经验帧数值相等张数的连续多帧图像，以组成轨道车辆司机对应的微表情序列；
34.3)调用预先构建的权重计算层计算各用户视频对应的微表情序列中每一帧图像的权重特征向量，以得到轨道车辆司机图像信息每一帧图像的结合权重值的图像特征向量；
35.4)将轨道车辆司机图像信息中每一帧图像的结合权重值的图像特征向量进行求和，得到所述各用户视频对应的综合图像特征向量；
36.5)将轨道车辆司机图像信息对应的综合图像特征向量输入至预先训练的卷积神经网络，得到各用户视频对应的微表情识别结果，以组成微表情识别结果集。
37.优选的，步骤s2中在轨道车辆司机上岗时，还包括对轨道车辆司机进行体检，所述体检包括轨道车辆司机血液酒精含量值、司机血压值。
38.优选的，所述麦克风还用于轨道交通控制中心与轨道车辆司机交互，具体为：
39.轨道交通控制中心发出语音问答后，通过麦克风获取司机回答的音频数据；通过语音处理的双门极限点算法，判断出轨道车辆司机回答的开始和结束时间，截取该开始和结束时间内的音频数据作为司机回答的音频基准数据；
40.使用梅尔倒谱的方式对基准数据进行特征提取，与题库中的答案特征进行相似度判断，若相似度大于阈值，则认为其回答正确，进入语音分析模块，否则回答错误，发出报警。
41.一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行轨道车辆司机情绪识别算法的步骤，
42.综上所述，由于采用了上述技术，本发明的有益效果是：
43.本发明中，通过实时监控当轨道车辆司机的面部信息图像、肢体动作信息图像和语音数据，获取轨道车辆司机在工作时段的情绪，并针对不同情绪做出不同的预警或者报警，最大幅度的降低轨道车辆交通事故发生概率；
44.在上述有益效果的基础上，本发明通过采用基于完成训练的卷积神经网络通过三维建模系统制作出轨道车辆司机在未来一段时间内的情绪波动曲线，能计算并截取出情绪波动曲线未来时段波动点，根据情绪波动点的时刻计算与实际时间的相距时长，判定轨道车辆司机在该情绪波动时刻是否在工作，并作出相应的预警，相较于现有技术，进一步达到了预警的效果，并进一步降低轨道车辆交通事故发生概率；
45.在上述有益效果的基础上，本发明采用轨道交通控制中心与轨道车辆司机交互的方式还能对轨道车辆司机在工作中可能存在的瞌睡，疲劳驾驶进行判定，能准确判断轨道车辆司机在工作中虽然无情绪波动，但是依旧存在瞌睡和疲劳驾驶的情况，再次降低轨道车辆交通事故发生概率。
附图说明
46.图1为本发明轨道车辆司机情绪识别算法的流程图。
具体实施方式
47.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
48.本发明提供了如图1所示的，一种轨道车辆司机情绪识别算法，一种轨道车辆司机情绪识别算法，包括如下步骤：
49.s1、建立轨道车辆司机信息数据库，该信息数据库包括：
50.面部信息数据库、肢体信息数据库以及语音数据库；
51.s2、轨道车辆司机上岗后获取目标对象在提供服务期间的多张面部信息图像、肢体动作信息图像和语音数据；
52.进一步的，步骤s2中的获取目标对象在提供服务期间的语音数据，包括：
53.检测当前是否开启语音获取权限；
54.若已开启语音获取权限，则在检测到车辆的行进速度达到预设的速度阈值时，获取司机的语音数据；
55.具体的，步骤s2中的获取目标对象在提供服务期间的多张面部信息图像、肢体动作信息图像和语音数据具体采用信息获取模块，信息获取模块包括：
56.麦克风、音频采集控制器、模数转换器和红外摄像头，麦克风用于采集声音信号，并将声音信号转换为模拟音频信号，音频采集控制器，用于产生多个第一同步时钟信号，模数转换器与麦克风连接，模数转换器用于将模拟音频信号转换为数字音频信号，每个模数转换器均接收第一同步时钟信号，模数转换器还在第一同步时钟信号的作用下将模拟音频信号转换为数字音频信号的时序同步；
57.具体的，还包括：
58.镜头、感光元件、信号处理元件和灯动态补光单元，外部光线通过镜头聚焦在感光元件上，感光元件与信号处理元件电连接，信号处理模块输出端输出模拟信号或数字信号，灯动态补光单元包括感光芯片，用于检测拍摄画面影像信息并判断画面亮暗程度；isp图像处理模块，用于接收感光芯片反馈的信号以及进行图像信息处理并输出补光控制信号；pwm控制模块，用于接收isp图像模块输出的控制信号并输出占空比不同的补光驱动信号；红外补光灯装置，用于接收占空比不同的补光驱动信号并发出亮暗不一的补光；
59.进一步的，获取面部信息图像还包括：
60.1)通过光流法获取各用户视频的视频图像序列中包含微表情的图像帧；
61.2)根据经验帧数值，在轨道车辆司机信息数据库包含微表情的图像帧中获取与经验帧数值相等张数的连续多帧图像，以组成轨道车辆司机对应的微表情序列；
62.3)调用预先构建的权重计算层计算各用户视频对应的微表情序列中每一帧图像的权重特征向量，以得到轨道车辆司机图像信息每一帧图像的结合权重值的图像特征向
量；
63.4)将轨道车辆司机图像信息中每一帧图像的结合权重值的图像特征向量进行求和，得到各用户视频对应的综合图像特征向量；
64.5)将轨道车辆司机图像信息对应的综合图像特征向量输入至预先训练的卷积神经网络，得到各用户视频对应的微表情识别结果，以组成微表情识别结果集；
65.s3、将采集到的面部信息图像、肢体动作信息图像和语音数据分别与信息数据库作对比，得出司机实时的情绪数据；
66.s4、对采集到的面部信息图像、肢体动作信息图像和语音数据提取出梅尔频域特征，并将梅尔频域特征输入完成训练的卷积神经网络；
67.进一步的，步骤s4的对采集到的面部信息图像、肢体动作信息图像和语音数据提取出梅尔频域特征，包括：
68.1)照预设的采样率对语音数据进行重采样，得到采样数据；
69.2)对采样数据按照预设的帧长进行分帧处理，得到单帧的短时信号；
70.3)对每个短时信号进行傅里叶变换得到频域数据，并计算频域数据的功率谱；
71.4)计算功率谱在预设的梅尔滤波器中的能量值，并对能量值取对数，得到梅尔频域特征；
72.5)将梅尔频域特征通过预先训练得到的卷积神经网络，提取出面部信息图像、肢体动作信息图像和语音数据的短时域的特征；
73.s5、基于完成训练的卷积神经网络通过三维建模系统制作出轨道车辆司机在未来一段时间内的情绪波动曲线；
74.通过采用基于完成训练的卷积神经网络通过三维建模系统制作出轨道车辆司机在未来一段时间内的情绪波动曲线，能计算并截取出情绪波动曲线未来时段波动点，根据情绪波动点的时刻计算与实际时间的相距时长，判定轨道车辆司机在该情绪波动时刻是否在工作，并作出相应的预警，相较于现有技术，进一步达到了预警的效果，并进一步降低轨道车辆交通事故发生概率；
75.s6、截取情绪波动曲线未来时段波动点，计算该波动点与实际时间的相距时长t1，同时，调取该轨道车辆司机工作时间t2，对比t1和t2的重合度，包括如下情况：
76.1)t1＞t2，则说明该轨道车辆司机在工作时间内不会出现情绪波动；
77.2)t1＝t2，则说明该轨道车辆司机在工作时间内可能出现情绪波动，需持续监控该轨道车辆司机的面部信息图像、肢体动作信息图像和语音数据，并将预警信息发送至轨道交通控制中心，同时建立预警日志；
78.3)t1＜t2，则说明该轨道车辆司机在工作时间内或者已经出现情绪波动，立即发出报警信息，并将信息发送至轨道交通控制中心，通过轨道交通控制中心的管理员与该轨道车辆司机进行实时语音沟通；
79.4)立即发出报警信息，并将信息发送至轨道交通控制中心，通过轨道交通控制中心的管理员在该轨道车辆最近的站点更换该轨道车辆司机，并在轨道交通控制中心建立日志。
80.示例性的，步骤s2中在轨道车辆司机上岗时，还包括对轨道车辆司机进行体检，体
检包括轨道车辆司机血液酒精含量值、司机血压值；
81.示例性的，麦克风还用于轨道交通控制中心与轨道车辆司机交互，具体为：
82.轨道交通控制中心发出语音问答后，通过麦克风获取司机回答的音频数据；通过语音处理的双门极限点算法，判断出轨道车辆司机回答的开始和结束时间，截取该开始和结束时间内的音频数据作为司机回答的音频基准数据；
83.使用梅尔倒谱的方式对基准数据进行特征提取，与题库中的答案特征进行相似度判断，若相似度大于阈值，则认为其回答正确，进入语音分析模块，否则回答错误，发出报警；
84.采用轨道交通控制中心与轨道车辆司机交互的方式还能对轨道车辆司机在工作中可能存在的瞌睡，疲劳驾驶进行判定，能准确判断轨道车辆司机在工作中虽然无情绪波动，但是依旧存在瞌睡和疲劳驾驶的情况，再次降低轨道车辆交通事故发生概率。
85.具体的，一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器执行时执行轨道车辆司机情绪识别算法的步骤。
86.原理：通过实时监控当轨道车辆司机的面部信息图像、肢体动作信息图像和语音数据，获取轨道车辆司机在工作时段的情绪，并针对不同情绪做出不同的预警或者报警，最大幅度的降低轨道车辆交通事故发生概率。
87.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
88.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。