技术总结
本发明公开了一种融合脸部表情和语音的驾驶员情感实时识别方法，首先，通过kinect SDK实时跟踪人脸，获取驾驶员的脸部图像和语音信号，之后对驾驶员的脸部图像、声学信号进行预处理，根据给出的目标函数来训练基于无监督特征学习和稀疏编码的特征提取模型，得到模型之后将预处理得到的信息输入该模型得到基于脸部图像和声音信号的情感特征；并根据说话内容提取单词，通过Apriori算法得到的频繁单词并创建词典，通过词典得到基于文本的情感特征，最后将基于脸部图像和声音信号的情感特征和基于文本的情感特征串连在一起得到特征向量，将特征向量输入到支持向量机SVM，训练SVM分类器，得到SVM模型。利用最终得到SVM模型识别出驾驶员的情感，具有很高的鲁棒性。
技术研发人员：毛启容;刘鹏;刘峰;陈龙;詹永照;
受保护的技术使用者：江苏大学;
技术研发日：2016.03.14
技术公布日：2016.07.13