一种基于多源微特征的深度神经网络心理语义标注方法与流程

本发明涉及多源微特征领域，具体说是一种基于多源微特征的深度神经网络心理语义标注方法。

背景技术：

心理语义是通过表情特征，皮肤电特征，呼吸特征，血压特征，呼吸特征以及声音特征等多特征的变换，形成具有统一维度的特征空间，进而通过建立深度神经网络，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。当审讯遇到困难时，可以借助心理语义读取的方法，进行辅助判读心理活动，为审讯员提供参考性的定向提问。

技术实现要素：

本法的目的是提供一种准确的基于多源微特征的深度神经网络心理语义标注方法。

本发明解决上述技术问题所采用的技术方案是：

一、采集生理微特征，将生理微特征与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；

二、采集语音微特征，将语音微特征与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；

三、将生理微特征和语音微特征整合校验后得到微表情特征；

四、将微表情特征与特征验证库进行比对判断，排除非微表情特征；

五、特征验证库将验证后微表情特征的进行特征融合；

六、特征融合通过深度神经网络重构完成多源特征融合；

七、完成特征融合进行心理语义标注，为实时获取心理特征的决策提供准确、可靠依据。

本发明的优点是：

本发明获取微表情特征，皮肤电特征，呼吸特征，血压特征及声音特征，根据深度学习网络的信息融合算法，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。

附图说明

图1是多源微特征数据融合逻辑单元连接图。

图2是基于深度神经网络的融合决策。

具体实施方式

下面将结合附图及实施例对本发明作进一步说明。

一种基于多源微特征的深度神经网络心理语义标注方法，包括，

一、采集生理微特征101，将生理微特征101与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；

二、采集语音微特征102，将语音微特征102与微表情特征的互相校验，形成统一指向，通过深度学习方法统一贴签处理；

三、将生理微特征101和语音微特征102整合校验后得到微表情特征103；

四、将微表情特征103与特征验证库105进行比对判断，排除非微表情特征；

五、特征验证库105将验证后微表情特征的进行特征融合106；

六、特征融合106通过深度神经网络重构104完成多源特征融合；

七、完成特征融合106进行心理语义标注107，为实时获取心理特征108的决策提供准确、可靠依据。

深度神经网络重构104完成多源特征融合的技术内容在本技术人同日提交的另外一份专利文件中公开。

生理微特征是通过手环采集的心跳次数、血压数值。皮肤电，心电。

语音微特征是声音采集器采集的在不同情绪下的声纹特征；

微表情是高清摄像头采集的面部表现的情感组合；如喜、怒、哀、乐、悲、惊恐等特征。

特征融合完成实时心理的融合分析及标注，进而建立微表情坐标系与单维度的线性转换关系；同时考虑到微表情对心理表达的崎变现象，通过先验的心理标注库对畸变校正；根据多维度微特征的心理映射，建立多微特征之间的验证关系，进而构建数据特征的空间融合模型；以生理微特征为基准，采用多线程同步程序设计方式，构建多生理微特征数据融合，并且通过心理标注数据库模型校正；进而利用微表情及声音微特征融合模型计算出在特征空间上的投影点，同时将投影点中建立包含心理标注的感兴趣区域；利用深度神经网络在感兴趣区域内进行搜索完成实时心理语义标注。

如附图1中一种基于多源微特征的深度神经网络心理语义标注单元连接图。

图2所示基于深度学习算法的融合决策网络；301为深度学习综合处理网络，通过前端表情特征305，皮肤电特征304，呼吸特征303，血压特征302，及声音特征306的综合提取，融合，完成信息的深度决策。前端数据特征接口通过深度学习网络301进行判决及共享。

技术特征：

技术总结
本发明公开了一种基于多源微特征的深度神经网络心理语义标注方法，根据获生理微特征、语音微特征进而建立微表情坐标系与单维度的线性转换关系；同时考虑到微表情对心理表达的崎变现象，通过先验的心理标注库对畸变校正。根据多维度微特征的心理映射，建立多微特征之间的验证关系，进而构建数据特征的空间融合模型。通过建立深度神经网络，将多特征进行融合，为实时获取心理特征的决策提供准确、可靠依据。获得实时心理特征，从而完成实时心理语义标注。为实时获取心理特征的决策提供准确、可靠依据。

技术研发人员：关庆阳;童心;毕连城;靳跃;苏展锋;周国林;鞠明刚
受保护的技术使用者：沈阳康泰电子科技股份有限公司
技术研发日：2018.08.29
技术公布日：2019.01.18