视频采集情感生成方法与流程

本发明涉及情绪的表达方法，特别是一种视频采集情感生成方法。

背景技术：

随着社交软件的普及，比如微信、qq、脸书、whatsapp的普及，使用者越来越希望能够将自己的真实情况以直观的形象传达给接收方。特别是以卡通形象传达给接收方。另外因为如滴滴打车这样的公共私空间的存在，给陌生的乘客和司机之间都带来了不可预知的风险。因而需要对这样的使用者进行危险识别。以保护自己和对可能的微信进行预判。

技术实现要素：

阿尔法鹰眼的情感计算是基于ver(vestibular-emotionalreflex)前庭情感反射理论，结合神经科学、认知科学、心理学、数学、社会学等相关基础学科研发的成果。ver技术是通过视频流，结合人眼视觉特性,基于帧间运动振幅统计算法，相邻帧间的仿射变换矩阵作为肌肉微振动模型,计算肌肉振动轨迹波峰/波谷位置的振幅值。根据波峰/波谷出现的频率,振幅均值以及振幅标准偏差,建立攻击性，压力，焦虑，可疑度，身心平衡，魅力，活力，自控能力，敏感/抑郁和情绪稳定性等十个维度情感度量模型。

一种视频采集情感生成方法,包括如下步骤：

步骤1，采集人脸视频；

步骤2，根据采集到的人脸视频建立攻击性，压力，焦虑，可疑度，身心平衡，魅力，活力，自控能力，敏感/抑郁和情绪稳定性的模型；

步骤3，根据所建立的模型选择对应的表现形式。

优选地，在步骤1中所述采集是通过单独的摄像机、手机上的摄像头实现的。

最好，所述方法在社交软件上实现。

优选地，所述社交软件是微信、whatsapp或者qq。

最好，所述表现形式可以选自微信中的卡通形象。

最好，还包括步骤4，给出文字分析和建议。

优选地，用于滴滴打车软件中对司机危险情况的识别。

最好，还包括步骤5，将危险情况发给客户和/或者安全部门。

附图说明

图1为本发明的情感分析模型；

图2为本发明的一个实施例；

图3为情感计算原理图；

图4振动图像(振幅，频率，颜色编码)；

图5振动图像的频率分布图；

图6振动图像的频谱；

图7为情感计算赋能的流程。

具体实施例

图1示出了阿尔法鹰眼的情感计算是基于ver(vestibularemotionalreflex)前庭情感反射理论，结合神经科学、认知科学、心理学、数学、社会学等相关基础学科研发的成果。ver技术是通过视频流，结合人眼视觉特性,基于帧间运动振幅统计算法，相邻帧间的仿射变换矩阵

作为肌肉微振动模型,计算肌肉振动轨迹波峰/波谷位置的振幅值。根据波峰/波谷出现的频率,振幅均值以及振幅标准偏差,建立攻击性，压力，焦虑，可疑度，身心平衡，魅力，活力，自控能力，敏感/抑郁和情绪稳定性等十个维度情感度量模型。

图2示出了alphaeye技术主要用于海关，边检，机场，缉私处，地铁等场景，如安防情感分析预警系统，情感安检门预警系统，高铁人工智能售取票机等，高密度人流无漏检3秒完成采集、计算、识别。其特点如下：快速方便‐检查每一个人的时间不超过5秒；精准客观‐以时序算法分析判断；根据场景设定不同阈值客观甄别；友好隐蔽‐视频流电脑分析，无接触、无干扰；智能预警‐实时动态预警。

其中待检测者1通过摄像头2采集其面部与颈部肌肉微振动参数，并将相应数据传给处理器3，进行计算后输出相应的情感数据。其中情感的计算过程如下：

1.肌肉微振动情感计算原理

许多生理学家研究情感与生理学的相关性，并认为每种情感有它自己独特的躯体反应模式。达尔文的“人与动物的情感表达”以及微表情研究最权威的ekman都指出人类具有喜怒哀乐的基本情感，并且它们都有一种一套独特的面部肌肉运动模式。clyness(1977)的“情感记录仪”通过测量手指的瞬间压力描绘情感的运动输出，其压力曲线在不同群体和不同文化的人们中都能保持可重复性。为了强调潜在外露情感的形式的存在和表达通道的独立性，clyness还测量了脚底压力和下肢瘫痪病人的下颌压力。这些不同通道的肌肉运动表达揭示了外露情感形式可比较特性。

阿尔法鹰眼系统的检测对象是前庭-情感反射(vestibular-emotionalreflex:ver)导致的头颈部肌肉微振动。ver是1914生理学领域诺贝尔奖得主,奥地利医学家罗伯特·巴拉尼(rubertbarany)提出的理论，指出在人的运动状态以及生理和心理变化下，前庭中枢通过头部和颈间肌肉维持头部垂直均衡的一种反射。当掌管内脏活动和内分泌的边缘系统和掌管运动中枢的大脑皮质之间发生冲突时就会产生多余的内热，为了维持体内恒常性以其他作功的方式消耗内热，即肌肉的微振动。从熵理论出发可视为，人体的植物神经为了抑制内热引起的体内熵增，通过肌肉的微振动加快新陈代谢。具体的情感计算原理如图3所示。

2.情感计算算法

肌肉微振动幅度在100～1000微米，频率在10赫兹以下。用图像处理精确计算肌肉振动的物理量需要高分辨率的双眼摄像头计算肌肉运动的像素位移。这种传统的测量方法很难满足准确性和实时性的双重要求。阿尔法鹰眼系统模拟大脑视觉处理皮层处理视网膜信息的方法-即对视频的每帧进行差分，将3～5秒中的视频流转换为两张像素振动的振幅及频率图像，如图4所示通过振幅对应颜色而形成的图像500和通过频率与颜色对应而形成的图像600。振幅图像是将3秒视频流中每个帧间像素值变化量(即差分值)的平均值用颜色编码表示的图像500和600，频率图像600是每秒帧间像素值的变化次数用颜色编码表示的图像(见右侧频率与色块图的对应关系)。这两张图500和600虽然不是精确的计算实际肌肉的正确运动量，但是极其简易和有效的反映肌肉微振动的程度。将振动图像的频率分布图和频谱进行统计分析就可以得到情感的量化模型。图5(上)中的曲线101是处于疲倦状态下的振动频率统计图，图5(下)中的曲线102是发怒状态下的频率统计图。图中可以观察，疲倦状态下频率分布在低频区域(1hz)，相比之下发怒状态下频率分布在高频(8hz)区域。这结果与我们的主观感受一致，也比较容易感知。将振动频率图像结合对应振幅数据进行快速傅里叶变换(fft)可以得到肌肉振动的能量特性。

图6是两个人200和300在正常状态201,301和紧张状态202,302下的频谱。横坐标为频率，下面的色条对应相应的频率；纵坐标为傅立叶变换后的能量值。尽管两个波形形状各异，但是上图(正常状态)波形201和301都是指数形式衰减，高频区域几乎为零。下图波形202和302在低频能量小于正常状态，但是衰减速度明显慢于正常状态，一直延续到高频区域。紧张状态下，振幅明显低于正常状态，但是振动频率明显高于正常状态。这也科学地说明紧张导致的身体僵硬现象。阿尔法鹰眼系统将振动图像的频率分布和频谱特性与传统脑电和心电图进行交叉比较，并通过大量的临床实验导出解析十种(攻击性，压力，焦虑，可疑度，身心平衡，魅力，活力，自控能力，敏感/抑郁和情绪稳定性)不同情感的计算方法。如安防中最敏感的攻击性参数是通过频谱分布中最大非零频率和分布图的最小方差平均进行规范化。每张振动图像通过这十种情感参数的计算结果，判断和评估每个人的心理情感状态。

在安检领域中，实时判断的可疑度是十维情感模型中，攻击性、压力和焦虑三个值的平均值。其中攻击性ag的统计共性反映频率直方图中，最大频率和频率分散程度的计算公式如下：

fm：频率振动图像中最大频率

fi：频率振动图像中i频率的统计数

频率振动图像的平均频率

fin：视频采样频率

n:频率直方图中非零值频率个数

压力值st的统计共性是振动图像中频率和振幅的左右不对称，与心理学中左右大脑不对称理论同出一脉，计算公式如下：

脸部矩阵左侧部分的i列振动图像振幅

脸部矩阵右侧部分的i列振动图像振幅

开始之间最大振幅

脸部矩阵左侧部分的i列振动图像最大频率

脸部矩阵右侧部分的i列振动图像最大频率

开始之间最大频率

n：脸部矩阵列数

焦虑值tn的统计共性反映在振动图像的频谱。结合振幅和频率值对振动图像进行fft变换得到频谱。焦虑值可以认为是整个能量中高频部分所占的比率，计算公式如下：

pi(f)：振动图像的频谱

fmax：频谱中最大频率

以上三个参数进行平均可求出可疑度dn，算式如下：

dn：可疑度；ag：攻击性；st：压力；tn：焦虑感；n：参数平均值

上述的算式中所有参数值的范围正规化为0-1的值，平均值为0.5。当大于0.5可视为超过平均值，但是考虑正常范围内的愤怒、忧虑的情况实际应用中以0.65为可疑度的阈值。可根据现场的实际情况适当调节阈值，已符合现场需求。在正常检测以外，从心理学角度出发，三种情感状态的特殊组合有可能引起危险。因此也做一些特殊处理。如可疑度直接赋值为0.8和1的情况如下：

图7给出了本发明将情感计算结果生成需要的便于使用者理解的形象。可以看到，首先进行视频录制，然后通过阿尔法鹰眼情感识别，进而进行大数据分析统计，然后进行人工智能识别合成，然后进行个性化输出，图7中示出了特别梳妆的形象。在图7中从上到下还示出了短视频到情感识别层，再到情感描述层，在该情感描述层中可以形成图片、音乐、诗词、喜好和影视等之一或者组合，进而进入到情感表达层，该情感表达层包括vr/ar，人脸识别和或者多媒体合成，接着进入到微信全景平台。

图3为情感计算的原理图，其中左侧为人体大脑的生理结构，内在结构和情绪决定了肌肉微振动情况。通过对肌肉微振动的检测，即视频中累计帧间差分图像，基于此进行构建振动图像，然后形成肌肉振动与情感模型的对应关系，从而得出情感数据，在该实施例中，情感数据为焦虑70。

上述各实施例仅是本发明的优选实施方式，在本技术领域内，凡是基于本发明技术方案上的变化和改进，不应排除在本发明的保护范围之外。