一种基于交互验证的用户情绪分析方法、介质及系统与流程

1.本发明属于情绪分析技术领域，具体而言，涉及一种基于交互验证的用户情绪分析方法、介质及系统。


背景技术：

2.当前私域流量运营过程中，大都会采用一些线上营销的小活动来活跃用户，比如抽奖，团购，秒杀，小游戏等。这些活动从策划开始，奖项设置就固定了下来。然后此活动上线后，面对的是私域中所有的客户。千篇一律，缺少针对不同客户人群的特定设置。比如，某一银行私域流量中，有年轻人，也有中年人。同一类型的活跃用户的营销活动对这两类人群的吸引力可能不相同。同时，即便我们能够通过大数据分析将客户进行了精准画像，并据此提供相应的营销活动，但依然无法避免这类人群在参与活动时情绪的波动，不能做到“看脸色行动”，这样的营销活动会顾此失彼，不能兼顾所有人。
3.公开号为cn110147822b的中国发明专利（专利号cn201910303586.1）公开了一种基于人脸动作单元检测的情绪指数计算方法：能够建立待训练数据集，形成人脸动作单元数据库；人脸动作单元动作强度检测；计算情绪指数；本发明实现了通过面部表情所表达的情绪过程，能够更加准确客观的传达细节信息，更能弥补语言所不能描述和传达的深邃信息，尤其对语言表达障碍及无法正常获取语言信息的情景应用提供了一种非常可行的方案。
4.公开号为cn107862292b的中国发明专利（专利号cn201711126632.2）公开了一种人物情绪分析方法、装置及存储介质，包括获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；将所述实时脸部图像输入预先确定的au分类器，得到从该实时脸部图像中识别出的每个au的概率；将该实时脸部图像中所有au的概率组成该实时脸部图像的特征向量；及，将所述特征向量输入预先确定的情绪分类器，得到从该实时人脸图像中识别出每种情绪的概率，取概率最大的情绪作为从该实时人脸图像中识别出的情绪。本发明还提出一种电子装置及计算机可读存储介质。利用本发明识别出实时脸部图像中的au特征及概率，根据每个au特征及概率识别出实时脸部图像中的人物情绪，有效提高人物情绪识别的效率。
5.在线上营销小活动根据用户情绪指数匹配营销时间短，采集手段有限，上述专利需要实施采集用户的语音、表情等表征用户情绪的多种模态参数，不能在交互验证过程中根据用户操作得到用户情绪分析。


技术实现要素：

6.有鉴于此，本发明提供一种基于交互验证的用户情绪分析方法、介质及系统，在线上营销小活动根据用户情绪指数匹配营销时间短，采集手段有限的前提下，能够解决不能在交互验证过程中根据用户操作得到用户情绪分析的技术问题。
7.本发明是这样实现的：
本发明的第一方面提供一种基于交互验证的用户情绪分析方法，其中，包括以下步骤：s10：获取当前用户交互验证数据，并对所述当前用户交互验证数据进行预处理；其中，用户交互验证数据为用户在智能手机上的操作行为，具体包括：点击次数、点击频率、拉动次数、拉动频率、按压次数、按压时长；s20：对当前用户交互验证数据进行计算，得到当前用户情绪指数；s30：根据当前用户情绪指数微调后更新当前用户画像。
8.在上述技术方案的基础上，本发明的一种基于交互验证的用户情绪分析方法还可以做如下改进:其中，所述步骤s20具体包括：第一步：多次采集多个测试用户交互验证数据，并对测试用户交互验证数据进行人工标签标记；其中，人工标签标记的方法为：（1）在测试用户进行交互验证时，获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；（2）将所述实时脸部图像输入预先确定的au分类器，得到从该实时脸部图像中识别出的每个au的概率；（3）将该实时脸部图像中所有au的概率组成该实时脸部图像的特征向量；及将所述特征向量输入预先确定的情绪分类器，得到从该实时脸部图像中识别出的每种情绪的概率，取概率最大的情绪作为从该实时脸部图像中识别出的情绪；（4）以该实时脸部图像中识别出的情绪作为人工标签对测试用户进行交互验证时的交互验证数据进行标记；其中，au为：根据人脸的解剖学特点，可将其划分成若干既相互独立又相互联系的运动单元(action unit，au)，这些运动单元的运动特征及其所控制的主要区域可以反映出面部表情；第二步：建立深度学习网络模型，以所述多个测试用户交互验证数为输入层，以与所述采集多个测试用户交互验证数的人工标签为输出层，对所述深度学习网络模型进行训练，得到用户情绪分析模型；第三步：采用迁移学习算法，利用所述多个测试用户交互验证时的实际情绪指数对用户情绪分析模型进行更新和优化，形成适用于交互验证的用户情绪分析模型；第四步：利用适用于交互验证的用户情绪分析模型对当前用户交互验证数据进行计算，得到当前用户情绪指数。
9.其中，所述步骤s30具体包括：第一步：获取当前用户画像，所述当前用户画像包括当前用户情绪指数历史数据集；第二步：若当前用户情绪指数历史数据集的数据个数大于1，则根据当前用户情绪指数历史数据集对所得到的当前用户情绪指数进行微调；若当前用户情绪指数历史数据集的数据个数小于等于1，则直接以当前用户情绪指数作为微调后的当前用户情绪指数；第三步：将微调后的当前用户情绪指数添加到所述当前用户情绪指数历史数据集中。
10.进一步的，所述步骤根据当前用户情绪指数历史数据集对所得到的当前用户情绪指数进行微调具体为：第一步：以当前用户情绪指数历史数据集为待聚类样本集；第二步：使用近邻传播聚类算法将待聚类样本集中多个待聚类样本聚为一类，并计算得到该类的聚类中心作为参考情绪指数；第三步：计算当前用户情绪指数与参考情绪指数的差值，作为情绪变动值；第四步：若情绪变动值小于情绪变动阈值，则将当前用户情绪作为微调后的当前用户情绪指数；若情绪变动值大于情绪变动阈值，则将参考情绪指数与当前用户情绪指数的平均数作为微调后的当前用户情绪指数。
11.其中，所述对当前用户交互验证数据进行预处理的方法为余弦归一处理法。
12.其中，所述情绪变动阈值的计算步骤为：第一步：将多次采集的每个测试用户的实际情绪指数作为情绪变动数据集；第二步：将情绪变动数据集中的每个元素按照从大到小的顺序进行排序；第三步：以排序完成的情绪变动数据集中序号等于第5%总数的情绪指数作为情绪变动阈值。
13.进一步的，所述深度学习网络模型包含1个输入层，3个卷积层，3个relu非线性激活层，3个池化层，1个全连接层以及1个输出层。
14.本发明第二方面提供一种计算机可读存储介质，存储有程序指令，所述程序指令用于执行上述的基于交互验证的用户情绪分析方法。
15.本发明第三方面提供一种基于交互验证的用户情绪分析系统，包括上述的计算机可读存储介质。
16.与现有技术相比较，本发明提供的一种基于交互验证的用户情绪分析方法、介质及系统的有益效果是：不需要采集用户的语音、表情等表征用户情绪的多种模态参数，直接通过用户在智能手机上的操作行为，具体包括：点击次数、点击频率、拉动次数、拉动频率、按压次数、按压时长等进行用户的情绪分析，在线上营销小活动根据用户情绪波动匹配营销时间短，采集手段有限的前提下，能够解决不能在交互验证过程中根据用户操作得到用户情绪分析的技术问题。
附图说明
17.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的流程图；图2是近邻传播聚类(ap)算法框图。
具体实施方式
19.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实
施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
20.因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
21.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
22.如图1所示，是本发明第一方面提供一种基于交互验证的用户情绪分析方法的流程图，本方法包括以下步骤：s10：获取当前用户交互验证数据，并对当前用户交互验证数据进行预处理；其中，用户交互验证数据为用户在智能手机上的操作行为，具体包括：点击次数、点击频率、拉动次数、拉动频率、按压次数、按压时长；s20：对当前用户交互验证数据进行计算，得到当前用户情绪指数；s30：根据当前用户情绪指数微调后更新当前用户画像。
23.其中，在上述技术方案中，步骤s20具体包括：第一步：多次采集多个测试用户交互验证数据，并对测试用户交互验证时的情绪进行人工标签标记；其中，人工标签标记的方法为：（1）在测试用户进行交互验证时，获取摄像装置拍摄到的一张实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；（2）将所述实时脸部图像输入预先确定的au分类器，得到从该实时脸部图像中识别出的每个au的概率；（3）将该实时脸部图像中所有au的概率组成该实时脸部图像的特征向量；及将所述特征向量输入预先确定的情绪分类器，得到从该实时脸部图像中识别出的每种情绪的概率，取概率最大的情绪作为从该实时脸部图像中识别出的情绪；（4）以该实时脸部图像中识别出的情绪作为人工标签对测试用户进行交互验证时的交互验证数据进行标记；其中，au为：根据人脸的解剖学特点，可将其划分成若干既相互独立又相互联系的运动单元(action unit，au)，这些运动单元的运动特征及其所控制的主要区域可以反映出面部表情；第二步：建立深度学习网络模型，以多个测试用户交互验证数为输入层，以与采集多个测试用户交互验证数的人工标签为输出层，对深度学习网络模型进行训练，得到用户情绪分析模型；第三步：采用迁移学习算法，利用多个测试用户交互验证时的实际情绪指数对用户情绪分析模型进行更新和优化，形成适用于交互验证的用户情绪分析模型；第四步：利用适用于交互验证的用户情绪分析模型对当前用户交互验证数据进行计算，得到当前用户情绪指数。
24.其中，在上述技术方案中，步骤s30具体包括：
第一步：获取当前用户画像，当前用户画像包括当前用户情绪指数历史数据集；第二步：若当前用户情绪指数历史数据集的数据个数大于1，则根据当前用户情绪指数历史数据集对所得到的当前用户情绪指数进行微调；若当前用户情绪指数历史数据集的数据个数小于等于1，则直接以当前用户情绪指数作为微调后的当前用户情绪指数；第三步：将微调后的当前用户情绪指数添加到当前用户情绪指数历史数据集中。
25.进一步的，在上述技术方案中，步骤根据当前用户情绪指数历史数据集对所得到的当前用户情绪指数进行微调具体为：第一步：以当前用户情绪指数历史数据集为待聚类样本集；第二步：使用近邻传播聚类算法将待聚类样本集中多个待聚类样本聚为一类，并计算得到该类的聚类中心作为参考情绪指数；第三步：计算当前用户情绪指数与参考情绪指数的差值，作为情绪变动值；第四步：若情绪变动值小于情绪变动阈值，则将当前用户情绪作为微调后的当前用户情绪指数；若情绪变动值大于情绪变动阈值，则将参考情绪指数与当前用户情绪指数的平均数作为微调后的当前用户情绪指数。
26.其中，近邻传播聚类算法(ap)是一种基于图论的聚类算法。其基本思想是将全部待聚类样本看作是网络中的节点，且都当作潜在的聚类中心，待聚类样本间通过相似度连线构成一个网络(相似度矩阵s)，再通过网络中各条边的消息(吸引度responsibility和归属度availability)的传递，进而计算出待聚类样本集的聚类中心。近邻传播聚类算法的框图如附图2所示。
27.根据数据标准化预处理后的待聚类样本集计算相似矩阵s(j ,h)，s(j ,h)表示数据点h适合作为数据点j的聚类中心的能力，一般使用负的欧式距离：对于网络中的所有待聚类样本，借助图论中邻接矩阵的思想，我们可以计算得到吸引度矩阵r(j ,h)和归属度矩阵a(j ,h)。其中，r(j ,h)表示每个候选聚类中心h相对其他候选聚类中心对待聚类样本j的吸引程度，a(j ,h)表示每个待聚类样本j对候选聚类中心h的归属度:为避免在迭代计算过程中r(j ,h)和a(j ,h)出现震荡现象，引入衰减因子：
其中衰减因子的取值范围为（0,1），t表示测试时间间隔。
28.ap算法通过迭代更新上述吸引度矩阵r(j ,h)和归属度矩阵a(j ,h)的值的方式来实现聚类效果。当r(j ,h)和a(j ,h)达到稳定，或者达到最大迭代次数时，结束算法迭代，并选取r(j ,h)+ a(j ,h)最大的待聚类样本作为聚类中心c，以c作为当前用户的参考情绪指数。
29.其中，在上述技术方案中，对当前用户交互验证数据进行预处理的方法为余弦归一处理法，此处的余弦归一处理法为将数据计算其余弦，得到[0,1]之内的数。
[0030]
其中，在上述技术方案中，情绪变动阈值的计算步骤为：第一步：将多次采集的每个测试用户的实际情绪指数作为情绪变动数据集；第二步：将情绪变动数据集中的每个元素按照从大到小的顺序进行排序；第三步：以排序完成的情绪变动数据集中序号等于第5%总数的情绪指数作为情绪变动阈值。
[0031]
进一步的，在上述技术方案中，深度学习网络模型包含1个输入层，3个卷积层，3个relu非线性激活层层，3个池化层，1个全连接层以及1个输出层。
[0032]
本发明提供一种计算机可读存储介质，存储有程序指令，所述程序指令用于执行上述的基于交互验证的用户情绪分析方法。
[0033]
本发明提供一种基于交互验证的用户情绪分析系统，包括上述的计算机可读存储介质。
[0034]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。