基于实时情感识别的自媒体内容推荐方法

本发明属于自媒体信息交互领域，具体涉及一种基于实时情感识别的自媒体内容推荐方法。

背景技术：

随着人工智能的发展，向人们提供内容推荐逐渐成为了重要的研究课题。在目前的互联网应用中，大多数是基于人们输入的文本信息进行的。而理解人类的情感主要可以通过三个元素：语言内容、语言语气以及说话者的面部表情。而在这其中，获取表情传达的信息最为简单准确。直接通过输入的文本信息进行内容推荐，可能不够准确。

技术实现要素：

本发明要解决的技术问题是：提供一种基于实时情感识别的自媒体内容推荐方法，能够更加准确的识别用户的真实反应。

本发明为解决上述技术问题所采取的技术方案为：一种基于实时情感识别的自媒体内容推荐方法，其特征在于：本方法包括以下步骤：

s1、对内容发布者在平台发布的自媒体内容进行保存；并将用户信息、用户互动记录与自媒体内容的发表时间进行保存；

s2、对用户查看自媒体内容时的表情进行拍照，得到面部表情图片；

s3、对所述面部表情图片进行表情解析与分类；

s4、取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联；

s5、收集自媒体内容与用户面部表情数据，包括内容发布者id、自媒体内容、表情类别、内容观看者id以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。

按上述方案，所述的s3具体包括：

预设n种表情分类，采用加载训练好的基于深度学习框架的表情识别模型，构建表情分类解析算法，然后利用表情分类解析算法，采用多分类方法，对所述面部表情图片进行预测，得到每种表情分类的概率。

按上述方案，所述的s4还包括：

预设每种表情分类的动画，将用户面部表情对应的动画呈现在用户ui，使交互界面实时反映用户的情绪，达到情感化交互的效果。

按上述方案，所述的s5具体包括：

所述的表情分类包括开心，对应好感程度，对于内容发布者来说，判断内容观看者对自媒体内容的好感程度的关系式如下：

favorablity＝happycount/(totalcount)

即基于某个自媒体内容的统计，favorablity为内容观看者对自媒体内容的好感程度，happycount为该自媒体内容所获得的用户观看内容后的表情分类为开心的统计，totalcount为该自媒体内容所获得的所有表情；

同理统计自媒体内容获得每种表情分类的比例；依据自媒体内容获得每种表情分类的比例，内容发布者分析自己发送的自媒体内容质量；

对内容平台来说，对用户进行基于最真实的流行度以及用户感兴趣的领域进行综合推荐，统计一定时间内全平台所发送的所有自媒体内容，根据不同的表情类别得到好感度最高的内容，进行推荐。

按上述方案，所述的n种表情分类具体为愤怒、恐惧、快乐、悲伤、惊讶和中立6种。

按上述方案，所述的s2在内容观看者浏览自媒体内容时，调取手机摄像头，开始捕捉用户浏览当前照片或者视频时候的面部表情；截取到内容观看者的一帧照片后，对照片进行预处理。

按上述方案，所述的预处理包括：

计算照片模糊度，选择清晰的照片；

对照片进行灰度处理，初步压缩；

人脸检测，即判断初步压缩后的照片中是否存在人脸，若不存在则丢弃该帧，若存在多张人脸，取面积最大的人脸；

人脸裁剪，将整张照片中非人脸的部分去除掉，只保留人脸的部分；

二次压缩，在不影响识别率的情况下，将只保留人脸的照片进行压缩，得到面部表情照片。

按上述方案，所述s3中表情识别模型的构建过程如下：

表情识别模型包括3层卷积层c1、c2、c3，3层池化层s1、s2、s3，1层flatten层，2层全连接层fc1、fc2，2层dropout层和1层softmax层；

输入层是48*48的人脸像素矩阵，在卷积之前，会进行一层zeropadding，对图片的边界填充为0，以保证图像卷积后大小仍然不变；

卷积层和池化层有若干个特征图，每个特征图都与其前一层特征图以局部连接的方式相连接，卷积层c1、c2、c3分别使用32、64、128个卷积进行卷积操作，每个卷积层使用的卷积核的大小都为3×3；

池化层s1、s2使用的采样窗口的大小为2×2；

flatten层把卷出来的三维的层，抹平成一维的，便于全连接；

训练过程中每次更新参数时随机断开一定百分比的输入神经元连dropout层用于防止过拟合；

softmax层含有6个神经元，对全连接层输出的特征进行分类，将人脸表情分成n类。

按上述方案，所述的自媒体内容包括文字、图片和/或视频。

按上述方案，所述的用户互动记录包括点赞和评论。

本发明的有益效果为：

1、通过将表情识别应用到自媒体娱乐场景中，提供了一种内容发布者判断其发布的自媒体内容的最真实的好感度分析和改进方法，使得内容发布者可以提供更迎合内容观看者需求的自媒体内容；提供了一种基于用户最真实反应的自媒体内容推荐算法，记录用户观看自媒体内容的最真实的反应，一方面不需要用户手动评分，另一方面，是基于用户最真实的评价，不用担心虚假评价而造成推荐内容的不真实。

2、提供了一种基于内容观看者真实反应的实时情感化交互界面，首先用户不再需要手动点赞，对自媒体内容的真实感受由本系统自动记录，其次基于深度学习的表情识别，实时性非常好，交互界面运用与用户表情一致的gif动画，实时跟踪用户表情。

附图说明

图1为本发明一实施例的方法流程图。

图2为本发明一实施例中照片预处理流程图。

图3为本发明一实施例中表情识别模型的构建过程图。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明将表情识别技术应用于自媒体娱乐场景，属于一种新的应用尝试，并且其可以促进自媒体娱乐内容的正向发展。其特征在于其应用包含以下三个方面：

[1]内容质量分析：对于内容发布者来说，可以通过统计用户在观看内容时产生的表情数据，对自己发布的内容进行分析，知道哪些内容是用户喜欢的，哪些是用户不喜欢的，从而可以对自己发布的内容有针对的进行改进；

[2]内容评价生成：对于内容观看者来说，不再需要手动点赞有趣的内容或者短视频，完全靠观看内容时真实的表现而产生评价，并运用gif动画使交互界面反映并贴合用户情绪，满足用户从行为水平到反思水平的心理需求；

[3]内容真实反馈及推荐：对于内容平台来说，不再需要担心内容发布者刷虚假点赞，虚假评论等，完全收集内容观看者的真实情感表达。进而可以基于全平台统计用户最喜欢的自媒体内容，有针对的进行推荐，增加用户粘性，提升用户体验。

本发明提供一种基于实时情感识别的自媒体内容推荐方法，如图1所示，本方法包括以下步骤：

s1、对内容发布者在平台发布的自媒体内容，如文字、图片与视频等内容，进行保存；并将用户信息、用户互动记录(点赞、评论)与自媒体内容的发表时间进行保存。

s2、对用户查看自媒体内容时的表情进行拍照，得到面部表情图片。

具体的，在内容观看者浏览自媒体内容时，调取手机摄像头，开始捕捉用户浏览当前照片或者视频时候的面部表情；截取到内容观看者的一帧照片后，对照片进行预处理。

所述的预处理包括：如图2所示，计算照片模糊度，选择清晰的照片；对照片进行灰度处理，初步压缩；人脸检测，即判断初步压缩后的照片中是否存在人脸，若不存在则丢弃该帧，若存在多张人脸，取面积最大的人脸；人脸裁剪，将整张照片中非人脸的部分去除掉，只保留人脸的部分；二次压缩，在不影响识别率的情况下，将只保留人脸的照片进行压缩，得到面部表情照片。

s3、对所述面部表情图片进行表情解析与分类。具体包括：

预设n种表情分类，采用加载训练好的基于深度学习框架的表情识别模型，构建表情分类解析算法，然后利用表情分类解析算法，采用多分类方法，对所述面部表情图片进行预测，得到每种表情分类的概率。

本实施例中，所述的n种表情分类具体为愤怒、恐惧、快乐、悲伤、惊讶和中立6种。

表情识别模型的构建过程如下：

如图3所示，表情识别模型包括3层卷积层c1、c2、c3，3层池化层s1、s2、s3，1层flatten层，2层全连接层fc1、fc2，2层dropout层和1层softmax层；

输入层是48*48的人脸像素矩阵，在卷积之前，会进行一层zeropadding，对图片的边界填充为0，以保证图像卷积后大小仍然不变；

卷积层和池化层有若干个特征图，每个特征图都与其前一层特征图以局部连接的方式相连接，卷积层c1、c2、c3分别使用32、64、128个卷积进行卷积操作，每个卷积层使用的卷积核的大小都为3×3；

池化层s1、s2使用的采样窗口的大小为2×2；

flatten层把卷出来的三维的层，抹平成一维的，便于全连接；

训练过程中每次更新参数时随机断开一定百分比的输入神经元连dropout层用于防止过拟合；

softmax层含有6个神经元，对全连接层输出的特征进行分类，将人脸表情分成n类。

在训练时，使用的训练集包括35887个裁剪好人脸的，48×48像素的灰度图像，每个都被标记为6个情感类：愤怒、恐惧、快乐、悲伤、惊讶和中立。经过模型的训练，可得到分类模型文件。

s4、取表情分类解析后概率最大的表情值作为用户面部表情，与对应查看的自媒体内容相关联。

算法是取概率最高的表情作为分析的结果：

emotion＝max(p(img,e))

其中img为人脸照片，e为六种不同种类的表情类别(愤怒、恐惧、快乐、悲伤、惊讶和中立)，p(img,e)为人脸照片分类成这六种不同类别情绪的概率，是包含六个在[0,1]中取值概率值的数组。返回客户端的emotion则取该表情概率数组中的最大值。

可选的，s4还包括：预设每种表情分类的动画，gif格式，将用户面部表情对应的动画呈现在用户ui，使交互界面实时反映用户的情绪，达到情感化交互的效果。

s5、收集自媒体内容与用户面部表情数据，包括内容发布者id、自媒体内容、表情类别、内容观看者id以及观看时间，进行统计与数据分析，向用户反馈并提供个性化的内容推荐。

s5具体包括：

所述的表情分类包括开心，对应好感程度，对于内容发布者来说，判断内容观看者对自媒体内容的好感程度的关系式如下：

favorablity＝happycount/(totalcount)

即基于某个自媒体内容的统计，favorablity为内容观看者对自媒体内容的好感程度，happycount为该自媒体内容所获得的用户观看内容后的表情分类为开心的统计，totalcount为该自媒体内容所获得的所有表情；

同理统计自媒体内容获得每种表情分类的比例；依据自媒体内容获得每种表情分类的比例，内容发布者分析自己发送的自媒体内容质量。

对内容平台来说，对用户进行基于最真实的流行度以及用户感兴趣的领域进行综合推荐，统计一定时间内全平台所发送的所有自媒体内容，根据不同的表情类别得到好感度最高的内容，进行推荐。

本方法可嵌入到客户端中，在客户端程序上预置六副对应“生气”、“恐惧”、“开心”、“伤心”、“惊讶”、“平静”的gif动图，以便在实时表情消息回传客户端时，客户端可以实时的使用对应gif动图反映此时用户的真实表情。

客户端程序需要允许后台开启摄像头，静默动作，不会跳转至相机程序。

内容发布者在平台发布自媒体内容，如文字，图片，视频等，平台将用户信息，自媒体内容，发表时间等保存；内容观看者浏览别人发表的自媒体内容时，客户端程序将调取摄像头，开始捕捉用户浏览当前照片或者视频时候的面部表情；截取到内容观看者的一帧照片后，人脸检测及预处理模块将对人脸照片进行处理，返回客户端一帧处理后的图像；人脸表情图像上传到算法后台后，进入表情解析模块，确定表情类别，存储表情数据，返回客户端结果。表情展示模块将显示对应表情的gif动图在下方；步骤2.7自媒体内容分析模块将基于产生的表情数据统计分析该内容的质量，如好感度；平台推荐模块将基于用户真实评价对内容进行推荐。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。