视频观众情绪信息采集分析方法、装置、系统和存储介质与流程

本发明涉及互联网技术领域，特别涉及网络视频技术领域，具体是指一种视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质。

背景技术

随时互联网技术的不断发展，网络视频服务的内容越来越多。观众在选择观看前都希望对视频有个大致的了解以作为选择的依据。

目前各网络视频服务提供商的视频、电影、动画都有内容向的标签，表明视频的内容，但是不同的人对于描述性语言的定义不同，对于内容的接受程度也不同，文字说明的标签很难让所有人直观的感受到视频内容给人带来的情感体验。另外，这些文字与图片的标签信息均由视频提供者编辑，主观性较强，有时难免对视频的评价不够客观。因此，如何提供一种更为客观，且可直观表示观众对于视频的感受的方法，成为本领域亟待解决的问题。

另一方面，人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；目前苹果公司的iphonex已经集成了faceid功能，在移动端的面部识别已经成熟。web端也有facerig等软件会进行人脸识别和定位，从而可以获取人脸面部信息。从而为基于人脸识别技术实现上述的表示观众感受的方法成为了可能。

技术实现要素：

本发明的目的是克服了上述现有技术中的缺点，提供一种基于人脸识别技术，在播放视频的同时采集观众的面部表情信息，进而产生与视频对应的观众情绪信息，用于直观表达观众在观看该视频时的情绪，从而可以客观评价视频内容的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质。

为了实现上述的目的，本发明的视频观众情绪信息采集分析方法包括以下步骤：

(1)在播放视频的同时利用面部识别技术采集观众面部数据；

(2)将所述的观众面部数据转换为与视频对应的观众情绪信息。

该视频观众情绪信息采集分析方法中，所述的步骤(1)具体包括以下步骤：

(11)在开始视频播放的同时开启观众面部数据采集功能；

(12)判断是否符合观众面部数据采集的条件，若是则进入步骤(13)，若否则给出提示并退出本方法；

(13)在视频播放过程中持续利用面部识别技术采集观众面部数据。

该视频观众情绪信息采集分析方法中，所述的是否符合观众面部数据采集的条件，至少包括以下条件：

a、环境亮度是否满足所述的面部识别技术的要求；

b、是否识别到人脸。

该视频观众情绪信息采集分析方法中，所述的步骤(2)具体包括以下步骤：

(21)分析一个单位时间内所述的观众面部数据，将其转换为多个表情选项在该单位时间内所占的时长；

(22)选择时长最长的一个表情选项代表该单位时间的观众情绪信息。

该视频观众情绪信息采集分析方法中，所述的表情选项包括开心、惊讶、难过、木讷和愤怒。

该视频观众情绪信息采集分析方法中，所述的步骤(2)还包括以下步骤：

(23)将视频对应的所有单位时间的观众情绪信息汇总的占比数据作为视频情绪信息。

该视频观众情绪信息采集分析方法还包括以下步骤：

(3)在获取多个观众对于同一视频的观众情绪信息后，将各个观众的观众情绪信息汇总为该视频的视频情绪信息。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的视频观众情绪信息采集分析方法。

本发明还提供一种视频观众情绪信息采集分析装置，其包括处理器和存储器，所述的存储器上存储有计算机程序，该计算机程序被所述的处理器执行时，实现上述的视频观众情绪信息采集分析方法。

本发明还提供一种视频观众情绪信息采集分析系统，其包括上述的装置以及连接该装置的服务器，所述的服务器用以获取各所述的装置产生的与视频对应的观众情绪信息，汇总为该视频的视频情绪信息后，存储并展示该视频的视频情绪信息。

采用了该发明的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质，该方法中，在播放视频的同时利用面部识别技术采集观众面部数据，进而可将观众面部数据转换为与视频对应的观众情绪信息，以该信息来直观表示观众在观看该视频时的情绪，从而可以客观评价视频内容对观众情绪的影响，为其他观众在选择时提供重要的参考信息。且本发明的视频观众情绪信息采集分析方法的实现方式简单，相应的装置、系统和计算机可读存储介质使用成本低廉，应用范围也相当广泛。

附图说明

图1为本发明的视频观众情绪信息采集分析方法的步骤流程图。

图2为本发明的视频观众情绪信息采集分析方法中的表情选项示意图。

图3为利用本发明的视频观众情绪信息采集分析方法获得的在某一时刻的用户表情占比示意图。

图4为利用本发明的视频观众情绪信息采集分析方法汇总多个观看用户的表情后给予用户的观众情绪信息汇总示意图。

图5为利用本发明的视频观众情绪信息采集分析方法汇总多个观看用户的表情后给予视频提供者的观众情绪信息汇总示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1所示，为本发明的视频观众情绪信息采集分析方法的步骤流程图。

在一种实施方式中，该视频观众情绪信息采集分析方法包括以下步骤：

(1)在播放视频的同时利用面部识别技术采集观众面部数据；

(2)将所述的观众面部数据转换为与视频对应的观众情绪信息。

在较优选的实施方式中，所述的步骤(1)具体包括以下步骤：

(11)在开始视频播放的同时开启观众面部数据采集功能；

(12)判断是否符合观众面部数据采集的条件，若是则进入步骤(13)，若否则给出提示并退出本方法；

(13)在视频播放过程中持续利用面部识别技术采集观众面部数据。

其中，所述的是否符合观众面部数据采集的条件，至少包括以下条件：

a、环境亮度是否满足所述的面部识别技术的要求；

b、是否识别到人脸。

在另一较优选的实施方式中，所述的步骤(2)具体包括以下步骤：

(21)分析一个单位时间内所述的观众面部数据，将其转换为多个表情选项在该单位时间内所占的时长，所述的表情选项可以包括如图2所示的开心、惊讶、难过、木讷、愤怒等等；

(22)选择时长最长的一个表情选项代表该单位时间的观众情绪信息。

在进一步优选的实施方式中，所述的步骤(2)还包括以下步骤：

(23)将视频对应的所有单位时间的观众情绪信息汇总的占比数据作为视频情绪信息。

在更优选的实施方式中，该方法还包括以下步骤：

(3)在获取多个观众对于同一视频的观众情绪信息后，将各个观众的观众情绪信息汇总为该视频的视频情绪信息。

本发明还提供一种视频观众情绪信息采集分析装置及一种计算机可读存储介质，该装置包括处理器和存储器，该存储器即为计算机可读存储介质，所述的存储器上存储有计算机程序，该计算机程序被所述的处理器执行时，实现权利要求上述实施方式所述的视频观众情绪信息采集分析方法。

本发明还提供一种视频观众情绪信息采集分析系统，其包括通过网络连接的客户端和服务器，客户端即为上述的视频观众情绪信息采集分析装置。该系统还包括连接该装置的服务器，所述的服务器用以获取各所述的装置产生的与视频对应的观众情绪信息，汇总为该视频的视频情绪信息后，存储并展示该视频的视频情绪信息。

在实际应用中，本发明的整体实现流程为：在获得用户同意后，通过面部识别技术采集用户在观看视频时的情绪变化，并且对于情绪的时长进行记录，最终将视频全长中出现的用户情绪的种类和时长进行记录，在视频的详情页中进行展示，让观看此视频的用户能够有一个直观的真实的情绪预知。

以下通过各实施例具体说明本发明的实现方式。

实施例1

以观众利用手机客户端观看视频为例。首先观众可以设定情绪信息采集功能的开关。此功能会增加手机能耗，一般默认设置为关闭，在设置中可以开启此功能。

打开该功能后，在用户进入视频观看的时候开启面部识别，实时检测用户面部变化；此时需要判断用户观看场景光线是否充足，如果光线过暗，则会提示将不进行情绪监测。如果系统无法识别的用户面部同样会给出提示。

单个用户收集观看时长内的面部变化，按照时间轴进行记录；面部表情定义为如图2所示的几种种类(开心/惊讶/难过/木讷/愤怒)。如图3所示，为在某一时刻的用户表情占比示意图。多个用户观看同一个视频的面部变化统一按照时间轴进行陈列；同一个视频中的某一秒，开启采集的用户总数中如果有超过50％的用户是表情a，则将这一秒标记为表情a。由此实现根据视频时长进行用户面部信息的采集和分析。

完成情绪信息采集后，将采集到的信息进行整理，展示给进入视频详情页的用户进行参考，信息可以展示给观看的用户、其它潜在观众和视频提供者等等。给到用户的信息可以如图4所示，为“百分之xx的用户观看此视频时为表情a”。给到视频上传人员的信息可以如图5所示，为以视频时间为x轴，表情比例为y轴的图标，告知视频上传人员视频的实际反馈。

实施例2

与实施例1的区别在于，本发明还可以应用于电视直播、网络直播等应用场合，在直播的同时，本发明的方法可以实时将采集到的观众表情信息提供给直播的主播和观众。

实施例3

与上述实施例的区别在于，本发明的方法还可以应用于剧场、影院等场所，对于同一场所内的多个观众进行同步的情绪信息采集，并形成相应的数据。

实施例4

在采用本发明的系统中，本发明和其他应用面部识别的发明的区别是将面部识别之后的信息，作为一个标签附着在视频作品上，增加用户判别内容优劣的一个维度。也就是当有观众想观看一个视频时，可以根据其情绪信息作为选择的参考。这种参考可以是以上述实施例1中所述的表情百分比数值的形式来提供数据。也可以在数值的基础上，提供用户基于观众表情数据的排序和筛选。例如观众想看喜剧，希望挑选到更好笑的视频，就可以利用本发明的方法选择开心表情的时长百分比进行排序，找到最好笑的视频。

采用了该发明的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质，该方法中，在播放视频的同时利用面部识别技术采集观众面部数据，进而可将观众面部数据转换为与视频对应的观众情绪信息，以该信息来直观表示观众在观看该视频时的情绪，从而可以客观评价视频内容对观众情绪的影响，为其他观众在选择时提供重要的参考信息。且本发明的视频观众情绪信息采集分析方法的实现方式简单，相应的装置、系统和计算机可读存储介质使用成本低廉，应用范围也相当广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。