视频分类方法及装置的制造方法
【专利摘要】本发明实施例公开了一种视频分类方法及装置，其中所述方法包括：获取用户观看待分类视频时的第一面部表情图像；对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；根据所述第一情绪特征确定所述待分类视频的类别。本发明实施例能够根据用户观看待分类视频时的第一面部表情图像自动完成视频分类，提高视频分类的准确度和分类效率。
【专利说明】
视频分类方法及装置
技术领域
[0001]本发明实施例涉及多媒体技术领域，尤其涉及一种视频分类方法及装置。
【背景技术】
[0002]随着互联网的发展，互联网上的多媒体数据包括视频、音乐、文字等，由于数量不断增长而成为持续热门研究的问题之一，其中尤以视频数据的飞速增长最为明显。大量的视频信息造成数据堆积而无法及时处理。于是，快速、有效地浏览大量视频数据并将这些视频数据分类，对于提升用户体验，发现潜在的可利用的商业价值至关重要。
[0003]并且，为了更好的给用户一个搜索体验，降低用户获取相关视频数据的时间，也有必要提出一种视频分类方法，以提高视频的利用率和流通率。
[0004]而在现有技术中，往往通过人工分类的方式对视频进行归类，这种分类方式存在很大主观性，同一个视频，对于不同的人可能带来的分类结果也不相同，因此造成分类结果不能真实的反映该视频的内容。并且，面对众多的视频，需要占用大量的人力资源。
【发明内容】
[0005]本发明实施例提供一种视频分类方法及装置，以自动完成视频分类，提高视频分类的准确度和分类效率。
[0006]第一方面，本发明实施例提供了一种视频分类方法，包括:
[0007]获取用户观看待分类视频时的第一面部表情图像；
[0008]对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；
[0009]根据所述第一情绪特征确定所述待分类视频的类别。
[0010]第二方面，本发明实施例还提供一种视频分类方法，包括:
[0011]采集用户观看待分类视频时的第一面部表情图像；
[0012]将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。
[0013]第三方面，本发明实施例还提供一种视频分类装置，包括:
[0014]表情获取模块，用于获取用户观看待分类视频时的第一面部表情图像；
[0015]表情识别模块，用于对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；
[0016]类别确定模块，用于根据所述第一情绪特征确定所述待分类视频的类别。
[0017]第四方面，本发明实施例还提供一种视频分类装置，包括:
[0018]表情采集模块，用于采集用户观看待分类视频时的第一面部表情图像；
[0019]发送模块，用于将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。
[0020]本发明实施例通过获取用户观看待分类视频时的第一面部表情图像，对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征;并根据所述第一情绪特征确定所述待分类视频的类别。本发明实施能够根据用户观看待分类视频时的第一面部表情图像自动完成视频分类，提高视频分类的准确度和分类效率。
【附图说明】
[0021 ]图1为本发明实施例一提供的视频分类方法的流程示意图；
[0022]图2为本发明实施例二提供的视频分类方法的流程示意图；
[0023]图3为本发明实施例三提供的视频分类方法的流程示意图；
[0024]图4为本发明实施例四提供的视频分类装置的结构示意图；
[0025]图5为本发明实施例五提供的视频分类装置的结构示意图。
【具体实施方式】
[0026]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0027]实施例一
[0028]图1为本发明实施例一提供的视频分类方法的流程示意图，本实施例的执行主体，可为本发明实施例提供的视频分类装置或集成了该视频分类装置的服务器或终端(例如，智能手机、平板电脑或智能电视等)，该视频分类装置可采用软件或硬件的方式实现。如图1所示，具体包括:
[0029]步骤11、获取用户观看待分类视频时的第一面部表情图像；
[0030]其中，所述第一面部表情图像包含至少一张用户观看待分类视频过程中产生的面部表情图像。
[0031]具体的，当本实施例的执行主体为服务器时，所述服务器与视频播放终端建立通信连接，在获取所述第一面部表情图像时，可直接采用终端上的摄像设备实时获取用户的面部表情图像，例如，在用户观看待分类视频的过程中，通过端的摄像头实时或周期性的采集用户观看待分类视频时的面部表情图像，所述终端将采集的面部表情图像实时发送至服务器。或者，所述终端将所述待分类视频播放完毕后，将采集的用户观看待分类视频时的所有面部表情图像一起发送至服务器，所述服务器将其存储在本地数据库中，在后续对所述待分类视频进行分类时，直接从本地数据库中获取到对应的面部表情图像，进而由服务器根据面部表情图像对所述待分类视频进行分类。
[0032]当执行主体为终端时，在获取所述第一面部表情图像时，直接采用终端上的摄像设备实时或周期性的采集用户观看待分类视频时的面部表情图像，所述终端直接将其存储在本地数据库中，然后再本地对面部表情图像进行分析，将识别到的表情类别(例如高兴、悲伤、惊讶、恐惧、愤怒或厌恶等)上传至服务器，由服务器进一步处理根据表情类别对所述待分类视频进行分类。
[0033]步骤12、对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；
[0034]其中，所述第一情绪特征包括高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种。
[0035]当所述第一面部表情图像只包含一张图像时，可直接采用特征匹配算法从表情图像数据库中确定与所述第一面部表情图像匹配的表情图像;根据匹配的表情图像确定第一情绪特征。具体的，对所述第一面部表情图像进行特征提取，采用图像特征匹配算法，将提取的特征与表情图像数据库中预先存储的面部表情特征进行匹配，获取匹配率最高的面部表情特征，将匹配率最高的面部表情特征对应的情绪特征作为第一情绪特征。其中，所述表情图像数据库中预先存储了面部表情特征与情绪特征之间的对应关系。
[0036]当所述第一面部表情图像只包含多张图像时，可直接采用特征匹配算法根据所述表情图像数据库对多张面部表情图像进行一一匹配，根据匹配结果，选取匹配到同一情绪特征下面部表情图像数量最多或大于预设数量的情绪特征作为第一情绪特征。例如，对获取到的100张面部表情图像进行匹配，如果得到的匹配结果是，匹配到“笑”情绪特征的面部表情图像数量为50、匹配到“高兴”情绪特征的面部表情图像数量为45、匹配到“悲伤”情绪特征的面部表情图像数量为4、匹配到“愤怒”情绪特征的面部表情图像数量为I，则选定“笑”情绪特征为用户观看所述待分类视频时的情绪特征。或者，选取“笑”和“高兴”情绪特征为用户观看所述待分类视频时的情绪特征。
[0037]或者，当所述第一面部表情图像包含多张图像时，可采用分类训练算法对表情图像数据库中已知面部表情图像与对应的情绪特征进行训练，得到面部表情图像分类训练器，然后将所述第一面部表情图像包含的多张图像作为测试样本，采用所述面部表情图像分类训练器对多张图像进行训练分类，得到分类结果，所述分类结果类似上述实施例。例如，将100张面部表情图像作为训练样本，所述分类结果是，“笑”情绪特征的面部表情图像数量为50、“高兴”情绪特征的面部表情图像数量为45、“悲伤”情绪特征的面部表情图像数量为4、“愤怒”情绪特征的面部表情图像数量为I，然后选取面部表情图像数量最多或大于预设数量对应的情绪特征作为第一情绪特征。
[0038]步骤13、根据所述第一情绪特征确定所述待分类视频的类别。
[0039]其中，待分类视频的类别包括但不限于喜剧、悲剧、惊悚、悬疑、受欢迎、不受欢迎等。
[0040]具体的，服务器可从预先建立的对应关系数据库中获取与所述第一情绪特征匹配的视频类别，将所述匹配的视频类别作为所述待分类视频的类别。其中，所述对应关系数据库中存储了预先统计的用户观看已知视频类别的视频时产生的情绪特征与视频类别的对应关系。例如，视频类别为喜剧时，对应的情绪特征为“笑”和/或“高兴”；视频类别为悲剧时，对应的情绪特征为“哭”和/或“悲伤”；视频类别为惊悚时，对应的情绪特征为“惊悚”和/或“恐惧”；视频类别为受欢迎时，对应的情绪特征为“高兴”；视频类别为不受欢迎时，对应的情绪特征为“愤怒”，等等。
[0041]本实施例通过获取用户观看待分类视频时的第一面部表情图像，对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征;并根据所述第一情绪特征确定所述待分类视频的类别。本实施例能够根据用户观看待分类视频时的第一面部表情图像自动完成视频分类，提高视频分类的准确度和分类效率。
[0042]示例性的，在上述实施例的基础上，为进一步提高视频分类的精确度所述方法还包括:
[0043]获取用户观看所述待分类视频的用户评论和/或剧情介绍；
[0044]根据所述第一情绪特征确定所述待分类视频的类别，包括:
[0045]根据所述第一情绪特征、所述用户评论和/或剧情介绍确定所述待分类视频的类别。
[0046]例如对于一部视频，如果获取的第一情绪特征为“高兴”，获取到的用户对该视频的评论为“好搞笑”或“搞笑”等，和/或，获取到该视频的剧情介绍为“影片主要讲述了一个又一个令人捧腹的圆梦故事……”，则把该视频类型归类为喜剧。
[0047]示例性的，在上述实施例的基础上，建立所述对应关系数据库，包括:
[0048]采集用户观看已知类别的视频时的第二面部表情图像；
[0049]对所述第二面部表情图像进行识别，得到第二情绪特征；
[0050]建立包含所述第二情绪特征与所述已知类别对应关系的数据库。
[0051]其中，已知类别的视频可指现有的已分类的视频。具体的，可通过终端采集用户观看已知类别的视频时的第二面部表情图像，或者通过在服务器端安装摄像设备，在本地进行采集。对于采集的第二面部表情图像进行识别，得到第二情绪特征，具体的识别方法上述实施例一中获取第一情绪特征类似，即采用特征匹配算法从表情图像数据库中确定与所述第二面部表情图像匹配的表情图像;根据匹配的表情图像确定第二情绪特征。
[0052]示例性的，在上述实施例的基础上，建立所述表情图像数据库，包括:
[0053]根据表征人类情绪特征的至少一类关键字在互联网上搜索对应的人类表情图像；
[0054]根据所述人类表情图像建立至少一种人类情绪特征对应的表情图像训练样本库；
[0055]采用聚类算法对至少一种人类情绪特征对应的表情图像训练样本库进行训练，得到各种人类情绪特征对应的表情图像库。
[0056]具体的，可根据表征情绪特征的关键词例如高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种向互联网发起搜索，获取到情绪特征中高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种对应的表情图像训练库，然后采用聚类算法对表情图像训练库进行训练，得到各情绪特征对应的表情图像库。具体的聚类算法可参见现有技术。
[0057]上述各实施例同样通过获取用户观看待分类视频时的第一面部表情图像，对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征;并根据所述第一情绪特征确定所述待分类视频的类别。上述各实施例同样能够根据用户观看待分类视频时的第一面部表情图像自动完成视频分类，提高视频分类的准确度和分类效率。
[0058]实施例二
[0059]图2为本发明实施例二提供的视频分类方法的流程示意图，本实施例的执行主体，可为本发明实施例提供的视频分类装置或集成了该视频分类装置的终端，该终端可安装在移动终端或智能电视上，该视频分类装置可采用软件或硬件的方式实现。如图2所示，具体包括:
[0060]步骤21、采集用户观看待分类视频时的第一面部表情图像；
[0061]具体的，在用户观看所述待分类视频的过程中，可实时或周期性采集用户的第一面部表情图像。
[0062]步骤22、将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。
[0063]另外，可在终端设置选项，由用户选择在视频播放过程中是否开启视频采集功能。
[0064]本实施例通过采集用户观看待分类视频时的第一面部表情图像，并将所述第一面部表情图像发送至服务器，由服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征;并根据所述第一情绪特征确定所述待分类视频的类别。本实施例能够根据用户观看待分类视频时的第一面部表情图像自动完成视频分类，提高视频分类的准确度和分类效率。
[0065]实施例三
[0066]图3为本发明实施例三提供的视频分类方法的流程示意图，本实施例为终端和服务器的交互实施例，本实施例为优选实施例。如图3所示，具体包括:
[0067]步骤31、终端采集用户观看待分类视频时的第一面部表情图像，并将所述第一面部表情图像发送至服务器；
[0068]步骤32、所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；
[0069]步骤33、所述服务器从预先建立的对应关系数据库中获取与所述第一情绪特征匹配的视频类别，将所述匹配的视频类别作为所述待分类视频的类别。
[0070]实施例四
[0071]图4为本发明实施例四提供的视频分类装置的结构示意图，如图4所示，具体包括:表情获取模块41、表情识别模块42和类别确定模块43;
[0072]所述表情获取模块41用于获取用户观看待分类视频时的第一面部表情图像；
[0073]所述表情识别模块42用于对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征；
[0074]所述类别确定模块43用于根据所述第一情绪特征确定所述待分类视频的类别。
[0075]本发明实施例所述的视频分类装置用于执行上述各实施例所述的视频分类方法，其技术原理和产生的技术效果类似，这里不再累述。
[0076]示例性的，在上述实施例的基础上，所述装置还包括:获取模块44;
[0077]所述获取模块44用于获取用户观看所述待分类视频的用户评论和/或剧情介绍；
[0078]所述类别确定模块43具体用于根据所述第一情绪特征、所述用户评论和/或剧情介绍确定所述待分类视频的类别。
[0079]示例性的，在上述实施例的基础上，所述类别确定模块43具体用于从预先建立的对应关系数据库中获取与所述第一情绪特征匹配的视频类别;将所述匹配的视频类别作为所述待分类视频的类别。
[0080]示例性的，在上述实施例的基础上，所述装置还包括:关系数据库建立模块45;
[0081]所述关系数据库建立模块45用于采集用户观看已知类别的视频时的第二面部表情图像;对所述第二面部表情图像进行识别，得到第二情绪特征;建立包含所述第二情绪特征与所述已知类别对应关系的数据库。
[0082]示例性的，在上述实施例的基础上，所述关系数据库建立模块45具体用于采用特征匹配算法从表情图像数据库46中确定与所述第二面部表情图像匹配的表情图像;根据匹配的表情图像确定第二情绪特征。
[0083]示例性的，在上述实施例的基础上，所述装置还包括:表情图像数据库建立模块46；
[0084]所述表情图像数据库建立模块46用于根据表征人类情绪特征的至少一类关键字在互联网上搜索对应的人类表情图像;根据所述人类表情图像建立至少一种人类情绪特征对应的表情图像训练样本库;采用聚类算法对至少一种人类情绪特征对应的表情图像训练样本库进行训练，得到各种人类情绪特征对应的表情图像库。
[0085]示例性的，在上述实施例的基础上，所述情绪特征包括高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种。
[0086]上述各实施例所述的视频分类装置用于执行上述各实施例所述的视频分类方法，其技术原理和产生的技术效果类似，这里不再累述。
[0087]实施例五
[0088]图5为本发明实施例五提供的视频分类装置的结构示意图，如图5所示，具体包括:表情采集模块51和发送模块52;
[0089]所述表情采集模块51用于采集用户观看待分类视频时的第一面部表情图像；
[0090]所述发送模块52用于将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。
[0091]示例性的，在上述实施例的基础上，所述表情采集模块51具体用于在用户观看所述待分类视频的过程中，实时或周期性采集用户的第一面部表情图像。
[0092]本发明实施例所述的视频分类装置用于执行上述各实施例所述的视频分类方法，其技术原理和产生的技术效果类似，这里不再累述。
[0093]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1.一种视频分类方法，其特征在于，包括: 获取用户观看待分类视频时的第一面部表情图像； 对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征； 根据所述第一情绪特征确定所述待分类视频的类别。2.根据权利要求1所述的方法，其特征在于，还包括: 获取用户观看所述待分类视频的用户评论和/或剧情介绍； 根据所述第一情绪特征确定所述待分类视频的类别，包括: 根据所述第一情绪特征、所述用户评论和/或剧情介绍确定所述待分类视频的类别。3.根据权利要求1所述的方法，其特征在于，根据所述第一情绪特征确定所述待分类视频的类别，包括: 从预先建立的对应关系数据库中获取与所述第一情绪特征匹配的视频类别； 将所述匹配的视频类别作为所述待分类视频的类别。4.根据权利要求3所述的方法，其特征在于，建立所述对应关系数据库，包括: 采集用户观看已知类别的视频时的第二面部表情图像； 对所述第二面部表情图像进行识别，得到第二情绪特征； 建立包含所述第二情绪特征与所述已知类别对应关系的数据库。5.根据权利要求4所述的方法，其特征在于，对所述第二面部表情图像进行识别，得到第二情绪特征，包括: 采用特征匹配算法从表情图像数据库中确定与所述第二面部表情图像匹配的表情图像； 根据匹配的表情图像确定第二情绪特征。6.根据权利要求5所述的方法，其特征在于，建立所述表情图像数据库，包括: 根据表征人类情绪特征的至少一类关键字在互联网上搜索对应的人类表情图像； 根据所述人类表情图像建立至少一种人类情绪特征对应的表情图像训练样本库； 采用聚类算法对至少一种人类情绪特征对应的表情图像训练样本库进行训练，得到各种人类情绪特征对应的表情图像库。7.根据权利要求1?6任一项所述的方法，其特征在于，所述情绪特征包括高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种。8.一种视频分类方法，其特征在于，包括: 采集用户观看待分类视频时的第一面部表情图像； 将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。9.根据权利要求8所述的方法，其特征在于，采集用户观看待分类视频时的第一面部表情图像，包括: 在用户观看所述待分类视频的过程中，实时或周期性采集用户的第一面部表情图像。10.一种视频分类装置，其特征在于，包括: 表情获取模块，用于获取用户观看待分类视频时的第一面部表情图像； 表情识别模块，用于对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征； 类别确定模块，用于根据所述第一情绪特征确定所述待分类视频的类别。11.根据权利要求10所述的装置，其特征在于，还包括: 获取模块，用于获取用户观看所述待分类视频的用户评论和/或剧情介绍； 所述类别确定模块具体用于: 根据所述第一情绪特征、所述用户评论和/或剧情介绍确定所述待分类视频的类别。12.根据权利要求10所述的装置，其特征在于，所述类别确定模块具体用于: 从预先建立的对应关系数据库中获取与所述第一情绪特征匹配的视频类别;将所述匹配的视频类别作为所述待分类视频的类别。13.根据权利要求12所述的装置，其特征在于，还包括: 关系数据库建立模块，用于采集用户观看已知类别的视频时的第二面部表情图像;对所述第二面部表情图像进行识别，得到第二情绪特征;建立包含所述第二情绪特征与所述已知类别对应关系的数据库。14.根据权利要求13所述的装置，其特征在于，所述关系数据库建立模块具体用于: 采用特征匹配算法从表情图像数据库中确定与所述第二面部表情图像匹配的表情图像;根据匹配的表情图像确定第二情绪特征。15.根据权利要求14所述的装置，其特征在于，还包括: 表情图像数据库建立模块，用于根据表征人类情绪特征的至少一类关键字在互联网上搜索对应的人类表情图像;根据所述人类表情图像建立至少一种人类情绪特征对应的表情图像训练样本库;采用聚类算法对至少一种人类情绪特征对应的表情图像训练样本库进行训练，得到各种人类情绪特征对应的表情图像库。16.根据权利要求10?15任一项所述的装置，其特征在于，所述情绪特征包括高兴、笑、哭、悲伤、惊悚、恐惧、厌恶和愤怒中的至少一种。17.一种视频分类装置，其特征在于，包括: 表情采集模块，用于采集用户观看待分类视频时的第一面部表情图像； 发送模块，用于将所述第一面部表情图像发送至服务器，以使所述服务器对所述第一面部表情图像进行识别，得到用户观看所述待分类视频时的第一情绪特征，并根据所述第一情绪特征确定所述待分类视频的类别。18.根据权利要求17所述的装置，其特征在于，所述表情采集模块具体用于: 在用户观看所述待分类视频的过程中，实时或周期性采集用户的第一面部表情图像。
【文档编号】G06K9/00GK105868686SQ201511029504
【公开日】2016年8月17日
【申请日】2015年12月31日
【发明人】郭燕明
【申请人】乐视网信息技术（北京）股份有限公司