一种创可贴广告点位选取方法及装置与流程

本发明涉及多媒体技术领域，特别是涉及一种创可贴广告点位选取方法及装置。

背景技术：

随着移动营销时代的到来，近年来发展起来一种创新的广告形式，即创可贴广告，所谓创可贴广告，就是“视频情境内创意贴入式广告”。即，在剧情发展过程中，在不经意间从屏幕中跳出来一小句话，做成剧情弹幕，既带动情节发展，又用击中人心的网络语言，给观众制造了或有趣、或吐槽的感觉。创可贴广告在剧情中恰如其分的加入品牌的内容，好看、又不违和，把广告与内容充分融合在一起。创可贴广告由于与影视剧情节的密切相关，更能被观众所接受。目前创可贴广告采用人工选取点位的方式，即，人工选取视频中某种情绪类型的点位，例如，选取视频中情绪类型为高兴的点位，并在该点位插入与高兴符合的创可贴广告。该方式可以准确找出影视剧作品中适合投放广告的片段。由于是人工选取，所以创可贴广告点位选取的效率非常低。

技术实现要素：

本发明实施例的目的在于提供一种创可贴广告点位选取方法及装置，以提高创可贴广告点位选取的效率。具体技术方案如下：

本发明实施例公开了一种创可贴广告点位选取方法，包括：

提取待检测视频的第一帧序列中人物的vgg特征，根据所述vgg特征，确定所述第一帧序列中第一人物的第二帧序列；

通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；

当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。

可选的，位于所述提取待检测视频的第一帧序列中人物的vgg特征之前，所述方法还包括：

获取所述待检测视频的帧序列，对所述帧序列进行预处理，得到所述第一帧序列。

可选的，位于所述提取待检测视频的第一帧序列中人物的vgg特征之前，所述方法还包括：

通过卷积神经网络对fer2013数据库中的具有基本表情的人脸图像进行训练，建立所述情绪识别模型。

可选的，所述提取待检测视频的第一帧序列中人物的vgg特征的步骤，包括：

通过所述情绪识别模型提取所述第一帧序列中人物的vgg特征。

可选的，所述对所述帧序列进行预处理，得到所述第一帧序列的步骤，包括：

对所述帧序列中每一帧图片的人脸关键点进行校准，得到所述第一帧序列。

可选的，所述根据所述vgg特征，确定所述第一帧序列中第一人物的第二帧序列的步骤，包括：

若所述第一帧序列为n帧，且所述第一帧序列中第一人物出现的帧为第m帧时，将所述第m帧设置为基准帧，将第m帧标识为第一起始帧，其中，m和n为大于0的整数；

当判断第m+1帧与所述基准帧包含同一人物时，将所述基准帧更新为所述第m+1帧；

将m值加1，得到增加后的m；

当所述增加后的m小于n时，返回所述当判断第m+1帧与所述基准帧包含同一人物时的步骤，直至所述第m+1帧与所述基准帧的时间差大于预设时间阈值，将所述基准帧标识为第一终止帧，并将所述第一起始帧和所述第一终止帧对应的帧序列，确定为所述第二帧序列。

可选的，所述判断第m+1帧与所述基准帧包含同一人物的步骤，包括：

计算所述第m+1帧的vgg特征与所述基准帧的vgg特征的距离；

当判断所述距离大于或等于第二预设阈值时，确定所述第m+1帧与所述基准帧包含同一人。

可选的，所述根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值的步骤，包括：

所述情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，根据公式：

score＝avg×weight×sigmoid(count/5)，

确定每一种情绪类型的得分值，其中，score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。

本发明实施例还公开了一种创可贴广告点位选取装置，包括：

帧序列确定模块，用于提取待检测视频的第一帧序列中人物的vgg特征，根据所述vgg特征，确定所述第一帧序列中第一人物的第二帧序列；

分值确定模块，用于通过情绪识别模型识别所述第二帧序列中所述第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定所述每一种情绪类型的得分值；

点位确定模块，用于当所述得分值中的最大值大于第一预设阈值时，确定所述最大值对应的情绪类型为目标情绪类型，选取所述目标情绪类型对应的时间点为创可贴广告点位。

可选的，本发明实施例的创可贴广告点位选取装置，还包括：

预处理模块，用于获取所述待检测视频的帧序列，对所述帧序列进行预处理，得到所述第一帧序列。

可选的，本发明实施例的创可贴广告点位选取装置，还包括：

情绪识别模型建立模块，用于通过卷积神经网络对fer2013数据库中的具有基本表情的人脸图像进行训练，建立所述情绪识别模型。

可选的，所述帧序列确定模块，包括：

vgg特征提取子模块，用于通过所述情绪识别模型提取所述第一帧序列中人物的vgg特征。

可选的，所述预处理模块具体用于，对所述帧序列中每一帧图片的人脸关键点进行校准，得到所述第一帧序列。

可选的，所述帧序列确定模块，包括：

起始帧确定子模块，用于若所述第一帧序列为n帧，且所述第一帧序列中第一人物出现的帧为第m帧时，将所述第m帧设置为基准帧，将第m帧标识为第一起始帧，其中，m和n为大于0的整数；

中间值更新子模块，用于当判断第m+1帧与所述基准帧包含同一人物时，将所述基准帧更新为所述第m+1帧；将m值加1，得到增加后的m；

终止帧确定子模块，用于当所述增加后的m小于n时，返回所述当判断第m+1帧与所述基准帧包含同一人物时的步骤，直至所述第m+1帧与所述基准帧的时间差大于预设时间阈值，将所述基准帧标识为第一终止帧，并将所述第一起始帧和所述第一终止帧对应的帧序列，确定为所述第二帧序列。

可选的，所述中间值更新子模块包括：

距离计算单元，用于计算所述第m+1帧的vgg特征与所述基准帧的vgg特征的距离；

同一人确定单元，用于当判断所述距离大于或等于第二预设阈值时，确定所述第m+1帧与所述基准帧包含同一人。

可选的，所述分值确定模块具体用于，根据公式：

score＝avg×weight×sigmoid(count/5)，

确定每一种情绪类型的得分值，其中，所述情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。

本发明实施例提供的创可贴广告点位选取方法及装置，通过提取待检测视频的第一帧序列中人物的vgg特征，根据vgg特征，确定第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数确定每一种情绪类型的得分值；若得分值中的最大值大于第一预设阈值，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。本发明可自动选取创可贴广告点位，与现有技术中的人工选取方法相比，大大提高了选取的效率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的创可贴广告点位选取方法的一种流程图；

图2为本发明实施例的创可贴广告点位选取方法的另一种流程图；

图3为本发明实施例的创可贴广告点位选取方法的另一种流程图；

图4为本发明实施例的创可贴广告点位选取装置的一种结构图；

图5为本发明实施例的创可贴广告点位选取装置的另一种结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

影视剧中增加广告可提高广告收入，欢乐和悲伤的场景比较适合推送广告，如悲伤的时候推送正能量、鼓励的话语等。找出影视剧片段中欢乐和悲伤的场景，推送相应的创可贴广告。本发明实施例提供了一种创可贴广告点位选取方法及装置，能够通过画面判断人物情绪，如：愤怒、恶心、害怕、高兴、悲伤、惊讶和中立，可大大提高创可贴广告点位选取的效率。

参见图1，图1为本发明实施例的创可贴广告点位选取方法的一种流程图，包括以下步骤：

s101，提取待检测视频的第一帧序列中人物的vgg特征，根据vgg特征，确定第一帧序列中第一人物的第二帧序列。

其中，待检测视频为一帧一帧的图片形成的帧序列，对该帧序列中的每一帧图片进行预处理，得到第一帧序列。一般的，每一帧图片中包含一个或多个人物，因此，提取第一帧序列中人物的vgg特征指的是，提取每一个人物的vgg特征，根据每一个人物的vgg特征，确定第一帧序列中每一个人物的第二帧序列，第二帧序列指某一个人物的序列，且第二帧序列中的每一帧图片都包含该人物。第二帧序列可以包括：多个不同人物的第二帧序列和同一人物的不同的第二帧序列，由于本发明实施例对每一个人物的第二帧序列的处理方式相同，且多个不同人物的第二帧序列、同一人物的不同的第二帧序列相互之间是独立的，因此，本发明实施例中仅仅以第一人物的第二帧序列为例进行说明。

需要说明的是，vgg(visualgeometrygroup)为牛津大学工程科学的一个组织，该组织通过对表情数据库进行深度学习建立的模型为vgg模型，vgg模型的特征为vgg特征，vgg特征包括：fc6层特征。

s102，通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定每一种情绪类型的得分值。

需要解释的是，情绪识别模型是通过机器学习预先建立的模型，通过该模型，可识别第二帧序列中每一帧图片的第一人物的情绪类型。每一帧图片的情绪类型可能是不同的，该第二帧序列中包含多种情绪类型，例如：高兴、悲伤、愤怒等。相应地，每一种情绪类型对应的情绪参数也不同，根据每一种情绪类型的情绪参数，得到每一种情绪类型的得分值。

s103，当得分值中的最大值大于第一预设阈值时，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。

由于通过s102得到多种情绪类型的得分值，而对于给定的待检测视频，本发明实施例中只需要检测最主要的情绪类型，那么，如果得分值中的最大值大于或等于第一预设阈值，将该最大值对应的情绪类型设定为目标情绪类型。如果得分值中的最大值小于第一预设阈值，表明该待检测视频不适合加入创可贴广告，需要重新检测新的视频，重新寻找新的视频中的创可贴广告点位。第一预设阈值为根据实际情况设定的值，这里不进行限定。在得到目标情绪类型之后，将目标情绪类型对应的帧序列的时间点作为创可贴广告点位。

可见，本发明实施例的创可贴广告点位选取方法，通过提取待检测视频的第一帧序列中人物的vgg特征，根据vgg特征，确定第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数确定每一种情绪类型的得分值；若得分值中的最大值大于第一预设阈值，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。本发明实施例可自动选取创可贴广告点位，大大提高了创可贴广告点位选取的效率。

参见图2，图2为本发明实施例的创可贴广告点位选取方法的另一种流程图，在图1实施例的基础上，还包括：

s201，获取待检测视频的帧序列，对帧序列进行预处理，得到第一帧序列。

需要说明的是，本发明实施例识别的是待检测视频的每一帧图片的情绪类型。而对于给定的待检测视频，不是每一帧图片都可以直接提取vgg特征的，因此，需要对待检测视频的每一帧图片进行预处理，即，检测每一帧图片中的人脸关键点，并根据人脸关键点进行校准，得到待检测视频的第一帧序列，进而提取待检测视频的第一帧序列的vgg特征。

参见图3，图3为本发明实施例的创可贴广告点位选取方法的另一种流程图，在图1实施例的基础上，还包括：

s301，通过卷积神经网络对fer2013数据库中的具有基本表情的人脸图像进行训练，建立情绪识别模型。

需要说明的是，fer2013数据库为包含七种基本表情的表情数据库。由于fer2013数据库的数据量较小，直接通过fer2013数据库训练得到的深度学习模型效果一般不会很好。通常在一个基准模型上做微调，具体的，用fer2013数据库在vgg人脸识别模型上做微调，从而建立情绪识别模型。情绪识别模型包括：图片和情绪类型的对应关系，因此，情绪识别模型可根据图片，得到图片的情绪类型。

本发明实施例的一种实现方式中，提取待检测视频的第一帧序列中人物的vgg特征的步骤，包括：

通过情绪识别模型提取第一帧序列中人物的vgg特征。

需要说明的是，情绪识别模型包括：图片、vgg模型和情绪类型的对应关系。由于通过vgg模型可以提取vgg特征，因此，通过机器学习建立的情绪识别模型，还可以提取第一帧序列中人物的vgg特征。

本发明实施例的一种实现方式中，对帧序列进行预处理，得到第一帧序列的步骤，包括：

对帧序列中每一帧图片的人脸关键点进行校准，得到第一帧序列。

更为具体的，通过仿射变换对人脸关键点进行校准，仿射变换在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，由一个非奇异的线性变换接上一个平移变换组成。图片的仿射变换可以理解为图片的平移、拉伸和压缩等等。举例而言，如果待识别视频中的一帧图片中人脸是倾斜的，可根据仿射变换将倾斜的人脸变换为平直的人脸，方便后续提取图片中人物的vgg特征。由于仿射变换属于现有技术，在此不再进行详细描述。当然，其他可以实现提取图片中人物的vgg特征的方式也都是可以的，在此不做限定。

本发明实施例的一种实现方式中，根据vgg特征，确定第一帧序列中第一人物的第二帧序列的步骤，包括：

第一步，若第一帧序列为n帧，且第一帧序列中第一人物出现的帧为第m帧时，将第m帧设置为基准帧，将第m帧标识为第一起始帧，其中，m和n为大于0的整数。

第二步，当判断第m+1帧与基准帧包含同一人物时，将基准帧更新为第m+1帧。将m值加1，得到增加后的m。

第三步，当增加后的m小于n时，返回第二步，直至第m+1帧与基准帧的时间差大于预设时间阈值。

第四步，将基准帧标识为第一终止帧，并将第一起始帧和第一终止帧对应的帧序列，确定为第二帧序列。

本发明实施例中，由于待检测视频中人物出现的时间是不定的，为了确定人物a的帧序列，在预设时间阈值内如果没有出现人物a，则认为对于人物a的检测完成。在待检测视频中，也可以同时检测人物b、人物c等，当然，不同人物得到的第二帧序列是不同的，也是相互独立的。本发明实施例以人物a为例进行详细说明。

更为具体的，如果第一帧序列为n帧，且第一帧序列中人物a出现的帧为第m帧时，那么，将第m帧设置为基准帧，将第m帧标识为第一起始帧。

将第m+1帧与基准帧进行对比。

如果第m帧后面的第m+1帧与基准帧(第m帧)相同，将基准帧更新为第m+1帧。

如果第m帧后面的第m+1帧与基准帧(第m帧)不同，则基准帧不更新。

然后将第m+2帧与基准帧进行对比。

依次类推，直至第m+1帧与基准帧的时间差大于预设时间阈值。

将基准帧标识为第一终止帧，那么，第一起始帧与第一终止帧对应的帧序列，即为第二帧序列。第二帧序列可以包含多个子序列，在此不一一列举。

本发明实施例的一种实现方式中，判断第m+1帧与基准帧包含同一人物的步骤包括：

第一步，计算第m+1帧的vgg特征与基准帧的vgg特征的距离。

第二步，当判断距离大于或等于第二预设阈值时，确定第m+1帧与基准帧包含同一人。

需要说明的是，由于vgg特征是一个多维向量，两个多维向量之间的接近程度可以通过计算两个向量之间的余弦值判断。两个向量之间的余弦值指的是，两个向量形成的夹角的余弦值；在通过余弦值进行计算时，余弦值越大，表明两个向量越接近，即vgg特征越接近。当余弦值大于或等于第二预设阈值时，确定第m+1帧与基准帧包含同一人。其中，第二预设阈值可以为0.9，当然，其他数值的第二预设阈值也属于本发明实施例的保护范围。

另外，确定第m+1帧与基准帧包含同一人的方法，还包括：计算两个向量之间的欧式距离进行判断。欧式距离指在多维空间中两个点之间的真实距离，或者向量的自然长度。本发明实施例的欧式距离指的是，两个向量之间的向量差的长度。而在通过欧式距离进行计算时，欧式距离越小，表明两个向量越接近。

本发明实施例的一种实现方式中，根据每一种情绪类型的情绪参数，确定每一种情绪类型的得分值的步骤，包括：

情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，根据公式：

score＝avg×weight×sigmoid(count/5)，

确定每一种情绪类型的得分值，其中，score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。

其中，sigmoid函数是一个在生物学中常见的s型的函数，也称为s型生长曲线，sigmoid函数为：

需要说明的是，每一种情绪类型的得分值指的是，第二帧序列中的每一个子序列中每一种情绪类型的得分值，各个子序列之间是独立的。情绪识别模型根据输入图片得到多种情绪类型，即情绪向量，每一种情绪类型得到的值是不同的。本发明实施例中，将情绪向量中最大值对应的情绪类型作为输入图片的情绪类型，该最大值为该情绪类型的置信度。例如，情绪类型有7种，且情绪向量中的7个数值依次和愤怒、恶心、害怕、高兴、悲伤、惊讶、中立相对应。如果得到的情绪向量为：0、0、0、0.8、0.1、0、0.1，则表明该情绪向量中高兴所占比例为0.8，悲伤所占比例为0.1，中立所占比例为0.1。该情绪向量中的情绪类型为高兴，高兴的置信度为0.8。每一个子序列中每一帧图片对应情绪类型以及情绪类型的置信度。例如，第一子序列中包含10张图片，8张图片的情绪类型为高兴，2张图片的情绪类型为悲伤，那么，高兴的置信度的平均值为该8个高兴的置信度之和除以8。情绪类型出现的次数指的是，每种情绪类型在每一个子序列中出现的次数。情绪类型所占比例指的是，每一个子序列中的情绪类型在该子序列中所占比例。

相应于上述方法实施例，本发明实施例还公开了一种创可贴广告点位选取装置，参见图4，图4为本发明实施例的创可贴广告点位选取装置的一种结构图，包括：

帧序列确定模块401，用于提取待检测视频的第一帧序列中人物的vgg特征，根据vgg特征，确定第一帧序列中第一人物的第二帧序列。

分值确定模块402，用于通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数，确定每一种情绪类型的得分值。

点位确定模块403，用于当得分值中的最大值大于第一预设阈值时，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。

可见，本发明实施例的创可贴广告点位选取装置，通过提取待检测视频的第一帧序列中人物的vgg特征，根据vgg特征，确定第一帧序列中第一人物的第二帧序列；通过情绪识别模型识别第二帧序列中第一人物的情绪类型，根据每一种情绪类型的情绪参数确定每一种情绪类型的得分值；若得分值中的最大值大于第一预设阈值，确定最大值对应的情绪类型为目标情绪类型，选取目标情绪类型对应的时间点为创可贴广告点位。本发明实施例可自动选取创可贴广告点位，大大提高了创可贴广告点位选取的效率。

需要说明的是，本发明实施例的装置是应用上述创可贴广告点位选取方法的装置，则上述创可贴广告点位选取方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

参见图5，图5为本发明实施例的创可贴广告点位选取装置的另一种结构图，包括：

预处理模块501，用于获取待检测视频的帧序列，对帧序列进行预处理，得到第一帧序列。

情绪识别模型建立模块502，用于通过卷积神经网络对fer2013数据库中的具有基本表情的人脸图像进行训练，建立情绪识别模型。

可选的，本发明实施例的创可贴广告点位选取装置中，帧序列确定模块包括：

vgg特征提取子模块，用于通过情绪识别模型提取第一帧序列中人物的vgg特征。

可选的，本发明实施例的创可贴广告点位选取装置中，预处理模块具体用于，对帧序列中每一帧图片的人脸关键点进行校准，得到第一帧序列。

可选的，本发明实施例的创可贴广告点位选取装置中，帧序列确定模块包括：

起始帧确定子模块，用于若第一帧序列为n帧，且第一帧序列中第一人物出现的帧为第m帧时，将第m帧设置为基准帧，将第m帧标识为第一起始帧，其中，m和n为大于0的整数。

中间值更新子模块，用于当判断第m+1帧与基准帧包含同一人物时，将基准帧更新为第m+1帧；将m值加1，得到增加后的m。

终止帧确定子模块，用于当增加后的m小于n时，返回当判断第m+1帧与基准帧包含同一人物时的步骤，直至第m+1帧与基准帧的时间差大于预设时间阈值，将基准帧标识为第一终止帧，并将第一起始帧和第一终止帧对应的帧序列，确定为第二帧序列。

可选的，本发明实施例的创可贴广告点位选取装置中，中间值更新子模块包括：

距离计算单元，用于计算第m+1帧的vgg特征与基准帧的vgg特征的距离。

同一人确定单元，用于当判断距离大于或等于第二预设阈值时，确定第m+1帧与基准帧包含同一人。

可选的，本发明实施例的创可贴广告点位选取装置中，分值确定模块具体用于，根据公式：

score＝avg×weight×sigmoid(count/5)，

确定每一种情绪类型的得分值，其中，情绪参数包括：情绪类型的置信度的平均值、情绪类型出现的次数和情绪类型所占比例，score为情绪类型的得分值，avg为情绪类型的置信度的平均值，count为情绪类型出现的次数，weight为情绪类型所占比例。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。