一种广告插入方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种广告插入方法及装置。

背景技术：

近年来，随着网络的迅速发展及移动终端的普及，视频app逐步融入用户日常生活。与此同时,视频的利用价值也开始凸显,出现平台硬广、内容原生广告等营销手段,视频营销逐渐走红。在视频移动化、资讯视频化和视频社交化的趋势带动下,视频营销正在成为新的品牌营销风口。

其中一种视频营销手段为视频广告植入，视频广告植入是指将商标、海报、广告短视频等插入到视频内容中，例如，电视剧、电影、短视频中插入洗发水宣传广告等。目前，现有技术中视频广告植入的主要方法为，利用人工智能技术实现视频广告植入，但该技术在实现视频广告植入方案时对视频内容有一定限制。如，要求视频的内容中要有占位标件出现。因此，增加视频广告植入的成本，且由于只能在占位标件位置插入广告，也对视频广告植入产生限制。

因此，现在亟需一种广告插入方法及装置，用于消除广告插入视频时的限制，降低广告插入视频时的成本，而且不影响播放质量和观感。

技术实现要素：

本发明实施例提供一种广告插入方法及装置，用于减少广告插入视频时的限制，增强广告插入视频的灵活性。

第一方面，本发明实施例提供一种广告插入方法，该方法包括：

确定待插入视频段；所述待插入视频段为具有相匹配场景信息的至少连续n帧图像；从所述至少连续n帧图像中确定出符合设定要求的目标对象；从所述目标对象中确定目标区域；确定与所述目标区域匹配的目标广告；在所述目标区域插入所述目标广告。

上述方法中，在时间维度上，选定至少连续n帧具有相匹配场景信息的图像做待插入视频段。如此，保证在待插入视频段播放过程中，视频背景处于静止状态，保证广告插入后的视频播放质量以及观感，也提升图像在视频中的播放质量以及观感。在空间维度上，首先，从至少连续n帧图像中确定出符合设定要求的目标对象，保证目标对象的可利用性，进一步保证广告插入后的视频播放质量以及观感。之后，从目标对象中确认出适合插入目标广告的目标区域，将与目标区域匹配的目标广告插入目标区域，完成广告的插入；完成在空间维度上的一个由粗粒度到细粒度的筛选，以准确确定目标区域。相比于现有技术中在视频录制过程中放置占位标件，通过人工智能技术检测占位标件，并在占位标件所在区域插入广告来说；本申请无需在视频录制时预留占位标件区域，且在视频录制完成后，可以根据需求在符合设定要求的目标区域插入图像，消除广告插入视频时的限制，降低广告插入视频时的成本。

可选的，确定待插入视频段，包括：确定每帧图像的标识值；其中，任一图像的标识值是根据任一图像的前一帧图像的场景信息与所述任一图像的场景信息是否相匹配确定的；若场景信息相匹配则所述任一图像的标识值与所述前一帧图像的标识值相同，否则不同；若存在标识值相同的至少连续n帧图像，则确定所述至少连续n帧图像为所述待插入视频段。

上述方法中，根据相邻图像的标识值是否相同，以确定相邻图像的场景信息是否相匹配，进而确定标识值相同的至少连续n帧图像，也就是场景信息相匹配的至少连续n帧图像。如此，得到静态背景的视频段做待插入视频段，防止在动态背景视频段中插入图像，而使得在视频播放时易出现图像抖动或模糊等现象，保证广告插入后的视频和该图像本身的播放质量以及观感。

可选的，确定每帧图像的标识值之前，还包括：将所述任一图像和所述前一帧图像输入场景变更检测模型，确定所述任一图像的场景信息与所述前一帧图像的场景信息是否相匹配。

上述方法中，通过场景变更检测模型可以获取相邻图像的标识值，进一步确定相邻图像的场景信息是否相匹配。通过场景变更检测模型确定标识值相同的至少连续n帧图像，实现自动获取待插入视频段，简化广告插入工作，降低广告插入视频时的成本。

可选的，从所述至少连续n帧图像中确定出符合设定要求的目标对象，包括：将所述至少连续n帧图像中每一帧图像输入目标检测模型，确定出各检测对象；从所述至少连续n帧图像中分割出所述各检测对象；针对同一检测对象，若确定所述检测对象在所述至少连续n帧图像中未出现遮挡情况，则确定所述检测对象为符合设定要求的目标对象。

上述方法中，通过将至少连续n帧图像中每一帧图像输入目标检测模型，以使得目标检测模型确定出各检测对象。如此，实现自动确定多个适合插入图像的检测对象，增加插入图像位置的可选择性，简化广告插入工作，降低广告插入视频时的成本。进一步，从至少连续n帧图像中分割出各检测对象；确定在至少连续n帧图像中未出现遮挡的检测对象作为目标对象。如此，保证广告插入视频后，图像在视频中的可视度，提升图像在视频中的播放质量以及观感。

可选的，确定所述检测对象在所述至少连续n帧图像中未出现遮挡情况，包括：确定所述检测对象在所述至少连续n帧图像中每帧图像中的面积；若存在所述检测对象在任意相邻的图像帧之间的面积变化值不大于设定值，则确定未出现遮挡情况。

可选的，在所述目标区域插入所述目标广告，包括：为所述目标区域建立三维坐标系；根据所述目标区域在三个维度的消失点，确定所述目标区域的形状特征；根据所述目标区域的形状特征和所述目标广告的形状特征确定投射变换参数；根据所述投射变换参数将所述目标广告投射至所述目标区域。

上述方法中，通过获取目标区域的形状特征，可以根据目标区域的形状特征和目标广告的形状特征确定投射变换参数，进而根据投射变换参数将目标广告投射至目标区域，以使目标广告符合目标区域的形状特征，保证广告插入后的视频和该图像本身的播放质量以及观感。

可选的，根据所述投射变换参数将所述目标广告投射至所述目标区域之前，还包括：将所述目标对象所在的图像帧和所述目标广告输入图像和谐化模型，得到更新后的目标广告。

上述方法中，通过将目标对象所在的图像帧和目标广告输入图像和谐化模型，使得更新后的目标广告的色彩特征与目标对象所在的图像帧的色彩特征相同，提升广告插入后的视频和该图像本身的播放质量以及观感。

第二方面，本发明实施例提供一种广告插入装置，该装置包括：

确定模块，用于确定待插入视频段；所述待插入视频段为具有相同场景信息的至少连续n帧图像；从所述至少连续n帧图像中确定出符合设定要求的目标对象；

所述确定模块还用于，从所述目标对象中确定目标区域，以及确定与所述目标区域匹配的目标广告；

处理模块，用于在所述目标对象所在区域插入所述目标广告。

第三方面，本发明提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。

第四方面，本发明提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个可选的方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种广告插入的架构示意图；

图2为本发明实施例提供的一种广告插入方法的流程示意图；

图3为本发明实施例提供的一种广告插入方法的场景示意图；

图4为本发明实施例提供的一种广告插入方法的流程示意图；

图5为本发明实施例提供的一种广告插入装置示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例的一种应用场景可以是在播放视频时，对视频进行广告插入处理，即在视频播放阶段新增广告插入的前续处理；也可以是在播放视频之前，对视频进行广告插入，得到具有插入图像的视频；在播放视频时，直接播放具有插入图像的视频。对视频进行广告插入处理可基于如下图1所示的架构示意图进行处理。该架构可以在时间维度和空间维度上对视频进行分析，然后插入广告；即，在视频输入101处输入待插入视频，对于时间维度上，视频处理机制103接收待插入视频，并通过场景变更检测模型从待插入视频中确定出待插入视频段；对于空间维度上，视频处理机制103再通过目标检测模型确定待插入视频段中的各检测对象；之后，视频处理机制103从待插入视频段中分割出各检测对象，进一步从各检测对象中确定出目标对象，更进一步，还可以根据目标对象的三维消失点分析确定适合插入目标广告的目标区域；如此，在空间维度的广告插入处理中，通过粗粒度到细粒度的筛选，准确确定目标区域，增加目标广告插入处理的准确性；最后，视频处理机制103从目标广告库102中获取与目标区域匹配的目标广告，将目标广告的形状特征转化为目标区域的形状特征，将该转化后的目标广告和目标对象所在的图像帧输入图像和谐化模型，以使该目标广告的色彩特征、亮度、光照等与目标对象所在的图像帧一致，最后，将该目标广告投射到目标区域，获得广告插入后的图像帧，进一步获得广告插入后的视频段,由视频输出104输出该广告插入后的视频段。如此，实现全自动化的广告插入，且消除了广告插入视频的限制，节约广告插入视频的成本。

基于此，本申请实施例提供了一种直播转码方法的流程，如图2所示，包括：

步骤201、确定待插入视频段；所述待插入视频段为具有相匹配场景信息的至少连续n帧图像；

此处，待插入视频段可以是电视剧、电影或短视频等视频的片段。场景信息可以包括待插入视频段的图像帧中各点的像素信息或图像帧中各物体单元的像素信息等，这里对场景信息的表达方式具体不做限定。

步骤202、从所述至少连续n帧图像中确定出符合设定要求的目标对象；

此处，目标对象为帧图像中可以用于定义目标区域的，并依次插入目标广告的实体区域，例如墙体、桌子、门窗等。至少连续n帧图像的n值大小，根据具体需求设定，具体不做限定。

步骤203、从所述目标对象中确定目标区域；

此处，所述目标对象可以为墙体、桌子、门窗等，则目标区域可以为墙体、桌子、门窗等的一部分或整体。如此，目标广告可以插入在图像帧中的目标区域中。

步骤204、确定与所述目标区域匹配的目标广告；

此处，目标广告可以是广告、动画素材图片等等。目标区域匹配的目标广告，可以指目标区域和目标广告的形状、面积等方面的匹配。

步骤205、在所述目标区域插入所述目标广告。

上述方法中，在时间维度上，选定至少连续n帧具有相匹配场景信息的图像做待插入视频段。如此，保证在待插入视频段播放过程中，视频背景处于静止状态，保证广告插入后的视频播放质量以及观感，也提升图像在视频中的播放质量以及观感。在空间维度上，首先，从至少连续n帧图像中确定出符合设定要求的目标对象。保证目标对象的可利用性，进一步保证广告插入后的视频播放质量以及观感。之后，从目标对象中确认出适合插入目标广告的目标区域，将与目标区域匹配的目标广告插入目标区域，完成广告的插入；完成在空间维度上的一个由粗粒度到细粒度的筛选，以准确确定目标区域。相比于现有技术中在视频录制过程中放置占位标件，通过人工智能技术检测占位标件，并在占位标件所在区域插入广告来说；本申请无需在视频录制时预留占位标件区域，且在视频录制完成后，可以根据需求在符合设定要求的目标区域插入图像，消除广告插入视频时的限制，降低广告插入视频时的成本。

本申请实施例还提供了一种待插入视频段的确定方法，确定待插入视频段，包括：确定每帧图像的标识值；其中，任一图像的标识值是根据任一图像的前一帧图像的场景信息与所述任一图像的场景信息是否相匹配确定的；若场景信息相匹配则所述任一图像的标识值与所述前一帧图像的标识值相同，否则不同；若存在标识值相同的至少连续n帧图像，则确定所述至少连续n帧图像为所述待插入视频段。如，第k帧图像的标识值是1，若第k帧图像的场景信息与第k+1帧图像的场景信息相匹配，则该第k+1帧图像的标识值也是1，若每个相邻的图像的场景信息都相匹配，则对应这些相匹配场景信息的图像得到的标识值序列为{1、1、1、1、1、1、1…}，当出现至少连续n个相同标识值1，则确定该至少连续n个相同标识值1的帧图像为待插入视频段；若第k帧图像的场景信息与第k+1帧图像的场景信息不匹配，则该第k+1帧图像的标识值表示为0(即与第k帧图像的标识值不同)，若每个相邻的图像的场景信息都不匹配，则对应这些场景信息的图像会的到{1、0、1、0、1、0、1…}序列，则该序列的标识值对应的图像不能作为待插入视频段；或，第k帧图像的标识值是0，若第k帧的场景信息与第k+1帧图像的场景信息相匹配，则第k+1帧图像的标识值也是0，若每个相邻的图像的场景信息都相匹配，则对应这些相匹配场景信息的图像得到的标识值序列为{0、0、0、0、0、0、0…}，当出现至少连续n个相同标识值0，则确定该至少连续n个相同标识值0的帧图像为待插入视频段。如此，在时间维度上得到连续n个帧图像为待插入视频段。标识值也可以是其它任意表达图像的场景信息是否相匹配的符号，这里对标识值的设定具体不做限定。

本申请实施例还提供了一种标识值的确定方法，确定每帧图像的标识值之前，还包括：将所述任一图像和所述前一帧图像输入场景变更检测模型，确定所述任一图像的场景信息与所述前一帧图像的场景信息是否相匹配。

此处，场景变更检测模型可以是一个cnn(卷积神经网络)，通过输入相匹配的场景信息的帧图像，对其赋予相同的标识值；且输入不匹配的场景信息的帧图像，对其赋予不同的标识值。如此，对该场景变更检测模型进行训练，以使该场景变更检测模型可以准确地从待插入视频中确定出待插入视频段。在上一示例中，假设待插入视频中的帧图像表示为v＝{f1,f2,...,fn}，fi表示第i帧。用si表示fi场景变更检测模型的输出结果，令s1＝1,如果fi相对于f(i-1)发了场景变更，那么si＝|1-s(i-1)|，否则si＝s(i-1)。这样得到标识值序列s＝{s1,s2,...,sn},si∈{0,1}。遍历s序列找出连续的0子序列和1子序列。如果子序列的长度大于n(例如，n＝60帧，相当于2s的视频)，可以认为该子序列对应的帧序列为包含一个相匹配场景信息的视频片段。筛选出的所有满足这些条件的视频片段作为待插入视频段。

本申请实施例还提供了一种目标对象的确定方法，从所述至少连续n帧图像中确定出符合设定要求的目标对象，包括：将所述至少连续n帧图像中每一帧图像输入目标检测模型，确定出各检测对象；从所述至少连续n帧图像中分割出所述各检测对象；针对同一检测对象，若确定所述检测对象在所述至少连续n帧图像中未出现遮挡情况，则确定所述检测对象为符合设定要求的目标对象。

此处，目标检测模型可以是region-cnn(目标-卷积神经网络)，yolo算法(youonlylookonce:unified,real-timeobjectdetection，一种将目标检测作为回归任务来解决的目标检测算法)，ssd(singleshotdetection，一种单步物体识别的目标检测网络)等。检测对象可以是墙体、门窗、桌椅等等。且通过将未出现遮挡情况的检测对象确定为目标检测对象可以保证广告插入后的视频和图像本身的播放质量和观感。

本申请实施例还提供了一种目标对象的确定方法，确定所述检测对象在所述至少连续n帧图像中未出现遮挡情况，包括：确定所述检测对象在所述至少连续n帧图像中每帧图像中的面积；若存在所述检测对象在任意相邻的图像帧之间的面积变化值不大于设定值，则确定未出现遮挡情况。

此处，检测对象在至少连续n帧图像中每帧图像中的面积变化大于设定值，代表该检测对象的部分面积被遮挡，则确定该检测对象出现遮挡情况。这里，待插入视频片段为v＝{f1,f2,...,fn}，fi是其中的第i帧。fi包含了k个检测对象oi1,oi2,...,oik，通过分割进一步获得这些检测对象的面积。统计oii在v中包含的像素个数得到它的覆盖面积的变化序列,m1i,m2i,m3i...,mni。如果m2i相对于m1i变化超过设定值，比如50％，那么说明发生了遮挡，该检测对象oii不能作为目标对象。例如，n＝5时，第一帧图像的该检测对象的面积为20，第二帧图像的该检测对象的面积为20，第三帧图像的该检测对象的面积为10，第四帧图像的该检测对象的面积为10，第五帧图像的该检测对象的面积为20。则在第三帧图像和第四帧图像中该检测对象被遮挡掉10的面积。该检测对象不能作为目标对象。相反，若是面积变化值不大于设定值，则代表该检测对象没有发生被遮挡的情况。如此，可以增加确定目标对象的准确性，进一步提升广告插入后的视频和图像本身的播放质量和观感。如此，上述目标对象的确定方法中，在空间维度上，确定待插入视频片段中的图像帧的目标对象，进一步可以将该目标对象或该目标对象的部分区域确认为目标区域，以达到在空间维度上的粗粒度到细粒度的筛选，增加目标区域确定的层次性，以增加广告插入的准确性，增加广告插入后的视频播放时广告播放质量。其中，检测对象的面积变化值可以根据整个待插入视频段中的各图像帧的中的最大面积和最小面积的差值，也可以根据相邻图像帧的面积变化差值确定，这里对检测对象的面积变化值的确定可以根据具体场景信息等确定，具体不做限制。

本申请实施例还提供了一种广告插入方法，在所述目标区域插入所述目标广告，包括：为所述目标区域建立三维坐标系；根据所述目标区域在三个维度的消失点，确定所述目标区域的形状特征；根据所述目标区域的形状特征和所述目标广告的形状特征确定投射变换参数；根据所述投射变换参数将所述目标广告投射至所述目标区域。

此处，如图3所示，图中左边标阴影的墙体为目标对象，目标广告301为预设插入帧图像302中的广告，对所述目标区域建立三维坐标系，则获取该目标区域在三个维度的消失点，确定目标区域，本实施例中，这片墙体上的广告插入区域为目标区域。具体地，可以确定该目标区域的形状特征，进而根据该目标区域的形状特征和目标广告301的形状特征确定投射变换参数，根据投射变换参数将目标广告301投射至所述目标区域。

本申请实施例还提供了一种广告插入方法，根据所述投射变换参数将所述目标广告投射至所述目标区域之前，还包括：将所述目标对象所在的图像帧和所述目标广告输入图像和谐化模型，得到更新后的目标广告。也就是说，如图3所示，将目标广告301和目标对象所在的图像帧302输入图像和谐化模型得到更新后的目标广告303。最后将更新后的目标广告303插入所述目标区域得到图像帧304。

本申请的图像和谐化模型可以把广告嵌入到背景视频中，同时保持二者色彩、亮度、光照等的一致性，减小视觉违和感。例如，可以采用dovenet图像和谐化模型来实现这一目的。dovenet模型的输入是投射变换后的广告图片和待嵌入的视频帧，其中视频帧的广告区域的像素用掩模置为0。模型会以视频帧为依据，将广告图片变换成一致的色彩、亮度等。

这里的投射变换方法可以调用opencv(一个基于bsd许可(开源)发行的跨平台计算机视觉和机器学习软件库)的getperspectivetransform(图像透视函数)估算出投射变换的参数，然后调用warpperspective(图像变换函数)对广告进行投射变换。

基于上述方法流程，本申请实施例还提供了一种广告插入方法流程，如图4所示，包括：

步骤401、通过场景变更检测模型从待插入视频中确定待插入视频段；

步骤402、通过目标检测模型从待插入视频段中确定各检测对象；

步骤403、对各检测对象进行分割，获取各检测对象的覆盖面积；

步骤404、计算检测对象在待插入视频段中的面积变化是否大于设定值，若大于设定值，则该检测对象不能作为目标对象。若小于设定值，则该检测对象可以作为目标对象，执行步骤405；

步骤405、从该目标对象中确定出目标区域；

步骤406、确定匹配该目标区域的目标广告；

步骤407、根据目标区域的形状特征和目标广告的形状特征，确定投射变换参数，将目标广告进行变换，如形状的适配变换；

步骤408、将目标对象所在的图像帧和变换后的目标广告输入图像和谐化模型，得到更新后的目标广告；

步骤409、将更新后的目标广告插入待插入视频片段。

基于同样的构思，本申请实施例提供一种广告插入装置，广告插入如图5所示，包括：

确定模块501，用于确定待插入视频段；所述待插入视频段为具有相匹配场景信息的至少连续n帧图像；从所述至少连续n帧图像中确定出符合设定要求的目标对象；

所述确定模块501还用于，从所述目标对象中确定目标区域；以及确定与所述目标对象匹配的目标广告；

处理模块502，用于在所述目标区域插入所述目标广告。

可选的，所述确定模块501具体用于：确定每帧图像的标识值；其中，任一图像的标识值是根据任一图像的前一帧图像的场景信息与所述任一图像的场景信息是否相匹配确定的；若场景信息相匹配则所述任一图像的标识值与所述前一帧图像的标识值相同，否则不同；若存在标识值相同的至少连续n帧图像，则确定所述至少连续n帧图像为所述待插入视频段。

可选的，所述确定模块501还用于：将所述任一图像和所述前一帧图像输入场景变更检测模型，确定所述任一图像的场景信息与所述前一帧图像的场景信息是否相匹配。

可选的，所述确定模块501具体用于：将所述至少连续n帧图像中每一帧图像输入目标检测模型，确定出各检测对象；从所述至少连续n帧图像中分割出所述各检测对象；针对同一检测对象，若确定所述检测对象在所述至少连续n帧图像中未出现遮挡情况，则确定所述检测对象为符合设定要求的目标对象。

可选的，所述确定模块501具体用于：确定所述检测对象在所述至少连续n帧图像中每帧图像中的面积；若存在所述检测对象在任意相邻的图像帧之间的面积变化值不大于设定值，则确定未出现遮挡情况。

可选的，所述处理模块502具体用于：为所述目标区域建立三维坐标系；根据所述目标区域在三个维度的消失点，确定所述目标区域的形状特征；根据所述目标区域的形状特征和所述目标广告的形状特征确定投射变换参数；根据所述投射变换参数将所述目标广告投射至所述目标区域。

可选的，所述处理模块502还用于：将所述目标对象所在的图像帧和所述目标广告输入图像和谐化模型，得到更新后的目标广告。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。