一种在视频中植入广告的方法及系统与流程
本发明涉及广告领域，具体涉及一种在视频中植入广告的方法及系统。
背景技术：
当前文化娱乐产业正在进入以自频道为中心的“合乐时代”。视频已经成为视频网站的新趋势，视频尤其是短视频在文化娱乐视频中所占据的比例越来越高。
这些视频中蕴藏着丰富的广告资源有待挖掘。当前在视频中采用的广告形式主要有两种：(1)视频播放前插入广告；(2)由制作者在制作时在自制视频中植入广告。其中，第1种广告形式的广告收益一般由视频运营方直接获得，第2种广告形式的广告收益一般由视频制作者获得。第1种广告形式可以在不同的时间和用户情境下更换广告标的物和内容，但视频的观看者普遍比较反感这种广告形式；第2种虽然观看者的接受度较高，但是也存在视频制作完成后无法更换广告标的物和标的内容的问题。
然而值得注意的是，广告是具有时效性和情境的。因此，大量视频可以长久流传并具有人气，一般前期植入的广告时效性和情境已经丧失；此外，还有大量视频前期不能预见投入广告的价值，因此并没有植入任何广告，而后期随着大量的转发和观看，具有投入广告的价值却不可以植入对视频运营商而言是一种资源浪费。
技术实现要素：
本发明要解决的技术问题在于如何增强消费者代入感以提高商品成交率。
为此，根据第一方面，本发明实施例公开了一种在视频中植入广告的方法，包括步骤:
获取标的图像和待植入视频，并分别构建出图像集和视频集；根据所述图像集利用同类别搜索或图像语义搜索在所述视频集中搜索出存在可植入标的图像的标的视频，及标的视频中标的图像的植入位置，并将所述标的图像通过生成对抗网络融合到所述植入位置生成融合视频；对所述融合视频中融合标的图像的单帧图像和系列图像进行融合评价以输出合格视频或提出警告。
进一步地，训练出可以识别同类别图像的卷积神经网络；利用所述卷积神经网络搜索所述标的视频中广告标的的同类物，标识所述同类物在标的视频中的帧数和位置以获取植入位置。
进一步地，当通过同类别搜索无法找到植入位置时，采用图像语义搜索。
进一步地，所述图像语义搜索，具体包括：采用图像语义分割所述标的视频中的标的视频图像，并标记标的视频图像语义；获取标的图像的标的图像语义，通过预先建立的语义关系表搜索与标的图像语义存在语义关系的视频图像语义以获取植入位置。
进一步地，将所述标的图像通过生成对抗网络融合到所述植入位置生成融合视频，具体包括：将所述标的图像作为条件来限制生成对抗网络，获得条件生产对抗网络；利用所述条件生成对抗网络根据所述标的视频中的帧数和位置将所述标的图像融合到所述植入位置生成融合视频。
进一步地，所述条件生成对抗网络的损失函数为：
l＝λ1{ey[logd(y)]+ex,z[log(1-d(x,z))]}+λ2||x-y(x)||1
其中，所述x为标的图像，z为随机噪声，y为条件生成对抗网络生成的图像，y(x)表示从y图像中抠取的植入位置的图像，d为融合评价函数，λ1和λ2为比例参数。
进一步地，对所述融合视频中融合标的图像的单帧图像和系列图像进行融合评价以输出合格视频或突出警告，具体包括：判别所述单帧图像和系列图像的合成度、语义关联度、一致性分别生成融合分数；根据所述单项融合分数直接输出合格视频或提出警告；或，根据所述融合分数对融合视频进行二次融合后进行融合评价以输出合格视频或提出警告。
进一步地，所述融合分数包括单项融合分数和综合融合分数：将三个单向融合分数进行线性加权后生成综合融合分数；根据所述综合融合分数直接输出合格视频或提出警告。
进一步地，所述标的图像为多张广告标的不同视角的图像。
根据第二方面，本发明实施例提供了一种在视频中植入广告系统，包括：
合集构建模块：获取标的图像和待植入视频，并分别构建出图像集和视频集；
图像融合模块：根据所述图像集利用同类别搜索或图像语义搜索在所述视频集中搜索出存在可植入标的图像的标的视频，及标的视频中标的图像的植入位置，并将所述标的图像通过生成对抗网络融合到所述植入位置生成融合视频；
融合评价模块：对所述融合视频中融合标的图像的单帧图像和系列图像进行融合评价以输出合格视频或提出警告。
本发明的有益效果在于：
本发明实施例公开的一种在视频中植入广告的方法及系统，通过对已经完成的视频利用同类别搜索或者图像语义搜索进行标的视频的搜索和标的视频中标的图像的植入位置的搜索，然后利用生成对抗网络将标的图像融合到植入位置以生成融合视频，最终通过对融合视频进行融合评价后以获得合格视频或者提出警告。通过本发明的实施，可以实现对已完成的视频植入广告或者更换无时效性的广告，不仅让广告资源得到很好的利用，也更符合观看者的情境，提升观看者对广告内容的接受度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种在视频中植入广告的方法的流程图；
图2为本发明实施例一种在视频中植入广告系统结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发实施例在已完成制作的视频中对视频图像自动搜索，获取与广告标的同类别的同类物或在图像语义上讲可以植入广告标的的位置，并将广告的标的图像通过条件生成对抗网络逐帧融合到标的视频图像中获得融合视频，最终通过对融合视频的单帧图像和系列图像进行融合评价以输出合格视频或提出警告。
请参考图1，为本实施例公开的一种在视频中植入广告的方法的流程图，包括步骤：
步骤s100，获取标的图像和待植入视频，并分别构建出图像集和视频集。
具体地，对于一个准备植入到视频中的广告标的，需要先准备该广告标的的不同视角的多张标的图像，多张标的图像需要能够清晰展示广告标的的特征信息，所述特征信息包括商标、品牌和普通消费者所认知的该广告标的的外观等。在本实施例中，通过广告标的为矿泉水来进行具体举例说明，拍摄5张不同俯仰视角的正面照片作为标的图像，并形成矿泉水的图像集。收录各种有权限植入广告的待植入视频，并形成相应的视频集以待植入。
步骤s200，根据所述图像集利用同类别搜索或图像语义搜索在所述视频集中搜索出存在可植入标的图像的标的视频，及标的视频中标的图像的植入位置，并将所述标的图像通过生成对抗网络融合到所述植入位置生成融合视频。
具体地，具体地，利用同类别搜索或图像语义搜索对步骤s100中形成的视频集搜索标的视频，其中标的视频的搜索依据为所述图像集，所述标的视频是两种方法搜索后获得的视频合集，以便于获得多个可植入的视频，以便于选择。在本实施例中，即需要在待植入视频中搜索可以植入矿泉水广告的标的视频。当获取到标的视频后，需要确认具体在标的视频中的什么位置进行标的图像的融合，即获取到所述植入位置。在本实施例中可以通过两种方法进行植入位置的搜索。
第一种方法是通过同类别搜索，即在获取到的标的视频中搜索与广告标的相同类别的物体即同类物，如果能够搜索到，标出同类物在标的视频中的帧数和位置。其中，位置采用矩形坐标表示为(x，y，w，h)，(x，y)为该物体左上角在标的视频图像中的二维坐标，(w，h)为该广告标的在视频图像中的宽和高。在本实施例中，需要搜索视频图像中具有矿泉水的帧及其位置，由于矿泉水有多种品牌，所以需要预先训练好一个训练出可以识别同类别图像的卷积神经网络；利用所述卷积神经网络搜索所述标的视频中广告标的的矿泉水，并标识所述矿泉水在标的视频中的帧数和位置以获取植入位置。其中卷积神经网络就是一种针对矿泉水的分类器，能够针对性的对标的视频进行搜索，在标的视频中搜索出来的同类物所在的帧数和位置即为植入位置。通过不同的训练，可以识别不同的物品，目前经过训练的卷积神经网络甚至可以识别出别上千类物品，功能十分强大；因此单类商品识别能力的训练更是轻松自如。
第二种方法为图像语义搜索，即在获取到的标的视频中搜索可以容纳广告标的的语义位置。在进行图像语义搜索之前需要预先建立出语义关系表，语义关系表中存放的是广告标的与其他物品的位置关系。优选地，语义关系表可以人工制定，也可以通过从大量图像中通过机器学习方法得到。然后再对标的视频中的标的视频图像进行图像语义分割，对分割出来的各图像块进行视频图像语义的标识，接着根据广告标的找出与广告标的存在位置关系的其他物品，最后通过在标的视频中搜索其他物品在视频中的帧数和位置进行植入位置的确定。优选地，在通过同类物搜索没找到植入位置的情况下再采用图像语义搜索进行植入位置的查找。在矿泉水广告植入的例子中，可建立的语义关系有：“矿泉水位于桌子之上”、“矿泉水在手中”、“矿泉水在货架上”等。即可通过语义分割算法或物品检测算法检测到有桌子、手或货架，仍可以输出图像中桌子的位置、手的位置、货架的位置以供植入矿泉水的图像，进而完成广告的植入。优选地，训练一个图像语义分割深度神经网络来完成图像语义的分割和语义标记。在本实施例中，首先收集了一个广告图像数据集并进行了手工的语义分割，然后重新训练了《bisenet:bilateralsegmentationnetworkforreal-timesemanticsegmentation》一文中的深度神经网络，用来完成图像语义的分割和语义标记。
进一步地，在找到植入位置后通过生成对抗网络融合到所述植入位置生成融合视频。具体地，所述生成对抗网络通过所述标的图像作为条件来限制生成对抗网络，获得条件生产对抗网络(conditionalgenerativeadversarialnetwork)，以保证生成的图像中包含的广告标的物的类别、品牌和主要外观特征不被改变。标的图像的融合需要针对图像集中的多个视角的图像分别做出融合尝试，并将融合后的m个结果图像分别输出获得多个融合视频。
所述条件生成对抗网络的损失函数为：
l＝λ1{ey[logd(y)]+ex,z[log(1-d(x,z))]}+λ2‖x-y(x)‖1
其中，所述x为标的图像，z为随机噪声，y为条件生成对抗网络生成的图像，y(x)表示从y图像中抠取的植入位置的图像，d为融合评价函数，λ1和λ2为比例参数。损失函数是机器学习的目标函数，在神经网络里面习惯称为损失函数，机器学习的目标就是最小化损失函数。
步骤300，对所述融合视频中融合标的图像的单帧图像和系列图像进行融合评价以输出合格视频或提出警告。
在本实施例中，对植入标的图像之后的融合视频图像质量进行单帧质量评估和序列图像质量评估。如果判定融合标的图像后的融合视频的图像具有违和感，例如存在贴入痕迹或存在语义错误等，标出存在违和感、贴入痕迹或语义错误的帧，并转入步骤s300，对存在违和感、贴入痕迹或语义错误的帧重新做融合；如果n次融合后仍存在问题，提出警告以供为人调整，其中n为一个设定值。不存在问题即可输出合格视频，合格视频的输出可以是在通过依次融合评价后，也可以是通过反复评价重新融合后。在本实施例中，判定矿泉水图像融合到视频中的质量时，综合考虑运算量和生产的成功率，将n的取值为5～10，优选7。
其中，融合质量评价至少由三个判别器进行，其中：第一判别器
进一步，如果综合融合分数不合格，将s300中条件生成对抗网络的损失函数细化为：
其中，λ1、λ2、λ3是比例参数，在本实施例中，分别取值为1、1、0.01。
本实施例相对于现有技术中不能对已经完成的视屏进行广告的更新或者植入广告困难，本发明实施例公开的方案通过对已经完成的视频进行配对并通过同类别搜索或者图像语义搜索获取植入位置，然后利用生成对抗网络将标的图像融合到植入位置以生成融合视频，最终通过对融合视频进行融合评价后以获得合格视频或者提出警告。本方案在视频制作完成后，可以二次向未植入广告的视频中植入广告或更换视频中已植入的广告。视频的植入式广告二次生成可以使得视频中的植入式广告重新获得时效性和符合观看者的情境。此外，植入式广告二次生成可以使得广告的植入和收益由视频运营商来把握和控制，更容易使得广告的收益最大化。其中，采用了同类物体和语义吻合两种条件来搜索可以植入广告标的的位置，使得在视频中植入广告的可能性大大提高；采用了条件生成对抗网络和基于质量评价模块，使得生成的视频图像逼真、无违和感。
本实施例还公开了一种在视频中植入广告系统，请参考图2，一种在视频中植入广告系统结构示意图，该在视频中植入广告系统包括：
合集构建模块100：获取标的图像和待植入视频，并分别构建出图像集和视频集；
图像融合模块200：根据所述图像集利用同类别搜索或图像语义搜索在所述视频集中搜索出存在可植入标的图像的标的视频，及标的视频中标的图像的植入位置，并将所述标的图像通过生成对抗网络融合到所述植入位置生成融合视频；
融合评价模块300：对所述融合视频中融合标的图像的单帧图像和系列图像进行融合评价以输出合格视频或提出警告。
本实例可在包括但不限于智能手机、平板电脑、智能电视、计算机等硬件上实施。本实施例中所包含的单元或模块可以部署在同一硬件上，也可以部署在多个硬件上并通过网络通信组成一个完整的系统。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进。这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
- 还没有人留言评论。精彩留言会获得点赞！