一种广告植入方法和装置与流程

1.本发明涉及视频处理技术领域，特别是指一种广告植入方法和装置。


背景技术：

2.现有技术中，目前对于体育赛事实现广告投放，主要包括两种：一种是通过led(发光二极管)显示屏或投影的方式，在球场内的固定位置播放广告，但需要硬件设备的支持，且广告切换耗费的资源较多；另一种是将广告固定粘贴在视频的某一个位置，在视频画面中进行广告投放，但会遮挡这视频的播放过程，影响观看的感受且有违和感。
3.为了能在用户体验和视频广告曝光次数之间找到一种良好的动态平衡，视频广告投放就亟需一种“软”性的广告嵌入方式来代替这些传统的“硬”性嵌入方式。


技术实现要素：

4.本发明的目的是提供一种广告植入方法和装置，以实现精细化时间管理、真实化球场广告精准投放，提高广告的曝光率和接受程度。
5.为达到上述目的，本发明的实施例提供一种广告植入方法，包括：
6.获取球场仿真模型对应的球场关键点，以及对应植入广告的第一位置；
7.获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，所述标准帧图像为每个镜头下首次出现植入广告的视频帧图像；
8.根据所述标准帧图像和球场关键点，确定所述球场仿真模型与所述标准帧图像之间的第一空间转换关系；
9.根据第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
10.可选的，获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，包括：
11.依据镜头类别对所述待植入广告视频进行分类，确定n个镜头类型对应的视频数据；n为大于或等于1的整数；
12.根据n个视频数据，建立n个镜头类型对应的视频数据列表；
13.根据所述视频数据列表，确定每个镜头下的所述标准帧图像。
14.可选的，所述方法还包括：
15.获取所述待植入广告视频的非标准帧图像；所述非标准帧图像为所述非标准帧图像中除所述标准帧图像的其它图像；
16.根据所述非标准帧图像和所述视频数据列表，确定非标准帧图像对应镜头下的第一标准帧图像；
17.根据所述第一标准帧图像、所述第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
18.可选的，根据所述第一标准帧图像、所述第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告，包括：
19.根据所述非标准帧图像和所述第一标准帧图像，确定每个镜头下的标准帧图像与非标准帧图像之间的第二空间转换关系；
20.根据所述第二空间转换关系和所述第一空间转换关系，确定所述球场仿真模型与所述非标准帧图像之间的第三空间转换关系；
21.根据所述第三空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
22.可选的，根据所述第三空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告，包括：
23.根据所述第三空间转换关系，确定所述非标准帧图像在所述球场仿真模型中所覆盖的第一区域范围；
24.根据所述第一区域范围，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围；
25.根据所述第二区域范围和所述第一位置，对所述待植入广告视频进行植入广告。
26.可选的，根据所述第一区域范围，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围，包括：
27.根据所述待植入广告视频，确定视频帧图像对应的时间序列；所述时间序列包括每一帧图像对应的区域范围；
28.根据所述时间序列和所述第一区域范围，确定所述非标准帧图像在所述球场仿真模型中的移动速度；
29.根据所述移动速度，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围。
30.可选的，根据所述第二区域范围和所述第一位置，对所述待植入广告视频进行植入广告，包括：
31.根据所述第二区域范围和所述第一位置，确定所述第二区域范围和所述第一位置之间的位置关系；
32.根据所述位置关系，进行植入广告。
33.可选的，所述位置关系为所述第二区域范围和所述第一位置无交集时，
34.根据所述位置关系，进行植入广告，包括：
35.根据所述位置关系，确定广告的粘贴时机和广告的类型；
36.根据所述广告的粘贴时机和所述广告的类型，进行植入广告。
37.可选的，所述位置关系为所述第二区域范围完全包含所述第一位置时，
38.根据所述位置关系，进行植入广告，包括：
39.根据所述位置关系，确定所述第二区域范围对应的帧图像为更新后标准帧图像；
40.根据所述更新后标准帧图像、所述第一空间转换关系和所述第二空间转换关系，确定所述第二区域范围对应的帧图像在所述球场仿真模型对应植入广告的第二位置；
41.确定所述第二区域范围对应的帧图像的第一素材图层和待植入广告的第二素材图层；
42.将所述第一素材图层、所述第二素材图层和所述第二位置层级融合，进行植入广告。
43.可选的，确定所述待植入广告视频对应的每个镜头下的标准帧图像，还包括：
44.获取所述待植入广告视频对应的摄像机位置信息、对应的当前镜头下的图像信息；
45.在满足以下任一预设条件时，更新当前镜头下的图像信息所对应的标准帧；
46.其中，所述预设条件为：
47.所述当前镜头下的图像信息的分辨率低于第一预设范围；
48.所述待植入广告视频对应的当前镜头切换；
49.所述对应的摄像机位置信息超出第一预设距离。
50.可选的，构建球场仿真模型，包括：
51.获取球场场地信息和和待植入的广告信息；
52.根据所述球场场地信息，确定球场关键点，以及，根据所述待植入的广告信息，确定植入广告的位置；
53.根据所述球场关键点和所述植入广告的位置，构建球场仿真模型。
54.为达到上述目的，本发明的实施例还提供一种广告植入装置，包括：
55.获取模块，用于获取球场仿真模型对应的球场关键点，以及对应植入广告的第一位置；
56.第一处理模块，用于获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，所述标准帧图像为每个镜头下首次出现植入广告的视频帧图像；
57.第二处理模块，用于根据所述标准帧图像和球场关键点，确定所述球场仿真模型与所述标准帧图像之间的第一空间转换关系；
58.第三处理模块，用于根据第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
59.为达到上述目的，本发明的实施例还提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上任一项所述的广告植入方法中的步骤。
60.本发明的上述技术方案的有益效果如下：
61.本发明实施例获取球场仿真模型对应的球场关键点，以及对应植入广告的第一位置；获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，所述标准帧图像为每个镜头下首次出现植入广告的视频帧图像，本发明采用了多镜头的标准帧确定机制；根据所述标准帧图像和球场关键点，确定所述球场仿真模型与所述标准帧图像之间的第一空间转换关系，依据第一空间转换关系，将所述球场仿真模型中的广告粘贴到标准帧中；根据第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。后续的广告粘贴投放会优先进行镜头的分类，并对该镜头下的每一帧图像与对应的标准帧进行空间变换操作，有利于为每一个镜头寻找最佳的标准帧，减少了图像的空间变换成本，提升了广告投放的精准性与稳定性。
附图说明
62.图1为本发明实施例提供的广告植入方法的流程示意图之一；
63.图2为本发明实施例提供的广告植入方法的流程示意图之二；
64.图3为本发明实施例提供的广告植入装置的模块示意图。
具体实施方式
65.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
66.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
67.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
68.另外，本文中术语“系统”和“网络”在本文中常可互换使用。
69.在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
70.为解决上述问题，本提案提出一种广告植入方法和装置，基于真实球场信息建模，结合视频镜头的切换，确定广告粘贴时机与类型，寻找最佳转换标准帧，实现精细化时间管理、真实化球场广告精准投放。
71.本发明的技术方案是基于人工智能技术，适用于球场比赛视频/直播的(包括但不限于篮球、排球、足球等)广告植入等场景。本发明进行真实球场信息的场景建模，并在模型中进行广告的固定虚拟位置的投放，使广告与场景融为一体(如粘贴在球场地面上等)，通过摄像机视角下的视频分析，与球场建模信息进行匹配，结合镜头分类与视频镜头下场景与真实场景的空间关系，确定广告投放时机与类型，将模型中的虚拟广告迁移到摄像机视角的球场视频中，进行视频的拟真实场景广告虚拟投放。
72.需要说明的是，本发明通过人工智能技术进行身临其境广告的投放，其根据固定位置进行真实球场与广告的建模，并将广告迁移到摄像机视角下的球场场景中，使广告与场景融为一体，减少了广告投放的违和感，提升了用户体验，解决了困难业界关于广告投放过于单一且影响观感的痛点问题。
73.如图1所示，本发明实施例的一种广告植入方法，包括：
74.步骤100，获取球场仿真模型对应的球场关键点，以及对应植入广告的第一位置；
75.可以理解的是，要想在视频中植入广告，广告内容需要嵌入到视频帧中，并随着视频帧的播放而显示出来，需要确定球场关键点p_model和对应植入广告的第一位置d_ad，所述球场关键点为所述球场仿真模型反映真实的球场场地信息的数据；对应植入广告的第一位置位于所述球场关键点所处的范围内，所述第一位置可以为一个位置或者多个位置。
76.步骤200，获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，所述标准帧图像为每个镜头下首次出现植入广告的视频帧图像；
77.该实施例中，所述待植入广告视频播放形式为在线点播、本地视频播放或直播，所述待植入广告视频的存储位置及传输方式不限，例如，存储位置可以为进行视频播放终端的本地硬盘、移动存储装置、网络服务器等；传输方式可以为网络传输、数据线传输、蓝牙无线传输等。对待植入广告视频的所有视频帧进行镜头分类，通过对所述待植入广告视频进
行解码，可以获取对应的至少一个镜头下的视频帧图像。所述步骤200中根据所述待植入广告视频，确定的每个镜头下的所有视频帧图像，取该镜头下首次完整植入广告在画面中出现的第一帧作为初始化的标准帧图像，每个所述标准帧可以对应设置一个标准帧关键点，所述标准帧关键点作为后续处理的依据。
78.步骤300，根据所述标准帧图像和球场关键点，确定所述球场仿真模型与所述标准帧图像之间的第一空间转换关系；
79.该实施例中，为每一个镜头进行完标准帧图像lmn-standard初始化后，并计算出标准帧关键点，将所述标准帧关键点与所述球场关键点进行匹配，确定所述球场仿真模型model与所述标准帧图像lmn-standard之间的第一空间转换关系ln-k。
80.步骤400，根据第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
81.该实施例中，根据所述第一空间转换关系ln-k与所述第一位置d_ad，进行广告空间的转换，确定标准帧图像对应的广告位置d_ad’，依据广告位置d_ad’，对所述待植入广告视频进行植入广告
82.需要说明的是，每个镜头视角下的所有帧图像，均以标准帧图像所在的图像空间为基准，同时也可以作为球场关键点检测的参考帧，进行广告的替换与投放。
83.本发明随着摄像机视角的移动，广告也会随着视角进行变化，实现广告场景化。同时可根据不同的镜头类型，镜头拍摄的空间位置进行多样化广告投放，实现广告投放时间精细化，投放成本低，替换广告方便，可自由控制广告播放的时间与时长，可迁移性广等优点。
84.具体地，在步骤100之前，构建球场仿真模型，包括：
85.步骤110，获取球场场地信息和和待植入的广告信息；
86.步骤120，根据所述球场场地信息，确定球场关键点，以及，根据所述待植入的广告信息，确定植入广告的位置；
87.步骤130，根据所述球场关键点和所述植入广告的位置，构建球场仿真模型。
88.该实施例中，将场地信息，也就是将真实的球场信息、尺寸，以及和广告的信息、尺寸、插入位置，进行球场仿真模型的建立，得到了球场仿真模型(model)，并确定需要检测的球场关键点和植入广告的位置；所述球场关键点表示为：p_model＝[p0，p1，p2,
……
pq](q为关键点个数)，所述植入广告的位置表示为：d_ad＝[x1,y1；x2,y2](d_ad允许有多个)。所述植入广告的位置优选为位于球场关键点的目标区域，所述目标区域的形状可以根据广告内容的需要进行确定，例如可以为矩形、梯形、四边形、不规则四边形、圆形、扇形以及拱形等等。
[0089]
在步骤110至130的基础上，结合上述的步骤100至400，本发明采用了多镜头的标准帧确定机制，对视频进行镜头的分类，并获得对应分类下的标准帧，依据真实球场仿真模型与标准帧的关系，建立对应的空间转换关系，后续的植入广告会优先进行镜头的分类，并对该镜头下的每一帧图像与对应的标准帧进行空间变换操作，有利于为每一个镜头寻找最佳的标准帧，减少了图像的空间变换成本，提升了广告投放的精准性与稳定性。
[0090]
可选的，所述步骤200，包括：
[0091]
步骤210，依据镜头类别对所述待植入广告视频进行分类，确定n个镜头类型对应
的视频数据；n为大于或等于1的整数；
[0092]
这里，所述镜头类别包括但不限于不同的拍摄机位、角度等镜头类型。
[0093]
步骤220，根据n个视频数据，建立n个镜头类型对应的视频数据列表；
[0094]
步骤230，根据所述视频数据列表，确定每个镜头下的所述标准帧图像。
[0095]
该实施例中，根据n个镜头类型对应的视频数据，对所述待植入广告视频的所有视频帧图像进行镜头分类，n个镜头类型对应的视频数据列表l_list，l_list＝[l1,l2,
……
，ln]，其中n为镜头的总数；其中，根据所述视频数据列表，可以确定每个镜头下的所有帧图像数据，包括每个镜头下的所述标准帧图像，还可以包括每个镜头下除所述标准帧图像的其它图像，为后续进行投放广告提供了数据支持。
[0096]
可选的，所述方法还包括：
[0097]
步骤500，获取所述待植入广告视频的非标准帧图像；所述非标准帧图像为所述非标准帧图像中除所述标准帧图像的其它图像；
[0098]
步骤600，根据所述非标准帧图像和所述视频数据列表，确定非标准帧图像对应镜头下的第一标准帧图像；
[0099]
步骤700，根据所述第一标准帧图像、所述第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
[0100]
本发明还提供了针对获取所述待植入广告视频的非标准帧图像时的处理方法，具体地，对所述待植入广告视频的非标准帧图像m，依据所述视频数据列表，进行对应的镜头类型归类，归属到l_list中，确定所述非标准帧图像m对应镜头下的第一标准帧图像，即所述非标准帧图像m镜头的对应镜头下的标准帧ln-standard，所述步骤700中根据所述非标准帧图像m确定的第一标准帧图像，并依据所述步骤400的所述第一空间转换关系和所述第一位置方式，对所述待植入广告视频进行植入广告。本发明从标准帧图像和非标准帧图像两种方式，对所述待植入广告视频进行植入广告，增加广告投放的多样性，使广告投放的时间管理更加精细化。
[0101]
可选的，所述步骤700，包括：
[0102]
步骤710，根据所述非标准帧图像和所述第一标准帧图像，确定每个镜头下的标准帧图像与非标准帧图像之间的第二空间转换关系；
[0103]
该实施例中，根据所述非标准帧图像和所述第一标准帧图像，进行标准帧关键点的检测，确定所述非标准帧图像m的关键点p_m＝[p0,p1,
……
,pn]，将所述非标准帧图像m的关键点p_m标准帧ln-standard的标准帧关键点进行匹配，得到标准帧图像与非标准帧图像之间的第二空间转换关系ln-m。
[0104]
步骤720，根据所述第二空间转换关系和所述第一空间转换关系，确定所述球场仿真模型与所述非标准帧图像之间的第三空间转换关系；
[0105]
步骤730，根据所述第三空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
[0106]
该实施例中，根据所述第二空间转换关系ln-m和所述第一空间转换关ln-k，通过球场关键点p_model与所述非标准帧图像m的关键点p_m进行匹配，确定所述球场仿真模型与所述非标准帧图像之间的第三空间转换关系ln-model，并根据所述第三空间转换关系ln-model的转换关系和所述第一位置，对所述非标准帧图像m的图像空间进行植入广告。
[0107]
可选的，步骤730，包括：
[0108]
步骤731，根据所述第三空间转换关系，确定所述非标准帧图像在所述球场仿真模型中所覆盖的第一区域范围；
[0109]
该实施例中，根据所述第三空间转换关系ln-model，对当前非标准帧图像m的图像空间，转换到所述球场仿真模型model中，得到非标准帧图像m所在视觉空间在所述球场仿真模型model中所覆盖的第一区域范围m-area＝(x1,y1),(x2,y2),
……
(xn,yn)]。
[0110]
步骤732，根据所述第一区域范围，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围；
[0111]
步骤733，根据所述第二区域范围和所述第一位置，对所述待植入广告视频进行植入广告。
[0112]
需要说明的是，所述第一区域范围和所述第二区域范围可以理解为当前的视频帧图像所包含的球场大小，小于或者等于所述球场关键点确定的球场范围，所述区域范围的形状可以根据当前镜头下的视频内容的需要进行确定，例如可以为矩形、正四边形、圆形以及扇形等等。
[0113]
该实施例中，为了解决帧间关键点抖动的问题，本发明可以采用点位配准的方式，根据所述第一区域范围，预测下一帧图像在所述球场仿真模型中的第二区域范围，即以前一帧的关键点作为基准，在当前帧检测出来的关键点周围搜索寻找跟上一帧对应的点位最匹配的位置，来保证整个广告植入方案视觉效果。
[0114]
本发明根据镜头分类得到的标准帧作为后续帧转换的基准，计算镜头下的确定每个镜头下在所述仿真模型中的第一区域范围与广告投放的位置关系，进行广告投放。其相比基于真实球场仿真模型匹配方案，标准帧的图像空间与后续帧的图像空间更为相似，且可作为后续帧关键点检测的基准帧，其空间转换矩阵计算更为精确，有利于广告粘贴的精确性。
[0115]
可选的，所述步骤732，包括：
[0116]
步骤7321，根据所述待植入广告视频，确定视频帧图像对应的时间序列；所述时间序列包括每一帧图像对应的区域范围；
[0117]
步骤7322，根据所述时间序列和所述第一区域范围，确定所述非标准帧图像在所述球场仿真模型中的移动速度；
[0118]
步骤7323，根据所述移动速度，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围。
[0119]
该实施例中，建立视频帧图像对应的时间序列，所述时间序列包括每一帧图像对应的区域范围，表示为：list_area＝[m-area1,m-area2,
……
,m-arean]，根据前后帧的区域的点，计算所述镜头归类后，所述第一区域范围对应的非标准帧图像所在的视觉空间在所述球场仿真模型model中移动的速度，记为v，根据所述第一区域范围对应的非标准帧图像的m-area和速度v，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围m-area’。
[0120]
可选的，所述步骤733，包括：
[0121]
步骤7331，根据所述第二区域范围和所述第一位置，确定所述第二区域范围和所述第一位置之间的位置关系；
[0122]
步骤7332，根据所述位置关系，进行植入广告。
[0123]
该实施例中，结合所述球场仿真模型model中的第一位置d_ad，判断第一位置d_ad与所述第二区域范围m-area’的位置关系，其存在以下情况：完全包含，存在交集(不完全包含)，无交集。依据其位置关系，判断广告的粘贴时机和广告的类型。本发明依据所述球场仿真模型model中的广告坐标范围，结合计算得到的变换信息，得到转换后的基于拍摄视角的广告变换图与坐标，为后续广告迁移提供位置与图像基础。
[0124]
上述技术方案中，本发明根据非标准图像与球场仿真模型的空间关系，将非标准图像所展示的区域范围转换到球场仿真模型中，并建立区域监控列表，计算区域移动的速度和位置，对镜头显示的区域进行实时监控。结合球场中需投放广告的位置信息，确定广告投放的时机和广告投放的类型，增加广告投放的多样性，使广告投放的时间管理更加精细化。
[0125]
具体地，所述位置关系为所述第二区域范围和所述第一位置无交集时，所述步骤7332，包括：
[0126]
根据所述位置关系，确定广告的粘贴时机和广告的类型；
[0127]
根据所述广告的粘贴时机和所述广告的类型，进行植入广告。
[0128]
该实施例中，所述第一位置关系为所述第二区域范围和所述第一位置无交集时，依据其位置关系，判断广告的粘贴时机和广告的类型。即可根据实际情况进行广告的替换与选型，增加广告投放的多样性。
[0129]
具体地，所述位置关系为所述第二区域范围完全包含所述第一位置时，所述步骤7332，包括：
[0130]
根据所述位置关系，确定所述第二区域范围对应的帧图像为更新后标准帧图像；
[0131]
该实施例中，根据当前图像显示区域在所述球场仿真模型model中的位置，结合广告需要植入的位置，将区域完全包含广告的第一帧更新为该镜头下的标准帧，对标准帧进行实时的更新，即所述第二区域范围完全包含所述第一位置时对应的视频帧图像确定为更新后标准帧图像，使标准帧更加符合转换的要求。也可以理解为，将完全包含的第一帧进行其镜头分类下的标准帧替换，记为lmn-standard’(此为更新后标准帧图像)。
[0132]
根据所述更新后标准帧图像、所述第一空间转换关系和所述第二空间转换关系，确定所述第二区域范围对应的帧图像在所述球场仿真模型对应植入广告的第二位置；
[0133]
该实施例中，根据上述确定的第一空间转换关系ln-k和所述第一位置d_ad，进行空间转换，确定标准帧图像对应的广告位置d_ad’，再根据所述第二空间转换关系ln-m和所述广告位置d_ad’确定所述第二区域范围对应的帧图像在所述球场仿真模型对应植入广告的第二位置d_ad_m。
[0134]
确定所述第二区域范围对应的帧图像的第一素材图层和待植入广告的第二素材图层；
[0135]
将所述第一素材图层、所述第二素材图层和所述第二位置层级融合，进行植入广告。
[0136]
该实施例中，确定所述第二区域范围对应的帧图像的第一素材图层，即人物和球体信息进行检测和轮廓掩码的提取，以及确定待植入广告的第二素材图层的提取，即广告图像的提取，最终，结合所述第二位置d_ad_m，广告图像(所述第二素材图层)，当前非标准
帧图像中的人物、球体的轮廓掩码(第一素材图层)，将多者按照一定的层级关系进行融合(泊松融合等融合方式，方式不限)，得到最终的广告呈现效果，完成植入广告。
[0137]
需要说明的是，本发明依据得到的待转换广告区域，利用分类网络对广告区域的图像进行人像是否存在的判别，若无人物信息，则直接进行广告的粘贴，若有人物信息，则进行后续的人像分割操作，此操作可提高整体方案的运行速度，使其具备实时性。
[0138]
还需要说明的是，本发明通过人像分割算法，将人像与背景分离，通过球体检测算法对球体进行分离，最终将广告图、人像、球体、背景进行分层融合，这里，因进行了人像与球体检测识别，因此广告不会对视频内容造成遮挡，影响观看质量；且广告的投放能根据用户需求进行图案内容定制化、时间投放定制化、时间长短定制化等。
[0139]
在具体实施例中，本发明的广告投放是基于真实球场场景建模，并将广告依据需求投放在固定的球场仿真模型位置中，并对视频进行镜头分类，为每一种镜头建立广告空间转换的标准帧，为后续帧提供更为精准的空间参考，同时结合镜头分类与视频镜头下当前区域图像在真实球场仿真模型中的区域范围，计算出广告投放的时机与类型，实现广告的不同视角、不同时机的精确迁移，同时对球场中的人与球进行检测识别，防止广告遮挡视频内容，使广告逼真的嵌入到视频中。
[0140]
综上所述，本发明在广告投放上有以下优点：
[0141]
本发明是对多镜头进行标准帧的选取，为后续帧提供了一个精准的变换空间模版，广告投放精度得以提升；本发明根据镜头分类与当前视频镜头图像在真实球场仿真模型中的区域范围，可精确计算出广告投放的时机与类型，让广告投放时间把控更加自由，投放手段更加丰富；本发明根据镜头视角范围与广告的位置，更新对应镜头下的标准帧，提升了广告空间转换的精度，使广告粘贴更加逼真；本发明投放的广告能根据视频中视角不同进行调整，使广告随着视角的位置而改变，固定的投放在球场的固有位置上，使广告投放无违和感。
[0142]
可选的，所述步骤200中，确定所述待植入广告视频对应的每个镜头下的标准帧图像，还包括：
[0143]
确定所述待植入广告视频对应的每个镜头下的标准帧图像，还包括：
[0144]
获取所述待植入广告视频对应的摄像机位置信息、对应的当前镜头下的图像信息；
[0145]
在满足以下任一预设条件时，更新当前镜头下的图像信息所对应的标准帧；
[0146]
其中，所述预设条件为：
[0147]
所述当前镜头下的图像信息的分辨率低于第一预设范围；
[0148]
该实施例中，在根据所述待植入广告视频对应的当前镜头下的图像信息确定所述当前镜头视角所对应的标准帧时，可以理解在，在当前镜头视角一镜到底的情况下，所述当前镜头视角的分辨率低于第一预设范围，即当前镜头视角的清晰度低于阈值时，更新所述当前镜头视角所对应的标准帧。所述第一预设范围为关于视频分辨率的预设范围值，可根据具体需求设置。
[0149]
所述待植入广告视频对应的当前镜头切换；
[0150]
这里，在镜头切换时，更新所述当前镜头视角所对应的标准帧。
[0151]
所述对应的摄像机位置信息超出第一预设距离。
[0152]
需要说明的是，在当前镜头视角一镜到底，从球场的最左边移动向最右边移动的情况下，当远离球场的最左边的球场关键点，直至超出第一预设距离，即对应的摄像机位置信息发生切换时，更新所述当前镜头视角所对应的标准帧。所述第一预设距离为关于距离的预设值，例，将真实球场确定为四个球场关键点，即真实球场的四个角，依次记作a、b、c、d点，所述第一预设距离为位于每个角设置的预设距离值。
[0153]
本发明基于真实球场信息建模，其结合了视频镜头的切换，并基于球场模拟位置的定位，确定广告粘贴时机与类型，寻找最佳转换标准帧，实现精细化时间管理、真实化球场广告精准投放。
[0154]
如图2所示，在一具体的整体流程图中，所述方法包括：
[0155]
根据真实球场数据进行建模，确定球场关键点p_model和第一位置d_ad；对于输入的直播球赛视频video，建立镜头类型列表l_list，对获取的每一帧进行镜头的分类；为每一个镜头进行标准lmn-standard的初始化：取该镜头下广告完整出现在画面中的第一帧作为初始化标准帧，将标准帧的第二关键点与真实球场仿真模型中的关键点进行匹配，建立球场仿真模型与标准帧之间的第一空间转换关系ln-k，进行广告空间的转换，得到标准帧下的广告位置d_ad’。
[0156]
对于视频video的每一帧非标准帧图像m，进行对应的镜头类型归类，归属到l_list中，确定属于该镜头的标准帧ln-standard，对m进行对应关键点的检测，得到p_m，与标准帧ln-standard的关键点进行匹配，得到标准帧与当前非标准帧图像m的空间转换关系；与球场仿真模型model中的球场关键点p_model进行匹配，得到球场仿真模型与当前非标准帧图像m的空间转换关系ln-model。
[0157]
根据ln-model的转换关系，对当前非标准帧图像m的图像空间，转换到球场仿真模型model中，得到非标准帧图像m所在视觉空间在球场仿真模型model中所覆盖的范围m-area。
[0158]
建立时间序列list_area，根据前后帧的区域的点，计算非标准帧图像m所在的视觉空间在球场仿真模型model中移动的速度v，根据当前非标准帧图像m的m-area和速度v，推断下一帧的m-area’，结合球场仿真模型model中的第一位置d_ad，判断d_ad与m-area’的位置关系，然后依据其位置关系，判断广告的粘贴时机和广告的类型。
[0159]
当d_ad与m-area’的位置关系为完全包含时，将完全包含的第一帧m’进行其镜头分类下的标准帧替换，记为lmn-standard’。
[0160]
根据标准帧与当前非标准帧图像m的第二空间转换关系ln-m进行广告的图像空间的转换，将当前非标准帧图像m中的人物和球体信息进行检测和轮廓掩码的提取，标准帧中的广告位置d_ad’经过ln-m的空间转换关系得到当前图像需粘贴的第二位置d_ad_m。
[0161]
结合第二位置d_ad_m，广告图像，当前非标准帧图像m中的人物、球体的轮廓掩码，将多者按照一定的层级关系进行融合得到最终的广告呈现效果。
[0162]
综上所述，本发明的视频的广告植入方法，可实现海量视频的批量自动化分析，视频广告投放效率高；并且可以根据广告投放的需求在同一视频植入不同的广告内容，可重复利用率高；另外，整体方案处理耗时不高于30ms，可保证实时处理；并且支持图片广告多种形式的植入，同时不受限于广告内容，投放内容灵活性大。
[0163]
如图3所示，本发明的可选实时例提供一种广告植入装置，包括：
[0164]
获取模块10，用于获取球场仿真模型对应的球场关键点，以及对应植入广告的第一位置；
[0165]
第一处理模块20，用于获取待植入广告视频，确定所述待植入广告视频对应的每个镜头下的标准帧图像，所述标准帧图像为每个镜头下首次出现植入广告的视频帧图像；
[0166]
第二处理模块30，用于根据所述标准帧图像和球场关键点，确定所述球场仿真模型与所述标准帧图像之间的第一空间转换关系；
[0167]
第三处理模块40，用于根据第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
[0168]
可选的，所述第一处理模块20，包括：
[0169]
第一确定子模块，用于依据镜头类别对所述待植入广告视频进行分类，确定n个镜头类型对应的视频数据；n为大于或等于1的整数；
[0170]
建立子模块，用于根据n个视频数据，建立n个镜头类型对应的视频数据列表；
[0171]
第二确定子模块，用于根据所述视频数据列表，确定每个镜头下的所述标准帧图像。
[0172]
可选的，所述装置还包括：
[0173]
第二获取模块，用于获取所述待植入广告视频的非标准帧图像；所述非标准帧图像为所述非标准帧图像中除所述标准帧图像的其它图像；
[0174]
第一确定模块，用于根据所述非标准帧图像和所述视频数据列表，确定非标准帧图像对应镜头下的第一标准帧图像；
[0175]
第四处理模块，用于根据所述第一标准帧图像、所述第一空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
[0176]
可选的，所述第四处理模块，包括：
[0177]
第三确定子模块，用于根据所述非标准帧图像和所述第一标准帧图像，确定每个镜头下的标准帧图像与非标准帧图像之间的第二空间转换关系；
[0178]
第四确定子模块，用于根据所述第二空间转换关系和所述第一空间转换关系，确定所述球场仿真模型与所述非标准帧图像之间的第三空间转换关系；
[0179]
第五确定子模块，用于根据所述第三空间转换关系和所述第一位置，对所述待植入广告视频进行植入广告。
[0180]
可选的，所述第五确定子模块，包括：
[0181]
第一确定单元，用于根据所述第三空间转换关系，确定所述非标准帧图像在所述球场仿真模型中所覆盖的第一区域范围；
[0182]
预测单元，用于根据所述第一区域范围，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围；
[0183]
第一处理单元，用于根据所述第二区域范围和所述第一位置，对所述待植入广告视频进行植入广告。
[0184]
可选的，所述预测单元，包括：
[0185]
第一确定子单元，用于根据所述待植入广告视频，确定视频帧图像对应的时间序列；所述时间序列包括每一帧图像对应的区域范围；
[0186]
第二确定子单元，用于根据所述时间序列和所述第一区域范围，确定所述非标准
帧图像在所述球场仿真模型中的移动速度；
[0187]
预测子单元，用于根据所述移动速度，预测下一帧图像在所述球场仿真模型中所覆盖的第二区域范围。
[0188]
可选的，所述第一处理单元，包括：
[0189]
第三确定子单元，用于根据所述第二区域范围和所述第一位置，确定所述第二区域范围和所述第一位置之间的位置关系；
[0190]
第一处理子单元，用于根据所述位置关系，进行植入广告。
[0191]
可选的，所述位置关系为所述第二区域范围和所述第一位置无交集时，所述第一处理子单元具体用于：
[0192]
根据所述位置关系，确定广告的粘贴时机和广告的类型；
[0193]
根据所述广告的粘贴时机和所述广告的类型，进行植入广告。
[0194]
可选的，所述位置关系为所述第二区域范围完全包含所述第一位置时，所述第一处理子单元具体用于：
[0195]
根据所述位置关系，确定所述第二区域范围对应的帧图像为更新后标准帧图像；
[0196]
根据所述更新后标准帧图像、所述第一空间转换关系和所述第二空间转换关系，确定所述第二区域范围对应的帧图像在所述球场仿真模型对应植入广告的第二位置；
[0197]
确定所述第二区域范围对应的帧图像的第一素材图层和待植入广告的第二素材图层；
[0198]
将所述第一素材图层、所述第二素材图层和所述第二位置层级融合，进行植入广告。
[0199]
可选的，所述第一处理模块20，还包括：
[0200]
获取单元，用于获取所述待植入广告视频对应的摄像机位置信息、对应的当前镜头下的图像信息；
[0201]
更新单元，用于在满足以下任一预设条件时，更新当前镜头下的图像信息所对应的标准帧；
[0202]
其中，所述预设条件为：
[0203]
所述当前镜头下的图像信息的分辨率低于第一预设范围；
[0204]
所述待植入广告视频对应的当前镜头切换；
[0205]
所述对应的摄像机位置信息超出第一预设距离。
[0206]
可选的，所述装置还包括：
[0207]
第三获取模块，用于获取球场场地信息和和待植入的广告信息；
[0208]
第二确定模块，用于根据所述球场场地信息，确定球场关键点，以及，根据所述待植入的广告信息，确定植入广告的位置；
[0209]
构建模块，用于根据所述球场关键点和所述植入广告的位置，构建球场仿真模型。
[0210]
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的广告植入方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0211]
其中，所述处理器为上述实施例中所述的广告植入方法中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，简称rom)、随
机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0212]
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
[0213]
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
[0214]
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(vlsi)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
[0215]
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
[0216]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。