一种基于计算机视觉的短视频沉浸式广告推广方法及系统与流程

1.本发明属于短视频数据挖掘技术领域，尤其涉及一种基于计算机视觉的短视频沉浸式广告推广方法及系统。


背景技术：

2.短视频已经成为当下最热门的传播形态，如何将短视频与广告有效结合也成为了一大热点。通过调研某短视频平台了解到，现阶段短视频与广告结合的形式大多以视频内容为介绍商品，并提供购买链接的方式。
3.目前短视频内容过于单一，经统计发现用户在观看此类短视频时停留时间较短，除此之外由于用户属于被动推广，导致目标消费人群不准确、广告推广效果不理想。


技术实现要素：

4.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于计算机视觉的短视频沉浸式广告推广方法及系统，用户在观看短视频(短视频内容不限于商品介绍)的过程中发现短视频中有自己感兴趣的物品，通过点击屏幕(物品所在位置)主动获得物品相关信息以及购买链接，能够准确向目标人群推送广告，提高了广告推广效果，增强了用户体验。
5.根据本发明的一个方面，本发明提供了一种基于计算机视觉的短视频沉浸式广告推广方法，所述方法包括以下步骤：
6.s1：用户终端向服务器发送请求，所述请求包括用户点击所述用户终端屏幕时画面所处帧数、以及点击位置坐标；
7.s2：所述服务器接收所述请求，根据画面所处帧数对短视频截取图像，对图像进行预处理，得到多目标识别结果；
8.s3：对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标；
9.s4：对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标；
10.s5：获取所述最终目标后，所述服务器将所述最终目标对应的产品信息进行广告推送，并调整该类产品与当前用户喜好相关度权值。
11.优选地，所述对图像进行预处理，得到多目标识别结果包括：
12.对图像进行归一化处理和压缩处理。
13.优选地，所述对图像进行预处理，得到多目标识别结果包括：
14.使用darknet53作为主干网络，在图像进入darknet53网络前对图像的rgb三个通道分别进行扩充，每间隔2个像素取一次值生成新的通道，将原来的三个通道扩充至27个通道；在多重感受野融合阶段对原算法进行改进，为每层感受野加入动态可学习权值。
15.优选地，所述对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标包括：
16.根据用户点击屏幕位置坐标与目标的欧氏距离、用户喜好与目标的相关度权值、目标分类概率值，采用xgboost、catboost两种模型加权投票的方式对所述多目标进行筛选，筛选出用户可能感兴趣的预选目标。
17.优选地，所述对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标包括：
18.根据目标类别对数据库中的数据进行过滤，过滤完成后将图像处理成单通道灰度图像，将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层，输出匹配程度，所述匹配程度最高的目标为最终目标。
19.根据本发明的另一个方面，本发明还提供了一种基于计算机视觉的短视频沉浸式广告推广系统，所述系统包括用户终端和服务器；其中，
20.所述用户终端用于：
21.向服务器发送请求，并接收所述服务器推送的广告，所述请求包括用户点击所述用户终端屏幕时画面所处帧数、以及点击位置坐标；
22.所述服务器用于：
23.接收所述请求，根据画面所处帧数对短视频截取图像，对图像进行预处理，得到多目标识别结果；
24.对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标；
25.对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标；
26.获取所述最终目标后，将所述最终目标对应的产品信息进行广告推送，并调整该类产品与当前用户喜好相关度权值。
27.优选地，所述对图像进行预处理，得到多目标识别结果包括：
28.对图像进行归一化处理和压缩处理。
29.优选地，所述对图像进行预处理，得到多目标识别结果包括：
30.使用darknet53作为主干网络，在图像进入darknet53网络前对图像的rgb三个通道分别进行扩充，每间隔2个像素取一次值生成新的通道，将原来的三个通道扩充至27个通道；在多重感受野融合阶段对原算法进行改进，为每层感受野加入动态可学习权值。
31.优选地，所述对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标包括：
32.根据用户点击屏幕位置坐标与目标的欧氏距离、用户喜好与目标的相关度权值、目标分类概率值，采用xgboost、catboost两种模型加权投票的方式对所述多目标进行筛选，筛选出用户可能感兴趣的预选目标。
33.优选地，所述对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标包括：
34.根据目标类别对数据库中的数据进行过滤，过滤完成后将图像处理成单通道灰度图像，将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层，输出匹配程度，所述匹配程度最高的目标为最终目标。
35.有益效果：本发明通过用户在观看短视频的过程中发现短视频中有自己感兴趣的物品，通过点击屏幕主动获得物品相关信息以及购买链接，能够准确向目标人群推送广告，
提高了广告推广效果，增强了用户体验。
36.通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
37.图1是基于计算机视觉的短视频沉浸式广告推广方法流程图；
38.图2加入动态学习权值示意图；
39.图3是采用xgboost、catboost两种模型进行加权投票筛选示意图；
40.图4是确定多目标的示意图；
41.图5是筛选多目标得到预选目标的示意图；
42.图6是确定最终目标并推送广告的示意图；
43.图7是基于计算机视觉的短视频沉浸式广告推广系统示意图。
具体实施方式
44.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.实施例1
46.图1是基于计算机视觉的短视频沉浸式广告推广方法流程图。如图1所示，本发明提供了一种基于计算机视觉的短视频沉浸式广告推广方法，所述方法包括以下步骤：
47.s1：用户终端向服务器发送请求，所述请求包括用户点击所述用户终端屏幕时画面所处帧数、以及点击位置坐标；
48.具体地，用户观看短视频过程中，通过点击屏幕向服务器端发送请求其中，传递参数包括画面所处帧数、以及点击位置坐标等。
49.s2：所述服务器接收所述请求，根据画面所处帧数对短视频截取图像，对图像进行预处理，得到多目标识别结果；
50.s3：对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标；
51.s4：对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标；
52.s5：获取所述最终目标后，所述服务器将所述最终目标对应的产品信息进行广告推送，并调整该类产品与当前用户喜好相关度权值。
53.本实施例通过用户在观看短视频的过程中发现短视频中有自己感兴趣的物品，通过点击屏幕主动获得物品相关信息以及购买链接，能够准确向目标人群推送广告，提高了广告推广效果，增强了用户体验。
54.优选地，所述对图像进行预处理，得到多目标识别结果包括：
55.对图像进行归一化处理和压缩处理。
56.具体地，服务器接收请求，根据画面所处帧数对短视频截取图像，对图像进行归一化处理并将图像压缩至416*416。
57.优选地，所述对图像进行预处理，得到多目标识别结果包括：
58.使用darknet53作为主干网络，在图像进入darknet53网络前对图像的rgb三个通道分别进行扩充，每间隔2个像素取一次值生成新的通道，将原来的三个通道扩充至27个通道；在多重感受野融合阶段对原算法进行改进，为每层感受野加入动态可学习权值。
59.具体地，使用darknet53作为主干网络，在图像进入darknet53网络前对图像的rgb三个通道分别进行扩充，每间隔2个像素取一次值生成新的通道，将原来的三个通道扩充至27个通道。在多重感受野融合阶段对原算法进行改进，为每层感受野加入动态可学习权值，如图2所示，动态学习权值，在原模型的基础上训练权值a和权值b，改进concat的方式，提升算法检测精度。通过以上优化提升算法检测精度。模型输出端采用一个分类分支和一个回归分支，采用smooth l1 loss函数作为损失函数。
60.darkenet53是yolov3网络中的一部分，其包括多个卷积模块和残差组件，每个残差组件有两个卷积层和一个快捷链路。
61.smooth l1公式为：
[0062][0063]
式中，x为预测和真实值的误差。
[0064]
整体损失函数具体为：
[0065][0066]
其中，x为中心点横坐标；y为纵坐标；w是宽；h是高；n1为图片输入到神经网络后会被分成n1*n1个网格，每个网格产生3个候选框，也就是遍历了所有候选框；λ
box
为正样本权重系数；λ
obj
为有目标权重系数；l
obj
为非0即1，判断是否为正样本；l
noobj
为非0即1，判断是否为负样本；λ
class
为分类权重系数；λ
noobj
为无目标本权重系数；p为预测分类概率；p'为样本分类概率；c为置信度；(tx-t'x)2+(ty-t'y)2是中心点坐标误差；(tw-t'w)2+(th-t'h)2是宽高误差。
[0067]
图4示出了多目标识别结果。
[0068]
优选地，所述对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目
标包括：
[0069]
根据用户点击屏幕位置坐标与目标的欧氏距离、用户喜好与目。标的相关度权值、目标分类概率值，采用xgboost、catboost两种模型加权投票的方式对所述多目标进行筛选，筛选出用户可能感兴趣的预选目标。
[0070]
具体地，参考图3，对多目标识别模型的结果进行筛选，筛选出用户最有可能感兴趣的目标，本实施例采用xgboost、catboost两种模型加权投票的方式对多目标进行筛选，两个模型分别采用5折交叉验证算法，十个结果分别乘以各自的权值然后进行投票，通过融合两个模型，提升算法检测精度。主要基于用户点击屏幕位置坐标与目标的欧氏距离、用户喜好与目标的相关度权值、目标分类概率值等参数进行筛选。图5是筛选多目标得到预选目标的示意图。
[0071]
优选地，所述对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标包括：
[0072]
根据目标类别对数据库中的数据进行过滤，过滤完成后将图像处理成单通道灰度图像，将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层，输出匹配程度，所述匹配程度最高的目标为最终目标。
[0073]
具体地，根据目标类别先对数据库中数据进行过滤，过滤完成后将图像处理成单通道灰度图像以便于提高效率。目标图像与数据库中图像叠加变成双通道矩阵后传入卷积层，模型输出为匹配程度，匹配程度最高的目标为最终目标。图6是确定最终目标并推送广告的示意图。
[0074]
通过本实施例，用户能够根据自己的喜好随时点击任意内容形式的短视频从而获得自己所感兴趣的物品的广告链接，确保广告的推广能够个性化，达到更好的推广效果，同时也给了用户很好的使用体验，避免被动被短视频平台推送一些并不感兴趣的物品广告。
[0075]
实施例2
[0076]
图7是基于计算机视觉的短视频沉浸式广告推广系统示意图。如图7所示，本发明还提供了一种基于计算机视觉的短视频沉浸式广告推广系统，所述系统包括用户终端和服务器；其中，
[0077]
所述用户终端用于：
[0078]
向服务器发送请求，并接收所述服务器推送的广告，所述请求包括用户点击所述用户终端屏幕时画面所处帧数、以及点击位置坐标；
[0079]
所述服务器用于：
[0080]
接收所述请求，根据画面所处帧数对短视频截取图像，对图像进行预处理，得到多目标识别结果；
[0081]
对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标；
[0082]
对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标；
[0083]
获取所述最终目标后，将所述最终目标对应的产品信息进行广告推送，并调整该类产品与当前用户喜好相关度权值。
[0084]
优选地，所述对图像进行预处理，得到多目标识别结果包括：
[0085]
对图像进行归一化处理和压缩处理。
[0086]
优选地，所述对图像进行预处理，得到多目标识别结果包括：
[0087]
使用darknet53作为主干网络，在图像进入darknet53网络前对图像的rgb三个通道分别进行扩充，每间隔2个像素取一次值生成新的通道，将原来的三个通道扩充至27个通道；在多重感受野融合阶段对原算法进行改进，为每层感受野加入动态可学习权值。
[0088]
优选地，所述对所述多目标识别结果进行筛选，筛选出用户可能感兴趣的预选目标包括：
[0089]
根据用户点击屏幕位置坐标与目标的欧氏距离、用户喜好与目标的相关度权值、目标分类概率值，采用xgboost、catboost两种模型加权投票的方式对所述多目标进行筛选，筛选出用户可能感兴趣的预选目标。
[0090]
优选地，所述对所述预选目标的目标图像和数据库中的图像进行处理，确定匹配程度最高的目标为最终目标包括：
[0091]
根据目标类别对数据库中的数据进行过滤，过滤完成后将图像处理成单通道灰度图像，将预选目标的目标图像与数据库中的图像叠加变成双通道矩阵后输入卷积层，输出匹配程度，所述匹配程度最高的目标为最终目标。
[0092]
本实施例2中用户终端和服务器所实现的功能的具体实施过程与实施例1中的实施过程相同，在此不再赘述。
[0093]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。