本发明涉及人工智能与机器学习，特别是涉及一种广告插入位置搜索方法及在视频上自动插入广告的方法。
背景技术：
1、如今，深度卷积神经网络(dcnn)在工业应用中越来越流行。特别是，它们用于在互联网网站、图像或视频上做广告。它们中的大多数只是检测广告替换所需的目标/对象。举个例子，如果一个社交媒体视频背景有一个图片框，dcnn可以自动检测到这个图片框。然后根据检测位置，就可以通过某软件自动替换这个图片框为某个广告(ad)。例如，如果dcnn在视频中检测到一张桌子，则该软件可以自动将某产品的图像作为广告放置在桌子上。
2、但是，某些图像或社交媒体视频中可能并不存在可被检测的可替换为广告的特定目标/对象。假设有一个视频，其中只有一个空白墙面(包括有空白部分的墙面)和一个人，其没有一个明显的可替换为广告的目标/对象能够被dcnn检测到。那么，想要利用dcnn在空白墙面上自动放置广告是很困难的。因为dcnn无法找到产品广告的适当替换位置。如果软件随机选取一个位置，该位置可能会不合理，在该位置替换成广告后，社交媒体视频的效果可能会很不理想，影响社交媒体视频用户的体验。
3、需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本发明的主要目的在于克服上述背景技术的缺陷，提供一种基于深度学习的插入位置搜索方法，以及一种在视频上自动插入广告的方法，能够自动地在视频中找到插入广告的适当位置，避免或减少广告的插入对视频观感的影响。
2、为实现上述目的，本发明采用以下技术方案：
3、在本发明的第一方面，一种广告插入位置搜索方法，包括如下步骤：
4、s1、识别视频图像中的人体区域；
5、s2、识别所述视频图像中的空白墙面区域；
6、s3、在所述视频图像中的所述空白墙面区域上确定所述广告插入位置，以使得所述广告插入位置与所述人体区域相交。
7、在一些实施例中，步骤s1中，使用神经网络来分割所述人体区域，所述神经网络以所述视频图像为输入，输出为人体的掩码图像mh(x，y)，所述掩码图像mh(x，y)的宽、高分别与所述视频图像i(x，y)的宽度w和高度h相同，x＝{0，1，…，w-1}和y＝{0，1，…，h-1}，所述掩码图像mh(x，y)中的像素值为：
8、非所述人体区域的像素mh(x，y)＝0；人体区域的像素mh(x，y)＝1
9、所述掩码图像mh(x，y)中的所述人体区域为：
10、rh(x，y)，当mh(x，y)＝1时。
11、在一些实施例中，步骤s2中，使用神经网络来分割所述空白墙面区域；所述神经网络以所述视频图像为输入，输出为所述空白墙面区域的掩码图像mw(x，y)，所述掩码图像(x，y)的宽、高分别与所述视频图像i(x，y)的宽度w和高度h相同，x＝{0，1，…，w-1}和y＝{0，1，…，h-1}，所述掩码图像mw(x，y)中的像素值为：
12、非所述空白墙面区域的像素mw(x，y)＝0；所述空白墙面区域的像素mw(x，y)＝1
13、所述掩码图像mw(x，y)中的所述空白墙面区域为：
14、rw(x，y)，当mw(x，y)＝1时。
15、在一些实施例中，步骤s3中，在所述空白墙面区域上确定一个适合插入所述广告的矩形区域。
16、在一些实施例中，步骤s3具体包括如下步骤：
17、步骤s31：对所述矩形区域的高度wr和宽度hr分别进行初始设置，并确定所述矩形区域的左上角坐标(x1，y1)、右上角坐标(x2，y2)、右下角坐标(x3，y3)和左下角坐标(x4，y4)的初始坐标位置；
18、步骤s32：以所述矩形区域的四个角坐标为基础，创建一个掩码图像mr(x，y)来标记所述矩形区域，所述矩形区域的掩码图像mr(x，y)的宽、高分别与所述视频图像的宽、高相同，所述掩码图像mr(x，y)中的像素值为：
19、非所述矩形区域的像素mr(x，y)＝0；所述矩形区域的像素mr(x，y)＝1
20、所述掩码图像mr(x，y)中的所述矩形区域为：
21、rr(x，y)，当mr(x，y)＝1时
22、然后，使用所述人体的掩码图像mh(x，y)和所述空白墙面区域的掩码图像mw(x，y)，来确定所述矩形区域的位置，其中：
23、所述人体区域与所述矩形区域相交的区域为：
24、r1＝rh∩rr
25、所述空白墙面区域与所述矩形区域相交的区域为：
26、r2＝rw∩rr
27、使得所述矩形区域的位置满足如下条件：
28、r1＝rr*n％，且r2＝rr*(100-n)％，0＜n＜100；
29、步骤s33：如果所述矩形区域不满足所述条件，在所述视频图像上移动所述矩形区域，在同一行上，使所述矩形区域从左向右移动，确定所述矩形区域的四个角的下一个位置，并计算所述矩形区域的新位置是否满足所述条件；
30、步骤s34：如果所述矩形区域仍然不满足所述条件，则移动到下一行，在所述下一行上使所述矩形区域从左向右移动并计算所述矩形区域的新位置是否满足所述条件；
31、重复步骤s33到步骤s34，直到找到满足所述条件的位置。
32、在一些实施例中，步骤s31中，所述矩形区域的高度wr和宽度hr分别初始设置为所述视频图像的高度和宽度的1/n：
33、wr＝w/n；hr＝h/n
34、所述矩形区域的左上角坐标位置的初始设置为所述视频图像的第一列和图像高度的1/n行，对于所述矩形区域的左上角坐标(x1，y1)、右上角坐标(x2，y2)、右下角坐标(x3，y3)和左下角坐标(x4，y4)，各自的初始坐标位置是：
35、xc1＝0；yd1＝h/n
36、xc2＝0+wr；yd2＝h/n
37、xc3＝0+wr；yd3＝(h/n)+hr
38、xc4＝0；yd4＝(h/n)+hr。
39、在一些实施例中，n＝4。
40、在一些实施例中，步骤s32中，使得所述矩形区域的位置满足如下条件：r1＝rr*n％，且r2＝rr*(100-n)％，且没有其他对象的区域占据该矩形区域。在一些实施例中：n＝20。
41、在一些实施例中，步骤s33中，如果所述矩形区域不满足所述条件，在所述视频图像上移动所述矩形区域，移动的距离为所述视频图像的宽度和高度的m％；在同一行上，所述矩形区域从左向右移动，所述矩形区域的四个角的下一个位置是：
42、xc+11＝xc1+w*m％；yd+11＝yd1
43、xc+12＝xc2+w*m％；yd+12＝yd2
44、xc+13＝xc3+w*m％；yd+13＝yd3
45、xc+14＝xc4+w*m％；yd+14＝yd4
46、其中，c代表列迭代，c表示前一列，c+1表示下一列；d代表行迭代，d表示前一行，d+1表示下一行；在一些实施例中，m＝2；
47、步骤s34中，如果所述矩形区域仍然不满足步骤s32的条件，则移动到下一行，确定所述矩形区域的四个角的下一个位置为：
48、xc+11＝xc1；yd+11＝yd1+h*m％
49、xc+12＝xc1；yd+12＝yd2+h*m％
50、xc+13＝xc1；yd+13＝yd3+h*m％
51、xc+14＝xc1；yd+14＝yd4+h*m％
52、在一些实施例中，m＝2。
53、在一些实施例中，步骤s3还包括如下步骤：
54、步骤s35：如果所述矩形区域仍然找不到满足所述条件的位置，则缩小所述矩形区域，再从初始位置到最后位置再次搜索；缩小尺寸后，重新设置所述矩形区域的初始位置，四个角位置变为：
55、xs+11＝xs1；ys+11＝ys1
56、xs+12＝xs2-d；ys+12＝ys2
57、xs+13＝xs3-d；ys+13＝ys3-d
58、xs+14＝xs4；ys+14＝ys4-d
59、其中，s代表尺寸迭代，s表示前一个尺寸，s+1是下一个尺寸；d代表缩小的尺寸为d个像素值；在一些实施例中，d＝2。
60、再重复进行步骤s33到步骤s35，直到找到满足所述条件的位置。
61、在一些实施例中，步骤s35中，在每个搜索迭代中所述缩小尺寸是减少d个像素值。
62、在一些实施例中，d＝2。
63、在一些实施例中，步骤s1至s3的位置搜索在所述视频的第一帧上运行，所确定的位置用于所述视频的所有帧。
64、在一些实施例中，步骤s1中，所述神经网络为modnet神经网络。
65、在一些实施例中，步骤s2中，所述神经网络为modnet神经网络。
66、在一些实施例中，所述神经网络使用预先收集和标记的空白墙面数据进行训练以获得权重。
67、在一些实施例中，所述神经网络使用预先收集和标记的空白墙面数据进行训练以获得权重，包括：收集空白墙面的视频图像作为数据集；创建一个alpha matte，用alphamatte的alpha值“0”标记背景像素，用值“1”以标记前景，用值“0.5”标记未知部分和前景与背景之间的边界；训练时，使用原始图像和相应的alpha matte，然后创建神经网络架构并加载预训练的权重；最后使用所述数据集来训练所述神经网络以获得空白墙面分割的权重。
68、在一些实施例中，所述视频为社交媒体视频。
69、在一些实施例中，所述广告为产品广告。
70、在本发明的第二方面，一种计算机可读存储介质，所述计算机可读存储介质存储的计算机程序由处理器运行时，实现所述的基于深度学习的产品广告插入位置搜索方法。
71、在本发明的第三方面，一种在视频上自动插入广告的方法，包括如下步骤：使用所述的广告插入位置搜索方法确定在所述视频上插入广告的位置，并在所述位置上插入所述广告。
72、在本发明的第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储的计算机程序由处理器运行时，实现所述的在视频上自动插入广告的方法。
73、本发明具有如下有益效果：
74、本发明提供一种基于深度学习的产品广告插入位置搜索方法，可以在社交媒体视频中的空白墙面部分上自动搜索合适的位置，进而可以在空白墙面的合适位置自动插入广告。通过使广告的插入位置与视频中的人体区域相交，广告的插入位置有一部分被人体遮挡，使得插入的广告在视频中能够以一种自然的方式表现出来，从而广告的插入不影响视频的观感，或至少降低对观感的影响，进而改善用户的体验。