广告投放区域识别方法及装置与流程
本发明涉及视频处理技术领域，尤其涉及广告投放区域识别方法及装置。
背景技术：
在我们观看视频的时候常常会看到在视频画面中投放出的多个植入广告，有的广告会投放在视频画面的中央，让人非常反感；有的广告会投放在视频画面的字幕上，影响了人们的正常观影；而有的广告会投放在视频画面的边缘，人眼来不及看就会消失等等，上述情况的广告均不能起到很好的宣传效果。因此，如何在视频画面中合适地植入广告，并无缝地融入到视频中起到良好的宣传效果成为了业界的一个难题。
在视频文件的拍摄过程中，可能采取不同的姿势来进行拍摄，镜头可能会拉伸造成对象尺度的变化；镜头可能会移动，例如平移或转圈等，造成对象角度的变化。而对于当今的影视内容，拍摄手法多样，镜头切变剧烈，渐变丰富，另外还有及其个别的剧烈摇晃的镜头，这对视频区域的检测带来非常大的挑战。
目前，常采用视频区域检测技术，在这种技术中，首先要切分视频帧，然后分析视频帧中的对象，最后确定适合投放广告的位置，另外，业界也常用VID检测技术来对视频画面进行检测，但是，VID只针对静止的图像，无法提取视频中的动态画面。鉴于在视频处理中，只有对宏块进行分析和 操作才能准确的选出广告投放对象，但是，要达到上述目标，需要对每一帧视频都进行复杂度非常大的计算，即使目前性能突出的Faster-R-CNN的计算速度也就是198ms每帧，相当于5帧/秒fps，而一般实时最低是25～30帧/秒，50场/秒，工业摄像设备的是几百fps。因此，上述算法均难以在视频画面中有效找到适合投放广告的区域。
技术实现要素：
有鉴于此，本发明实施例的目的在于提供了广告投放区域识别方法及装置，通过将视频画面分为多个宏块来计算合适的广告投放区域，简化了算法。
第一方面，本发明实施例提供了广告投放区域识别方法，包括：
计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，其中，索引值根据编码模式计算得来；
将选定区域分为多个单区域，计算每个单区域的空间频率参数、渐变参数和活跃性参数，并根据空间频率参数、渐变参数和活跃性参数分别将每个单区域转换为频率区域、渐变区域和活跃性区域；
判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，当上述判断均为是时，对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置；
根据索引值对选定区域进行扫描，依据扫描的结果获取广告投放区域。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算当前视频画面中每个宏块的索引值，根据索引值构建选定区域包括：
根据权利要求1所述的广告投放区域识别方法，其特征在于，所述计算当前视频画面中每个宏块的索引值，根据所述索引值构建选定区域包括：
根据预设的编码模式得出视频画面中每个宏块的索引值；
横向选取索引值为连续的第一数值或第二数值的宏块作为第一边长；
以所述第一边长左侧的端点为顶点，纵向选取索引值为连续的第一数值或第二数值的宏块长度作为第二边长；
根据所述第一边长和所述第二边长构建选定区域。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，计算每个单区域的空间频率参数，并转换为频率区域包括：
对每个宏块进行离散余弦变换，得到变换系数Vi；
将变换系数Vi进行扫描，得到扫描序号Idxi；
分别计算每个宏块的空间频率参数：其中，|Vi|为变换系数Vi的绝对值，Idxi为扫描序号，CF为固定数值，n为4或8；
比较每个宏块的空间频率参数与预先设定的标准频率值的大小，当SF的值大于预先设定的标准频率值时，设置宏块的索引值为第一常数，当SF的值小于或等于预先设定的标准频率值时，设置宏块的索引值为第二常数；
由上述索引值为第一常数或第二常数的宏块得到频率区域。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，计算每个单区域的渐变参数，并转换为渐变区域包括：
计算单区域内宏块的阿尔法通道值
计算每个宏块的渐变参数其中，n为单区域内宏块的个数；
将渐变参数与标准渐变值进行比对，当渐变参数大于标准渐变值时，设置宏块的索引值为第一常数，当渐变参数小于或等于标准渐变值时，设置宏块的索引值为第二常数；
由上述索引值为第一常数或第二常数的宏块得到渐变区域。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方 式，其中，计算每个单区域的活跃性参数，并转换为活跃性区域包括：
提取每个宏块在X轴的运动矢量Xv和Y轴的运动矢量YV；
计算每个宏块的活跃性参数其中，CT为一个常数；
比较活跃性参数与标准活跃性值的大小，当活跃性参数小于标准活跃性值时，设置宏块的索引值为第一常数，当活跃性参数大于或等于标准活跃性值时，设置宏块的索引值为第二常数；
由上述索引值为第一常数或第二常数的宏块得到活跃性区域。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，判断每个单区域的频率区域、渐变区域和活跃性区域是否重合包括：
计算每个单区域的重叠系数其中，T为频率区域中宏块的索引值集合，A为渐变区域中宏块的索引值集合，P为活跃性区域中宏块的索引值集合；
判断θc是否大于预先设定的重合系数；
当上述判断为是时，判定每个单区域的频率区域、渐变区域和活跃性区域重合。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置包括：
对选定区域进行边缘检测，得到检测数值；
比较检测数值与预先设定的边缘值的大小，当检测数值大于预先设定的边缘值时，将宏块的索引值设置为0，当检测数值小于或等于预先设定的边缘值时，将宏块的索引值设置为1。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方 式，其中，对选定区域进行扫描，根据扫描的结果获取广告投放区域包括：
从选定区域的左上顶点或右下顶点计算全零游程，选取全零游程中两条最长的折线上的四个顶点，分别定义为PLB、PRT、PLT、PRB，其中，PLB和PRT确定一条线段La，PLT和PRB确定一条线段Lb；
取La和Lb的交点为菱形的中心Pc，Pc与PLB形成第一边长，Pc与PRT形成第二边长，取第一边长和第二边长中较短的边长为第一菱形边长，Pc与PLT形成第三边长，Pc与PRB形成第四边长，取第三边长和第四边长中较短的边长为第二菱形边长，以第一菱形边长、第二菱形边长和Pc组建成菱形；
根据第一菱形边长、第二菱形边长和Pc计算菱形的夹角。
结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，方法还包括：
当所述第一菱形边长、第二菱形边长和Pc无法组建成菱形时，调整所述标准频率值、标准渐变值、标准活跃性值或者重合系数的大小，使所述第一菱形边长、第二菱形边长和Pc组建成菱形。
第二方面，本发明实施例提供了广告投放区域识别装置，包括：选定区域构建模块，用于计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，其中，索引值根据编码模式计算得来；
区域划分模块，用于将选定区域分为多个单区域，计算每个单区域的空间频率参数、渐变参数和活跃性参数，并根据空间频率参数、渐变参数和活跃性参数分别将每个单区域转换为频率区域、渐变区域和活跃性区域；
重合判定模块，用于判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，当上述判断均为是时，对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置；
扫描模块，用于根据索引值对选定区域进行扫描，依据扫描的结果获取广告投放区域。
本发明实施例提供的广告投放区域识别方法及装置，其中，该广告投放区域识别方法包括：计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，将选定区域分为多个单区域，计算每个单区域的空间频率参数、渐变参数和活跃性参数，并根据空间频率参数、渐变参数和活跃性参数分别将每个单区域转换为频率区域、渐变区域和活跃性区域，判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，当上述判断均为是时，对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置，根据索引值对选定区域进行扫描，依据扫描的结果获取广告投放区域。上述算法计算简单，并能快速有效的得到准确的广告投放区域。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的广告投放区域识别方法的流程图；
图2示出了本发明实施例所提供的选定区域的示意图；
图3示出了本发明实施例所提供的对选定区域进行扫描的示意图；
图4示出了本发明实施例所提供的广告投放区域识别装置的结构连接图。
图标：1-选定区域构建模块；2-区域划分模块；3-重合判定模块；4-扫描模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在视频的拍摄过程中，常常会采取不同的姿势来进行拍摄，加上拍摄手法的多样，使得视频画面的平滑度和边缘都难以判定，如果想将广告投放在视频文件中，需要对视频区域进行极其复杂的检测。目前有VID等检测技术来对视频画面进行检测，不仅算法复杂，而且也难以准确的找到广告投放区域。
基于此，本发明实施例提供了广告投放区域识别方法及装置，下面通过实施例进行描述。
实施例1
如图1所示，本实施例提出的广告投放区域识别方法包括以下具体步骤：
步骤S101：计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，其中，索引值根据编码模式(例如，在H.264码流中，SKIP模式索引值为0，16x16模式索引值为1，场编码模式为21)计算得来，具 体包括：
(1)根据预设的编码模式得出视频画面中每个宏块的索引值，根据场编码模式得到当前视频画面的各个索引值，如图2所示，通过编码得到一个11*15的索引值表。
(2)横向选取索引值为连续的第一数值或第二数值的宏块作为第一边长，参见图2，第一数值和第二数值分别取值为0或1，在索引值表的横向方向上，在4个连续的0后有4个连续的1，之后索引值为2，故横向选取8个宏块作为第一边长。
(3)以第一边长左侧的端点为顶点，纵向选取索引值为连续的第一数值或第二数值的宏块作为第二边长，如图2所示，以左上角的索引值为0的宏块作为顶点，纵向选取索引值为连续的0或1的10个宏块作为第二边长。
(4)如图2所示，根据第一边长和第二边长构建选定区域。当以第一边长和第二边长无法构建成矩形的选定区域时，以第一边长左侧的端点为顶点，纵向选取索引值为连续的第一数值或第二数值最小的宏块长度作为第二边长，以所述第二边长的各个宏块为中心，横向向两边拓展，选取索引值为连续的第一数值或第二数值的宏块，把长度最小的作为第三边长，根据第三边长和第二边长构建选定区域。在具体实施过程中，一般会在外围设定一个一定像素宽的包围轮廓(例如16个像素宽)。
步骤S102：将选定区域分为多个单区域，一方面是为了便于计算，将上述选定区域分为多个单区域，另一方面，为了对选定区域进行细化，以更准确的计算各个参数，之后，计算每个单区域的空间频率参数、渐变参数和活跃性参数，并根据空间频率参数、渐变参数和活跃性参数分别将每个单区域转换为频率区域、渐变区域和活跃性区域，以衡量该单区域的平滑性和活跃性等参数，具体包括：
(1)计算每个单区域的空间频率参数，并转换为频率区域，具体包括：
对每个宏块进行离散余弦变换，得到变换系数Vi；
将变换系数Vi进行扫描，得到扫描序号Idxi；
本发明采用zigzag顺序对各个dct系数绝对值及其对应的zigzag的索引进行乘积得到空间频率，分别计算每个宏块的空间频率参数： 其中，|Vi|为变换系数Vi的绝对值，Idxi为扫描序号，CF为固定数值，优选，CF取值为(n+1)2，n为4或8；
比较每个宏块的空间频率参数与预先设定的标准频率值的大小，其中，标准频率值为根据空间频率参数得到的参考值，当SF的值大于预先设定的标准频率值时，设置宏块的索引值为第一常数，当SF的值小于或等于预先设定的标准频率值时，设置宏块的索引值为第二常数，其中，常见，第一常数为0，第二常数为1；
由上述索引值为第一常数或第二常数的宏块得到频率区域。
(2)计算每个单区域的渐变参数，并转换为渐变区域，具体包括：
计算单区域内宏块的阿尔法通道值
计算每个宏块的渐变参数其中，n为单区域内宏块的个数；
将渐变参数与标准渐变值进行比对，当渐变参数大于标准渐变值时，其中，标准渐变值为根据渐变参数得到的参考值，设置宏块的索引值为第一常数，当渐变参数小于或等于标准渐变值时，设置宏块的索引值为第二常数，其中，常见，第一常数为0，第二常数为1；
由上述索引值为第一常数或第二常数的宏块得到渐变区域。
(3)计算每个单区域的活跃性参数，并转换为活跃性区域，具体包括：
提取每个宏块在X轴的运动矢量Xv和Y轴的运动矢量YV；
计算每个宏块的活跃性参数其中，CT为一个常数，优 选取值为5；
比较活跃性参数与标准活跃性值的大小，其中，标准活跃性值为根据活跃性参数得到的参考值，当活跃性参数小于标准活跃性值时，设置宏块的索引值为第一常数，当活跃性参数大于或等于标准活跃性值时，设置宏块的索引值为第二常数，其中，常见，第一常数为0，第二常数为1；
由上述索引值为第一常数或第二常数的宏块得到活跃性区域。
步骤S103：判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，当上述判断均为是时，对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置，具体包括：
(1)判断每个单区域的频率区域、渐变区域和活跃性区域是否重合包括：
计算每个单区域的重叠系数其中，T为频率区域中宏块的索引值集合，A为渐变区域中宏块的索引值集合，P为活跃性区域中宏块的索引值集合；
通过上述计算，判断θc是否大于预先设定的重合系数，优选，预先设定的重合系数取值为0.8；
当上述判断为是时，判定每个单区域的频率区域、渐变区域和活跃性区域重合。
(2)对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置包括：
如图3所示，对选定区域进行Sobel边缘检测，得到检测数值，以使得到的区域不靠近视频画面的边缘；
比较检测数值与预先设定的边缘值的大小，当检测数值大于预先设定的边缘值时，将宏块的索引值设置为0，当检测数值小于或等于预先设定的边缘值时，将宏块的索引值设置为1。
步骤S104：根据索引值对选定区域进行扫描，依据扫描的结果获取广告投放区域，具体包括：
(1)对选定区域进行扫描，这里，所述扫描为2次zigzag扫描，其中，一次扫描从选定区域的左上顶点开始，另一次扫描从选定区域的右下顶点开始，根据扫描的结果获取广告投放区域。
(2)从选定区域的左上顶点或右下顶点计算全零游程，选取全零游程中两条最长的折线上的四个顶点，分别定义为PLB、PRT、PLT、PRB，其中，PLB和PRT确定一条线段La，PLT和PRB确定一条线段Lb。
(3)取La和Lb的交点为菱形的中心Pc，Pc与PLB形成第一边长，Pc与PRT形成第二边长，取第一边长和第二边长中较短的边长为第一菱形边长，Pc与PLT形成第三边长，Pc与PRB形成第四边长，取第三边长和第四边长中较短的边长为第二菱形边长，以第一菱形边长、第二菱形边长和Pc组建成菱形。
(4)根据第一菱形边长、第二菱形边长和Pc计算菱形的夹角。由于，视频画面在拍摄时是有一定的角度设计的，并不是贴于屏幕的平面，故计算出夹角，以方便广告的嵌入。
当根据(3)方法不能组建成菱形时，该方法还包括：
当所述第一菱形边长、第二菱形边长和Pc无法组建成菱形时，进行视频中的广告投放区域正样本采集，并按照主客观的视频复杂度进行正样本分类，计算样本的标准频率值、标准渐变值、标准活跃性值或者重合系数，按照上述样本值重复上述步骤。当所述第一菱形边长、第二菱形边长和Pc仍旧无法组建成菱形时，调整标准频率值、标准渐变值、标准活跃性值或者重合系数的大小，由于，标准频率值、标准渐变值、标准活跃性值或者重合系数都是根据计算结果算得的参考值，故可以进行数值的调整，这样通过调整后使第一菱形边长、第二菱形边长和Pc组建成菱形。
综上所述，本实施例提供的广告投放区域识别方法，包括：计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，依据索引值计算每个单区域的空间频率参数、渐变参数和活跃性参数，并将该单区域转换为频率区域、渐变区域和活跃性区域，判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，来检测视频画面的平滑度。并对选定区域进行边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置，根据索引值对选定区域进行扫描，依据扫描的结果获取广告投放区域。通过上述算法能在视频画面中，快速有效的找到适合广告投放的区域。
实施例2
如图4所示，本实施例提供了广告投放区域识别装置包括：选定区域构建模块1、区域划分模块2、重合判定模块3和扫描模块4，通过选定区域构建模块1来计算当前视频画面中每个宏块的索引值，并根据索引值构建选定区域，其中，索引值根据编码模式计算得来。
通过区域划分模块2将选定区域分为多个单区域，计算每个单区域的空间频率参数、渐变参数和活跃性参数，即通过这三个参数来分别衡量单区域的特性，并根据空间频率参数、渐变参数和活跃性参数分别将每个单区域转换为频率区域、渐变区域和活跃性区域。
由重合判定模块3判断每个单区域变换得到的频率区域、渐变区域和活跃性区域是否重合，当上述判断均为是时，对选定区域进行Sobel边缘检测，根据边缘检测的结果将选定区域内每个宏块的索引值重新进行设置，以判定当前的区域是否在视频画面的边缘位置。
扫描模块4，用于根据索引值对选定区域进行两次zigzag扫描，依据扫描的结果获取广告投放区域。
综上所述，本实施例提供的广告投放区域识别装置，通过设置上述选 定区域构建模块1、区域划分模块2、区域划分模块2和扫描模块4，使得根据视频画面中每个宏块的索引值来将每个单区域转换为频率区域、渐变区域和活跃性区域，通过比对当每个单区域变换得到的频率区域、渐变区域和活跃性区域重合时，来对视频画面的平滑度进行分析，通过对选定区域进行边缘检测使得视频画面的边缘和非边缘得以区分，并通过边缘检测的结果来对索引值重新进行设置，最后，通过扫描的结果来获取广告投放区域，通过这种算法能在视频画面中准确有效的选出适宜投放广告的区域。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！