本发明涉及iptv转播监测,具体是一种广播电视转播监测中的黑边识别方法及系统。
背景技术:
1、对于重大节目,如体育盛事等,需要各电视台转播。但是有些电视台,在转播中会在原画面中添加几个像素的黑边,添加方式也有平移、覆盖和缩放三种模式。对于观众来说,少量黑边并不影响观看,但是在用算法进行监测时,会导致很多误报。所以在转播监测中,需要识别到黑边及其模式,并针对性的进行切除处理。
2、目前关于转播监测的方法都没有对黑边进行处理,即默认没有黑边,是不符合现实情况的。cn114979736b、 cn116012749a和cn112995535a等都主要是关于黑边检测的,但是黑边处理方式并不适用于转播监测。
3、因此,亟需一种广播电视转播监测中的黑边识别方法及系统来解决上述问题。
技术实现思路
1、本发明的目的在于提供种广播电视转播监测中的黑边识别方法及系统,它能弥补转播监测中没有对黑边进行处理的缺失,可以规避黑边引起的大量误报,提高转播监测准确率。
2、本发明为实现上述目的,通过以下技术方案实现:
3、一方面,提供一种广播电视转播监测中的黑边识别方法,包括以下步骤:
4、s1:获取直播流和转播流,并解码两路视频流;
5、s2:获取直播流和转播流的关键帧和关键帧列表;
6、s3;对获取的关键帧进行匹配,直播流转播流关键帧列表之间计算图片相似度,图片相似度大于阈值则进行黑边识别,得到上下左右的黑边大小和黑边添加模式;
7、s4:得到黑边添加模式后,解码出来的图片先根据黑边大小和黑边添加模式进行处理,得到新的图片再进行比对。
8、优选的,所述步骤s1中解码两路视频流,具体为:
9、创建udp网络连接,实时接收数据包,基于ffpmeg进行视频流数据包识别,获取参数信息,解码视频帧,存入消息队列。
10、优选的,所述步骤s2中获取直播流和转播流的关键帧,具体为:
11、将图片转换为灰度图,统计每个灰度的像素点数,得到灰度直方图,前后两帧计算灰度直方图之差的均值,该值大于阈值,则判定后一帧为关键帧,并加入关键帧列表。
12、优选的,所述步骤s3中对获取的关键帧进行匹配,具体为:
13、在判断一帧为关键帧后,计算其与另一路视频流所有关键帧的图片相似度:
14、若相似度大于阈值,则认为两张图片是相同的内容,并根据这两张图片和相似度识别黑边大小以及添加模式;
15、若超过设定时间没能匹配到关键帧,则通过最新的图片计算转播图片黑边,根据黑边数量调整阈值,黑边越大,阈值越小,重新进行匹配。
16、优选的,所述步骤s3中计算图片相似度,具体为:
17、
18、其中,和分别为图像和的像素平均值;和分别为图像和的像素方差;为图像和之间的协方差;和是两个常数;
19、包括以下步骤:
20、s31:将两张图片按比例缩放,具体为:
21、若图片为高清图片,则缩小至192像素×108像素;
22、若图片为标清图片,则缩小至180像素×144像素;
23、s32:将图片转换为yuv格式,并提取y分量,得到一个二维矩阵;
24、s33:使用11×11的滑动窗在y分量上滑动,计算ssim值,然后求平均作为两张图片的相似度度量。
25、优选的,所述步骤s3中得到上下左右的黑边大小,具体为:
26、得到上黑边大小:
27、对转播频道的关键帧,从第一行开始计算这一行所有像素的均值以及最大值,若均值小于阈值并且最大值也小于阈值,则认为是黑边行,否则不是,若判断为黑边行则继续判断下一行是否是黑边行,直到不是黑边行,计算顶部黑边大小;
28、得到下黑边大小:从最后一行开始计算,计算过程与得到上黑边大小相同;
29、得到左黑边大小:从第一列开始计算,计算过程与得到上黑边大小相同;
30、得到右黑边大小:从最后一列开始计算,计算过程与得到上黑边大小相同。
31、优选的,所述步骤s4,具体为:
32、s41:若上下左右黑边大小都为0,判断图片原始相似度是否大于关键帧匹配阈值,若大于则认为没有黑边,否则重新匹配关键帧,并进行黑边识别;
33、s42:视频缩放模式下:将转播图片的黑边切除,放大到原始大小,并与直播图片计算相似度,记为sim_scale;
34、视频覆盖模式下:将转播图片的黑边切除,并对应切除直播图片,计算相似度,记为sim_cover;
35、视频平移模式下:
36、计算左右黑边情况:
37、若左侧有黑边,则切除转播图片左侧黑边,并切除直播图片右侧相同宽度的边,计算相似度,记为sim_left;若右侧有黑边,则切除转播图片右侧黑边,并切除直播图片左侧相同宽度的边,计算相似度,记为sim_right;若sim_left大于sim_right并且sim_left大于sim,则认为左侧黑边是平移模式,右侧黑边置零;若sim_right大于sim_left并且sim_right大于sim,则认为右侧黑边是平移模式,左侧黑边置零;否则认为左右两侧黑边不是平移模式,左右都置零;
38、计算上下黑边情况:
39、若顶部有黑边,则切除转播图片顶部黑边,并切除直播图片底部相同宽度的边,计算相似度,记为sim_top;若底部有黑边,则切除转播图片底部黑边,并切除直播图片顶部相同宽度的边,计算相似度,记为sim_bottom,若sim_top大于sim_bottom并且sim_top大于sim,则认为顶部黑边是平移模式,底部黑边置零;若sim_bottom大于sim_top并且sim_bottom大于sim,则认为底部黑边是平移模式,顶部黑边置零;否则认为上下两侧黑边不是平移模式,上下都置零;
40、若有平移模式的黑边,统一对上下、左右的黑边模式进行处理,得到最终的平移模式相似度,记为ssim_move;
41、s43:比较sim_scale、sim_cover和ssim_move的大小,若最大值大于关键帧匹配阈值,则取最大值对应的模式为黑边模式,否则重新匹配关键帧,并进行黑边识别。
42、另一方面,提供一种基于如上述的广播电视转播监测中的黑边识别方法的系统,包括:
43、数据获取模块,用于:获取直播流和转播流,并解码两路视频流;获取直播流和转播流的关键帧和关键帧列表;
44、数据解析模块,用于:对获取的关键帧进行匹配,直播流转播流关键帧列表之间计算图片相似度,图片相似度大于阈值则进行黑边识别,得到上下左右的黑边大小和黑边添加模式;
45、数据比对模块,用于:得到黑边添加模式后,解码出来的图片先根据黑边大小和黑边添加模式进行处理,得到新的图片再进行比对
46、对比现有技术,本发明的有益效果在于:
47、本发明提供了一种广播电视转播监测中的黑边识别方法及系统,首先解码直播视频流和转播视频流,然后基于灰度直方图之差提取关键帧,然后基于ssim结构相似性计算直播流关键帧和转播流关键帧的相似度,大于阈值则认为匹配成功,然后根据这两张图片和相似度识别黑边大小以及添加模式,之后的转播监测任务就可以根据黑边模式先对图片进行处理,然后再进行比对。
48、本发明解决了转播视频流添加黑边导致的监测不准确问题,显著减少了误报。