本发明涉及信息处理技术领域，特别是涉及一种新闻主副标题检测方法及装置。
背景技术：
新闻视频中蕴含着大量的最新咨询信息，对于视频网站和新闻类的应用端来说有着重要的价值。视频网站或者新闻类的应用端需要对每日播出的整条新闻进行拆分、上线，供用户对其中感兴趣的每条新闻进行点击观看。由于全国的电视台数量众多，除卫视台外还存在各类地方台。如果需要对所有的新闻进行分割的话，需要耗费大量的人力进行切分，对切分好的新闻属性标题，上线到发布系统中。另一方面，由于新闻的时效性，对于新闻视频的处理速度的要求也是十分严格的，所以给人工分割带来了更大的压力。例如，新闻一般都是在某个时间段大量播出，为了保证时效性，需要在规定的时间内尽快将整个的新闻节目切割成独立的新闻条目，而不能采用积压任务后期处理的方式进行生产。
现有的，自动的新闻视频拆分和分析技术通常会包括新闻标题的检测技术、文字识别技术等。新闻的标题是新闻拆分中具有重大意义的语义线索。对于长新闻拆分来讲，新闻标题的出现、结束和重复往往意味着不同的信息，预示着新闻的结构。传统的新闻标题拆分技术依赖于标题出现的点位对新闻进行自动的拆分，认为出现新的标题代表一个新的新闻内容的碍事，这个规则对于大多数的新闻是适用的，但是对于存在主副标题的新闻会带来新闻点位切分错误的问题。主副标题是指一条新闻围绕一个主题会出现多条内容不一的副标题，用以辅助说明新闻的重点内容，如果仅仅以新标题出现的位置判别新闻拆分的位置，则会对于这类新闻产生错误的分割。
技术实现要素：
针对于上述问题，本发明提供一种新闻主副标题检测方法及装置，解决了对于存在主副标题的新闻在拆分时，会带来新闻点位拆分错误的问题。
为了实现上述目的，本发明提供了如下技术方案：
一种新闻主副标题检测方法，该方法包括：
对待检测的视频帧进行标题区域检测，得到标题候选区域；
提取所述标题候选区域的颜色特征，并根据预设主标题候选区域与预设的副标题候选区域的颜色特征，确定出所述标题候选区域的主标题候选区域和副标题候选区域；
确定所述主标题候选区域的第一跟踪区域，对所述第一跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第一视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域；
确定所述副标题候选区域的第二跟踪区域，对所述第二跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第二视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为副标题区域；
对各个主标题区域内的主标题进行一致性检测，对相同的主标题进行标识。
优选地，所述对待检测的视频帧进行标题区域检测，得到标题候选区域，包括：
按照预设的剪裁比例获取待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；
分别对所述待检测图像色对应的rgb图像，得到rgb边缘二值化图像；
选取所述rgb边缘二值化图像，并进行边缘加强得到目标边缘图；
对所述目标边缘图进行水平方向和垂直方向投影，并依据获得的水平方向的直方图和垂直方向的直方图确定所述目标边缘图的上下边界和左右边界；
依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。
优选地，所述提取所述标题候选区域的颜色特征，并根据预设的主标题候选区域与预设的副标题候选区域的颜色特征，确定出所述标题候选区域的主标题候选区域和副标题候选区域，包括：
对当前视频帧对应的标题候选区域内的图像进行二值化处理，得到二值化图像；
对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；
对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；
根据水平像素扫描结果和竖直像素扫描结果计算背景像素值和背景像素数量的比值，得到背景像素均值；
判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；
根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像；
计算所述掩码图像中文本像素点在所述标题候选区域rgb通道的第一均值，并计算所述掩码图像中背景像素点在所述标题候选区rgb通道的第二均值；
将所述第一均值与主标题颜色特征对应的第一颜色阈值进行比较得到第一比较结果，并将所述第二均值与主标题颜色特征对应的第二颜色阈值进行比较得到第二比较结果，若所述第一比较结果和所述第二比较结果均满足预设范围，则将所述标题候选区域判断为主标题候选区；
若所述第一比较结果和所述第二比较结果均不满足预设范围时，则将所述第一均值与副标题颜色特征对应的第三颜色阈值比较得到第三比较结果，将所述第二均值与副标题颜色特征对应的第四颜色阈值比较得到第四比较结果，若所述第三比较结果和所述第四比较结果均满足预设范围，则将所述标题候选区域判断为副标题候选区。
优选地，所述确定所述主标题候选区域的第一跟踪区域，对所述第一跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第一视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域，包括：
判断所述主标题候选区域是否为首次进行跟踪，若是，则通过对所述主标题候选区域进行计算，得到所述主标题候选区域的第一跟踪区域，若否，则获取所述主标题候选区域的跟踪区域；
获取所述跟踪区域图像的特征信息，将所述特征信息与参考特征信息进行计算，得到目标计算值，其中，所述特征信息为所述跟踪区域的二值化图像和/或颜色直方图；
判断所述目标计算值是否满足预设跟踪阈值，如果是，则将视频帧数量加1，并统计得到第一视频帧数量；
若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域。
优选地，其特征在于，所述若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域，包括：
判断所述目标计算值是否满足预设跟踪阈值，如果否，则将丢失帧数加1，并统计丢失帧数；
当所述丢失帧数小于丢失帧阈值，并且所述第一视频帧数量达到了预设的视频帧数量阈值时，将所述主标题候选区域确定为主标题区域。
优选地，所述获取所述跟踪区域图像的特征信息，将所述特征信息与参考特征信息进行计算，得到目标计算值，包括：
当所述特征信息为所述跟踪区域的二值化图像时，将所述跟踪区域的图像进行二值化处理，得到第一二值化图像；
将所述第一二值化图像与参考二值化图像进行差分，并计算差分后的平均值得到差分平均值，将所述差分平均值确定为目标计算值。
优选地，所述获取所述跟踪区域图像的特征信息，将所述特征信息与参考特征信息进行计算，得到目标计算值，包括：
当所述特征信息为所述跟踪区域的颜色直方图时，计算所述跟踪区域的图像的第一颜色直方图；
计算所述第一颜色直方图与参考颜色直方图之间的距离值，将所述距离值确定为目标计算值。
优选地，所述对各个主标题区域内的主标题进行一致性检测，对相同的主标题进行标识，包括：
获取各个主标题区域的目标主标题和对照主标题组，所述对照主标题组中包括至少一个与所述目标主标题在时域上相邻的主标题；
确定所述目标主标题与所述对照主标题组中的任一主标题的重复区域比例，判断所述重复区域比例是否大于预设重复比例，如果否，则所述目标主标题为不重复主标题。
优选地，还包括：
若所述目标主标题与所述对照主标题组中的第一主标题的重复区域比例大于预设重复比例，则按照预设选取规则选取所述目标主标题的目标视频帧对应的第一图像，并选取所述第一主标题的目标视频帧对应的第二图像，所述第一主标题为所述主标题对照组中的任一主标题；
对所述第一图像和所述第二图像进行二值化处理，得到第一图像的目标二值化图像和第二图像的对照二值化图像，将所述目标二值化图像和所述对照二值化图像进行差分，并计算差分的平均值得到差分平均值；
判断所述差分平均值是否小于预设比较阈值，如果是，则将所述目标主标题与第一主标题判断为相同标题；
获取所述目标主标题视频帧的起始帧和结束帧，根据所述起始帧和所述结束帧确定主标题标记范围；
将所述主标题比较范围内的主标题标识为相同标题。
一种新闻主副标题检测装置，该装置包括：
检测模块，用于对待检测的视频帧进行标题区域检测，得到标题候选区域；
提取模块，用于提取所述标题候选区域的颜色特征，并根据预设主标题候选区域与预设的副标题候选区域的颜色特征，确定出所述标题候选区域的主标题候选区域和副标题候选区域；
第一跟踪模块，用于确定所述主标题候选区域的第一跟踪区域，对所述第一跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第一视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域；
第二跟踪模块，用于确定所述副标题候选区域的第二跟踪区域，对所述第二跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第二视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为副标题区域；
一致性检测模块，用于对各个主标题区域内的主标题进行一致性检测，对相同的主标题进行标识。
相较于现有技术，本发明首先确定了标题候选区域，然后基于颜色信息和时域信息对该标题候选区域进行了颜色特征提取和视频帧跟踪处理，检测得到了新闻中出现的主标题以及副标题，并分别进行了信息标记，最后对于主标题进行了一致性检测，进而可以判断出该主标题区域中的主标题是否为相同标题，因此实现了对新闻视频中的主标题和副标题的区域的确定，可以将将对应的主标题或者副标题应用于新闻拆分过程中的候选点位，这样可以解决对于存在主副标题的新闻拆分时，新闻点位拆分错误的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种新闻主副标题检测方法的流程示意图；
图2为本发明实施例二提供的一种标题候选区域检测方法的流程示意图；
图3为本发明实施例三提供的一种新闻主副标题检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1为本发明实施例一提供的一种新闻主副标题检测方法的流程示意图，该方法包括以下步骤：
s11、对待检测的视频帧进行标题区域检测，得到标题候选区域；
由于为了保证新闻在视频网站或者其他新闻类的应用端进行播出时，需要对包含大量咨询信息的新闻进行拆分后才能进行上线，供用户对其中感兴趣的每条新闻进行点击观看。在本发明中所描述的新闻是指新闻视频，简称为新闻。
新闻的标题是新闻拆分中具有重大意义的语义线索，对于新闻内容分析而言，新闻标题中的内容是对于这条新闻最为直观的总结。因此新闻中标题出现的时间点位以及对应的状态对新闻拆分十分关键，而这些信息的获取需要依靠标题定位以及跟踪技术。
所以在本发明的实施例中先对待拆分的新闻的视频帧也就是待检测的视频帧进行标题区域检测，也就是在待拆分的新闻视频中利用图像处理算法，检测可能潜在的标题区域的过程，将可能为标题区域的确定为标题候选区域。
s12、提取所述标题候选区域的颜色特征，并根据预设主标题候选区域与预设的副标题候选区域的颜色特征，确定出所述标题候选区域的主标题候选区域和副标题候选区域；
其中，标题候选区域可能包括主标题区域、副标题区域和非标题区域。该过程是在s11步骤中得到标题候选区域后，对该区域进行颜色信息的提取，通过颜色特征初步判断其属于主标题区域还是副标题区域。在本发明中通过颜色信息进行判断是因为现有的新闻视频播放过程中一般会在主标题、副标题和非标题区域设置不同的颜色进行显示，并且不同区域内的字体颜色和背景颜色也不相同，以便能够给用户带来更清晰的视觉效果，所以利用这个方面进行颜色信息的初步提取，能够对主副标题的区分更加准确。
s13、确定所述主标题候选区域的第一跟踪区域，对所述第一跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第一视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域；
s14、确定所述副标题候选区域的第二跟踪区域，对所述第二跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第二视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为副标题区域；
其中，在步骤s12中进行颜色特征提取后确定了主标题候选区和副标题候选区，为了进一步判断这些候选区是否为真正的主标题区域或者副标题区域还需要对主标题的跟踪区域或者副标题的跟踪区域进行视频帧跟踪处理也就是进行时域检测。在进行视频帧跟踪时需要对已经确定的主标题候选区域或者副标题候选区域进行逐个跟踪，而每次跟踪通常是对一个跟踪区域跟踪完成后，再去另一个跟踪区域进行跟踪，但是要保证对确定的候选区域都进行视频帧跟踪后才能确定该区域是否为主标题区域或者副标题区域。这是由于在视频播放过程中每个视频帧是随时间变化的，也就是每个时刻用户看到的视频图像是不一样的，只有通过时域检测才能对整个视频进行分析。即基于视频序列不同帧的同一位置进行跟踪的过程进一步确认得到特征区域信息，也就是主标题区域和副标题区域。通过颜色信息和时域信息的主副标题检测，能够为ocr(opticalcharacterrecognition，光学字符识别)以及新闻拆分算法提供有效依据。
而对应的跟踪条件可以为根据二值化图像或者跟踪区域的颜色直方图进行对应的设置，即基于颜色直方图和二值化图像的跟踪方式可以只用其中的一种，也可以组合使用，根据具体应用场景灵活设置本发明不做限制。
s14、对各个主标题区域内的主标题进行一致性检测，对相同的主标题进行标识。
在得到对应的标题区域后，也就是确定了主标题区域和副标题区域之后。对应的主标题区域会存在不同的主标题，需要对不同的主标题进行内容确认后采取一致性的方法，判断不同跟踪时刻得到的标题，在内容上是否属于同一标题，当通过判断得到主标题为不同主标题时，这样可以在出现新的主标题时，该主标题可以为新闻拆分的候选点位，这样可以在新闻拆分时提供主标题的拆分依据，避免了主标题与副标题混淆拆分。
通过本发明实施例一公开的技术方案，首先确定了标题候选区域，然后基于颜色信息和时域信息对该标题候选区域进行了颜色特征提取和视频帧跟踪处理，检测得到了新闻中出现的主标题以及副标题，并分别进行了信息标记，最后对于主标题进行了一致性检测，进而可以判断出该主标题区域中的主标题是否为相同标题，因此实现了对新闻视频中的主标题和副标题的区域的确定，可以将将对应的主标题或者副标题应用于新闻拆分过程中的候选点位，这样可以解决对于存在主副标题的新闻拆分时，新闻点位拆分错误的问题。
实施例二
参照本发明实施例一提供的一种新闻主副标题检测方法，在本发明实施例二中将结合具体的实现过程进一步说明该方法，参见图2，在实施例一的基础上，本实施例提供了一种标题候选区域检测方法，包括：
s111、按照预设的剪裁比例获取待检测视频帧底部区域内的图像，将所述底部区域内的图像作为待检测图像；
可以理解的是，新闻标题通常出现在视频帧的底部区域，为了减少计算量，提升检测精度，本实施例选取目标视频帧的底部预设区域作为待检测图像。假设目标视频帧的宽高分别为w、h，底部预设区域为
rect(rect.x,rect.y,rect.w,rect.h)，其中，(rect.x,rect.y)为矩形区域在视频帧中的起点坐标，rect.w为矩形区域的宽，rect.h为矩形区域的高，底部预设区域在视频帧中的位置为：
rect.x＝0；
rect.y＝h*cut_ratio；
rect.w＝w；
rect.h＝h*(1-cut_ratio)。
s112、分别对所述待检测图像对应的rgb图像进行边缘二值化处理，得到rgb边缘二值化图像；
首先需要将待检测图像由rgb色彩空间转换至目标空间，获得目标图像。
其中，目标空间可以为灰度空间，也可以为任意亮度色彩分离空间。具体的，可通过式(1)的灰度空间转换公式：
gray＝r*0.299+g*0.587+b*0.114
将待检测图像由rgb色彩空间转换至灰度空间，或者，通过亮度l(lightness)的转换公式：
l＝(max(r,g,b)+min(r,g,b))/2
将待检测图像由rgb色彩空间转换至亮度色彩分离空间。
s113、选取所述rgb边缘二值化图像，并进行边缘加强得到目标边缘图；
得到目标边缘强度图可先利用提取边缘特征的算子计算目标图像的边缘强度图，然后将计算得到的边缘强度图进行二值化，获得二值化的边缘强度图，最后对二值化的边缘强度图进行边缘加强，获得目标边缘强度图。
提取边缘的方法有多种，例如：sobel算子和canny算子等，在本实施例以sobel算子为例进行说明。
利用水平方向边缘梯度算子和垂直方向边缘梯度算子，同灰度或者亮度图像的进行卷积，获得水平边缘图eh和垂直边缘图ev，最终计算边缘强度图eall，即对于边缘图上任意一点eall(x，y)，可以通过该式eall(x，y)＝sqrt(ev(x，y)2+eh(x，y)2)计算得到。
水平方向和垂直方向的边缘梯度算子以sobel算子为例，其他算子同样适用。
对于边缘强度图eall与预先设定的边缘强度图阈值the1进行对比，根据比较结果将边缘图二值化，即，如果eall(x，y)>the1e(x，y)，则令该坐标对应的边缘图e(x，y)＝1，否则e(x,y)＝0。
因此对于待检测图像的rgb每个通道分别执行上述操作，得到三个通道分别的边缘强度图er，eg，eb。
对于er，eg，eb与预先设定的阈值the2进行对比，将边缘图二值化，即以红色通道举例，如果er(x，y)>the2，则er(x,y)＝1，否则er(x，y)＝0。需要说明的是阈值the2和the1可以相同也可以不同，一般优选the2<the1。
对于得到的边缘图像e进行边缘加强，具体的可以选用某个通道进行加强，也可以选择全部三个通道进行加强，其目的是为了防止字幕区域出现渐变导致检测失败，e(x，y)＝e(x，y)|er(x，y)|eg(x，y)|eb(x，y)，得到最终的边缘图。
s114、对所述目标边缘图进行水平方向和垂直方向投影，并依据获得的水平方向的直方图和垂直方向的直方图确定所述目标边缘图的上下边界和左右边界；
s115、依据所述上下边界和所述左右边界对所述待检测图像进行标题区域检测，得到所述标题候选区域。
对于目标边缘图进行水平方向的投影，统计每一行i(i为该行的序号)中符合下述条件的像素的数量设为numedge，如果numedge>thnum，则将直方图h[i]＝1，否则为0。
该条件为：该像素以及上下相邻像素中存在至少一个像素为1的值，就认为该像素的边缘值为1，同时统计该像素左右连续的像素边缘值为1，且连续的长度大于阈值thlen的像素的总个数。
对于直方图h，进行遍历，h[i]＝＝1之间的行间距，如果间距大于阈值throw，则将这两行之间的边缘图像区域作为第一阶段候选区域，如果没有，继续处理下一帧输入视频帧。
对于每一个第一阶段候选区域，统计垂直方向的边缘投影直方图v，对于任意一列i，如果这一列的边缘像素为1的数量大于thv，则v[i]＝1，否则v[i]＝0，强制设置v[0]＝1&&v[w-1]＝1。寻找v中，v[i]＝＝1&&v[j]＝＝1&&v[k]k∈(i,j)＝＝0&&argmax(i-j)的区域作为字幕区域的左右边界。选择这个区域内的原始图像，作为第二阶段的候选区域。
精细寻找第二阶段候选区域的左右边界，以一定长度的滑动窗口扫描第二阶段候选区域的原图，计算每一个窗口内的颜色直方图，同时统计该窗口内颜色直方图中非0位的个数numcolor，寻找单色区域或者颜色复杂的背景区域的位置，即numcolor<thcolor1||numcolor>thcolor2，将符合该条件的窗口的中心位置，作为新的垂直方向边界。
对于上述方法确定的矩形区域candidaterect，利用约束条件进行判断，约束条件包括但不限于，candidaterect的起点的位置信息需在一定的图像范围中，candidaterect的高度需要在一定的范围中等等，如果符合条件认为是一个标题候选区域，如果该标题候选区域没有处在跟踪中，则进行下一步处理，否则放弃这个跟踪区域。
基于实施例一，本发明实施例二提供了一种颜色特征提取方法，包括：
s121、对当前视频帧对应的所述标题候选区域内的图像进行二值化处理，得到二值化图像；
具体的，获取当前时刻的视频帧中的标题候选区域对应的图像，将输入标题图像由rgb色彩空间转化为灰度/或者任意亮度色彩分离空间(如yuv，hsv，hsl，lab)，对于灰度空间换公式为：gray＝r*0.299+g*0.587+b*0.114
对于亮度色彩分离空间，以hsl举例，亮度l(lightness)的转化公式为：l＝(max(r，g，b)+min(r，g，b))/2。
对于灰度或者亮度图像，利用otsu方法计算灰度分割阈值，otsu方法的描述为：
假设灰度图像i可以分割为n个灰度(n<＝256)，对于这n个灰度可以提取图像的n阶灰度直方图h；
对于直方图中的每一位t(0<＝t<n)，计算如下公式：
x(i)＝i*256/n
获得使最大的t对应的x(t)作为分割阈值thb。
对于输入标题图像中的像素(x，y)其对应的二值化图像b的像素为i(x，y)，如果i(x,y)<thb，则将b(x,y)＝0，否则b(x,y)＝255，得到二值化图像。
s122、对所述二值化图像的每行像素进行水平扫描，将每行的第一个像素点对应的像素值作为参考像素值，统计每行像素值不等于该行参考像素值的像素点的数量，当每行像素值不等于该行参考像素值的像素点的数量的数量满足预设阈值时，将每行的背景像素值设置为当前背景像素与该行参考像素值之和，并将背景像素数量加1；
水平扫描图像b的每行像素，取本行第一个像素值为color，统计本行像素值不等于color的像素的个数num，如果num<th2，则背景区域像素值为back_color＝back_color+color，count＝count+1。
s123、对所述二值化图像的每列像素进行垂直扫描，将每列的第一个像素点对应的像素值作为参考像素值，统计每列像素值不等于该列参考像素值的像素点的数量，当每列像素值不等于该列参考像素值的像素点的数量的数量满足预设阈值时，将每列的背景像素值设置为当前背景像素与该列参考像素值之和，并将背景像素数量加1；
垂直扫描图像b的每列像素，取本列第一个像素值为color，统计本列像素值不等于color的像素的个数num，如果num<th2，则back_color＝back_color+color，count＝count+1。
s124、根据水平像素扫描结果和竖直像素扫描结果，计算背景像素值和背景像素数量的比值，得到背景像素均值；
s125、判断所述背景像素均值是否小于灰度均值，如果是，则将所述背景像素均值设置为预设的第一像素值；
计算背景像素的平均值，即back_color＝back_color/count，如果back_color<128，则设置背景区域颜色为back_color＝0，否则设置back_color＝255；
需要说明的是，对背景像素值和背景像素数量的计算，可以先扫描每行的像素再扫描没列的像素，也可先扫描每列的像素再扫描每行的像素。
s126、根据所述预设的第一像素值，确定所述二值化图像中的背景像素点和文本像素点，并根据所述背景像素点和所述文本像素点生成所述标题候选区域的掩码图像，其中，所述背景像素点的像素值为预设的第一像素值，所述文本像素点的像素值为预设的第二像素值；
s127、计算所述掩码图像中文本像素点在所述标题候选区域图像上的rgb通道的第一均值，并计算所述掩码图像中背景像素点在所述标题候选区域图像上的rgb通道的第二均值；
s128、将所述第一均值与主标题颜色特征对应的第一颜色阈值进行比较得到第一比较结果，并将所述第二均值与主标题颜色特征对应的第二颜色阈值进行比较得到第二比较结果，若所述第一比较结果和所述第二比较结果均满足预设范围，则将所述标题候选区域判断为主标题候选区；
s129、若所述第一比较结果和所述第二比较结果均不满足预设范围时，则将所述第一均值与副标题颜色特征对应的第三颜色阈值比较得到第三比较结果，将所述第二均值与副标题颜色特征对应的第四颜色阈值比较得到第四比较结果，若所述第三比较结果和所述第四比较结果均满足预设范围，则将所述标题候选区域判断为副标题候选区。
将二值化图像中像素颜色等于back_color的区域为背景区域，将等于back_color的颜色像素置为0，反之置为255，生成标题区域的掩码图像mask。
计算mask上面像素值等于255的位置上的像素在原图像上面的rgb通道的均值，即第一均值，rtext_avggtext_avgbtext_avg；
计算mask上面像素值等于0的位置上的像素在原图像上面的rgb通道的均值，即第二均值，rback_avggback_avgbback_avg；
将rtext_avggtext_avgbtext_avg同预先设定的第一颜色阈值[rmain_text_low,rmain_text_high][gmain_text_low,gmain_text_high],[bmain_text_low,bmain_text_high]进行比较，将rback_avggback_avgbback_avg同预先设定的第二颜色阈值[rmain_back_low,rmain_back_high],[gmain_back_low,gmain_back_high],[bmain_back_low,bmain_back_high]进行比较,如果在范围条件内，则判断为主标题候选区，否则继续下面步骤的比较。
将rtext_avggtext_avgbtext_avg同预先设定的第三颜色阈值[rsub_text_low,rsub_text_high],[gsub_text_low,gsub_text_high],[bsub_text_low,bsub_text_high]进行比较，将rback_avggback_avgbback_avg同预先设定的第四颜色阈值[rsub_back_low,rsub_back_high],[gsub_back_low,gsub_back_high],[bsub_back_low,bsub_back_high]进行比较,如果在范围条件内，则判断为副标题。否则抛弃这个候选区域，认为是非标题候选区。需要说明的是预设值的范围可以设定多个范围。
在实施例一的基础上，本实施例二提供了一种主标题候选区域跟踪处理的方法，包括：
s131、判断所述主标题候选区域是否为首次进行跟踪，若是，则通过对所述主标题候选区域进行计算，得到所述主标题候选区域的第一跟踪区域，若否，则获取所述主标题候选区域的跟踪区域；
s132、获取所述跟踪区域图像的特征信息，将所述特征信息与参考特征信息进行计算，得到目标计算值，其中，所述特征信息为所述跟踪区域的二值化图像和/或颜色直方图；
s133、判断所述目标计算值是否满足预设跟踪阈值，如果是，则将视频帧数量加1，并统计得到第一视频帧数量；
s134、若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域。
需要说明的是，在本实施例中是以将主标题候选区域确定为主标题区域为例进行说明的，同样将副标题候选区域确定为副标题区域也是采用相同的视频帧跟踪方法，就不一一赘述。
需要说明的是，由于主标题候选区域可能为主标题区域也可能为其他区域，同样副标题候选区域可能为副标题区域也可能为其他区域，所以需要对主标题候选区域或者副标题候选区域分别进行跟踪，以便确定对应的标题区域。
先要确定跟踪区域，对于首次进行视频帧跟踪的区域，记录当前时间位置。设定视频帧中的一个跟踪范围，这是由于输入的视频帧候选区域中可能包含额外的背景区域，为了提升跟踪的准确性，需要设置跟踪区域。
然后得到跟踪区域后为了便于对图像的处理需要进行二值化处理，在二值化处理过程中首先进行灰度转换或者色彩分离，然后获得直方图分割阈值再进行二值化处理，需要说明的是非首次跟踪则不需要该步骤，直接进行rgb色彩空间转化。
设置跟踪范围的方法为：设输入的视频帧的标题候选区域的位置为candidaterect(x，y，w，h)，设定跟踪区域track(x，y，w，h)为:
track.x＝candidaterect.x+candidaterect.w*xratio1；
track.y＝candidaterect.y+candidaterect.h*yratio1；
track.w＝candidaterect.w*xratio2；
track.h＝candidaterect.h*yratio2；
xratio1，xratio2，yratio1，yratio2均为预先设定的参数。
选取视频帧跟踪区域中图像，将输入图像由rgb色彩空间转化为灰度或者任意亮度色彩分离空间(如yuv，hsv，hsl，lab)，对于灰度空间换公式为：gray＝r*0.299+g*0.587+b*0.114
对于亮度色彩分离空间，以hsl举例，亮度l(lightness)的转化公式为：l＝(max(r，g，b)+min(r，g，b))/2
对于灰度或者亮度图像，利用otsu方法计算灰度分割阈值，otsu方法请上述实施例中对应的描述，此处不做详细描述。
对于图像i中的像素(x，y)其对应的二值化图像b的像素为i(x，y)，如果i(x,y)<thb，则将b(x,y)＝0，否则b(x,y)＝255。
对应的，根据特征信息不同可以采用不同的跟踪方式，即基于颜色直方图和二值化图像的跟踪方式，这两种跟踪方式可以只选用其中的一种，也可以组合使用。
当所述特征信息为所述跟踪区域的二值化图像时，将所述跟踪区域的图像进行二值化处理，得到二值化图像，并将所述二值化图像与参考二值化图像进行差分，并计算差分后的平均值得到差分平均值；
计算跟踪区域中图像的颜色直方图href，然后返回跟踪中，继续输入下一视频帧。
将当前帧的二值化图像bcur同参考二值化图像bref，进行逐点差分，并计算差分的平均值diffbinary：
其中，w和h是跟踪区域图像的宽和高。
当所述特征信息为颜色直方图时，计算所述跟踪区域的图像的颜色直方图，并计算所述颜色直方图与参考颜色直方图之间的距离值。
计算跟踪区域中当前图像的颜色直方图hcur，并同href求距离diffcolor。
假设特征信息为跟踪区域的图像的二值图像和跟踪区域的图像的直方图对于获得的diffbinary和diffcolor，同预先设定的阈值进行比较，如果diffbinary<thbinary&&diffcolor<thcolor则返回状态跟踪中，将视频帧数量加1，可以通过跟踪计数器tracking_num++，否则将丢失帧数加1，即lost_num++；
需要说明的是，如果lost_num>thlost(丢失帧阈值)则返回跟踪结束状态，同时返回当前视频帧的帧号以及开始的帧号，否则返回跟踪中。设立lost_num的目的是为了避免个别视频信号受到干扰，引起图像出现失真，导致匹配失败，通过lost_num的设立，允许算法有个别数量的视频帧跟踪失败。
如果对候选区跟踪结束，则比较视频帧数量tracking_num与预先设定的阈值thtracking_num的大小，如果tracking_num>＝thtracking_num则判断这个图像为主/副标题区域同时返回起始帧号，否则为非标题区域。视频帧数量阈值可以根据跟踪区域的特点进行相应的设置，即跟踪区域为主标题的跟踪区域和跟踪区域为副标题的跟踪区域对应的阈值设置可以不同，可以相同。
在实施例一的基础上，本实施例二提供了一种一致性检测方法，包括：
s141、获取各个主标题区域的目标主标题和对照主标题组，所述对照主标题组中包括至少一个与所述目标主标题在时域上相邻的主标题；
s142、确定所述目标主标题与所述对照主标题组中的任一主标题的重复区域比例，判断所述重复区域比例是否大于预设重复比例，如果否，则所述目标主标题为不重复主标题。
对应的，还包括：
若所述目标主标题与所述对照主标题组中的第一主标题的重复区域比例大于预设重复比例，则按照预设选取规则选取所述目标主标题的目标视频帧对应的第一图像，并选取所述第一主标题的目标视频帧对应的第二图像，所述第一主标题为所述主标题对照组中的任一主标题；
对所述第一图像和所述第二图像进行二值化处理，得到第一图像的目标二值化图像和第二图像的对照二值化图像，将所述目标二值化图像和所述对照二值化图像进行差分，并计算差分的平均值得到差分平均值；
判断所述差分平均值是否小于预设比较阈值，如果是，则将所述目标主标题与第一主标题判断为相同标题；
获取所述目标主标题视频帧的起始帧和结束帧，根据所述起始帧和所述结束帧确定主标题标记范围；
将所述主标题比较范围内的主标题标识为相同标题。
通过对于新闻数据的观察可发现，一条新闻中经常会出现，多次重复展示同一条标题的情况。如果仅依靠出现一次字幕就将新闻进行分割，则会导致长新闻的过分割。故本发明采用图像处理的方法，对于得到的主标题进行去重处理，对于副标题仅做副标题的标注，不判断其一致性。
假设主标题区域信息得到第n个主标题其开始的和结束的帧的位置为t1，t2，在视频帧中的位置为crn(x，y，w，h)，对于这个目标主标题cn[t1，t2]，假设其之前的对照主标题组有两个主标题分别为cn-1[t3，t4]，cn-2[t5，t6]，在视频帧中的位置为crn-1和crn-2。
对比目标主标题cn同之前的第一主标题cn-1，在视频中的重复区域的比例，即计算crn同crn-1的重复区域的比例r1，与预设比例thr进行比较，如果r1>＝thr则认为两个标题需要进行去重对比，则需要进行重复性标记。否则继续比对cn同第二主标题cn-2的区域重复性r2，如果r2>＝thr则认为两个标题需要进行去重对比，则需要进行重复性标记，否则，认为cn为不重复标题。
在进行重复性标记时，首先对于输入的两个标题目标主标题和第一主标题，各自选取代表其内容的一帧，对于cn，选取(t1+t2)/2时刻的视频帧，对于crn(x，y，w，h)，设置对比区域rect：
rect.x＝x+w*r1；
rect.y＝y+h*r2；
rect.w＝w*r3；
rect.h＝h*r4；
r1，r2，r3，r4均为预先设定的参数。
选取视频帧rect中的图像作为img1。
对于cn-1(或cn-2)，选取(t3+t4)/2(或(t5+t6)/2)时刻的视频帧，选取相同区域rect内的图像，记为img2。
将两张输入图像，将输入图像由rgb色彩空间转化为灰度或者任意亮度色彩分离空间，该步骤参见上述相同步骤描述，此处不做赘述。
对于img1的灰度或者亮度图像，利用otsu方法计算灰度分割阈值，otsu方法的描述参见上述相同步骤描述，此处不做赘述。
二值化图像img1和img2，参见上述相同步骤描述，此处不做赘述
将img1和img2的二值化图像b1与b2，进行逐点差分，并计算差分的平均值diff：
其中w和h是rect区域的宽，高。
将diff与预先设定的阈值进行对比，如果小于阈值则认为两个标题为相同标题，将cn的时间范围[t1,t2]内相关联的镜头标记为相同标，否则标记为不同标题。
根据本发明实施例二公开的技术方案，为了更好地理解新闻结构，同时避免副标题的变化对于基于新标题出现的点位新闻拆分技术的影响，通过自动确定标题候选区域中文本颜色信息以及背景颜色信息，然后通过颜色信息确定该候选区域是主标题还是副标题。再通过时域特征进行再次跟踪处理，最终确定了准确的主标题信息和副标题信息。通过对主标题进行一致性检测实现了对主标题信息的去重处理，可以将该主标题信息作为后续新闻拆分的点位，进而解决了对于存在主副标题的新闻在拆分时，会带来新闻点位拆分错误的问题。
实施例三
与本发明实施例一和实施例二所公开的新闻主副标题检测方法相对应，本发明的实施例三还提供了一种新闻主副标题检测装置，参见图3，该装置具体包括：
检测模块1，用于对待检测的视频帧进行标题区域检测，得到标题候选区域；
提取模块2，用于提取所述标题候选区域的颜色特征，并根据预设主标题候选区域与预设的副标题候选区域的颜色特征，确定出所述标题候选区域的主标题候选区域和副标题候选区域；
第一跟踪模块3，用于确定所述主标题候选区域的第一跟踪区域，对所述第一跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第一视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为主标题区域；
第二跟踪模块4，用于确定所述副标题候选区域的第二跟踪区域，对所述第二跟踪区域对应的视频帧进行跟踪，并统计符合预设跟踪条件的第二视频帧数量，若所述第一视频帧数量大于帧数阈值，将所述主标题候选区域确定为副标题区域；
一致性检测模块5，用于对各个主标题区域内的主标题进行一致性检测，对相同的主标题进行标识。
在本发明的实施例三中，首先确定了标题候选区域，然后基于颜色信息和时域信息对该标题候选区域进行了颜色特征提取和视频帧跟踪处理，检测得到了新闻中出现的主标题以及副标题，并分别进行了信息标记，最后对于主标题进行了一致性检测也就是去重处理，进而可以判断出该主标题是否为新标题，因此可以将该信息应用于新闻拆分过程中的候选点位，这样可以解决对于存在主副标题的新闻拆分时，新闻点位拆分错误的问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。