专利名称：一种基于颜色和梯度直方图的台标检测方法
技术领域：
本发明涉及基于图像识别领域，尤其涉及一种视频图像中的基于颜色和梯度直方图的台标检测方法。
背景技术：
当前，我国整个电视系统变得越来越庞大和复杂，一些非法电视信号时刻都在试 图进入正常的电视频道，实时监测成为电视信号发射台站的一项重要的工作。为了节省人力提高效率，需要开发一种近实时的台标识别方法，实现对非法信号的自动检测功能。台标识别的准确性取决于三个方面，一是台标的准确定位；二是台标特征的有效提取；三是特征的正确匹配。中国专利公开号CN 102426647A，专利名称为“一种台标识别的方法、装置”，该专利基于台标的时空不变性特征，在相邻帧中寻找像素值变化较小的区域作为台标可能出现的区域，再通过HU不变矩提取出待测区域的特征，最后通过欧式距离对待测区域与目标台标的特征进行匹配。考虑到在实际视频中常存在一段时间内保持不变的背景，比如说新闻联播中的大部分画面在一段时间内几乎都是不变的，这时该方法的实时性与准确性就大大的降低了。所以该方法并不能解决实时检测的问题，同时也不能检测场景中出现的台标。中国专利公开号CN 102289663A,专利名称为“一种基于颜色和形状的台标识别方法”。该专利首先去掉了原图中饱和度较低的像素点，然后根据H特征获取直方图并计算其概率密度分布图，通过Meanshift算法找寻基于模板直方图的颜色信息量最大的中心点，并以之为中心获取左上左下右上右下四个窗口的子窗口，并分别进行概率密度的颜色总量对比，从而找到最可能存在台标的区域。之后采用Sobel算子提取待测区域的轮廓金字塔图像。最后通过Hausdorff距离对待测区域与目标台标的特征进行匹配。然而经过验证，发现该专利存在逻辑上的问题在HSV (Hue, Saturation, Value)空间中，白色和半透明色的饱和度都是接近于0的，该专利第一步去掉原图中低饱和度像素点时实际上已经错误的去掉了图中一切由白色像素点组成的台标，故后续的台标实际上是无法准确定位了。另外，对于彩色的台标来说，在去掉的饱和度的像素点之后，仍然需要使用Meanshift对全图进行遍历，造成了巨大的时间成本，即使找到了颜色信息量最大的中心点，只通过在其四周选的四个固定大小的子窗口寻找颜色信息最匹配的窗口，不可避免的会出现分割不准确的问题。这可能也解释了，为什么其他台标的识别率只有75%。所以该方法并不能很好的解决台标的准确定位与实时检测的问题，同时，也不能检测场景中出现的台标。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于颜色和梯度直方图的台标检测方法，使其能够近实时的检测出场景中任何位置出现的台标，包括话筒、车身上等。经过严格的实验证明，该台标检测方法具有较高的判断准确率与鲁棒性。为了达到上述发明目的，本发明是通过以下技术方案实现的本发明所述的一种基于颜色和梯度直方图的台标检测方法，包括如下步骤a.构建台标样本库，通过提取库中样本的HOG (HISTOGRAMS OFORIENTEDGRADIENTS梯度直方图)特征来训练SVM (support vector machine支持向量机)分类器。b.提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例。c.通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域。 d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正。e.提取待测区域中的HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图)特征，通过训练好的分类器判断是否存在待测台标。具体的，步骤a包括al.本设计的初始样本库为模板台标若干和背景负样本大量。a2.在模板台标中选择一个模板台标作为待测台标，通过对其进行各种仿射变换获得大量正样本，将剩下的模板台标每个做多次仿射变换得到大量负样本。a3.通过将样本库中的样本归一化到M*N (比如为96X96)像素，并提取其HOG(HISTOGRAMS OF ORIENTED GRADIENTS 梯度直方图)特征来训练 SVM(support vectormachine支持向量机)分类器。步骤b包括bl.通过颜色聚类的方法，在HSV颜色空间下找到待测台标的前三种主颜色(可以小于三种)的H (色调Hue，取值区间为0 360)、S (饱和度Saturation，取值区间为0 I)、V (亮度Value，取值区间为0 I)分量的参数值，记录各个颜色分量的面积比例，面积比例最大的为第一主颜色。b2.对前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量△，即将获取的H、S、V分量，变为一个区间(H-A H，H+A H)、(S-A S，S+A S)、(V-A V，V+A V)。这里 A H、AS、AV 分别表示色调、饱和度、亮度的调整量。实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配。该参数可通过实验获得一组优化的经验值，但允许使用者根据具体情况进行修改。步骤c包括Cl.根据步骤b中的一种或者多种颜色参数范围，在视频帧中分别提取出只含有某种颜色的子图。c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形。c3.如果该台标只有一种颜色，那么第一主颜色子图中的色块区域确定为待测区域。如果该台标有两(三)种主颜色，遍历第一主颜色子图中的所有色块，如果其中某个色块附近同时存在剩下一(两)种主颜色的色块并且色块面积的相应比值在bl所得到的范围内，则将包含这两(三)个色块的外接矩形确定为待测区域，并从原图中截取出来。步骤d包括
dl.在截取出来的待测区域中找到色块的最小外接矩形。d2.将色块旋转，使其最小外接矩的长边与水平方向平行。d3.将待测区域归一化到设定的像素大小的图像。与现有技术相比，本发明具有如下的有益效果I)本发明所公开的台标检测方法不仅能够检测出普通的一般位于左上角的台标，还能检测出场景中的台标(包括话筒上，车上等);2)由于其在步骤b和c中通过台标的颜色信息在视频帧中进行台标初步分割与定位，排除了大量的通过轮廓信息可能很难辨别的背景与其他非待测台标，不仅极大的缩小了待测区域的范围，更提高了检测的准确率；3)由于其在步骤d中待测区域进行了图像矫正，极大的缩小了构建样本库时正样本所覆盖的范围，使样本特性更加集中，增加了分类器SVM识别的准确率；4)由于其生成正负样本空间大部分是通过对少量模板台标的各种仿射变换，减少了建库的工作量，使得使用者可以针对新的待测台标快速建立相应的样本库，体现了一定的智能性。
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显图1为通过对模板台标的仿射变换制作正样本库；图2为通过最小外接矩形和仿射变换进行图像矫正；图3为实际的检测效果图。
具体实施例方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。本实施例提供的一种视频图像的湖南卫视台的近实时识别方法，该台标识别方法的实现正是依靠台标颜色鲜明与结构简单的特征。具体包括如下步骤a.构建湖南卫视台台标样本库，通过提取库中样本的HOG (HISTOGRAMS0F0RIENTED GRADIENTS 梯度直方图)特征来训练 SVM(support vector machine 支持向量机)分类器。具体的，步骤a包括al.本设计的初始样本库为50个模板台标和1000个通过手动截图获得的背景作为负样本。a2.在模板台标中选择湖南卫视台台标作为待测台标，通过对其进行各种仿射变换获得900个正样本，如图1所示，将剩下的模板台标每个做20次仿射变换得到980个负样本。最终样本库包含这900个正样本，和1980个负样本。a3.通过，将样本库中的样本归一化到96父96像素，并提取其11( (11151'( 狀1^ OFORIENTED GRADIENTS梯度直方图)特征来训练SVM(support vector machine支持向量机) 分类器
b.提取待测湖南卫视台台标的颜色特征，确定其主颜色的参数范围与面积比例。
步骤b包括
bl.通过颜色聚 类的方法，在HSV颜色空间下找到湖南卫视台标的两种主颜色橘红色和黄色的参数边界，记录各个颜色的面积比例，面积比例最大的为第一主颜色。
b2.对前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量△，即将获取的H、S、V分量，变为一个区间(H-Λ H，H+Λ H)、(S-Λ S，S+Λ S)、(V-Λ V，V+Λ V)。这里 Λ H、AS、AV 分别表示色调、饱和度、亮度的调整量。实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配。这里ΛΗ、AS、AV分别表示色调、饱和度、亮度的调整量。本发明中，ΛΗ=10、ASS=O.1、AV=O. 2，该参数为在实验中获得的最优化参数，允许使用者根据具体情况进行修改。
c.通过颜色匹配算法，在视频帧中搜索与湖南卫视台台标颜色组成相同的区域， 从而得到湖南卫视台台标可能出现的待测区域。
步骤c包括
Cl.根据b中的橘红色与黄色的HSV颜色参数范围，在视频帧中分别提取出只含有一种颜色的子图。
c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形。
c3.湖南卫视台台标有两种主颜色，将每一个橘红色子图中的色块与每一个黄色子图中的色块进行对比，如果两个色块的外接矩形相交，并且颜色面积比例只比在b2所得范围之内，则将包含这两个色块的外接矩形确定为待测区域，并从原图中截取出来。
d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正。
步骤d包括
dl.在截取出来的待测区域中找到色块的最小外接矩形。
d2.将色块旋转，使其最小外接矩的长边与水平方向平行。
d3.将待测区域归一化到96*96像素大小的图像，如图2所示。
e.提取待测区域中的HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图)特征，通过a3中训练好的分类器判断是否存在湖南卫视台台标。
对于上述HSV颜色空间，以下进行简要描述。HSV色彩模型从CIE三维颜色空间演变而来，它采用的是用户直观的色彩描述方法，它跟孟塞尔显色系统的HVC球型色立体较接近，只不过HSV色彩模型是一个倒立的六菱锥，只相当于孟塞尔球型色立体的一半(南半球)，所以不含黑色的纯净颜色都处于六棱锥顶面的一个色平面上。在HSV六棱锥色彩模型中，色相(H)处于平行于六棱锥顶面的色平面上，它们围绕中心轴V旋转和变化，红、黄、 绿、青、蓝、品红六个标准色分别相隔60度。色彩明度(B)沿着六棱锥中心轴V从上至下变化，中心轴顶端呈白色(V=l)，底端呈黑色(V=0)，它们表示无彩色系的灰度颜色。色彩饱和度(S)沿水平方向变化,越接近六棱锥的中心轴的色彩,其饱和度越低,六边形正中心的色彩饱和度为零(s=0)，与最高明度的V=I相重合，最高饱和度的颜色则处于六边形外框的边缘线上(S=l)。
色平面(H、S)的基础是CIE色度图的x、y色平面
色明度/六棱锥中轴(V)的基础是CIE三维颜色空间的亮度因素Y。
对于上述HOG (HISTOGRAMS OF ORIENTED GRADIENTS 梯度直方图)算法以及 SVM(support vector machine支持向量机)分类器进行简要描述
HOG (HISTOGRAMS OF ORIENTED GRADIENTS梯度直方图)特征是一种局部区域描述符，它通过计算局部区域上的梯度方向直方图来构成车辆外型特征，能够很好地描述车辆的边缘。它对光照变化和小量的偏移不敏感。输入图像中像素点(x，y)的梯度如以下公式
Gx (x, y) = H(x+1, y)-H(x-l, y)
Gy (x, y) = H(x, y+l)-H(x, y-1)
式中，Gx (x，y)、Gy(x，y)、H(x，y)分别表示输入图像中像素点(x，y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x，y)处的梯度幅值和梯度方向如以下公式
权利要求
1.一种基于颜色和梯度直方图的台标检测方法，其特征在于包括如下步骤 a.构建台标样本库,通过提取库中样本的HOG特征来训练SVM分类器； b.提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例； c.通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域； d.将待测区域进行基于仿射变换与最小外接矩形的图像矫正； e.提取待测区域中的HOG特征，通过训练好的分类器判断是否存在待测台标。
2.根据权利要求I所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤a包括 al.初始样本库为模板台标若干和背景负样本大量； a2.在模板台标中选择一个模板台标作为待测台标，通过对其进行各种仿射变换获得大量正样本，将剩下的模板台标每个做20次仿射变换得到大量负样本； a3.通过，将样本库中的样本归一化到设定的像素，并提取其HOG特征来训练SVM分类器。
3.根据权利要求I所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤b包括 bl.通过颜色聚类的方法，在HSV颜色空间下找到待测台标的至多前三种主颜色的H、S、V分量的参数值，记录各个颜色分量的面积比例，面积比例最大的为第一主颜色； b2.对至多前三种主颜色的H、S、V分量的参数边界进行放大，增强其在真实场景中光照变换情景下的鲁棒性，具体冗余参数为一个增量△，即将获取的H、S、V分量，变为一个区间(H-A H，H+A H)、(S-A S，S+A S)、(V-A V，V+A V)。这里 A H、AS、AV 分别表示色调、饱和度、亮度的调整量，实际检测时，只要检测区域的HSV分量落在这个区间，即认为该分量是同目标的对应分量相匹配，该参数通过实验获得一组优化的经验值，但允许使用者根据具体情况进行修改。
4.根据权利要求3所述的基于颜色和梯度直方图的台标检测方法，其特征在于，所述b2 中，冗余参数为 AH=IO, AS=O. I、AV=O. 2。
5.根据权利要求3所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤c包括 Cl.根据步骤b中的一种或者多种颜色参数范围，在视频帧中分别提取出只含有某种颜色的子图； c2.在每一张子图中，寻找其中每一个色块的轮廓，并找到其轮廓的外接矩形；c3.如果该台标只有一种颜色，那么第一主颜色子图中的色块区域确定为待测区域；如果该台标有两种主颜色，遍历第一主颜色子图中的所有色块，如果其中某个色块附近同时存在剩下一或两种主颜色的色块并且色块面积的相应比值在bl所得到的范围内，则将包含这两或三个色块的外接矩形确定为待测区域，并从原图中截取出来。
6.根据权利要求1-5之一所述的基于颜色和梯度直方图的台标检测方法，其特征在于，步骤d包括 dl.在截取出来的待测区域中找到色块的最小外接矩形； d2.将色块旋转，使其最小外接矩的长边与水平方向平行；d3.将待 测区域归一化到设定像素大小的图像。
全文摘要
本发明提供了一种基于颜色和梯度直方图的台标检测方法，步骤构建台标样本库，通过提取库中样本的HOG特征来训练SVM分类器；提取待测台标的颜色特征，确定其至多前三种主颜色的参数范围与面积比例；通过颜色匹配算法，在视频帧中搜索与待测台标颜色组成相同的区域，从而得到台标可能出现的待测区域；将待测区域进行基于仿射变换与最小外接矩形的图像矫正；提取待测区域中的HOG特征，通过训练好的分类器判断是否存在待测台标。经过严格的实验证明，该台标识别方法能够准确的、近实时的识别视频中台标(包括话筒上，背景中等)。
文档编号G06K9/66GK102982350SQ201210455140
公开日2013年3月20日 申请日期2012年11月13日 优先权日2012年11月13日
发明者张重阳, 叶飞 申请人:上海交通大学