专利名称：图像高亮区域的检测方法、内容检测方法及内容检测装置的制作方法
图像高亮区域的检测方法、内容检测方法及内容检测装置技术领域
本发明一般地涉及图像处理，更具体地，涉及图像高亮区域的检测方法、内容检测方法及内容检测装置。
背景技术：
在某些情景下拍摄的图像经常存在高亮或反光区域，如照相机或投影仪-摄像机系统中所拍摄的图像。
例如在演讲或者会议中，一般使用投影仪-摄像机系统，其中投影仪或大屏幕显示设备常常用来展示相关的材料内容，在诸如远程会议的情况下，会使用摄像机来拍摄投影区域并将所拍摄的图像传到远程会议的参与者，这时投影区域上的表面经常出现高亮，导致所拍摄的图像高亮区域内的内容不可见或者无法看清，因此远程会议的参与者辨认高亮区域的内容存在困难，导致交流困难。
—般认为，图像表面有两种反射分量,镜面反射和漫反射分量。漫反射(diffuse)是指来自一个方向的光，经漫反射使光均匀向各方向传播。漫反射是由表面的粗糙不平引起的，与视点无关，漫反射光的空间分布是均匀的。镜面反射(Specular)是指对于理想镜面，反射光集中在一个方向，并遵守反射定律。对一般的光滑表面，反射光集中在一个范围内，且由反射定律决定的反射方向光最大。因此，对于同一点来说，从不同位置所观察到的镜面反射光强是不同的。在反射方向附近形成很亮的光斑，称为高光现象，将存在高光现象的区域称为高亮区域。一般认为高亮区域是由于镜面反射分量引起的。现有技术中通常存在两种消除图像高亮影响的途径。其中一种是，利用反光表面的纹理信息来构建模型，从而估计并增强镜面反射高亮区域的图像内容。但是，在图像表面纹理特征不明显的情况下，例如在投影仪-摄像机系统中，投影区域的表面是光滑的，没有纹理信息，该方法难于适用。
现有技术中消除图像高亮的另一种常用方法是从原始存在闪光的图像减去一幅镜面反射的图像。例如在美国专利US7027662中，该方法就相同对象拍摄没有闪光的图像和闪光图像，通过在闪光图像上减去无闪光图像得到差值图像，利用强度阈值来处理差值图像得到人工处理的图像，然后从闪光图像中减去该人工处理的图像来消除高亮。拍摄没有闪光的图像限制了该方法的应用。
另外，在题为“一种光源颜色计算和图像校正方法”的专利CN101146233中，对彩色图像中每个像素点的色度进行归一化，根据像素的相似性利用投票的方法快速检测高亮区域；此外，该方法将RGB色彩投影在逆强度和色度空间，然后通过在逆强度坐标系将所有像素拟合到一条直线上，计算光源的色度，基于光源的色度修正漫反射图像上的颜色信息。
此外，在Pishva Davar 等的题为 “Image highlight correction usingillumination specific HSV color coordinate” 的美国专利 US7555159 中，提出如下方法:将RGB色彩空间下的图像投影到一种光照特殊化的HSV色彩空间上；为每个像素预测无闻売的HSV坐标系；在RGB颜色空间还原无闻売的图像。该方法在构建新的颜色坐标系之前需要知道光源的强度和颜色。发明内容
本发明希望提供一种检测高亮区域的方法和装置。
本发明还希望提供一种无需利用图像纹理信息的检测高亮区域的内容的方法和>J-U ρ α装直。
本发明还希望提供一种增强高亮区域内容的检测结果的方法和装置。
本发明还希望提供一种还原高亮区域的色彩信息的方法和装置。
为此，根据本发明的一个方面，提供了一种图像高亮区域的内容检测方法，其可以包括:确定闻売区域内各个像素的闻売影响因子，该闻売影响因子表不闻売区域对该像素内容影响的强度；基于闻売区域内各个像素的闻売影响因子来检测图像闻売区域中的内容。
通过在高亮区域内容检测中考虑高亮区域对各个像素的影响，可以适应各种照明条件，降低了镜面反射的影响，能够更准确地检测出高亮区域的内容。
此外，基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容可以包括:根据高亮区域外的图像内容来确定第一阈值；针对高亮区域内的各个像素，基于该各个像素的高亮影响因子，来调整该第一阈值，以确定针对该各个像素的阈值；根据针对该各个像素的阈值，来确定该各个像素属于内容还是背景，从而获得第一检测结果。
此外，该内容检测方法还可以包括:基于多个不同尺度的局部区域的信息来检测内容，从而得到第二检测结果；至少基于第一检测结果和第二检测结果来获得最终检测结果。该组合的高亮区域内容检测方法可以获得更高的检测准确率。
此外，可以根据各个像素的高亮影响因子来确定该多个不同尺度的局部区域中的至少一个局部区域的尺度的大小。
此外，该内容检测方法还可以包括:以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。通过此增强处理，可以进一步消除高亮的影响，提闻闻売区域内容的清晰度和可见性。
此外，该内容检测方法还可以包括:分别使用原始图像和漫反射图像来对高亮区域外的像素色彩进行聚类；根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类； 以及根据色彩分类的结果对高亮区域内的像素色彩进行调整。通过此高亮区域内的色彩还原 处理，可以增强高亮区域内容的清晰度和可见性，消除高亮的影响。
根据本发明的另一方面，提供了一种图像高亮区域的检测方法，包括:从原始图像获得漫反射图像；获得原始图像和漫反射图像之间的各个像素的强度差；自适应地确定强度差阈值；以及根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。
根据本发明的再一方面，提供了一种图像高亮区域的内容检测装置，包括:高亮影响因子计算部件，其确定闻売区域内各个像素的闻売影响因子，该闻売影响因子表不闻売区域对该像素内容影响的强度；以及内容检测部件，其基于闻売区域内各个像素的闻売影响因子来检测图像高亮区域中的内容。
根据本发明的再一方面，提供了一种增强高亮区域内容的检测结果的方法，该方法可以包括:以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。
根据本发明的再一方面，提供了一种增强高亮区域内容的检测结果的装置，该装置可以包括:色彩分布模型拟合部件，用于以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；高亮区域内容像素预测部件，用于基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。
根据本发明的再一方面，提供了一种还原高亮区域的色彩信息的方法，该方法可以包括:分别使用原始图像和对应的漫反射图像来对高亮区域外的像素色彩进行聚类；根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及根据色彩分类的结果对高亮区域内的像素色彩进行调整。
根据本发明的再一方面，提供了一种还原高亮区域的色彩信息的装置，该装置可以包括:聚类部件，用于分别使用原始图像和对应的漫反射图像来对高亮区域外的像素色彩进行聚类；分类部件，用于根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及高亮区域色彩调整部件，用于根据色彩分类的结果对高亮区域内的像素色彩进行调整。
图1为根据本发明一个实施例的可以应用本发明的投影仪-摄像机系统的示意图2为根据本发明一个实施例的图像高亮区域的内容检测方法的整体流程图3示出了根据本发明一个实施例的高亮区域检测方法的流程图4是示出高亮区域检测过程的示意图5是根据本发明一个实施例的自适应强度差阈值确定方法的流程图6是说明高亮区域内每个像素的高亮区域影响因子的一个计算示例的示意图7是示出根据本发明一个实施例的基于高亮影响因子检测图像内容的方法的流程图8是示出高亮区域的多尺度局部区域内容检测方法的流程图9是示出了各种尺度局部区域信息分析的高亮区域内笔画检测结果的比较示意图。
图10是示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画检测结果增强处理方法的流程图11是示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画色彩还原处理的流程图12是示出了一个色彩还原处理过程以及效果示例的示意图13示出了根据本发明一个实施例的高亮图像处理的整体流程图14示出了根据本发明一个实施例的图像高亮区域的内容检测装置的示意性框图15示出了根据本发明一个实施例的高亮图像处理装置1500的框图16示出了根据本发明一个实施例的增强高亮区域内容的检测结果的装置1600的框图；以及
图17示出了根据本发明一个实施例的还原高亮区域的色彩信息的装置1700的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式
对本发明作进一步详细说明。
为了便于理解，图1给出了根据本发明一个实施例的可以应用本发明的投影仪-摄像机系统的示意图。下文中将以应用场景为投影仪-摄像机系统，要检测的图像内容为文字笔画为例进行说明。不过需要强调的是，上述情况仅为示例，实际上任何图像中可能出现高光区域的情况均可以应用本发明，以及其他图像内容例如人脸、景物等均可以应用本发明。
在进行详细陈述之前，为了有助于更好地理解本发明，总体地阐述一下本发明的思想。本发明的一个思想是，高亮区域的存在，对于人们辨认高亮区域中的像素内容发生不利影响。因此，希望在检测内容例如笔画的过程中，即考虑到此不利影响，对于检测的阈值因子或者区域大小等加以适应性地调整，从而更准确地检测出高亮区域中的笔画。进一步地，希望估计出高亮区域中的漏检笔画，以及对于因为高亮而不清晰的色彩信息希望加以恢复。
图2是根据本发明一个实施例的图像高亮区域中的内容的检测方法200的整体流程图。
如图2所不,在步骤S210中，确定闻売区域内各个像素的闻売影响因子。关于闻亮区域，其可以利用下文参考图3描述的高亮区域检测方法得到，或者由用户人工指定，也可以利用现有的任何闻売区域检测方法获得。针对一个像素的闻売影响因子表不闻売区域对该像素内容影响的强度。具体而言，直观地，一个像素，其周围像素属于高亮区域的越多，则该像素受高亮的影响的程度越大，也即越影响该像素的可见性，因此其高亮区域影响因子越大。下文，将参考图4描述高亮区域影响因子的一种示例性计算方法。
在步骤S220中，基于闻売区域内各个像素的闻売影响因子来检测图像闻売区域中的内容。如此获得的高亮区域中的内容可供进一步处理，或者可供输出来与用户交互。下文将参考图7说明基于高亮影响因子的内容检测阈值确定以及进而的内容检测，以及参考图8说明基于高亮因子(可选)的多尺度局部区域内容检测。
图3示出了根据本发明一个实施例的高亮区域检测方法300的流程图。
在步骤S310中，从原始图像获得漫反射图像。为此，可以采用任何能够从原始图像获得漫反射图像的方法。例如，在“Separating Reflection Components Based onChromaticity and Noise Analysis，，，Robby T.Tan, etc.1EEE Transactions on PatternAnalysis and Machine Intelligence, Vol26, N0.10, October 2004 中介绍了从单张图像分离镜面反射分量的很多方法，并且提出了基于色度和噪声分析来分离漫反射分量和镜面反射分量的方法。出于效率考虑，我们采用了在文献“Simple and efficient method forspecularity removal in an image” H.L.Shen and Q.Y.Cai, Applied Optics,48 (14),2711-2719，2009中介绍的方法来生成无镜面反射分量的图像。该方法通过在每个像素上减去该像素的最小RGB值，然后设置一个像素依赖型的补偿值以便使修改后的无镜面反射分量的图像和漫反射图像的色度更加接近。不过，该方法仅为示例，上述文献中介绍的方法以及任何能够从原始图像获得漫反射图像的方法均可以用于本发明。
一般地，在高亮区域内，镜面反射分量的强度比漫反射分量的强度更强。在步骤S310中所获得的漫反射图像中，镜面反射分量基本被去除了。所以原始图像和漫反射图像的最大强度差必然存在于高亮区域内。高亮区域内的强度差比其外部的强度差高很多。因此，可以考虑用合适的强度差阈值来把高亮区域分割出来。
在步骤S320中，获得原始图像和漫反射图像之间的各个像素的强度差。
在步骤S330中，自适应地确定强度差阈值。
优选地，强度差阈值需要与环境相适应，以及需要根据原始图像中高亮区域外部的强度来改变。可以利用下文参考图4所述的根据本发明实施例的自适应确定强度差阈值的方法来确定。不过，任何自适应地确定强度差阈值的方法均可以用于本发明，例如基于有监督学习的神经网络、遗传算法、支持向量机等等。
在步骤S340中，根据强度差阈值和各个像素的强度差，检测出高亮区域。
具体地，例如，如果一个像素的原始图像和漫反射图像之间的强度差大于强度差阈值，则认为该像素属于高亮区域；反之该像素不属于高亮区域。由此，检测出高亮区域。
在如此检测出的高亮区域可能存在很多噪声，或者一些高亮区域因为背景内容的颜色被漏检。所以可选地可以通过一些后处理诸如降噪和检测增强的方法改进高亮区域检测结果。优选地，可以使用如下闭操作和开操作消除噪声和改进结果:(I)消除由书写内容引起的孤立的非高亮点和噪声点，因为高亮区域通常应该是闭合的；(2)把因为噪声而连接起来的临近的高亮区域分割开。
包含后处理的高亮区域检测过程也示意性地图示于图4中。其中，原始图像410减去漫反射图像420获得了初始强度差图像430，以强度差阈值来过滤该初始强度差图像430并且对过滤后的结果进行二值化处理获得了初始检测结果的图像440，经过检测增强和降噪处理，得到了最终检测结果的图像450。
下面参考图5说明根据本发明一个实施例的自适应强度差阈值确定方法500。
如图5所示，在步骤S510中，以各个像素的强度差的平均值作为第一强度差阈值V
在步骤S520中，根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素。
在步骤S530中，确定高强度像素的强度差的平均值作为第二强度差阈值T2。
在步骤S540中，根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素。
在步骤S550中，确定此再次分类后的高强度像素的强度差的平均值作为第三强度差阈值Τ3。
在步骤S560中，基于至少该第一、第二、第三强度差阈值来确定强度差阈值Τ。例如，设经步骤S520分类后的高强度像素占全部像素的比例分子为a，可以按以下公式(I)来计算最终的强度差阈值T。
权利要求
1.一种图像高亮区域的内容检测方法，包括: 确定闻売区域内各个像素的闻売影响因子，该闻売影响因子表不闻売区域对该像素内容影响的强度； 基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。
2.根据权利要求1的内容检测方法，所述基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容包括: 根据高亮区域外的图像内容来确定第一阈值； 针对高亮区域内的各个像素，基于该各个像素的高亮影响因子，来调整该第一阈值，以确定针对该各个像素的阈值； 根据针对该各个像素的阈值，来确定该各个像素属于内容还是背景，从而获得第一检测结果。
3.根据权利要求1或2的内容检测方法，还包括: 基于多个不同尺度的局部区域的信息来检测内容，从而得到第二检测结果； 至少基于第一检测结果和第二检测结果来获得最终检测结果。
4.根据权利要求3的内容检测方法，其中根据各个像素的高亮影响因子来确定该多个不同尺度的局部区域中的至少一个局部区域的尺度的大小。
5.根据权利要求1-4中任一个的内容检测方法，还包括: 以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型； 基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。
6.根据权利要求5的内 容检测方法，还包括: 分别使用原始图像和漫反射图像来对高亮区域外的像素色彩进行聚类； 根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及 根据色彩分类的结果对高亮区域内的像素色彩进行调整。
7.根据权利要求1的内容检测方法，其中，所述高亮区域是通过下述操作检测出来的: 从原始图像获得漫反射图像； 获得原始图像和漫反射图像之间的各个像素的强度差； 自适应地确定强度差阈值；以及 根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。
8.根据权利要求7的内容检测方法，其中所述自适应地确定强度差阈值包括: 以该各个像素的强度差的平均值作为第一强度差阈值； 根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素； 确定高强度像素的强度差的平均值作为第二强度差阈值； 根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素； 确定此再次分类的高强度像素的强度差的平均值作为第三强度差阈值；以及 基于至少该第一、第二、第三强度差阈值来确定所述强度差阈值。
9.一种图像高亮区域的检测方法，包括: 从原始图像获得漫反射图像； 获得原始图像和漫反射图像之间的各个像素的强度差； 自适应地确定强度差阈值；以及 根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。
10.一种图像高亮区域的内容检测装置，包括: 闻売影响因子计算部件，其确定闻売区域内各个像素的闻売影响因子，该闻売影响因子表示高亮区域对该像素内容影响的强度；以及 内容检测部件，其基于闻売区域内各个像素的闻売影响因子来检测图像闻売区域中的内容。
全文摘要
公开了一种图像高亮区域的内容检测方法和装置，以及一种图像高亮区域的检测方法和装置。该内容检测方法包括确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。该图像高亮区域的检测方法包括从原始图像获得漫反射图像；获得原始图像和漫反射图像之间的各个像素的强度差；自适应地确定强度差阈值；以及根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。
文档编号G06T7/00GK103150717SQ201110401299
公开日2013年6月12日 申请日期2011年12月6日 优先权日2011年12月6日
发明者宫卫涛, 王炜, 刘东利, 尹悦燕, 赵颖 申请人:株式会社理光