一种夜景图像窗户镜面反射效应去除方法
【专利摘要】本发明涉及一种夜景图像窗户镜面反射效应去除方法，包括：获取同一背景下的两幅含有反射效应的夜景图像；定位反射区域；判断反射区域是否存在重叠；按照不同的情况分别进行处理；第一种，对于反射区域不重叠的情况，去除反射效应；第二种，对于反射区域存在重叠的情况，对于非重叠的反射区域，按照前述的反射区域不重叠情况进行处理；对于重叠的反射区域，进行相应的处理，最终得到总的背景图像。本发明能够实现反射效应的快速去除，增强夜景图像的可视质量。
【专利说明】一种夜景图像窗户镜面反射效应去除方法 所属【技术领域】
[0001] 本发明涉及一种彩色数码照片的镜面反射效应去除方法。
【背景技术】
[0002] 当居住在高层建筑物的消费者在室内使用数码相机或智能手机拍摄窗外场景时， 由于摄像头和拍摄场景之间存在着玻璃窗户，常受到室内场景镜面反射现象的影响。在拍 摄夜景图像时，这种反射干扰现象尤为明显。图1所示为一幅存在镜面反射效应的夜景图 像，图中右上方亮区域在背景中并不真实存在，而是由于室内亮区域通过窗户玻璃的反射 效应造成的。显然，反射区域的存在严重影响了夜景照片的可视质量，因此提出如何去除这 类反射效应，恢复夜景图像的原貌是非常必要的。
[0003] 目前已有的反射效应去除方面的文献以外文为主。早期的方法都是通过改变相机 的物理参数来获取两幅或多幅不同的图像，通过分析反射分量在不同图像的差别来分离背 景场景和反射场景。例如，文献[1]和文献[2]所提方法通过改变偏振镜片的角度方式获 取不同图像，文献[3]的方法中采用不同的镜头焦距拍摄图像，文献[4]使用闪光灯-非闪 光灯图像对来降低反射效应的影响。上述方法虽然能够有效抑制反射效应，但是通常需要 拍摄人掌握一定的摄影技巧，或者通过特定的工具，因此上述方法的通用性较差。文献[5] 和文献[6]借助人工辅助方式实现分离反射场景，这类方法只需要单幅图像，但是需要人 工辅助输入，另外分离过程使用的迭代算法计算量偏大，因此只适用于少量图像的情况。
[0004] 近期的研究重点重新回到基于多幅图像的思路，但在拍摄不同图像时，不需要调 整相机的参数，只需改变拍摄角度，使得不同图像的反射分量存在一定视角上的差别。文献
[7]借助立体匹配中的深度信息来恢复背景成分，但要求拍摄的图像只在水平方向上有位 移。文献[8]通过计算图像序列的统计特性，使用一种稀疏盲分离技术分离反射分量。文献 [9]提出了一种基于梯度信息的反射分离方法，根据各配准处理后各图像对应位置边缘点 的分布情况，将边缘点分为背景层和反射层两类，再使用文献[5]的方法实现两层的划分。
[0005] 参考文献：
[0006] [1]H. Farid and E. Adelson. Separating reflections and lighting using idependent components analysis. In CVPR, pages262 - 267, 1999.
[0007] [2]Y. Schechner, J. Shamir, and N. Kiryati. Polarization-based decorrelation of transparent layers: the inclination angle ofan invisible surface. InICCV，pages814 - 819, 1999.
[0008] [3]Y. Y. Schechner, N. Kiryati, and R. Basri. Separation of transparent layers using focus. IJCV, 39(1):25 - 39,2000.
[0009] [4]A. Agrawal, R. Raskar, S. Nayar, andY. Li. Removing photography artifacts using gradient projection and flash-exposure sampling. ACM Trans. Graphics, 23 (3) : 828 - 835, 2005.
[0010] [5]A. Levin andY. Weiss. User assisted separation of reflections from a single image using a sparsity prior.IEEE TPAMI, 29(9):1647 - 1654, 2007.
[0011] [6] S. Yeung, T. Wu, and C. Tang. Extracting smooth and transparent layers from a single image. InCVPR, pagesl - 7, 2008.
[0012] [7]Y. Tsin, S. B. Kang, and R. Szeliski. Stereo matching with linear superposition of layers. TPAMI, 28(2):290 - 301, 2006.
[0013] [8]K. Gai, Z. Shi, and C. Zhang. Blind separation of super-imposed moving images using image statistics. TPAMI, 34(1):19 - 32, 2012.
[0014] [9]Y.Li，M〇 S. Brown，Exploiting Reflection Change for Automatic Reflection Removal. InICCV2013.
【发明内容】
[0015] 本发明的目的是克服现有技术的上述不足，提供一种针对夜景图像的窗户镜面反 射效应的去除方法，实现反射效应的快速去除，增强夜景图像的可视质量。本发明的技术方 案如下：
[0016] 一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤：
[0017] 步骤1 :按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像：
[0018] (1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不 变；
[0019] ⑵在拍摄两幅图像时，要保证两图像在同一个平面内；
[0020] (3)在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但 要求位移的大小应保证反射场景在两图像的位置有一定差别；
[0021] 用Ii和12分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景 分量，〇 1和ω2表示1和12中反射分量所在区域31和氏分别表示〇 1和Ω2对应区域的 背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω i在Ii中对应的子图像 是&+1?，〇2在12中对应的子图像是b 2+r;
[0022] 步骤2 :定位反射区域
[0023] 确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值， 进而分别得到两图像中反射区域和Ω 2的外接矩形位置信息；
[0024] 步骤3 :判断反射区域是否存在重叠；
[0025] 步骤4 :按照不同的情况分别进行处理：
[0026] 第一种，对于反射区域不重叠的情况：用R表不Ω i和Ω2中的反射分量，用&表 示中的背景分量，用Β2表示〇2中的背景成分；由于0 1和Ω2区域不重叠，因此^中 应的子图像是（R+BlL中〇2对应的子图像是Β2 ;12中应的子图像是&，12中 〇2对应的子图像是（R+B2)，针对反射区域不重叠情况的反射效应去除方法如下：
[0027] 1)从L提取Ω i和Ω 2对应的子图像，分别用（R+BJ和B2表示；
[0028] 2)从12中提取Ω i和Ω 2对应的子图像，分别用（R+B2)和&表示；
[0029] 3)使用12中Ω i对应的子图像&代替L中的Ω i对应的子图像（R+BJ，处理后的 图像用C2表不；
[0030] 4)使用L中Ω 2对应的子图像B2代替12中的Ω 2对应的子图像（R+B2)，处理后的 图像用C2表不；
[0031] 5)将Q和C2求平均，得到最后的恢复图像，用C表示；
[0032] 第二种，对于反射区域存在重叠的情况：
[0033] 用Ω。表示Ω2的重叠区域，即有Ω。= Π Ω2，由于02是用其外 接矩形表示其位置，因此Ω。也是一个矩形区域，对于0 1和02中非重叠的区域，按照前述 的反射区域不重叠情况进行处理；
[0034] 用Rra表示Ii中Ω 区域对应的反射分量，用、表示12中Ω 区域对应的反射分 量，用^表示Ω ^区域对应的背景分量，在L中的反射分量h在12中的对应区域是Ω ， 其中，Λ表示从Qjlj Ω2的位移，同理可得，在12中的反射分量'在^中的对应区域是 其中-Δ表示从馬到札的位移；在L中Ωα+Δ子图像是中Ωα_Δ的子图像 是RQ2+BQ_A ;12中〇。^子图像是BQ_A，I2* Ωα+Δ的子图像是RQ1+BQ+A，采用下面方法去除 Ω i和Ω 2重叠区域Ω 的反射分量：
[0035] 1)从L中提取3个子图像，分别用（RQ1+BQ)、（R Q2+BQ_ Δ)和Β?+Δ表示；
[0036] 2)从12中提取3个子图像，分别用（RQ2+B Q)、（RQ1+BQ+A)和V Δ表示；
[0037] 3)计算（RQ1+BQ_ Δ)和V Δ的差值，得到R' Q1 ;计算（RQ1+BQ)和R' Q1的差值，结 果用IV ^表不；
[0038] 4)计算（RQ2+BQ+A)和Β〇+Δ的差值，得到R' Q2 ;然后计算（RQ2+BQ)和R' Q2的差值， 用B "。表不；
[0039] 5)计算B' JPB" ^的均值，得到Ω。的背景子图像，用^表示，即有：Bq = (B，0+B"。)/2;
[0040] 6)恢复非重叠部分的背景图像，最终得到总的背景图像。
[0041] 采用本发明所述方法，与现有技术相比，只需要用户拍摄两幅图像，借助少量的用 户辅助输入信息，省去了复杂的反射区域检测过程，能够识别阴影区域是重叠还是非重叠 情况，根据不同情况采用对应的处理过程，节省了计算机处理的时间，达到了更接近实用的 效果。
【专利附图】
【附图说明】
[0042] 图1是一个存在镜面反射效应的夜景图像实例图
[0043] 图2是本专利所提方法的流程图
[0044] 图3(a)和（b)各为一幅夜景图像结构示意图。
[0045] 图4是含有反射区域的坐标关系不意图
[0046] 图5(a)和（b)的两幅夜景图像是反射区域不重叠情况下的结构示意图
[0047] 图6(a)和（b)的两幅夜景图像是反射区域重叠情况下的结构示意图
[0048] 图7(a)_(d)的4个图是反射效应去除结果示意图，其中，（a)为夜景图像1(b)为 夜景图像2(c)为分割出来的反射重叠区域（d)为反射效应去除处理结果
【具体实施方式】
[0049] 本发明所提方法包括三个主要步骤：图像获取、借助用户辅助输入方式的反射区 域定位，反射效应去除等三个主要步骤。图2给出了所提方法的框图。
[0050] 步骤1:图像获取
[0051] 根据本专利所提方法的要求，在拍摄夜景图像时需要做到以下三点：
[0052] (1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不 变；
[0053] (2)在拍摄两幅图像时，要保证两图像在同一个平面内；
[0054] (3)在改变相机位置拍摄图像时，相机可以在同一个平面内的水平方向或垂直方 向移动，但要求位移的大小应保证反射场景是完整的，反射场景在两图像的位置有一定差 别。
[0055] 图3所示为拍摄得到的两幅夜景图像结构示意图。一般可以假设背景到镜头的距 离远大于镜头到成像平面的距离，因此拍摄两图时产生的位移并不影响背景在图像中的位 置，即背景基本保持不变。但反射场景由于到镜头的距离较近，在两幅图像中反射分量的位 置有明显变化。
[0056] 用L和12分别表示获取同一背景下的两幅含有反射效应的夜景图像，用B表示整 个背景分量，Ω i和Ω2表示L和12中反射分量所在区域，Bi和B2分别表示Ω i和Ω2对应 区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω i在^中对应的 子图像是&―!?，〇2在12中对应的子图像是B2+R。
[0057] 步骤2 :借助用户辅助输入定位反射区域
[0058] 本专利需要借助用户输入信息，确定两幅图像中反射区域的位置。具体的做法是， 用户使用鼠标（对于使用鼠标和计算机屏幕交互方式的用户）或者手指（针对智能手机或 平板电脑等触屏方式交互的用户），依次确认两幅图像中反射区域对应的最上方、最下方、 最左方和最右方位置的坐标值，进而得到两图像中反射区域的外接矩形位置信息。
[0059] 图4给出了一个含有反射区域的坐标关系示意图。其中，图像的坐标原点定义在 图像左上角的点，水平方向（X方向）从左至右依次增大，垂直方向（y方向）从上至下依 次增大。用1
【权利要求】
1. 一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤： 步骤1 :按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像： (1) 需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变； (2) 在拍摄两幅图像时，要保证两图像在同一个平面内； (3) 在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求 位移的大小应保证反射场景在两图像的位置有一定差别； 用L和12分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分 量，Ω i和Ω2表示L和12中反射分量所在区域，Bi和B2分别表示Ω i和Ω2对应区域的背 景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω i在L中对应的子图像是 Β#，Ω2在12中对应的子图像是B2+R ; 步骤2:定位反射区域 确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而 分别得到两图像中反射区域〇1和Ω2的外接矩形位置信息； 步骤3 :判断反射区域是否存在重叠； 步骤4 :按照不同的情况分别进行处理： 第一种，对于反射区域不重叠的情况：用R表示〇1和Ω2中的反射分量，用氏表示 中的背景分量，用B2表示〇2中的背景成分；由于01和Ω2区域不重叠，因此^中对应 的子图像是（R+BD，L中〇 2对应的子图像是B2 ;12中应的子图像是&，12中〇2对 应的子图像是（R+B 2)，针对反射区域不重叠情况的反射效应去除方法如下： 1) 从L提取Ω i和Ω 2对应的子图像，分别用（R+BD和B2表示； 2) 从12中提取和Ω2对应的子图像，分别用（R+B2)和&表示； 3) 使用12中Ω i对应的子图像&代替L中的Ω i对应的子图像（R+BJ，处理后的图像 用C2表不； 4) 使用^中Ω2对应的子图像B2代替12中的Ω2对应的子图像（R+B 2)，处理后的图像 用c2表不； 5) 将Q和C2求平均，得到最后的恢复图像，用C表示； 第二种，对于反射区域存在重叠的情况： 用Ω。表示Ω，Ρ Ω2的重叠区域，即有0^= Ωι Π Ω2，由于Ω，Ρ Ω2是用其外接矩 形表示其位置，因此Ω ^也是一个矩形区域，对于Ω i和Ω 2中非重叠的区域，按照前述的反 射区域不重叠情况进行处理； 用表示L中Ω。区域对应的反射分量，用'表示12中Ω。区域对应的反射分量， 用^表示Ω。区域对应的背景分量，在L中的反射分量心在12中的对应区域是Ω&,， 其中，Λ表示从Qjlj Ω2的位移，同理可得，在12中的反射分量'在^中的对应区域是 其中-Δ表示从馬到札的位移；在L中Ω α+Δ子图像是中Ωα_Δ的子图像 是RQ2+B Q_A ;12中〇。^子图像是BQ_A，I2* Ωα+Δ的子图像是RQ1+BQ+A，采用下面方法去除 Ω i和Ω 2重叠区域Ω 的反射分量： 1) 从L中提取3个子图像，分别用（RQ1+BQ)、（RQ2+BQ_ Λ)和BQ+A表示； 2) 从12中提取3个子图像，分别用（RQ2+BQ)、（RQ1+B_)和V Λ表示； 3) 计算（RQ1+BQ_ Λ)和BQ_ Λ的差值，得到R' Q1 ;计算（RQ1+BQ)和R' Q1的差值，结果用 。表示； 4) 计算（RQ2+iW)和Β〇+Δ的差值，得到V Q2 ;然后计算（RQ2+BQ)和V Q2的差值，用 B"。表示； 5) 计算B'。和B"。的均值，得到Ω。的背景子图像，用仏表示，即有：B0 = (B，0+B"。)/2; 6) 恢复非重叠部分的背景图像，最终得到总的背景图像。
2. 根据权利要求1所述的夜景图像窗户镜面反射效应去除方法，其特征在于，步骤2 中，借助用户辅助输入定位反射区域。
3. 根据权利要求1所述的夜景图像窗户镜面反射效应去除方法，其特征在于，步骤3 中，判断反射区域是否存在重叠的方法如下： 1) 根据对应的外接矩形位置信息，计算反射区域二值图BWp 2) 根据Ω2对应的外接矩形位置信息，计算反射区域二值图BW2， 3) 计算BWi和BW2的重叠区域二值图BW， 4) 如果则认为〇1和Ω2位置不重叠；否则，认为01和Ω2位置存在部分重叠。
【文档编号】G06T5/50GK104091317SQ201410242762
【公开日】2014年10月8日 申请日期:2014年6月3日 优先权日:2014年6月3日
【发明者】王建, 刘长波 申请人:天津大学