专利名称：一种在透视成像过程中识别遮拦物的方法
技术领域：
本发明涉及一种在透视成像过程中识别遮拦物的方法，属于图像处理技术领域。
背景技术：
在传统成像系统中，相机的景深可以根据光圈的大小来调节，光圈的大小也就是 实际成像所用的孔径大小。拍摄较大深度的景物时一般使用小光圈(小孔径)，而拍摄特 写景物时，要求景深很小，为了将特写之外的景物虚化模糊，会选择大光圈(大孔径)成像。 如果被拍摄目标被其他景物(树丛、人群等)部分遮挡，这时会有部分视角的光线无法到达 相机的孔径范围内。而如果相机的孔径足够大，就能够接收到被遮挡目标从其他视角发出 的光线而对其成像。此时相机的景深变得极短，因此被遮拦目标前面的遮拦物由于不在景 深范围内而被严重虚化模糊，从而可以达到穿透部分遮拦物进行拍摄的目的。利用单相机的多次扫描拍摄或者多个相机的阵列组合，可以合成为一个虚拟的 “大孔径”。这个虚拟大孔径中的各个相机接收到目标从多个视角发出的光线，分别记录在 每个相机的探测器中。对于对焦面的物点来说，他们通过不同相机后的像经过处理后会叠 加成一个像点，而不在对焦面位置的物点则会叠加在不同的位置成为弥散斑，从而突出显 示了对焦面位置所成的像。在这种合成大孔径成像的系统中，前景遮拦物的离焦模糊图像 与后景目标的在焦清晰图像混叠在一起，严重降低了目标图像的对比度和清晰度。为了减 少离焦图像混叠的影响，需要在合成目标图像之前，对前景遮拦物的像进行识别和消除。在已有技术中，对前景遮拦物的像进行消除的方法主要包括利用摄像机阵列获 取目标的动态影像，然后从视频中提取出一段时间内的连续数帧图像，比较这一图像序列 中对应像素的变化，图像中颜色不随时间发生改变或变化很小的部分代表了静止遮拦物， 计算图像序列中每个像素序列的方差，则方差低于某个选定阈值的部分可被识别为遮拦 物；或者，在拍摄目标之前，先在遮拦物后面放置一幅全蓝色(或其他与遮拦物不同颜色) 的背景屏幕，对此进行拍摄，获取的图像中与背景屏幕颜色不同的部分即为遮拦物。拍摄目 标时，移去背景屏幕，保持相机的位置和姿态不变，获取的图像中与遮拦物对应的像素因此 可被识别；以及，假设遮拦物本身都具有相近的颜色，且遮拦物与被遮拦目标的颜色有明显 区别，同时大面积遮拦物覆盖了相机的绝大部分视场，因此在这样的假设条件下，对于所拍 摄的任意一幅图像的颜色作平均，得到的均值与遮拦物颜色非常接近，而图像中与该均值 差异较大的像素则代表了被遮拦的目标。因此，在现有的对前景遮拦物的像进行消除的技术中，存在以下缺点需要多帧重 复拍摄且不能识别移动的遮拦物，或者需要人工对场景介入导致透视成像过程较复杂。
发明内容
本发明提供了一种在透视成像过程中识别遮拦物的方法，达到了消除遮拦图像混 叠和提高目标图像对比度的目的。一种在透视成像过程中识别遮拦物的方法，包括
根据对焦到不同深度的平移量，对待处理图像序列进行平移并求和平均获得初步 合成图像序列；根据所述初步合成图像序列中对焦在遮拦物的图像对应的平移量，对待处理图像 序列进行平移并计算获得消除遮拦物的图像序列。本发明通过多次对焦和方差比较的方法，能够在透视成像过程中有效的识别遮拦 物，提高被遮拦目标图像的对比度和清晰度，具有不需要对拍摄场景的条件做出假设，无需 多次重复拍摄且能够识别移动的遮拦物，同时也不需要人工对场景的介入，具有普遍的适 用性。
图1是本发明的具体实施方式
提供的多角度成像示意图；图2是本发明的具体实施方式
提供的在透视成像过程中识别遮拦物的方法的流 程示意图；图3是本发明的具体实施方式
提供的三幅从不同视角拍摄的待处理图像；
图4是本发明的具体实施方式
提供的初步合成图像序列中分别对焦在遮拦网格 和被遮拦文字的图像；图5是本发明具体实施方式
提供的对待处理图像进行平移并对准到网格的平面 图像；图6是本发明具体实施方式
提供的遮拦物的灰度方差图；图7是本发明具体实施方式
提供的遮拦物的遮拦二值图；图8是本发明具体实施方式
提供的消除遮拦物的图像序列图；图9是本发明具体实施方式
提供的消除遮拦物并对准到目标平面的图像序列图；图10是本发明具体实施方式
提供的消除遮拦物的合成目标图像。
具体实施例方式本发明的具体实施方式
提供了一种在透视成像过程中识别遮拦物的方法，所采用 技术方案是基于在同一物点在不同相机中的像点偏移量只与物点的深度相关的理论。如图 1所示，C和C'分别为任意两个不同位置相机的光瞳中心，相距间隔为d，光瞳到像面的距 离为S，物点P到相机光瞳面的距离为Z，物点经过两个相机分别成像在p和处，令两个 像点在各自相机坐标系中的局部坐标为y和/，由几何关系容易可知 得到像点在两幅图像中的坐标偏移量为 由上式可知，在同一物点在不同相机中的像点偏移量根据物点的深度z而改变， 因此根据所选择的对焦深度z，将不同相机拍摄的图像根据相应的偏移量Ay进行偏移，那 么与z相对应的在焦物点的像都会对准到相同的位置，而其他深度位置的像因离焦而相互 错开。下面结合说明书附图来详细介绍本发明的具体实施方式
提出的方法，如图2所示，该方法具体可以包括步骤21，根据对焦到不同深度的平移量，对待处理图像序列进行平移并求和平均 获得初步合成图像序列。具体地，图3中显示了三幅从不同视角拍摄的待处理图像，目标为被白色网格遮 拦的文字。从图3中可以看出，物体的三个像由于拍摄视角的不同发生了平移，相邻图像之 间的平移量△在等相机间距的条件下只与物体本身的深度位置有关。首先根据不同的A取值，在每个A的条件下对所有图像都进行平移，然后对平移 后的图像序列作求和平均，获得初步合成图像序列。步骤22，根据初步合成图像序列中对焦在遮拦物的图像对应的平移量对待处理图 像序列进行平移。具体地，从初步合成图像序列中可选择出对焦在遮拦网格和被遮拦文字的两幅图 像(如图4所示)，与其对应的平移量^和A 2分别代表了遮拦面和被遮拦面的深度。将 待处理图像进行相邻间隔平移量八工的平移，使所有图像都对准到遮拦面，得到图5所示的 平移对准到网格的平面图像。步骤23，对平移后的待处理图像序列计算获得灰度方差图。具体地，在平移后的待处理图像序列中，遮拦物的像在所有图像中都处于同样的 位置，而被遮拦目标的像在各图像中仍有相互偏移。因此，各图像中代表遮拦物的像素在整 个平移后的待处理图像序列中只发生较小的颜色或灰度值变化，而其他像素在不同的图像 中代表不同物体的像，其颜色或灰度值变化较大。可以通过以下的公式计算每个像素序列 的方差S(i，j)，获得图6所示的遮拦物的灰度方差图 Ik(hj) = —yik(hj)其中，S(i，j)表示每个像素序列的方差，Ik(i，j)表示第k个平移后的待处理图 像中像素(i，j)的灰度值，k表示自然数。步骤24，根据灰度方差图并通过预定值识别遮拦物获得遮拦二值图。具体地，从图6中可以看出，遮拦物的灰度方差图中代表遮拦物部分的方差相对 于图像中其他部分的方差小得多，因此通过选择合适的阈值t (方差小于遮拦物的方差并 大于灰白色图像的方差)即可识别出代表遮拦物部分的图像。令 得到遮拦物的遮拦二值图T (如图7所示)，其中，t表示预定值，T(i，j)表示灰度 方差图中的表示像素(i，j)表示遮拦物与被遮拦物的值，遮拦物为0，被遮拦物为1。步骤25，将遮拦二值图与平移后的待处理图像序列相乘获得消除遮拦物的图像序 列。将遮拦二值图与平移后的待处理图像序列别进行乘积，即Jk(i，j) = T(i，j) lk(i，j),其中，Jk表示对准到遮拦平面并消除遮拦物后的图像序列，k表示自然数。
则可以将原图像中代表遮拦物的部分进行消除，获得如图8所示的消除遮拦物的 图像序列，以完成对遮拦物的识别。进一步地，为了获得清晰的被遮拦物的图像，本具体实施方式
还可以包括以下步 骤步骤26，根据初步合成图像序列中对焦在遮拦物和被遮拦物的图像分别对应的平 移量之间的差值作为新的平移量，对消除遮拦物的图像序列进行平移并求和平均获得消除 遮拦物的待处理图像。具体地，为了将消除遮拦物后的图像序列对准到被遮拦的文字平面，可以对Jk进 行再次平移，相邻图像之间的平移量为A2-Alt)平移后的图像序列如图9所示，此时代表 被遮拦文字的像素在消除遮拦物的图像序中都处于相同的位置。再次对消除遮拦物的图像 序进行求和平均，即可得到消除遮拦物后的合成目标图像(如图10所示)。对比图4可见， 消除遮拦物后的目标图像极大的减少了混叠的影响，图像对比度和清晰度明显提高。以上的步骤描述了遮拦物为单个平面的灰度图像下的处理过程，但实际的场景 中，会出现遮拦物覆盖了一定的深度范围或多个不同层次的遮拦物，以及待处理图像为彩 色图像的情况，同样可以采用本具体实施方式
提供的方法识别并消除遮拦物。具体为当遮 拦物覆盖了一定的深度范围或多个不同层次的遮拦物，可以重复采用步骤21至步骤26的 方法对每个平面的遮拦物进行识别并消除(相当于从前往后对遮拦物进行推扫清除)，以 获得最终的消除遮拦物的合成目标图像；当待处理图像为彩色图像时，将上述技术方案的 步骤23变为对平移后的待处理图像序列分别计算获得RGB三个通道的方差图，然后将步骤 24变为根据RGB三个通道的方差图获得RGB三个通道的遮拦二值图，再将RBG三个通道的 遮拦二值图进行逻辑与(AND)计算获得彩色遮拦二值图，最后通过步骤25和步骤26实现 对彩色图像中的遮拦物的识别和消除。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范 围为准。
权利要求
一种在透视成像过程中识别遮拦物的方法，其特征在于，包括根据对焦到不同深度的平移量，对待处理图像序列进行平移并求和平均获得初步合成图像序列；根据所述初步合成图像序列中对焦在遮拦物的图像对应的平移量，对待处理图像序列进行平移并计算获得消除遮拦物的图像序列。
2.根据权利要求1所述的方法，其特征在于，所述对待处理图像进行平移并计算获得 消除遮拦物的图像序列，具体包括对平移后的待处理图像序列计算获得灰度方差图，并通过预定值识别遮拦物获得遮 拦二值图，再将所述遮拦二值图与平移后的待处理图像序列相乘获得消除遮拦物的图像序 列。
3.根据权利要求2所述的方法，其特征在于，所述对平移后的待处理图像序列计算获 得灰度方差图包括通过以下公式计算获得每个像素序列的方差 其中，S(i，j)表示每个像素序列的方差，Ik(i，j)表示第k个平移后的待处理图像中 像素(i，j)的灰度值，k表示自然数。
4.根据权利要求2所述的方法，其特征在于，所述通过预定值识别遮拦物获得遮拦二 值图通过以下公式计算获得 其中，t表示预定值，T(i，j)表示灰度方差图中的表示像素(i，j)表示遮拦物与被遮 拦物的值，遮拦物为0，被遮拦物为1。
5.根据权利要求1所述的方法，其特征在于，该方法还包括根据所述初步合成图像序列中对焦在遮拦物和被遮拦物的图像分别对应的平移量之 间的差值，对所述消除遮拦物的图像序列进行平移并求和平均获得消除遮拦物的待处理图像。
6.根据权利要求1至5任意一项所述的方法，其特征在于，该方法还包括对于在相机光瞳面与目标之间存在多个不同距离遮拦物的情况，通过多次获得与目标 距离不同的遮拦物的消除遮拦物的图像序列将多个遮拦物消除。
7.根据权利要求1至5任意一项所述的方法，其特征在于，该方法还包括对于彩色的待处理图像，首先对平移后的待处理图像序列分别计算获得RGB三个通道 的方差图，然后根据RGB三个通道的方差图获得RGB三个通道的遮拦二值图，再将RBG三个 通道的遮拦二值图进行逻辑与计算获得彩色遮拦二值图。
全文摘要
一种在透视成像过程中识别遮拦物的方法，属于图像处理技术领域，以解决透视成像中遮拦物和被遮拦目标的混叠问题。本发明包括首先对焦到遮拦物平面，对待处理图像序列进行平移并计算方差来识别和消除遮拦物；再对焦到被遮拦目标平面，对消除遮拦物后的图像序列进行平移并求和平均，获得被遮拦目标图像。本发明能够在透视成像过程中有效的识别遮拦物，提高被遮拦目标图像的对比度和清晰度，无需多次重复拍摄且能够识别移动的遮拦物，同时也不需要人工对场景的介入，具有普遍的适用性。
文档编号G06K9/68GK101853402SQ20101016561
公开日2010年10月6日 申请日期2010年4月30日 优先权日2010年4月30日
发明者周志良, 王潜, 相里斌, 袁艳 申请人:北京航空航天大学