专利名称：运动图像处理装置及运动图像处理方法
技术领域：
本发明涉及运动图像处理装置及运动图像处理方法，能够使在雾、沙尘等天气下拍摄的运动图像(以下简称为“雾天视频”)清晰化。
背景技术：
户外视频监控质量通常受到大雾、沙尘暴等恶劣天气的影响，因能见度严重下降而造成视频的细节和远距离监控场景信息丢失。而且，在户外，监控应用场景众多，气候变化复杂，雾和沙尘天气经常发生，特别是在城市道路和高速公路环境下更为频繁与严重。所以，在雾与沙尘天气下，提高视频清晰度成为视频监控领域的迫切需求。虽然现有的视频摄像装置产品具有使视频清晰化的功能、即去雾功能 ，但是现有技术一般采用简单的图像增强处理技术，如图像直方图拉伸等，所以效果不好。在2002 年，由 NARASIMAHAN 等人在论文“Vision and the Atmosphere”中首次提出了基于大气模型去雾清晰化方法。但是，NARASIMAHAN等人提出的基于大气模型去雾清晰化方法的效果不理想，而且，需要将两幅不同天气场景下的图像作为输入而获得当前场景的相关信息之后才能完成去雾清晰化处理，应用的前提条件较强。在2008 2009年，Fattal，Kaiming He等人在基于大气模型去雾清晰化方法上取得了新突破，提出一种新的去雾清晰化方法，不需要多幅图像作为输入，仅利用当前图像信息就能完成去雾清晰化处理，而且，去雾清晰化效果比现有采用简单图像增强处理技术等的去雾清晰化方法好。这些新的去雾清晰化方法都基于大气模型。所谓“大气模型”描述了当大气中具有悬浮颗粒时，摄像机拍摄到图像或人眼观察到物体的光学原理。大气模型可以用下式⑴来表示。I(X) = J(X) t (X)+A (1-t (X)) (I)式(I)作用于图像的RGB三个颜色通道。其中，I(X)表示摄像装置拍摄到的带雾图像或者人眼观察到的带雾图像，为输入图像。X= (X, y)表示图像像素坐标。J⑴为物体反射光，表示没有雾的图像，是去雾处理的结果图像。A表示天空点参数，是天空中任一点(以下称作“天空点”)的图像RGB值的矢量数据。当前输入图像中没有天空时，将图像中雾浓度最强的点视为天空点，一幅图像的所有像素共用一个天空点参数。I (X)，J(X)与A—样，均为图像RGB的矢量数据。t(X)定义了空气介质的传输函数，描述了物体反射光经过空中悬浮颗粒的散射以后残留下来而达摄像装置的比例，表示有多少物体反射光经过大气衰减后能到达摄像装置或者人眼，是一个大于O且小于I的标量数据，图像中每个像素具有一个t (X)。以下，参照图6具体说明上述式(I)。图6为大气模型公式的示意图。图6左侧的图像为人眼或摄像装置观察到的图像I(X)。该图像I(X)由2部分组成，第一部分为物体反射光经过空中悬浮颗粒散射后存留下来的部分为J(X) t (X)，第二部分为空中悬浮颗粒散射太阳光所造成的大气环境光为A (l_t ( )。其中，式(I)中的定义了空气介质的传输函数的t(X)为被摄体(物体)与摄像装置(人眼)之间的距离的函数，具体表示为下式(2)。t(X) = e_0d(x) (2)其中，d(X)为图像中一物体点X与摄像装置之间的距离，所以也将t(X)称作“距离参数”。β为大气散射系数，为常数。从式(I)和式(2)可以看出物体反射光到达摄像装置的强度J(X)t(X)与物体与摄像装置时间的距离d(X)成反比，距离越远，则光线衰减越厉害，而大气环境光到达摄像装置的强度A(l-t(X))与距离d(X)成正比，距离越远，则光线越强，所以在无穷远处呈现出白色。接着，参照图7说明显有基于大气模型去雾清晰化方法。如图7所示，图7 (A)为输入图像I(X)，图7(B)为进行了去雾清晰化处理的输出图像J(X)，图7(C)为计算出来的天空点参数A，图7(D)为计算出来的t (X)。根据图7，可以将基于大气模型的去雾算法简单归纳为在得到单幅带雾图像即输入图像I (X)的情况下，求出t(X)和天空点参数A，然后通过式(I)得到去雾以后的结果图像J(X)。而且，现有的单帧去雾清晰化方法对于如何求出t (X)与A给出不同的算法，这些算法目前已经能够达到很好的去雾效果，远远好于基于简单图像增强的去雾算法。以下，在表I中，例举了 3个有关求出t(X)与A的方法。 表I基于大气模型去雾新算法
权利要求
1.一种运动图像处理装置，对输入的运动图像进行图像处理并输出，其特征在于， 具备输入单元，输入通过外部或内置的摄像装置对被摄体进行拍摄而成的运动图像；处理单元，对该输入的运动图像进行图像处理；及输出单元，输出被图像处理后的运动图像； 所述处理单元， 分析所述输入的运动图像中的多个帧，判断各个帧中是否有场景的变更，将有场景变更的帧作为主帧，将没有场景变更的帧作为副帧， 比较所述副帧与所述副帧之前的主帧，将所述副帧划分为有变化的前景部分和无变化的背景部分， 对所述主帧，根据与该主帧中的所述摄像装置和被摄体之间的距离有关的距离参数进行图像处理， 对所述副帧的背景部分，根据所述副帧之前的主帧的所述距离参数进行图像处理，而对所述副帧的前景部分，根据基于该副帧中的变化而计算出的距离参数进行图像处理。
2.如权利要求I记载的运动图像处理装置，其特征在于， 所述处理单元对于所述副帧的前景部分之中的有变化的部分，根据具有多个区域的景深图，当所述副帧的前景部分中的被摄体的移动是从所述景深图中的某一区域向该某一区域以外的区域移动时，重新计算所述副帧的前景部分的距离参数，当所述副帧的前景部分中的被摄体的移动是在同一区域内移动时，使用与所述副帧之前的主帧的距离参数相同的距离参数， 其中，所述景深图是按照从所述摄像装置到所述被摄体的距离的深度而对所述副帧的前景部分进行分割而成的。
3.如权利要求2记载的运动图像处理装置，其特征在于， 所述处理单元在所述副帧的前景部分之中的有变化的部分存在多个时，选择多个有变化的部分之中的面积最大的部分，优先对该面积最大的部分计算所述距离参数。
4.如权利要求3记载的运动图像处理装置，其特征在于， 所述处理单元在预先设定了所述副帧的前景部分中能计算所述距离参数的面积的最大值即最大更新面积的情况下，当所述前景部分之中的有变化的部分的面积超过所述最大更新面积时，对超过所述最大更新面积的所述前景部分之中的有变化的部分使用与所述副帧之前的主帧的距离参数相同的距离参数。
5.一种运动图像处理方法，对输入的运动图像进行图像处理并输出，其特征在于，具有如下步骤 分析输入的运动图像中的多个帧，判断各个帧中是否有场景的变更，将有场景变更的帧作为主帧，将没有场景变更的帧作为副帧； 比较所述副帧与所述副帧之前的主帧，将所述副帧划分为有变化的前景部分和无变化的背景部分； 对所述主帧，根据与该主帧中的所述摄像装置和被摄体之间的距离有关的距离参数进行图像处理； 对所述副帧的背景部分，根据所述副帧之前的主帧的所述距离参数进行图像处理，对所述副帧的前景部分，根据基于该副帧中的变化而计算出的距离参数进行图像处理。
6.如权利要求5记载的运动图像处理方法，其特征在于， 对于所述副帧的前景部分之中的有变化的部分，根据具有多个区域的景深图，当所述副帧的前景部分中的被摄体的移动是从所述景深图中的某一区域向该某一区域以外的区域移动时，重新计算所述副帧的前景部分的距离参数，当所述副帧的前景部分中的被摄体的移动是在同一区域内移动时，使用与所述副帧之前的主帧的距离参数相同的距离参数， 其中，所述景深图是按照从所述摄像装置到所述被摄体的距离的深度而对所述副帧的前景部分进行分割而成的。
7.如权利要求6记载的运动图像处理方法，其特征在于， 在所述副帧的前景部分之中的有变化的部分存在多个时，选择多个有变化的部分之中的面积最大的部分，优先对该面积最大的部分计算所述距离参数。
8.如权利要求7记载的运动图像处理方法，其特征在于， 在预先设定了所述副帧的前景部分中能计算所述距离参数的面积的最大值即最大更新面积的情况下，当所述前景部分之中的有变化的部分的面积超过所述最大更新面积时，对超过所述最大更新面积的所述前景部分之中的有变化的部分使用与所述副帧之前的主帧的距离参数相同的距离参数。
全文摘要
本发明涉及的运动图像处理装置及运动图像处理方法，基于大气模型使雾天视频清晰化，提高画面能见度，而且较好地满足图像实时处理的要求。该运动图像处理装置，在视频去雾过程中，将视频分为作为主帧的核心帧与作为副帧的普通帧。对于核心帧重新计算作为距离参数的t(X)与天空点参数A；对于普通帧不计算A而是使用核心帧的A。对于普通帧的背景部分使用核心帧所对应区域的t(X)，对于普通帧的前景部分重新计算t(X)。根据本发明，能够提高基于大气模型单帧图像去雾算法对视频等运动图像进行去雾清晰化处理中的应用速度，能取得较好去雾效果，而且保证运动图像的实时性。
文档编号G06T5/00GK102637293SQ201110037718
公开日2012年8月15日 申请日期2011年2月12日 优先权日2011年2月12日
发明者三好雅则, 伊藤诚也, 吕越峰, 李媛, 沙浩, 王瑾绢 申请人:株式会社日立制作所