处理在恶劣环境中所拍摄低照度图像的方法
【专利摘要】本发明公开了处理在恶劣环境中所拍摄低照度图像的方法，第一步：通过现有3D降噪算法处理所采集的连续若干帧低照度图像；第二步：通过现有非局部均值(NLM)滤波算法处理已经3D降噪算法所处理过的连续若干帧低照度图像；第三步：采用高动态范围图像增强算法：通过高动态范围图像增强算法公式①对已经非局部均值(NLM)滤波算法处理的该连续若干帧低照度图像计算出其中每一像素点(x，y)的亮度值并以该连续若干帧低照度图像中每一像素点(x，y)的亮度值输出图像。本发明能明显进一步提高低照度视频的画面质量及其视觉效果。
【专利说明】处理在恶劣环境中所拍摄低照度图像的方法
【技术领域】
[0001] 本发明涉及处理低照度视频图像的软件执行技术程序，特别是处理在恶劣环境中 所拍摄低照度图像的方法。
【背景技术】
[0002] 通常，获取图像或视频是在理想光照条件下进行的，但实际使用情况确是往往不 得不在低照度环境下获取图像或者视频。这些在低照度环境下获取的图像或者视频的画面 质量偏差，往往不能分辨图像细节，影响视觉效果且影响后续进一步的处理效果。低照度环 境下获取的图像及视频的主要特点为：1、图像亮度整体偏暗；2、与理想光照条件下获取的 图像相比，含有大量噪声；3、由于光照条件的限制以及光源本身的影响，RGB中某些分量相 对其他分量偏低。
[0003] 目前世界范围内已有的同类产品技术及存在的缺陷列举及分析：目前，为了能在 非常暗的光线下采集到更清楚、更清晰的图像，大部分通过以下方法来实现：①在进行拍摄 时，加红外补光灯，这种方法最重要的问题是会明显增加成本；②在拍摄时增加光圈，这种 方法会使摄像机镜头尺寸变大，当光圈大于FL4之后会显著增加系统性成本；③在拍摄时 增加曝光时间，这种方法的显著缺点是被摄物体运动时会有明显拖影，造成清晰度的影响； ④增强从传感器来的光学信号强度，提高增益。增加传感器的增益缺点是噪声也会被一起 放大，所以图像上会有很多噪点，原始图像就变得不是那么清晰。另外，噪声变大以后，编码 会变得非常困难，因为分不清是图像的细节还是噪声，所以它会把一些噪声当成图像来做 编码。这种方法的重点是区分噪声和真正的图像，在去掉噪声的同时要能保证图像的高清 晰度。由于上述第①至第③所示现有方法的明显缺陷及技术改进的困难性，现在大部分方 法都主要针对上述第④种方法，即对传感器增益进行改进，因此，第④种方法可以细分为两 个环节：图像增强或图像降噪。
[0004] 目前图像增强环节的主要方法为：a)直方图均衡化一直方图均衡化是图像增强 空域法中的最常用、最重要的算法之一，它以概率理论为基础，基本的思想是通过均衡化处 理调整图像灰度分布，达到改善图像对比度的目的。由于图像对比度是决定一幅图像主观 质量的重要因素，因此，直方图均衡化被广泛应用于图像的增强处理。经直方图均衡化处理 后，图片的对比度明显加强，图像也更加清晰，从直方图来看，处理后的图像直方图分布更 趋均匀。但是，直方图均衡化增强存在着两点不足之处：其一，处理后的图像灰度级有所减 少，致使某些细节消失；其二，某些图像，如直方图有高峰等，经处理后其对比度易产生不自 然的过分增强问题，例如，有些卫星图像或医学图像因灰度分布过度集中，在对此类图像进 行直方图均衡化处理时，其结果往往会出现过亮或过暗的现象，达不到增强视觉效果的目 的。此外，对于图像的有限灰度级，量化误差也经常引起信息丢失，导致一些敏感的边缘因 与相邻像素点的合并而消失，这是直方图修正增强无法避免的问题。b)变换域法一变换域 法是通过某种变换将图像转换到另一个空间域，再对系数进行某种处理，最后对系数进行 反变换得到增强后的图像。常见的变换域方法有高通滤波，小波变换等。高通滤波法首先 对图像进行傅里叶变换，然后通过一个高通滤波器，增强高频分量（即增强图像的细节）， 同时抑制低频分量，最后再对图像进行傅里叶反变换而得到增强后的图像。C)Retinex图像 增强算法一Retinex(视网膜"Retina"和大脑皮层"Cortex"的缩写）理论是一种建立在科 学实验和科学分析基础上的基于人类视觉系统（HumanVisualSystem)的图像增强理论。 该算法的基本原理模型是一种被称为色彩的理论，并在颜色恒常性的基础上提出的一种基 于理论的图像增强方法。Retinex理论的基本内容是物体的颜色是由物体对长波（红）、中 波（绿）和短波（蓝）光线的反射能力决定的，而不是由反射光强度的绝对值决定的，物 体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性（颜色恒 常性）为基础的。该理论认为，物体的亮度是由入射分量（即照度分量）和反射分量共同 决定的，即表达式I(X，y) =L(x,y)R(x,y)，I(X，y)表示图像亮度，L(x,y)表示照度分量， R(x，y)表示反射分量。通过取对数，可以使L(x,y)和R(x,y)的关系由相乘变成相加，即 表达式IogI(x，y) =IogL(x，y)+IogR(x，y)，照度分量与光源有关，而反射分量与物体本身 的颜色特性有关，即反射分量反映了物体的真实颜色。Retinex理论的思想是通过从图像 中移除光源照度的影响，即对照度进行统一化，获得反射分量，即为反映物体真实颜色的图 像。Retinex算法主要有三种，SSR(Single-ScaleRetinex)、MSR(Multi-ScaleRetinex) 和MSRCR(Multi-ScaleRetinexwithColorRestoration)。SSR的表达式为=IogRi(Xj) =IogIi (x,y)-log(F(x,y)Wi (x,y)),iG{R,G,B},表示RGB三个通道,* 表示卷积,F(x,y) 为低通滤波器，通常选用归一化的高斯滤波器。SSR的本质是通过一个邻域的加权平均获得 图像的照度估计，再在对数域通过相减去除，以得到反射分量。SSR的缺点是会在图像边缘 产生晕效应。为解决这一问题，MSR则被提出，即MSR的表达式为：
[0005]
【权利要求】
1. 一种处理在恶劣环境中所拍摄低照度图像的方法，其特征在于如下处理步骤：第一 步：通过现有3D降噪算法处理所采集的连续若干帧低照度图像，对按时间先后顺序依次所 采集的连续若干帧低照度图像进行对比筛选，将该连续若干帧低照度图像互不重叠的噪点 自动滤出，使其中的共有最相似像素匹配；第二步：通过现有非局部均值（NLM)滤波算法处 理已经3D降噪算法所处理过的连续若干帧低照度图像，对按时间先后顺序依次所采集的 连续若干帧图像中所有像素点都进行非均值量化计算；第三步：采用高动态范围图像增强 算法：通过高动态范围图像增强算法公式①对已经非局部均值（NLM)滤波算法处理的该连 续若干帧低照度图像计算出其中每一像素点（X，y)的亮度值并以该连续若干帧 低照度图像中每一像素点（x，y)的亮度值i=h(A>·)输出图像，其公式为：
在高动态范围图像增强算法公式①中，~(x.j) = [tanh(i：T/?K^.v))r是归一化因 子，为输入图像中一像素点（X，y)相应所在局部矩形视窗中的最大亮度值， "Ι(Λ'._ν) = ￡'；7(Λ'..νμ' +Ι?,_，m(x，y)作为线性函数以控制双曲正切函数的曲率并由输入图 像局部矩形视窗统计特性而算得，为输入图像中一像素点（X，y)相应所在局部矩 形视窗中的平均亮度值，5 = (?:Κ) Hlfflax则为基于输入图像局部矩形视窗统计 特性而算得的最大量化值，mmin则为基于输入图像局部矩形视窗统计特性而算得的最小量 化值，S作为尺度因子以对双曲正切函数的曲率进行控制，Lin(X，y)为输入图像中一像素点 (X，y)的实际亮度值，ε为对应于输入图像中像素点（x，y)相应所在局部矩形视窗中的平 均亮度值i'r 的余量修正值。
2. 根据权利要求1所述的处理在恶劣环境中所拍摄低照度图像的方法，其特征是：在 完成第一步或第二部或第三部之后，采用现有线性色彩映射算法对相应已经第一步或第二 部或第三部处理的图像进行处理。
【文档编号】G06T5/00GK104318529SQ201410563057
【公开日】2015年1月28日 申请日期:2014年10月19日 优先权日:2014年10月19日
【发明者】于涛 申请人:新疆宏开电子系统集成有限公司, 新疆西东电子科技有限公司