用于低照度视频图像处理的方法及装置与流程

本发明涉及计算机视觉领域，具体而言，涉及一种用于低照度视频图像处理的方法及装置。

背景技术：

大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等,都需要获取清晰的图像特征。但是在低照度条件下(如夜间等环境)，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。因此，研究如何对低照度图像进行有效处理，降低光信号弱的环境对成像系统的影响具有重要研究价值。

低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，这些特点使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。目前现行的低照度成像方法大多数基于对低照度下获取的单幅图像进行先去噪再增强的算法，这样处理的弊端就是会在一定程度上无法精确体现出图像细节，同时对于单幅低照度下获取的图像的增强算法而言，由于低照度下图像信噪比已接近探测极限，同时输出图像不仅附加了严重的量子噪声而且图像的对比度已接近视觉的灵敏限。因此采用常规的数字图像处理技术，将很难获得预期的效果。

因此，需要一种新的用于低照度视频图像处理的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

有鉴于此，本发明提供一种用于低照度视频图像处理的方法及装置，能够提高低照度下获取的图像的质量和可辨识度。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于低照度视频图像处理的方法，该方法包括：对多帧图像进行快速鲁棒特征点匹配以获得校准图像；对校准图像进行加权累加以获得帧累计图像；以及对帧累计图像进行伽马校正以获得校正图像。

在本公开的一种示例性实施例中，对多帧图像进行快速鲁棒特征点匹配以获得校准图像，包括：获取特征点；确定特征点的主方向；获取特征点描述子；以及特征点匹配。

在本公开的一种示例性实施例中，特征点匹配，包括：通过欧氏距离获取特征点间的相似性数值；通过预定规则与相似性数值进行特征点匹配。

在本公开的一种示例性实施例中，通过预定规则与相似性数值进行特征点匹配，包括：当两个待匹配的特征点间的相似性之比小于预定范围时，两个待匹配的特征点为匹配；预定范围为0.5-0.7。

在本公开的一种示例性实施例中，通过穷举搜索法获取特征点匹配。

在本公开的一种示例性实施例中，对校准图像进行加权累加以获得帧累计图像时，每一个累加的校准图像的权重相等。

在本公开的一种示例性实施例中，还包括：对校正图像进行快速宽动态处理。

在本公开的一种示例性实施例中，还包括：对原始图像进行图像处理，以获得多帧图像。

在本公开的一种示例性实施例中，图像处理包括以下处理至少一者：白平衡处理，去马赛克处理，色彩校正处理，格式转换处理。

根据本发明的一方面，提出一种用于低照度视频图像处理的装置，该装置包括：校准模块，用于对多帧图像进行快速鲁棒特征点匹配以获得校准图像；累计模块，用于对校准图像进行加权累加以获得帧累计图像；以及校正模块，用于对帧累计图像进行伽马校正以获得校正图像。

根据本发明的用于低照度视频图像处理的方法及装置，能够提高低照度下获取的图像的质量和可辨识度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。

图2是根据一示例性实施例示出的一种用于低照度视频图像处理的方法中滤波算法原理图。

图3是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。

图4是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。

图5是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。

图6是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法处理前后对比图。

图7是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法处理前后对比图。

图8是根据另一示例性实施例示出的一种用于低照度视频图像处理的方法处理前后对比图。

图9是根据一示例性实施例示出的一种用于低照度视频图像处理的装置的框图。

具体实施例

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。

图1是根据一示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。

如图1所示，在S102中，对多帧图像进行快速鲁棒特征点匹配以获得校准图像。快速鲁棒特征点匹算法又称为SURF算法，SURF(Speed-Up Robust Features)是在SIFT(Scale Invariant Feature Transform)算法基础上提出的一种特征检测描述算子，具有尺度不变、旋转不变性、对光照变化、噪声、局部遮挡保持一定的稳健性等特点，且计算速度比SIFT快几倍。SURF意指加速的具有鲁棒性的特征，由Bay在2006年首次提出，这项技术可以应用于计算机视觉的物体识别以及3D重构中。SURF算子由SIFT算子改进而来，一般来说，标准的SURF算子比SIFT算子快好几倍，并且在多幅图片下具有更好的鲁棒性。SURF最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。该算法在保持SIFT算子优良性能特点的基础上，同时解决了SIFT计算复杂度高、耗时长的缺点，对兴趣点提取及其特征向量描述方面进行了改进，且计算速度得到提高。本发明实施例中，通过SURF算法对多帧图像进行快速鲁棒特征点匹配以获得校准图像。

在S104中，对所述校准图像进行加权累加以获得帧累计图像。由于简单的叠加会导致图像产生过曝现象，采用加权累积方式可以避免此项缺点，在本实施例中，可例如，在加权累加时，多帧图像中每一幅图像权重相等。

在S106中，对所述帧累计图像进行伽马校正以获得校正图像。伽马校正就是对图像的伽马曲线进行编辑,以对图像进行非线性色调编辑的方法,检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。通过伽马校正方法，对待处理图像进行伽马校正。伽马校正可例如包含以下三个步骤：归一化：将像素值转换为0～1之间的实数；求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；反归一化：将经过预补偿的实数值反变换为图像的整数值。

根据本发明的用于低照度视频图像处理的方法，通过快速鲁棒特征点匹配方式以及加权累加以获得帧累计图像的方式，能够提高低照度下获取的图像的质量和可辨识度。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

在本公开的一种示例性实施例中，所述对多帧图像进行快速鲁棒特征点匹配以获得校准图像，包括：获取特征点；确定所述特征点的主方向；获取特征点描述子；以及特征点匹配。

检测特征点：选取不同的箱式滤波器建立图像的尺度空间，可例如，使用Hession矩阵检测每一层图像上的极值点，在三维空间中，对该点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近26个响应值的点称为SURF特征点。

以高斯滤波器为例，对于图像中的某一点p＝(x,y)以及高斯滤波器的尺度σ，其Hession矩阵H(p,σ)表达式如下：

其中L_xx(p,σ)，L_xy(p,σ)，L_yy(p,σ)是图像中p点与高斯二阶偏导数的卷积。Hession矩阵的行列式为：

实际运算中由于高斯滤波器须离散化，故随着尺度的增大图像细节逐渐被过滤。可例如，采用SURF算法以方框滤波(box filter)近似代替高斯二阶导数，用积分图像加速卷积后Hession矩阵的行列式的近似表达式为：

其中D_xx，D_yy，D_xy是图像中p点与方框滤波的卷积。

确定特征点主方向：以特征点为中心，可例如，计算半径为6σ(σ为特征点所在的尺度值)圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计；再将圆形区域以每50为间隔，划分为72组，分别将每组600范围内的响应加起来形成一个新的矢量；遍历整个圆形区域，一共生成72个矢量，选择最长的矢量的方向为特征点的主方向。

特征点描述：以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形区域，将该窗口区域划分为4×4个子区域，在每个子区域内计算Harr小波在y方向的响应d_x、d_y每个子区域在x，y方向的响应分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子；

特征点匹配：采用基于最小欧氏距离来度量特征点间的相似性为：

其中A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述向量；假设T_U，T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、且(的取值范围可例如为0.5～0.7),则认为是T_U的匹配对。

在本公开的一种示例性实施例中，通过穷举搜索法获取所述特征点匹配。

根据本发明的用于低照度视频图像处理的方法，通过快速鲁棒特征点匹配方式，能够提高清晰度，提高夜拍低照度视频图像的成像效果。

在本公开的一种示例性实施例中，对所述校准图像进行加权累加以获得帧累计图像时，每一个累加的所述校准图像的权重相等。

对多帧连拍图(可例如为本发明实施例中的校准图像)进行累加。由于简单的叠加会导致图像产生过曝现象，因而采用加权累积方式，每幅图像权重相等。

一幅有噪声的图像g(x,y,t)可认为是由原始图像f(x,y,t)和噪声n(x,y,t)叠加而成，即：

g(x,y,t)＝f(x,y,t)+n(x,y,t)

多帧累加可例如，将不同时刻两帧图像或多帧图像对应像素点相加后求取它们的图像。m帧图像进行累加，得到图像a(x,y,t)，

基于上述原理，求得帧累积图像a(x,y,t)。

在本公开的一种示例性实施例中，所述对所述帧累计图像进行伽马(Gamma)校正以获得校正图像，Gamma校正可例如包含以下处理：归一化处理：将像素值转换为0～1之间的实数；求输出值：根据预设的Gamma值所绘制的符合需求的Gamma曲线，将归一化后的像素值代入曲线中，求得相应的输出值；反归一化处理：将经过预补偿的实数值反变换为图像的整数值。最后得出相应的校正结果。

根据本发明的用于低照度视频图像处理的方法，通过伽马校正的图像处理方式，能够提高低照度下图像的亮度。

在本公开的一种示例性实施例中，还包括：对所述校正图像进行快速宽动态处理，可例如包括：

对输入的处理后的低照度视频图像进行线性空间滤波及滤波校正；

线性空间滤波的现实意义是改良影象质量，包括去除高频噪声与干扰，及影像边沿增强、线性增强和去模糊。线性空间滤波，是规定了相应滤波器大小，对邻域像素进行的线性运算，输出的响应为滤波器内的像素进行线性运算后的得数值。线性空间滤波，从本质上来说是两个矩阵的卷积或者相关运算：通过相应滤波器(或者称之为掩膜，实际也为一个二维矩阵)与图像矩阵进行卷积或者相关运算实现。

其算法表述为：

Y₁＝Imfilter(I，GH，′conv′)+Mean·β

可以用公式表述为：

Y₁＝I*GH+Mean·β

其中，Y₁为输入的视频图像的修正值，Imfilter为线性空间滤波函数，I为输入的视频图像的像素值，值得注意的是，此处输入的是无需处理的数据格式为12bit的RGB型图像。另外，GH为滤波矩阵，conv为卷积运算(输入像素值I与滤波矩阵GH的卷积运算)，Mean为整帧图像的平均值，β为调节平均值(调节平均值根据系统需要进行人为设定)。

滤波模块算法原理如图2所示。H可例如为一个5*5的滤波掩膜，加权平均，旋转对称，越靠近中心位置权值越大。原始图像分别以每个像素点为核心，取一个5*5的矩阵，阵列中的像素值与H矩阵对应的加权系数加权后，再除以加权系数和256。如果中心像素在边界或临近边界，则复制边界，补足5*5的矩阵。

而调节平均值与整帧图像的平均值的乘积(Mean·β)为滤波校正。

基于改进的色调映射法对滤波过后的视频图像进行宽动态处理；

色调映射方法可以分为全局算法(空域不变算法)和局部算法(空域变化算法)两种。全局算法中，对图像各个像素的处理与其空间位置和周围像素的值无关，所有像素被同一个映射函数处理。

由于空域不变算法需要的映射曲线具有统一性，不变性与固定性，所以它的计算简单快捷，容易实现，映射时的算法复杂度较低，但是简单的映射必定将影响最后的效果，导致图像中的细节特征很可能丢失，而原先图像中局部的对比度等信息也将会因此而受影响。

空域变化算法则与之不同。与空域不变算法形成对比，这类算法关注的是当前像素点与其周围像素点之间的关系，像素点一旦发生变化，相应的映射关系也将因此而发生变化。

可例如采用空域变化算法。将一帧视频图像分为两个情况：高光部分，低光部分。针对如此分类，可例如采用不同参数，对各个部分进行调整，一起达到视频图像宽动态的效果。低光补偿算法公式可例如：

其中，Y₂为低光补偿部分的值，k为低光补偿参数，通常根据系统需求自行设定，I为输入的视频图像的像素值，Y₁为预处理部分输入的视频图像的修正值。

高光部分的算法公式可例如：

其中α为高光部分调节参数，来调节最大值，参数范围一般为0.7～1，Max a为视频图像的像素最大值。

最终，经过校正后输出的宽动态视频图像为：

Y＝Y₂+Y₃

Y为宽动态算法处理后最终系统输出的视频图像。

根据本发明的用于低照度视频图像处理的方法，通过空域变化算法对滤波过后的视频图像进行宽动态处理的方式，能够有效地提升了图像的动态范围，图像的色度信息也保持良好，对图像细节增强明显，该方式鲁棒性好，实时性也能得到满足。

图3，4，5是根据一些示例性实施例示出的一种用于低照度视频图像处理的方法的流程图。图3，4，5可例如，根据不同使用场景，选择不同的处理步骤，实现本发明的用于低照度视频图像处理的方法，然而，本发明不以此为限。

在S304中，对输入图像进行白平衡处理。

在S306中，去马赛克处理。

在S308中，色彩校正处理。

在S310中，转换图像格式为RGB。

在S312中，进行图像匹配校准。

在S314中，进行多帧图像累积。

在S316中，进行伽马校正。

在S402中，处理后的低照度图像输入。

在S404中，对输入图像进行线性空间滤波。

在S406中，对滤波后图像进行滤波校正。

在S408中，基于空域变化算法对滤波过后的视频图像进行宽动态处理。

在S410中，输出处理后的宽动态图像。

在S502中，低照度视频图像输入

在S504中，对输入图像进行基于帧累积的低照度图像处理

在S506中，基于空域变化算法对低照度处理后的视频图像进行宽动态处理。

在S508中，输出处理后的宽动态图像。

如图3，4，5所示，可例如根据不同使用场景，选择不同的处理步骤，实现本发明的用于低照度视频图像处理的方法，然而，本发明不以此为限。

在本公开的一种示例性实施例中，还包括：对原始图像进行图像处理，以获得所述多帧图像。

图像的帧累积，即图像的多帧积累增加，是通过累积同一场景连续帧图像的办法，提高图像的信噪比。在图像处理算法中，多帧累加就是将不同时刻两幅图像或多帧图像对应像素点的灰度值相加，求取它们的时间均值图像。当所观察目标的环境照度太低，导致目标能量小，噪声大，图像信噪比降低。对静态的图像序列,利用各帧信号的相关性和噪声的不相关性，采用序列图像多帧累加技术，可大大改善图像的信噪比，提高清晰度。

对于待处理的低照度下获取的图像，假定含有噪声图像中原始图像任一像素点在一定时间内的平均光子数为推广到整幅图像中该像素点的原始图像信号S，

微弱光环境下，物体辐射的瞬时值则有所涨落，这种偏离平均值的随机起伏就构成了辐射的噪声。根据概率论中描述随机变量的理论可知，到达探测器的光子流符合泊松分布，量子数涨落值即量子噪声可以用方差表示。每一个空间位置(x,y)的噪声n(x,y,t)在时间序列上是不相关的，所以不同时刻得到的噪声之间的协方差为零。

图像噪声用标准差表示，得到经过累加处理后的图像噪声为比较知，累加处理前的图像信噪比和处理后的分别为SNR1，SNR2,

由式看出，对m帧图像序列取累加后可使信噪比提高倍，能够有效地抑制噪声。

根据本发明的用于低照度视频图像处理的方法，通过对原始图像进行图像处理，能够有效地抑制图像中的噪声。

在本公开的一种示例性实施例中，所述图像处理包括以下处理至少一者：白平衡处理，去马赛克处理，色彩校正处理，格式转换处理。通过RGB格式彩图后输出适合Surf特征点匹配的图像。

图6，7，8是根据一些示例性实施例示出的一种用于低照度视频图像处理的方法处理前后对比图。通过处理前后视频图像效果对比，可以看到，本发明有效地提升了图像的动态范围，图像的色度信息也保持良好，对图像细节增强明显。与此同时，本发明实施例中所示的方法步骤简单，鲁棒性好，实时性也能得到满足。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图9是根据一示例性实施例示出的一种用于低照度视频图像处理的装置的框图。

校准模块902用于对多帧图像进行快速鲁棒特征点匹配以获得校准图像。

累计模块904用于对校准图像进行加权累加以获得帧累计图像。

校正模块906用于对帧累计图像进行伽马校正以获得校正图像。

根据本发明的用于低照度视频图像处理的装置，通过快速鲁棒特征点匹配方式以及加权累加以获得帧累计图像的方式，能够提高低照度下获取的图像的质量和可辨识度。

在本公开的一种示例性实施例中，所述校准模块，包括：特征点子模块，用于获取特征点；主方向子模块，用于确定特征点的主方向；描述子子模块，用于获取特征点描述子；以及匹配子模块，用于特征点匹配。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。

通过以上的详细描述，本领域的技术人员易于理解，根据本发明实施例的用于低照度视频图像处理的方法及装置具有以下优点中的一个或多个。

根据一些实施例，本发明的用于低照度视频图像处理的方法，通过快速鲁棒特征点匹配方式以及加权累加以获得帧累计图像的方式，能够提高低照度下获取的图像的质量和可辨识度。

根据另一些实施例，本发明的用于低照度视频图像处理的方法，通过快速鲁棒特征点匹配方式，能够提高清晰度，提高夜拍低照度视频图像成像效果。

根据另一些实施例，本发明的用于低照度视频图像处理的方法，通过伽马校正的图像处理方式，能够提高低照度下图像的亮度。

根据另一些实施例，本发明的用于低照度视频图像处理的方法，通过改进的色调映射法对滤波过后的视频图像进行宽动态处理的方式，能够有效地提升了图像的动态范围，图像的色度信息也保持良好，对图像细节增强明显，该方式鲁棒性好，实时性也能得到满足。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

此外，本说明书说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语，也仅为便于叙述的明了，而非用以限定本公开可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当也视为本发明可实施的范畴。