一种图像处理的方法及装置与流程

本发明属于视频与图像处理领域，具体地，涉及一种图像处理的方法及装置。

背景技术：

图像与视频处理技术在日常生产和生活中的作用越发重要，然而受到大雾、浓雾、沙尘、霾等因素的影响，普通相机所采集的图像并不能令人满意，存在能见度低、对比度低、观察距离短、细节丢失等问题。因此，解决以上问题，提高视频和图像的清晰度和景深具有重要的意义，可以用于安防、监控以及日常的摄影拍照中。

现有技术中，对于例如雾霾等能见度低的场景中，需要获取清晰的照片则需要进行大量的图像处理运算，通常做法是同一场景中连拍两张图像作为参考图像，将两张图像做平滑处理，其运算方法单一，效率低下，且效果不理想。

技术实现要素：

本发明所要解决的技术问题是一种图像处理的方法，可以采集可见光及近红外两种不同波长的图像，利用近红外具备更强穿透障碍物的能力，将二者图像进行融合，解决了现有技术中无法在能见度低的情况下处理得到清晰图像的问题，从而提升在能见度低的场景下图像清晰度及细节，提升了图像的清晰度及对比度，提高了拍照的细节表现。

为了实现上述目的，本发明提供了一种图像处理的方法，应用于图像采集和/或视频采集场景中，包括：

一个或多个图像处理装置采集同一场景的可见光图像及近红外图像；

根据所述采集的可见光图像及近红外图像的坐标映射关系，将所述可见光图像及近红外图像映射到同一视角下；

对所述可见光图像进行分解，得到第一数值结果，该第一数值结果包含所述可见光的亮度分量及其它分量；

提取所述第一数值结果中的亮度分量，将所述可见光的亮度分量与所述近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果；

将所述第二数值结果与所述第一数值结果中的其它分量进行重新组合，获取到第三数值图像结果；

对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，所述第四数值图像结果为多模图像融合的结果。

本发明的一个实施例中，所述将所述可见光的亮度分量与所述近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果，具体为：

定义所述亮度分量的权重及所述近红外图像的权重，所述第二数值结果即为所述亮度分量与所述近红外图像分别乘以其对应的权重后加权的结果，其中，所述亮度分量的权重由多个像素点领域的多个通道的最小灰度值归一化计算得到。

本发明的一个实施例中，所述亮度分量的权重由各个像素点邻域的各通道的最小灰度值归一化计算得到，具体为：

定义像素点坐标(x,y)，以(x,y)为中心，确定邻域(u,v)∈n(x,y)；

确定各点最小权重w(u,v)＝min{r(u,v),g(u,v),b(u,v)}/255，进而确定整个邻域最小权重

本发明的一个实施例中，所述所述对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，具体为：

定义饱和度的拉升值，按照每个像素点饱和度大小的不同，对所述每个像素点分配对应的拉升值，根据所述对应的拉升值对所述像素点进行饱和度调整。

本发明的一个实施例中，所述采集同一场景的可见光图像及近红外图像，包括：

利用同步信号实现可见光图像及近红外图像的同步采集，或者异步采集可见光图像及近红外图像后，进行时域补偿。

本发明实施例还提供了一种图像处理的装置，包括：

采集单元，用于采集同一场景的可见光图像及近红外图像；

映射单元，用于根据所述采集的可见光图像及近红外图像的坐标映射关系，将所述可见光图像及近红外图像映射到同一视角下；

分解单元，用于对所述可见光图像进行分解，得到第一数值结果，该第一数值结果包含所述可见光的亮度分量及其它分量；

加权融合单元，用于提取所述第一数值结果中的亮度分量，将所述可见光的亮度分量与所述近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果；

组合单元，用于将所述第二数值结果与所述第一数值结果中的其它分量进行重新组合，获取到第三数值图像结果；

调整单元，用于对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，所述第四数值图像结果为多模图像融合的结果。

本发明的一个实施例中，所述加权融合单元将所述可见光的亮度分量与所述近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果，具体为：

定义所述亮度分量的权重及所述近红外图像的权重，所述第二数值结果即为所述亮度分量与所述近红外图像分别乘以其对应的权重后加权的结果，其中，所述亮度分量的权重由多个像素点领域的多个通道的最小灰度值归一化计算得到。

本发明的一个实施例中，所述亮度分量的权重由各个像素点邻域的各通道的最小灰度值归一化计算得到，具体为：

定义像素点坐标(x,y)，以(x,y)为中心，确定邻域(u,v)∈n(x,y)；

确定各点最小权重w(u,v)＝min{r(u,v),g(u,v),b(u,v)}/255，进而确定整个邻域最小权重

本发明的一个实施例中，所述调整单元对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，具体为：

定义饱和度的拉升值，按照每个像素点饱和度大小的不同，对所述每个像素点分配对应的拉升值，根据所述对应的拉升值对所述像素点进行饱和度调整。

本发明的一个实施例中，所述采集单元采集同一场景的可见光图像及近红外图像，具体为：

利用同步信号实现可见光图像及近红外图像的同步采集，或者异步采集可见光图像及近红外图像后，进行时域补偿。

本发明实施例的图像处理方法具有下列优点：

本发明实施例通过分别采集可见光及近红外两种不同波长的图像，利用近红外具备更强穿透障碍物的能力，将二者图像进行融合处理，从而提升在能见度低的场景下图像清晰度及细节，提升了图像的清晰度及对比度，提高了拍照的细节表现，提高了用户体验。

附图说明

图1是本发明实施例1中图像处理方法的流程示意图；

图2是本发明实施例2中图像处理方法的流程示意图；

图3是本发明实施例3中图像处理装置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

为达到以上目的，如图1所示，本发明提供了一种图像处理的方法，包括：

s11、一个或多个图像处理装置采集同一场景的可见光图像及近红外图像。

本发明实施例提供了一个或多个图像处理装置，用于采集并处理两种不同波长的图像，即可见光图像及近红外图像。该图像处理装置可以是具备双摄像头的移动终端，一个摄像头用来采集可见光图像一个用来采集近红外图像；也可以是具备双镜头的摄像头/相机，还可以是ccd/cmos单摄像头，通过异步方式，先采集可见光图像，再采集近红外图像，ccd/cmos传感器可感知波长高于780nm的近红外波段，故可采集可见光及近红外图像，当采集可见光时，可通过现有的过滤结构过滤掉近红外光部分，当采集近红外光时，则无需过滤。在本发明实施例中，也可以通过两个或两个以上图像处理装置来分别采集可见光及近红外图像，通过交互实现可见光图像与近红外图像的互传，也可以多个图像处理装置分别采集可见光及近红外图像后，统一上传至一个图像处理装置，由该装置完成后续图像处理步骤。

需要说明的是，本发明实施例中使用的图像处理方法也可以应用在视频处理过程中，视频处理即是对多个图像帧的处理，本发明实施例提供的方法处理之后的图像可构成视频组成图像帧，形成一段视频文件，该视频可在能见度低的场景下相比于普通的视频采集具有更好的细节表现及视频清晰度。

可选地，利用同步信号实现可见光图像及近红外图像的同步采集，或者异步采集可见光图像及近红外图像后，进行时域补偿。

其中，同步采集方式是利用外部的高精度时钟电路，同步触发采集彩色和采集近红外。而异步采集的彩色图和近红外图则需要进行时域补偿，即匹配t时刻的彩色图和t+δt时刻的近红外图，寻求最高相关性以确定时间差δt，基于该时间差进行补偿可实现彩色图像和近红外图像之间的同步。

s12、根据该采集的可见光图像及近红外图像的坐标映射关系，将该可见光图像及近红外图像映射到同一视角下。

其中，将可见光图像及近红外图像映射到同一视角下，具体为：定义近红外摄像头与可见光摄像头之间的坐标映射关系为t＝t1t2,其中t1为近红外摄像头映射到目标视点的系数矩阵，t2为目标视点映射到可见光视点的系数矩阵，则利用t1矩阵将近红外图像映射到目标视点，利用将可将可见光图像映射到目标视点。t1由目标视点和近红外摄像头之间的角度差、和位置差异所决定。可求得t2。其中，映射矩阵t可在相机正式采集之前，利用标定板对近红外-可见光摄像头组进行标定获得。另，映射矩阵t也可不采用标定方式，直接利用标定板对近红外图像和可见光图像中的对应特征点建立对应关系求得。

s13、对该可见光图像进行分解，得到第一数值结果，该第一数值结果包含该可见光的亮度分量及其它分量；

可选地，第一数值结果可表示为yuv，其中y代表亮度分量，uv代表色度分量(uv即本文中提及的其它分量)，也可以包括除uv外的其它分量，本发明实施例对此并无限制。

s14、提取该第一数值结果中的亮度分量，将该可见光的亮度分量与该近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果。

其中，该将该可见光的亮度分量与该近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果，具体为：

定义该亮度分量的权重(该权重可表示为α)α及该近红外图像的权重(表示为：1-α)，该第二数值结果即为该亮度分量与该近红外图像分别乘以其对应的权重后加权的结果，可通过公式y’＝α*y+(1-α)nir.所示。其中，y’表示第二数值结果，y表示亮度分量，nir表示近红外图像。该亮度分量的权重αα由多个像素点领域的多个通道的最小灰度值归一化计算得到，即权重αα＝β*w。ββ进一步调整了y和nir之间的权重，确保nir能有一定的贡献，而w定义如下：

定义像素点坐标(x,y)，以(x,y)为中心，确定邻域(u,v)∈n(x,y)；

确定各点最小权重w(u,v)＝min{r(u,v),g(u,v),b(u,v)}/255，进而确定整个邻域最小权重当寻求快速算法时，则邻域系统只取像素点自身，可加快计算速度。

s15、将该第二数值结果与该第一数值结果中的其它分量进行重新组合，获取到第三数值图像结果。

第三数值图像结果是加权融合后的第二数值结果与其它分量重新组合后的图像结果。例如，当前第二数值结果是y’，原来的亮度分量是y，则当前第二数值结果与其它分量的重新组合即为y’uv，该第三数值图像结果即为y’uv。

s16、对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，该第四数值图像结果为多模图像融合的结果。

如上例所述，第三数值图像结果可为y’uv，第四数值图像结果即在第三数值图像结果的基础上对其饱和度值进行调整之后的图像结果，该调整之后的图像结果即为多模图像融合结果。该多模图像融合结果可在能见度低的场景下提升图像的细节、清晰度与饱和度。

该饱和度调整的具体方法可以为：定义饱和度的拉升值，拉升值用于提升饱和度。按照每个像素点饱和度大小的不同，对该每个像素点分配对应的拉升值，根据该对应的拉升值对该像素点进行饱和度调整。例如，对于饱和度极小和极大的范围取较小的拉升值，对饱和度居中的像素点分配较大的拉升值。

本发明实施例中，利用近红外穿透力强的特点，通过采集可见光图像及近红外图像，并转换到同一视角下，提取相关分量进行融合及饱和度调整，调整后的图像在可见度低的环境中(例如雾霾等环境)，其细节及清晰度得到明显提高，可应用于安防、监控及日常的摄影拍摄中。

实施例2

本发明实施例2提供了一种图像处理的方法，通过本发明实施例2提供的方法，可在雾霾等能见度低的环境下提升图像的清晰度与细节，并提升图像的饱和度，提高用户体验。如图2所示，包括以下步骤：

s21、一个或多个图像处理装置采集同一场景的可见光图像和近红外图像；

光线的波长覆盖了很大的范围，而人眼能观察到的可见光波长为390～780nm，仅仅为其中很小的一段。而相机的ccd/cmos传感器还可感知波长高于780nm的近红外波段，只是日常的相机将近红外波段滤除了，只呈现出可见光的信息。

根据光的衍射，波长更长的光线具有更强的越过障碍物的能力；因此，近红外光在能见度低的环境下具有更强的穿透能力，能够获得可见光无法获得的信息。本发明实施例依据此原理，对可见光和近红外光进行融合，以达到消除雾霾的效果。

本发明实施例提供了一个或多个图像处理装置，用于采集并处理两种不同波长的图像，即可见光图像及近红外图像。该图像处理装置可以是具备双摄像头的移动终端，一个摄像头用来采集可见光图像一个用来采集近红外图像；也可以是具备双镜头的摄像头/相机，还可以是ccd/cmos单摄像头，通过异步方式，先采集可见光图像，再采集近红外图像，ccd/cmos传感器可感知波长高于780nm的近红外波段，故可采集可见光及近红外图像，当采集可见光时，可通过现有的过滤结构过滤掉近红外光部分，当采集近红外光时，则无需过滤。在本发明实施例中，也可以通过两个或两个以上图像处理装置来分别采集可见光及近红外图像，通过交互实现可见光图像与近红外图像的互传，也可以多个图像处理装置分别采集可见光及近红外图像后，统一上传至一个图像处理装置，由该装置完成后续图像处理步骤。

其中，采集方式可分为同步信号实现同步采集以及异步采集后进行时域补偿的方式两种。同步采集利用外部的高精度时钟电路，同步触发彩色相机和近红外相机采集场景。异步采集的彩色图和近红外图需要进行时域补偿，即匹配t时刻的彩色图和t+δt时刻的近红外图，寻求最高相关性以确定时间差δt，基于该时间差进行补偿可实现彩色图像和近红外图像之间的同步。

s22、将采集所得可见光图像和近红外图像映射到同一视角下；

其具体步骤为：近红外摄像头与可见光摄像头之间的坐标映射关系为t＝t1t2,其中t1为近红外摄像头映射到目标视点的系数矩阵，t2为目标视点映射到可见光视点的系数矩阵，则利用t1矩阵将近红外图像映射到目标视点，利用将可将可见光图像映射到目标视点。t1由目标视点和近红外摄像头之间的角度差、和位置差异所决定。可求得t2。其中，映射矩阵t可在相机正式采集之前，利用标定板对近红外-可见光摄像头组进行标定获得。可选地，映射矩阵t也可不采用标定方式，直接利用标定板对近红外图像和可见光图像中的对应特征点建立对应关系求得。

s23、对映射之后的可见光图像和近红外图像进行融合。

步骤s23的具体步骤为：

s231、：对可见光图像进行分解与转换，作为第一数值结果，该结果中包含亮度分量和其它分量；

s232：将可见光图像第一数值结果中的亮度和近红外图像进行加权融合处理，得到第二数值结果；加权中可见光图像第一数值结果中的亮度所占权重在为0-0.8之间。

其中，加权融合可根据公式y’＝α*y+(1-α)nir得出。其中y’为第二数值结果，y是第一数值结果中的亮度分量。nir表示近红外图像，可见光图像第一数值结果中的亮度所占权重由各个像素点邻域的各通道的最小灰度值归一化计算得到。其权重αα＝β*w。β进一步调整了y和nir之间的权重，确保nir能有一定的贡献。其中w定义如下：

以(x,y)为中心，确定邻域(u,v)∈n(x,y)。则先确定各点最小权重w(u,v)＝min{r(u,v),g(u,v),b(u,v)}/255，进而确定整个邻域最小权重当寻求快速算法时，则邻域系统只取像素点自身，可加快计算速度。

s24：将第二数值结果和可见光图像分解所得数值结果的其它分量重新组合，得到第三数值图像结果。

例如，可见光图像分为yuv，y为亮度，uv为色度。y和近红外图像nir融合之后得到新的y’，再和原始的uv组合，得到新的y’uv。

s25：对s24中所得融合图像的第三数值图像结果进行饱和度调整.

对饱和度极高和极小的范围取较小的拉升值，对饱和度居中的像素点采用较大的拉升值得到融合图像的第四数值图像结果，即为多模图像融合的结果。

本发明实施例中，利用近红外穿透力强的特点，通过采集可见光图像及近红外图像，并转换到同一视角下，提取相关分量进行融合及饱和度调整，调整后的图像在可见度低的环境中(例如雾霾等环境)，其细节及清晰度得到明显提高，可应用于安防、监控及日常的摄影拍摄中。

实施例3

本发明实施例提供了一种图像处理装置，该图像处理装置也可应用于图像采集场景中和/或视频采集场景中，如图3所示，该装置包括如下结构：

采集单元301，用于采集同一场景的可见光图像及近红外图像；

采集单元301还用于控制多模采集模块相机的目标视野。采集单元301固定于三个自由度的旋转台，由铅垂轴、纵轴、横轴控制方向，三个轴分别由一台精密电机控制，该采集单元301固定于三个自由度的旋转台，其中近红外摄像机和可见光摄像机应具有尽可能相同的参数。而仅有滤光的区别。且红外摄像机和可见光摄像机应尽量平行布置，一旦固定，二者位置不在改变，以确定两视点中图像的映射关系。

可选地，采集单元301利用同步信号实现可见光图像及近红外图像的同步采集，或者异步采集可见光图像及近红外图像后，进行时域补偿。

其中，同步采集方式是利用外部的高精度时钟电路，同步触发采集彩色和采集近红外。而异步采集的彩色图和近红外图则需要进行时域补偿，即匹配t时刻的彩色图和t+δt时刻的近红外图，寻求最高相关性以确定时间差δt，基于该时间差进行补偿可实现彩色图像和近红外图像之间的同步。

映射单元302，用于根据该采集的可见光图像及近红外图像的坐标映射关系，将该可见光图像及近红外图像映射到同一视角下；

其中，映射单元302将可见光图像及近红外图像映射到同一视角下，具体为：定义近红外摄像头与可见光摄像头之间的坐标映射关系为t＝t1t2,其中t1为近红外摄像头映射到目标视点的系数矩阵，t2为目标视点映射到可见光视点的系数矩阵，则利用t1矩阵将近红外图像映射到目标视点，利用将可将可见光图像映射到目标视点。t1由目标视点和近红外摄像头之间的角度差、和位置差异所决定。t2＝t1^-1t可求得t2。其中，映射矩阵t可在相机正式采集之前，利用标定板对近红外-可见光摄像头组进行标定获得。另，映射矩阵t也可不采用标定方式，直接利用标定板对近红外图像和可见光图像中的对应特征点建立对应关系求得。

分解单元303，用于对该可见光图像进行分解，得到第一数值结果，该第一数值结果包含该可见光的亮度分量及其它分量；

可选地，可见光图像可包括yuv，y代表亮度分量，uv代表色度分量，也可以包括其它分量，本发明实施例对此并无限制。

加权融合单元304，用于提取该第一数值结果中的亮度分量，将该可见光的亮度分量与该近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果；

其中，该加权融合单元304将该可见光的亮度分量与该近红外图像进行加权融合处理，获取到加权融合处理后的第二数值结果，具体为：

定义该亮度分量的权重(可用α来表达)及该近红外图像的权重(即1-α)，该第二数值结果即为该亮度分量与该近红外图像分别乘以其对应的权重后加权的结果，可通过公式y’＝α*y+(1-α)nir.所示。其中，y’表示第二数值结果，y表示亮度分量，nir表示近红外图像。该亮度分量的权重α由多个像素点领域的多个通道的最小灰度值归一化计算得到，即权重α＝β*w。ββ进一步调整了y和nir之间的权重，确保nir能有一定的贡献，而w定义如下：

定义像素点坐标(x,y)，以(x,y)为中心，确定邻域(u,v)∈n(x,y)；

确定各点最小权重w(u,v)＝min{r(u,v),g(u,v),b(u,v)}/255，进而确定整个邻域最小权重当寻求快速算法时，则邻域系统只取像素点自身，可加快计算速度。

组合单元305，用于将该第二数值结果与该第一数值结果中的其它分量进行重新组合，获取到第三数值图像结果；

例如，当前第二数值结果是y’，原来的亮度分量是y，则当前第二数值结果与其它分量的重新组合即为y’uv，该第三数值图像结果即为y’uv。

调整单元306，用于对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，该第四数值图像结果为多模图像融合的结果。

可选地，该调整单元306对第三数值图像结果进行饱和度调整，获取调整后的第四数值图像结果，包括：

定义饱和度的拉升值，拉升值用于提升饱和度。按照每个像素点饱和度大小的不同，对该每个像素点分配对应的拉升值，根据该对应的拉升值对该像素点进行饱和度调整。例如，对于饱和度极小和极大的范围取较小的拉升值，对饱和度居中的像素点分配较大的拉升值。

本发明实施例提供的图像采集装置，利用近红外穿透力强的特点，通过采集单元301可见光图像及近红外图像，并通过转换单元302转换到同一视角下，提取相关分量进行融合及饱和度调整，调整后的图像在可见度低的环境中(例如雾霾等环境)，其细节及清晰度得到明显提高。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。