一种图像处理方法、装置和图像传感器与流程

本发明涉及图像融合领域，尤指一种图像处理方法、装置和图像传感器。

背景技术：

1、如图2所示，简单的摄像头结构包括：镜头，感光传感器(cmos/ccd)，模数转换器，图像处理器和存储器。其中，镜头负责吸收外部光源并过滤红外光，处理之后的光线照射到感光传感器的感光层，经过芯片处理，光信号会转为模拟电信号，模拟电信号通过模数转换器后，输出数字电信号再经过图像处理器的压缩处理后，将最终结果传输到存储器中。

2、现有技术中，普通cmos/ccd图像传感器不能完整呈现亮度层次差异较大的真实场景。场景中较亮的区域，由于过曝光会出现一片白亮，而场景中较暗的区域，由于欠曝光会出现一片黑暗。这类传感器，往往采用多次曝光策略，先给出一个长曝光时间的图像，称之为长帧，再给出一个短曝光时间的图像，称之为短帧。然后长短帧图像进行融合(又称合成)得到一幅高动态范围的图像。

3、而在融合过程中，因为算法粗糙简单，往往会出现信噪比跳变或是图像整体信噪比下降的问题，导致图像质量下降。

技术实现思路

1、本发明的目的是提供一种图像处理方法、装置和图像传感器，实现提高多帧图像融合部分信噪比的功能，进而提高图像融合后的整体质量，解决现有图像融合过程中存在信噪比跳变或是融合后图像信噪比降低太多的问题，提高图像质量。

2、本发明提供的技术方案如下：

3、一种图像处理方法，其特征在于，包括：

4、获取目标图像数据，目标图像包括第一图像帧和第二图像帧，其中，第一图像帧的曝光时间大于第二图像帧的曝光时间；

5、在第一图像帧中确定第一像素块，第一像素块与第二图像帧的第二像素块满足匹配，其中，第一像素块和第二像素块具有相同的大小；

6、利用第一像素块中的第一像素的数据替换第二像素块的第二像素的数据得到第三图像帧，其中，第一像素在第一像素块中的位置与第二像素在第二像素块中的像素位置相同；

7、将第一图像帧、第二图像帧与第三图像帧进行融合。

8、与现有技术相比较，融合部分的第三图像帧，具有更高的信噪比，能够呈现出更好的图像质量，同时其噪声更均匀，图像的细节纹理更好，避免了可能产生的伪纹理；同时，根据亮度的不同，将三个图像帧分别设置在最合适的位置，使图像整体的信噪比更高，图像质量更优。

9、在一些实施方式中，获取目标图像数据，包括：

10、对第一图像帧进行低通滤波，获取第一图像帧的亮度图；

11、利用第一图像帧的亮度图，计算获得第一图像帧与第二图像帧的权重；权重是范围为0到1之间的有理数。

12、进一步地，匹配的过程，包括：

13、以第二像素块为基准，在第一像素帧中逐行检索与所述第二像素块大小相等的新像素块，如果新像素块的匹配值大于图像处理方法的预设匹配值，则视为匹配成功，第一像素块即为新像素块，反之则匹配失败，不存在第一像素块。如果匹配失败，则对第三图像帧做滤波处理；滤波处理包括双边滤波或者非局部均值滤波。

14、进一步地，融合过程包括：

15、在权重为0的区域，使用第一图像帧；在权重为1的区域，使用第二图像帧；在其他区域，使用第三图像帧。

16、本发明还公开了一种图像处理装置，包括：

17、滤波模块，用于对未处理图像做低通滤波，获得图像的亮度图；

18、数据获取模块，用于获取图像的第一图像帧和第二图像帧，其中，第一图像帧的曝光时间大于第二图像帧的曝光时间；

19、匹配模块，用于在第一图像帧中确定第一像素块，第一像素块与第二图像帧的第二像素块满足匹配，其中，第一像素块和第二像素块具有相同的大小；将第二图像帧中的第二像素块，替换为满足匹配的第一图像帧中的第一像素块，替换后的新图像帧为第三图像帧，其中，第一像素块在第一图像帧中的位置与第二像素块在第二图像帧中的位置一致。

20、融合模块，用于将第一图像帧、第二图像帧与第三图像帧进行融合，获得新的多帧融合图。

21、在一些实施方式中，滤波模块还用于当匹配失败时，对第三图像帧做滤波处理；滤波处理包括双边滤波或者非局部均值滤波。

22、进一步地，数据获取模块还用于利用第一图像帧的亮度图，计算获得第一图像帧与第二图像帧的权重；权重是范围为0到1之间的有理数。

23、进一步地，融合模块接收来自数据获取模块计算得出的权重，并在权重为0的区域，使用第一图像帧；在权重为1的区域，使用第二图像帧；在其他区域，使用第三图像帧。

24、本发明还公开了一种图像传感器，该图像传感器包含上述公开的一种图像处理装置。

25、与现有技术相比，本发明至少具有以下有益效果：

26、(1)本发明的图像处理方法，选取两个不同的亮度作为阈值，在长短帧融合时在两个阈值之间产生一个新的图像帧，使融合部分的信噪比图像能够平滑过渡，不至于出现信噪比跳变的现象。

27、(2)融合部分新图像帧的产生办法，并不是简单地根据比重对长短帧图像进行融合，而是采用了以短帧的块为基本单元，在长帧里搜索相似的块，搜索到相似块则用来替换短帧，搜索不到则对短帧做空域去噪，得到新的短帧；这个产生办法有效解决了现有技术中图像融合时融合部分的信噪比下降严重的问题，提高了融合部分的信噪比，使图像整体质量提高。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.如权利要求1所述的图像处理方法，其特征在于，所述获取图像数据，包括：

3.如权利要求1所述的图像处理方法，其特征在于，所述匹配，包括：

4.如权利要求3所述的图像处理方法，其特征在于：如果匹配失败，对所述第三图像帧做滤波处理；所述滤波处理，包括双边滤波或者非局部均值滤波。

5.如权利要求2所述的图像处理方法，其特征在于，所述融合，包括：

6.一种图像处理装置，其特征在于，包括：

7.如权利要求6所述的图像处理装置，其特征在于：所述滤波模块，还用于当所述匹配失败时，对所述第三图像帧做滤波处理；所述滤波处理，包括双边滤波或者非局部均值滤波。

8.如权利要求6所述的图像处理装置，其特征在于：所述数据获取模块，还用于利用所述第一图像帧的亮度图，计算获得所述第一图像帧与所述第二图像帧的权重；所述权重，其范围为0到1之间的有理数。

9.如权利要求8所述的图像处理装置，其特征在于：所述融合模块接收来自所述数据获取模块计算得出的权重，并在所述权重为0的区域，使用所述第一图像帧；在所述权重为1的区域，使用所述第二图像帧；在其他区域，使用所述第三图像帧。

10.一种图像传感器，其特征在于，所述图像传感器包含权利要求6-9任一项所述的图像处理装置。

技术总结
本申请公开了一种图像处理方法、装置和图像传感器，其中方法包括：基于输入图像的未加工图，对未加工图进行低通滤波，获取输入图像的亮度图；根据亮度图中长帧的权重，获取融合时长帧和短帧的比重；以短帧为基准，逐像素计算，在长帧中搜索与短帧的相似块；若搜索到相似块，则直接替换相应短帧；若搜索不到相似块，则对相应短帧做滤波处理；最后将长帧、短帧与新短帧进行融合。本申请通过在长帧中寻找短帧相似块或者对短帧做空域去噪的方法，使得长短帧融合时的信噪比优于现有技术，获得更好的图像质量。

技术研发人员：樊满,李珂
受保护的技术使用者：上海为旌科技有限公司
技术研发日：
技术公布日：2024/3/4