图像融合方法与流程

本发明有关于图像融合方法，特别关于一种基于影像传感器的成像原理，以前后帧相同位置像素的光强度变化差异判断所述像素为动态或静态，保留移动轨迹同时抑制背景噪声，最终融合呈现单帧完整影像，使影像中的动态物体与静态场景皆拥有清晰的成像。

背景技术：

1、一般图像处理画面以帧(frame)为单位记录影像或影片，使用单帧长曝光或多帧短曝光进行叠图成像。然而无论以上哪一种方法，拍摄过程中若有高速移动物体，容易模糊产生残影，如图1。

2、当前摄像头的技术以拍照并曝光一段时间以后，得到一张清晰的图像，然而如果将多张图像连续播放，进而得到影片。然而如在曝光时画面中有物体进行大幅度，也就是较快速的移动时，所成的图像将会有残影的效果出现，此将不利于清楚呈现画面中的动态物体。

3、另一方面，以短曝光高帧率方式出图成像，虽然可以保留高速运动物体的轨迹，却又因为cis组件短曝光产生的闪烁(flicker)噪声，明显降低输出图像的质量。

4、传统动态视觉传感器(dynamic vision sensor)则是基于事件(event-based)驱动的影像传感器，能够以极高帧率(最高2000fps)计算前后帧的亮度变化，只有亮度变化大的像素信息会被记录，也就是仅观测场景中的动态物体并记录其坐标地址，但无法同时记录静态影像内容完整的信息，且因积分时间短导致噪声大、分辨率低。除非另外增加一个彩色影像传感器，如此一来不但感测模块成本及体积增加，还必须提高运算量解决两个不同位置传感器的空间同步问题，使得整体系统更为复杂。

5、所以，本案发明人在观察上述议题后，而遂有本发明的产生。

技术实现思路

1、为达上述目的，本发明提供一种图像融合方法，基于影像传感器的成像原理，以前后帧相同位置像素的光强度变化差异判断所述像素为动态或静态，保留移动轨迹同时抑制背景噪声，最终融合呈现单帧完整影像，使影像中的动态物体与静态场景皆拥有清晰的成像。

2、包含获得影像信息；求得各像素亮度值；计算与前一帧亮度差值的绝对值或前数帧亮度差值的总和；判别计算结果是否小于等于预设阈值；若是则判断为静态像素；逐帧继承；若否则判断为动态像素；逐帧刷新。

3、较佳地，每一帧影像信息进一步包含有数个像素，也可以说是由数个像素所组成，而在每一帧影像中皆会有相互对应的像素。

4、较佳地，获得影像信息的过程，为一个连续的过程。

5、较佳地，在求得每一个像素的亮度值之后，将当下帧中每一个像素的亮度值与前一帧中相互对应的像素的亮度值进行比较与计算，计算出差值的绝对值，或是与前数帧中每一个相互对应的像素的亮度值做比较与计算，计算出差值绝对值的总和。

6、较佳地，亮度差值绝对值与预设阈值比对后，若小于等于预设阈值，确认所述像素为静态像素遂逐帧继承，将两帧的像素叠加在一起，若大于预设阈值，确认所述像素为动态像素遂逐帧刷新，将前一帧的像素替换成当下这一帧的像素。

7、为使熟悉该项技艺人士了解本发明的目的、特征及功效，现在通过下述具体实施例，并配合所附的图式，对本发明详加说明如下。

技术特征：

1.一种图像融合方法，其特征在于，包含：

2.根据权利要求1所述的图像融合方法，其特征在于，通过所述处理器判断为动态像素且将当前帧图像的像素取代前一帧图像的像素时，所述处理器在运算时进一步乘以一增益值。

3.根据权利要求1所述的图像融合方法，其特征在于，所述处理器叠加前至少一帧图像的像素时，前至少一帧图像的像素要皆被判定为静态像素。

4.一种图像融合方法，其特征在于，包含：

5.一种图像融合方法，其特征在于，包含：

6.根据权利要求4或5所述的图像融合方法，其特征在于，通过所述处理器判断为动态像素时，所述处理器在运算时进一步乘以一增益值。

7.根据权利要求4或5所述的图像融合方法，其特征在于，所述处理器叠加前至少一帧图像的像素时，前至少一帧图像的像素要皆被判定为静态像素。

技术总结
本发明提供了一种图像融合方法，基于影像传感器的成像原理，以前后帧相同位置像素的光强度变化差异判断所述像素为动态或静态，保留移动轨迹同时抑制背景噪声，最终融合呈现单帧完整影像，使影像中的动态物体与静态场景皆拥有清晰的成像，反应速度快、延迟低，高帧率下处理的数据量小，低功耗。

技术研发人员：印秉宏,周永铭,林柏嘉,廖祐陞
受保护的技术使用者：广州印芯半导体技术有限公司
技术研发日：
技术公布日：2024/3/17