用于增强图像质量的方法和系统与流程

本发明总体上涉及图像处理，并且更具体地涉及一种用于增强图像质量的系统和方法。

背景技术：

1、多帧混合是用于改善在弱光和极弱光条件下捕捉的图像的质量的众所周知的技术。但是，由于输入帧中的噪声，该混合输出通常受到多个伪影的影响。由于多帧混合使用突发捕捉帧作为输入，因此所有众所周知的方法在传递到多帧混合之前将预处理方法(诸如去噪、边缘增强等)应用于所有输入帧。这些所述解决方案将相同的设置应用于所有输入帧，而不管它们的噪声/特征的特性。一些帧可能会具有更多噪声，一些帧可能会具有更好的细节和更少的噪声，一些帧可能会具有更高亮度等。

2、图1示出了描绘多个输入帧的多帧混合的常规方式的流程图100。在常规方式中，多个突发原始噪声图像帧被至少一个图像传感器101接收以用于多帧混合。然后，它使用合适的帧预处理技术对输入帧执行帧预处理125，以对每个接收的输入帧进行去噪，或者对每个接收的输入帧进行锐度增强。此后，多帧混合105处理可以包括参考帧选择110、图像配准115和混合120。然而，混合输出130具有伪影，诸如噪声、模糊边缘和颜色伪影。因此，需要一种减少去除通过多帧混合生成的异常所需的工作量/处理的方法。

技术实现思路

1、问题的解决方案

2、提供本概述是为了以简化的形式介绍一些构思，这些构思将在本发明的具体描述中进一步描述。本概述不旨在标识本发明的关键或基本发明构思，也不旨在确定本发明的范围。

3、根据本公开的实施例，可以提供一种用于增强图像质量的方法。该方法可以包括从图像传感器接收多个输入帧和元数据。所述方法可以包括确定来自所述多个输入帧的接收的输入帧的一个或更多个特征分数。所述方法可以包括基于对所述接收的输入帧的确定的所述一个或更多个特征分数和所述元数据的分析来确定所述接收的输入帧的参数分数。所述方法可以包括基于所述参数分数识别所述接收的输入帧中的用于校正的一个或更多个伪影。所述方法可以包括基于所述参数分数确定所述接收的输入帧中识别出的至少一个伪影所需的校正强度。所述方法可以包括将所确定的校正强度应用于所述接收的输入帧。所述方法可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。

4、所述方法可以包括：使用上下文数据来提取所述接收的输入帧的至少一个特征，其中，所述上下文数据是基于一个或更多个图像捕捉条件来确定的，所述一个或更多个图像捕捉条件包括每帧iso、曝光时间和光条件；以及基于所述接收的输入帧的提取的所述至少一个特征的级别来计算提取的所述至少一个特征的分数。

5、所述方法还可以包括基于所述接收的输入帧的所述一个或更多个特征分数的加权平均来生成所述接收的输入帧的所述一个或更多个特征分数中的至少一个的向量分数；对所述接收的输入帧的所述一个或更多个特征分数的生成的向量分数进行混合；对混合的向量分数进行缩放；以及基于所述混合的向量分数的缩放分数将一个或更多个特征向量分数分别与一个或更多个生成的特征向量中的每一个相关联。

6、所述方法还可以包括：基于所述参数分数来估计所述接收的输入帧的一个或更多个特征中的至少一个特征的质量，其中，基于峰值信噪比(psnr)、结构相似性指数(ssim)或多尺度结构相似性(ms-ssim)评级感知质量中的至少一个来估计所述质量；基于所述接收的输入帧的估计的质量对所述一个或更多个特征进行优先级排序；基于所估计的质量和所述优先级排序，确定所述接收的输入帧中的至少一个伪影的校正强度；以及基于所述参数分数在所述接收的输入帧中应用所确定的校正强度。

7、所述方法还可以包括调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。

8、所述方法还可以包括利用图像捕捉条件的变化来更新所述参数分数；以及基于所述元数据来控制所述参数分数。

9、根据实施例，所述元数据可以包括图像传感器的iso值、bv值和曝光值中的至少一个。

技术特征：

1.一种增强图像质量的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，确定所述一个或更多个特征分数包括：

3.根据权利要求1所述的方法，其中，确定所述参数分数包括：

4.根据权利要求3所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：

6.根据权利要求1所述的方法，还包括：

7.根据权利要求1所述的方法，其中，所述元数据包括所述图像传感器的iso值、bv值和曝光值中的至少一个。

8.一种增强图像质量的系统，所述系统包括：

9.根据权利要求8所述的系统，其中，用于由所述至少一个处理器确定一个或更多个特征分数的所述输入帧分析模块被配置为：

10.根据权利要求8所述的系统，其中，用于由所述至少一个处理器确定所述参数分数的所述输入帧分析模块被配置为：

11.根据权利要求10所述的系统，其中，所述变换模块被配置为：

12.根据权利要求8所述的系统，其中，所述变换模块被配置为调整所述接收的输入帧的所述参数分数以在弱光条件下产生最佳结果。

13.根据权利要求8所述的系统，其中，所述变换模块还被配置为利用图像捕捉条件的变化来更新所述参数分数，基于接收的所述元数据来控制所述参数分数。

14.根据权利要求8所述的系统，其中，所述元数据包括所述图像传感器的iso值、bv值和曝光值中的至少一个。

技术总结
可以提供一种用于增强图像质量的方法。该方法可以包括接收多个输入帧和元数据，以及从多个输入帧中确定接收的输入帧的一个或更多个特征分数。该方法还可以包括基于对接收的输入帧的一个或更多个特征分数和元数据的分析来确定接收的输入帧的参数分数。该方法可以包括基于参数分数识别接收的输入帧中的用于校正的一个或更多个伪影，以及基于参数分数确定接收的输入帧中识别出的至少一个伪影所需的校正强度，然后将所确定的校正强度应用于接收的输入帧。该方法还可以包括对应用了所确定的校正强度的多个接收的输入帧执行多帧混合。

技术研发人员：高拉夫·坎德维尔,萨钦·迪帕克·朗特,乌曼·查图尔维迪,迪普拉夫
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/1/15