用于图像处理的方法、设备和软件与流程

本发明涉及图像处理设备和用于图像处理的方法。更特别地，本发明涉及用于校正缺陷像素的方法和实现该方法的图像处理设备。还提供计算机程序和计算机可读介质。

背景技术：

1、相机图像信号处理(camera image signal processing，isp)旨在解决将原始图像映射至rgb图像的问题。它由手动定义的过程组成，诸如去马赛克，降噪，白平衡和颜色变换。缺陷像素校正是任意isp中必不可少的过程。由于相机传感器中的缺陷，原始图像中的某些像素可能无法正确地工作。原始图像文件包含来自数码相机、电影胶片扫描仪或其他图像扫描仪的图像传感器的经最低限度处理的数据。这些缺陷像素的值与实际场景不对应，导致图像质量较差并且用户体验较差。在isp管线中，通常会并入检测和校正缺陷像素的过程。一方面，检测算法识别出缺陷像素，并且这是后续校正算法的前提。另一方面，校正算法用合理的值填充缺陷像素，从而在视觉上无法分辨缺陷像素与其他像素。

2、需要检测和校正算法来处理缺陷像素。检测算法输出缺陷像素的坐标，而之后校正算法对像素值进行估计。

3、然而，总是需要在提高图像重建质量的同时保持或降低所需的计算能力。

技术实现思路

1、因此，本发明的目标是提供旨在降低计算成本的同时获得更好的图像重建的解决方案。

2、在本发明的第一方面中，提供一种用于处理图像的方法。该方法包括以下步骤：

3、获取包括多个像素的第一图像；

4、获取第一图像的至少一个缺陷像素的坐标；

5、通过将至少一个缺陷像素设置为预先固定的值来预填充第一图像；

6、通过神经网络确定用于至少一个缺陷像素的像素值；

7、通过将至少一个缺陷像素的像素值设置为确定的像素值来输出第二图像。

8、因此，根据本发明，获得包括多个像素的第一图像。优选地，第一图像是原始图像。原始图像包含来自数码相机、电影胶片扫描仪或其他图像扫描仪的图像传感器的经最低限度处理的数据。

9、随后，获取第一图像的至少一个缺陷像素的坐标。不限制用于获取缺陷像素的坐标的方法。优选地，通过利用识别缺陷像素的检测算法和/或通过预表征其位置获得坐标。预表征可以在传感器制造时基于测量进行。这些测量的结果可被存储在传感器上的非易失存储器中(样本特定的)。可替换地，可以使用高阶分析逐步发现缺陷像素。例如，可以分析连续的帧(例如，来自视频)并识别在空间上保持不变的像素。将理解的是，可以输出缺陷像素的坐标的任何检测算法足以实现此步骤。

10、随后，通过将至少一个缺陷像素设置为预先固定的值来预填充第一图像。因此，缺陷像素的值将不会与其余像素值混在一起。

11、然后，通过神经网络确定至少一个缺陷像素的像素值。因此，缺陷像素校正的功能可以在另一个基于神经网络构建的isp模块中实现。可替换地，神经网络可能是独立模型，该独立模型仅被训练以重建缺陷像素。优选地，对于独立模型，输入是具有模拟的缺陷像素的真实原始图像。与预填充步骤类似，可以通过在训练期间随机地将输入图像中的一定数量(例如，0.5％)像素设置为预先固定的值(例如0.0)来模拟缺陷像素。这避免了运行传统缺陷像素校正算法的需求，导致更快的处理速度。

12、最后，通过将至少一个缺陷像素的像素值设置为所确定的像素值，输出第二图像。因此，根据本发明，将预填充步骤与神经网络相结合，生成比缺陷像素校正的传统算法更好的重建。

13、优选地，预先固定的值是无效像素值。其中，无效像素值是实际数据中不存在的任意值。例如，0.0。最小有效像素值为基座，以及所选择的任意预先固定的值不是有效像素值，从而避免缺陷像素与其他像素混在一起。

14、优选地，对于所有缺陷像素，预先固定的值是相同的。尽管不同类型的缺陷像素可以表现出不同的特性，但对缺陷像素不进行区分，并对所有缺陷像素使用相同的任意预先固定的值，从而简化了预填充步骤，同时保持了高质量的校正。

15、优选地，神经网络是独立模型或多任务模型。其中，神经网络不受限制。神经网络可能是独立模型，该独立模型仅被训练以重建缺陷像素。优选地，对于独立模型，输入是具有模拟的缺陷像素的真实原始图像。与预填充步骤类似，可以通过在训练期间随机地将输入图像中的一定数量(例如0.5％)像素设置为预先固定的值(例如0.0)来模拟缺陷像素。可替换地，神经网络可能是多任务模型，多任务模型最初被训练来执行其他任务。例如，用于执行降噪。对于这种多任务模型，输入是带有模拟的缺陷像素的有噪原始图像。真实原始图像没有恶化。该模型被优化以重建缺陷像素，例如最小化预测的图像和真实原始图像之间的平均绝对误差。

16、在本发明的方面中，提供了图像处理设备，优选地实现于移动终端或相机中。图像处理设备包括处理器和存储指令的存储器存储，指令在由处理器执行时，执行任意上述方法的步骤。图像处理设备可以是图像信号处理器、神经处理单元或数字信号处理器等。它可以是独立的，也可以是soc(片上系统)的一部分。

17、在本发明的方面中，提供了计算机程序。计算机程序包括指令，以使如上所述的图像处理设备执行根据上述任何方法的方法的步骤。

18、在本发明的方面中，提供了计算机可读介质。计算机可读介质具有在其上存储的上述计算机程序。

技术特征：

1.一种用于处理图像的方法，包括：

2.根据权利要求1所述的方法，其中所述预先固定的值是无效像素值。

3.根据权利要求1或2所述的方法，其中所述预先固定的值对于所有缺陷像素是相同的。

4.根据权利要求1或2所述的方法，其中所述神经网络是独立模型或多任务模型。

5.一种图像处理设备，包括处理器和存储指令的存储器存储，所述指令当被所述处理器执行时，执行根据权利要求1至4中任一项所述的方法的步骤。

6.一种计算机可读介质，具有计算机程序存储于其上，所述计算机程序包括指令，所述指令使得图像处理设备执行根据权利要求1至4中任一项所述的方法的步骤。

技术总结
用于图像处理的方法和设备。方法包括：获取包括多个像素的第一图像；获取第一图像的至少一个缺陷像素的坐标；通过将至少一个缺陷像素设置为预先固定的值来预填充第一图像；通过神经网络确定用于至少一个缺陷像素的像素值；通过将至少一个缺陷像素的像素值设置为确定的像素值来输出第二图像。

技术研发人员：倪星洋,拉斯·兰皮宁,阿拉姆·丹尼尔扬,塔皮奥·芬尼拉
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：
技术公布日：2024/4/22