图像处理方法及装置与流程

本技术实施例涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术：

1、目前，随着图像处理技术的不断发展，其所应用的场景也越来越广泛。例如，终端设备可通过对摄像头采集到的图像进行图像处理，并将图像处理结果应用于自动驾驶、安防监控等场景中。

2、在已有技术的图像处理方法中，图像信号处理器(image signal processor，isp)的固件(firmware，fw)部分基于固定的算法参数，对摄像头采集到的图像进行图像处理，以得到处理后的图像。但是，基于固定算法参数的图像处理方法，其处理方法较为单一，无法适应所有场景。

技术实现思路

1、本技术实施例提供一种图像处理方法及装置。在该方法中，装置可基于根据不同场景下获取到的原始图像，生成满足对应场景的isp参数，以实现isp参数的动态调整，从而针对不同的场景进行自适应的图像增强。

2、第一方面，本技术实施例提供一种图像处理方法。该方法包括：装置获取摄像头在第一场景下采集到的第一原始图像。装置基于第一原始图像，获取第一isp参数。装置基于第一isp参数，对摄像头所采集到的第一原始图像进行图像处理，得到第一图像。装置将第一图像输出至目标应用，使得目标应用对第一图像进行图像任务处理。装置获取摄像头在第二场景下采集到的第二原始图像。装置基于第二原始图像，获取第二isp参数。装置基于第二isp参数，对摄像头采集到的第二原始图像进行图像处理，得到第二图像。装置将第二图像输出至目标应用，使得目标应用对第二图像进行图像任务处理。这样，本技术实施例可以获取到满足不同场景需求的isp参数，从而实现isp参数的动态调整，以基于不同的isp参数对不同场景下采集的原始图像进行图像处理，提升图像处理的精准度，实现对不同场景进行自适应的图像增强。

3、示例性的，本技术实施例中的isp参数为自动获取，即，可基于不同场景中所获取到的原始图像，预测出对应的isp参数。

4、示例性的，装置可以周期性地进行isp参数的获取，以降低装置的计算压力。

5、示例性的，目标应用可以是感知类应用、显示类应用等，本技术不做限定。

6、示例性的，不同的目标应用的图像任务处理不相同。例如，cv感知应用的图像处理人物可以包括但不限于2d/3d目标检测、车道线检测、场景语义分割等，本技术不做限定。

7、在一种可能的实现方式中，第一原始图像与第二原始图像的图像内容不同，和/或，第一原始图像与第二原始图像的图像属性不同。本技术实施例中，不同场景下拍摄的图像，其内容和/或属性不相同，本技术均可以根据不同的原始图像，预测出对应的isp参数，以得到更好的图像处理结果，从而适应不同的场景需求。

8、在一种可能的实现方式中，第一isp参数与第二isp参数用于调整图像的以下至少一种图像属性：亮度、颜色、噪声、锐度、对比度。这样，本技术实施例中，不同的isp参数可以实现对不同的图像属性进行调整，以得到更好的图像效果。

9、在一种可能的实现方式中，第一图像与第二图像的图像属性满足目标应用的图像任务需求。本技术的图像处理均是为了满足目标应用的需求，使得目标应用能够更好的识别经过处理后得到的图像，提升目标应用的图像识别(或其它图像处理流程)的精准度。

10、在一种可能的实现方式中，基于第一原始图像，获取第一isp参数，包括：将第一原始图像输入至isp参数预测模型，获取isp参数预测模型基于第一原始图像预测出的第一isp参数；基于第二原始图像，获取第二isp参数，包括：将第二原始图像输入至isp参数预测模型，获取isp参数预测模型基于第二原始图像预测出的第二isp参数。这样，本技术实施例中通过预先训练的isp参数预测模型，可基于不同场景下的原始图像，实现isp参数的自动化预测，以生成满足不同场景需求的isp参数。

11、在一种可能的实现方式中，isp参数预测模型运行在神经网路处理器npu上。这样，本技术实施例中的预测模型运行在npu的通用算力上，且只需要很小的计算量。并且，本技术能在边缘设备进行部署，不挤占ai处理器上的高优先级任务。

12、在一种可能的实现方式中，获取摄像头在第一场景下采集到的第一原始图像之前，方法还包括：从云端获取isp参数预测模型。这样，本技术实施例中，装置只需要在售芯片的isp系统支持参数的动态刷写，该方案就可以通过空中下载更新的方式(即从云端获取并安装)对已经在市面上流通的产品进行支持，以满足兼容性需求。

13、在一种可能的实现方式中，基于第一isp参数，对第一原始图像进行图像处理，得到第一图像，包括：将isp内存中当前保存的isp参数替换为第一isp参数，使得isp从isp内存中获取第一isp参数，并基于第一isp参数，对第一原始图像进行图像处理，输出第一图像；基于第二isp参数，对第二原始图像进行图像处理，得到第二图像，包括：将isp内存中当前保存的第一isp参数替换为第二isp参数，使得isp从isp内存中获取第二isp参数，并基于第二isp参数，对第二原始图像进行图像处理，输出第二图像。这样，在本技术实施例中，最终作用在图像上的仍然是传统的isp处理算法，能够确保整个处理过程的可控性和可解释性。

14、第二方面，本技术实施例提供一种模型训练方法。该方法包括：向图像信号处理器isp参数预测模型输入n个原始图像，获取isp参数预测模型输出的n个isp参数，isp参数预测模型的权重为第一权重，n个isp参数为isp参数预测模型基于第一权重值得到的，n为大于1的整数。向代理模型输入n个isp参数与n个原始图像，获取代理模型输出的n个图像。向目标应用输入n个图像，获取目标应用输出的图像任务处理结果。若图像任务处理结果未满足预设条件，调整isp参数预测模型的权重为第二权重，再次从向isp参数预测模型输入n个原始图像的步骤开始执行，直至目标应用输出的图像任务处理结果满足预设条件。这样，代理网络可以实现isp的功能，通过可微化的代理网络与fw参数预测网络联合训练，实现isp参数预测模型与目标应用之间的端到端循环训练流程。

15、示例性的，模型训练方法可以在计算节点上执行。

16、在一种可能的实现方式中，预设条件包括：n个原始图像的预设真值标签与目标应用的图像任务处理结果中包括的真值标签之间的差值小于预设阈值。这样，本技术实施例中可基于原始图像的真实标签和目标应用输出的标签之间的差异，判断代理网络所输出的图像是否满足目标应用的图像任务需求，以进一步判断代理网络所使用的isp，即isp参数预测网络所预测的isp参数是否符合需求。

17、在一种可能的实现方式中，向isp参数预测模型输入n个原始图像之前，方法还包括：向isp输入m个原始图像和m个isp参数，获取图像处理器输出的m个图像；其中，m个原始图像和m个isp参数一一对应，m为大于1的整数；向代理模型输入m个原始图像和m个isp参数，获取代理模型输出的m个图像；代理模型的当前权重为第三权重；若代理模型输出的m个图像与图像处理器输出的m个图像之间的相似度小于阈值，调整代理模型的权重为第四权重，再次从向isp输入m个原始图像和m个isp参数的步骤开始执行，直至代理模型输出的m个图像与图像处理器输出的m个图像之间的相似度大于阈值。这样，通过训练代理网络，可以使得代理网络的处理结果逼近或与isp的处理结果相同，从而使得代理网络在联合训练过程中实现isp的功能。

18、第三方面，本技术实施例提供一种图像处理装置。该装置包括：isp参数预测模块和isp模块。isp参数预测模块，用于获取摄像头在第一场景下采集到的第一原始图像；isp参数预测模块，还用于基于第一原始图像，获取第一图像信号处理器isp参数；图像处理isp模块，用于基于第一isp参数，对第一原始图像进行图像处理，得到第一图像；isp模块，还用于将第一图像输出至目标应用，使得目标应用对第一图像进行图像任务处理；isp参数预测模块，还用于获取摄像头在第二场景下采集到的第二原始图像；isp参数预测模块，还用于基于第二原始图像，获取第二isp参数；isp模块，还用于基于第二isp参数，对第二原始图像进行图像处理，得到第二图像；isp模块，还用于将第二图像输出至目标应用，使得目标应用对第二图像进行图像任务处理。

19、在一种可能的实现方式中，第一原始图像与第二原始图像的图像内容不同，和/或，第一原始图像与第二原始图像的图像属性不同。

20、在一种可能的实现方式中，第一isp参数与第二isp参数用于调整图像的以下至少一种图像属性：亮度、颜色、噪声、锐度、对比度。

21、在一种可能的实现方式中，第一图像与第二图像的图像属性满足目标应用的图像任务需求。

22、在一种可能的实现方式中，isp参数预测模块，用于将isp内存中当前保存的isp参数替换为第一isp参数；isp模块，用于从isp内存中获取第一isp参数，并基于第一isp参数，对第一原始图像进行图像处理，输出第一图像；isp参数预测模块，用于将isp内存中当前保存的第一isp参数替换为第二isp参数；isp模块，用于从isp内存中获取第二isp参数，并基于第二isp参数，对第二原始图像进行图像处理，输出第二图像。

23、第四方面，本技术实施例提供一种模型训练系统，包括图像信号处理器isp参数预测模型、代理模型和目标应用。该系统向isp参数预测模型输入n个原始图像，获取isp参数预测模型输出的n个isp参数，isp参数预测模型的权重为第一权重，n个isp参数为isp参数预测模型基于第一权重值得到的，n为大于1的整数。该系统向代理模型输入n个isp参数与n个原始图像，获取代理模型输出的n个图像。该系统向目标应用输入n个图像。若n个图像未满足目标应用的图像任务需求，该系统调整isp参数预测模型的权重为第二权重，再次从向isp参数预测模型输入n个原始图像的步骤开始执行，直至代理模型输出的n个图像满足目标应用的图像任务需求。

24、在一种可能的实现方式中，系统还包括isp；向isp参数预测模型输入n个原始图像之前，向isp输入m个原始图像和m个isp参数，获取图像处理器输出的m个图像；其中，m个原始图像和m个isp参数一一对应，m为大于1的整数；向代理模型输入m个原始图像和m个isp参数，获取代理模型输出的m个图像；代理模型的当前权重为第三权重；若代理模型输出的m个图像与图像处理器输出的m个图像之间的相似度小于阈值，调整代理模型的权重为第四权重，第四权重与第三权重不相同，再次从向图像处理器输入m个原始图像和m个isp参数，获取图像处理器输出的m个图像开始执行，直至代理模型输出的m个图像与图像处理器输出的m个图像之间的相似度大于阈值。

25、第五方面，本技术实施例提供一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令的方法。

26、第六方面，本技术实施例提供一种摄像模组，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得摄像模组执行第一方面或第一方面的任意可能的实现方式中的方法的指令的方法。

27、第七方面，本技术实施例提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

28、第八方面，本技术实施例提供了一种计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

29、第九方面，本技术实施例提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚、和该处理电路通过内部连接通路互相通信，该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法，以控制接收管脚接收信号，以控制发送管脚发送信号。