图像处理超参数优化方法、系统、设备及存储介质与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图5来描述根据本技术的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本技术各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过采用本技术所提供的图像处理超参数优化设备，所述处理器在执行所述可执行指令时执行所述的图像处理超参数优化方法，由此可以获得上述图像处理超参数优化方法的有益效果。本技术实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像处理超参数优化方法的步骤。在一些可能的实施方式中，本技术的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述图像处理超参数优化方法部分中描述的根据本技术各种示例性实施方式的步骤。参考图6所示，描述了根据本技术的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或集群上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。通过采用本技术所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的图像处理超参数优化方法的步骤，由此可以获得上述图像处理超参数优化方法的有益效果。以上内容是结合具体的优选实施方式对本技术所作的进一步详细说明，不能认定本技术的具体实施只局限于这些说明。对于本技术所属的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本技术的保护范围。

背景技术：

1、商业级的成像系统依赖图像信号处理(image signal processing,isp)流程，该流程通常由若干像素级(pixel-level)图像处理模块组成，在这些模块中包含了大量的超参数，用于将传感器上的raw图像重建成一张rgb图像。在监控领域，通常硬件图像处理超参数(isp超参数)与重建的rgb图像有着复杂的交互。传统的方法，通常需要有丰富经验的isp工程师花费数月时间去优化监控设备的这些超参数，以达到视觉质量最佳的图像效果，这不仅需要耗费大量的时间资源，且难以保证所优化的参数在增量迭代过程中是全局或者局部最优的。

2、近年来，随着卷积神经网络(convolutional nearul network,cnn)和生成对抗网络(generative adversarial network,gan)在像素级图像处理领域的优异表现，各种各样基于神经网络替代isp流程的方法层出不穷。主要方法包括：通过神经网络学习调试设备硬件isp的可微分代理模型，然后使用经过传统图像配准算法得到的对比设备图像作为目标图像(groundtruth,gt)，优化调试设备isp超参数以期望达到对比设备图像风格。现有技术中，使用传统的图像配准算法，通过计算仿射变换矩阵，将对比设备的图像与调试设备图像对齐，但当对比设备和调试设备的视场角差异较大时会出现严重的像素不对齐问题，且这种方法无法解决由于镜头畸变或者场景深度差异造成的像素误差，导致图像处理超参数的优化效果不好。

3、申请内容

4、针对现有技术中的问题，本技术的目的在于提供一种图像处理超参数优化方法、系统、设备及存储介质，解决了调试设备与对比设备的视角差异问题，进一步提高图像处理超参数优化的效果。

5、本技术实施例提供一种图像处理超参数优化方法，包括如下步骤：

6、从调试设备获取多组第一训练图像数据，每组所述第一训练图像数据包括第一拍摄图像、一训练超参数组合和所述调试设备基于所述训练超参数组合对所述第一拍摄图像处理得到的第一标签图像；

7、基于所述第一训练图像数据训练第一图像处理模型；

8、从对比设备获取多组第二训练图像数据，每组所述第二训练图像数据包括第二拍摄图像和所述对比设备对所述第二拍摄图像处理得到的第二标签图像；

9、基于所述第二训练图像数据训练第二图像处理模型；

10、从所述调试设备获取第三拍摄图像，并基于所述第二图像处理模型得到第三标签图像；

11、将所述第三拍摄图像和初始化超参数组合作为所述第一图像处理模型的输入，所述第三标签图像作为所述第一图像处理模型的标签数据，优化所述初始化超参数组合。

12、通过采用本发明的图像处理超参数优化方法，获取到一个模拟调试设备内部图像处理算法的第一图像处理模型，获取到一个模拟对比设备内部图像处理算法的第二图像处理模型，然后基于调试设备自身拍摄的第三拍摄图像来获取目标的第三标签图像，将第三标签图像作为优化超参数组合时的目标图像，由于第三标签图像是第三拍摄图像经过第二图像处理模型处理后得到的，第三标签图像与第三拍摄图像不会存在视角差异，也不会受到镜头畸变、图像分辨率不一致等问题影响，并且第三标签图像是通过模拟对比设备的第二图像处理模型得到的，实现在优化超参数组合时模拟对比设备的图像处理风格，提高超参数组合优化效果。

13、在一些实施例中，基于所述第二训练图像数据训练第二图像处理模型，包括如下步骤：

14、将所述第二拍摄图像经过预设的图像矫正算法，得到第一矫正后图像；

15、将所述第一矫正后图像作为所述第二图像处理模型的输入，所述第二标签图像作为所述第二图像处理模型的标签数据，训练所述第二图像处理模型；

16、基于所述第二图像处理模型得到第三标签图像，包括如下步骤：

17、将所述第三拍摄图像经过预设的图像矫正算法，得到第二矫正后图像；

18、将所述第二矫正后图像输入所述第二图像处理模型，得到所述第二图像处理模型输出的第三标签图像。

19、在一些实施例中，所述图像矫正算法用于基于传感器参数将第一格式图像转换为第二格式图像；

20、将所述第二拍摄图像经过预设的图像矫正算法，得到第一矫正后图像，包括：获取所述对比设备的第一传感器参数，并基于所述第一传感器参数，采用所述图像矫正算法将第一格式的所述第二拍摄图像转换为第二格式的第一矫正后图像；

21、将所述第三拍摄图像经过预设的图像矫正算法，得到第二矫正后图像，包括：获取所述调试设备的第二传感器参数，并基于所述第二传感器参数，采用所述图像矫正算法将第一格式的所述第三拍摄图像转换为第二格式的第二矫正后图像。

22、在一些实施例中，所述从对比设备获取多组第二训练图像数据，包括如下步骤：

23、获取同一时刻静止场景的多张对比拍摄图像；

24、将所述多张对比拍摄图像进行平均化处理，得到第二拍摄图像。

25、在一些实施例中，所述第一图像处理模型包括编码器和解码器，所述编码器包括多个依次串联的编码模块；

26、基于所述第一训练图像数据训练第一图像处理模型，包括如下步骤：

27、依次将每组所述第一训练图像数据中的第一拍摄图像和训练超参数组合输入所述第一图像处理模型，所述第一图像处理模型的编码模块分别将该编码模块的输入图像和输入超参数组合进行融合并提取特征图，并将该特征图作为该编码模块的输出图像，其中，第一个所述编码模块的输入图像为所述第一拍摄图像，除第一个之外的其他所述编码模块的输入图像为前一所述编码模块的输出图像；

28、获取所述第一图像处理模型的输出图像，与所述第一标签图像构建损失函数，并反向迭代优化所述第一图像处理模型。

29、在一些实施例中，所述第一图像处理模型为uformer模型，各个所述编码模块分别以该编码模块的输入图像、参数和输出图像作为要查询的信息、被查询的信息和查询得到的值，采用自注意力机制进行融合。

30、在一些实施例中，各个所述编码模块包括卷积单元、第一维度展平单元、第二维度展平单元、第一点乘单元、概率权重计算单元和第二点乘单元；

31、所述编码模块的输入超参数组合通过所述卷积单元输入所述第一维度展平单元，所述编码模块的输入图像输入所述第二维度展平单元，所述第一维度展平单元和所述第二维度展平单元的输出数据通过所述第一点乘单元得到点乘数据，所述点乘数据输入所述概率权重计算单元，所述概率权重计算单元的输出数据和所述第二维度展平单元的输出数据输入所述第二点乘单元，所述第二点乘单元输出特征图，作为所述编码模块的输出图像。

32、本发明实施例还提供一种图像处理超参数优化系统，应用于所述的图像处理超参数优化方法，所述系统包括：

33、第一模型训练模块，用于从调试设备获取多组第一训练图像数据，每组所述第一训练图像数据包括第一拍摄图像、一训练超参数组合和所述调试设备基于所述训练超参数组合对所述第一拍摄图像处理得到的第一标签图像，以及基于所述第一训练图像数据训练第一图像处理模型；

34、第二模型训练模块，用于从对比设备获取多组第二训练图像数据，每组所述第二训练图像数据包括第二拍摄图像和所述对比设备对所述第二拍摄图像处理得到的第二标签图像，以及基于所述第二训练图像数据训练第二图像处理模型；

35、超参数优化模块，用于从所述调试设备获取第三拍摄图像，并基于所述第二图像处理模型得到第三标签图像，以及将所述第三拍摄图像和初始化超参数组合作为所述第一图像处理模型的输入，所述第三标签图像作为所述第一图像处理模型的标签数据，优化所述初始化超参数组合。

36、通过采用本发明的图像处理超参数优化系统，通过第一模型训练模块获取到一个模拟调试设备内部图像处理算法的第一图像处理模型，通过第二模型训练模块获取到一个模拟对比设备内部图像处理算法的第二图像处理模型，然后通过超参数优化模块基于调试设备自身拍摄的第三拍摄图像来获取目标的第三标签图像，将第三标签图像作为优化超参数组合时的目标图像，由于第三标签图像是第三拍摄图像经过第二图像处理模型处理后得到的，第三标签图像与第三拍摄图像不会存在视角差异，也不会受到镜头畸变、图像分辨率不一致等问题影响，并且第三标签图像是通过模拟对比设备的第二图像处理模型得到的，实现在优化超参数组合时模拟对比设备的图像处理风格，提高超参数组合优化效果。

37、本技术实施例还提供一种图像处理超参数优化设备，包括：

38、处理器；

39、存储器，其中存储有所述处理器的可执行指令；

40、其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像处理超参数优化方法的步骤。

41、通过采用本技术所提供的图像处理超参数优化设备，所述处理器在执行所述可执行指令时执行所述的图像处理超参数优化方法，由此可以获得上述图像处理超参数优化方法的有益效果。

42、本技术实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像处理超参数优化方法的步骤。

43、通过采用本技术所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的图像处理超参数优化方法的步骤，由此可以获得上述图像处理超参数优化方法的有益效果。

技术实现思路