跨阶段跳跃连接处理图像的方法、系统和计算机可读介质与流程

本申请要求于2018年11月15日提交的美国申请号为62/767,942的优先权。

本申请涉及图像处理技术领域，特别是涉及跨阶段跳跃连接处理图像的方法、系统和计算机可读介质。

背景技术：

当例如在弱光或水下的条件下捕获图像时，由于信噪比(signal-to-noiseratio,snr)低，对比度低和/或动态范围窄，可能难以识别图像的内容。图像去噪技术可消除图像噪声。图像增强技术改善了感知质量，例如图像的对比度。图像去噪技术和/或图像增强技术旨在提供具有饱和色彩和丰富细节的图像，尽管这些图像是在例如弱光条件或水下条件下拍摄的。

技术实现要素：

本申请提供一种用跨阶段跳跃连接处理图像的方法、系统和计算机可读介质。

根据本申请的第一方面，一种计算机实现的方法包括：由编码器接收和处理第一图像并输出第一特征图，编码器包括：多个第一卷积阶段，接收第一图像，并逐阶段输出与第一卷积阶段对应的多个第二特征图；其中，所述多个第二特征图的比例逐渐减小；对于所述第一卷积阶段的每个第二卷积阶段，第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

根据本申请的第二方面，一种计算机实现的方法包括：由解码器接收和处理第一特征图并输出第一图像，第一特征图由编码器输出，解码器包括：多个第一卷积阶段，接收所述第一特征图，并逐阶段输出与所述多个第一卷积阶段对应的多个第二特征图；其中，第一特征图和第二特征图的比例逐渐增大；对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段，第一跳跃连接被添加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间；编码器的最后卷积阶段输出第一特征图；每个第二卷积阶段输出的第三特征图，第三特征图的比例在第一卷积阶段的相应的第三卷积阶段中增大，其中，对应的第三卷积阶段紧接在每个第二卷积阶段之后。

根据本申请的第三方面，一种系统包括：至少一个存储器，配置用于存储程序指令；至少一个处理器，配置用于执行程序指令，以使得至少一个处理器执行以下步骤：由编码器接收和处理第一图像并输出第一特征图，编码器包括：多个第一卷积阶段，接收第一图像，并逐阶段输出与第一卷积阶段对应的多个第二特征图；其中，第二特征图的比例逐渐减小；对于所述第一卷积阶段的每个第二卷积阶段，第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

根据本申请的第四方面，一种系统包括：至少一个存储器，配置用于存储程序指令；至少一个处理器，配置用于执行程序指令，以使得至少一个处理器执行以下步骤：由解码器接收和处理第一特征图并输出第一图像，第一特征图由编码器输出，解码器包括：多个第一卷积阶段，接收第一特征图，并逐阶段输出与第一卷积阶段对应的多个第二特征图；其中，第一特征图和第二特征图的比例逐渐增大；对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段，第一跳跃连接被增加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间；编码器的最后卷积阶段输出第一特征图；每个第二卷积阶段输出对应的第三特征图，第三特征图的比例在第一卷积阶段的相应的第三卷积阶段中增大，其中，对应的第三卷积阶段紧接在每个第二卷积阶段之后。

根据本申请的第五方面，一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有程序指令，在程序指令被至少一个处理器运行时执行的步骤包括：由编码器接收和处理第一图像并输出第一特征图，编码器包括：多个第一卷积阶段，接收第一图像，并逐阶段输出与第一卷积阶段对应的多个第二特征图；其中，第二特征图的比例逐渐减小；对于所述多个第一卷积阶段的每个第二卷积阶段，第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

根据本申请的第六方面，一种非暂时性计算机可读介质，非暂时性计算机可读介质存储有程序指令，在程序指令被至少一个处理器运行时执行的步骤包括：由解码器接收和处理第一特征图并输出第一图像，第一特征图由编码器输出，解码器包括：多个第一卷积阶段，接收第一特征图，并逐阶段输出与第一卷积阶段对应的多个第二特征图；其中，第一特征图和第二特征图的比例逐渐增大；对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段，第一跳跃连接被增加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的多个第一卷积阶段的至少一个剩余卷积阶段的每个之间；编码器的最后卷积阶段输出第一特征图；每个第二卷积阶段输出对应的第三特征图，三特征图的比例在所第一卷积阶段的相应的第三卷积阶段中增大，对应的第三卷积阶段紧接在每个第二卷积阶段之后。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本申请实施例提供的终端的输入、处理和输出的硬件模块的框图；

图2是本申请实施例提供的具有跨阶段跳跃连接的编码器/解码器网络的示意图；

图3是本申请实施例提供的用于编码器/解码器网络的编码器的示例性卷积阶段的跨阶段跳跃连接的示意图；

图4a是本申请实施例提供的用于编码器的示例性卷积阶段的一个示例性跨阶段跳跃连接的向下缩放阶段的示意图；

图4b是本申请另一实施例提供的用于编码器的示例性卷积阶段的一个示例性跨阶段跳跃连接的向下缩放阶段的示意图；

图5是本申请实施例提供的用于编码器/解码器网络的解码器的示例性卷积阶段的跨阶段跳跃连接的示意图；

图6a是本申请实施例提供的用于解码器的示例性卷积阶段的一个示例性跨阶段跳跃连接的向上缩放阶段的示意图；

图6b是本申请另一实施例提供的用于解码器的示例性卷积阶段的一个示例性跨阶段跳跃连接的向上缩放阶段的示意图；

图7是本申请另一实施例提供的具有跨阶段跳跃连接的编码器/解码器网络的示意图；

图8本申请又一实施例提供的具有跨阶段跳跃连接的编码器/解码器网络的示意图。

具体实施方式

下面将结合附图详细说明本申请的实施例中的技术内容，结构特征，实现的目的和效果。具体地，本申请实施例中的术语仅用于描述特定实施例的目的，并不用于限制本申请。

如本申请中所使用的术语“使用”是指其中直接使用对象来执行步骤的情况，或者通过至少一个中间步骤来修改对象并且直接使用修改后的对象来执行步骤的情况。

图1是示出本申请的实施例的终端100中的输入、处理和输出硬件模块的框图。请参考图1，终端100包括数码相机模块102、处理器模块104、存储器模块106、显示模块108、存储模块110、有线或无线通信模块112和总线114。终端100可以是手机、智能手机、平板电脑、笔记本电脑、台式计算机或任何具有足够计算能力来执行图像处理的电子设备。

数码相机模块102是输入硬件模块，并且被配置为捕获要通过总线114传输到处理器模块104的输入图像206(在图2中示出)。输入图像206可以是像素以拜耳(bayer)模式排列的原始图像。可选地，输入图像206可以是使用诸如存储模块110或有线或无线通信模块112之类的另一输入硬件模块以获得的。存储模块110被配置为存储将通过总线114被发送到处理器模块104的输入图像206。有线或无线通信模块112被配置为通过有线或无线通信从网络接收输入图像206，其中输入图像206将通过总线114被发送到处理器模块104。

当在弱光条件下或水下条件下或在曝光时间不足的情况下捕获输入图像时，由于信噪比低(snr)，低对比度和/或较窄的动态范围，可能难以识别输入图像的内容。存储器模块106可以是暂时性或非暂时性计算机可读介质，其包括至少一个存储器，该存储器存储程序指令，该程序指令在由处理器模块104执行时，使处理器模块104处理输入图像。处理器模块104实现编码器-解码器网络200(图2所示)，该编码器-解码器网络200对输入图像206执行图像去噪和/或图像增强并生成输出图像208(在图2中示出)。处理器模块104包括至少一个处理器，该至少一个处理器直接或间接地通过总线114向数字相机模块102、存储模块106、显示模块108、存储模块110以及有线或有线通信模块112发送或者接收信号。至少一个处理器可以是中央处理单元(cpu，图形处理单元(gpu))，和/或数字信号处理器(dsp)。cpu可以经由总线114将输入图像206，一些程序指令和其他数据或指令发送到gpu和/或dsp。

显示模块108是输出硬件模块，并且被配置为显示通过总线114从处理器模块104接收到的输出图像208。可选地，输出图像208可以使用其他的输出硬件模块来输出，例如存储模块110或有线或无线通信模块112。存储模块110被配置为存储通过总线114从处理器模块104接收到的输出图像208。有线或无线通信模块112被配置为通过有线或无线通信的方式发送输出图像208到网络中，其中输出图像208是通过总线114从处理器模块104接收的。

终端100是计算机系统中的一种类型，其所有组件通过总线114集成在一起。其他类型的计算系统，例如具有远程数字照相机模块而不是数字照相机模块102的计算系统，也在本申请的公开范围之内。

图2是示出了本申请实施例的具有跨阶段跳跃连接s12至s45以及s56至s89的编码器-解码器网络200的示意图。给定一个输入图像i，编码器-解码器网络200学习映射i’＝f(i:w)，该映射可渲染输入图像i进行去噪和/或增强，以生成输出图像i’，其中w是编码器-解码器网络200的可学习参数的集合。具有可学习参数的编码器-解码器网络200对输入图像206进行图像去噪和/或增强，以生成输出图像208。在一个实施例中，输出图像208是rgb图像。

在一个实施例中，编码器-解码器网络200具有u-net架构。在“u-net:convolutionalnetworksforbiomedicalimagesegmentation,”o.ronneberger,p.fischer,andt.brox,arxivpreprintarxiv:1505.04597[cs.cv],2015.中更详细地描述了u-net体系结构的示例。编码器-解码器网络200包括编码器202和解码器204。编码器202被配置为接收输入图像206，提取输入图像206的特征，并输出特征图f5。解码器204被配置为接收特征图f5，从特征图f5进行重构并输出输出图像208。编码器202包括多个卷积阶段s1至s5，解码器204包括多个卷积阶段s6至s10，卷积阶段s1至s5接收输入图像206，并逐阶段输出与卷积阶段s1至s5相对应的多个特征图f1至f5。卷积阶段s6至s9接收特征图f5，并逐阶段输出对应卷积阶段s6至s9的多个特征图f6至f9。卷积阶段s10接收特征图f9并输出输出图像208。在一个实施例中，卷积阶段s10包括1×1传统卷积层，其接收特征图f9并输出输出图像208。

特征图f1至f9是多通道特征图。对于编码器202，特征图f1至f5具有逐渐减小的比例(即，空间分辨率)，表现为与卷积阶段s1至s5对应的矩形尺寸减小。特征图f1到f5的通道数逐渐增加。对于解码器204，特征图f5至f9具有逐渐增大的比例，表现为与卷积阶段s5至s9相对应的矩形尺寸增大。特征图f5至f9的通道数逐渐减少。

跨阶段跳跃连接s12至s45被增加至卷积阶段s1至s5。对于卷积阶段s1至s5中的每个卷积阶段s1,…,或s4，在每个卷积阶段s1,…,或s4与剩余的至少一个卷积阶段s2至s5,…,或s5中的每一个之间增加跳跃连接s12,…,或s45，其中剩余的至少一个卷积阶段s2至s5,…,或s5是指卷积阶段s1至s5中相对于每个卷积阶段s1,…,或s4而言。跨阶段跳跃连接s56至s89被增加在编码器202的卷积阶段s5和解码器204的卷积阶段s6至s9。对于编码器202的最后一个卷积阶段s5的每个卷积阶段s5,…,或s8和解码器204的卷积阶段s6到s9，每个卷积阶段s5或s8与至少一个剩余的卷积阶段s6至s9或卷积阶段s6至s9中的每一个之间添加跳跃连接s56或s89，以及解码器204的卷积阶段s6至s9。在每个卷积阶段s5,…,或s8与剩余的至少一个卷积阶段s6至s9,…,或s9中的每一个之间增加跳跃连接s56,…,或s89。其中剩余的至少一个卷积阶段s6至s9,…,或s9是指在卷积阶段s6至s9中相对于每个卷积阶段s5,…,或s8而言。编码器202的最后的卷积阶段s5输出特征图f5。编码器202的最后一个卷积阶段s5的每个卷积阶段s5,…,或s8以及解码器204的每个卷积阶段s6至s9输出一个相应的特征图f5,…,或f8，相应的特征图f5,…,或f8的比例根据卷积阶段s6至s9中的一个相应的卷积阶段s6,…,或s9比例而增大。相应的卷积阶段s6,...,或s9紧接在每个卷积阶段s5,…,或s8之后。

跳跃连接的标号的第一个数字是源阶段的阶段号。跳跃连接的标号的第二个数字是目的阶段的阶段号。例如，跳跃连接s12的标号“s12”的第一个数字“1”是源阶段s1的阶段号“1”，跳跃连接s12的标号的第二个数字“2”是目的阶段的阶段号“2”。为了简单起见，跳跃连接在图2中被示例性地标记。

术语“对应于第一卷积阶段的至少一个剩余卷积阶段”是指在一组卷积阶段中，对应于第一卷积阶段的至少一个剩余卷积阶段是至少一个卷积阶段的全部，且至少一个卷积阶段是紧随在第一卷积阶段之后的。

图3是示出了本申请实施例的用于编码器202的示例性卷积阶段s3(图2所示)的跳跃连接s13和s23的示意图。卷积阶段s1包括具有第一激活函数的卷积层a1和具有第一激活函数的卷积层a2。卷积层a1接收输入图像206，卷积层a1和a2逐层处理，并且卷积层a2输出特征图f1。在一个实施例中，卷积层a1和a2是3×3的卷积层。在一个实施例中，第一激活函数是非线性激活函数，例如leakyrelu运算。

卷积阶段s2包括向下缩放层b1、具有第一激活函数的卷积层b2、不具有第一激活函数的卷积层b3以及激活函数b4。向下缩放层b1接收特征图f1、向下缩放层b1、卷积层b2和b3以及激活函数b4逐层处理，并且激活函数b4输出特征图f2。向下缩放层b1以例如2的向下缩放因子来向下缩放特征图f1。在一个实施例中，向下缩放层b1是例如最大池化层或平均池化层之类的池化层。其他向下缩放层，例如步长为2的卷积层，也在本申请的保护范围内。在一个实施例中，卷积层b2和b3是3×3的卷积层。在一个实施例中，激活函数b4是非线性激活函数，例如leakyrelu运算。

卷积阶段s3包括向下缩放层c1、具有第一激活函数的卷积层c2、不具有第一激活函数的卷积层c3、求和块302和激活函数c4。向下缩放层c1接收特征图f2，向下缩放层c1、卷积层c2和c3以及激活函数c4逐层处理，并且激活函数c4输出特征图f3。向下缩放层c1利用例如2的向下缩放因子来向下缩放特征图f2。在一个实施例中，向下缩放层c1是诸如最大池化层或平均池化层的池化层。其他向下缩放层如步长为2的卷阶层也在本申请的保护范围内。在一个实施例中，卷积层c2和c3是3×3的卷积层。在一个实施例中，激活函数c4是非线性激活函数，例如leakyrelu运算。

跳跃连接s13或s23包括通过向下缩放阶段l13或l23将特征图f1的特征图f1或f2向下缩放到f5(如图2所示)，以生成特征图f13或f23，并另外通过求和块302对特征图f13或f23进行相加，通过以下等式(1)获得特征图的和xj：

其中a是卷积阶段s1至s5中的第一阶段的阶段号“1”，i是卷积阶段s1至s5中的源阶段s1或s2的阶段号“1”或“2”，j是卷积阶段s1至s5中的目的阶段s3的阶段号“3”，并且当i<j时，fij是特征图f13或f23，其是通过阶段号为i的源阶段s1或s2和阶段号为j的目的阶段s3之间的跳跃连接s13或s23获得的。当i＝j，fij是通过阶段号为j的目的阶段s3获得的特征图f33。每个特征图f13和f23中的的比例和通道数与特征图f33的比例和通道数相同。在一个实施例中，因为向下缩放层b1和向下缩放层c1的向下缩放因子为2，所以向下缩放阶段l13的向下缩放因子为4，向下缩放阶段l23的向下缩放因子为2。在等式(1)中的每个求和操作(即，相加操作)是逐个元素的求和运算。

在一个实施例中，设置特征图f33的多个通道，使得特征图f33不具有相对于特征图f13或f23冗余的信息。以这种方式，卷积阶段s3不需要学习和生成已经由卷积阶段s1和s2学习并生成的信息。对特征图f13或f23进行重复使用，而不是对特征图f33中相对于特征图f13或f23的冗余信息重复使用，其重复使用是通过对应于特征图f13，f23和f33的不同虚线样式的3条虚线进行表示的。

卷积层的内核大小、向下缩放因子以及第一激活函数，激活函数b4和c4是相同的激活函数，都仅仅是示例性的，本实施例不限于这些特定配置。

卷积阶段s2还包括与求和块302相似的求和块，在图3中仅示出了与求和块302的完整操作有关的跳跃连接s13和s23，因此省略了卷积阶段s2的求和块。卷积阶段s4和s5也包括与卷积阶段s3类似的过程阶段。卷积阶段s2，s4或s5的跳跃连接在图2中进行了展示，但由于卷积阶段s2，s4或s5与卷积阶段s3的跳跃连接s13和s23相似，因此未对卷积阶段s2，s4或s5的跳跃连接进行详细描述。

图4a是本申请实施例的示例性跨阶段跳跃连接s13(在图3中示出)的向下缩放阶段l13的示意图。向下缩放阶段l13包括不具有第一激活函数的卷积层d1和激活函数d2。卷积层d1接收特征图f1，卷积层d1和激活函数d2逐层处理，且激活函数d2输出特征图f13。在一个实施例中，卷积层d1是1×1卷积层。在一个实施例中，卷积层d1的步长可能为4，使得卷积层d1以4的向下缩放因子将特征图f1的比例减小至特征图f13的比例。在一个实施例中，激活函数d2是非线性激活函数，例如leakyrelu运算。

图4b是本申请另一实施例的示例性跨阶段跳跃连接s13(在图3中示出)的向下缩放阶段l13的示意图。向下缩放阶段l13包括池化层e1、不具有第一激活函数的卷积层e2和激活函数e3。池化层e1接收特征图f1，池化层e1、卷积层e2和激活函数e3逐层进行处理，且激活函数e3输出特征图f13。在一个实施例中，池化层e1以向下缩放因子4将特征图f1的比例减小到特征图f13的比例。在一个实施例中，池化层e1是最大池化层。可选地，池化层e1是平均池化层。在一个实施例中，卷积层e2是步长为1的1×1卷积层。在一个实施例中，激活函数e3是非线性激活函数，例如leakyrelu运算。

图5是本申请实施例的用于解码器204(在图2中示出)的示例性卷积阶段s7的跨阶段跳跃连接s57和s67的示意图。卷积阶段s5包括向下缩放层h1、具有第一激活函数的卷积层h2、不具有第一激活函数的卷积层h3以及激活函数h4。向下缩放层h1接收特征图f4，向下缩放层h1、卷积层h2和h3，激活函数h4逐层处理，并且激活函数h4输出特征图f5。向下缩放层h1利用例如2的向下缩放因子来向下缩放特征图f4。在一个实施例中，向下缩放层h1是诸如最大池化层或平均池化层之类的池化层。其他向下缩放层，例如步长为2的卷积层，也在本申请的保护范围内。在一个实施例中，卷积层h2和h3是3×3的卷积层。在一个实施例中，激活函数h4是非线性激活函数，例如leakyrelu运算。

卷积阶段s6包括向上缩放层i1、具有第一激活功能的卷积层i2、不具有第一激活功能的卷积层i3和激活函数i4。向上缩放层i1接收特征图f5，向上缩放层i1、卷积层i2和i3、激活函数i4逐层处理，并且激活函数i4输出特征图f6。向上缩放层i1以例如2的向上缩放因子来向上缩放特征图f5。在一个实施例中，向上缩放层i1是执行线性内插或双线性内插的向上采样层。其他向上缩放层，例如，步长为2的反卷积层也在本申请的保护范围内。在一个实施例中，卷积层i2和i3是3×3的卷积层。在一个实施例中，激活函数i4是非线性激活函数，例如leakyrelu运算。

卷积阶段s7包括向上缩放层j1、具有第一激活函数的卷积层j2、不具有第一激活函数的卷积层j3、求和块502和激活函数j4。向上缩放层j1接收特征图f6，向上缩放层j1、卷积层j2和j3以及激活函数j4逐层处理，并且激活函数j4输出特征图f7。向上缩放层j1以例如2的向上缩放因子来向上缩放特征图f6。在一个实施例中，向上缩放层j1是执行线性内插或双线性内插的向上采样层。其他向上缩放层，例如，步长为2的反卷积层也在本申请的保护范围内。在一个实施例中，卷积层j2和j3是3×3的卷积层。在一个实施例中，激活函数j4是非线性激活函数，例如leakyrelu运算。

跳跃连接s57或s67包括通过向上缩放阶段l57或l67来向上缩放特征图f5至f9(如图2所示)中的特征图f5或f6，以生成特征图f57或f67，通过求和块502对特征图f57或f67进行相加，通过以下等式(2)获得特征图的总和xn：

其中b是编码器202的最后卷积阶段s5的阶段数“5”，m是源阶段s5或s6的阶段数“5”或“6”，源阶段s5或s6是编码器202最后卷积阶段s5和解码器204的卷积阶段s6至s9的其中一个，n是卷积阶段s6至s9的目的阶段s7的阶段号“7”，并且当m＜n，fmn是特征图f57或f67，且特征图f57或f67是通过阶段数为m的源阶段s5或s6和阶段数为n的目的阶段s7之间的跳跃连接s57或s67获得的。当m＝n时，fmn是由阶段号为n的目的阶段s7获得的特征图f77。特征图f57和f67中每一个的比例和通道数与特征图f77的比例和通道数相同。在一实施例中，因为向上缩放层i1和向上缩放层j1的向上缩放因子为2，则向上缩放层l57的向上缩放因子为4，l67的向上缩放因子为2。在等式(2)中的每个求和运算(即，相加运算)是逐个元素求和的运算。

在一个实施例中，设置特征图f77的多个通道，使得特征图f77不具有相对于特征图f57或f67冗余的信息。以这种方式，卷积阶段s7不需要学习和生成已经由卷积阶段s5和s6学习并生成的信息。对特征图f57或f67进行重复使用，而不是对特征图f77中相对于特征图f57或f67的冗余信息重复使用，其重复使用是通过对应于特征图f57，f67和f77的不同虚线样式的3条虚线进行表示的。

卷积层的内核大小、向下缩放因子以及第一激活函数、激活函数i4和j4是相同的激活函数，都仅仅是示例性的，本实施例不限于这些特定配置。

卷积阶段s6还包括与求和块502相似的求和块，在图5中仅示出了与求和块502的完整操作有关的跳跃连接s57和s67，因此省略了卷积阶段s6的求和块。卷积阶段s8和s9也包括与卷积阶段s7类似的组成。卷积阶段s6、s8或s9的跳跃连接在图2中进行了说明，但由于卷积阶段s6、s8或s9的跳跃连接与卷积阶段s7的跳跃连接s57和s67相似，因此未对其进行详细描述。

图6a是本申请实施例的示例性跨阶段跳跃连接s57(在图3中示出)的向上缩放阶段l57的示意图。向上缩放阶段l57包括不具有第一激活函数的反卷积层k1和激活函数k2。反卷积层k1接收特征图f5，反卷积层k1和激活函数k2逐层处理，且激活函数k2输出特征图f57。在一个实施例中，反卷积层k1是1×1反卷积层。在一个实施例中，反卷积层k1的步长为4，使得反卷积层k1以4的向上缩放因子将特征图f5的比例放大至特征图f57的比例。在一个实施例中，激活函数k2是非线性激活函数，例如leakyrelu运算。

图6b是本申请另一实施例的示例性跨阶段跳跃连接s57(在图3中示出)的向上缩放阶段l57的示意图。向上缩放阶段l57包括向上采样层m1、不具有第一激活函数的卷积层m2和激活函数m3。向上采样层m1接收特征图f5，向上采样层m1、卷积层m2和激活函数m3逐层进行处理，且激活函数m3输出特征图f57。在一个实施例中，向上采样层m1以向上缩放因子4将特征图f5的比例放大到特征图f57的比例。在一个实施例中，向上采样层m1执行线性内插或双线性内插。在一个实施例中，卷积层m2是步长为1的1×1卷积层。在一个实施例中，激活函数e3是非线性激活函数，例如leakyrelu运算。

图7是本申请另一实施例的具有跨阶段跳跃连接的编码器-解码器网络700的示意图。与图2中的编码器-解码器网络200相比，编码器-解码器网络700的编码器702还包括瓶颈阶段g5。对于编码器-解码器网络200，由编码器202输出的特征图是特征图f5，其是特征图f1至f5的最后一个特征图。对于编码器-解码器网络700，瓶颈阶段g5接收特征图f5，并输出特征图f5’。编码器702输出的特征图是特征图f5’。由于这个区别，对于编码器-解码器网络200的解码器204的描述中的卷积阶段s5和特征图f5需要相应地改为编码器-解码器网络700的解码器704的瓶颈阶段g5和特征图f5’。可以适当地将用于编码器-解码器网络200的编码应用于编码器-解码器网络700。在一个实施例中，特征图f5’和特征图f5的比例相同。

在一个实施例中，瓶颈阶段g5包括全局池化层和具有第一激活函数的至少一个卷积层。全局池化层接收特征图f5，全局池化层和至少一个卷积层逐层进行处理，且至少一个卷积层输出特征图f5’。在一个实施例中，至少一个卷积层是的层数为3，至少一个卷积层的每一个是1×1卷积层。

图8是本申请的又一个实施例的具有跨阶段跳跃连接的编码器-解码器网络800的图。与图2中的编码器-解码器网络200相比，编码器-解码器网络800还包括跨越编码器-解码器网络800的编码器802和解码器804的跳跃连接810、812、814和816。跳跃连接810、812、814和816修改卷积阶段s6至s9的相应输出，因此解码器204的描述中的特征图f6至f9需要相应地改变为特征图f6’至f9’。编码器-解码器网络200的其余描述可以适用于编码器-解码器网络800。

在一个实施例中，由卷积阶段s4的激活函数输出的特征图f4和由卷积阶段s6的向上缩放层输出的特征图具有基本相同的比例。跳跃连接810包括级联特征图f4和由卷积阶段s6的向上缩放层输出的特征图。由卷积阶段s6的向上缩放层输出的特征图被输入到紧接着卷积阶段s6的向上缩放层之后的卷积阶段s6的层中，以生成由卷积阶段s6输出的特征图f6’。类似地，由卷积阶段s3、s2和s1的激活函数相应输出的特征图f3、f2和f1以及由卷积阶段s7、s8和s9的向上缩放层相应输出的特征图具有基本相同的对应比例。跳跃连接812、814和816包括相应地级联特征图f3、f2和fi以及由卷积阶段s7、s8和s9的向上缩放层输出的特征图。由卷积阶段s7、s8和s9的向上缩放层输出的特征图被相应地输入到紧接卷积阶段s7、s8和s9的向上缩放层之后的卷积阶段s7、s8和s9的层中，相应地生成由卷积阶段s7、s8和s9相应输出的特征图f7’、f8’和f9’。

进一步地，在一个实施例中，在训练期间，编码器-解码器网络200的输入图像206是在例如弱光条件或水下条件下捕获的短曝光图像。在编码器-解码器网络200的输出图像208和对应的长曝光图像的人工标注图像之间计算损耗函数。损耗函数是加权联合损耗和多比例结构的相似性指数(ms-ssim)，等式(3)定义如下：

其中，λ根据经验设置为0.16，是公式(4)定义的损耗表示等式(5)给出的ms-ssim损耗。等式(4)如下：

其中和i分别是输出图像208和人工标注图像，n是在输入图像206里的像素的总数。等式(5)如下：

其中像素i的ms-ssim由等式(6)-(8)定义。等式(6)-(8)定义如下：

其中x和y表示已彼此对齐的两个离散的非负信号(例如分别从比较的两个图像中从同一空间位置提取的两个图像块)。μx和μy是均值，σx和σy是标准偏差，m是级别数，α,β是用于调整每个分量贡献的权重。用高斯滤波器计算均值μx,μy和标准偏差σx,σy，其中高斯滤波器gg的零均值和标准偏差为σg。ms-ssim的示例在"multiscalestructuralsimilarityforimagequalityassessment,”z.wang,e.p.simoncelli,a.c.bovik,conferenceonsignals,systemsandcomputers,2004里有更多描述。

下表1示出了通过参考图1至图6b及图8描述的实施例以得到的实验结果。通过将跨阶段跳跃连接用于卷积阶段输出比例减小的特征图，以及将跨阶段跳跃连接用于卷积阶段输出比例增大的特征图，可以改善信息流和梯度传播，因此可以改善诸如输出图像的峰值信噪比(psnr)之类的性能。通过进一步设置每个目的阶段的特征图的通道数，以使得每个目的阶段的特征图不具有相对于被修改的源阶段的特征图的冗余信息。其中，源阶段的修改是通过相应的跨阶段跳跃连接实现，且由相应的跨阶段跳跃连接修改的源阶段的特征图被重用，因此，编码器-解码器网络的许多参数可以在不牺牲输出图像性能的情况下进行减少。表1示出了参考图2至图6b，图8描述的实施例的图像去噪和增强，与“learningtoseeinthedark”c.chen，q.chen，j.xu，v.koltun，cvpr，2018中描述的编码器-解码器网络sid-net相比，参考图2至图6b，图8中和编码器-解码器网络sid-net中描述的实施例都可以在参考图1描述的系统中运行。如图所示，与编码器-解码器网络sid-net相比，参考图2至图6b，图8描述的实施例可以实现基本相同的psnr，但参数数量减少了45％。

表1

一些实施例具有一个或多个以下特征和/或优点。在一个实施例中，编码器-解码器网络的编码器包括多个第一卷积阶段。对于第一卷积阶段的每个第二卷积阶段，第一跳跃连接被增加在每个第二卷积阶段与对应于每个第二卷积阶段的多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。在一个实施例中，编码器-解码器网络的解码器包括多个第三卷积阶段。对于编码器的最后卷积阶段的每个第四卷积阶段和第三卷积阶段，第二跳跃连接被增加在每个第四卷积阶段与对应于每个第四卷积阶段的多个第三卷积阶段中的至少一个剩余卷积阶段的每个之间。因为可以通过第一跳跃连接和第二跳跃连接来改善编码器-解码器网络的信息流和梯度传播，所以可以改善编码器-解码器网络的输出图像的性能，诸如psnr。在一个实施例中，第一跳跃连接和第二跳跃连接中的每一个都在目的阶段和源阶段之间。设置目的阶段的特征图的多个通道，以使目的阶段的特征图不具有相对于通过第一跳跃连接或第二跳跃连接修改的源阶段的特征图具有冗余信息的信息。因为通过第一跳跃连接或第二跳跃连接修改的源阶段的特征图被重新使用，所以可以在不牺牲输出图像性能的情况下减少编码器-解码器网络的参数数量。

本领域普通技术人员可以理解，在本申请实施例中描述和公开的系统或计算机实现的方法的各个单元、模块、层、块、算法和步骤均是通过硬件、固件、软件或其组合来实现的。这些功能是以硬件，固件还是软件形式运行，取决于技术的应用条件和设计要求。本领域普通技术人员可以使用不同的方式来实现每个特定应用的功能，而这种实现不应超出本申请的范围。

可以理解的是，本申请实施例中所公开的系统和计算机实现的方法可以通过其他方式来实现。上述实施例仅是示例性的。模块的划分仅基于逻辑功能，而在实现中还可能存在其他划分方式。这些模块可以是物理模块，也可以不是。可以将多个模块组合或集成到一个物理模块中。也可以将任何模块划分为多个物理模块。也有可能省略或跳过某些特征。另一方面，所显示或讨论的相互耦合，直接耦合或通信耦合可以通过一些端口，设备或模块进行操作。

作为说明的分离组件的模块可以是物理分离或者不是物理分离。这些模块可以位于一个位置或分布在多个网络模块上。可以根据实施例的目的，使用部分模块或全部模块。

如果软件功能模块被实现并用作产品销售，则可以将其存储在计算机可读存储介质中。基于该理解，可以将本申请提出的技术方案本质上或部分地实现为软件产品的形式。或者，可以将对传统技术有益的技术方案的一部分实现为软件产品的形式。该软件产品存储在计算机可读存储介质中，该计算机可读存储介质包括由系统的至少一个处理器运行由本申请实施例公开的全部或部分步骤的多个命令。该存储介质包括usb磁盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、软盘或其他能够存储程序指令的介质。

尽管已经结合认为最实际和优选的实施例描述了本申请，但是应当理解，本申请不限于所公开的实施例，而是旨在未超过所附权利要求解释的最广泛的范围内能覆盖所做出的各种布局。