基于通道间相关信息的自适应图像增强的制作方法

背景技术：

1、视频译码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视(tv)、基于互联网和移动网络的视频传输、视频聊天、视频会议等实时会话应用、dvd和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。

2、即使在视频较短的情况下，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中发送或以其它方式传输发送时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，该视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后进行传输或存储，从而减少表示数字视频图像所需的数据量。然后，由对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够在几乎不牺牲图像质量的前提下提高压缩比。

3、一般来说，图像压缩可以是无损的或有损的。在无损图像压缩中，原始图像可以根据压缩图像完美地重建。然而，压缩率相当低。相比之下，有损图像压缩可以具有高压缩率，缺点是无法完美重建原始图像。尤其是在低码率下使用时，有损图像压缩会引入可见的空间压缩伪影。

技术实现思路

1、本发明涉及用于修改(例如增强)图像或视频的方法和装置。

2、本发明由独立权利要求的范围限定。从属权利要求中提供了一些有利的实施例。

3、具体地，本发明的实施例提供了一种根据处理多个图像通道的神经网络系统的修改图像的方法。单独处理主通道。处理辅通道时考虑到处理后的主通道。在所述神经网络系统处理之前，选择哪个图像通道作为所述主通道。

4、根据一个方面，提供了一种用于修改由两个或两个以上图像通道表示的图像区域的方法，所述方法包括：选择所述两个或两个以上图像通道中的一个作为主通道，并选择所述两个或两个以上图像通道中的至少另一个作为辅通道；用第一神经网络处理所述主通道，获取修改后的主通道；用第二神经网络处理所述辅通道，获取修改后的辅通道，其中，用所述第二神经网络进行的处理是基于所述修改后的主通道；根据所述修改后的主通道和所述修改后的辅通道，获取修改后的图像区域。

5、这种方法的优点之一可以是提高图像修改性能，因为有可能通过在图像通道中选择主通道来适应。

6、例如，所述在两个或两个以上图像通道中选择主通道和辅通道的步骤是根据基于神经网络的分类器的输出执行的，其中，所述两个或多个图像通道输入到所述神经网络。使用分类器能够训练或设计这种分类器，以便正确地选择图像通道作为主通道，从而可以提高图像修改(例如图像增强)的质量。

7、所述两个或两个以上图像通道可以包括颜色通道和/或特征通道。所述颜色通道和所述特征通道反映图像特征。每种通道可以提供在其它通道中不存在的信息，使得协作处理可以相对于主通道改进通道。

8、根据一些实施例，图像区域是以下之一：对应于图像的一部分或多个图像的一部分的预定大小的块，或一个或多个图像。

9、根据块或多个图像处理图像能够以不同的方式处理图像或视频序列的区域，即改变主通道的选择。由于所述图像内和/或视频序列内的内容可以变化，因此图像增强适应主通道可能是有利的。

10、在一些示例性实现方式中，所述方法还包括根据神经网络的隐藏层的数量为所述图像区域选择最小大小，其中，所述最小大小至少为2*((kernel_size–1)/2*n_layers)+1，kernel_size是所述神经网络的内核的大小，所述神经网络是卷积神经网络，n_layers是所述神经网络的层数。

11、这种用于选择块大小的下限使得，根据所述神经网络的设计，能够充分利用处理图像的信息，而不通过填充等增加冗余。

12、根据一个实施例(可与任何之前或以下实施例和示例组合)，所述方法还包括：将所述图像区域的所述至少两个图像通道中的每个图像通道的像素重新排列为多个(s个)子区域，其中，所述至少两个图像通道中的图像通道的每个子区域包括所述图像通道的样本的子集，对于所有图像通道，子区域的水平尺寸相同，等于所述图像的水平尺寸的最大公约数的整数倍mh，对于所有图像通道，子区域的垂直尺寸相同，等于所述图像的垂直尺寸的最大公约数的整数倍mv。

13、通过这种重新排列，所述神经网络可以用于处理图像通道中尺寸/分辨率不同的图像。

14、具体地，所述图像区域的s子区域与不相交，并且具有水平尺寸dih和垂直尺寸div，其中，s＝mh*mv，子区域包括所述图像区域在位置{kh*mh+offh,kv*mv+offv}上的样本，其中，kh∈[0,dimh–1]且kv∈[0,dimv–1]，offh和offv的每个组合指定相应子区域，其中，offk∈[1,mh]，offv∈[1,mv]。

15、通过上述确定块大小，即使所述通道的分辨率和/或尺寸(垂直和/或水平)彼此不同，也可以利用图像并有效地使块大小适应每个通道的图像尺寸。

16、根据一个方面，提供了一种用于对图像或包括多个图像的视频序列进行编码的方法，其中，所述方法包括：获取原始图像区域；将所述获取的图像区域编码到码流中；应用上文所述的方法，修改通过重建所述经编码图像区域获取的图像区域。

17、在图像或视频编码中使用图像修改可以提高经解码图像的质量。这可能是一种失真意义上的质量，可以降低。然而，对于一些应用，可能存在一些可能需要的特效，并且修改可能改进这些图像(这不一定减少相对于原始图像的失真)。

18、例如，所述编码可以包括在所述码流中包括所述选择的主通道的指示的步骤。这使得可以在解码端更好地进行重建；在相对于原始(未失真)图像的失真方面更好。

19、根据一种示例性实现方式，还包括：获取多个图像区域；将所述用于修改所述获取的图像区域的方法分别应用于所述获取的多个图像区域中的图像区域；在所述多个图像区域中的每个图像区域的码流中包括以下中的至少一个：指示用于修改所述获取的图像区域的方法不应用于所述图像区域的指示；所述区域的所述选择的主通道的指示。基于区域的处理有助于适应图像或视频内容。

20、当应用用于修改所述获取的图像区域的方法时，可以在不参考输入到编码步骤的获取的图像区域的情况下，根据重建的图像区域选择主通道和辅通道。这避免了额外的开销(速率要求)。

21、根据一个方面，提供了一种用于从码流中解码图像或包括多个图像的视频序列的方法，其中，包括：从所述码流中重建图像区域；应用如上所述用于修改图像区域的方法。

22、在解码端应用所述图像或视频修改可以提高经解码图像质量。

23、在一些实施例中，所述用于对图像或视频序列的方法包括：解析所述码流以获取以下中的至少一个：指示用于修改所述获取的图像区域的方法不应用于所述图像区域的指示；所述区域的所述选择的主通道的指示；从所述码流中重建图像区域；在所述指示表示选择的主通道的情况下，将所述指示的主通道作为所述选择的主通道，修改所述重建图像区域。

24、根据边信息进行的重建可以在如上所述的相应编码方法的质量方面提供更好的性能。所述修改可以作为环内滤波器或在编码器和/或解码器处的后处理滤波器应用。

25、此外，提供了一种用于修改由两个或两个以上图像通道表示的图像区域的装置，量化器设备由用于执行根据上述任何方法的步骤的电路实现。

26、根据一个方面，提供了一种用于对图像或包括多个图像的视频序列进行编码的编码器，其中，所述编码器包括：输入模块，用于获取原始图像区域；压缩模块，用于将所述获取的图像区域编码到码流中；重建模块，用于重建所述经编码图像区域；根据权利要求15所述的装置，用于修改所述重建图像区域。

27、根据一个方面，提供了一种用于从码流中解码图像或包括多个图像的视频序列的解码器，其中，所述解码器包括：重建模块，用于从所述码流中重建图像区域；根据权利要求15所述的装置，用于修改所述重建图像区域。这些装置的优点与具有相似特征的上述方法的优点相对应。

28、此外，还提供了与上述处理电路执行的步骤相对应的方法。

29、根据一个方面，提供了一种计算机产品，包括用于执行根据上述方法所述的程序代码。所述计算机产品可以提供在非瞬时性介质上，并包括指令，当在一个或多个处理器上执行时，这些指令执行所述方法的步骤。

30、上述任一装置都可以实施在集成芯片上。

31、上述实施例和示例性实现方式中的任何一个都可以被组合。