图像处理设备及其操作方法与流程

各实施例涉及一种通过使用深度神经网络来处理图像的图像处理设备和一种操作该图像处理设备的方法，更具体地，涉及一种能够通过使用深度神经网络来执行子像素渲染的图像处理设备和一种操作该图像处理设备的方法。

背景技术：

随着计算机技术的发展，数据流量呈指数增长，人工智能(ai)已成为未来创新的重要方向。由于ai是一种模仿人类思维的方式，所以其可以无限地应用于几乎全部产业。ai的示例可以包括模式识别、机器学习、专家系统、神经网络和自然语言处理。

神经网络可以通过数学表示来模拟人类神经元的生物学特性，并且使用模拟人类学习能力的算法。神经网络可以通过算法生成输入数据和输出数据之间的映射，并且生成映射的能力可以表示为神经网络的学习能力。此外，神经网络可以具有基于学习结果针对尚未用于学习的输入数据生成正确的输出数据的一般化能力。

此外，图像处理设备可以通过调整包括在一个像素中的以子像素为单位的值来执行子像素渲染以增加显示器的认知分辨率。在lcd显示器的情况下，由于发光元件的面积比像素面积宽并且子像素对称地布置，所以当执行子像素渲染时，子像素的值可以与其一起改变，并且因此子像素的值可以在一个像素中逐渐改变。另一方面，在微led显示器的情况下，由于空白区域的权重高(发光元件面积小于像素面积)并且子像素不对称地布置，因此当执行子像素渲染时，子像素的值可以在一个像素中显著地改变。因此，在微led显示器的情况下，与lcd显示器不同，可能发生色溢。此外，在使用固定滤波器的子像素渲染的情况下，可能无法改进难以预测的不规则区域中的细节。

技术实现要素：

技术问题

各种实施例可以提供一种图像处理设备和一种操作该图像处理设备的方法，该图像处理设备可以适于其中空白区域的权重高并且子像素被非对称地布置的显示器，并且可以根据输入图像的特性适应性地执行子像素渲染。

公开的有益效果

根据实施例的图像处理设备可以执行适于其中空白区域的权重高并且子像素被非对称地布置的显示器的子像素渲染。

通过根据实施例的图像处理设备，可以防止已经在其上执行了子像素渲染的输出图像中出现色溢。

根据实施例的图像处理设备，可以依照输入图像的特征自适应地执行子像素渲染，从而即使在难以预测的区域(不规则区域)中也能够改善细节。

附图说明

图1是示出根据实施例的一种由图像处理设备通过使用深度神经网络来处理图像的方法的图。

图2是示出根据实施例的深度神经网络的一种结构的图。

图3和图4是用于描述一种根据实施例的放大器的图。

图5是根据实施例的用于描述一种由图像处理设备执行池化操作的方法的参考图。

图6是根据实施例的用于描述一种由图像处理设备配置到第二卷积算子的通道输入的方法的参考图。

图7至图9是根据实施例的用于描述一种训练深度神经网络的方法的图。

图10是示出根据实施例的一种操作图像处理设备的方法的流程图。

图11是示出根据实施例的一种图像处理设备的配置的框图。

图12是根据实施例的一种处理器的框图。

最佳实施方式

根据实施例，一种图像处理设备包括：存储器以及处理器。所述存储器存储一个或多个指令，所述处理器执行存储在所述存储器中的所述一个或多个指令。其中所述处理器使用一个或多个深度神经网络来从第一图像生成第一特征图，基于所述第一特征图和布置在显示器中的子像素中的每一者的位置信息生成针对所述子像素中的每一者的第二特征图，并基于所述第二特征图确定针对所述子像素中的每一者的结果值。

根据实施例，处理器可以通过执行第一图像和第一核之间的卷积操作来生成第三特征图，并通过放大第三特征图来生成第一特征图。

根据实施例，一个或多个深度神经网络可以包括去卷积层，并且处理器可以通过在去卷积层中执行第三特征图和第二核之间的去卷积操作来放大第三特征图。

根据实施例，子像素可以包括第一到第三子像素，并且处理器可以基于第一特征图和第一子像素的位置信息生成第一子特征图，基于第一特征图和第二子像素的位置信息生成第二子特征图，并基于第一特征图和第三子像素的位置信息生成第三子特征图。

根据实施例，第一子特征图中的每一者可以包括第一特征图中的每一者中包括的特征中的、与第一子像素具有相同位置关系的特征，第二子特征图中的每一者可以包括第一特征图中的每一者中包括的特征中的、与第二子像素具有相同位置关系的特征，并且第三子特征图中的每一者可以包括第一特征图中的每一者中包括的特征中的、与第三子像素具有相同位置关系的特征。

根据实施例，处理器可以基于包括在第一子特征图的每一者中的特征和与第一子像素的接近度来确定第一子特征图的每一者的权重，基于包括在第二子特征图的每一者中的特征和与第二子像素的接近度来确定第二子特征图的每一者的权重，基于包括在第三子特征图的每一者中的特征和与第三子像素的接近度来确定第三子特征图的每一者的权重，并通过对第一至第三子特征图中的每一者应用权重来确定所述子像素中的每一者的结果值。

根据实施例，处理器可以通过在第一子特征图和第三核之间执行卷积操作来生成包括用于第一子像素的第一结果值的第一结果图像，通过在第二子特征图和第四核之间执行卷积操作来生成包括用于第二子像素的第二结果值的第二结果图像，通过在第三子特征图和第五核之间执行卷积操作来生成包括用于第三子像素的第三结果值的第三结果图像，并使用第一至第三结果图像输出第二图像。

根据实施例，可以基于每个子像素的结果值来输出第二图像。

根据实施例，第一图像和第二图像可以具有相同的分辨率。

根据实施例，处理器可以通过使用第二图像生成第一虚拟图像，并且计算第一虚拟图像和标签图像之间的u值的第一误差和v值的第二误差；通过对标签图像执行子像素渲染来生成第二虚拟图像，并且计算第二虚拟图像和输出图像之间的y值的第三误差；并且训练一个或多个深度神经网络以最小化第一到第三误差。

根据实施例，第二图像和第二虚拟图像可以具有第一分辨率，标签图像和第一虚拟图像可以具有第二分辨率，并且第二分辨率可以大于第一分辨率。

根据实施例，一种操作通过使用一个或多个深度神经网络来处理图像的图像处理设备的方法，其包括：从第一图像生成第一特征图；基于所述第一特征图和布置在显示器中的每个子像素的位置信息，生成针对所述子像素中的每一者的第二特征图；以及基于所述第二特征图，确定针对所述子像素中的每一者的结果值。

根据实施例，一种计算机程序产品包括一个或多个计算机可读记录介质，其中存储有用于执行以下操作的程序：从第一图像生成第一特征图的操作；基于布置在显示器中的每个子像素的第一特征图和位置信息生成针对所述子像素中的每一者的第二特征图的操作；以及基于第二特征图确定针对所述子像素中的每一者的结果值的操作。

具体实施方式

下面将简要描述本公开使用的术语，并详细描述本公开。

本公开所使用的术语是考虑到本公开中的功能而在当前被广泛使用的通用术语，这些术语可根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外，在一些情况下，可以存在任由申请人选择的术语，并且其含义将在本公开的相应部分中详细描述。因此，本公开所使用的术语不应被理解为简单的名称，而应基于术语的含义和本公开的整体描述来理解。

在整个说明书中，当某物品被称为“包括”元素时，除非另有说明，否则可以进一步包括另一个元素。此外，如本公开所使用的，诸如“单元”和“模块”的术语可以指执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件或硬件和软件的组合。

在下文中，将参考附图详细描述本公开的实施例，使得本领域的普通技术人员可以容易地实现这些实施例。然而，本公开可以以许多不同的形式来体现，并且不应被解释为限于本文所述的实施例。此外，为了清楚地描述本公开，在附图中将省略与本公开的描述无关的部分，并且在整个说明书中相同的附图标记将表示相同的元件。

图1是示出根据实施例的一种由图像处理设备通过使用深度神经网络来处理图像的方法的图。

参照图1，根据实施例的一种图像处理设备100可以接收第一图像10(输入)，并通过使用深度神经网络200对第一图像10(输入)执行子像素渲染来生成第二图像20(输出)。

根据实施例的一种图像处理设备100可以提取关于第一图像10(输入)的特征信息，并且基于所提取的特征信息和布置在显示器中的子像素的位置信息215(例如，子像素坐标信息)来执行子像素渲染，在所述显示器上将显示第二图像20(输出)。因此，图像处理设备100可以执行适于其中空白区域的权重高并且子像素被非对称地布置的显示器(例如，微型led显示器)的子像素渲染。

此外，图像处理设备100可以通过使用深度神经网络200来执行与第一图像10的特征相适应的子像素渲染。例如，图像处理设备100可以生成第二图像20，其中关于第一图像10中的可预测区域和难以预测的区域(不规则区域)的细节得到改善。

下面将参考附图详细描述一种由根据实施例的图像处理设备100通过使用深度神经网络对第一图像10执行子像素渲染的方法。

图2是示出根据实施例的深度神经网络的一种结构的图。

参照图2，根据实施例的深度神经网络200可以包括第一卷积算子210、放大器220、池化算子230和第二卷积算子240。

根据实施例的第一卷积算子210可以包括一个或多个卷积层。在每个卷积层中，可以在输入到卷积层的一个或多个图像(或特征图)和内核之间执行卷积(去卷积)操作，并且可以作为卷积操作的结果输出一个或多个生成的图像(或特征图)。此外，可以将从当前卷积层输出的一个或多个特征图输入到下一个卷积层。

例如，图像处理设备100可以将输入图像输入到第一卷积算子210。在这种情况下，输入图像的大小可以是n×n，并且其可以包括多个通道。图像处理设备100可以通过在包括在第一卷积算子210中的多个卷积层中执行输入图像和第一核之间的卷积操作来生成和输出第一特征图。从第一卷积算子210输出的第一特征图的大小可以是n×n，并且第一特征图的数量可以是f。在这种情况下，第一特征图的数量可以是预设值。

根据实施例的放大器220可以增加输入到放大器220的第一特征图的大小(分辨率)，下面将参考图3和图4详细描述。

图3和图4是用于描述一种根据实施例的放大器的图。

参照图3，根据实施例的放大器220可以包括去卷积层。图像处理设备100可以将第一特征图310输入到去卷积层，执行第一特征图310和第二核之间的去卷积操作，并且作为去卷积操作的结果生成第二特征图320。去卷积操作通常可用于产生大于输入图像大小的输出图像，但不限于此。作为去卷积操作的结果生成的第二特征图的大小可以大于输入到去卷积层的第一特征图的大小。下面将参照图4描述对去卷积操作进行处理的过程。

图4是描述去卷积操作的参考图。

在图4中，为了便于描述，假设输入数据410的大小为2×2，应用于输入数据410的内核大小为3×3，步幅大小为2，输出数据450的大小为4×4，填充值为1。

参照图4，图像处理设备100可以通过将内核430应用到输入数据410的左上像素411来执行去卷积操作。也就是说，图像处理设备100可以将通过将像素值“a”乘以内核430中包括的权重值w0到w8中的每一者而获得的值分别映射到输出数据450的第一区域461中包括的像素。在这种情况下，图像处理设备100可以通过考虑填充值是1来确定第一区域461的开始位置(例如，第一区域的开始点可以是从输出数据的左上像素451向左和向上两侧移动一个像素的点)。

图像处理设备100可以将通过将像素值“a”乘以权重w4而获得的值“a*w4”映射到输出数据450的第一像素451，并且可以将通过将像素值“a”乘以权重w5而获得的值“a*w5”映射到输出数据450的第二像素452。

此外，图像处理设备100可以将通过将输入数据410的右上像素412的像素值“b”乘以包括在内核430中的权重值w0至w8中的每一者而获得的值分别映射到包括在第二区域462中的像素，所述第二区域462从输出数据450的第一区域461移动两个像素。例如，通过将输入数据410的像素值“b”乘以权重w3而获得的值“b*w3”可以被映射到输出数据450的第二像素452，通过将像素值“b”乘以权重w4而获得的值“b*w4”可以被映射到输出数据450的第三像素453，并且通过将像素值“b”乘以权重w5而获得的值“b*w5”可以被映射到输出数据450的第四像素454。

在这种情况下，当作为去卷积操作的目标的数据在输入数据410中移动一个像素时，去卷积操作的结果值被映射的区域(映射区域)在输出数据450中被移动的像素数量被称为步幅。例如，映射区域可以移动一个像素；然而，如图4所示，可以通过从第一区域461到第二区域462移动两个或多个像素来执行映射。因此，可以根据步幅的大小来确定输出数据(输出图像)的大小。

以相同的方式，当在输入数据410中从左到右和从上到下通过一个像素来扫描去卷积操作的目标时，可以乘以包括在内核中的权重值，并且可以将其结果映射到输出数据450。

此外，参考图4，第一区域461和第二区域462可以彼此重叠。此外，可以将多个值映射到包括在重叠区域中的每个像素，并且可以将输出数据450的像素的值确定为映射到该像素的值的和。例如，通过将输入数据410的像素值“a”乘以权重w5而获得的值“a*w5”和通过将输入数据410的像素值“b”乘以权重w3而获得的值“b*w3”可以被映射到输出数据450的第二像素452，并且第二像素452的值可以被确定为a*w5+b*w3。

以这种方式，可以执行去卷积操作，并且作为去卷积操作的结果，可以输出具有经提高的尺寸(分辨率)的图像。

回到图3，由去卷积产生的第二特征图320的大小(分辨率)可以是第一特征图310的大小(分辨率)的m倍。如图3所示，第一图像330可以表示通过考虑显示器的尺寸和布置在显示器中的子像素的位置的第一特征图310中的一者(以下称为第一特征图)，并且第二图像340可以表示通过考虑显示器的尺寸和布置在显示器中的子像素的位置的第二特征图320中的一者(以下称为第二特征图)。第二特征图的实际尺寸(分辨率)可以是第一特征图的尺寸(分辨率)的m倍。

例如，对于包括r、g和b的第一区域350，第一像素值331可以是包括在第一特征图中的值，而其它第二到第九像素342、343、344、345、346、347、348和349可以是基于包括在第一特征图中的像素值通过去卷积生成的值。因此，第二特征图的实际尺寸(分辨率)可以是第一特征图的尺寸(分辨率)的3倍。

返回参考图2，池化算子230可以基于布置在显示器中的子像素的位置信息215对放大的第二特征图执行池化操作。因此，池化算子230可以为每个子像素生成特征图。例如，当子像素包括第一子像素，第二子像素和第三子像素时，池化算子230可以通过基于第一子像素的位置信息对第二特征图执行池化操作来生成用于第一子像素的第一子特征图。下面将参考图5详细描述。

图5是根据实施例的用于描述一种由图像处理设备执行池化操作的方法的参考图。

参照图5，第三图像500可以通过考虑子像素510、520和530在显示器中的位置来表示包括在从放大器220输出的第二特征图中的一些特征。

根据实施例的图像处理设备100可以基于子像素510、520和530的位置对第二特征图执行池化操作。例如，子像素可以包括第一子像素510(例如，蓝子像素)，第二子像素520(例如，红子像素)和第三子像素530(例如，绿子像素)。

图像处理设备100可以通过基于第一子像素至第三子像素510、520和530中的每一者的位置对第二特征图执行池化操作来为第一子像素至第三子像素510、520和530中的每一者生成子特征图。由于为第一子像素至第三子像素510、520和530中的每一者生成子特征图的方法是相同的，所以在下文中将仅描述为第一子像素510生成子特征图的方法。

图像处理设备100可以设置针对子像素的待生成子特征图的数量“k”，并且可以基于所设置的子特征图的数量“k”来设置单元区域540和550。图像处理设备100可以设置单元区域540和550，使得在包括在第二特征图中的特征(像素)中与第一子像素510具有高接近度的k个特征可以包括在一个单元区域中。在这种情况下，与第一子像素510的高接近度可以意味着到第一子像素510的距离很小。

例如，如图5所示，当k＝4时，单元区域可以被设置为使得在包括在第二特征图中的特征中与第一子像素510具有高接近度的四个特征可以被包括在一个单元区域540中。或者，当k＝12时，可以设置单元区域，使得在第三特征图中包括的特征中的与第一子像素具有高接近度的12个特征可以包括在一个单元区域550中。然而，本公开不限于此，并且可以以各种方式设置单元区域。

图像处理设备100可以将与每个单元区域中的第一子像素510具有相同相对位置的特征池化到一个子特征图中。

如图5所示，当k＝4时，图像处理设备100可以提取与单元区域541、542、543和544中的每一者中的第一子像素510具有第一位置关系(例如，位于左上方并且相对于第一子像素具有第一距离)的第一特征f1、f2、f3和f4，并且生成包括所提取的第一特征f1、f2、f3和f4的第一子特征图571。此外，图像处理设备100可以提取与单元区域541、542、543和544中的每一者中的第一子像素510具有第二位置关系(例如，位于右上方并且相对于第一子像素510具有第二距离)的第二特征f5、f6、f7和f8，并且生成包括所提取的第二特征f5、f6、f7和f8的第二子特征图572。此外，图像处理设备100可以提取与单元区域541、542、543和544中的每一者中的第一子像素510具有第三位置关系(例如，位于左下方并且相对于第一子像素510具有第三距离)的第三特征f9、f10、f11和f12，并且生成包括所提取的第三特征f9、f10、f11和f12的第三子特征图573。此外，图像处理设备100可以提取与单元区域541、542、543和544中的每一者中的第一子像素510具有第四位置关系(例如，位于右下方并且相对于第一子像素510具有第四距离)的第四特征f13、f14、f15和f16，并且生成包括所提取的第四特征f13、f14、f15和f16的第四子特征图574。

此外，以与上述相同的方式，根据实施例的图像处理设备100可以为第二子像素520生成四个子像素特征图(第二子特征图)，并且可以为第三子像素530生成四个子像素特征图(第三子特征图)。这样，根据实施例的图像处理设备100可以根据设置的k值为每个子像素生成k个子特征图。

回到图2，可以将每个子像素的k个子特征图输入到第二卷积算子240。此外，图像处理设备100可以基于对应于每个子特征图的接近度来确定输入到第二卷积算子240的子特征图的顺序(通道配置)或权重。下面将参考图6详细描述。

图6是根据实施例的用于描述一种由图像处理设备配置到第二卷积算子的通道输入的方法的参考图。

根据实施例的图像处理设备100可以将每个子像素的k个子特征图输入到第二卷积算子240。在这种情况下，图像处理设备100可以基于与对应于每个子特征图的子像素的接近度来确定子特征图的输入顺序。

例如，如图6所示，第一子特征图610可以是包括与单元区域650中的第一子像素660具有第一位置关系的第一特征f1的特征图，并且在这种情况下，第一特征f1可以具有距第一子像素660的第一距离d1。此外，第二子特征图620可以是包括与单元区域650中的第一子像素660具有第二位置关系的第二特征f2的特征图，并且在这种情况下，第二特征f2可以具有距第一子像素660的第二距离d2。此外，第三子特征图630可以是包括与单元区域650中的第一子像素660具有第三位置关系的第三特征f3的特征图，并且在这种情况下，第三特征f3可以具有距第一子像素660的第三距离d3。此外，第四子特征图640可以是包括与单元区域650中的第一子像素660具有第四位置关系的第四特征f4的特征图，并且在这种情况下，第四特征f4可以具有与第一子像素660的第四距离d4。

根据实施例的图像处理设备100可以基于与对应于每个特征图的子像素的接近度(距离)来确定输入到第二卷积算子240的子特征图的通道顺序。图像处理设备100可以按照距离的升序来确定子像素映射的通道顺序。例如，图像处理设备100可以输入具有第二距离d2的第二子像素映射620作为第一通道，以及具有第一距离d1的第一子像素映射610作为第二通道，具有第四距离d4的第四子像素映射640作为第三通道，以及具有第三距离d3的第三子像素映射630作为第四通道。在这种情况下，第一距离和第四距离可以彼此相等，具有第四距离d4的第四子像素映射640可以被输入作为第二通道，并且具有第一距离d1的第一子像素映射610可以被输入作为第三通道。

此外，根据实施例的图像处理设备100可以基于对应于每个子特征图的子像素的接近度(距离)来确定应用于子特征图的权重。

随着到子像素的距离减小，图像处理设备100可以确定应用于子特征图的更大的加权值。例如，如图6所示，1/d2的权重可以被应用于第二子特征图620，1/d的权重可以被应用于第一子特征图610，1/d4的权重可以被应用于第四子特征图640，以及1/d3的权重可以被应用于第三子特征图630。然而，本公开不限于此，并且图像处理设备100可以以各种方式确定应用于子特征图的权重值。

再参考图2，第二卷积算子240可以在每个输入子像素的k个子特征图与第三核之间执行卷积操作。因此，第二卷积算子240可以为每个子像素生成结果图像。例如，第二卷积算子240可以通过在第一子像素的k个第一子特征图和第三核之间执行卷积操作来生成针对第一子像素的第一结果图像(例如，红色(n×n))。第一结果图像可以是包括第一子像素的最终输出值的图像，但不限于此。此外，第二卷积算子240可以以与上述相同的方式针对第二子像素和第三子像素生成结果图像(第二结果图像(例如，绿色(n×n))和第三结果图像(例如，蓝色(n×n))。

图像处理设备100可以基于第一结果图像至第三结果图像生成最终输出图像(例如，rgb输出(n×n))。

图7至图9是根据实施例的用于描述一种训练深度神经网络的方法的图。

参照图7，根据实施例的深度神经网络200可以由多个训练数据集来训练。在这种情况下，训练数据集可以包括输入图像数据710和标签数据720。标签数据720可以是尺寸为mn×mn的高分辨率图像数据，输入图像数据710可以是尺寸为n×n的低分辨率图像数据；然而，本公开不限于此。

根据实施例的输入图像数据710可以是基于标签数据720生成的数据。

根据实施例的图像处理设备100可以将输入图像数据710输入到深度神经网络200，并且深度神经网络200可以输出通过处理输入图像数据710获得的图像数据730(输出图像数据)。

根据实施例的图像处理设备100可以从输出图像数据730生成虚拟图像数据740。虚拟图像数据740可以是基于通过使用输出图像数据730确定的子像素值，通过再现在显示器上显示图像时在观看距离处识别的图像而获得的图像数据。

下面将参考图8来描述一种生成虚拟图像数据740的方法。

参照图8，深度神经网络200可以生成具有与输入图像数据710相同大小(n×n)的输出图像数据730。图像处理设备100可以基于输出图像数据730来确定布置在显示器中的子像素的值。例如，可以基于包括在输出图像数据730中的第一像素值810来确定第一子像素821(例如，红色像素)，第二子像素822(例如，绿色像素)和第三子像素823(例如，蓝色像素)的值。当确定子像素的值时，可以基于子像素的值来增加输出图像数据730的大小(分辨率)。例如，图像处理设备100可以基于子像素的值在第一像素810和第二像素820之间生成第五像素850，并且在这种情况下，可以基于位于第五像素850周围的子像素的值以及子像素和第五像素850之间的距离来确定第五像素值。通过使用该方法，图像处理设备100可以生成具有mn×mn(例如，m＝3)大小的虚拟图像数据740。然而，本公开不限于此，并且图像处理设备100可以以各种方式生成虚拟图像数据740。

此外，回到图7，根据实施例的图像处理设备100可以从标签数据720生成子像素渲染图像数据750(spr图像数据)。

下面将参照图9详细描述生成子像素渲染图像数据750的方法。

参照图9，图像处理设备100可以对标签数据720执行子像素渲染。图像处理设备100可以基于位于标签数据720中包括的像素值中的、子像素周围的像素值来确定子像素的值。例如，图像处理设备100可以基于包括在标签数据720中的第一像素值到第四像素值p1、p2、p3和p4来确定第一子像素910的值，并且基于第三像素值到第六像素值p3、p4、p5和p6来确定第二子像素920的值。此外，图像处理设备100可以基于第三像素值p3、第五像素值p5、第七像素值p7和第八像素值p8来确定第三子像素930的值。图像处理设备100可基于第一子像素到第三子像素910、920和930的值来确定一个像素值940。图像处理设备100可以通过使用所确定的像素值来重构图像数据，并且在这种情况下，所重构的图像数据750(spr图像数据)可以具有n×n的大小。然而，本公开不限于此，并且图像处理设备100可以以各种方式生成spr图像数据750。

再参考图7，图像处理设备100可以将标签数据720和大小为mn×mn的虚拟图像数据740从rgb颜色空间转换为yuv颜色空间，计算标签数据720的u分量值与虚拟图像数据740的u分量值之间的差(第一误差)，并计算标签数据720的v分量值与虚拟图像数据740的v分量值之间的差(第二误差)。在这种情况下，第一误差和第二误差可以对应于颜色误差。图像的u分量或v分量可以是影响图像中的色溢的元素，并且图像处理设备100可以训练深度神经网络200以最小化第一误差和第二误差，从而防止色溢。

此外，图像处理设备100可以将子像素渲染图像数据750和具有尺寸n×n的输出图像数据730从rgb颜色空间转换到yuv颜色空间，并且计算子像素渲染图像数据750的y分量值和输出图像数据730的y分量值之间的差(对应于亮度误差的第三误差)。图像的y分量可以是影响文本/边缘的细节(纹理表示)或混叠的元素，并且图像处理设备100可以训练深度神经网络200以最小化第三误差，以便改进细节并防止文本或边缘的混叠。

此外，图像处理设备100可以训练深度神经网络200以最小化总误差值，该总误差值等于第一误差，第二误差和第三误差之和，以便改善整体图像质量，例如防止色溢，改善细节，以及改善文本或边缘表示。例如，图像处理设备100可以将损失函数定义为第一误差、第二误差和第三误差的加权和，并且调整包括在深度神经网络200中的一个或多个核的权重，使得可以最小化损失函数。然而，本公开不限于此。

图10是示出根据实施例的一种操作图像处理设备的方法的流程图。

参照图10，根据实施例的图像处理设备100可以从第一图像生成第一特征图(s1010)。

例如，图像处理设备100可以通过执行第一图像和第一内核之间的卷积操作来生成第三特征图。在这种情况下，第一图像的大小可以是n×n，并且它可以包括多个通道。此外，第三特征图的大小可以是n×n，并且第三特征图的数量可以是f。

图像处理设备100可以通过放大第三特征图来生成具有增大的尺寸(分辨率)的第一特征图。例如，图像处理设备100可以通过在第三特征图和第二核之间执行去卷积操作来生成第一特征图。作为去卷积操作的结果产生的第一特征图可以大于第三特征图，并且第一特征图的大小可以是mn×mn。

图像处理设备100可以基于第一特征图和布置在显示器中的每个子像素的位置信息为每个子像素生成第二特征图(s1020)。

例如，图像处理设备100可以基于布置在显示器中的每个子像素的位置信息对第一特征图执行池化操作。因此，图像处理设备100可以为每个子像素生成子特征图。例如，当子像素包括第一子像素、第二子像素和第三子像素时，图像处理设备100可以通过基于第一子像素的位置信息对第一特征图执行池化操作来生成用于第一子像素的第一子特征图。

图像处理设备100可以基于与第一子像素的位置关系以及包括在第一特征图中的每一者中的特征来生成第一子特征图。例如，图像处理设备100可以设置单元区域，使得可以在一个单元区域中包括在第一特征图中包括的特征中的与第一子像素具有高接近度的k个特征。图像处理设备100可以将与每个单元区域中的第一子像素具有相同相对位置的特征池化到一个子特征图中，并针对第一子像素生成k个子特征图(第一子特征图)。本公开已经参照图5详细描述了这一点，因此为了简洁起见将省略其冗余描述。

图像处理设备100可以以与上述相同的方式针对第二子像素生成k个子特征图(第二子特征图)，并且针对第三子像素生成k个子特征图(第三子特征图)。

此外，根据实施例的图像处理设备100可以基于包括在第一子特征图的每一者中的特征以及与第一子像素的接近度来确定第一子特征图的每一者的权重。本公开已经参照图6详细描述了这一点，因此为了简洁起见将省略其冗余描述。同样，图像处理设备100可以确定第二子特征图和第三子特征图中的每一者的权重。

根据实施例的图像处理设备100可以基于第二特征图(第一到第三子特征图)来确定每个子像素的结果值(s1030)。

例如，图像处理设备100可以执行在经加权的第一子特征图和第三核之间的卷积操作，并且执行在经加权的第二子特征图和第四核之间的卷积操作。而且，图像处理设备100可以执行在第三子特征图和第五核之间的卷积操作。因此，图像处理设备100可以为第一子像素到第三子像素中的每一者生成结果图像(第一到第三结果图像)。图像处理设备100可以通过使用第一结果图像到第三结果图像来输出第二图像。

图11是示出根据实施例的一种图像处理设备的配置的框图。

参照图11，根据实施例的图像处理设备100可以包括处理器120和存储器130。

根据实施例，处理器120可以整体控制图像处理设备100。根据实施例，处理器120可以执行存储在存储器130中的一个或多个程序。

根据实施例，存储器130可以存储用于驱动和控制图像处理设备100的各种数据、程序或应用。存储在存储器130中的程序可以包括一个或多个指令。存储在存储器130中的应用或程序(一个或多个指令)可以由处理器120执行。

根据实施例，处理器120可以通过使用深度神经网络处理输入到深度神经网络的第一图像来输出第二图像。在这种情况下，深度神经网络可以是图2至图9所示和所述的深度神经网络。

例如，处理器120可以通过在第一图像和第一核之间执行卷积操作来生成第一特征图。在这种情况下，第一图像的大小可以是n×n，并且它可以包括多个通道。此外，第一特征图的大小可以是n×n，并且第一特征图的数量可以是f。

处理器120可以通过放大第一特征图来生成具有增大的尺寸(分辨率)的第二特征图。例如，处理器120可以通过在第一特征图和第二核之间执行去卷积操作来生成第二特征图。作为去卷积操作的结果产生的第二特征图的大小可以是mn×mn。

处理器120可以基于第二特征图和布置在显示器中的每个子像素的位置信息来针对每个子像素生成k个子特征图。例如，处理器120可以通过基于布置在显示器中的每个子像素的位置信息对第二特征图执行池化操作来针对每个子像素生成k个子特征图。本公开已经参照图5详细描述了这一点，因此为了简洁起见将省略其冗余描述。

根据实施例，处理器120可以基于子特征图来确定每个子像素的结果值。例如，处理器120可以通过在第一子像素的k个子特征图和第三核之间执行卷积操作来生成第一子像素的第一结果图像。此外，处理器120可以以与上述相同的方式针对第二子像素和第三子像素生成第二结果图像和第三结果图像。

根据实施例，处理器120可以通过使用第一结果图像到第三结果图像来输出第二图像。

图12是根据实施例的一种处理器的框图。

参照图12，根据实施例的处理器120可以包括网络训练器1210和图像处理器1220。

网络训练器1210可根据实施例通过使用多个训练数据集来训练深度神经网络。在这种情况下，训练数据集可以包括输入图像数据和标签数据。标签数据可以是尺寸为mn×mn的高分辨率图像数据，输入图像数据可以是尺寸为n×n的低分辨率图像数据；然而，本公开不限于此。此外，网络训练器1210可以通过使用标签数据来生成输入图像数据。

网络训练器1210可以通过将输入的图像数据输入到深度神经网络来获得输出图像数据。网络训练器1210可以从输出图像数据生成虚拟图像数据。虚拟图像数据可以是基于通过使用输出图像数据确定的子像素值通过再现在显示器上显示图像时在观看距离处识别的图像而获得的图像数据。由于已经参照图8详细描述了生成虚拟图像数据的方法，所以为了简洁起见，将省略对其冗余描述。

此外，网络训练器1210可以通过对标签数据进行子像素渲染来生成子像素渲染图像数据。由于已经参照图9详细描述了生成子像素渲染图像数据的方法，所以为了简洁起见，将省略其冗余描述。

网络训练器1210可以根据实施例，基于标签数据和尺寸为mn×mn的虚拟图像数据中的u分量值和v分量值的差值，以及子像素渲染图像数据和尺寸为n×n的输出数据中的分量值y的差值来训练深度神经网络。本公开已经参考图7至9详细描述了训练深度神经网络的方法，为了简洁起见，将省略其冗余描述。

网络训练器1210可以将经过训练的网络(例如，深度神经网络)存储在图像处理设备的存储器中。或者，网络训练器1210可以将经过训练的网络存储在通过有线或无线网络连接到图像处理设备的服务器的存储器中。

存储经过训练的网络的存储器还可以存储例如与图像处理设备100的至少一个其它组件有关的命令或数据。此外，存储器可以存储软件和/或程序。程序可以包括例如内核，中间件，应用程序编程接口(api)和/或应用程序(或“应用”)。

图像处理器1220可以通过使用由网络训练器1210训练的深度神经网络来处理输入的第一图像。例如，图像处理器1220可以通过使用经过训练的深度神经网络来提取关于第一图像的特征信息，并且基于所提取的特征信息和布置在显示器中的子像素的位置信息来执行子像素渲染。因此，图像处理器1220可以执行适应于第一图像的特性的子像素渲染。

同时，图12的网络训练器1210和图像处理器1220中的至少一个可以以硬件芯片的形式制造并安装在图像处理设备100上。例如，网络训练器1210和图像处理器1220中的至少一个可以被制造成用于人工智能(ai)的专用硬件芯片的形式，或者可以被制造成通用处理器(例如，中央处理单元(cpu)或应用处理器)或图形处理器(例如，图形处理单元(gpu))的一部分并安装在上述各种图像处理设备上。

在这种情况下，网络训练器1210和图像处理器1220可以安装在一个图像处理设备上或者安装在相应的独立图像处理设备上。例如，网络训练器1210和图像处理器1220中的一者可以被包括在图像处理设备中，而另一者可以被包括在服务器中。

此外，网络训练器1210和图像处理器1220中的至少一者可以实现为软件模块。当网络训练器1210和图像处理器1220中的至少一者被实现为软件模块(或包括指令的程序模块)时，软件模块可以被存储在非暂时性计算机可读记录介质中。此外，在这种情况下，至少一个软件模块可以由操作系统(os)提供或者可以由某个应用程序提供。或者，至少一个软件模块中的一些软件模块可以由操作系统(os)提供，而其它软件模块可以由某个应用程序提供。

同时，图11和图12所示的图像处理设备100和处理器120的框图是针对本公开的实施例的框图。可以根据实际实现的图像处理设备100的规范来集成、添加或省略框图的每个组件。也就是说，当需要时，可以将两个或更多个组件组合成一个组件，或者可以将一个组件分成两个或更多个组件。此外，由各个块所执行的功能是用于描述实施例，其特定操作或设备不限制本公开的范围。

根据实施例的图像处理设备的操作方法可以通过以程序命令的形式实现而被存储在计算机可读记录介质中，该程序命令可以由各种计算机装置执行。计算机可读记录介质可以包括单独或组合的程序指令、数据文件和数据结构。记录在计算机可读记录介质上的程序命令可以是为本公开内容特别设计和配置的，或者可以是本领域普通技术人员已知和可用的。计算机可读记录介质的示例包括诸如硬盘、软盘和磁带的磁介质，诸如cd-rom和dvd的光介质，以及诸如光软盘的磁光介质，以及特别配置成存储和执行程序指令的诸如rom、ram和闪存的硬件装置。程序指令的示例不仅可以包括由编译器生成的机器语言代码，还可以包括可以由计算机通过使用解释器等来执行的高级语言代码。

此外，根据所述实施例的图像处理设备及其操作方法可以被包括在计算机程序产品中并被提供在其中。计算机程序产品可以作为卖方和买方之间的产品进行交易。

计算机程序产品可以包括s/w程序和其中存储有s/w程序的计算机可读存储介质。例如，计算机程序产品可以包括通过电子设备或电子市场(例如googleplaystore和appstore)的制造商电子分发的s/w程序(例如，可下载应用程序)形式的产品。对于电子分发，可以将s/w程序的至少一部分存储在存储介质中，或者可以临时生成s/w程序的至少一部分。在这种情况下，存储介质可以是制造商的服务器的存储介质，电子市场的服务器，或者用于临时存储s/w程序的中继服务器。

在包括服务器和客户端设备的系统中，计算机程序产品可以包括服务器的存储介质或客户端设备的存储介质。或者，当存在通信地连接到服务器或客户端设备的第三设备(例如，智能电话)时，计算机程序产品可以包括第三设备的存储介质。或者，计算机程序产品可包括s/w程序本身，其从服务器传输到客户端设备或第三设备，或从第三设备传输到客户端设备。

在这种情况下，服务器、客户端设备和第三设备中的一者可以执行计算机程序产品以执行根据所述实施例的方法。或者，服务器、客户端设备和第三设备中的两者或更多者可以执行计算机程序产品，以便以分布式方式执行根据所述实施例的方法。

例如，服务器(例如，云服务器或人工智能(ai)服务器)可以执行存储在服务器中的计算机程序产品，以控制通信地连接到服务器的客户端设备执行根据所述实施例的方法。

尽管上面已经详细描述了实施例，但是本公开的范围不限于此，并且本领域普通技术人员通过使用在以下权利要求中限定的本公开的基本概念所进行的各种修改和改进也包括在本公开的范围内。