图像处理系统以及产生超分辨率影像的方法与流程

本申请所揭示内容是关于一种图像处理系统，尤其是关于一种产生超分辨率(super-resolution)影像的图像处理系统。

背景技术：

1、随着消费者对于电子装置所提供的视觉效果的期望越来越高，电子装置时常需要支持各种图像处理运算，例如三维(3d)场景绘图、超分辨率影像、高动态范围(highdynamic range，hdr)影像等。为提高图像处理的速度，电子产品时常是配备图形处理单元(graphics processing unit，gpu)或其他类型的图像处理器。当使用gpu进行特定类型的图像处理(如产生超分辨率影像)时，由于gpu可得到更多图形信息(如深度信息)，因此能够输出质量较高的超分辨率影像。然而，在此情况下，由于gpu所输出的影像相当大，因此gpu可能需要长时间占用大量的存储器以便将影像储存在存储器中，从而导致图像处理系统的硬件效率很差。因此，如何在维护影像质量的同时能够更有效率地处理影像，已成为待解决的问题。

技术实现思路

1、本申请的一实施例提供一种图像处理系统。图像处理系统包含第一处理单元及存储器。第一处理单元配置成接收包含复数个物体的三维场景、依据所述多个物体与视角之间的距离产生深度图、依据所述深度图绘制(render)从所述视角观察到的所述场景的正常分辨率影像、将深度信息附加到所述正常分辨率影像以产生正常分辨率影像层，并且输出所述正常分辨率影像层。所述正常分辨率影像层包含三个颜色信道和一个alpha信道，所述正常分辨率影像具有复数像素且每一像素的复数个颜色值储存在所述正常分辨率影像层的三个颜色信道中，且所述正常分辨率影像的所述多个像素的复数个第一深度值储存在所述正常分辨率影像层的alpha信道中。存储器配置成储存所述正常分辨率影像层。

2、本申请的另一实施例提供一种产生超分辨率影像的方法。所述方法包含由第一处理单元接收包含复数个物体的三维场景，由所述第一处理单元依据所述多个物体与视角之间的距离产生深度图，由所述第一处理单元依据所述深度图绘制从所述视角观察到的所述场景的正常分辨率影像，由所述第一处理单元将深度信息附加到所述正常分辨率影像以产生正常分辨率影像层，由所述第一处理单元输出所述正常分辨率影像层，其中，所述正常分辨率影像层包含三个颜色信道和一个alpha信道，所述正常分辨率影像具有复数个像素且每一像素的复数个颜色值储存在所述正常分辨率影像层的三个颜色信道中，所述正常分辨率影像的所述多个像素的复数个第一深度值储存在所述正常分辨率影像层的alpha信道中；由第二处理单元取出所述正常分辨率影像层，以及由所述第二处理单元依据至少所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值产生超分辨率影像。

3、由于本申请的实施例所提供的图像处理系统以及产生超分辨率影像的方法，可使用第一处理单元绘制正常分辨率影像，再将绘制影像过程所使用的深度信息附加到正常分辨率影像层，因此正常分辨率影像的颜色值和深度值这两者都会供给第二处理单元上运作的类神经网络模型而能产生质量较佳的超分辨率影像。此外，由于深度值附加到影像层中的alpha信道，因此无需额外的数据存取操作，因而也可改善系统的硬件效率。

技术特征：

1.一种图像处理系统，其特征在于，包括：

2.根据权利要求1所述的图像处理系统，其中所述第一处理单元是图形处理单元。

3.根据权利要求1所述的图像处理系统，其中，还包括第二处理单元，其配置成从所述存储器读取所述正常分辨率影像层，并且依据至少所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值产生超分辨率影像。

4.根据权利要求3所述的图像处理系统，其中在产生所述超分辨率影像之后，所述第二处理单元进一步产生包括三个颜色信道和一个alpha信道的超分辨率影像层，其中，

5.根据权利要求3所述的图像处理系统，其中所述第二处理单元是显示处理单元，其另配置成在显示设备显示所述超分辨率影像之前，依据所述显示设备的特性调整所述超分辨率影像的所述多个颜色值。

6.根据权利要求3所述的图像处理系统，其中所述第二处理单元是配置成用所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值作为输入数据以依据类神经网络模型产生所述超分辨率影像。

7.根据权利要求3所述的图像处理系统，其中所述第一处理单元进一步产生对应于所述正常分辨率影像的元数据文件，并将所述元数据文件储存在所述存储器中，且所述第二处理单元依据所述正常分辨率影像层中所储存的所述多个颜色值和所述多个第一深度值以及所述元数据文件来产生所述超分辨率影像。

8.根据权利要求1所述的图像处理系统，其中：

9.根据权利要求8所述的图像处理系统，其中每一个所述多个第一深度值的所述比特长度是8比特。

10.一种产生超分辨率影像的方法，其特征在于，包括：

技术总结
本申请揭露一种图像处理系统。图像处理系统包括第一处理单元和存储器。第一处理单元接收包括多个物体的三维场景、依据物体与视角之间的距离产生深度图、依据深度图绘制从视角观察到的场景的正常分辨率影像，并将深度信息附加到正常分辨率影像以产生正常分辨率影像层。正常分辨率影像层包括三个颜色信道和一个alpha信道，其中，正常分辨率影像的每一像素的多个颜色值是储存在正常分辨率影像层的三个颜色信道中，而且正常分辨率影像各像素的第一深度值是储存在正常分辨率影像层的alpha信道中。存储器用以储存所述正常分辨率影像层。

技术研发人员：姜志伟
受保护的技术使用者：英属维京群岛商烁星有限公司
技术研发日：
技术公布日：2024/1/14