电子装置和生成高清晰度图像的方法与流程

发明构思的实施例涉及一种电子装置，并且更具体地，涉及一种使用电子装置生成高清晰度图像的方法。

背景技术：

1、图像传感器可捕获对象的二维(2d)或三维(3d)图像。图像传感器使用响应于从对象反射的光的强度的光电转换元件来生成对象的图像。近来，随着互补金属氧化物半导体(cmos)技术的发展，使用cmos的cmos图像传感器已经被广泛地使用。图像传感器包括像素阵列，并且由于图像传感器用大量的像素来实现，所以像素阵列包括大量彩色像素。为了将从图像传感器输出的原始图像(raw image)转换为图案(诸如，rgb图像)，基于内插和/或外插的马赛克重排(remosaic)处理被执行。

2、图像传感器使用合并像素(merged pixel)和图像信号处理器(isp)操作功能以生成高清晰度图像。电子装置使用合并像素(诸如，四合一像素单元(tetra cell，或称为四像素合一单元、像素四合一单元)和四(q)单元来生成高清晰度图像。图像传感器执行的isp操作功能包括诸如，插值、自动白平衡调节、颜色校正和伽马校正的功能。

3、为了使图像传感器生成复杂图像(诸如，具有许多边缘的图像)作为高清晰度图像，图像传感器需要处理大量的信息。作为如上所述的用于处理大量的信息的方法之一，电子装置使用机器学习生成复杂图像作为高清晰度图像。电子装置使用例如人工神经网络生成高清晰度图像。人工神经网络(机器学习的子集)是机器学习算法的核心，并且包括一个输入层、一个或多个隐藏层和一个输出层。可生成高清晰度图像的机器学习技术被图像传感器或应用处理器(ap)执行。

4、然而，图像传感器中的机器学习花费长时间以生成高清晰度图像。此外，图像传感器的资源的缺乏可限制高清晰度图像的生成。

技术实现思路

1、发明构思的实施例提供一种通过在应用处理器中执行机器学习来生成高清晰度图像以减少生成图像所需的时间的方法和电子装置。

2、发明构思的实施例还提供一种在应用处理器中执行机器学习以确保图像传感器的资源的电子装置，以及一种生成高清晰度图像的方法。

3、根据发明构思的实施例，提供一种生成高清晰度图像的电子装置。所述电子装置包括：图像传感器，在接收到外部光时生成第一图像数据，基于第一图像数据生成第二图像数据，并且输出第一图像数据和第二图像数据；以及应用处理器，通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。

4、根据发明构思的另一实施例，提供一种生成包括图像传感器和应用处理器的电子装置的高清晰度图像的方法。所述方法包括：在接收到外部光时生成第一图像数据；基于第一图像数据生成第二图像数据；输出第一图像数据和第二图像数据；以及通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。

5、根据发明构思的另一实施例，提供一种存储指令的非暂时性计算机可读记录介质，所述指令实现生成高清晰度图像的方法。所述方法包括：在接收到外部光时生成第一图像数据；基于第一图像数据生成第二图像数据；输出第一图像数据和第二图像数据；以及通过使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。

技术特征：

1.一种电子装置，包括：

2.根据权利要求1所述的电子装置，其中，图像传感器通过基于第一图像数据执行图像信号处理器isp操作来生成第二图像数据。

3.根据权利要求2所述的电子装置，其中，isp操作包括：使用马赛克重排算法生成具有提高的分辨率的第二图像数据。

4.根据权利要求3所述的电子装置，其中，第二图像数据包括拜耳图案数据。

5.根据权利要求4所述的电子装置，其中，应用处理器将第二图像数据从拜耳图案数据转换为红色绿色蓝色rgb数据。

6.根据权利要求5所述的电子装置，其中，应用处理器基于自动曝光操作、自动对焦操作和自动白平衡操作中的至少一个是否被执行来确定是否对第二图像数据执行实时处理，并且当应用处理器确定对第二图像数据执行实时处理时，在不将深度学习应用于第一图像数据的情况下，将第二图像数据发送到图像传感器。

7.根据权利要求1所述的电子装置，其中，在接收到第一图像数据时，应用处理器通过确定第一图像数据中的至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域。

8.根据权利要求7所述的电子装置，其中，应用处理器生成第一图像数据的模糊度图，并且通过使用模糊度图来确定与第一图像数据对应的图像中的所述至少一个目标区域。

9.根据权利要求8所述的电子装置，其中，应用处理器通过使用机器学习算法基于第一图像数据来提高所述至少一个目标区域的分辨率。

10.根据权利要求9所述的电子装置，其中，应用处理器通过将与第一图像数据中的目标区域对应的数据插入到与第二图像数据中的目标区域对应的数据中来生成第三图像数据。

11.根据权利要求1所述的电子装置，其中，应用处理器接收第二图像数据，通过确定至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域，并且将所述至少一个目标区域的信息发送到图像传感器。

12.根据权利要求11所述的电子装置，其中，图像传感器接收所述至少一个目标区域的信息，并且基于接收的所述至少一个目标区域的信息来生成包括与所述至少一个目标区域的图像对应的数据的第一图像数据。

13.根据权利要求1至12中任一项所述的电子装置，其中，第一图像数据是q单元图像或四合一像素单元图像。

14.一种生成电子装置的高清晰度图像的方法，所述电子装置包括图像传感器和应用处理器，所述方法包括：

15.根据权利要求14所述的方法，其中，生成第二图像数据的步骤包括：通过对第一图像数据执行图像信号处理器isp操作来生成第二图像数据。

16.根据权利要求15所述的方法，其中，isp操作包括：使用马赛克重排算法生成具有提高的分辨率的第二图像数据。

17.根据权利要求14所述的方法，其中，输出第三图像数据的步骤包括：接收第一图像数据，并且通过确定至少一个目标区域中的分辨率应该被提高来确定所述至少一个目标区域。

18.根据权利要求17所述的方法，其中

19.根据权利要求18所述的方法，其中，生成第三图像数据的步骤包括：通过使用机器学习算法基于第一图像数据来提高所述至少一个目标区域的分辨率。

20.一种存储指令的非暂时性计算机可读记录介质，所述指令实现生成高清晰度图像的方法，其中，所述方法包括：

技术总结
提供一种电子装置和生成高清晰度图像的方法。所述电子装置包括：图像传感器，在接收到外部光时生成第一图像数据，基于第一图像数据生成第二图像数据，并且输出第一图像数据和第二图像数据；以及应用处理器，使用机器学习算法来提高与第一图像数据对应的图像的至少一个区域的分辨率，并且输出第三图像数据，第三图像数据包括第二图像数据的至少一部分和具有提高的分辨率的第一图像数据的至少一部分。

技术研发人员：李在城,李正局,宋成旭
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/1/13