图像处理模块的制作方法

本发明涉及图像处理模块，并且更具体地，涉及改善使用透射穿过显示面板的光生成的图像数据中的图像质量劣化现象的图像处理模块、摄像装置模块、图像处理方法、使图像传感器和图像预处理模块对图像传感器模块和ap模块的影响最小化的图像处理模块、以及摄像装置设备。

背景技术：

1、对于使用智能电话进行个人直播、观看电视或观看各种内容，为了以视觉敏锐度和专注度沉浸式观看视频，将摄像装置隐藏在显示器内部，并且整个正面被设计有全面屏。嵌入显示器内部的摄像装置被称为屏下摄像装置(under display camera)，并且通常被称为udc。图像质量由于显示面板而劣化，并且正在尝试改善图像质量。由于显示面板引起的摄像装置图像质量的劣化似乎引起了各种问题。

2、通常，光量急剧下降，并且当使用高增益来弥补时，会产生噪声，但是为了去除该噪声，利用ap中的isp或sw进行处理将使图像模糊。另外，由于显示面板的图案，其可能导致比现有的常规摄像装置更严重的各种问题，例如模糊、有雾(衍射重影)、反射重影、耀斑等。

3、正在开发各种技术以将图像质量水平提高到普通摄像装置的图像质量水平。虽然在最终智能电话阶段的isp处理可以改善基本光强度和发黄现象，但是不是容易改善其他现象并且难以快速处理，因此在实时性能重要的摄像装置模式(例如视频通话和个人直播等)中存在图像处理延迟的问题。

4、另外，在使用智能电话摄像装置拍摄逼真图像并显示图像时，分辨率随着显示技术的进步而逐渐提高，并且自然地，对超高分辨率和图像质量改善的需求也在增加。使传感器满足这些要求的行业将dslr的各种传感器技术引入移动设备，以实现高达48m的高分辨率，同时已经尝试了利用sw算法实现超分辨率，以在电视中实现生动的图像质量。另外，正在开发变焦功能，以实现更宽的视角并且拍摄更远对象的细节。

5、虽然存在利用硬件的光学变焦的方法，但是硬件结构复杂，并且由于添加了这些部件，价格增加是不可避免的。另外，使用光学器件，可以变焦的区域受到限制，因此正在开发利用软件来处理该区域。另外，正在进行各种尝试以使用相同传感器创建高分辨率图像。

6、存在通过移动硬件部件以生成更多像素信息来产生更高分辨率的技术，例如使用vcm或mems技术摇动传感器的传感器移位技术、通过利用vcm摇动透镜来获得像素信息的ois技术、将滤光器在传感器与透镜之间摇动的技术等。

7、这种技术的缺点是，由于合成了若干视差的数据，因此当拍摄移动对象时会出现诸如运动模糊的伪像，这是使图像质量劣化的致命问题。另外，通过采用用于实现这种技术的复杂硬件结构，摄像装置模块的尺寸增加，并且由于这种技术是使部件摇动的方法，因此存在以下限制：这种技术是能够在静止环境中使用的受限制技术，因为这种技术难以用于车辆摄像装置中。

8、另外，随着人工智能技术的发展，正在进行将人工智能技术用于图像处理的研究，但是人工智能技术尚未针对诸如摄像装置的特定产品进行优化，并且由于人工智能技术是非常昂贵的ap，因此其仅可以应用于智能电话中的高端型号。

9、为了应用于高端分类之外的型号，由于需要使用低成本ap，并且所得的s/w处理应当被简化，因此无论摄像装置多好，ap都难以接收这种高规格的摄像装置数据并以各种方式进行处理。如果与摄像装置传感器分开地添加具有预处理功能的芯片，则可以减少对传感器的依赖，但是由于mipi接口嵌入了两次，因此就整个传感器和芯片而言，存在价格和尺寸增加的问题。

技术实现思路

1、[技术主题]

2、本发明要解决的技术问题是提供用于改善使用透射穿过显示面板的光生成的图像数据中的图像质量劣化现象的图像处理模块、摄像装置模块和图像处理方法。

3、本发明要解决的另一技术问题是提供用于改善使用透射穿过显示面板的光生成的图像数据中的图像质量劣化现象的图像处理方法和图像传感器。

4、本发明要解决的又一技术问题是提供使图像预处理模块对图像传感器模块和ap模块的影响最小化的摄像装置设备和图像处理模块。

5、[技术解决方案]

6、为了解决以上技术问题，根据本发明的实施方式的图像处理模块的特征在于，包括：输入单元，其用于接收使用透射穿过显示面板的光生成的第一图像数据；以及深度学习神经网络，其用于根据第一图像数据输出第二图像数据，其中，第二图像数据是去除了噪声中的至少一部分噪声的图像数据，该噪声是当光透射穿过显示面板时发生的图片质量劣化现象。

7、另外，噪声可以包括低强度、模糊、有雾(衍射重影)、反射重影、颜色分离、耀斑、条纹图案和发黄现象中的至少一种。

8、另外，输入单元可以从设置在显示面板下方的图像传感器接收第一图像数据。

9、另外，第一图像数据和第二图像数据可以具有不同的噪声水平。

10、另外，深度学习神经网络的训练集可以包括：使用透射穿过显示面板的光生成的第一图像数据，以及使用不透射穿过显示面板的光生成的第二图像数据。

11、另外，第一图像数据和第二图像数据中的至少一个可以是拜耳图像数据。

12、另外，可以将第二图像数据输出至图像信号处理器。

13、为了解决以上技术问题，根据本发明的另一实施方式的图像处理模块的特征在于，包括：至少一个处理器；以及存储器，其用于存储由处理器处理的指令，其中，处理器根据存储在存储器中的指令接收使用透射穿过显示面板的光生成的第一图像数据，并且根据第一图像数据输出第二图像数据，并且其中，第二图像数据是去除了噪声中的至少一部分噪声的图像数据，该噪声是当光透射穿过显示面板时发生的图像质量劣化现象。

14、为了解决以上技术问题，根据本发明的实施方式的摄像装置模块的特征在于，包括以下部件并且被设置在显示面板下方：图像传感器，其用于使用透射穿过显示面板的光来生成第一图像数据；驱动器ic，其用于控制图像传感器；以及根据本发明的实施方式的图像处理模块。

15、另外，图像处理模块可以与驱动器ic形成为一个芯片。

16、另外，图像处理模块可以形成为与驱动器ic分开的芯片。

17、为了解决以上技术问题，根据本发明的实施方式的图像处理方法的特征在于，包括以下步骤：接收使用透射穿过显示面板的光生成的第一图像数据；以及使用经过学习的深度学习神经网络根据第一图像数据输出第二图像数据，其中，第二图像数据是去除了噪声中的至少一部分噪声的图像数据，该噪声是当光透射穿过显示面板时发生的图像质量劣化现象。

18、另外，深度学习神经网络的训练集可以包括：使用透射穿过显示面板的光生成的第一图像数据，以及使用不透射穿过显示面板的光生成的第二图像数据。

19、另外，可以从设置在显示面板下方的图像传感器输入第一图像数据，并且可以将第二图像数据输出至图像信号处理器。

20、为了解决另一技术问题，根据本发明的实施方式的图像传感器包括：图像感测单元，其用于使用透射穿过显示面板的光来生成第一图像数据；深度学习神经网络，其用于根据第一图像数据输出第二图像数据；以及输出单元，其用于将第二图像数据输出至外部，其中，深度学习神经网络根据输出单元的输出格式输出第二图像数据。

21、另外，包括对齐单元，该对齐单元用于通过分解或重新布置第一图像数据的至少一部分来输出第三图像数据，其中，深度学习神经网络可以根据第三图像数据输出第二图像数据。

22、另外，对齐单元可以根据输出单元的输出格式输出第三图像数据。

23、另外，第二图像数据可以是去除了噪声中的至少一部分噪声的图像数据，该噪声是当光透射穿过显示面板时发生的图像质量劣化现象。

24、另外，噪声可以包括低强度、模糊、有雾(衍射重影)、反射重影、颜色分离、耀斑、条纹图案和发黄现象中的至少一种。

25、另外，可以将图像感测单元设置在显示面板下方。

26、另外，深度学习神经网络的训练集可以包括：使用透射穿过显示面板的光生成的第一图像数据，以及使用不透射穿过显示面板的光生成的第二图像数据。

27、另外，第一图像数据和第二图像数据中的至少一个可以是拜耳图像数据。

28、另外，输出单元可以将第二图像数据输出至图像信号处理器。

29、为了解决以上技术问题，根据本发明的另一实施方式的图像传感器的特征在于，包括：像素阵列，其用于接收透射穿过显示面板的光；第一处理器和第二处理器；以及存储器，其用于存储由第一处理器或第二处理器处理的指令，其中，第一处理器根据存储在存储器中的指令，使用像素阵列的输出生成第一图像数据，其中，第二处理器根据存储在存储器中的指令，根据第一图像数据输出第二图像数据，并且其中，第二图像数据是去除了噪声中的至少一部分噪声而输出并且根据输出格式输出的图像数据，该噪声是当光透射穿过显示面板时发生的图片质量劣化现象。

30、为了解决以上技术问题，根据本发明的实施方式的图像处理方法的特征在于，包括以下步骤：使用透射穿过显示面板的光生成第一图像数据；以及使用经过学习的深度学习神经网络根据第一图像数据输出第二图像数据，其中，第二图像数据是去除了噪声中的至少一部分噪声并且根据通信格式输出的图像数据，该噪声是当光透射穿过显示面板时发生的图片质量劣化现象。

31、另外，包括以下步骤：通过分解或重新布置第一图像数据的至少一部分来输出第三图像数据，其中，输出第二图像数据的步骤可以根据第三图像数据输出第二图像数据。

32、另外，可以将第二图像数据输出至图像信号处理器。

33、为了解决又一技术问题，根据本发明的实施方式的图像处理模块包括：第一连接器，其连接至图像传感器模块并接收第一图像数据；深度学习神经网络，其用于根据通过第一连接器接收的第一图像数据输出第二图像数据；以及第二连接器，其连接至应用处理器(ap)模块并输出第二图像数据。

34、另外，可以在图像传感器模块与ap模块之间形成桥接。

35、另外，可以被设置在与图像传感器模块和ap模块中的至少一个相同的基板上。

36、另外，可以被设置成与图像传感器模块或ap模块间隔开。

37、另外，可以将图像传感器模块设置在显示面板下方。

38、另外，第一图像数据是使用透射穿过显示面板的光生成的图像数据，并且第二图像数据可以是去除了噪声中的至少一部分噪声的图像数据，该噪声是当光透射穿过显示面板时发生的图像质量劣化现象。

39、另外，噪声可以包括低强度、模糊、有雾(衍射重影)、反射重影、颜色分离、耀斑、条纹图案和发黄现象中的至少一种。

40、另外，深度学习神经网络的训练集可以包括：使用透射穿过显示面板的光生成的第一图像数据，以及使用不透射穿过显示面板的光生成的第二图像数据。

41、另外，第一图像数据是具有第一分辨率的图像数据，并且第二图像数据可以是具有第二分辨率的图像数据。

42、另外，第一分辨率可以高于第二分辨率。

43、另外，深度学习神经网络的训练集可以包括具有第一分辨率的第一图像数据和具有第二分辨率的第二图像数据。

44、另外，第一图像数据和第二图像数据中的至少一个可以是拜耳图像数据。

45、为了解决以上技术问题，根据本发明的实施方式的摄像装置设备包括：图像传感器模块，其用于生成第一图像数据；图像处理模块，其包括深度学习神经网络，该深度学习神经网络用于从图像传感器接收第一图像数据并且根据第一图像数据输出第二图像数据；以及应用处理器(ap)模块，其用于从深度学习神经网络接收第二图像数据并且根据第二图像数据生成图像，其中，图像处理模块通过包括连接至图像传感器的第一连接器和连接至ap模块的第二连接器来连接在图像传感器与ap模块之间，并且与图像传感器和ap模块中的至少一个设置在相同的基板上以彼此间隔开。

46、[有益效果]

47、根据本发明的实施方式，可以改善使用透射穿过显示面板的光生成的图像数据中的图像质量劣化。另外，通过使用hw加速器，可以在实时运行的同时以低功耗进行处理。通过在isp之前的预处理，低功耗和快速处理是可能的。其中大多数是多路复用hw，这是利用hw加速器容易进行优化的基于深度学习的技术。另外，通过仅使用少量的行缓冲器并且优化网络配置，可以制作成小的芯片。通过这样，可以根据使用目的以各种方式将安装的设备安装在各种位置，从而可以增加设计的自由度。另外，由于不需要昂贵的处理器来执行传统的深度学习算法，因此可以更经济地产生高分辨率图像。可以通过将优化参数从外部发送至芯片来更新优化参数，并且也可以通过将优化参数存储在芯片内部来将其实现为黑匣子，使得从外部无法知道它们。通过利用拜耳数据进行处理，可以通过利用拜耳数据的线性特性和数据处理量进行优化。

48、另外，通过以桥接的形式插入到摄像装置(cis，摄像装置图像传感器)与ap之间的连接部中，可以减少摄像装置与ap之间的尺寸问题或设计问题，并且还可以减少摄像装置与ap之间的发热问题。虽然由于摄像装置内部的尺寸而存在芯片设计约束，但是由于在ap周围存在相对自由的空间，因此在添加至连接部时，减少了芯片尺寸约束，从而减少了芯片设计约束。另外，当与摄像装置分开时，由于摄像装置制造商也单独管理缺陷，因此可以降低f成本。

49、另外，由于与传感器的集成，降低了mipi ip的成本，从而降低了模块的总成本，并且因此，可以以低成本向客户提供模块。另外，由于在芯片中共享传感器内部所共享的各种数据信息，因此也可以统一ap控制信号以用于通信，并且因此，也可以通过使用已经在传感器中的eeprom或闪存来节省存储器。传感器中还包括简单的isp功能，并且如果类似地控制这些功能并用于图像数据，则可以创建更多样化的深度学习图像数据库，从而可以提高最终性能。