图像显示设备、图像的处理方法及装置与流程

本发明涉及图像处理领域，具体而言，涉及一种图像显示设备、图像的处理方法及装置。

背景技术

在目前的消费类电子产品中，如笔记本、手机、平板电脑以及显示器中，显示和摄像功能都是必不可少的。在现有的设计中，摄像头是作为独立的部分存在的，这导致了产品的设计中必须考虑为摄像模块留出必须的空间。例如，所谓的“刘海屏”手机，就是这种现象的集中反映。

针对上述的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种图像显示设备、图像的处理方法及装置，以至少解决相关技术中图像显示设备屏幕空间利用率较低的问题。

根据本发明的一个实施例，提供了一种图像显示设备，包括：处理器和显示屏幕，其中，所述显示屏幕包括：基层，图像采集层和图像显示层，其中，所述图像采集层设置于所述基层之上，所述图像采集层用于采集第一图像，所述图像显示层设置于所述图像采集层之上，所述图像显示层用于显示第二图像；所述处理器与所述显示屏幕连接，所述处理器用于获取所述图像采集层采集的所述第一图像，并对所述第一图像进行图像处理得到所述第二图像，将所述第二图像发送给所述图像显示层进行图像显示。

可选地，所述图像采集层包括：一个或者多个图像传感器，所述一个或者多个图像传感器用于拍摄所述第一图像。

可选地，在所述图像采集层包括多个图像传感器的情况下，所述处理器用于将所述多个图像传感器拍摄的多个所述第一图像合成一个第三图像，并对所述第三图像进行图像处理得到所述第二图像，将所述第二图像发送给所述图像显示层进行图像显示。

可选地，所述显示屏幕为有机二极管oled屏幕。

根据本发明的另一个实施例，提供了一种图像的处理方法，包括：通过显示屏幕的图像采集层采集第一图像，其中，所述显示屏幕包括：基层，图像采集层和图像显示层，其中，所述图像采集层设置于所述基层之上，所述图像显示层设置于所述图像采集层之上；对所述第一图像进行图像处理得到第二图像；通过所述图像显示层显示所述第二图像。

可选地，通过所述显示屏幕的所述图像采集层采集所述第一图像包括：通过所述图像采集层所设置的多个图像传感器采集多个所述第一图像；对所述第一图像进行图像处理得到所述第二图像包括：将所述第一图像合成第三图像；对所述第三图像进行图像处理得到所述第二图像。

可选地，对所述第一图像进行图像处理得到所述第二图像包括：获取所述第一图像的数据显示区域采集到的第一数据和所述第一图像的垂直中断区域采集到的第二数据；使用所述第二数据对所述第一数据进行校准，得到所述第二图像。

根据本发明的另一个实施例，提供了一种图像的处理装置，包括：采集模块，用于通过显示屏幕的图像采集层采集第一图像，其中，所述显示屏幕包括：基层，图像采集层和图像显示层，其中，所述图像采集层设置于所述基层之上，所述图像显示层设置于所述图像采集层之上；图像处理模块，用于对所述第一图像进行图像处理得到第二图像；显示模块，用于通过所述图像显示层显示所述第二图像。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，图像显示设备的显示屏幕由下之上包括三层，基层、图像采集层和图像显示层，通过图像采集层采集第一图像，由处理器对采集到的第一图像进行处理得到第二图像，再由图像显示层显示第二图像，由于将图像采集层设置在显示屏幕的基层和图像显示层之间，在不影响图像显示层显示图像的同时能够减少对屏幕空间的占用，因此，可以解决相关技术中图像显示设备屏幕空间利用率较低的问题，达到提高图像显示设备屏幕空间的利用率效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的图像显示设备的结构框图；

图2是根据本发明可选的实施方式的图像显示设备的示意图；

图3是本发明实施例的一种图像的处理方法的移动终端的硬件结构框图；

图4是根据本发明实施例的图像的处理方法的流程图；

图5是根据本发明可选的实施方式的图像的处理方法的示意图；

图6是根据本发明实施例的图像的处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种图像显示设备，图1是根据本发明实施例的图像显示设备的结构框图，如图1所示，该图像显示设备包括：处理器12和显示屏幕14，其中，

显示屏幕14包括：基层142，图像采集层144和图像显示层146，其中，图像采集层144设置于基层142之上，图像采集层144用于采集第一图像，图像显示层146设置于图像采集层144之上，图像显示层146用于显示第二图像；

处理器12与显示屏幕14连接，处理器用于获取图像采集层144采集的第一图像，并对第一图像进行图像处理得到第二图像，将第二图像发送给图像显示层146进行图像显示。

可选地，在本实施例中，图像显示层由上至下可以但不限于包括：阴极、有机层和阳极。

通过上述装置，图像显示设备的显示屏幕由下之上包括三层，基层、图像采集层和图像显示层，通过图像采集层采集第一图像，由处理器对采集到的第一图像进行处理得到第二图像，再由图像显示层显示第二图像，由于将图像采集层设置在显示屏幕的基层和图像显示层之间，在不影响图像显示层显示图像的同时能够减少对屏幕空间的占用，因此，可以解决相关技术中图像显示设备屏幕空间利用率较低的问题，达到提高图像显示设备屏幕空间的利用率效果。

可选地，图像采集层包括：一个或者多个图像传感器，一个或者多个图像传感器用于拍摄第一图像。

在一个可选的实施方式中，图像采集和恢复的效果和图像传感器的面积直接相关。同等技术条件下，可以认为图像传感器的面积越大，采集到的有效信息越丰富。常规的摄像头中，受制于体积的大小，图像传感器是有限的。当图像传感器加入到oled屏的时候，理论上可以放置图像传感器的面积和多少，只和屏幕的尺寸相关。图2是根据本发明可选的实施方式的图像显示设备的示意图，如图2所示，图像传感器的放置方式可以有两种：整体式和多模块式。

可选地，在图像采集层包括多个图像传感器的情况下，处理器用于将多个图像传感器拍摄的多个第一图像合成一个第三图像，并对第三图像进行图像处理得到第二图像，将第二图像发送给图像显示层进行图像显示。

可选地，显示屏幕为有机二极管oled屏幕。

可选地，在本实施例中，oled液晶屏是通过对有机发光物加电压，实现自发光，达到画面显示的功能。基层的功能是用来支撑oled的屏幕，其他的层是透明或者透光的。利用oled屏的这个特性，可以把图像传感器放置在基层之上，实现图像的采集。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图3是本发明实施例的一种图像的处理方法的移动终端的硬件结构框图。如图3所示，移动终端30可以包括一个或多个(图3中仅示出一个)处理器302(处理器302可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器304，可选地，上述移动终端还可以包括用于通信功能的传输设备306以及输入输出设备308。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端30还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。

存储器304可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像的处理方法对应的计算机程序，处理器302通过运行存储在存储器304内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器304可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器304可进一步包括相对于处理器302远程设置的存储器，这些远程存储器可以通过网络连接至移动终端30。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端30的通信供应商提供的无线网络。在一个实例中，传输装置306包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置306可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述图像显示设备的图像的处理方法，图4是根据本发明实施例的图像的处理方法的流程图，如图4所示，该流程包括如下步骤：

步骤s402，通过显示屏幕的图像采集层采集第一图像，其中，显示屏幕包括：基层，图像采集层和图像显示层，其中，图像采集层设置于基层之上，图像显示层设置于图像采集层之上；

步骤s404，对第一图像进行图像处理得到第二图像；

步骤s406，通过图像显示层显示第二图像。

通过上述步骤，通过图像采集层采集第一图像，由处理器对采集到的第一图像进行处理得到第二图像，再由图像显示层显示第二图像，由于将图像采集层设置在显示屏幕的基层和图像显示层之间，在不影响图像显示层显示图像的同时能够减少对屏幕空间的占用，因此，可以解决相关技术中图像显示设备屏幕空间利用率较低的问题，达到提高图像显示设备屏幕空间的利用率效果。

可选地，在上述步骤s402中，可以通过图像采集层所设置的多个图像传感器采集多个第一图像。

可选地，在上述步骤s404中，可以将第一图像合成第三图像；对第三图像进行图像处理得到第二图像。

可选地，可以利用图像采集和显示过程中的有效数据显示(activeframedata)和垂直中断(verticalblanking)对采集到的第一图像进行校准。例如：在上述步骤s404中，获取第一图像的数据显示区域采集到的第一数据和第一图像的垂直中断区域采集到的第二数据；使用第二数据对第一数据进行校准，得到第二图像。

在一个可选的实施方式中，图5是根据本发明可选的实施方式的图像的处理方法的示意图，如图5所示，在图像显示中包含有效数据显示(activeframedata)和垂直中断(verticalblanking)。当需要进行图像采集的时候，在verticalblanking区域，通过阴极和阳极的电压控制，把oled屏幕的透光率调到最大。用这段时间内图像传感器采集到的数据，去校准在activeframe区域采集到的数据。以1920×1080p分辨率为例，刷新率是60hz，每一帧的时间是16.667ms。activeframe是1080行，verticalblanking是31行。当图像处理的时候，每16.667ms校准一次，在oled透光率最大的情况，有465us的时间去采集数据以帮助图像的校准。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种图像的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本发明实施例的图像的处理装置的结构框图，如图6所示，该装置包括：

采集模块62，用于通过显示屏幕的图像采集层采集第一图像，其中，显示屏幕包括：基层，图像采集层和图像显示层，其中，图像采集层设置于基层之上，图像显示层设置于图像采集层之上；

图像处理模块64，用于对第一图像进行图像处理得到第二图像；

显示模块66，用于通过图像显示层显示第二图像。

可选地，采集模块62用于：通过图像采集层所设置的多个图像传感器采集多个第一图像。

可选地，图像处理模块64用于：将第一图像合成第三图像；对第三图像进行图像处理得到第二图像。

可选地，图像处理模块64用于：获取第一图像的数据显示区域采集到的第一数据和第一图像的垂直中断区域采集到的第二数据；使用第二数据对第一数据进行校准，得到第二图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

下面结合本发明可选实施例进行详细说明。

本可选实施例将图像采集的功能集成到有机二极管(organiclight-emittingdiode，简称为oled)液晶显示屏幕中。在使用oled显示屏幕的产品中，通过oled完成图像的采集。不再需要独立的摄像头之类的存在。

oled液晶屏是通过对有机发光物加电压，实现自发光，达到画面显示的功能。基层的功能是用来支撑oled的屏幕，其他的层是透明或者透光的。利用oled屏的这个特性，可以把图像传感器放置在基层之上，实现图像的采集。

图像传感器可以放置在基层上，oled本身显示图像的光也会被传感器采集到。在做图像处理恢复数据的时候，需要将oled的影响排除掉。最终恢复的数据可以通过以下方式获得：

α＝θsample-β

其中，α：最终恢复的数据；θ：图像传感器采集的数据；β：oled屏上tcon发送的数据，也就是显示图像的影响。

当图像传感器是多模块放置情况下，各自对应屏幕显示的一部分，最终会得到一组数据。将这一组数据按照正太分布进行处理，最终可以恢复出透过oled屏幕采集到的图像。

α0＝θsample_0-βblock_0

α1＝θsample_1-βblock_1

……

αn＝θsample_n-βblock-n

将上述α0、α1……αn按照正太分布进行处理合成为α，即最终恢复的数据。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

s1，通过显示屏幕的图像采集层采集第一图像，其中，显示屏幕包括：基层，图像采集层和图像显示层，其中，图像采集层设置于基层之上，图像显示层设置于图像采集层之上；

s2，对第一图像进行图像处理得到第二图像；

s3，通过图像显示层显示第二图像。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

s1，通过显示屏幕的图像采集层采集第一图像，其中，显示屏幕包括：基层，图像采集层和图像显示层，其中，图像采集层设置于基层之上，图像显示层设置于图像采集层之上；

s2，对第一图像进行图像处理得到第二图像；

s3，通过图像显示层显示第二图像。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。