透明显示的控制器与相关控制方法与流程

本申请主张在2015年12月21日提出申请的美国临时专利申请第62/270,077号的权利，且上述美国专利申请以引用方式并入本文中。

技术领域

本发明与图像处理相关，具体来说，是关于一种透明度控制方法以及相关的进行透明显示的控制器。

背景技术：

随着技术的发展，开发了多种显示屏来满足使用的需要。传统的显示屏是不透明显示屏。关键的想法是在显示屏中使用光发射元件来显示图像。然而，由于传统的显示屏是不透明并且不具有光穿透性，使用者无法看到在传统显示屏之后的物体。

透明显示是一种透视显示(see-through display)，其允许使用者观看在透明显示屏上显示的图像以及在透明显示之后作为背景的图像。举例来说，透明显示可以使用液晶显示(liquid-crystal display，LCD)或者有机发光二极管(organic light-emitting diode，OLED)显示技术。针对不透明显示，已发展了多种图像以及视频处理技术，例如色彩增强、图像缩放、去燥、锐利度调整、运动去模糊。然而，由于在透明显示上的图像透明度，在透明显示上的图像渲染与在不透明显示上的图像渲染不同，并且也没有针对透明显示设计的具体的图像处理方法。

据此，需要一种透明度控制方法来增强在透明显示中的图像质量以及传输效率。

技术实现要素：

在后续的实施例中将与附图一同给出细节说明。

本发明的一个实施例提供一种控制器，用来产生在透明显示屏上渲染的输出图像，该控制器设置为：接收输入图像；依据与该透明显示屏相关的预定等式计算该输入图像中的每一像素的不透明度；依据与该输入图像的一个或者多个部分相关的透明度指示信息来决定该输入图像的一个或者多个部分的显示模式，其中该显示模式对应该输入图像的一个或者多个部分的透明度；以及依据该输入图像的一个或者多个部分的已决定的显示模式来获得要在该透明显示屏上显示的该输出图像。

本发明的另一实施例提供一种透明度控制方法，来控制在透明显示屏渲染的输出图像的透明度，该方法包含：接收输入图像；依据与该透明显示屏相关的预定等式计算该输入图像中的每一像素的不透明度；依据与该输入图像的一个或者多个部分相关的透明度指示信息来决定该输入图像的一个或者多个部分的显示模式，其中该显示模式对应该输入图像的一个或者多个部分的透明度；以及依据该输入图像的一个或者多个部分的已决定的显示模式来获得要在该透明显示屏上显示的该输出图像。

附图说明

图1是依据本发明的实施例的显示装置的区块示意图；

图2A是依据本发明的实施例的不透明曲线示意图；

图2B是依据本发明的实施例的输入图像的透明模式的α曲线的示意图；

图2C是依据本发明的实施例的输入图像的不透明模式的α曲线的示意图；

图3是依据本发明的实施例的区域适应性α控制的透明度控制方法的流程图；

图4是依据本发明的实施例的环境光适应性α控制的透明度控制方法的流程图；

图5是依据本发明的实施例的手-跟随功能的透明度控制方法的流程图；

图6是依据本发明的实施例的在透明模式与不透明模式之间切换的透明度控制方法的流程图；

图7是依据本发明的实施例的前景与背景α控制的透明度控制方法的流程图；

图8是依据本发明的实施例的同时使用多种透明度控制方法至显示装置的举例说明。

具体实施方式

如下所述的内容仅仅为了举例说明本发明的精神，而并非是本发明的限制条件。本发明的范围需参考权利要求书来决定。

图1是依据本发明的实施例的显示装置的方框示意图。如图1所示，显示装置100包含图像接收器110、显示处理器120、透明显示控制器130、控制器140、以及透明显示屏150。图像接收器110接收图像信号并且显示处理器120处理图像接收器接收到的图像信号。控制器140(例如一个微控制器)控制显示装置100中的所有元件。在一个实施例中，显示装置100进一步包含一个环境光传感器160，配置为侦测在显示装置100周围的环境光(例如环境光强度)。

在一些实施例中，图像接收器110包含一个或者多个图像传感器来捕获图像，这些图像传感器可以是互补金属氧化物半导体(comp lementary metal-oxide-semiconductor，CMOS)传感器或者电荷耦合装置(charge-coupled device，CCD)传感器，显示处理器120处理来自图像接收器110的图像。

在一些替代型实施例中，图像接收器110以有线或者无线方式从一个图像源(图中未显示)接收一个或者多个图像信号，并且传输这些图像信号至显示处理器120。信号以及/或者图像可能具有多种类型，这取决于接收到的图像信号的标准以及该显示装置100的设备类型。举例来说，图像接收器110可依据高清多媒体接口(HDMI)或者显示接口(DisplayPort interface)接收数字图像信号、经由RCA、S-视频、或者复合接口接收类比图像信号、或者从流服务器(图中未显示)接收图像数据封包流。

在一个实施例中，显示处理器120包含图像处理管道以及/或者视频处理管道，其设置为针对来自图像接收器110的图像信号进行执行相关的图像以及视频处理，并且显示处理器120输出处理的图像信号至透明显示控制器130。显示处理器120可以是芯片系统(system-on-chip，SoC)、应用特定集成电路(ASIC)、集成上述功能的现场-可编程门阵列(field-programmable gate array，FPGA)、或者图像处理板(image processing board)(未显示)，其中该图像处理板是通过将分别元件布置于印刷电路板(PCB)(未显示)来执行上述图像以及视频处理操作。

举例来说，由显示处理器120执行的上述图像与视频操作是针对传统的不透明显示的图像以及视频处理技术，例如图像编码与解码、视频编码与解码以及图像效果增强。显示处理器120的输出图像可通过不同的图像层组成、例如用户界面层、静态图像层、视频层、游戏图像层等等。透明显示控制器130执行一或者多个透明度控制方法至将从显示处理器120输出的图像，来产生输出图像。在一些实施例中，来自显示处理器120的输入图像可划分为不同的区域，例如UI区域、静态图像区域、视频区域、游戏区域等等，并且透明显示控制器130执行一或者多个透明度控制方法至输入图像的不同区域。透明度控制方法的具体细节将如下详述。为了简单描述，一个包含不同的区域的输出图像将在以下的实施例中描述。

透明显示屏150设置为显示来自透明显示控制器130的输出图像。在一些实施例中，透明显示控制器130可以是独立的集成芯片、特定应用集成芯片、或者是片上系统(SoC)。在一些实施例中，透明显示控制器130可集成至显示处理器120，该显示处理器120可是片上系统(SoC)。在一些实施例中，透明显示控制器130可集成至透明显示屏150的驱动芯片(未显示)。具体来说，透明显示控制器130可以是集成电路或者片上系统来控制透明显示屏150的渲染，并且因此透明显示屏150上渲染的图像的透明度被透明显示控制器130所控制。

在一个实施例中，透明显示控制器130可执行一些透明度控制功能至来自显示处理器120的输入图像，例如区域适应性α控制(area adaptive alpha control)、环境光适应性α控制(ambient light adaptive alpha control)、手-跟随(hand-follower)、透明与不透明模式切换控制、以及前景与背景α控制。举例来说，透明显示控制器130的输入图像的一个或多个部分可被用户设定为透明模式或者不透明模式。当透明显示控制器130的输入图像的一个特定部分设定为透明模式时，将在透明显示屏150上渲染的该输入图像的特定部分将变得更加透明。相反，当透明显示控制器130的输入图像的特定部分设定为不透明模式时，将在透明显示屏150上渲染的该输入图像的特定部分将变得更加不透明。

需要注意的是，如果使用8比特色彩深度，一个“透明”像素的亮度在每一个色彩通道上可以是255或者0。举例来说，如果透明显示屏150上显示的一个透明像素的亮度是255，随着该像素的亮度下降至0，其透明度也将逐步下降。相反，如果透明显示屏150上显示的一个透明像素的亮度是0，随着该像素的亮度上升至255，其透明度也将逐步提高。为了简单描述，在以下的实施例中，一个透明像素的亮度定义为255.

图2A是依据本发明的实施例的透明显示屏的一个不透明度曲线示意图。

在这个实施例中，在透明显示屏150上显示的图像的一个特定像素的不透明度可依据该透明显示屏150的预先测量的显示特性来估计。一个特定像素的不透明度可以使用如下的与透明显示屏150相关的预先定义的等式来估计：

不透明度＝f(R,G,B)； (等式1)

其中R、G以及B代表该特定像素的红、绿、蓝子像素的亮度。不透明度是一个0至1之间的分数值。举例来说，如图2A所示，当RGB图像中的特定像素的灰度级接近255时，该特定像素的不透明度接近0，即该特定像素是“透明的”。当RGB图像中的特定像素的灰度级接近0时，该特定像素的不透明度接近1，即该特定像素是“不透明的”，如图2A所示。需注意的是，在输入图像中的一个给定的像素的不透明度的计算可以通过预先定义的等式来获得，例如基于该给定像素的红、绿、蓝子像素的值的一个预先定义的查找表(例如等式1以及图2A)。在一些实施例中，不透明度查找操作可以在决定是否使用不透明模式还是透明模式之前执行。

如上所述，透明显示控制器130的输入图像的一个或者多个部分可以设定为透明模式或者不透明模式。更具体来说，将在透明显示屏150上渲染的该输入图像的一个或多个部分的透明度可通过一个α值来定义，该α值是一个0至1之间的分数值，其中透明显示控制器130分别设定第一α值以及第二α值至该输入图像的一特定部分的透明模式以及不透明模式。图2B是依据本发明的实施例的输入图像的透明模式的α曲线示意图。图2C是依据本发明的实施例的输入图像的不透明模式的α曲线示意图。

透明显示控制器130可计算来自显示处理器120的输入图像的一个或者更多部分的每一像素的不透明度，并且接着针对将在透明显示屏150上渲染的输入图像的一个或者多个部分的透明模式或者不透明模式来决定α值。如果由透明显示控制器130接收的输入图像的特定部分是设定为透明模式，透明模式的α曲线α1可表示如下：

其中a与b是预先定义的系数。计算的α曲线α1的范围是0至1之间。当在透明模式中该特定像素的不透明度接近1时，该特定像素的α值将增加，即变得更加透明。当在透明模式中该特定像素的不透明度接近0时，该特定像素的α值将减少，即变得更不透明，如图2B所示。更具体来说，对于图2B来说，等式(2)中的值α1成比例地不透明化。

如果该透明显示控制器130接收的输入图像的特定部分是设定为不透明模式，该不透明模式的α曲线α2可以表示为：

其中a与b是预先定义的系数。计算的α曲线α2的范围是0至1之间。当在不透明模式中该特定像素的不透明度接近1时，该特定像素的α值将减少，即变得更透明。当在不透明模式中该特定像素的不透明度接近0时，该特定像素的α值将增加，即变得更不透明，如图2C所示。更具体来说，对于图2C来说，等式(3)中的值α2成反比例地不透明化。

在一个实施例中，当使用不透明模式时，在输出图像的一特定像素在每一色彩通道的输出像素值可定义为:

Pout＝α1*total_trans+(1-α1)*P (等式4)

其中total_trans代表透明显示屏150的完全透明像素值(根据实施例不同类型为0或者255)。等式(4)可以视为针对透明模式的第一α公式。

当使用不透明模式时，一个特定像素在每一色彩通道的输出像素值可定义如下；

Pout＝α2*total_opaq+(1-α2)*P (等式5)

其中total_opaq代表透明显示屏150的完全不透明像素值(根据实施例不同类型为0或者255)。等式(5)可以视为针对不透明模式的第二α公式。

图3是依据本发明的实施例区域适应性α控制的透明度控制方法的流程图。如果可获得相似的结果，则各步骤不要求与图3相同的顺序执行。该方法可由透明显示控制器130实现，并简单描述如下：

在步骤S310，获得输入图像的区域设置信息。举例来说，透明显示控制器130可在输入图像定义透明与不透明选项。在一个实施例中，用户可手动设置由透明显示控制器130接收到输入图像的一特定部分是否应以透明模式渲染还是以不透明模式渲染于透明显示屏150。此外，也可以由软件来自动决定由透明显示控制器130所接收的输入图像的特定部分是否应以透明模式渲染还是不透明模式渲染。举例来说，透明显示控制器130的输入图像(即显示控制器120的输出图像)可包含用户界面(UI)、游戏区域、图像区域以及视频区域。输入图像的用户界面区域可保持不变，并且输入图像的游戏区域可定义为透明选项。由于用户想要在透明显示屏150上观看更“不透明”图像或者视频，输入图像的静态图像区域以及视频区域可定义为不透明部分。具体地，当输入图像的一个特定部分被透明显示控制器130定义为透明部分或者不透明部分，透明模式相关的α曲线(即第一α曲线)或者不透明模式相关的α曲线(即第二α曲线)将由透明显示控制器130应用至特定部份。

在步骤S320，输入图像的每一部分的每一像素的不透明度是依据针对透明显示屏150的预先定义的等式来计算。举例来说，预先定义的等式(例如等式1)可依据透明显示屏150的预先测量的显示特性来获得。

在步骤S330，依据透明模式的第一α曲线或不透明模式的第二α曲线，计算输入图像的每一部分的每一像素的α值。举例来说，透明模式的第一α曲线(即α1)如图2B所示，并且不透明模式的第二α曲线(即α2)如图2C所示。

在步骤S340，依据透明模式的第一α公式或不透明模式的第二α公式，计算输入图像的每一部分的每一像素的输出值。举例来说，透明模式的第一α公式可参考等式4，并且不透明模式的第二α公式可参考等式5。据此，可获得在透明显示屏上显示的输出图像。

图4是依据本发明的实施例的环境光适应性α控制的透明度控制方法的流程图。如果可获得相似的结果，则各步骤不要求与图4相同的顺序执行。该方法可由透明显示控制器130实现，并简单描述如下：

在步骤S410，显示装置100的环境光传感器获得指示在显示装置100周围的环境光等级的传感数据。举例来说，图1中的显示装置100的环境光传感器160侦测显示装置100附近的环境光(例如环境光等级)，并且提供指示在显示装置100附近的环境光等级的侦测传感数据至透明显示控制器130。

在步骤S420，来决定环境光等级是否高于第一阈值或者低于第二阈值。举例来说，步骤S420是由透明显示控制器130执行，来决定显示装置100周围的环境光是否太亮还是太暗。当显示装置100周围的环境光太亮或者太暗时，用户可能需要观看在透明显示屏150上的更加不透明的图像。

在步骤S430，当决定环境光等级低于第一阈值或者高于第二阈值时，由透明显示控制器130接收的输入图像的不透明模式被激活。需注意的是，当决定环境光等级在第一阈值与第二阈值之间时，输入图像将保持不变并且直接在透明显示屏150上显示。举例来说，第一阈值是针对黑暗场景定义，第二阈值是针对光亮场景定义。当环境光等级低于第一阈值时，其指示用户进入黑暗场景(例如室内空间)。当环境光等级高于第二阈值时，其指示用户进入光亮场景(例如在白日的户外空间)。当决定该环境光低于第一阈值或者高于第二阈值时，则指示用户进入了黑暗场景或者光亮场景，并且因此用户需要在透明显示屏150上观看更加“不透明”的图像。

在步骤S440，输入图像的每一像素的不透明度是依据等式1来计算。在一些实施例中，步骤S440不要求一定在步骤S430之后执行，并且步骤S440可以在步骤S410、S420、或S430之前执行。

在步骤S450，依据不透明模式的α曲线计算输入图像的每一像素的α值。举例来说，图2C中的α曲线α2(即等式3)可在步骤S450中使用。

在步骤S455，针对输入图像与先前图像中每一相同位置像素的α值，应用时间过滤器。举例来说，显示装置100可以是由用户携带的可移动装置。当用户从室内空间进入户外空间时，环境光等级将突然大幅增加。在这样的情况下，在透明显示屏150上渲染的图像将变得更加不透明，从而用户能够在户外环境下清楚地看见图像。在步骤S455中应用的时间过滤器使得在透明显示屏150上渲染的图像进行平滑地透明度变换，因此增强用户体验。在一些实施例中，步骤S455可以被省略。

在步骤S460,依据不透明模式的α公式(例如等式5)计算输入图像中的每一像素的输出值。

图5是依据本发明的实施例的手-跟随功能的透明度控制方法的流程图。在一个实施例中，透明显示屏150进一步与一个触摸屏(图1中未显示)集成，该触摸屏被设置为侦测在透明显示屏150上的触摸事件。触摸模组包含触摸控制器(未显示)，该触摸控制器能够报告当前触摸事件至透明显示控制器130，并且透明显示控制器130可依据来自触摸控制器的当前触摸事件的报告的状态执行相关的透明度计算。如果能提供相似的结果，则各步骤不要求与图5相同的顺序执行。该方法可由透明显示控制器130实现，并简单描述如下：

在步骤S510，从透明显示屏150的触摸控制器获得当前触摸事件的状态。举例来说，该状态可能指示用户按压他或她手/手指在透明显示屏150上的位置以及持续时间。

在步骤S520，决定使用者的手指是否触摸该透明显示屏150长于预定时间。如果决定用户的手指触摸透明显示屏150的时间长于预定时间，由透明显示控制器130接收的输入图像设定为不透明模式(步骤S525)。如果决定用户的手指触摸透明显示屏150的时间不长于预定时间，针对手-跟随的透明度控制方法结束。

在步骤S530，依据用户的手指的位置决定输入图像的处理区域。举例来说，该处理区域是输入图像的一部分，例如一个图标或者在触摸位置周围的局部区域。处理区域也可以是整个输入图像。

在步骤S540，输入图像的处理区域的每一像素的不透明度是依据针对透明显示屏150的预先定义的等式来计算，例如等式1。

在步骤S550，输入图像的处理区域的每一像素的α值是依据不透明模式的α曲线计算。举例来说，图2C所示的α曲线α2(即等式3)可以在步骤S550中使用。

在步骤S555，针对输入图像与先前图像中每一相同位置像素的α值，应用时间过滤器。相似地，在步骤S555中应用的时间过滤器使得在透明显示屏150上渲染的图像进行平滑地透明度变换，因此增强用户体验。在一些实施例中，步骤S555可以被省略.

在步骤S560，依据不透明模式的α公式(例如等式5)计算输入图像中的处理区域的每一像素的输出值。

图6是依据本发明实施例的针对由透明显示控制器130接收到的输入图像的一个或者多个部分在透明模式与不透明模式之间切换控制的透明度控制方法的流程图。在一实施例中，由透明显示控制器130接收到的输入图像的一个或者多个部分在透明模式与不透明模式之间可由用户来切换控制。举例来说，用户可敲击在透明显示屏150上显示的UI的软件按钮，或者按压显示装置100的硬件按钮来将要在透明显示屏150上渲染的输出图像在透明模式与不透明模式之间切换，该输出图像对应由透明显示控制器130接收的输入图像一或多个部分。在透明模式与不透明模式转换过程之间的输出图像应该被处理，从而用户能够体验平滑的转换。如果获得的结果相似，则所执行的步骤的顺序不要求与图6完全一致。该方法可使用透明显示控制器130来实现，并且简单总结如下。

在步骤S610，决定由透明显示控制器130所接收的图像的一或多个部分是否需要切换至透明模式或者不透明模式。如果透明显示控制器130决定输入图像的一或者多部分切换至透明模式，则执行步骤S620。如果透明显示控制器130决定输入图像的一个或者多个部分切换至不透明模式，则执行步骤S630。

步骤S622-S628与S632-S638分别专属于透明模式与不透明模式，并且可参考上述的实施例来描述在步骤S622-S628与S632-S638执行的操作。因此，步骤S622-S628与S632-S638的细节将省略。

图7是依据本发明的实施例的前景与背景α控制的透明控制方法的流程图。在一实施例中，显示处理器120可提供二元掩膜(binary mask)来指示图像的前景与背景至透明显示控制器130。因此，透明显示控制器130可执行特定的透明度操作至前景物体与背景物体。举例来说，用户可能需要前景物体更加不透明，而背景物体更加透明。

在步骤S710，指示输入图像的前景与背景的二元掩膜被接收。该二元掩膜包含针对输入图像的每一像素的一二元旗标，其中该二元旗标指示该像素是否属于前景或者背景。举例来说，当二元旗标是1时，指示该像素是背景像素。当二元旗标是0时，指示该像素是前景像素。

在步骤S720，轮廓平滑与羽化过程(contour-smoothing and feathering process)执行至二元掩膜。因此，从轮廓平滑与羽化过程获得在0至1之间的中间值，并且该中间值可使用至前景的轮廓。

在步骤S730，输入图像的每一像素的α值依据所处理的二元掩膜来计算或者获得。举例来说，在轮廓平滑与羽化过程之后，前景像素具有的α值接近0，并且背景像素具有的α值接近1。

在步骤S740，输入图像的每一像素的输出值是依据针对透明模式的α公式来计算，例如等式4。因此，由于背景像素具有的α值接近1，输入图像的背景变得更加透明。

需要注意的是，如上所述的在图3-7中描述的透明度控制方法可由透明显示控制器130分别使用也可以组合使用。

图8是依据本发明的实施例的在显示装置上同时使用多种透明度控制方法的流程图。如图8所示，假设显示装置100是智能手机，并且用户在他/她的手中握住显示装置100。智能手机捕获一街景，并且用户可观看在透明显示屏150上的先前图像。

举例来说，用户可轻敲在透明显示屏150上的区域810来获得放大区域820。当用户轻敲区域810时，可使用手-跟随功能的透明度控制方法，并且该区域810可设定为不透明模式。同时，需要用于控制智能手机的快门速度的用户界面850为不透明，并且因此可以使用区域α适应性控制的透明度控制方法。此外，由于智能手机是被街道上的用户手持，智能手机的环境光传感器可报告环境光等级至透明显示控制器130。因此，也可以使用环境光适应α控制的透明度控制方法。需注意，当激活放大视野时，用户可能依然可以通过透明显示屏150看到整个街道。

如上所述，提供了透明显示的多种透明度控制方法。依据与输入图像的一个或者多个部分相关的“透明度指示信息”，透明显示控制器130执行透明度控制至输入图像的一个或者多个部分。举例来说，由透明显示控制器130接收的输入图像的一个或者多个部分的显示模式(例如透明模式与不透明模式)是依据与输入图像的一个或者多个部分相关的透明度指示信息来决定。因此，可依据所决定的输入图像的一个或者多个部分的显示模式来获得将在透明显示屏150渲染的输出图像。

具体来说，在图3所示的实施例中，透明度指示信息可指示针对透明模式与不透明模式的输入图像的一个或者多个部分的区域设置(例如UI区域、游戏区域、图像区域、以及视频区域)信息。输入图像的区域设置信息可由软件设置提供。此外，输入图像的区域设置信息可使用用户设置来定义。

在图4的实施例中，透明度指示信息指示在显示装置周围的环境光等级是否低于第一阈值或者高于第二阈值。在图5的实施例中，透明度指示信息指示在透明显示屏上的侦测的触摸事件的(既可以是局部触摸区域，也可以是整个图像的全局区域)持续超过一预定时间的触摸位置。在图6的实施例中，透明度指示信息可指示设定透明显示控制器130的输入图像为透明模式还是不透明模式的模式切换信号(即通过软件或者硬件按钮产生)。在图7的实施例中，透明度指示信息可指示区分输入图像的前景与背景的二元掩膜，并且前景与背景也设置不同的α值。

有了透明度控制方法的帮助，透明显示的图像质量以及传输效率都可显著增强。

本发明通过上述实施例进行举例说明，本发明并非局限于上述举例说明。本发明应理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排。因此，本发明的权利要求书应该理解为涵盖本领域技术人员可了解的多种变型的实施方式与相似的安排的较广范围。