具有照相机和屏幕的设备的制作方法

本发明涉及具有照相机和屏幕的设备。

背景技术：

人们为他们自己拍照并通过使用媒体共享平台把这些照片与其朋友分享变得越来越普通。在共享照片之前，某些用户常常通过使用诸如Photoshop那样的应用来处理照片，使其看起来更好。这例如可能涉及添加如美白、暖色调等那样的某些效果。通过以这种方式改进照片，人们对于自己的感觉更好，并且可能在社交上更活跃。

照片的这种处理是耗时的，并且不可能实时地共享照片或视频。例如，在进行视频聊天或视频会议时，所述处理不能实时地进行。

因此，存在一种能够以简化或避免图像处理和/或可以实时地进行处理的方式来增强图像的需要。

技术实现要素：

本发明由权利要求限定。

按照本发明的示例实施例，提供了一种设备，其包括：

照相机；

屏幕，其用于显示由照相机捕获的图像；

用户输入接口；以及

处理器，其中处理器适配于：

接收代表对于在示出某个情景的屏幕上显示的图像的所期望的修改的用户输入；以及

导出照明设备的所要求的光输出特性，以便改变对情景的照亮，使得随后捕获的图像反映所期望的修改。

这个设备使得用户能够规定所期望的图像外观（例如，根据可能受到诸如颜色或亮度那样的照明条件影响的参数），并且然后，设备计算用来照亮情景的光输出，使得随后的图像具有所期望的外观—甚至不需要任何图像处理。用户例如可以选择给出最有吸引力的图像的图像修改（例如，根据皮肤色调、在面部上皱纹的外观等等），以及随后的图像然后将趋向于给出那些所期望的图像属性。以这种方式，通过更改照明条件，避免了对于图像编辑的需要。这对于实况共享图像（诸如照片共享或使用便携式设备的视频会议应用）是特别有好处的。

代表所期望的修改的用户输入可以是各种各样的，例如，如上面和下面描述的，1）根据可能受到诸如颜色或亮度那样的照明条件影响的参数，2）从替换的修改的图像的集合中选择所期望的图像，3）口头地或文本地描述所期望的图像效果，如“我想要光使得我看起来更温和”、“我想有浪漫的氛围”、以及“请消除我脸上的皱纹”等等。

处理器可以基于用户输入产生所期望的修改的图像（并且可选地在屏幕上显示所期望的修改的图像），以及基于在捕获的图像与所期望的修改的图像之间的差，导出对于照明设备所要求的光输出特性，以改变对于情景的照亮，使得随后的捕获的图像更接近于所期望的修改的图像。

然而，产生所期望的修改的图像的步骤对于处理器来说并不是必要的步骤。处理器可以简单地基于用户输入，直接导出照明设备的所要求的光输出特性。例如，处理器具有预先存储的表或列表，其持有两个相关联的信息段：图像效果和相关联的光输出特性。

本发明因此提供智能照明系统，它可以自动复制处理的图像的用户规定的效果，并且然后，调整环境照明，以实时地重现所述效果。修改例如可以涉及到图像属性，诸如，色度、饱和度与亮度。

为了带来所期望的修改的图像，所要求的光输出特性可以被转换成LED驱动信号，诸如LED驱动电流。

用来提供光输出以照亮情景的照明设备可以是形成其中正使用该设备的区域的一部分的固定照明。在这种情形下，设备可以与固定照明进行通信，以实施照明条件的所期望的改变。

设备还可以包括照明设备。在这种情形下，设备本身提供所要求的照明。其因此可以在任何环境下被使用，以及该设备不需要控制外部照明单元。

处理器可以适配于接收标识修改的图像的集合中的所选图像的用户输入。

以这种方式，用户可以从某个集合中作出对于优选图像的简单选择，并且然后，照明条件可被修改，使得由照相机捕获的将来的图像近似于所期望的图像外观，或甚至可以与该所期望的图像外观相同。

处理器可以适配成导出在代表所选的修改的图像的度量与代表原始图像的度量之间的差，并且从所述差导出所要求的光输出。这个度量例如可以是形成修改的图像的所选面部区域的像素的平均RGB值。

通过处理差信号，所要求的照明条件可以通过简单的处理而导出。度量是提供照明条件的指示的测量。它例如可以从原始图像和所期望的修改的图像的RGB像素值导出。

例如，首先可以确定，从修改的图像的所选面部区域中被采样的像素的数目（Np）。为了导出所要求的照明参数，可以使用来自这些像素的RGB值。所导出的照明参数将取决于被分析的像素集合的大小Np。例如，在修改的图像与原始图像的每个像素的RGB值之间将存在偏移量。红、绿和蓝色偏移量的平均值然后可以被输出到照明系统，并且调整照明系统的那些颜色分量，以便发出带来所期望的照明效果的照明。

设备可包括便携式设备，诸如移动电话或平板装置，以及照明设备然后可包括便携式设备的照相机闪光灯。这提供了完全集成的和便携式的解决方案，使得实时图像共享可以在任何位置处实行。随后捕获的图像可以是静态的，或它们可以形成视频序列。这些图像例如可以是要在媒体共享平台上共享的照片或被用于在两个或更多个参加者之间的实况视频链路或会议的视频图像。

捕获的图像和随后捕获的图像优选地包括用户的面部。用户可能对于创建他们面部的所期望的面容是特别敏感的。

在这种情形下，处理器可被适配成：

执行面部识别功能；

导出代表对于图像的面部区域和对于所期望的修改的图像的面部区域的像素属性的度量；以及

从度量之间的差，导出光输出特性。

以这种方式，照明被定制成创建对于用户面部的图像的所期望的修改。

本发明还提供一种通过使用具有照相机和屏幕的设备而控制照明的方法，该方法包括：

通过使用设备的照相机捕获情景的图像；

把图像显示在设备的屏幕上；

接收代表对于所显示的图像的所期望的修改的用户输入；

导出照明设备的所要求的光输出特性，以改变对于情景的照亮，使得随后捕获的图像反映所期望的修改；以及

控制照明设备以输出所要求的光输出特性。

本发明还提供可从通信网下载的和/或存储在计算机可读的和/或微处理器可执行介质上的计算机程序产品，其特征在于，其包括程序代码指令，以用于当程序在计算机上运行时实施通过使用如以上定义的具有照相机和屏幕的设备而控制照明的方法。

本发明还提供了一种用于存储和包括如上定义的计算机程序产品的介质。介质可以是范围从易失性存储器到非易失性存储器的任何介质，诸如RAM、PROM、EPROM、存储棒或快闪驱动、或另一种非易失性存储装置，诸如硬盘或光学介质等等。

附图说明

现在将参照附图更详细地描述本发明的示例，在图中：

图1示出了按照一个实施例的设备；

图2用来解释第一操作方法；

图3用来解释第二操作方法；

图4更详细地示出了设备的第一示例；以及

图5更详细地示出了设备的第二示例。

具体实施方式

本发明提供了具有照相机和用于显示由照相机捕获的图像的屏幕的设备。用户规定对于在屏幕上显示的图像的所期望的修改，以便产生所期望的修改的图像。这可以例如使得用户看起来更有吸引力。照明设备然后被控制成使得通过使用新更改的照明而随后捕获的图像更接近于所期望的修改的图像。

照明可以由设备本身被提供，或其可以与设备分开。

图1示出了按照一个实施例的设备，其中照明由设备本身被提供，以及其中设备是便携式设备，诸如平板装置或移动电话。

便携式设备10包括照相机12（其透镜被示出）以及用于显示被照相机捕获的图像的屏幕14。提供具有照相机闪光灯16形式的照明设备，并且在本例中，其兼作为一般的恒定照亮源。设备具有用户输入接口，其可包括屏幕、按钮（其中之一被示为18）或其组合。

设备具有处理器，其接收代表对于示出情景的屏幕14上显示的图像所期望的修改的用户输入，以便产生所期望的修改的图像。导出照明设备16的光输出特性，以便改变对于情景的照亮，使得随后捕获的图像更接近于所期望的修改的图像。

图2用来解释第一操作方法。顶部示出了由用户拍摄的并且被显示在屏幕上的原始图像19。为了使得用户能够选择修改的版本，呈现了可替换的修改的图像20的集合，如在下方示出的。

这些修改的图像具有改变的参数，这些参数受诸如颜色或亮度那样的照明条件影响。这样的图像修改在图像处理应用中是众所周知的，以用于使得图像表现得更温暖、或更冰冷、或更明亮、或更暗、或具有不太饱和的颜色、或具有更饱和的颜色等等。

在这种情形下，修改的图像的集合对应于可通过控制环境光而获取的视觉效果的改变。例如，图像修改可以对应于从不同颜色的环境照明和/或不同的强度的环境照明导致的外观的改变。

这意味着，有可能通过改变环境照明而复制所期望的图像修改，使得不要求对随后的图像进行图像处理，以便于接近于所期望的图像修改。

用户选择修改的图像20中的所期望的一个修改的图像。设备然后计算与图像的像素属性有关的度量。在一个示例中，度量是来自图像的面部的像素的平均RGB值（即，平均R值、平均G值和平均B值）。这个面部区域可以被自动标识，或其可以由用户定义。

通过比较这个度量如何在原始图像19与由用户选择的图像20之间进行改变，所述度量就可以用来确定然后用来照明情景的光输出，使得随后的图像具有所期望的外观—甚至不需要任何图像处理。光输出是通过选择例如对于LED光源的适当电流驱动值而被控制的。

R、G、B值的改变将可从用来为用户生成多个选项20的图像变换功能容易地得到。

对于每种类型的LED灯或灯具，可以使用查找表，其存储驱动电流值与光输出特性之间的关系。这些光输出特性可被呈现为：

RGB值；

色度、饱和、与亮度值；或

色坐标。

查找表可被存储在照明控制器中。在驱动电流值与光输出特性之间的这个关系例如可以在照明系统运行之前被测量。

这个关系可被用作为用于调整照明设备的开始点。然而，如将在下面解释的，虽然如此，可能存在几次随后的迭代，在这些迭代后，所捕获的图像将具有与所期望的修改的图像的可接受地少量差。

闪光灯16然后被控制成发出所要求的环境照明。图像21是在更改的照明条件下拍摄的图像。

用户例如可以选择给出最有吸引力的图像（例如，根据皮肤色调、面部上皱纹的外观等等）的图像修改，以及随后的图像将然后趋向于给出那些所期望的图像特性而不要求进行图像处理。

图3示出了替换的方法。在这种情形下，设备为用户提供控制输入，在本例中，其被示为滑块30、32，其使得能够调整图像属性，而代替呈现预先定义的修改的图像。一个滑块可以对应于要应用的照明的颜色，而另一个滑块可以对应于强度。

照明单元例如可以具有可控制的RGB分量和总的亮度。在某个颜色的RGB与色调与饱和度之间存在直接映射，使得照明控制可以等价地包括这些参数的控制。

例如，可以存在三种控制—用于色度的控制、用于饱和度的控制、和用于亮度的控制。可替换地，可存在三种控制—一种用于红色、一种用于绿色和一种用于蓝色。可以存在总共六种控制，所以用户可以选择调节哪一个，以及在RGB与色度/亮度/饱和度之间的映射将由控制器保持。

图4更详细地示出了设备的第一示例。

设备包括照相机12、显示器14和光源16，如上所解释的。控制器40实施以上解释的控制方法，并且因此，控制来自显示器14的输出图像，以及接收来自用户输入接口42的用户输入，该用户输入接口42可包括具有触摸屏输入的显示器本身。

发射机44例如通过移动电话网输出控制照明后的图像。图像例如被发布到媒体共享平台，或其可被用于实况视频通信。

图5更详细地示出了设备的第二示例。

设备再次包括照相机12、显示器14、控制器40和输入接口42。

在本示例中，照明系统50不是设备的一部分。设备具有短距离发射机52，以用于与光源50通信，以更改其设置。这例如可以是WiFi、蓝牙或Zigbee接口、或任何其它短距离标准。也提供了移动电话发射机44。

在这种情形下，提供光来照亮情景的照明系统50可以是形成正在其中使用该设备的区域的一部分的固定照明。在这种情形下，设备与固定照明通信，以实施照明条件的所期望的改变。

设备和方法可被用于实时地上载照片，或用于使用便携式设备的在线视频聊天。然而，其不仅仅是对于实时应用有好处的，而且可被用作为以自然的方式提供增强的图像的方式。特别地，图像是未被操控的直接的图像—仅仅是照明条件被改变。因此，设备和方法可以被简单地用来通过使用照相机设备控制照明（诸如固定的室内照明）而改进图像的质量。

为了导出所要求的光输出，捕获的图像的RGB值和修改的图像的RGB值可以逐个像素地分析。

然后可以获取度量，例如，对于整个图像的平均的红、绿、和蓝色值。因此度量可包括值（即，向量）的集合。一个度量然后代表原始图像，而另一个度量代表所选的修改的图像。然后可以从在这些度量之间的差导出所要求的光输出。

应当指出，差可以以除了度量之外的其它形式的参数来测量。例如，其可以是在原始图像与所选修改的图像的所有像素的R、G、B或H、S、L值的平均值之间的差。替换地，其可以是在原始图像与所选的修改的图像的单个像素的R、G、B或H、S、L值之间的差。优选地，单个像素位于图片中用户的面部中。

作为示例，控制器可以实施面部识别算法，以标识包含面部（或多个面部）的图像的区域。照明条件典型地被选择为改进面部的外观，所以照明控制可以是基于面部区域的分析的。

在这种情形下，然后将确定（一个或者多个）面部区域的平均红、绿和蓝色像素值。然后获取在原始的捕获的图像与所选的修改的图像之间的红、绿和蓝色值的差。

照明控制的目的在于使得这些差变为零。

当面部区域被使用时，面部识别可以首先涉及确定将从所选的面部区域进行采样的像素的数目（Np），并且然后，将计算来自这些像素的RGB数值，以便对于对照明参数进行偏移。在原始图像与所选的修改的图像中的平均颜色值之间的偏移量的平均值被用作为控制信号，以用于输出到照明系统和调整照明，以便发出预期的照明效果。

照明单元可包括具有可控制的彩色点的任何照明安排。一个示例是具有红、绿、蓝色LED的LED照明安排。至少三个颜色的LED需要进行选择，以及由这三个颜色确定的三角形是色域。所选择的LED越多，则色域越大。

红、绿和蓝色LED是所选的三种典型颜色。可以通过使用蓝色LED与适当的荧光层的组合而被生成颜色。在这种情形下，色域由蓝色LED颜色点和荧光特性确定。通过上述的方法，可控制的颜色点被确定。

颜色可以用RGB坐标、或HSL（色度、饱和度、亮度）或HSV（色度、饱和度、数值）定义，其可以通过可提供的转换公式在互相之间进行转换。对于照明单元的控制信号然后包括对于不同LED颜色的PWM（脉冲宽度调制）信号，以独立地控制颜色。

如果光源是设备外部的，如图5的示例那样，则其具有通信模块（例如，Zigbee），该通信模块可以接收指示从设备发送的照明参数的信号，以及把信号解码成用于照明控制的所要求的PWM信号。

用于实现在捕获的图像中的所期望的改变的所要求的光输出将取决于光源相对于用户的位置以及光源的性质和取向。当光源是便携式设备的闪光灯时，其属性是已知的。相对于用户的可能的位置也是已知的。因此，有可能提前对于光源改变用户的照亮的方式进行建模。以这种方式，在照明条件的所期望的改变（即，RGB差）与所要求的光控制信号之间可以存在简单的映射。

在最简单的实施方案中，简单地对感兴趣的图像的一部分（即，整个图像或面部部分）的平均红色含量的差进行缩放，以导出照亮源的所期望的红色含量。相似地，对平均蓝色含量的差进行缩放（缩放相同的或不同的量）来导出照亮源的所期望的蓝色含量。相似地，对平均绿色含量的差缩放（缩放相同的或不同的量）来导出照明源的所期望的绿色含量。

代替于RGB值，可以处理两个图像的色度、亮度和饱和度值来导出照明控制信号。如上所述，在不同的色坐标系统之间存在直接的映射关系，使得所要求的处理基本上是相同的。基本上，在原始图像与所期望的修改的图像之间的照明属性的差（或差的集合）被标识。这个差然后被用来控制照明。图像的RGB含量可以被分析，但照明可以通过使用HSL或HSV控制命令而被控制。相似地，图像的HSL或HSV含量可以被分析，并且照明可以通过其它参数（诸如RGB值）而被控制。

当然，所期望的光输出可以通过比用来导出照明的所要求的R、G和B分量的对R、G和B简单求平均值方法更复杂的算法而被导出。

例如，可以使用在颜色分量之间的比率，而代替于绝对的像素值。而且，最大值和/或最小值颜色分量值可以从被用来导出照明条件的处理中删除。因此，度量可以比对单个像素特性的简单求平均值更复杂。

对于不是设备的一部分的光源， 照明效果将不是提前已知的。例如，在光输出与用户之间的角度将不是已知的，以及光源到用户的距离将不是已知的。在这种情形下，可以利用反馈方法。例如，在选择修改的图像后，照明条件可以基于假设的集合和捕获的新图像被改变。修改的图像的选择可以重复（一次或多次），使得经由用户通过重复选择修改的图像而提供反馈，照明收敛到适当的光输出条件。

系统可以从每次迭代进行学习。例如，如果对于光输出的第一次调整没有实现对于图像的所期望的修改，则这个假设的集合可被改变，以使得下一次迭代可以给出更好的结果。这将所要求的迭代次数保持为最小。

反馈可以是自动的，而代替于人工的。在这种情形下，照明可被控制成在不用用户输入的情况下改变若干次，但其中系统目标在于使得在所产生的图像与由用户初始地选择的修改的图像之间的差最小化。

现在将描述可能的自动迭代过程的示例。如果目标图像属性是（Rt，Gt，Bt），则这个目标信息作为输入被发送到灯具，并且导出照明控制信号。正如上面解释的，这些照明控制信号是从在目标图像属性与实际的图像属性之间的差导出的，其然后被转换成从存储的查找表获取的R、G、B LED的对应的驱动电流值。该查找表被用来控制灯具。

在照明修改之后实际上在面部区域产生的所实现的RGB照明值将给出所实现的图像属性，例如值（Rr,Gr,Br）。由于皮肤反射和环境反射，在目标与所实现的颜色值之间很可能存在差。

如上所述，照明控制方法的目标是使得这些差趋于零或可接受的误差。可接受的误差量可以由用户选择，使得如果最终用户不期望非常高的精确度，则较大的误差是可容忍的。迭代的数目将取决于所期望的精度。

如果目标图像属性被设置为（Rt,Gt,Bt），则调整值（Ra,Ga,Ba）可被考虑为新的目标值，并且它们被设置为：

Ra=2Rt-Rr,

Ga=2Gt-Gr,

Ba=2Bt-Br。

在每次迭代时，值Ra,Ga,Ba被处理以导出照明设置。处理将收敛到其中Rt=Rr、Gt=Gr和Bt=Br的点。因此，通过每次迭代，将使得（在所期望的修改的图像属性与所实现的图像属性之间的）误差更接近于零。当误差已经降低到低于目标时，迭代将停止。当然，也可以存在最大迭代次数。例如，可以存在这样的情形：其中由于未控制的环境照明的主导地位，所以照明单元不能提供所期望的图像修改。

在具有集成光源的以上的示例中，其包括照相机闪光灯。然而，可以提供分开的光源，其中之一对于闪光功能进行优化（即，高强度短持续时间突发），而另一个对于具有颜色控制的较低的强度的连续照明进行优化。

以上的示例示出了便携式设备，但本发明不限于此。例如，设备可以是摄影系统的一部分，例如，用于在线聊天的隔间（booth）。在隔间内的照明然后可以由用户选择最佳地增强他们的外观的照明来控制。

以上的示例利用了面部识别（这意味着识别图像的哪个部分是面部，而非其是谁的面部）。替换例是使用用于皮肤色调的滤色器，使得可以标识包括皮肤色调的图像的部分，而不需要面部识别软件。

用户修改的图像可被认为是照明系统试图通过修改照明条件而进行模仿的参考图像。照明条件被修改，直至参考图像与捕获的图像的差别的量低于阈值为止。被比较的图像数据可包括RGB信息、CMYK信息、色度与饱和度信息、或色温信息（或这些项的组合）。

设备利用了用于实施用于控制照明的算法的控制器。可被用于控制器的部件包括，但不限于，传统的微处理器、专用集成电路（ASIC）、和现场可编程门阵列（FPGA）。

在各种实施方案中，处理器或控制器可以与一个或多个存储介质，（诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM、和EEPROM）相关联。存储介质可以用一个或多个程序编码，当这些程序在一个或多个处理器和/或控制器上被执行时，其执行所要求的功能。各种存储介质可被固定在处理器或控制器内，或可以是可传输的，使得被存储在其上的一个或多个程序可被加载到处理器或控制器中。

本领域技术人员在实践所要求保护的发明时，从对于所述附图、公开内容、和所附权利要求的学习中将理解和实现所公开的实施例的其它变例。在权利要求中，单词“包括”不排除其它元件或步骤，以及不定冠词“一”或“一个”不排除多个。某些措施在互相不同的从属权利要求中被阐述的单纯事实并不指示这些措施的组合不能被加以利用。在权利要求中的任何参考符号不应当被解读为限制范围。