图像显示设备和检测方法

专利名称：图像显示设备和检测方法
技术领域：
本发明涉及图像显示器和检测方法。
背景技术：
通常，电视机仅从天线接收到的电视广播(airwave)来生成图像信号，以便在屏幕上显示图像，然而最近，能够与因特网或其它网络连接的电视机已经得到发展并且开始变得流行。这种电视机可以连接至因特网以便经由web浏览器来显示信息，并且在这种情况下，使用可以指示屏幕上给定点的、如与个人计算机一起使用的鼠标那样的指向(pointing)装置是方便的。
关于这种指向装置，提出了具有所谓"自由光标功能"的遥控器。这种"自由光标功能"使得能够通过移动遥控器来指示屏幕上的给定点。可以拿起并在附近移动或摇动具有自由光标功能的遥控器，以便指示屏幕上的给定点或切纟奐页面。
此外，随着电视机和记录/再现装置的功能和性能变得更加高级，可以由用于遥控电视机和记录/再现设备的遥控器控制的功能也正在增加。此外，具有诸如液晶显示器之类的显示单元的遥控器最近已经得到发展。这种遥控器的显示单元可以显示这样的按钮，其可配置为不仅运行诸如选择频道和调节音量之类的基本功能，而且运行特定节目的编程记录与放映的功能。用户可以通过触摸显示单元来控制电视机。
如果具有显示单元的遥控器在处理时为没有经验的用户在显示单元上提供了与为有经验的用户提供的按钮相同的按钮，那么没有经验的用户不能很好地利用遥控器。因此期望这种遥控器具有用于为每个用户定制要在显示单元上显示的内容(matter)以及允许为每个用户切换显示内容的功能。

发明内容
然而，在现有技术中，为了给遥控器提供自由光标功能，需要将加速传感器和陀螺传感器内建在遥控器中，这可能导致遥控器的生产成本和功耗的
4不期望的增大。
此外，为了允许切换具有诸如液晶显示器之类的显示单元的遥控器的显示内容，例如，可以提供准备待由用户按下的、遥控器上的编号按钮的方法、将ID和口令输入到遥控器中的方法以及由遥控器读取生物信息(如指紋等)的方法，所述每一种方法均使得用户自己操作切换，由此导致复杂的操作。
根据前述，期望提供如下的图像显示设备和检测方法其是新颖的并且经改进的，并且其允许通过对遥控器以及操作该遥控器的人的面部进行成像、并通过从捕获的图像来检测和辨别遥控器的位置以及操作该遥控器的人的面部而将功能容易地添加至遥控器。
根据本发明的实施例，提供了如下的图像显示设备，其包括图像显示单元，用于显示静止图像或运动图像；成像单元，用于在图像显示单元正在显示静止图像或运动图像的方向上捕获图像；检测单元，用于检测成像单元捕获的图像中包括的遥控装置的发光单元，并且检测所捕获的图像内的发光单元的移动量，遥控装置由用户来控制；以及控制单元，用于依据检测单元检测到的发光单元的移动量，来控制在图像显示单元上显示的指示器的移动量。
根据这种配置，图像显示单元显示静止图像或运动图像，成像单元在图像显示单元显示静止图像或运动图像的方向上捕获图像，检测单元检测成像单元捕获的图像中包括的遥控装置的发光单元，并且检测所捕获的图像内的发光单元的移动量，并且遥控装置由用户来控制。然后控制单元依据检测单元检测到的发光单元的移动量来控制在图像显示单元上显示的指示器的移动量。结果，依据检测结果，控制成像单元捕获的图像中包括的遥控装置的发光单元的位置、以及指示图像显示单元上的给定点的指示器的移动量，从而可以向遥控器容易地添加功能。
检测单元可检测成像单元捕获的图像中所包括的观看者的面部，并且检测仅在距检测到的面部的位置的预定距离中的区域内的发光单元。
检测单元可检测成像单元捕获的图像中所包括的观看者的面部，并且如果才企测单元检测到发光单元位于距检测单元所检测到的面部的预定距离中的位置处，那么控制单元可以将指示器定位于图像显示单元的中心处。
控制单元可将发光单元的发光时段控制为处于成像单元的捕获时段的整数倍。
如果检测单元检测发光单元，那么控制单元可改变发光单元的 强度。检测单元可检测成像单元捕获的图像中所包括的观看者的面部，并且控制单元可通过使用来自检测单元的检测结果而控制遥控装置的操作。在这种情况下，控制单元可通过使用来自检测单元的检测结果来控制遥控装置的按钮显示。
如果检测单元检测多个观看者的面部，那么控制单元可通过使用检测单元检测到的发光单元的检测结果来估计操作遥控装置的人。
如果检测单元检测观看者的面部，那么控制单元可指示发光单元进行发光。并且，控制单元可依据用户与成像单元之间的距离来控制指示器的移动量。
根据本发明的另一方面，提供了如下的检测方法，其包含以下步骤在显示静止图像或运动图像的图像显示单元正在显示静止图像或运动图像的方向上捕获图像；检测在捕获步骤捕获的图像中包括的遥控装置的发光单元，并且检测所捕获图像内的发光单元的移动量，遥控设备由用户来控制；以及依据在检测步骤检测到的发光单元的移动量，来控制在图像显示单元上显示的指示器的移动量。
根据上述的本发明实施例，可以提供如下的图像显示设备和检测方法其是新颖的并且经改进的，并且其允许通过对遥控器以及操作该遥控器的人的面部进行成像、并且通过从捕获的图像来检测和辨别遥控器的位置以及操作该遥控器^;人的面部而将功能容易地添加至遥控器。


图1是图示根据本发明实施例的图像显示设备100的外观的说明图。图2是示出根据本发明实施例的图像显示设备100的配置的说明图。图3是图示包括在根据本发明实施例的图像显示设备100中的检测单元106的配置的说明图。
图4是图示根据本发明实施例的图像显示设备100的操作的流程图。图5是图示自由光标模式的说明图。
图6是图示根据本发明实施例的图像显示设备100的操作的流程图。图7是示出对应于识别的用户来改变遥控器200所显示的按钮的情况的说明图。
图8是示出对应于识别的用户来改变遥控器200所显示的按钮的情况的说明图。
具体实施例方式
在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，以相同的附图标记表示具有基本上相同的功能和结构的结构性元件，并且省略这些结构性元件的重复说明。
在下文中，接着以如下的顺序来描述本发明的优选实施例
1. 根据本发明实施例的图像显示设备的概述
2. 根据本发明实施例的图像显示设备的操作2-1.自由光标功能的实现
2-2.遥控器的按钮显示控制的实现
3. 结论
1.根据本发明实施例的图像显示设备的概述
首先将描述根据本发明实施例的图像显示设备的概述。图l是图示根据本发明实施例的图像显示设备100的外观的说明图。以下，通过使用图l来描述根据本发明实施例的图像显示设备的外观。
如图1中所示，根据本发明实施例的图像显示设备100包括处于图像的显示面板102的上方中，的、用于捕获运动图像的图像输入单元104。图像输入单元104被配置为在图像显示设备IOO通过显示面板102显示运动图像的方向上捕获运动图像。根据本实施例的图像显示设备100分析图像输入单元104所捕获的图像，并且在图像中检测人的面部。图像显示设备100的特征在于，基于人的面部是否包括在图像输入单元104所捕获的运动图像中来改变图像显示设备100的内部操作状态。
此外，虽然图1中的图像显示设备100包括处于图像的显示面板102的上方中部的、用于捕获运动图像的图像输入单元104，但是当然，本发明并不把用于捕获运动图像的图像输入的位置限制于以上示例。例如，可以提供连接至图像显示设备100的、与图像显示设备100不同的设备，并且其可以捕获运动图像。此外，图像输入单元的数目当然不限于一个，并且可以提供多于一个的图像输入单元来捕获图像。
以上已经描述了根据本发明实施例的图像显示设备100的概述。接下来，描述根据本发明实施例的图像显示设备100的配置。
图2是示出根据本发明实施例的图像显示设备100的配置的说明图。以下将通过使用图2来描述根据本发明实施例的图像显示设备100的配置。
如图2中所示，图像显示设备100包括显示面板102、图像输入单元104、检测单元106、电源控制单元108、 SRAM(Synchronous Dynamic RandomAccess Memory,同步动态随机存取存储器)110、闪存ROM112、 CPU 114、遥控器光接收单元116、网络I/F118、网络端子120、陆地波调谐器122、数字调谐器124、音频A/D转换电路126、视频解码器128、 MPEG解码器130、音频信号处理电路132、画面信号处理单元134、 HDMI(High-DefinitionMultimedia Interface,高清多媒体接口)接收器136、 HDMI端子138、音频放大电路140、扬声器142、图形生成电路144、面板驱动电路146。
陆地波调节器122被配置为接收从用于接收模拟陆地波的陆地波天线(未示出)传送的电视广播信号，并且将电视广播信号中包括的画面和音频信号解调为基带信号。陆地波调谐器122所解调的基带信号的音频信号被传送至音频A/D转换电路126,并且经解调的基带信号的画面信号被传送至视频解码器128。
数字调谐器124被配置为接收从用于接收数字电视广播的数字天线(未示出)传送的电视广播信号，将接收到的电视广播信号转换为MPEG2-TS(MPEG 2 Transfer Stream, MPEG 2传输流)。经电视广播信号到MPEG2-TS的转换后，数字调谐器124将经转换的MPEG2-TS传送到MPEG解码器130。
视频A/D转换电路126被配置为接收由陆地波调谐器122所解调的音频信号，并且将该音频信号从模拟转换为数字。经音频信号从模拟到数字的转换后，音频A/D转换电路126将经转换的数字音频信号传送至音频信号处理电路132。
视频解码器128被配置为接收由陆地波调谐器122所解调的画面信号，并且将该画面信号从模拟信号转换为数字分量信号。经画面信号从模拟信号到数字分量信号的转换后，视频解码器128将经转换的数字分量信号传送至画面信号处理电路134。
MPEG解码器130被配置为接收从数字调谐器124传送的MPEG 2-TS,并且将来自MPEG2-TS的音频转换为数字信号以及将来自MPEG 2-TS的画面转换为数字分量信号。经从MPEG2-TS到数字音频信号和数字分量信号的转换后，MPEG解码器130将经转换的数字音频信号传送至音频信号处理电 路132，并且将经转换的数字分量信号传送至画面信号处理电路34。
音频信号处理电路132被配置为接收从音频A/D转换电路126和MPEG 解码器130传送的数字音频信号，并且对数字视频信号执行信号处理。经音 频信号处理电路132对数字音频信号的信号处理后，音频信号被传送至音频 放大电路140。
画面信号处理电路134被配置为接收从一见频解码器128和MPEG解码 器130传送的数字分量信号，并且对数字分量信号执行信号处理。经画面信 号处理电路134对数字分量信号的信号处理后，数字分量信号被传送至音频 ;汰大电路140。
HDMI接收器136配置为接收从作为外部输入端子之一的HDMI端子138 所输入的数字基带信号。HDMI接收器136所接收到的数字基带信号被传送 至音频信号处理电路132和画面信号处理电路134,并且分别对-阮频信号和 数字分量信号执行信号处理。
视频放大电路140被配置为接收从视频信号处理电路132所输出的视 频信号，通过预定放大量将其进行放大，并且输出放大后的信号。音频放大 电路140的放大量取决于图像显示设备100的用户所指定的音量。音频放大 电路140所放大的音频信号被传送至扬声器142。扬声器142基于从音频放 大电路140传送的音频信号来输出声音。
图形生成电路144被配置为生成图像显示设备100的操作所需要的图形 画面。根据用户的操作，生成作为图像显示设备100的操作所需要的图形画 面的不同画面。图形生成电路144生成的图形画面^皮传送至面板驱动电路 146，与传送自画面信号处理电路134的画面信号进行多路复用或者被其替 换。此外，如果没有生成图形画面，那么可以将从画面信号处理电路134传 送的画面信号直接传递给面板驱动电路146。
面板驱动电路146被配置为从自图形生成电路传送的画面信号来生成在 显示面板102上显示画面所需要的面板驱动信号。面板驱动电路146生成的 面板驱动信号被传送至显示面板102。显示面板102依据面板驱动信号来进 行操作，然后将画面显示在显示面板102上。
显示面板102被配置为基于从面板驱动电路146传送的面板驱动 号来 显示运动图像。在本实施例中，显示面板102通过液晶来显示运动图像。如上所述，将图像输入单元104提供在图像的显示面板102的上方中部， 并且将其配置为当将面板驱动信号提供给显示面板102并且在显示面板102 上显示运动图像时，在图像显示设备100通过显示面板102显示运动图像的 方向上捕获运动图像。图像输入单元104也可以被配置为通过CCD(Charge Couple Device , 电荷耦合器件)或CMOS(Complementaiy Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器来捕获运动图像。由图像 输入单元104捕获的运动图像被传送至检测单元106。此外，图像输入单元 104的数目可以是一个或更多个。
检测单元106被配置为获取从图像输入单元104传送而输入至其的运动 图像，并且检测在运动图像中包括的人的面部以及遥控器200的发光单元的 位置。来自检测单元106的、关于运动图像中人的面部和遥控器200的发光 单元的位置的检测结果被传送至电源控制单元108、 CPU 114等，并且用于控 制图像显示设备100的操作。此外，检测单元106的配置将在下面进行详细 描述。
电源控制单元108被配置为通过控制图像显示设备100的每个部分的操 作来控制图像显示设备100的功耗。电源控制单元108的操作将在下面进行 详细描述，尽管现在以一个示例对其进行说明当4全测单元106的^r测导致 在传送自图像输入单元104的运动图像中未发现人的面部时，电源控制单元 108确定没有人正在观看图像显示设备100的显示面板102上所显示的运动 图像，并且进行使显示面板102的背光的亮度降低的控制。
因此，取决于观看图像显示设备100所显示的运动图像的情形，通过由 电源控制单元108依据来自检测单元106的检测结果来控制图像显示设备100 的每个部分的操作，可以控制图像显示设备100的功耗。
SDRAM 110是处于执行中的、用于由CPU 114控制图像显示设备100 的每个部分的计算机程序的临时工作区。闪存ROM 112是存储用于由CPU 114控制图像显示设备100的每个部分的计算机程序的ROM。并且CPU 114 被配置为顺序地读取和执行存储在闪存ROM 112中的、用于控制图像显示设 备100的每个部分的计算机程序。
遥控器光接收单元116被配置为接收从遥控器200传送的信号。由遥控 器光接收单元116接收到的信号被输入至将信号中包括的控制代码进行解码 的CPU 114。经对控制代码进行解码后，CPU 114控制图像显示设备100的
10每个部分来响应于控制代码进行操作(调整音量、设置频道、显示菜单画面等)。
网络I/F 118被配置为接收经由网络而从网络端子120输入的信号，并 且经由网络端子120而将信号传送至网络。经接收经由网络而从网络端子120 输入的信号后，网络I/F118将接收到的信号传送至CPU114。 CPU114分析 网络I/F 118所接收到的信号，控制图像显示设备100的每个部分来响应于该 信号进行操作。
此外，图像显示设备100的每个部分通过内部总线121连接，并且其被 配置为允许CPU 114对于图像显示设备100的每个部分的控制。而且，图像 显示设备100和遥控器200可以相互进行无线通信。因此，图像显示设备IOO 和遥控器200中可以包括用于无线通信的无线通信单元(在图2中未示出)。
以上已经描述了根据本发明实施例的图像显示设备100的配置。接下来， 将描述根据本发明实施例的图像显示设备100中包括的检测单元106的配置。
图3是图示根据本发明实施例的图像显示设备100中包括的检测单元106 的配置的说明图。以下通过使用图3来描述根据本发明实施例的图像显示设 备100中包括的检测单元106的配置。
如图3中所示，包括在根据本发明实施例的图像显示单元100中的4全测 单元包括面部检测单元152、面部识别单元154以及遥控器检测单元l56。
面部检测单元152被配置为执行用于从图像输入单元104捕获的、且传 送自图像输入单元104的图像来检测人的面部的部分的处理(面部检测处理)。 通过由面部检测单元152检测人的面部的部分，可以执行与人的面部有关的 控制。
面部识别单元154被配置为对面部4佥测单元152从图像输入单元104捕 获的、且传送自图像输入单元104的图像中检测到的人的面部的该部分执行 用于指定人的进一步处理(面部识别处理)。通过由面部识别单元154执行用 于指定人的面部识别处理，可以执行与所指定的人有关的控制。
遥控器检测单元156被配置为执行用于从图像输入单元104捕获的、且 传送自图像输入单元104的图像来检测遥控器200的位置的遥控器检测处理。 通过由遥控器检测单元156执行遥控器检测处理，可以执行与遥控器200的 位置有关的控制。
检测单元106如此配置以使得从图像输入单元104捕获的、且传送至图 像输入单元104的图像可以检测人的面部，然后可以识别面部，还可以检测遥控器200的位置。进一步，通过使用来自检测单元106的检测结果，可以 在图像显示设备100内执行与人的面部有关的控制、与指定的人有关的控制 以及与遥控器200的位置有关的控制。
以上已经通过使用图3描述了根据本发明实施例的图像显示设备100中 所包括的检测单元106的配置。接下来将描述根据本发明实施例的图像显示 设备100的操作。
2.根据本发明实施例的图像显示装置的操作 2-l.自由光标功能的实现
图4是图示根据本发明实施例的图像显示设备100的操作的流程图。以 下通过使用图4描述根据本发明实施例的图像显示设备100的操作。
图4中所示的流程图示出了如下情况下的操作，所述情况为从图像输 入单元104捕获的、且传送自图像输入单元104的图像来检测是否存在遥控 器200的发光单元，以及依据遥控器200的发光单元的存在来确定是否要切 :换至自由光标4莫式。
一旦图像输入单元104捕获运动图像，就由面部检测单元106对图像输 入单元104捕获的运动图像进行分析，并且根据观看者的面部占据图像输入 单元104所捕获的运动图像的区域来测量图像显示设备100与观看者之间的 距离。然后，作为测量的结果，由面部检测单元152确定测量的距离是否短 于预定距离(步骤SlOl)。此外，可能不能精确地测量图像显示设备100与观 看者之间的距离，但是可以以粗略的范围来对其进行测量(例如，面部的位置 存在于距图像输入单元104 2m50cm—3m的距离处)。
如果作为在步骤SIOI的面部4企测单元152的确定结果，测量的距离短于 预定距离，则将不采取与自由光标模式有关的任何控制，操作返回步骤S101, 并且重复面部4企测单元152的确定处理。另一方面，作为在步骤S101的面部 检测单元152的确定结果，如果测量的距离长于预定距离，那么随后检测图 像显示设备100所位于的空间中的亮度是否达到预定亮度(步骤S102)。例如 可以按照如下方式来确定空间中的亮度是否达到预定亮度假定以CCD图像 传感器来配置图像输入单元104，由CCD图像传感器获得关于图像的平均。 然后，由CPU114确定所得到的关于图像的平均是否等于或超出预定值。
在本实施例中，如果作为在步骤S102的上述空间中的亮度检测的结果，
12有达到预定亮度，那么将不
进行到自由光标模式的切换。当然，本发明不限于上面的示例，并且即使当
图像显示设备100所位于的空间中的亮度没有达到预定亮度，也可以进行到 自由光标模式的切换处理。并且在本发明中，可以省略在步骤SIOI的上述距 离检测处理以及在步骤S102的用于检测空间中的亮度的上述处理它们自己。
经在步骤S102检测空间中的亮度是否达到预定亮度的处理后，随后将来 自图像输入单元104的图像输入至检测单元106(步骤S103),由检测单元106 中包括的遥控器检测单元156来执行遥控器检测处理。本实施例中的遥控器 检测处理是用于从由图像输入单元104提供的图像来检测由图像显示设备 100的用户所操作的遥控器200的红外线发射单元的位置的处理。本实施例 中的图像输入单元104可以将遥控器200的红外线发射单元成像为亮点，其 对于人来说是不可见的。然后，遥控器检测单元156检测由图像输入单元104 所成像的遥控器200的红外线发射单元的位置，并且还跟踪遥控器200的红 外发射单元的运动轨迹，从而图像显示设备100可以切换到自由光标模式。
作为遥控器检测单元156的遥控器检测处理的结果，确定遥控器检测单 元156是否已经成功地检测到遥控器200的红外线发射单元的位置(步骤 S104)。如果作为在步骤S104的;险测结果，遥控器^r测单元156尚未成功地 检测到遥控器200的红外线发射单元的位置，那么操作返回至步骤SIOI，重 复面部检测单元152的确定处理。另一方面，如果作为在步骤S104的测量结 果，遥控器检测单元156已经成功地检测到遥控器200的红外线发射单元的 位置，那么控制图像显示设备100在自由光标模式下操作。例如，CPU 114 可以控制图像显示设备100在自由光标模式下操作。
当将图像显示设备切换到自由光标模式时，基于图像输入单元104捕获 的图像，检测遥控器200的红外线发射单元在给定读取定时处的位置。然后， 检测遥控器200的红外线发射单元在另一读取定时处的位置，从而可以基于 检测遥控器200的红外线发射单元的各位置之差来算出遥控器200的红外线 发射单元的位置的移动。基于红外线发射单元的位置的移动量来移动显示面 板102上显示的光标，使得能够如与个人计算机(PC)—起使用的鼠标中那样 进行二维指向。
图5是图示将图像显示设备100切换到自由光标模式并且通过移动手中 的遥控器200来移动显示面板102上所显示的光标的情况的说明图。在图5中，图像输入单元104将用户手中的遥控器200的红外线发射单元210进行 成像，并且由遥控器检测单元156检测图像输入单元104捕获的图像中所包 括的红外线发射单元210的位置，从而实现了自由光标功能。此外，通过以 各种方向移动用户手中的遥控器200,也可以依据遥控器200的移动来移动 在显示面板102上显示的光标(未示出)。
用户移动手中的遥控器200时所给出的、在显示面板102上显示的光标 (未示出)的移动量例如可以依据用户和图像输入单元104之间的距离而改变。 例如，用户与图像输入单元104之间的距离变得越长，则当用户移动手中的 遥控器200时给出的光标移动量就变得越小。并且，可以允许根据用户的设 置来任意地改变显示面板102上所显示的光标的距离。
此外，当在自由光标模式下操作图像显示设备100时，可以使用来自面 部4企测单元152的面部4企测处理的面部检测结果。例如，当由面部检测单元 152进行面部检测处理来指定面部区域时，可以执行过滤以仅在右、左和向 下方向上、距所指定的面部的预定区域内检测遥控器200的红外线发射单元 210。例如，当由面部检测单元152进行面郜检测处理来指定面部区域时，可 以执行过滤来仅在右、左和向下方向上、均距所指定的面部50cm的区域内 检测遥控器200的红外线发射单元210。由于这种过滤，因此不需要对图像 输入单元104所捕获的图像之内的整个区域都执行遥控器检测处理，这可允 许自由光标功能以更少量处理(lighterprocessing)的确定实现。
使用来自面部检测单元152的面部检测处理的面部检测结果，对于图像 显示设备100在自由光标模式下操作的情况设置光标的初始位置(原位置 (home position ))和光标的中心位置。例如，当遥控器200的红外线发射单 元210位于用户面部下方30cm和用户面部右方20cm处时，可以将光标i殳置 为指向显示面板102的中心处。利用这样的设置，可以在几乎满足用户的自 然感觉的情况下来实现使用遥控器200的自由光标功能。
此外，为了更确切地检测遥控器200的红外线发射单元210，可以将红 外线发射单元210的红外线发射式样(pattern)配置为以与用于遥控器的通 常命令传输的那些不同的式样进行发射。在那种情况下，可以将红外线配置 为以与图像输入单元104的读取定时相匹配的发射式样进行闪烁(例如，以用 于由图像输入单元104进行图像捕获的帧速的整数倍的定时速率)。因此，通 过控制发射式样，例如如果图像输入单元104进行图像捕获的速率为每秒30
14次，那么将遥控器200的红外线发射单元210配置为以15Hz进行闪烁，从而 即使图像输入单元104所获得的图像的噪声分量很大，也可以通过将差异导 出至最后捕获的图像而确切地提取出遥控器200的红外线发射单元210。此 外，将这种情况下的发光强度期望地设置为大于遥控器的命令传输的发光强 度，或者依据识别闪烁的程度来适应性地对其进行设置。发光强度的这种设 置允许光源位置的确切定位以及更小功耗的实现。
此外，切换到自由光标模式的定时可以是由图像输入装置100的用户所 明确指示的定时，或者是图像显示设备100已开始与外部网络(如，因特网 等)进行通信并且例如在显示面板102上显示因特网上的站点的定时。
2-2.遥控器的按^&显示控制的实现
图6是图示根据本发明实施例的图像显示设备100的操作的流程图。以 下将通过使用图6来描述根据本发明实施例的图像显示设备100的操作。
图6中所示的流程图示出了如下的情况图像输入单元104进行成像， 然后根据从图像输入单元104传送的图像来检测和识别控制遥控器200的用 户的面部，并且在遥控器200处显示对应于所识别用户的用户界面。
一旦图像输入单元104捕获运动图像，就由面部检测单元106对图像输 入单元104所捕获的运动图像进行分析，并且根据人的面部占据图像输入单 元104所捕获的运动图像的区域来测量图像显示设备100和人之间的距离。 然后，作为测量的结果，由面部检测单元152确定测量的距离是否短于预定 距离(步骤Slll)。此外，可能不能精确地测量图像显示设备100和人之间的 距离，但是可以以粗略的范围来对其进行测量(例如，面部的位置存在于距图 像输入单元104 2m50cm—3m的距离处)。
如果作为在步骤Slll的面部检测单元152的确定结果，检测到的距离短 于预定距离，则将不采取与自由光标模式有关的任何控制，操作返回步骤 Slll,并且重复面部检测单元152的确定处理。另一方面，作为在步骤Slll 的面部;^测单元152的确定结果，如果测量的距离长于预定距离，那么随后 检测图像显示设备100所位于的空间中的亮度是否达到预定亮度(步骤S112)。 例如可以按照如下方式来确定空间中的亮度是否达到预定亮度假定以CCD 图像传感器来配置图像输入单元104,由CCD图像传感器获得关于图像的平 均。然后，由CPU114确定所得到的关于图像的平均是否等于或超出预定值。在本实施例中，如果作为在步骤S112的上述空间中的亮度^佥测的结果， 确定图像显示设备100所位于的空间中的亮度没有达到预定亮度，那么将不 通过用户界面来对遥控器200进行控制。当然，本发明不限于上面的示例， 即使当图像显示设备100所位于的空间中的亮度没有达到预定亮度,也可以通 过用户界面来对遥控器200进行控制。并且在本发明中，可以省略在步骤S111 的上述距离检测处理以及在步骤S112的上述用于检测空间中的亮度的处理 它们自己。
经在步骤S112检测空间中的亮度是否达到预定亮度的处理后，随后将来 自图像输入单元104的图像输入至检测单元106(步骤S103),由检测单元106 中包括的面部检测单元152来执行面部检测处理，然后由面部识别单元154
通过使用作为面部检测处理的结果而获得的面部图像来执行用于识别用户的
面部的处理。
例如，在面部检测单元152的面部检测处理以及面部识别单元154的面 部识别处理中可以使用JP 2007065766 (A)和JP 2005044330 (A)中描述的技 术。以下将简要描述面部检测处理。
为了从图像中检测人的面部，首先，分别检测面部在所提供图像中的位 置、面部的大小以及面部的方向。通过检测面部的位置和大小，可以从图像 裁剪作为图像的一部分的面部图像。基于裁剪的面部图像以及面部的方向信 息，检测面部的特征部分(面部特征位置)，例如，像眉毛、眼睛、鼻子和嘴那 样的特征部分。关于面部特征位置的检测，例如可以应用称作AAM(Active Appearance Models,活动外观模型)的方法来4全测特征位置。T.F. Cootes、 G. J. Edwards和C. J. Taylor的"Active Appearance Models"中描述了 AAM (Proc. Fifth European Conf. Computer Vision,由H. Burkhardt和B. Neumann编辑，第 2巻,第484-498页，1998)。
一旦检测面部特征位置，就为每个检测到的面部特征位置计算局部特征 量。计算局部特征量以及保持计算出的局部特征量与面部图像一起存储允许 从图像输入单元104输入的图像中辨别面部。关于检测面部的方法，例如可 以使用JP2007065 66(A)和JP200S04"S0(A)中描述的技术，因此这里未对 细节进行说明。并且，根据面部图像和面部特征位置，可以从所提供图像中 的人的面部来确定此人是男还是女以及是成人还是孩子。此外，可以通过将 面部特征位置和局部特征量的信息保持存储、并且利用存储的信息来验证关
16于图像输入单元104所输入的图像的面部检测和识别处理的结果，可以从图 像输入单元104所输入的图像中指定人。
'作为在上述步骤S113将来自图像输入单元104的图像输入至检测单元 106以及分别由面部检测单元152和面部识别单元154执行面部检测和识别 处理的结果，然后确定已经成功地还是未成功地检测到人的面部(步骤SU4)。 如果作为在步骤S114的确定结果，尚未成功地;险测到人的面部或者用户尚未 成功地识别，那么操作返回步骤Slll,并且重复面部4企测单元152的确定处 理。另一方面，如果作为在步骤S114的确定结果，已经成功地4全测到人的面 部以及用户已经成功地识别，那么确定是否在图像显示设备100中登记了用 于成功识别的用户的遥控器200的4妄钮信息(步骤S115)。
如果作为在上述步骤S115的确定结果，确定在图像显示设备100中登记 了用于成功识别的用户的遥控器200的按钮信息，那么基于所登记的按钮信 息在遥控器200上显示按钮(步骤S116)。例如，为了在遥控器200上显示按 钮，可以将包括按钮信息的无线电信号传送至遥控器200，.并且可以由遥控 器》00对该无线电信号进行分析。
这里描述了在图像显示设备100中登记遥控器200的按钮信息的方式的 示例。例如，为了在图像显示设备100中登记遥控器200的按钮信息，通过 操作遥控器200的按钮来促使图像输入单元104开始捕获图像。想要登记遥 控暴200的按钮信息的用户将用户的面部移动至图像输入单元104可以成像 的区域，并且使得由图像输入单元104将其捕获，并且另外从遥控器200传 送用户想要登记的按钮信息。在图像显示设备100中，由面部识別单元154 对图像输入单元104捕获的图像执行面部识别处理，并且在图像显示设备100 的内部(例如，闪存ROM 112)关联并存储面部识别处理的结果和传送自遥控 器200的按钮信息。通过如此在图像显示设备100中登记遥控器200的按钮 信息，可以对应于图像输入单元104的成像结果来获得用于每个用户的按钮 信息。此外，在本发明中，在图像显示设备100中登记按钮信息当然不限于 上面的示例，例如，可以通过在遥控器200和显示面板上显示诸如 "ADVANCED(高级)"和"SIMPLE(简单)"之类的信息以及选择"ADVANCE" 或"SIMPLE",来在图像显示设备100中存储按钮信息。
另一方面，如果作为在上述步骤S115的确定结果，未在图像显示设备 100中登记用于成功识别的用户的遥控器200的按钮信息，那么将遥控器200中预登记的默认按钮显示在遥控器200上(步骤S117)。例如，为了在遥控器 200上显示预登记的默认按钮，可以将包括按钮信息的无线电信号传送至遥 控器200,并且由遥控器200对该无线电信号进行分析。
图7和图8是示出对应于识别的用户来改变遥控器200所显示的按钮的 情况的说明图。图7示出了与用于执行诸如频道选择按钮和音量调节按钮之 类的基本功能的按钮一起，将用于执行各种功能的其他按钮也显示在遥控器 200上的情况。用于执行各种功能的其他按钮的示例可包括用于节目的编程 记录的按钮、用于节目的编程放映的按钮、用于播放、快进、快退、停止和 暂停所记录的节目的按钮、以及用于切换电视广播的按钮。另一方面，图8 示出在遥控器200上仅显示诸如频道选择按钮和音量调节按钮之类的用于执 行基本功能的按钮的情况。图8中所示的诸如频道选择按钮和音量调节按钮 之类的用于执行基本功能的显示按钮可以是当作为在步骤S115的确定结果 而未在图像显示设备100中登记用于成功识别的用户的遥控器200的按钮信 息时所显示的默认按4丑。
因此，可以通过由图像输入单元104捕获图像、检测和识别所捕获图像 中的人的面部并且使用识别结果来改变遥控器200上显示的按钮。此外，当 用户只是坐在图像显示设备100的前面时，则显示与用户对应的按钮，而无 需用户ID或任何其他ID编号的认证以及指印或任何其他生物测量学的认证。 因此，在遥控器200中，不再需要任何复杂的输入操作，也不包括用于生物 测量学认证的任何设备。
此外，如果面部识别单元154识别了多个人的面部，那么可以从遥控器 200的红外线发射单元210发射红外线信号，可以由遥控器检测单元l56检 测遥控器200的红外线发射单元210的位置，然后可以通过使用检测到的红 外线发射单元210的位置来控制遥控器200的按钮显示。例如，如果面部识 别单元154识别了多个人的面部，那么可以从遥控器200的红外线发射单元 210发射红外线信号，并且可以由遥控器检测单元156检测遥控器200的红 外线发射单元210的位置。然后，可以将面部最接近于遥控器200的位置的 人估计为遥控器200的用户，从而可以控制遥控器200的按钮显示。此外， 从降低功耗的视角来看，最好将用于从遥控器200的红外线发射单元210发 射红外线信号以及通过遥控器检测单元154检测遥控器200的红外线发射单 元210的位置的操作限制到仅在面部识别单元154识别到多个人的面部的时候才执行。
以上通过使用图6已经描述了根据本发明实施例的图像显示设备100的
操作。此外，可以通过CPU114读取图像显示设备100的内部(例如，未示出 的ROM或任何其他存储部件)中存储的计算机程序、并且顺序地执行它们以 控制图像显示设备100的每个部分，来执行根据本发明实施例的图像显示设 备100的上述操作。
3.结论
如上所述，根据本发明的实施例，通过由图像输入单元104捕获图像、 根据捕获的图像来检测操作遥控器200的用户的面部以及遥控器200的红外 线发射单元210的位置，可以在遥控器200中实现自由光标功能或任何其他 功能。此外，可以通过从捕获的图像卩险测和识别操作遥控器200的用户的面 部而由图像显示设备100控制遥控器200上显示的用户界面画面的切换。
本发明包含与在2008年9月12日向日本专利局提交的日本优先权专利 申请JP2008-234508中公开的主题相关的主题，其全部内容通过引用合并于 此。
本领域技术人员应理解，取决于设计需要和其它因素，可以出现各种修 改、组合、部分组合和变更，只要其在所附权利要求或其等同物的范围之内即可。
例如，在上述实施例中，遥控器检测单元156通过检测遥控器200的红 外线发射单元210所发射的红外线信号来检测遥控器200的位置，然而本发 明不限于以上示例。例如，遥控器200可以发射可见光，并且可以检测遥控 器200所发射的可见光，从而可以检测遥控器200的位置。
并且例如，可以由图像输入单元104成像遥控器200的形状以便由图像 显示设备100进行预识别，从而可以通过使用所识别的遥控器200的形状来 -险测遥控器200的位置。并且例如，如果存在如同支架那样的任何东西来将 遥控器200搁置在上面，那么可以由图像显示设备IOO预识别该支架的位置 和形状，从而可以通过使用所识别的支架位置和形状来^r测遥控器200的位 置。此外，检测单元106可以根据图像输入单元104所捕获的图像来检测持 有遥控器200的用户手臂的位置，从而可以定位遥控器200的位置。
并且例如，在上述实施例中，已经描述了由面部识别单元154来识别用户的面部以及通过使用面部检测的结果来改变显示在遥控器200上的按钮的 情况，然而除了按钮之外，可以在遥控器200上显示为所识别的用户定制的 画面。例如，可以由CPU 114来分柝所识别用户的内容观看状况，并且可以 在遥控器200和显示面板1.02上显示与所识别用户要^见看的推荐内容有关信 息(例如，名称、播放时间、回放时间、角色分配(cast)以及内容的任何其他信 息)。此外，如果遥控器200能够连接至因特网或任何其他外部网络，那么可 以在遥控器200和显示面板102上显示与所识别用户对应的因特网上的页面 (例如，由所识别用户设置为主页的页面以及用于在线购物的页面等)。
并且例如，如果面部在预定时间内保持在同一位置处并且不移动，那么 可以将面部4企测单元152和面部识别单元154配置为不把传送自图^f象输入单 元104的图像中所包含的面部考虑为人的面部。通过面部^r测单元152和面 部识别单元154的如此处理，将不会错误地4佥测和识别海报与照片中的图形。
权利要求
1.一种图像显示设备，包括图像显示单元，用于显示静止图像或运动图像；成像单元，用于在所述图像显示单元正在显示所述静止图像或所述运动图像的方向上捕获图像；检测单元，用于检测所述成像单元捕获的图像中包括的遥控装置的发光单元，并且检测所捕获的图像内的发光单元的移动量，所述遥控装置由用户来控制；以及控制单元，用于依据所述检测单元检测到的所述发光单元的移动量，来控制在所述图像显示单元上显示的指示器的移动量。
2. 如权利要求1所述的图像显示设备，其中，所述检测单元检测所述成 像单元捕获的图像中所包括的观看者的面部，并且检测仅在距检测到的面部 的位置的预定距离中的区域内的所述发光单元。
3. 如权利要求1所述的图像显示设备，其中，所述检测单元检测所述成像单元捕获的图像中所包括的观看者的面部，以及如果所述检测单元检测到所述发光单元位于距所述检测单元所检测到的 面部的预定距离中的位置处，那么控制单元将指示器定位于所述图像显示单 元的中心处。
4. 如权利要求1所述的图像显示设备，其中，所述控制单元将所述发光 单元的发光时段控制为处于所述成像单元的捕获时段的整数倍。
5. 如权利要求1所述的图像显示设备，其中，如果所述检测单元检测所 述发光单元，那么所述控制单元改变所述发光单元的光强度。
6. 如权利要求1所述的图像显示设备，其中，所述检测单元检测所述成像单元捕获的图像中所包括的观看者的面部，以及所述控制单元通过^f吏用来自所述^r测单元的^r测结果控制所述遥控装置 的操作。
7. 如权利要求6所述的图像显示设备，其中，所述控制单元通过使用来 自所述;f企测单元的;^测结果来控制所述遥控装置的按^L显示。
8. 如权利要求6所述的图像显示设备，其中，如果所述检测单元检测多 个观看者的面部，那么所述控制单元通过使用所述检测单元检测到的发光单 元的检测结果来估计操作所述遥控装置的人。
9. 如权利要求6所述的图像显示设备，其中，如果所述检测单元检测观 看者的面部，那么所述控制单元指示所述发光单元发光。
10. 如权利要求1所述的图像显示设备，其中，所述控制单元依据用户 与所述成像单元之间的距离来控制所述指示器的移动量。
11. 一种4企测方法，包含以下步骤在显示静止图像或运动图像的图像显示单元正在显示所述静止图像或所 述运动图像的方向上捕获图像；检测在捕获步骤捕获的图像中包括的遥控装置的发光单元，并且检测所 捕获图像内的发光单元的移动量，所述遥控装置由用户来控制；以及依据在检测步骤检测到的所述发光单元的移动量，来控制在所述图像显 示单元上显示的指示器的移动量。
全文摘要
提供了图像显示设备，其包括图像显示单元，用于显示静止图像或运动图像；成像单元，用于在图像显示单元正在显示静止图像或运动图像的方向上捕获图像；检测单元，用于检测成像单元捕获的图像中包括的遥控装置的发光单元，并且检测所捕获图像内的发光单元的移动量，遥控装置由用户来控制；以及控制单元，用于依据检测单元检测到的发光单元的移动量，来控制在图像显示单元上显示的指示器的移动量。
文档编号H04N5/00GK101674435SQ20091017318
公开日2010年3月17日 申请日期2009年9月14日 优先权日2008年9月12日
发明者大森士郎, 铃木和良 申请人:索尼株式会社