专利名称：图像处理机、图像处理方法、记录介质、计算机程序和半导体设备的制作方法
技术领域：
本发明涉及一种图像处理技术，该技术使用通过摄像装置(如摄像机)拍摄的图像作为输入界面，以便输入命令和其他内容。
背景技术：
键盘、鼠标和控制器常常被用作计算机、视频游戏机和其他设备的输入设备。操作员通过对一个输入设备进行操作输入一个想要的命令或几个命令，以使计算机根据输入的命令执行处理。然后，操作员通过显示设备和/或扬声器看到和/或听到作为处理结果获得的图像和/或声音。
操作员通过操作输入设备上提供的许多按钮或键来输入命令，同时观察显示设备上显示的光标。
这样的操作在很大程度上取决于操作员的操作经验。例如，对于那些以前从来没有接触过键盘的人来说，使用键盘输入想要的命令是相当麻烦而费时的，由于击键出错，也会使他们容易产生输入错误。有鉴于此，有必要为人们提供一种操作员操作起来非常方便的人机界面。
另一方面，由于多媒体技术的进步，一般家庭的人现在也可以轻易地将用摄像机拍摄的图像传输到电脑或其他设备中，进行编辑并将它们显示在显示设备上。这样的技术也可用于身份验证中，通过对拍摄的身体某一部位(比如脸)的图像进行分析，提取出其中的特征数据，便可识别一个人。
通常，这样的拍摄图像用作由计算机处理的信息，以便进行编辑或分析。但是，迄今为止，拍摄的图像还没有用来向计算机中输入命令。
本发明的目标是提供一项图像处理技术，以便使用由图像拍摄装置或其他设备拍摄的图像作为一个输入界面，以便允许用户输入命令。
发明内容
一个根据本发明的图像处理机包括图像捕获装置，用于捕获一个镜像移动图像，该图像的其中一部分包括一个移动目标，图像生成装置，用于根据图像捕获装置所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，控制装置，用于将图像生成装置生成的对象图像与捕获的镜像移动图像合并，并在一个预先确定的显示设备上显示合并图像。
“目标”是指一个主体的标记部分(例如，人或对象)，其图像由图像拍摄装置拍摄，该装置将图像提供到图像处理机。
根据本发明的另一个图像处理机包括图像捕获装置，用于捕获一个镜像移动图像，该图像的一部分包括一个移动目标，检测装置，用于通过检测当前镜像移动图像和紧前面的镜像移动图像之间的图像特征来检测目标和它的移动组件，图像生成装置，用于生成一个表示预先确定的对象的对象图像，以使对象图像随检测装置检测到的目标的移动组件而变化，控制装置，用于将图像生成装置生成的对象图像与捕获的镜像移动图像合并，并将合并图像显示在一个预先确定的显示设备上。
这些图像处理机根据包括在镜像移动图像中的目标的移动来生成对象图像。更具体来讲，根据目标的移动，可以确定出要显示在显示设备上的对象图像的移动、颜色和形状，并且如果有许多对象图像，那么也可以确定出哪一个对象图像需要显示。例如，如果目标是操作员，那么对象根据操作员的移动来确定。如此，镜像移动图像可以作为一种输入界面。
在这些图像处理机中，图像生成装置可以生成对象图像，以使对象图像跟随检测到的目标的移动。
图像处理机可以进一步包括一个装置，用于为根据目标的移动组件并基于生成的对象图像执行所需要的处理作好准备。
图像处理机可以进一步包括一个装置，用于将通过合并图像生成装置生成的对象图像和当前镜像移动图像获得的合并图像，与包括在紧前面的镜像移动图像中的目标的图像(它是模板图像)进行比较，检测其图像特征与模板图像最相似的合并图像的一部分，并为在检测到的合并图像的一部分的图像包括对象图像的情况下基于对象图像执行所需要的处理作好准备。
通过将对象图像与预先确定的处理关联，并进一步包括一个装置，该装置用于在检测装置检测到的目标的移动组件满足一个预先确定的条件的情况下执行与对象图像关联的处理，则可以根据目标的移动执行处理。
镜像移动图像可以包括许多目标。检测装置可以被配置为检测许多目标中的每一个目标的移动组件，并基于许多目标的被检测到的移动组件检测一个目标。图像生成装置可以被配置为根据检测装置检测到的一个目标的移动组件更改对象图像。
本发明进一步提供了下面的图像处理方法。这种图像处理方法包括一些步骤，用于将一个镜像移动图像捕获到一台图像处理机中，该图像的其中一部分包括一个移动目标；图像处理机根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，将生成的对象图像与捕获的镜像移动图像合并，以在一个预先确定的显示设备上显示合并图像。
本发明还提供了下面的计算机程序。该计算机程序使一台连接到显示设备的计算机执行以下处理过程捕获一个镜像移动图像，该图像的其中一部分包括一个移动目标；根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，将生成的对象图像与捕获的镜像移动图像合并，以在显示设备上显示合并图像。
本发明还提供了下面的半导体设备。该半导体设备集成到一个安装在计算机上的装置，该计算机与一个显示设备相连接，该半导体设备使计算机具备如下装置的功能一个捕获镜像移动图像的装置，该图像的其中一部分包括一个移动目标；一个生成对象图像的装置，该装置根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，一个合并装置，该装置将生成的对象图像与捕获的镜像移动图像合并，以在显示设备上显示合并图像。
图1是一个应用了本发明的图像处理系统的总体配置图表；图2是一个根据本发明的一个实施例的图像处理机的配置图表；图3是一个根据本发明的一个实施例的图像处理机的功能方框图；图4是一个显示实施例1的处理过程的流程图；图5是一个显示实施例1的处理过程的流程图；图6说明了根据实施例1的合并图像；图7说明了一个菜单图像；图8是一个显示实施例2的处理过程的流程图；图9说明了根据实施例2的合并图像；图10是一个描述如何使用递归纹理进行绘制的视图；图11是一个显示实施例3的处理过程的流程图；图12是一个显示实施例3的处理过程的流程图；以及图13说明了根据实施例3的合并图像。
具体实施例方式
下面我们将参照附图对本发明的实施例进行具体介绍。
图1是一个显示应用了本发明的图像处理系统的配置示例的视图；该图像处理系统使用一个模拟式或数字式便携式摄像机1拍摄了一个操作员坐在显示设备3前面的图像，将如此获得的移动图像在时间序列上连续地捕获到一台图像处理机2，以生成镜像移动图像，并将一个表示对象(如一个菜单和光标)的对象图像与镜像移动图像的一部分(有一个被标记的对象(如操作员的眼睛或手)位于这一部分)合并(在下文中，将被标记的对象叫做“目标”)，以生成一个合并图像(该图像也变成一个移动图像)，并将合并图像实时显示在显示设备3上。
镜像移动图像可以通过图像处理机2对便携式摄像机1捕获的移动图像进行镜像处理(图像的左/右倒转)来生成。或者，可以在便携式摄像机1前面放一面镜子，那么便携式摄像机1拍摄的反射了操作员的镜子表面上的移动图像的照片便形成一个镜像移动图像。在任何情况下，其显示模式根据目标的移动会实时变化的合并图像都会显示在显示设备3上。
图像处理机2通过一台能使用计算机程序提供所需要的功能的计算机来实现。
如在图2中的例子所显示的硬件配置，本实施例的计算机有两个总线，一个主总线B1和一个次总线B2，有许多半导体设备与它们连接，每一个半导体设备都具有特定的功能。总线B1和B2通过一个总线接口INT彼此连接和断开连接。
主总线B1与下列设备连接一个主CPU10，该CPU是一个主半导体设备，一个主内存11，该主内存由一个RAM构成，一个主DMAC(直接内存访问控制器)12，一个MPEG(运动图像专家组)解码器(MDEC)13，一个图像处理单元(在下文中称作“GPU”)14，包括一个帧存储器15作为图形存储器。GPU14连接到一个CRTC(CRT控制器)16，用于生成视频信号，以便帧存储器15中的数据显示在显示设备3上。
在启动计算机之后，主CPU10通过总线接口INT从次总线B2上的ROM23读取一个自举程序，并运行该自举程序以启动操作系统。它还控制一个媒体驱动器27，从装载在此媒体驱动器27中的介质28读取一个应用程序和数据，并将它们存储在主内存11上。主CPU10进一步执行几何处理(坐标值计算处理)，该处理过程包括为从介质28读取的各种数据，例如，由许多基本图形(多边形)组成的三维对象数据(一个多边形的顶点(代表点)的坐标值)设置关联的对象的形状和移动，并生成一个包括经过几何处理的多边形定义信息(所使用的多边形的形状、其绘制位置、该多边形的组件的类型、颜色或纹理等等的说明)的显示列表。
GPU14是一个保存图形上下文(包括多边形组件的图形数据)的半导体设备。它具有如下功能根据从主CPU10发出的显示列表读取一个必需的图形上下文以执行表现处理(绘制处理)，在帧存储器15上绘制多边形。由于帧存储器15还可以用作纹理存储器，因此帧存储器上存储的任何像素图像都可以作为一个纹理粘贴在要绘制的多边形上。
主DMAC12是这样一个半导体设备它不仅控制到连接到主总线B1的每个电路的DMA传输，而且还根据总线接口INT的情况，控制到连接到次总线B2的每个电路的DMA传输。MDEC13是这样一个半导体设备它与主CPU10并行运行以解压缩那些以诸如MPEG(运动图像专家组)或JPEG(联合图像专家组)之类的格式压缩的数据。
次总线B2与下列设备连接包括一个微处理器的次CPU20、由一个RAM构成的次内存15、一个次DMAC22，一个在上面存储了诸如操作系统之类的控制程序的ROM23，一个声音处理半导体设备(SPU声音处理单元)40，该声音处理单元读取在声音存储器25中存储的声音数据，并产生与音频输出相同的数据，一个通信控制单元(ATM)26，它用于通过网络(未显示)从一个外置设备接收/向一个外置设备发送信息，一个媒体驱动器27，诸如CD-ROM和DVD-ROM之类的介质28装载到该驱动器中，以及一个输入设备31。
次CPU20根据存储在ROM23中的控制程序控制各种操作。次DMAC22是这样一个半导体设备只有在总线接口INT切断主总线B1与次总线B2的连接的情况下，它才控制诸如到连接到次总线B2的每个电路的DMA传输之类的操作。输入单元31包括一个连接终端32，通过它从操作设备35接收输入信号，以及一个连接终端33，通过它从便携式摄像机1接收图像信号，以及一个连接终端34，通过它从便携式摄像机1接收声音信号。
需要注意的是，为了方便起见，本说明书中的说明只针对图像，而不是针对声音。
在具有上述配置的计算机中，主CPU10、次CPU20和GPU14读取并执行存储在记录介质(如ROM23和介质28)中的预先确定的计算机程序，以形成作为图像处理机2操作所需要的功能块一个图像输入设备101、一个图像反转器102、一个对象数据存储设备103、一个对象数据输入设备104、一个对象控制器105、一个重叠图像生成器106、一个差异值检测器107和一个显示控制器108。在图1所示的硬件相互关系中，图像输入设备101由输入设备31和控制它的操作的次CPU20构成。图像反转器102、对象数据输入设备104、对象控制器105和差异值检测器107由主CPU10构成。重叠图像生成器106由GPU14构成。显示控制器108由彼此协作的GPU14和CRTC16构成。对象数据存储设备103在内存区域(如主内存11)中构成，该内存区域对主CPU10可访问。
图像输入设备101通过输入设备31的连接终端33接收便携式摄像机1拍摄的图像。在传入的图像是数字式图像的情况下，图像输入设备101按原样接收该图像。在传入的图像是模拟式图像的情况下，图像输入设备101在对该图像进行模拟/数字转换之后接收该图像。
图像反转器102执行镜像处理，即，将图像输入设备101接收到的图像进行右/左倒转，以形成一个镜像移动图像。
对象数据存储设备103保存对象数据以及它的标识数据，对象数据用于创建一个对象，比如一个菜单(包括子菜单)、一个火柴杆或一个光标。
对象数据输入设备104从对象数据存储设备103接收必需的对象数据，并将它们发送到对象控制器105。
对象控制器105根据指令基于从对象数据输入设备104集成的对象数据生成一个对象图像。具体来说，对象控制器105基于从差异值检测器107发出的差异值确定一个给定对象的显示条件，并生成一个对象图像以实现该显示条件。稍后我们将对差异值进行详细介绍。
重叠图像生成器106在帧内存15中绘制一个合并图像，合并图像通过将从图像反转器102提供的镜像移动图像重叠在对象控制器105生成的对象图像上来获得。
需要注意的是，对象图像可以通过对对象图像的强加处理而不是重叠处理来创建一个合并图像的方式来显示在镜像移动图像上。
差异值检测器107一个帧一个帧地比较由重叠图像生成器106生成的合并图像的镜像移动图像的图像特征，并得出前面的帧和后面的帧的镜像移动图像之间的图像特征的差异值。此外，差异值检测器107还按需要生成一个前面的帧和后面的帧的镜像移动图像之间的差异图像。
图像特征之间的差异值是这样一个值它从量的角度表示镜像移动图像中包括的目标的移动组件的每一帧的变化。例如，差异值表示目标在镜像移动图像中或在移动之后的区域和移动之前的区域之间的一个区域中移动的距离。
当一个镜像移动图像内包括许多目标时，图像特征之间的差异值表示单个目标的移动的变化。因此，通过计算这种差异值来从量的角度计算每一个目标的移动的变化是可行的。
差异图像是这样一个图像它表示在一个给定的时间点镜像移动图像中包括的每一个目标的每一个帧的移动的变化。例如，当一个目标的位置在两个镜像移动图像之间移动时，差异图像是一个由移动之前目标的图像和移动之后目标的图像组成的图像。
为了获得差异值和差异图像，差异值检测器107在主内存11中存储了某一个镜像移动图像作为相对于其他帧的镜像移动图像的“参考图像”。要存储的镜像移动图像可以是一个帧的整个镜像移动图像。或者，它也可以只是目标的一部分的镜像移动图像，因为所需要的只是使获取图像特征之间的差异值成为可能。
在下面的说明中，只要目标的区域和图像的其余的区域之间存在区别，这样的目标区域就叫做“模板图像”。
差异值检测器107检测到的差异值被发送到对象控制器105，并用于控制对象图像的移动。
显示控制器108将重叠图像生成器106生成的合并图像转换成视频信号，并提供给显示设备3。显示设备3使用此视频信号将合并图像(移动图像)显示在屏幕上。
<图像处理方法>
接下来，我们将介绍一个使用上述图像处理系统执行的图像处理方法的实施例。
假设图像处理机2在显示设备3上产生了一个合并图像，该合并图像包括一个操作员的镜像移动图像，它是用便携式摄像机1拍摄的并经过镜像处理，以菜单图像作为一个重叠的对象图像的例子，如图6所示。
作为一个目标，可以选择各种对象中的任何一个，比如操作员的眼睛、嘴和手。这里，我们将结合下列情况进行说明，在合并图像中，操作员的手对应于目标，通过检测手在显示了一个菜单图像的区域的移动量，借助于该菜单图像即可指定指令。
菜单图像的结构是分层次的，如图7所示。当操作员选择最顶层上的“菜单”时，一个下拉图像就会显示出来，上面突出显示了较低层次上的“select1”、“select2”或“select3”中的某一项。当操作员从下拉菜单中选中一个选项时，被选定的下拉图像的较低层次上的菜单的进程确定图像(例如，“process 21”、“brocess 22”、“process23”、“process 24”)就会显示出来。
进程确定图像存储在对象数据存储设备103中，以使它与一个程序关联，以便使主CPU10执行一个确定的进程(事件)。当操作员选中某一个进程确定图像时，与它关联的程序就会运行以执行对应的进程(事件)。
图4和图5显示了图像处理机2启动此类操作所执行的处理过程。
首先，请看图4，当镜像移动图像被更新到后面的帧的镜像移动图像时以及当重叠图像生成器106生成的合并图像也相应地更新时(步骤S101)，差异值检测器107就会比较包括在更新前后的合并图像中的镜像移动图像的图像特征，并计算出它们之间的差异值(步骤S102)。这里计算出的差异值是一个这样的值它表示操作员的手在显示了菜单图像的区域的一个移动。计算出的差异值记录在主内存11中，并不断地累加到某一段时间(步骤S103)。要将差异值累加的原因是操作员操作指令的意图是通过图像处理机2基于操作员的手的许多移动来判断的。如果操作员操作指令的意图可以根据手的单个移动量来确定，那么就根本不需要进行累加了。
差异值检测器107将差异值(累加之和)发送到对象控制器105。
对象控制器105根据从差异值检测器107收到的差异值(累加之和)确定菜单图像的颜色(步骤S104)。例如，可为菜单图像提供两个或更多颜色，每次检测到手的移动时，就会更改颜色。还可以将颜色从透明更改为半透明、不透明和其他。实际差异值(累加之和)将与预先确定的阈值进行比较(步骤S105)。当累加之和小于阈值(步骤S105否)时，例程将回到步骤S101，假设还不足以判断菜单屏幕的 “菜单”已经被选中。
当累加之和等于或大于阈值(步骤S105是)时，对象控制器105确定，菜单屏幕的“菜单”被已经选中，就会显示一个下拉图像，并报告到差异值检测器107(步骤S106)。
从上面的叙述中可以清楚地看出，当在显示了菜单图像的区域检测到的操作员的手的移动的累加之和等于或大于阈值时，就会感觉到菜单图像的“菜单”已经被选中，下拉图像就会显示出来。菜单图像的颜色随手的移动量的累加之和而变化，因此操作员可以知道要选中“菜单”手需要再移动多少的大致量。
此外，由于显示设备3显示了一个镜像移动图像，操作员可以采用与操作员看镜子大致相同的方式执行上述的操作，从而可以提供一个对于操作员来说易于操作的人机界面。
再回过头来看图5，当判断菜单屏幕上的“菜单”已经被选中，即，差异值(累加之和)等于或大于阈值时，差异值检测器107就会作为一个模板图像存储那时的操作员的手(目标)的图像(步骤S107)。
当帧被更新以及菜单图像被其下级层次中的下拉图像相应地替代以显示一个合并图像时(步骤S108)，就会开始进行搜索，以查找操作员的手的图像在一个新的合并图像中的位置。即，差异值检测器107从合并图像中搜索一个与模板图像匹配的图像(步骤S109)。
更具体来讲，它将合并图像分成与模板图像的大小相同的若干个区域，并从所分开的许多区域中的图像中搜索与模板图像最相似的图像。在该区域中与模板图像最相似的图像是，例如，当所比较的图像的像素之间的差的绝对值(或平方)的总和可以表示成一个距离时，其与模板图像的距离是最小距离的图像。
当找到匹配的图像(步骤S110是)之后，判断匹配的图像是否为一个下拉图像(步骤S111)。如果匹配的图像是一个下拉图像(步骤S111是)，那么它就检测该下拉图像属于“select1”、“select2”或“select3”中的哪一个区域(步骤S112)。检测到的下拉图像是操作员所指出和选中的下拉图像。有关被选中的下拉图像的信息将从差异值检测器107报告到对象控制器105。
对象控制器105从对象数据存储设备103中读取被选中的下拉图像所附带的进程确定图像，并生成一个对象图像，此进程确定图像将被附加到对象图像中(步骤S113)。
这样，显示设备3一个接一个地显示操作员所选择的菜单。
在图7的例子中，操作员从最顶层上的菜单图像中选择了“select2”的下拉图像，伴随“select2”的下拉图像的进程确定图像(“process 21”、“process 22”、“process 23”和“process 24”)就会显示出来。
每一个帧的模板图像都会刷新。
更具体来讲，差异值检测器107废弃前面的帧使用的模板图像，并将上面描述的匹配的图像(用于选择下拉图像的操作员的手的的图像)作为一个新的模板图像来存储(步骤S114)。然后，例程就会返回到步骤S108，按照上面描述的方式指定其中一个进程确定图像(“process 21”、“process 22”、“process 23”和“process 24”)。
在步骤S111中，当匹配的图像位于下拉图像区域的外部但又是进程确定图像区域内的任何一个进程确定图像时(步骤S111否，S115是)，该进程确定图像被认为已经被选中，与它关联的进程的内容就被确定，即，程序被启动，使用该菜单图像的进程也就完成(步骤S118)。
当匹配的图像位于下拉图像区域和进程确定图像的外部但又在菜单图像区域内时(步骤S111否，S115否，S116是)，这就意味着，操作员试图选择另一个下拉图像，因此例程就会废弃模板图像，并将匹配的图像作为一个新模板图像存储，并返回到步骤S108(步骤S117)。
在步骤S110中，当没有找到要比较的匹配的图像时(步骤S110否)或者当找到了一个匹配的图像但它位于菜单图像区域外部，那么此时涉及该菜单图像的进程就会终止(步骤S111否，S115否，S116否)。
通过执行上述过程中使用菜单图像的处理，操作员可以轻松地选择带有一个想要的内容的进程，同时可以观察到显示在显示设备3的屏幕上的他或她自己的镜像移动图像。此外，操作员还可以在输入指令的同时随时检查屏幕上他/她自己的行为，这样便可以防止操作员将他/她的眼睛离开显示设备3，与使用键盘之类的输入设备时一样。
可以通过使用根据本实施例的图像处理系统来在对象图像和主CPU10使用的程序之间建立一个关联，以便执行一个将要进行图像处理的事件，这样，相关的事件的处理根据操作员在对象图像上的镜像移动图像内的操作来执行。
作为一个将要被重叠在镜像移动图像上一个对象图像的例子，本实施例显示了这样一个情况使用一个火柴的图像和一个表示该火柴已被点燃并烧起来的火焰的图像。
作为一个前提，火柴的图像(它是对象图像)预先与一个用于在显示设备3上显示一个点燃动画的程序关联，表示火柴已经点燃。然后，当镜像移动图像中的操作员的行为好像是他/她擦着了合并图像内的火柴的图像，点燃动画出现在对应于产生了火焰的一端的火柴的图像的一部分。当操作员擦火柴时，火焰的图像显示出来。
火焰的图像可以使用(例如)递归纹理绘制技术来生成。
“递归纹理绘制”是指这样一个绘制技术从纹理映射所表现的对象的图像重建一个给定图像的纹理，并递归地执行纹理映射。“纹理映射”是这样一个技术通过将纹理的位图数据粘贴在对象的表面，表现一个对象的图像，以增强图像的纹理，该技术也可以通过使用帧存储器15作为纹理存储器来实现。当执行此类递归纹理绘制时，gouraud浓淡处理将会应用到要在上面绘制纹理的多边形上。换句话说，gouraud浓淡处理会计算出多边形的每一顶点的亮度，并插入到各个顶点之间以获得多边形内的亮度(此技术叫做“gouraud纹理映射”)。
为提供火焰图像，形成火焰图像的网孔内的各个顶点的位置使用随机数字移动，如图10所示，并确定出新顶点的位置。顶点的亮度也可以基于随机数字来确定。顶点的位置和顶点的亮度在每次帧更新时确定。形成火焰图像的网孔的每一单元都是一个多边形。
在每一个多边形上，变成在帧存储器15中绘制的火焰的基础的图像是通过上述递归纹理绘制方法来构成的，上述gouraud浓淡处理基于多边形的每一个顶点的亮度来应用。这样，便使得在火焰上方冒烟、火焰闪烁以及火焰变暗淡可以更逼真地产生出来。
假设图像处理机2产生了一个如图9所示的合并图像，在显示设备3上，火柴的图像重叠在操作员的镜像移动图像上。这里，我们假设目标是操作员的手。通过检测手在显示了火柴图像的区域的移动量，与火柴的图像关联的程序会被执行，点燃动画就会显示在显示设备3上。
图8显示了图像处理机2实现这样一个操作所执行的处理过程。
当镜像移动图像被更新到后面的帧的镜像移动图像时以及当重叠图像生成器106生成的合并图像也相应地更新时(步骤S301)，差异值检测器107就会比较包括在更新前后的合并图像中的镜像移动图像的图像特征，并计算出火柴图像的点燃部分的图像之间的差异值，并生成火柴图像的点燃部分之间的差异图像(步骤S202)。这里计算出的差异值是这样一个值它从量的角度表示手在火柴图像的点燃部分的周围的移动。生成的差异图像是这样一个图像它由手在火柴图像的点燃部分的周围的移动前后手的图像组成。
计算出的差异值记录在主内存11中，并不断地累加到某一段时间(步骤S203)。
差异值检测器107将累加之和(它是差异图像和差异值的累加之和)发送到对象控制器105。
对象控制器105将根据从差异值检测器107收到的累加之和确定差异图像的颜色，并基于此差异图像生成一个火焰图像(步骤S204)。火焰图像是通过下列方式生成的，例如，将差异图像分成若干个网孔，并基于这些网孔使用上述的递归纹理。火焰图像的颜色是根据差异图像的颜色来确定的。生成的火焰图像将重叠在火柴图像的点燃部分。
这样，根据手的移动量添加了颜色的火焰图像显示在这样的区域该区域显示了手在火柴图像的点燃部分周围的移动。
根据差异值的累加之和来确定火焰图像的颜色这一做法可以使下面的做法成为可能例如，表示出显示在火柴的点燃部分的火焰图像的颜色随手的移动量而逐渐变化的情况。
然后，对象控制器105将表示火焰图像的颜色的值与预先确定的阈值进行比较(步骤S205)。例如，如果火焰图像的颜色用R、G和B颜色值来表示，那么就可以使用这些值的总和。
当表示颜色的值等于或大于阈值(步骤S205是)时，对象控制器105决定运行一个程序，以便显示表示火柴已经点燃的点燃动画(步骤S206)。
即，是否启动点燃动画是根据火焰图像的颜色来确定的。例如，当根据手的移动量火焰图像的颜色从红色变为黄色时，点燃动画在火焰图像变为黄色时启动。操作员可以知道为启动点燃动画手需要再移动多少的大致量。
重叠图像生成器106，通过将一个已经将点燃动画重叠在对象图像(该对象图像包括火柴图像和火焰图像)上的图像重叠在便携式摄像机1获取的镜像移动图像上，从而生成一个合并图像(步骤S207)。点燃动画显示在火柴图像的点燃部分。
当表示颜色的值小于阈值(步骤S205否)时，对象控制器105将火焰图像重叠在火柴图像上面的对象图像发送到重叠图像生成器106。重叠图像生成器106，通过将此对象图像重叠在便携式摄像机1获取的镜像移动图像上，从而生成一个合并图像(步骤S208)。
然后，(例如)如果从操作设备35收到一个终结处理的指令，处理就终止(步骤S209是)。如果没有收到终止处理的指令(步骤S209否)，例程就返回到步骤S201，显示控制器108就在显示设备3上显示在步骤S207或步骤S208中生成的合并图像。
从上面的叙述中可以清楚地看出，系统执行这样一个进程根据操作员在火柴图像的点燃部分的周围移动他/她的手的多少，确定是否执行一个程序，以便显示与火柴图像关联的点燃动画。
由于操作员可以执行旨在执行各种事件的操作同时又可观察他自己或她自己的镜像移动图像，因此进行旨在执行各种进程的输入操作是可以实现的，这些操作可以比传统的使用诸如键盘和鼠标之类的输入设备的操作更轻松。
下面我们将介绍另一个实施例。作为一个前提，假设图像处理机2在显示设备3上产生一个带有光标(指针)图像的合并图像，这是一个重叠在操作员的镜像移动图像上的对象图像，如图13(a)所示。还假设镜像移动图像中包括许多目标，如操作员的手、眼睛和嘴。
这里，我们将结合下述情况进行说明操作员的手的移动在许多目标中比较突出，光标图像后面跟着手的这种移动。
如图13(a)所示，光标图像是一个类似于脸的图像，其中眼睛比较突出，这样，便可以使眼睛跟随目标转动。此外，光标图像跟随目标的移动而移动。更具体来讲，当光标图像远离目标时，光标图像向目标方向移动。当光标图像捕捉到目标时，光标图像跟随目标的移动。
图11和图12显示了图像处理机2启动此类操作所执行的处理过程。
根据图11，当镜像移动图像被更新到后面的帧的镜像移动图像时以及当重叠图像生成器106生成的合并图像也相应地更新时(步骤S301)，差异值检测器107就会比较包括在更新前后的合并图像中的镜像移动图像的图像特征，并计算出它们之间的差异值(步骤S302)。这里计算出的差异值是这样的一个值，它量化了操作员的手、眼睛、嘴等部位的移动，这些部位已经变成了镜像移动图像中的候选目标。
差异值检测器107将每一个目标的差异值发送到对象控制器105。
对象控制器105基于从差异值检测器107(步骤S303)发出的每一个目标的差异值检测到一个目标。例如，它检测一个其差异值达到最大值的目标。在这个例子中，假设操作员的手作为目标被检测到。
在检测到目标之后，对象控制器105根据目标确定光标图像的显示方式。
首先，对象控制器105确定在步骤S310中更新的合并图像中的目标是否位于光标图像的外部(步骤S304)。如果目标在光标图像内(步骤S304否)，那么对象控制器105就判断光标图像已经捕捉到目标(步骤S308)。
如果目标在光标图像外部(步骤S304是)，那么对象控制器105就判断光标图像还没有捕捉到目标，并执行处理，以确定光标图像的显示方式。即，对象控制器105生成一个光标图像，以使光标图像中的眼睛跟随目标转动。
此外，它还根据光标图像和目标之间的距离确定光标图像向目标移动的速度(步骤S306)。光标图像越是从离目标较远的地方移动，这种速度就越快。这样，便可以获取一个图像，在该图像中，光标图像离目标越远，光标向目标移动得越快。
重叠图像生成器106将这样一个光标图像重叠在后面的帧的镜像移动图像上，以生成一个合并图像，如图13(a)所示(步骤S307)。然后，例程回到步骤S301并对生成的合并图像执行相同的操作。
例程执行步骤S301到S307的操作，直到光标图像捕捉到目标，即，直到在步骤S304中判断出目标位于光标图像内为止。
此类操作可以提供一个如图13(a)所示的图像，在该图像中，光标图像中的眼睛跟随目标(手)转动，光标图像跟随目标移动。
然后，再回过头来看图12，当光标图像捕捉到目标时，差异值检测器107将此时的目标的图像保存为模板图像(步骤S309)。例如，它将镜像移动图像的与光标图像重叠的那一部分作为模板图像。
然后，差异值检测器107从图像反转器102(步骤S310)获取后面的帧的镜像移动图像。差异值检测器107从获取到的镜像移动图像中搜索匹配存储的模板图像的图像的位置(步骤S311)。
更具体来讲，它将获取的镜像移动图像分成与模板图像的大小相同的若干个区域，并从所分开的许多区域中的图像中搜索与模板图像最相似的该区域中的图像。在作为搜索结果检测到匹配的图像之后，它将检测到的图像的位置报告到对象控制器105。
对象控制器105确定从差异值检测器107报告的位置作为后面的合并图像的光标图像的位置(步骤S312)。
重叠图像生成器106将在步骤S312中对象控制器105确定的位置处的光标图像重叠在与在步骤S310中由差异值检测器107获取的镜像移动图像相同的镜像移动图像上，并生成一个合并图像，如图13(b)所示(步骤S313)。然后，帧被更新，显示控制器108显示出显示设备3生成的合并图像(步骤S314)。
通过在目标被捕捉到之后重复上述操作(步骤S309到步骤S314)，就会提供一个图像，在该图像中光标图像跟随目标移动。更具体来讲，当光标图像如图13(b)所示捕捉到目标(手)之后，光标图像此后显示在目标的目的地，无论目标移动到哪里。甚至当操作员伸展他的手时，如图13(b)到图13(c)所示，光标图像显示在操作员的伸展的手尖上，和手(被视为目标)的移动一起。
通过使用光标图像，当从如实施例1所示的菜单图像中选择一个进程时，操作员一眼即可发现他的或她的身体的哪一部分作为光标在起作用(例如)。
此外，如果(例如)光标图像的移动轨迹被设置为保留和显示，则可以在显示设备3上显示目标的移动的轨迹。这样，便可以(例如)显示在显示设备3的空间上绘制的照片和字符等等。
从前述的说明中可以清楚地看出，当操作员需要输入数据或其他内容时，本发明可使操作员轻松地使用镜像移动图像输入或选择数据，同时观察显示在显示设备上的合并图像，从而可以提供对用户友好的输入界面而不必慢慢地习惯。
在不会偏离本发明的广泛的实质和范围的情况下可以采用各种实施例、进行更改和修改。上面所介绍的实施例只作说明，并不限制本发明的范围。本发明的范围由所附的权利要求书定义而不是由这里的实施例定义。在所附的权利要求书的范围内的各种实施例和它们的同等情况都属于本发明的范围。
权利要求
1.一台图像处理机，它包括图像捕获装置，用于捕获一个镜像移动图像，该图像的其中一部分包括一个移动目标；图像生成装置，用于根据所述图像捕获装置所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像；以及控制装置，用于将图像生成装置生成的对象图像与所述捕获的镜像移动图像合并，并在一个预先确定的显示设备上显示合并图像。
2.一台图像处理机，它包括图像捕获装置，用于捕获一个镜像移动图像，该图像的其中一部分包括一个时间序列上的移动目标；检测装置，用于通过检测当前镜像移动图像和紧前面的镜像移动图像之间的图像特征来检测所述目标和它的移动组件；图像生成装置，用于生成一个表示预先确定的对象的对象图像，以使对象图像随所述检测装置检测到的目标的移动组件而变化；以及控制装置，用于将图像生成装置生成的对象图像与所述捕获的镜像移动图像合并，并在一个预先确定的显示设备上显示合并图像。
3.根据权利要求2所述的图像处理机，其特征在于所述图像生成装置被配置为生成所述对象图像，以使对象图像跟随所述检测到的目标的移动。
4.根据权利要求2图像处理机，进一步包括一个装置，用于作好准备，以根据所述目标的移动组件基于生成的对象图像执行所需要的处理。
5.根据权利要求2所述的图像处理机，进一步包括一个装置，用于将通过合并所述图像生成装置生成的对象图像和所述当前镜像移动图像而获得的合并图像，与一个模板图像，即包括在所述紧前面的镜像移动图像中的目标的图像进行比较，检测所述合并图象中其图像特征与所述模板图像最相似的一部分，并作好准备，以在检测到的合并图像的一部分的图像包括所述对象图像的情况下，基于对象图像执行所需要的处理。
6 根据权利要求2所述的图像处理机，其特征在于所述对象图像与预先确定的处理关联，所述图像处理机进一步包括一个装置，该装置用于在所述检测装置检测到的所述目标的移动组件满足一个预先确定的条件的情况下，执行与所述对象图像关联的处理。
7.根据权利要求2所述的图像处理机，其特征在于所述镜像移动图像包括许多所述目标，所述检测装置被配置为检测所述许多目标中的每一个目标的移动组件，并基于所述许多目标的被检测到的移动组件检测一个目标，以及所述图像生成装置被配置为根据所述检测装置检测到的所述一个目标的所述移动组件更改所述对象图像。
8.一种图像处理方法，该方法包括下列步骤将一个镜像移动图像捕获到一台图像处理机中，该图像的其中一部分包括一个移动目标；所述图像处理机根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，将生成的对象图像与捕获的镜像移动图像合并，以在一个预先确定的显示设备上显示合并图像。
9.一个计算机程序，用于使一台连接到显示设备的计算机执行以下处理过程捕获一个镜像移动图像，该图像的其中一部分包括一个移动目标；根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像；以及将生成的所述对象图像与捕获的镜像移动图像合并，以在所述显示设备上显示合并图像。
10.一个计算机可读的记录介质，它记录根据权利要求9所述的计算机程序。
11.一个半导体设备，它集成到一个安装在计算机上的装置，该计算机与一个显示设备相连接，该半导体设备使计算机具备如下装置的功能用于捕获一个镜像移动图像的装置，该图像的其中一部分包括一个移动目标；一个装置，用于根据所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像；以及一个装置，用于将生成的所述对象图像与捕获的镜像移动图像合并，以在所述显示设备上显示合并图像。
全文摘要
本发明提供了一种图像处理机，以便使用由图像拍摄装置或其他设备拍摄的图像作为输入命令的输入界面。本发明提供了一台图像处理机，包括一个图像捕获装置，用于捕获镜像移动图像，该图像的其中一部分包括一个移动目标，一个图像生成装置，用于根据图像捕获装置所捕获的镜像移动图像中包括的目标的移动，生成一个表示预先确定的对象的对象图像，以及一个控制装置，用于将图像生成装置生成的对象图像与捕获的镜像移动图像合并，并在一个预先确定的显示设备上显示合并图像。
文档编号G06T13/00GK1393003SQ01803043
公开日2003年1月22日 申请日期2001年10月4日 优先权日2000年10月6日
发明者大场章男 申请人:索尼计算机娱乐公司