图像投影设备及其控制方法

专利名称：图像投影设备及其控制方法
技术领域：
本发明涉及一种对图像进行投影的图像投影设备及其控制
方法，尤其涉及一 种能够利用投影图像(projected image)作为用 于操作该图像投影设备的用户界面的图像投影设备及其控制方 法。
背景技术：
传统上，以投影仪为代表的图像投影设备被设计成对由计 算机、媒体播放器等输出的视频图像进行投影以供观看，并且 该图像投影设备不仅用于会议室和商店中而且当然还用于家庭内。
传统的投影仪由于被设计成在大屏幕上投影，因此本身相 对大，并且在使用时通常将其固定至天花板或放置在桌子或地 板上。
一般使用设置在投影仪的主体上的各种按钮或利用作为投 影仪的配件而提供的远程控制装置来执行对该类型投影仪的操 作。
与之相比，为了在4人或5人的小组内观看图像，已经提出 了为移动电话配备内置式小型图像投影设备(参见日本特开 2005-236746)。
当使用内置于移动电话的图像投影设备对视频图像进行投 影时，设想将手持移动电话并将其保持在手中。于是，认为将 出现在投影期间操作该图像投影设备、例如切换图像或改变图 像投影设备的设置的需求。
在这种情况下，极有可能使用移动电话通常设置有的电话按钮及键来执行操作。然而，在保持移动电话并对图像进行投 影的同时操作按钮及键，这导致投影地点变动并且投影图像的
大小变动，而且不易使用该按钮及^:。
此外，为移动电话提供用于操作图像投影设备的独立的远 程控制装置是不现实的。
因而，传统上，不存在考虑了以下情况的便于用户操作的
建议图像投影设备小型化，以至于在使用时能够将其保持在手中。

发明内容
鉴于上述问题而构思了本发明，并且本发明提供了一种用 户能够容易地操作的图像投影设备及其控制方法。
根据本发明的方面，提供了一种图像投影设备，包括投 影单元，用于将输入图像投影至投影面上；获得单元，用于获 得包含投影至所述投影面上的图像的范围的拍摄图像；生成单 元，用于生成所述拍摄图像与所述输入图像之间的差分图像； 区域检测单元，用于基于所述差分图像，检测与用于操作所述 图像投影设备的操作物体相对应的区域；位置检测单元，用于 检测与由所述区域;险测单元检测到的与所述才喿作物体相对应的 区域的特定部位的位置有关的信息；判断单元，用于基于由所 述位置检测单元检测到的与所述特定部位的位置有关的信息， 判断由所述操作物体执行的操作；以及控制单元，用于执行与 由所述判断单元判断出的操作相对应的动作。
根据本发明的另一方面，提供了一种用于图像投影设备的 控制方法，包括投影步骤，用于利用投影单元将输入图像投 影至投影面上；获得步骤，用于获得包含投影至所述投影面上 的图像的范围的拍摄图像；生成步骤，用于生成所述拍摄图像与所述输入图像之间的差分图像；区域检测步骤，用于基于所
述差分图像，检测与用于操作所述图像投影设备的操作物体相
对应的区域；位置^企测步骤，用于纟企测与在所述区域检测步骤 中检测到的与所述操作物体相对应的区域的特定部位的位置有 关的信息；判断步骤，用于基于在所述位置检测步骤中检测到 的与所述特定部位的位置有关的信息，判断由所述操作物体执 行的操作；以及控制步骤，用于控制与在所述判断步骤中判断 出的操作相对应的动作。
根据以下参考附图对典型实施例的说明，本发明的其它特 征将变得清楚。


图1是示出根据本发明第 一 实施例的图像投影设备10 0的示 意结构示例的框图2是示出根据本发明第 一 实施例的图像投影设备100中的 投影图像消除单元10 4的结构示例的框图3是示出根据本发明第 一 实施例的图像投影设备100中的 运动物体区域纟企测单元10 5的结构示例的框图4是示出根据本发明第 一 实施例的图像投影设备100中的 运动物体区域;险测单元105的另 一结构示例的框图5A 5D是示意性示出根据本发明第 一 实施例的图像投影 设备的使用中状态的图6是示意性示出在根据本发明第 一 实施例的图像投影设 备100中检测用户操作的图7是示出在根据本发明第 一 实施例的图像投影设备100中 由照相机反馈单元212输出的校正信息的示例的图8A和8B是示出在根据本发明第 一 实施例的图像投影设备100中由拍摄图像校正单元206所执行的校正处理的示例的
图9是示出在根据本发明第 一 实施例的图像投影设备10 0中 设置运动物体区域检测单元10 5的有效区域的示例的图IO是示出根据本发明第二实施例的图像投影设备1000的 示意结构示例的框图ll是示出根据本发明第二典型实施例的图像投影设备 10 0 0中的特定形状区域检测单元1014的结构示例的框图12是示意性示出在根据本发明第二实施例的图像投影设 备1000中检测用户操作的框图13是示出根据本发明第三实施例的图像投影设备1300的 示意结构示例的框图；以及
图14是用于解释根据本发明第三实施例的图像投影设备 1300的操作的流程图。
具体实施例方式
现在将根据附图来详细说明本发明的优选实施例。 第一实施例
图1是示出根据本发明第 一 实施例的图像投影设备10 0的示
意结构示例的框图。
在图像投影设备100中，经由GUI重叠单元113将从端子101 输入的图像信号输入至投影单元102,并将其投影至未示出的投 影面(屏幕、桌子等)上。照相机单元103用于将投影面上包含正 从投影单元10 2投影来的图像(投影图像)的图像作为运动图像 而拍摄。
图5A示出利用本实施例中的图像投影设备100进行的投影 和拍摄。将从投影单元102的光学系统投影来的投影图像121投影至桌子的顶板等的投影面120上，并同时利用照相机单元103 拍摄投影面12 0的包含投影图像121的区域12 2 。
图5B 5D是示意性示出本实施例中用户操作图像投影设备 IOO的方法。本实施例中的图像投影设备100检测对投影图像的 用户指示，并且基于所检测到的用户指示进行操作。
图5B示出从正上方观看到的投影图像121。然后，如图5C 所示，本实施例中的图像投影设备1 OO将用于操作图像投影设备 100的GUI 123叠加在投影图像121上。GUI 123包括4妄4丑 116 118，并且用户能够用手按下按钮116 118中的任意一个来 指示与按钮116 118相对应的操作。通过检测到用户的手在投影 图像上，可以触发GUI 123的显示。
如图5D所示，当检测到操作GUI的手的特定部位(例如，指 尖)放置在按钮118上时，图像投影设备100在指示了与按钮118 相对应的纟喿作的々i:没下工作。
以下将说明用于实现这些操作的具体动作。
从投影单元102对从端子101输入的图像信号进行投影，并 将它们供给至投影图像消除单元10 4 。
在投影图像消除单元104中，将由照相机单元103拍摄到的 图像与来自投影单元102的投影图像，即来自端子101的输入图 像进行比较，以从该拍摄图像中消除正投影的图像分量。投影 图像消除单元104/人照相机单元103接收照相4几特性信息，并且 基于投影图像和拍摄图像之间的比较结果来控制照相机单元 103，从而提高消除投影图像时的精确度。此外，投影图像消除 单元10 4从投影单元10 2接收投影仪特性信息，并且基于投影图 像和拍摄图像之间的比较结果来控制投影单元102和照相机单 元103,从而再次提高消除投影图像时的精确度。具体地，例如， 可以将作为投影仪特性信息的例子的色温信息等用于对照相机图2是示出本实施例中的图像投影设备1 0 0中的投影图像消
除单元104的结构示例的框图。从端子201输入投影单元102正在 投影的输入图像(来自GUI重叠单元113的输出)，而从端子202 输入照相机单元10 3正在拍摄的图像(照相机拍摄图像)。
输入图像校正单元205基于以下对输入图像信号进行校正
-经由端子203从投影单元102供给的投影仪特性信息(例 如，色温信息)；
-从比较电路208获得的校正后的输入图像与校正后的照 相机拍摄图像之间的差分图像(difference image);以及
國从投影仪反馈单元211供给的校正信息，
从而使差分图像中校正后的输入图像分量的残差(residual) 最小化。这种类型的校正包括例如通过取消投影仪固有的及当 前设置的颜色特性而进行的校正。
另 一方面，拍摄图像校正单元206基于以下对拍摄图像信号
进行校正
-从端子204供给的照相机特性信息；
-从比较电路208获得的校正后的输入图像与校正后的照
相机拍摄图像之间的差分图像；以及
画从照相机反馈单元212供给的校正信息，
从而使差分图像中输入图像分量的残差最小化。
这种类型的校正包括例如
-照相机固有的颜色特性和当前设置的颜色特性； -亮度的校正；
-如图8A所示，对由于投影而导致的几何变形进行的校正 (从由实线表示的梯形区域801至由虛线表示的矩形区域802的 才交正)；以及-如图8B所示，为消除拍摄视角的不一致而对投影视角的 区域进行的裁剪和放大(从由实线表示的拍摄范围8 0 3的图像至 由虚线表示的范围804的图像的放大)。
在本实施例中，为了例示的目的，分别示出了输入图像校 正单元205和拍摄图像校正单元206。然而，还可以通过使拍摄 图像校正单元206执行由输入图像校正单元205进行的处理来缩 小电路规模。
照相机时间延迟补偿单元207补偿在由冲更影单元102对输入 图像进行投影并且由照相机单元10 3对其进行拍摄的路径中导 致的时间延迟。
比较电路2 0 8将校正后的输入图像与校正后的照相机拍才聂 图像进行比较以获得差分，并且阈值处理单元2 09提取出预定阈 值以上的信号以抑制残差分量和噪声分量的影响。这允许实现 消除投影图像，其中抑制了投影图像中由于运动或形状而导致 的误检测。作为从拍摄图像消除输入图像即投影图像的结果， 将来自阈值处理单元209的输出供给至运动物体区域检测单元 105。
投影仪反馈单元211基于校正后的输入图像和校正后的照 相机拍摄图像，将用于使投影单元10 2的操作最优化的校正信,包-从端子213输出至投影单元102。作为该校正信息，可以想到例 如用于对投影仪侧的图8A所示的投影变形进行校正的信息。
照相机反馈单元212基于校正后的输入图像和校正后的照 相机拍摄图像，将用于使照相机单元10 3的操作最优化的校正信 息从端子214输出至照相4几单元103。作为该4交正信息，可以想 到例如用于通过改变照相机的变焦倍率来校正图7所示的投影 视角702和拍摄视角701之间的关系的信息，即用于进行校正使 得拍摄视角701^投影视角702的信息。要注意，可以控制用于对输入图像和拍摄图像进行校正的 所述处理，从而将该处理作为在启动图像投影设备期间的校准 处理的一部分而执行，但之后不再执行该处理。可选地，可以 定期地执行该处理，或者可以基于用户的指示而执行该处理。
对于不执行校正处理的时间段，输入图像校正单元205和拍摄图 像校正单元2 06在不对输入图像和拍摄图像进行校正的情况下 将该输入图像和拍摄图像分别供给至比较电路208。另外，投影 仪反馈单元211和照相机反馈单元212在该时间段内不输出校正信息。
返回图1，运动物体区域检测单元105从消除了投影图像的 拍摄图像中检测被看作为运动物体的区域。在本实施例中，如 图5B 5D所示，检测手指的区域。
图3是示出本实施例中的图像投影设备100中的运动物体区 域检测单元105的结构示例的框图。
将消除了投影图像的拍摄图像从投影图像消除单元104输 入至端子301 。将消除了投影图像的拍摄图像写入存储器303中。 存储器303被配置为能够存储至少两帧(画面)的拍摄图像。
在差分电路3 0 2中，在所输入的消除了投影图像的拍摄图像 与先前的消除了投影图像的拍摄图像之间生成差分图像，其中 该先前的拍摄图像被存储器303延迟了预定的时间段。然后，将 该差分图像供给至阈值处理电路304。换言之，差分电路302生 成由投影图像消除单元104在不同时刻生成的多个差分图像之 间的差分图像。
为了消除噪声分量，阚值处理单元304仅将预定阈值以上的 信号作为时间变化分量而提取，并将这些信号供给至有意义区 域(significant region)判断单元305。
有意义区域判断单元305将时间变化分量中除孤立点(孤立像素)等以外的封闭区域判断为有意义区域，并且将与该有意义
区域相关的信息(用于指定该区域的信息)从端子3 0 6输出。可以 通过将除孤立点以外的封闭区域判断为有意义区域来限制将背 景中的图案等误检测为运动物体的可能性。
图4是示出本实施例中的图像投影设备100中的运动物体区 域检测单元105的另 一结构示例的框图。
根据运动物体的才全测间隔T与运动物体的运动之间的关 系，图3的结构示例可能产生运动物体区域检测不能够检测到期 望运动物体(这里，手指)的时间段。因此，在图4的结构例子中， 将紧挨在检测到运动物体之前的图像作为背景图像(不具有运 动物体的图像)而保持。这允许即使在所检测到的运动物体在途 中维持静止的情况下也可判断有意义区域。尤其在如在重放静 止图像的情况一样，输入图像即投影图像是静止的情况下，该 结构是有效的。
将消除了投影图像的拍摄图像从投影图像消除单元104输 入至端子401 。经由处于闭合状态下的开关407将该消除了投影 图像的拍摄图像写入存储器403中。存储器403被配置为能够存 储拍摄图像，并且被配置为保持供给至差分电路402的先前的拍 摄图像，直到有意义区域判断单元405完成判断为止。
在差分电路402中，在所输入的消除了投影图像的拍摄图像 和先前的消除了投影图像的拍摄图像之间获得差分图像，其中 先前的拍摄图像被存储器403延迟了预定的时间段。然后，将该 差分供给至阈值处理电路404。
为了消除噪声分量，阈值处理电路40W又将预定阈值以上的 信号作为时间变化分量而提取，并将这些信号供给至有意义区 域判断单元405。
有意义区域判断单元405以与有意义区域判断单元305相同的方式判断有意义区域，并且将与该有意义区域相关的信息(用
于指定封闭区域的信息)从端子406输出。此外，有意义区域判 断单元405实行控制以在存在被检测为有意义区域的闭合区域 的情况下断开开关407。这防止了新的拍摄图像被写入存储器 403中，从而将用于检测有意义区域的不包含运动物体的图像保 持在存储器403中，作为背景图像。
要注意，还可以通过限制运动物体区域^r测单元105的有效 区域，来防止误检测由于照相机抖动而导致的图像帧边缘处的 不必要运动。
图9示出运动物体区域测单元10 5的有效区域的示例。
区域A901是与图像的外围相邻的区域，并且被看作为以下 区域特别是在手持图像投影设备100的情况下，由于照相机抖 动，该区域极有可能被包含在摄像区域中，从而导致运动物体 的误才企测。因此，对于区域A901，可以-使用于将闭合区域判断 为有意义区域的阈值高于应用于除图像的外围部分以外的区域 B 902的阈值。可选地，可以从对闭合区域的检测排除区域A 901，从而仅从区域B 902检测闭合区域。
由此，如上所述，可以通过设置这种有效区域来抑制由照 相机抖动而导致的对有意义区域的误检测。
返回图1,热点位置^r测单元106从由运动物体区域检测单 元105检测到的有意义区域中，检测用于判断GUI的操作的特定 部位(称为热点(hot spot))的位置。在本实施例中，乂人有意义区 域中检测被判断为手指的前端的部位，并JU企测该部位的位置 (热点位置)。对于执行该检测的具体方法，可以使用如根据区 域前端检测或圆形区域检测的指尖检测方法等的已知技术，并 且由此这里将省略对其的详细说明。将由热点位置检测单元10 6 检测到的热点位置供给至热点运动测单元10 7 、热点位置存储器108和命令解码单元109。
重叠GUI控制单元111基于从端子112供给的装置工作模式 信息和来自热点位置检测单元106的检测结果，确定用于操作图 像投影设备10 0的GU I (操作GU I)的显示位置。装置工作模式信 息指例如从该装置的系统控制器(或模式控制器)所提供的如播 放和停止等的工作状态。基于该装置工作模式信息，可以显示 形状与该工作状态相应的GUI。重叠GUI控制单元111基于才艮据 装置工作模式信息的GUI与热点之间的相对位置，确定要重叠 显示的GUI图像及其显示位置，并将该GUI图像和显示位置输出 至GUI重叠单元113。重叠GUI控制单元111将例如相对于所检测 到的热点位置易于操作的位置确定为显示位置。具体地，例如， 可以将紧接在显示之后未隐藏在手后方的或未从画面突出的邻 近位置确定为显示位置。
此外，GUI重叠单元113根据来自重叠GUI控制单元111的显 示位置和GUI图像，将预先准备的操作GUI图像叠加在从投影单 元102投影来的图像上，并将叠加在从投影单元102投影来的图 像上的该操作GUI图像供给至投影单元102。这导致将操作GUI 图像重叠显示(叠加)在投影图像上。
例如，如图5C所示，当由运动物体区域4企测单元105将用 户的手的区域才全测为有意义区域并且由热点位置4全测单元106 将指尖的位置检测为热点位置时，可以显示操作G UI 。
热点运动测单元10 7将由热点位置检测单元10 6所检测到 的热点位置与热点位置存储器10 8中所存储的先前的位置历史 记录进行比较，以4佥测热点的运动。热点运动检测单元107将与 所检测到的热点的运动相关的信息(例如，表示运动的类型(如 环形运动和直线运动等)的信息)输出至命令解码单元109。
命令解码单元109根据以下来判断用户对才喿作GUI执行的操作，生成相应的装置控制命令并将该装置控制命令输出至系
统控制单元110:
-在热点位置纟全测单元10 6中测到的热点位置；
-从热点运动检测单元107供给的与热点的运动相关的信
息；以及
-从重叠GUI控制单元111供给的GUI显示位置信息。 系统控制单元110控制附图中未示出的组件，并且根据装置 控制命令执行处理。例如，如果该装置控制命令是用于切换投 影图像的命令，则从附图中未示出的存储装置读取接着要显示 的图像数据，并经由端子IOI将该图像数据供给至GUI重叠单元 113。
作为由命令解码单元1 09所确定的#:作的示例，可以想到以下。
例如，在图5D中，在操作GUI上的特定区域上例如在热点 位置的环形运动中才企测到与对应于特定姿势的热点运动有关的 信息的情况下，判断为指示了分配给该特定区域的操作。
在如在重放静止图像的功能中，运动物体区域检测单元105 采用图4的结构的情况下，即使在物体处于静止状态的情况下也 可以检测到该热点位置。因此，在热点在预定的时间段内在特 定区域上维持静止的情况下，也可以判断为指示了分配至该特 定区域的操作。
在各种情况下，命令解码单元109根据所判断出的操作生成 装置控制命令，并将该装置控制命令输出至系统控制单元110。
图6是示意性示出在本实施例中的图像投影设备100中检测 用户操作的图。
在图6的例子中，输入图像601即投影图像是脸标记，并且 在投影面上存在用作背景的星形图案。因此，在拍摄图像602中包含了脸标记和星形图案两者。检测间隔T与由在图3的存储 器3 0 3中进行写入的间隔所确定的4全测处理的间隔相对应。在图 6的例子中，假定在经过检测间隔T之后，作为对操作GUI进行 操作的物体的手进入照相机单元10 3的摄像范围。
要注意，尽管图6中未示出，在叠加了操作GUI的情况下， 该操作GUI图像包含于输入图像601中。
在图6的S1中，在投影图像消除单元104中从拍摄图像602 消除输入图像601(即，投影图像)。不管输入图像601中是否包 含操作GUI图像，通过该处理所荻得的差分图像603都仅包含星 形背景图案。此外，还以相同的方式处理检测间隔T之后的图 像。换言之，从拍摄图像604去除输入图像601。不管输入图像 601中是否包含操作GUI图像，由此获得的图像605都包含已进 入摄像区域的用户的手606和星形图案。
在S2中，运动物体区域检测单元105将在时间上分隔检测 间隔T的、均消除了投影图像的两个差分图像603和605进行比 较，并检测运动物体区域。该处理消除了投影图像和未随时间 变化的背景图案，从而获得了仅包含手606的图像608。由此， 将手606的区域判断为有意义区域，即运动物体区域。
在S3中，热点位置检测单元106从在S2中被判断为运动物 体区域的区域中检测要用于检测对操作GUI进行的操作的特定 部位(这里为指尖)的位置，作为热点位置607。
在S4中，热点运动检测单元107根据在S3中检测到的热点 位置607的时间变化而4全测热点的运动。
在S5中，在显示了操作GUI 609的情况下，命令解码单元 109指定操作GUI 609的显示位置以及用户根据在S4中检测到
的热点的运动和该热点的位置而指示的操作，并输出相应的装 置操作命令。如上所述，根据本实施例，叠加在投影图像上的GUI图像 可用于对图像投影设备执行操作，而无需使用图像投影设备自 身的键或按钮。因此，即使在利用手持的图像投影设备执行投 影的情况下，也可以在抑制投影图像模糊或变形的可能性的同 时操作该图像投影设备。因此，本实施例特别优选适用于蜂窝 式电话等的小型装置。此外，由于基于拍摄图像之间的差分检 测例如手的用于操作GUI图像的物体，因此处理容易，并且无 需使用红外线照相机等的特殊摄像设备。特別地，目前的蜂窝 式手才几已经具有内置式照相^/L,并且可以-使用现有照相才几而无 需增加新的照相才几。此外，将未检测到用于操作GUI图像的物体(操作物体)的拍 摄图像作为背景图像而保持，这允许更可靠地对操作物体进行 检测。第二实施例图10是示出根据本发明第二实施例的图像投影设备的示意 结构示例的框图。在图10中，利用相同的附图标记来表示与图1的组件相同的组件，并且将省略对其的重复说明。如从图l和图IO之间的比较清楚可见，本实施例中的图像投 影设备1000的特征在于，代替运动物体区域检测单元105,设置 了特定形状区域才企测单元1014和特定形状存4诸器1015。因而， 以下说明集中于该特征结构。特定形状区域检测单元1014从自投影图像消除单元104输 出的消除了投影图像的拍摄图像中，检测被认为与特定形状存 储器1015中所存储的特定形状具有高相似度的区域。在本实施 例中，假定将与例如图5C和5D所示的手的形状有关的形状特征 量信息作为与特定形状有关的信息存储在特定形状存储器1015 中。此外，特定形状区域检测单元1014基于与手的形状有关的18形状特征量信息，检测被认为与手的形状具有高相似度的区域作为特定形状区域。然后，热点位置检测单元106将所检测到的特定形状区域的特定部位4企测为热点，并4全测其位置(热点位 置)。图ll是示出本实施例中的图像投影设备1000中的特定形状 区域检测单元1014的结构示例的框图。从投影图像消除单元104将消除了投影图像的拍摄图像输 入至端子1101。在空间滤波器单元1102中，执行预定的平滑化 (smoothing)以消除随才几噪声分量。形状检测单元1103基于经由 端子1104从特定形状存储器1015所获得的形状特征量信息，在 消除了投影图像的拍摄图像中检测特定形状区域，并将用于指 定所检测到的特定形状区域的信息从端子110 5输出。方法，并且因此，例如，可以使用通过将使用亮度水平、色调 等的区域分割与不依赖于形状的旋转或缩放的形状特征量进行 比较的已知的区域检测算法。热点位置测单元10 6 乂人由特定形状区域4全测单元1014所 检测到的特定形状区域中，检测例如指尖的要用于判断对操作 GUI进行的操作的特定部位作为热点，并检测其位置(热点位 置)。与在第一实施例中相同，对于执行该才企测的具体方法，可 以使用如根据区域前端检测或圓形区域检测的指尖检测方法等 的已知技术，并且由此这里将省略对其的"i兌明。由其它组件执行的处理与在第一实施例中所述的相同，并 且将省略对其的说明。图12是示意性示出在本实施例中的图像投影设备1000中检 测用户操作的图。在本实施例中，检测特定形状区域，因而不太可能误检测到存在于投影面上的图案等。因此，如第一实施例中一样获得 消除了投影图像的两个拍摄图像之间的差分是不必要的。此外，在图12的例子中，输入图像601即投影图像是脸标记，并且在投影面上存在用作背景的星形图案。因此，在拍摄图像602中包含了脸标记和星形图案这两者。尽管图12中未示出，在 叠加了操作GUI的情况下，输入图像601包含该操作GUI的图像。 图12的例子与图6的例子的不同之处在于，从一开始作为操 作物体的手606就存在于摄像范围中(即，包含于拍摄图像602中)。在图12的S11中，在投影图像消除单元104中从拍摄图像 602消除输入图像601(即，投影图像)。不管输入图像601中是否 包含操作G UI图像，通过该处理所获得的差分图像603都包含星 形背景图案和手606。在S12中，特定形状区域检测单元1014从自^&影图像消除 单元104输出的、消除了投影图像的拍摄图像中，检测特定形状 区域。在本实施例中，由于将手形状的区域-险测为特定形状区 域，因此，才全观'J到手606的区域。在S13中，热点位置冲企测单元106/人在S12中祐:;险测为特定 形状区域的区域中，检测要用于判断对操作GUI进行的操作的 特定部位(这里为指尖)的位置作为热点位置607。在S14中，热点运动检测单元107根据在步骤S13中检测到 的热点位置607的时间变化来检测热点的运动。在S15中，在显示了才喿作GUI 609的情况下，命令解码单元 109指定4喿作GUI 609的显示位置以及用户才艮据在S14中检测到 的热点的运动和该热点的位置所指示的操作，并输出相应的装 置操作命令。如上所述，根据本发明，除第一实施例的有利效果以外，用于检测特定形状区域的结构消除了获得在时间上分隔检测间 隔T的、均消除了输入图像的拍摄图像之间的差分的需要。因 此，可以实现更加简化的结构。 第三实施例
图13是示出根据本发明第三实施例的图像投影设备的示意 性结构示例的框图。在图13中，利用相同的附图标记来表示与 图1或10的组件相同的组件，并且将省略对其的重复说明。
如从图13清楚可见，本实施例中的图像投影设备1300既包 括运动物体区域才全测单元10 5 ,也包括特定形状区域测单元 1014和特定形状存储器1015,并且本实施例中的图像投影设备 1300的特征在于，根据由检测控制单元1317实行的控制而适应 性地并且选择性地使用如第 一 实施例中的运动物体区域#r测和 如第二实施例中的特定形状区域检测。由此，以下说明将集中 于该特4正结构。
运动物体区域-险测单元105从自投影图像消除单元104输出 的、消除了投影图像的拍摄图像中，检测被看作为运动物体的 有意义区域。尽管运动物体区域检测单元105的结构如在第 一 实 施例中参考图3所述，但是在本实施例中检测到有意义区域的情 况下，根据由检测控制单元1317实行的控制，将作为用于指定 有意义区域的信息的形状特征量存储在特定形状存储器1015 中。
另一方面，如在第二实施例中所述，特定形状区域^r测单 元1014基于特定形状存储器1015中所存储的特定形状的形状特 征量，从消除了投影图像的拍摄图像中检测被认为与特定形状
具有高相似度的区域。在本实施例中，对于这里要使用的形状 特征量，在检测到有意义区域的情况下，将该有意义区域的形 状特征量用于检测特定形状区域。更具体地，利用在运动物体区域检测单元105中检测到的有意义区域的形状作为特定形状 来执行后续的特定形状区域检测。
特定形状区域4企测单元1014与在第二实施例中所述的相 同，并且由此将省略对其的说明。
检测控制单元1317根据来自运动物体区域检测单元105的
检测结果和来自特定形状区域检测单元1014的^r测结果而切换
开关1316，并且选^奪要供给至热点位置^r测单元106的区域信 自
更具体地，才全测控制单元1317切换开关1316, 4吏得当如图 5B所示未^r测到操作物体的区域时，选择来自运动物体区域4企 测单元105的输出。此外，检测控制单元1317切换开关1316， 4吏 得当如图5C所示检测到了操作物体的区域时，选择来自特定形 状区域检测单元1014的输出。另外，在这种情况下，检测控制 单元1317指示运动物体区域检测单元10 5将所;险测到的运动物 体区域(有意义区域)的形状特征量写入特定形状存储器1015 中。
之后，在特定形状区域检测单元1014中未能够4企测到特定 形状区域的情况下，检测控制单元1317清空特定形状存储器 1015，并且切换开关1316,从而选择来自运动物体区域;险测单 元105的输出。
根据这种自适应选择处理而跟随检测到的操作物体区域允 许即4吏在物体维持静止时也可4全测到热点。此外，可以防止由 于静止的背景图案而导致的误检测。
由热点位置检测单元106和后续单元所执行的处理如上所 述，并且由此将省略对其的i兌明。
将参考图14所示的流程图来更详细地说明本实施例中的上 述图像投影设备的操作。最初，控制开关1316,从而选择来自运动物体区域检测单元105的输出。
在S1402中，^r测控制单元1317清空特定形状存储器1015。 在S1404中，如在第一实施例中所述，运动物体区域斗全测 单元10 5检测运动物体区域(有意义区域)。
在S1405中，热点位置才全测单元106判断在由运动物体区域 检测单元10 5所;险测到的运动物体区域中是否能够检测到有意 义热点(例如，被看作为指尖的部位)。热点位置纟企测单元106向 检测控制单元1317通知判断结果。如果在热点位置4全测单元106 中未能一企测到有意义热点，则处理返回步骤S1404以在运动物 体区域检测单元105中继续检测处理。要注意，在热点位置检测 单元106中未检测到有意义热点的情况下，才企测控制单元1317 保持开关1316，从而选4奪来自运动物体区域#企测单元105的输 出。
另一方面，在S1405中，在热点位置4企测单元106中能够检 测到有意义热点的情况下，在S1406中，；险测控制单元1317指 示运动物体区域检测单元10 5将所检测到的运动物体区域的形 状特征量登记在特定形状存储器1015中。此外，检测控制单元 1317切4灸开关1316, /人而选择来自特定形状区i或4企测单元1014 的输出。
在S1409中，特定形状区域4全测单元10144吏用由运动物体 区域检测单元105登记在特定形状存储器1015中的形状特征量， 来如在第二实施例中所述地检测特定形状区域。
在S1410中，才佥测控制单元1317判断特定形状区域4企测单 元1014中的检测结果，并且在未能检测到特定形状区域的情况 下，处理返回S1402以移动至运动物体;^测才莫式。在这种情况 下，检测控制单元1317切换开关1316, 乂人而选择来自运动物体 区域检测单元105的输出。另 一 方面，在特定形状区域#r测单元1014中能够#r测到特 定形状区域的情况下，在S1411中，热点位置检测单元106根据 所检测到的特定形状区域来检测热点及其位置。
在S1412中，热点运动检测单元1074全测由热点位置4企测单 元106所检测到的热点位置的运动。在S1413中，命令解码单元 109基于热点的运动和操作GUI的显示位置来判断用户操作，根 据判断结果来发出装置控制命令，并且将该装置控制命令输出 至系统控制单元IIO。
然后，重复乂人S1409开始的处理。
如上所述，根据本实施例，除第一和第二实施例的有利效 果以外，使用从实际拍摄图像中检测到的有意义区域的形状以 检测特定形状区域，这样具有能够以更好的精确度检测特定形 状区域的有利效果。此外，可以通过自适应地在运动物体#企测 和特定形状检测之间进行切换，在各种条件下适当地检测并判 断用户操作。
其它实施例
在上述各实施例中，已经说明了对操作GUI进行操作所使 用的操作物体是手的情况。然而，例如，即使在用户不是用手 直接对操作GUI进行操作的情况下，本发明也适用。例如，在 用户利用钢笔、指示器等对操作GUI进行操作的情况下，代替 手，可以将钢笔或指示器看作为操作物体。例如，可以以以下 方式构成该情况将钢笔或指示器的形状特征量用于检测特定 形状区域，并且可以将钢笔或指示器的前端检测为特定部位(热 点)。如上所述，本发明实质上可以采用用于检测操作物体的形 状或位置的任何方法。
此外，命令解码单元109可以在无需^f吏用关于操作GUI的位 置信息的情况下判断用户操作。例如，在热点环形运动的情况下，可以将该热点的特定运动自身判断为命令。具体地，可以
将热点的环形运动判断为操作GUI的显示命令。
要注意，此外，在热点在预定的时间段以上内维持静止的 情况下，这里可以将维持静止看作为"热点的特定运动"，即可 以将其判断为用户操作。
如上所述，在不依赖于操作GUI而确定用户操作的情况下， 用户可以作手势以操作图像投影设备。因此，操作GUI的图像 不干扰看见输入图像。另外，用户可以不在操作GUI的特定区 域而在投影图像上的任意位置做手势，由此具有在操作时自由 度高的优势。
无需说明，可以组合地执行利用操作GUI的用户操作判断 和仅基于与热点有关的位置信息(位置及其时间变化)的用户操 作判断。例如，对于显示操作GUI的操作，可以执行仅基于与 热点有关的位置信息的用户操作判断，而在显示操作GUI之后， 可以执行基于操作G UI的显示位置和与热点有关的位置信息两 者的用户操作判断。
此外，尽管在上述实施例中已经说明了配置有照相机单元 的图像投影设备的结构，然而，并非必须设置照相机单元，只 要能够获得包含投影图像的投影面的拍摄图像即可。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2007年9月4日提交的日本专利申请 2007-229456的优先权，在此通过引用包含其全部内容。
权利要求
1.一种图像投影设备，包括投影单元，用于将输入图像投影至投影面上；获得单元，用于获得包含投影至所述投影面上的图像的范围的拍摄图像；生成单元，用于生成所述拍摄图像与所述输入图像之间的差分图像；区域检测单元，用于基于所述差分图像，检测与用于操作所述图像投影设备的操作物体相对应的区域；位置检测单元，用于检测与由所述区域检测单元检测到的与所述操作物体相对应的区域的特定部位的位置有关的信息；判断单元，用于基于由所述位置检测单元检测到的与所述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及控制单元，用于执行与由所述判断单元判断出的操作相对应的动作。
2. 根据权利要求l所述的图像投影设备，其特征在于，所 述区域检测单元基于所述生成单元在不同时刻所生成的多个所 述差分图像之间的差分图像，检测与所述操作物体相对应的区 域。
3. 根据权利要求l所述的图像投影设备，其特征在于，所 述区域检测单元将由所述生成单元生成的所述差分图像中与预 定形状类似的区域4全测为与所述操作物体相对应的区域。
4. 根据权利要求l所述的图像投影设备，其特征在于，所 述区域检测单元首先基于所述生成单元在不同时刻所生成的多 个所述差分图像之间的差分图像，检测与所述操作物体相对应 的区域，并且在检测到与所述操作物体相对应的区域之后，所检测到的与所述操作物体相对应的区域的形状类似的区域检测 为与所述操作物体相对应的区域。
5. 根据权利要求2所述的图像投影设备，其特征在于，所 述区域检测单元包括用于存储由所述生成单元先前生成的先前 差分图像的存储单元，并基于由所述生成单元生成的所述差分 图像与存储在所述存储单元中的所述先前差分图像之间的差分 图像，检测与所述才乘作物体相对应的区域。
6. 根据权利要求5所述的图像投影设备，其特征在于，所 述区域;险测单元将当未;f全测到与所述操作物体相对应的区域时 来自所述生成单元的差分图像存储在所述存储单元中。
7. 根据权利要求1至6中任一项所述的图像投影设备，其特 征在于，还包括重叠单元，所述重叠单元用于将叠加了用于操 作所述图像投影设备的G UI图像的输入图像供给至所述投影单 元，其中，所述判断单元基于由所述位置检测单元检测到的与 所述特定部位的位置有关的信息以及与所述GUI图像的位置有 关的信息，判断由所述操作物体执行的操作。
8. —种用于图像投影设备的控制方法，包括投影步骤，用于利用投影单元将输入图像投影至投影面上； 获得步骤，用于获得包含投影至所述投影面上的图像的范 围的拍摄图像；生成步骤，用于生成所述拍摄图像与所述输入图像之间的 差分图像；区域检测步骤，用于基于所述差分图像，检测与用于操作 所述图像投影设备的操作物体相对应的区域；位置才企测步骤，用于#企测与在所述区域冲企测步骤中4企测到 的与所述操作物体相对应的区域的特定部位的位置有关的信判断步骤，用于基于在所述位置检测步骤中检测到的与所 述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及控制步骤，用于控制与在所述判断步骤中判断出的操作相 对应的动作。
全文摘要
在图像投影设备中，获得了通过拍摄投影面所获得的包含投影图像的拍摄图像。然后，使用通过从拍摄图像去除投影图像所获得的差分图像，来检测与用户的手或指示器等预定物体相对应的区域。然后，基于与该预定物体相对应的区域的特定部位的位置和时间变化来判断用户操作。
文档编号G09G5/00GK101681217SQ200880018468
公开日2010年3月24日 申请日期2008年8月22日 优先权日2007年9月4日
发明者石井芳季 申请人:佳能株式会社