指示设备和用于项目定位和/或选择辅助的方法

专利名称：指示设备和用于项目定位和/或选择辅助的方法
技术领域：
本发明一般涉及一种指示设备，特别地，涉及一种使用该指示设备用于项目定位和/或选择辅助的方法和系统。
背景技术：
近年来指示器如激光指示器或含有一激光光源以使光点出现在指示器所对准的目标上的“扫描笔(wand)”的使用已经变得很普遍。这种指示器基本上是无源设备，因为它们仅可以用于指向对象，通常是用于给观众在屏幕或投影上指出项目。DE29900935U1提出了一种具有反射镜排列的激光指示器，其用于沿特定方向引导激光点。引导激光点的控制信号由远程设备发出，例如使用激光点在屏幕上“书写”文本。然而，这种类型的指示器局限于这种类型的应用，并且例如不适合于控制设备。
如果受到限制，为了方便和舒适地控制设备如消费电子设备，已经在近几十年中建立了远程控制。遥控器通常被握持在手中并指向要控制的设备，例如电视、DVD播放机、调谐器等等，其可用于在多个选项中选择，通常是通过按压按钮，并且通常是局限于和一个或者至多几个这样的设备一起使用。一个设备可用的选项通常是预定义的并限制在某一数量，并且呈现在屏幕上，以便用户能够在按压遥控器上的合适按钮之前研究可用选项。一般地，如果用户想要适当地了解他所有的消费电子设备，那么用户必须花费相当多的时间来研究可获得的选项和在相应遥控器上的相关按钮或按钮的组合。通常是，按钮的功能不会很明显，并且可能使用户感到迷惑。甚至与设备一起提供的说明书或用户指南也常常不能清楚地说明如何对特定的功能进行编程。因此，用户常常不能充分地利用她所购买的设备。
在当前的现有技术状态的实施中，上面描述的激光指示器和遥控器是以单向无源的控制方式来应用的。激光指示器可以仅由用户来实施以向观众指出某些对象，而遥控器仅可以用于向设备发送预定义的控制信号。正如它们所实现的，这些类型的设备没有以任何方式使用指示形态来穷尽手持设备的能力。

发明内容
因此，本发明的目的是提供一种便利的指示设备，它可以以主动的方式来使用并具有宽范围的应用。
为此，本发明提供一种指示设备，其包括用于沿指示设备所对准的方向产生目标区域的图像数据的摄像机，用于在目标区域中产生光点的集中光束源，和用于将集中光束引导到目标区域中的任何点的引导装置。
根据本发明的指示设备可为这种设备开创全新的应用。特别地，借助于该设备，通过简单地沿项目的大致方向对准指示设备，用户可以“定位”或“选择”一个或多个项目。通过允许指示设备的光点使其朝项目导向，用户可以使用指示设备来定位或找到项目。另一方面，选择项目意味着用户可以通过使用光点作为引导而使指示设备对准特定项目，从而选择项目或为了某些特定目的而指出该项目。这些定位和选择的能力以及便利的指示形态组合在一起使本发明对于日常生活中的各种情况都是一个强有力且实用的工具。
根据本发明的用于项目定位和/或选择辅助的方法包括以视觉呈现的方式可视地呈现多个项目，使包括摄像机和集中光束的可定向源的指示设备对准项目的视觉呈现，产生指示设备对准的目标区域的图像数据，分析该图像数据以便在目标区域中定位特定点，产生用于控制该引导装置的控制信号，以及引导集中光束使得光点与目标区域中的特定点一致。
从属权利要求和随后的说明公开了本发明的特别有利的实施例和特征。
使用根据本发明的方法来定位或选择的项目可以是对象，如书籍、CD或任何类型的产品，并且例如可以静态地呈现或排列在搁板上或者分布在更大的区域。同样地，项目可以是“虚拟的”项目，如动态地显示或呈现在屏幕上或投影到任何合适类型的背景上的选项。在下文中，术语“项目”和“对象”可互换地用来表示真实的或虚拟的对象或项目，术语“视觉呈现”用来描述呈现这些真实的或虚拟的对象或项目的静态方式或动态方式。
优选地将用于在目标区域产生项目图像的摄像机合并到指示设备中，但是同样可以将其安装到指示设备上，以及优选地被定向为使得它能够产生用户对准的指示设备前面区域的图像。摄像机可以按基本的方式进行构造，或者其具有强大的功能，如具有缩放性能或某些类型的滤光镜。
“目标区域”是指示设备前面的区域，它可以被摄像机捕获为图像。目标区域的图像-或者目标区域图像-可以仅仅是整个视觉呈现的一个小子集，它可以覆盖全部的视觉呈现，或者它也可以包括一个围绕该视觉呈现的区域。目标区域图像相对于整个视觉呈现的大小取决于视觉呈现的大小、指示设备和呈现之间的距离以及摄像机本身的性能。用户可以定位成使得指示设备与视觉呈现相距一定距离，例如当用户坐着观看电视时。同样地，用户可以拿着指示设备非常接近视觉呈现，从而获得更加详细的图像。
目标区域的图像数据包括仅与整个图像中显著的点相关的数据，例如增强的轮廓、拐角、边缘等等，或者该图像数据可以是具有画面质量的详细图像。
集中光束的源可以是激光源，如在目前可获得的多种类型的激光指示器中所使用的激光源，其优选以这样一种方式布置在指示设备中或之上，使得集中光束指向目标区域中能够被摄像机捕获的一个点。因此在下文中，假定集中光束的源是激光源，而不是以任何方式限制本发明的范围。
用于激光源的引导装置包括由小反射镜构成的系统，可以使小反射镜以这样一种方式移动以反射集中光束，从而使其被引导到特定方向上。同样地，可以使用多个微型电动机来改变光源指示的方向。必须将出现在集中光束入射到目标区域上那一点处的光点引导成出现在目标区域中的任何点上，而不需要移动指示设备，从而帮助用户定位对象。同样地，用户还可以使用在目标区域的图像数据中出现的光点来确认选择的项目。
优选地，可以将用于分析和解释图像数据的图像分析单元和用于产生控制信号以控制引导装置的控制信号产生单元合并到指示设备中。在这种情况下，可以在指示设备中进行图像分析和控制信号产生，因此用于项目定位和/或选择辅助的系统仅需要包括指示设备本身和多个项目的视觉呈现。
另一方面，由于这些单元的性能受到指示设备的物理尺寸的限制，该指示设备优选实施成舒适地握持在手中，因此这种图像分析单元和控制信号产生单元要满足基本的图像分析和光点控制，同时可以在外部交互设备中进行更加高级的图像处理、控制信号产生以及需要更大的单元。
因此用于项目定位和/或选择辅助的更强大的系统包括指示设备和用于同指示设备交互作用的交互设备。指示设备具有用于向图像分析单元传输或发送图像数据的通信接口和用于从控制信号产生单元接收控制信号以控制引导装置的通信接口。这些通信接口可以单独地或组合地实现，以及实现成已知的短距离通信协议如蓝牙或802.11b标准等等，但是也可以是使用UMTS、GMS或其它移动电话标准的远距离通信。
这里，指示设备附加地包括用于执行图像分析和控制信号产生的装置，同时它还能够向交互设备分配这些任务。可替换地，指示设备可以省去图像分析和控制信号产生，使得这些任务由交互设备来执行，从而能够以更加小巧、更加紧凑的形式实现指示设备。
用于同这种指示设备交互的交互设备可以合并到现有的家庭娱乐设备、个人电脑中，或者可以实现成专用的交互设备。为了与指示设备进行通信，交互设备具有一个用于从指示设备接收图像数据的接收单元和一个用于向指示设备发送控制信号的发送单元。分别在图像分析单元和控制信号产生单元中进行图像分析和产生控制信号。
交互设备的优选实施例可以具有语音接口，从而用户能够通过对其说话而使其请求为大家所了解。例如，他可以说“请为我显示如何在录像机上设置数据”，然后，在翻译他的话语和来自指示设备中摄像机的图像数据之后，交互设备能够向引导装置发送控制信号的正确顺序，使得光点以特定的方式进行移动，从而向用户演示移动的正确顺序和选择选项。这种语音接口也可以合并到指示设备中，或者指示设备可以包括麦克风和扬声器，并且能够向交互设备发送语音数据以及从交互设备接收语音数据以便进一步处理。
交互设备可以实现成如在DE10249060A1中所描述的专用设备，其以这样一种方式进行构造使得具有示意性表面特征的可动部能够转到面向用户，从而给出该设备正在聆听用户的印象。这种交互设备甚至可以以这样一种方式进行构造，使得当用户从一个房间移动到另一个房间时该交互设备可以伴随用户，从而指示设备的使用不限于一个区域。交互设备能够控制任何数量的应用或设备，如家庭娱乐设备、购货单应用，以及诸如CD或书籍的项目的管理收集。
为了容易地确定用户使指示设备对准的项目，优选地图像分析单元将接收到的目标区域的图像数据与多个预定义的模板进行比较。单一的预定义的模板可以满足该比较，或者有必要将图像数据与多个模板进行比较。
预定义的模板可以存储在指示设备的内存储器或交互设备中，或者同样可以从外部信源来访问。优选地，交互单元和/或指示设备本身包括具有合适接口的访问单元，其用于例如从内存储器或外存储器、记忆棒、内联网或互联网获得视觉呈现的预定义的模板。模板可以是任何种类的视觉呈现的图形表示，例如书架图像、存储柜、显示器等等。对于电视来说，模板可以显示多个预定义的菜单选项的位置，从而当用户使指示设备对准电视时通过分析目标区域的图像数据，图像分析单元可以确定用户选择了哪个选项，或者确定光点应该指向哪个位置从而给用户显示出特定的选项。
正如上面已经描述的，系统的用户希望从项目集合中选择一个项目，或者在从多个对象中寻找或定位对象的过程中请求帮助。该项目或对象可以是真实的项目，或者是虚拟的项目，如适用于一种应用或设备的选项。
用户可以选择项目或者使用指示设备指出项目，例如训练系统以通过记住其位置或识别其外观进而在集合中确认书籍。为此，用户可以以某种方式开始训练过程，例如通过说诸如“这是我的图书馆中的书”的话语，然后继续依次指向每一本书，同时说出每本书的标题(在更高级的实施例中，图像分析单元可以使用合适的图像处理技术来自己“读取”书籍的标题)。用户可以通过以预定义的方式移动指示设备来指出每本特定的书籍，例如通过使其移动而使得光点围绕指定书籍画一个圆。同时在这种训练系统以识别项目的模式中，光点优选例如固定在目标区域的中心，使得用户能够容易地看到他让指示设备正对准的位置。如果指示设备具有按钮，那么用户可以在指定书本之后按压按钮来确认他的选择。
为了简化在后面的时间点上定位集合中的项目，用户可以利用指示设备创建存储特定集合的区域的模板。例如，用于书籍集合的模板可以是其上存储有书籍的书架。通过说出合适的命令或按压指示设备上的按钮，用户可以指示将创建一模板。然后通过使指示设备在书架占据的区域上平移，他可以移动指示设备。当完成时，他可以用某种方式指示，例如通过说“结束”，或者通过按压或释放指示设备上的按钮。然后，图像分析单元分析图像以构建模板。该模板能够在之后用户训练系统记住书本位置时使用，从而系统能够使每一项目与模板中的特定位置相关联。
然后系统可以用于在寻找项目或对象的过程中提供帮助。当寻找一个项目时，用户可以将他的愿望告诉交互设备，然后使指示设备对准合适的视觉呈现。
系统还可以用于定位集合中的实际项目。例如，用户可以说“我不记得把‘Dealing with Forgetfulness(处理遗忘)’放在哪了”，然后使指示设备对准合适的书架。利用如前所述产生的该书架的模板和其内容，交互设备可在模板中定位期望的书籍。使用目标区域的图像数据，来计算目标点相对期望点的位置，并产生控制信号以将光点朝该期望点引导。如果书籍位于指示设备所对准的目标区域之外，那么控制信号可使出现的光点在最接近期望点的目标区域的边缘处“跳动”，指示用户他必须沿该方向移动指示设备，以便能够定位该期望对象。当用户移动指示设备时，持续地分析图像数据。当在图像数据中确定期望点时，光点可以定位成使得其直接出现在对象上，或者可以围绕该对象画一个封闭的圆，从而告诉用户对象定位的位置。在该实例中，通过将之前存储在模板中的对象位置或坐标与图像数据的目标点的坐标进行比较，可以找到期望对象。当期望对象的坐标与目标点的坐标充分匹配时，系统将断定已经定位了该期望对象。在上面的示例中，一种合适的高级系统甚至能够帮助用户在更宽的范围上定位项目，从而用户不需要使设备指向书架，而且甚至可以在不同的房间。然后系统用光点将用户指引到正确房间的方向上并指向书架。
定位对象的一种可替换方式可以是使用图像处理技术来识别目标区域的图像数据中的对象的图像。这考虑到了项目被从一个集合拿掉并放回到集合中不同位置的实际可能性。在这种情况下，系统可记录它被训练认识的对象的图像，例如系统可以在被训练认识书籍时记录书脊的图像，或者可以在被训练管理购货单时记录产品的条形码图像。
在另一个优选应用中，指示设备可以用于在博物馆或图书馆设置中来定位感兴趣的项目。例如，博物馆参观者可以配备一指示设备，该指示设备能够与博物馆自己的交互系统交互作用而用于项目定位，其中在这种情况下项目可以是博物馆的展品或博物馆的特定区域如商店、饭馆或休息室，或这些区域中的特定对象。博物馆参观者还可以配备一头戴式耳机，通过该耳机能够向博物馆的交互系统发出请求，例如他可能请求被引导到特定展品。参观者仅需要使指示设备或多或少地在他前面对准，使得他能够看到激光源产生的光点。然后博物馆的交互系统利用合适的控制信号沿期望展品的方向引导指示设备的光点。通过持续追踪参观者相对期望展品的位置，例如通过分析向交互系统间隔发送的目标区域的图像，交互系统能够决定何时到达期望展品，并通过以特定的方式移动光点来将此告诉参观者，如通过围绕该展品画一个环、圆或其它图案。博物馆的交互设备可以给用户提供展品的说明，同时在展品上引导光点以指出当前正被描述的区域。
在超市或百货公司的设置中，用户可以使用指示设备扫描他写下的购货单，并且依次与超市或百货公司自己的交互系统通信，从而在表单上定位项目。用户仅需要使指示设备对准搁板的大致方向，然后由光点一个接一个地引导到期望项目上。这在用户在他不熟悉的超市或百货公司进行购物时是特别有利的，因为使用指示设备定位期望项目将节省时间和使用户避免了自己寻找项目所带来的不便。作为使用购货单的一个可替换方案，用户可以之前就用指示设备记录他最喜爱的存储柜中产品的图像或描述，该指示设备在超市入口处将该信息传输给超市的交互设备，所述交互设备通过向指示设备发送合适的控制信号进行响应。指示设备的光点随后将把用户引导到超市的相关位置。
在系统的另一种应用中，家庭娱乐设备可以提供一种指导模式以帮助用户熟悉其功能。这种家庭娱乐设备例如录像机可以由单独的交互设备进行控制或驱动，或者与一个交互设备结合。指导模式可以由用户启动，例如通过说“我如何才能给VCR编程来进行记录呢？”，或者当设备认为用户在对设备进行编程的过程中产生问题时由设备本身启动。在指导模式中，交互设备可以向指示设备发送控制信号，以便将光点导向到以通常方式在电视屏幕上显示的相关选项上，从而给用户显示选择的选项以及选择这些选项的顺序。
指示设备相对视觉呈现的移动优选地由图像分析单元中的图像处理软件检测。可替换地或者附加地，运动可以由指示设备中的运动传感器检测。可以使用定位系统如GPS以在指示设备的用户在较大区域中漫游时确定位置信息。
为了处理图像数据以确定用户使指示设备所对准的项目，有利的是应用计算机视觉技术在用户对准的视觉呈现中寻找点，也就是目标点。
在本发明的一个实施例中，目标区域图像中的固定点优选是目标区域图像的中心，其可以通过沿指示设备的纵轴方向使假想线延伸到视觉呈现而获得，并用作目标点。当使用指示设备选择对象时，光点优选地例如固定到处于目标区域中心的点上。用户可以利用指示设备上的按钮来表示该指示设备将被用在选择模式中。
一种使用计算机视觉算法处理视觉呈现的目标区域图像的方法，包括检测目标图像中的特定点，在视觉呈现的模板中确定相应点，然后制定一种变换以将目标图像中的点映射到该模板中的对应点上。目标区域图像的特定点可以是视觉呈现的特定点，或者也可以是围绕视觉呈现的区域中的点，例如电视屏幕或书架的边角。然后使用该变换来确定指示设备相对视觉呈现的位置和方向，从而能够在模板中定位指示设备的轴与视觉呈现的交叉点。该交叉点在模板中的位置相应于视觉呈现上的目标点，并且能够用于容易地确定用户已经对准了哪个项目。在预定义模板中目标点的位置例如表示用户选择的选项。通过这种方式，将目标区域图像与预定义模板比较仅局限于确定和比较显著的点如特定的拐角点。在本发明中应用的术语“比较”应该在广义上进行理解，即仅通过比较足够多的特性来快速确定用户对准的点。
另一种确定用户所选项目的可能方式是使用诸如图案匹配的方法，直接将以目标点为中心的所接收的目标区域图像与预定义模板比较，从而定位在视觉呈现中的目标点。另一种将目标区域图像与预定义模板比较的方式将其局限于仅确定和比较显著的点，如特定的拐角点。
在本发明的另一个实施例中，激光点的位置固定在目标区域中某一位置处并发送给控制单元的接收器作为目标区域系统的一部分，该位置可以用作目标点以定位用户选择的选项。激光点可以与目标区域图像的中心一致，但是也可以偏离目标区域图像的中心。
因而总的来说，本发明提供了一种容易且灵活的方式来定位和/或选择项目。为了便于使用，指示设备的形状可以是细长形的杆或笔，其可以由用户舒适地握持住。这样用户就能够使指示设备对准视觉呈现中的目标点，同时放置在与该视觉呈现相距合适的观看距离处。同样地，指示设备的形状可以是手枪形。此外，可以将附加的光源设置在指示设备中或之上，用于照亮指示设备对准的区域，从而用户能够容易地细读视觉呈现，即使环境比较灰暗。
结合附图考虑下面详述的说明书，本发明的其它目的和特征将变得明显。但是应该理解，附图仅仅是用于说明而不是对本发明的限制。


图1是根据本发明的一个实施例的指示设备和交互设备的示意图；图2是根据本发明的指示设备的示意图；图3是根据本发明的一个实施例利用指示设备获得的项目集合的视觉呈现和该视觉呈现的目标区域图像的示意图；图4是根据本发明的一个实施例用于在项目集合中定位或选择一个项目的系统的示意图；图5是根据本发明的一个实施例示出了视觉呈现和相应的目标区域图像的示意图。
具体实施例方式
在附图中，相同的数字始终表示相同的对象。所描述的指示设备由未在图中示出的用户握持并操作。用户可以利用同样未在图中示出的合适的用户界面与用于和指示设备交互作用的设备通信。
图1示出了指示设备1，其包括沿指示方向D在指示设备1的前面产生区域图像的摄像机2。在本实施例中该指示设备1具有细长形状，使得指示方向D沿指示设备1的纵轴延伸。摄像机2朝指示设备1的前面定位，使得在用户8对准的指示设备1的前面产生区域的图像。描述图像的图像数据3通过封装在指示设备1的外壳内的通信接口5而被传输，并且以无线的方式如蓝牙、802.11b或移动电话标准的方式传输到交互设备13。与指示设备1一起工作的交互设备13中的接收单元10接收图像数据3并将其转送给图像分析单元6。
在交互设备13的图像分析单元6中分析接收到的图像数据3，其中通过访问单元19将其与从内部存储器20或外部源21、22检索到的其它图像或模板进行比较。理想地，访问单元19具有多个允许访问外部数据的接口，例如用户可以提供存储在存储介质21如软盘、CD或DVD上的预定义模板，或者访问单元19可以从外部网络如因特网22上检索合适的模板信息。该模板也可以由用户进行配置，例如在训练阶段，用户可以规定模板上的特定区域与特定项目或功能之间的关系。
在这种情况下用户可以尝试定位项目，使得图像分析单元6将图像数据3与模板比较，从而确定所寻找的项目是否处于目标区域内，然后指示控制信号发生器8产生合适的控制信号9，该控制信号可通过交互设备13的发送单元11以无线的方式向指示设备1的通信接口7传输。
合并在指示设备1中的激光源12沿一方向发出激光束L，该方向不必与指示方向D平行。激光束L的实际方向由引导装置4控制，该引导装置应用接收到的控制信号9来调节激光源12的指示方向。以这样一种方式引导光点，使得用户最终被导向到所寻找的项目。在图中，引导装置4应用控制信号9例如通过微型电动机相应地改变激光源12的位置。这样就使激光束L沿期望的方向对准。在一个可替换的实施例中，引导装置4包括多个小反射镜，其位置可以改变，并以这样一种方式进行布置使得该反射镜使激光束L沿所需的方向偏转。同样可行的是使用微型电动机和反射镜的组合来控制激光束L的方向。
在另一种情况下，指示设备1用来选择项目，例如当训练交互设备来识别和定位项目时。在这种情况下，通过使指示设备对准待识别的项目来产生图像数据3，并将其发送给图像分析单元6，以便在以合适的方式存储于内存储器或外存储器20、21中之前以某种方式进行分析和处理。
在另一种应用中，交互设备13具有一接口24，其用于和外部设备25如电视、VCR或任何类型可以用其启动对话的设备通信。这里，交互设备13通过用户行为的某种方式通知外部设备25。例如，借助用于设备25的选项的模板，图像分析单元6可以确定用户对准的模板中的区域，然后将该信息发送给外部设备25，外部设备可解释该信息并向交互设备发送合适的信号，其中在交互设备中将该信号转换成用于指示设备1的引导装置4的控制信号9。通过这种方式，可以使用指示设备1和交互设备13来帮助用户控制或与外部设备25的通信。
图2示出了指示设备1的一个实施例，其具有自己的图像分析单元6′和控制信号发生器8′。该指示设备1可以分析由其摄像机2产生的图像数据3，以本地产生用于引导装置4的控制信号9。能够本地执行图像处理意味着指示设备1不必与如图1所描述的单独的交互设备13通信。因为图像分析的质量受指示设备1的物理尺寸的限制，该尺寸大多数以小巧实用的形式实现，这种“单独的”实施例可以满足其中图像分析的精度不是特别重要的情况，或者在其中指示设备1不能与交互设备通信的情况。当然该实施例仅仅是图1的扩展，因此指示设备1可以利用在图1中描述的通信接口5、7，从而除了其单独的功能性之外，还允许其与交互设备13如对话系统共同进行操作。该实施例还可以具有未在图中示出的本地存储器，指示设备1可以在其中存储摄像机2产生的图像。
图3示出了一个视觉呈现VP，在这种情况下多个真实对象M1、M2、M3、M4处于搁板上。使指示设备1对准该视觉呈现VP的目标区域T以选择或定位对象M1、M2、M3、M4中的一个。
如果用户想要定位一个对象如项目M4，他可以请求交互设备(未在该图中示出)来帮助他进行定位。间隔地将目标区域T的图像16传输给交互系统，在此对其进行分析以确定指示设备1对准的区域，以及该区域是否包含所寻找的项目M4。只要不能在目标区域T的图像16中检测到该项目M4，就利用控制信号引导指示设备1的光源12，使得以这样一种方式移动随后的光点PL进而向用户表示他必须使指示设备1对准的方向，以便最终在目标区域T的图像16中检测到项目M4，在该过程中光点PL定位在期望项目M4的上方，以给用户显示其位置。在由于项目丢失或者由于系统不能理解用户的请求而导致系统不能定位项目的情况下，光点PL以预定方式移动，例如通过按照特定顺序打开和关闭，或者通过描绘预定的图案。这将是有用的，例如当交互设备不能通过语音和用户通信时。
如果用户想要选择视觉呈现VP中可见的项目M1、M2、M3、M4中的一个，例如当训练交互设备记住对象的位置或识别其外观时，用户可以使指示设备1对准视觉呈现VP，使得所讨论的对象由光点PL示出。当指示设备在这种训练模式中使用时，光点PL可以相对于用PT表示的目标区域A的中心而保持固定的位置。可以使光点PL指向从中心点PT移开的一点处的固定位置，或者它可以与中心点PT一致。
借助于光点PL，用户可以选择在视觉呈现VP中示出的项目M1、M2、M3、M4中的一个。指示设备中的摄像机产生以图像中心点PT为中心的目标区域T的图像。光点PL也可以出现在目标区域图像中。在该实例中，光点PL出现在与图像中心点PT相距非常小的距离处，从而用户可以使用光点PL向交互设备精确地指出项目，在这种情况下是项目M3。然后用户对交互设备描述对象M3，例如通过说“这本书是George Eliot的′Middlemarch′”，从而交互设备可以在将描述项目M3的信息存储到存储器之前执行任何必须的图像处理。
图4示出了指示设备1、交互设备13和提供给系统14用于项目定位和/或选择辅助的视觉呈现VP。
交互设备13在该实例中可以合并到某种类型的家庭对话系统中，从而允许用户通过说出的指令与其进行通信。例如，用户可以向交互设备13问一个问题，如“我的Dire Straits CD′Money for Nothing′在哪儿”。用户使指示设备1沿搁板的大致方向对准，所述搁板上保持有他的CD集合，然后允许和指示设备1结合在一起的交互设备13告诉他所请求的CD放在哪儿。交互设备13已经在之前的训练期间记住了集合中所有CD的位置，它现在就可以向指示设备1的引导装置发送控制信号，使得光点PL指向请求的CD。如果请求的CD位于目标区域T内，那么光点将停留在该CD上，或者使光点在CD上方画一个闭合的圆。但是，如果CD在目标区域T之外，由交互设备13发送的控制信号将使光点PL反复地移动到紧靠目标区域T的合适边缘，使得用户认识到他必须使指示设备沿指示的方向移动，直到目标区域T包括了所请求的CD。
在该实施例中，指示设备1还具有按钮15。该按钮15由用户按压，例如确认他已经进行了一个选择并记录目标区域的图像。
可替换地或附加地，可以使用这种按钮15来激活或停用例如在电视屏幕上动态视觉呈现VP′的显示，使得当用户实际需要时仅在屏幕上显示项目或选项。可替换地，指示设备1上的按钮15或不同按钮的功能可以激活或停用合并到指示设备1中的光源12，以激活或停用指示设备1本身，或者在操作的“定位”和“选择”模式之间切换。指示设备1可以通过合并到指示设备1中的运动传感器激活，使得当用户握住指示设备1时激活激光源，以及只要拿起或移动指示设备，指示设备就开始向交互设备发送目标区域的图像。
指示设备1可从没有在图中示出的一个或多个电池汲取其功率。根据指示设备1的消耗，有必要提供一托架以给电池再充电，当指示设备1未被使用时可放置在该托架中。
用户并不总是以正确的角度使指示设备对准视觉呈现-更加可能的是指示设备以更大或更小的倾角对准视觉呈现，因为很容易使指示设备波动而使其改变其本身的位置。图5示出了这种情况，其示出了未在图中示出的指示设备产生的目标区域图像16的示意性表示，该指示设备从一定距离处以一定的倾角对准视觉呈现VP′，使得在视觉呈现VP′中的项目M1、M2、M3的大小和比例扭曲地出现在目标区域图像16中。在图5中示出的情况下，视觉呈现VP′是电视屏幕，用户可以在其中进行选择的项目M1、M2、M3是显示在屏幕上的菜单项目。
无论指示设备1相对视觉呈现VP′的角度是多少，目标区域图像16总是以目标点PT为中心。激光点PL也出现在目标区域图像16中，并与目标点PT相距一定距离，或者可以与目标点PT一致。对话系统的图像处理单元将目标区域图像16与预定义模板比较，以确定用户指向的项目，或者确定目标点相对于用户试图定位的项目的位置。
为此，可以定位指示设备1的纵轴与视觉呈现VP′的交叉点PT。然后定位模板中相应于交叉点PT的点。应用使用边缘和拐角检测方法的计算机视觉算法来定位目标区域图像中的点[(xa，ya)，(xb，yb)，(xc，yc)]，其相应于视觉呈现VP′的模板中的点[(xa′，ya′)，(xb′，yb′)，(xc′，yc′)]。
每一点都可以表示为一个矢量，例如点(xa，ya)可以表示为 下一步，制定变换函数Tλ以将目标区域图像映射到模板f(λ)=Σi|Tλ(v→i)-v→i′|2]]>其中矢量 表示目标区域图像中的坐标对(xi，yi)，矢量 表示模板中相应的坐标对(x′i，y′i)。参数集λ包括用于旋转和变换图像的参数以获得对该函数最有效的解决方案，应用该参数集来确定指示设备1相对于视觉呈现VP的位置和定向。计算机视觉算法利用了以下事实在指示设备1内的摄像机2是固定的并且是沿指示姿势的方向“观看”。下一步是计算指示设备1的纵轴沿指示方向D与视觉呈现VP的平面的交叉点。该点可以是目标区域图像PT的中心。当计算出交叉点的坐标时，将该点定位在视觉呈现VP的模板中就是一个简单的问题。
尽管已经以优选实施例和其变型的方式论述了本发明，但是应该理解，在不脱离本发明的范围的条件下，可以对其进行多种附加的修改和变型。指示设备可以用作家庭中的通用用户接口设备或用于商务演示的导航。除了家庭之外，它可以在任何环境中使用，其中用户可以利用光点来导向。简而言之，在任何用户能够通过指示来表达意向的地方或者在能够主动地给用户指出某种事物的地方，它都是有益的。其小巧的形式和便利且直观的使用可使这种简单的指示设备成为有效的通用遥控器或教学工具。作为笔形的一种替换方案，指示设备例如也可以是具有内嵌式摄像机的个人数字助理(PDA)，或具有内嵌式摄像机的移动电话。指示设备可以和传统的遥控器特征进行组合，例如和用于执行专用功能的附加按钮组合，或者和诸如语音控制的其他输入方式组合。
为了清楚起见，还应该理解，在本申请中“一”或“一个”的使用并不排除多个，“包括”也不排除其他步骤或元件。“单元”可以包括多个部件或设备，除非另有明确的描述。
权利要求
1.一种指示设备(1)，包括用于沿指示设备(1)对准的方向(D)产生目标区域(A)的图像数据(3)的摄像机(2)；用于在目标区域内产生光点(PL)的集中光束(L)的源(12)；和用于将集中光束(L)引导到目标区域(A)中的任一点的引导装置(4)。
2.根据权利要求1的指示设备(1)，包括用于向图像分析单元(6)传输图像数据(3)的通信接口(5)；和通信接口(7)，用于从控制信号产生单元(8)接收控制信号(9)以控制引导装置(4)。
3.根据权利要求1或2的指示设备(1)，包括用于分析图像数据(3)的图像分析单元(6′)；和用于产生控制信号(9)以控制引导装置(4)的控制信号产生单元(8′)。
4.一种用于与根据权利要求2或3的指示设备(1)交互作用的交互设备(13)，包括用于从指示设备(1)接收图像数据(3)的接收单元(10)；用于分析接收到的图像数据(3)的图像分析单元(6)；用于产生控制信号(9)以控制指示设备(1)的引导装置(4)的控制信号产生单元(8′)；用于向指示设备(1)发送控制信号(9)的发送单元(11)。
5.一种用于项目定位和/或选择辅助的系统(14)，包括根据权利要求3的指示设备(1)和多个项目(M1、M2、M3、M4)的视觉呈现(VP)。
6.根据权利要求5的系统，包括根据权利要求4的交互设备(13)，其用于与指示设备(1)交互作用。
7.一种用于项目定位和/或选择辅助的方法，该方法包括以视觉呈现(VP，VP’)的方式可视地呈现多个项目(M1、M2、M3、M4)；使具有摄像机(2)和集中光束(L)的可定向源(12)的指示设备(1)对准项目(M1、M2、M3、M4)的视觉呈现(VP，VP′)；产生指示设备(1)所对准的目标区域(A)的图像数据(3)；分析该图像数据(3)以在目标区域(A)中定位一特定点；产生用于控制引导装置(4)的控制信号(9)；引导集中光束(D)使得光点(PL)与目标区域(A)中的特定点一致。
8.根据权利要求7的方法，其中以静态方式呈现项目(M1、M2、M3、M4)的视觉呈现(VP)。
9.根据权利要求7或8的方法，其中以动态方式呈现项目(M1、M2、M3、M4)的视觉呈现(VP′)。
10.根据权利要求7至9中任何一项的方法，其中通过将目标区域(A)的图像数据(3)与目标区域(A)的预定义模板和/或视觉呈现(VP、VP′)比较来对其进行分析。
11.根据权利要求7至10中任何一项的方法，其中通过使光点(PL)对准定位的项目(M1、M2、M3、M4)而给用户示出所定位的项目(M1、M2、M3、M4)。
12.根据权利要求7至11中任何一项的方法，其中通过在模板中定位与用户已经使指示设备(1)对准的视觉呈现(VP)中的目标点(PT)相对应的点，来确定一选定项目(M1、M2、M3、M4)。
13.根据权利要求12的方法，其中通过包含以下步骤的方法来确定该目标点(PT)检测视觉呈现(VP、VP′)的图像数据(3)中的特定点；在视觉呈现(VP、VP′)的模板中确定相应点；制定一种变换以将图像数据(3)中的点映射到模板中相应的点上；使用该变换来确定指示设备(1)相对于视觉呈现(VP、VP′)的位置和方向；定位指示设备(1)的某一轴与该视觉呈现(VP、VP′)的交叉点。
全文摘要
本发明涉及一种指示设备(1)和用于项目定位和/或选择辅助的方法，该方法包括以视觉呈现(VP，VP’)的方式可视地呈现多个项目(M1、M2、M3、M4)，使具有摄像机(2)和集中光束(L)的可定向源(12)的指示设备(1)对准项目(M1、M2、M3、M4)的视觉呈现(VP，VP’)，产生指示设备(1)所对准的目标区域(A)的图像数据(3)，分析该图像数据以在目标区域(A)中定位一特定点，产生用于控制引导装置(4)的控制信号(9)，然后引导集中光束(L)使得点(P1)与目标区域(A)中的特定点一致。本发明描述了一种交互设备(13)，其用于与指示设备(1)交互作用以执行用于项目定位和/或选择辅助的方法。此外，本发明描述了一种用于项目定位和/或选择辅助的系统(14)。
文档编号G06F3/0346GK1989482SQ200580024965
公开日2007年6月27日 申请日期2005年7月15日 优先权日2004年7月23日
发明者E·蒂伦, H·肖尔 申请人:皇家飞利浦电子股份有限公司