确定指示设备的运动的方法

专利名称：确定指示设备的运动的方法
确定指示设备的运动的方法本发明涉及一种确定指示设备的运动的方法，并涉及一种用于确定指示i殳 备的运动的系统。本发明还涉^这样的系统中使用的控制接口和指示设备。 此外，本发明涉及一种方法，将指示设备的摄#4几所生成的图像与关于指示设备的运动的相对运动向量相交《昔(interleaving )。允许通过手持设备进行一定程度的用户交互的系统已经变^^来越"fi4。 例々"午多家庭娱乐设备提供有遥控手祠设备，这样用户能够将遥控器指向设备 的大概方向并按下遥控器上的按钮以激活用于控制设备的有限数量的功能中的 一个，例如改变频道或^^亍配置步骤。由于遥控类型的手持设备能够被用来与设备交互的程>1^_相当有限的，而在这种系统上运行的应用的^L继续提供了更宽范围的可能性，趋势是使用指示设备类型的手持设备与系统交互,在那里 这个指示设备例如被对准显示器，并且指示设备的移动以一些方式被^P宗并被 解释以控制在系统上运行的应用。例如，合并在指示设备中的摄<斜几能够被用于生成在指示设备前面的区域 的图像，这些图像被分析以确定指示设备正在对准的对象或范围，如在W0 2004/079707 Al中所提出的。因此获得的信息能够被用于例如改变在显示器上 光标的位置以"跟随，，指示设备的移动。以这种方式，用户能够直接地看到他 对指示设^^故出的移动的结果。图像处理典型地需要相当多的硬件工作，其通 常在指示设备O卜的分离的单it威模块中执行。这种交互类型带来的主要问^:从指示设备至外部单元的典型通信信道的 图^^吐量是有限的，所以，在图像已经^^析的时间或之前，用户实际上将 指示设备对准其它地方了。结果，指示设备的运动不能一直^JE确^^时确定。 当光标看起来滞后于指示设备的移动时，或者当光标在显示器上4H亭动动地移 动时，用户会意识到这个问题。由于不足的或纟爰'隄的图l^吐量而出现的i^种 延迟的另 一个结果可能是在系统中运行的应用在应当对用户使用指示i殳备敗出 的手势作出反应时没有作出反应，如^it个手势被太快;Ny^亍从而图像处理不 能应付的话。因此，本发明的目的是提供一种^kit并正确地解释指示设备的移动的方式。为了这个目的，本发明提供了一种确定指示设备的运动的方法，其中该方法包括步骤将包括摄<斜几的指示设备对准目标区域的方向并且生成指示设备 所对准的目标区域的图像。在两个图像之间的图像帧时间期间，关于指示设备 的运动的一系列相对运动向i^皮获取，并且与图像"-^fc^射至控制接口，在 那里图像和相应的相对运动向量^W释以确定指示设备的运动。术语"目标区域"指的是在指示设备前面的区域，并且，通常地说， 落在指示设备的招lf斜几的视野中的所有东西。用户可以将指示设备对准他希望 与之交互的设备，例如对准示出菜单项选择的电视机屏幕，或者他可以将指示 设备对准任何其它项目或对象以发出特定指令，诸如对准台灯以将台灯打开或 关闭。然而，用户不需要将指示设备对准特定对fJsU殳备以发出指令，因为使 用指示设备做出的简单手势也能够被解释为指令。这种交互系统在W0 2004/047011 A2中被详细描述，其通过引用被包括在此。由指示设备的摄像机产生的图像能够按照固定或可变的图像帧速率被生 成，其可以根据时间被表示，例如每秒两个图像，每五秒一个图像等。图像被 摄<料几生成的速率取决于多种因素，诸如快门ii^、图像为之^^成的应用、 照明条件、摄^^几自身的机构等。不是由招H斜几生成的每个图像都需要^^射 至控制接口。例如把摄1斜几生成的每第十个图像提供给控制接口可能就足够了。 因此，在下面，术语"图像帧速率"指的是计划给控制接口的图像被生成的速 率，并且在两个这种图^^曝it^间的时间^^义为"图^f象帧时间"。相对运动向量能够按照不同于图像帧速率的速率被获取，这样，例如，在 一个图像帧时间期间可能获取多个相对运动向量。此处，术语"相对运动向量" 被广义地理解。这种相对运动向量可以包括关于在指示设备被移动的一个或多 个方向上所感测到的运动的一个或多个值。由于指示诏^^在它祐3多动时也生成 图像，相对运动向量相对于它生成的图^斜艮据增加的运动"增量(delta)"最 终描述了摄^^几的运动，因》W笛述了指示设备的运动。用于确定指示设备的运动的适当的系统包括指示设备，该指示设备进而又 包括用于生成在指示方向上目标区域的图像的摄^4几，以及用于确定指示设备 的相对运动向量的运动向量确定装置。系统还包括控制接口和发射机，控制接 口用于解释图像和相对运动向量以确定指示设备的运动，发射机用于将图像和 相对运动向量发射至控制接口 。根据本发明用于确定指示设备的运动的方法和系统明显的优势在于图像正 在被处理同时指示设备的持续运动能够被追踪，这样系统能够对用户的交互更 快地做出反应，由此减少了系统的时延。在使用指示设备与具有显示器特征的设备交互的交互系统中，例如，在显示器上的光标将平滑i^艮随指示设备的运 动。在指示设备被用于对准环境中对象的应用中，指示设备的运动能够被用于 预测用户做出的手势或运动，这样，例如，用于对象识别的模板能够从数据库中寻级时:l脉回(retrieve),由此保持系统的总体时延最小化。才艮据本发明的 方法和系统的进一步的优势是通过图像分析确定的绝对位置能够被用于预测和 才3tiE^目对运动向量中的任何固有误差。从属权利要求和随后的描述详细地公开了本发明有优势的实施方式和特征。由指示设备的才聂^^几生成的图像数据和相对运动向量可以穿过分离的信道 而祐发射至控制接口。然而，在本发明优选的实施方式中，图像和相对运动向 量经由共享的信道^^射，这样所需要的硬件被保持最小化。由于图^fW:据量 远大于相对运动向量的数据量，其只需要图像所需要的带宽的一小部分，图像 和相对运动向量优选iW皮交错以在一个单独的信道上传输。为了这个目的，相 应于图像的图像数据被分为更小的块(chunk )或片段(segment),即图傢被分 段。个别的图像片段然后可以以特定的顺序被发射至控制接口，关于相对运动 向量的信息被夹在图像片段之间。交替地发送图像数据和相对运动向量数据的 这种技术在下面被术语表示为"交错"。根据本发明，将由指示设备的摄^^几生成的图像和关于指示设备的运动并 与图像关联的相对运动向量交错的方法包括在传输至控制接口之前将图像分 为多个图像片段，在传输中相对运动向量在每个图像片段之后或之前，以得出 交4昔式数据流。根据本发明的指示设备除上面已经提到的摄^4A^卜还包括一个或多个运动向量确定装置，用于确定指示设备的相对运动向量。指示设备的相对运动向 量能够包括一个或多个元素，诸如关于三维空间的坐标系统中的轴的平移或一 个或多个旋转。因此，运动向量确定装置能够包括加速、回转或i兹传感器，或 这些的组合。同样地，还可能构想的是相对运动向量将从由指示设备的摄#4几 产生的图像的图像分析中推导出，这样，在该情况中，运动向量确定装置包括 合适的图像处理算法。这种算法可育逸于例如拟目继图像中定位和追踪匹配点的技术，或者可能^J )检测图像中任意形状的已知技术，诸如Hough变换。指 示设备可能包括合适的运动向量编译单元用于将个别的运动*装配到一个完 整的相对运动向量中。例如，描述指示设备平移的信息能够通过一个或多个运 动传感器或通过合适的图像分析而获得。描述指示设备向前或向后倾斜的角度 的另外的信息能够从另外的运动传感器中获得。这些信息元素能够祐放在"""^以组成描述平移和旋转的相对运动向量。此处简单提到的技术和算法对本领域技术人员来iJU^^口的并且因此不必被详细解释。为了准备用于传输至控制接口的图像数据和相对运动向量数据，根据本发 明的指示设^^选地还包括分段单元用以在传输前将图像分段，以及交错单元 用于将相对运动向量包括在图像片段之间。结果产生的交错式数据^u^传输之 前能够被緩存或者能够被立即发射至控制接口 。如已经提到的，相对运动向量可以按照比图像帧速率更快的速率而获得， 这样控制接口自在前图像的生成就能够持续地被提供更新的运动信息，描述指 示设备的移动。对摄<斜几生成的图像的分4/H皮批阡以确定用户将指示设备对准 的点。通常地，目标点简单地是在图像中心的点，通常与指示轴和图像平面的 虚拟交叉点相一致。当用户将指示设备对准对象以选M项或发出指令时，计 算机视觉算法能够以识别对象或选项为目的而被应用来确定目标区域图像中的 目标点。使用计算机視觉算法处理目标区域图像的图fJt据的方法可包括检测在 目标区域图像中的特殊点，确定在模板中相应的点，例如显示、设备或环境的 模板，并进行变换以将目标区域图像中的点映射至模板中的相应点。这个变换 然后可以^U I来例如确定用户将指示设备对准的模板中的点，并且其可以^^) 以容易地识别用户瞄准的选项。将图像数据与预定义的模板相比较从而可以被 限制为只识别和比较突出的点，诸如特殊的拐角点。如在这个发明中应用的术 语"比较，，应被广3U也理解，即，仅比^A够的特征以快速地识别用户对准的 选项。然而，在图像已经被指示设备的摄^4几生成之后，用户可能继续移动指示 设备，例如跨越电祸^几的显示器以继续扭Z亍他的选择特定的菜单项目的意图或 继续做出与指令相关联的某种手势。因此，在图像中识别的目板存、很可能不再 相应于在图像分析完成时间或之前用户对准的实际点。然而，才艮据本发明，控制接口能够^上持续^y^收"较新的"关于指示 设备的运动的信息，同时它仍然忙于处理"较旧的，，图傳jt据，这样的事实允许控制接口^^]由相对运动向量给出的运动增量(del ta )^if斜旨^H殳备的运动， 以估计或预测图像分析已经完成分析图像片段所装配的图像的时间或之前用户 将指示设备对准的实际点。使用估计或预测的信息，系统能够例如正确地在屏 幕上放置光标以反映由指示设备对准的实际点，或者能够做出对于接下来将需要的4莫板的有才艮据的^^，J 。以上面描述的方式分段图像并将它们与持续更新的相对运动向量""^发送至控制接口，这允许系统正确;4^"指示设备的移动做出^。然而， 一些应用 可能需要更快的反应时间，而其它的可能满足于较慢的^时间。需要决狄 应时间的例子可能是游戏应用，在这里用户必须对特定情况快速地反应，并且 结果捧决速地移动指示设备。"慢的"应用可能是用户简单地将指示设备对准显
示屏以选择在菜单中呈现的多个选项中的一个应用，但是其:^不是重点，所
以用户能够以相对平稳的方式移动指示设备。根据本发明的系统对指示设备的
移动做出反应所用的时间很大程度上取决于将图像和相对运动向量发射至控制 接口的速率。
因此，在本发明的优选实施方式中，在与相对运动向量交错之前图像^^ 为图像片段的数量能够根据指示设备的运动被有利地选择。因此，如果指示设 备正在緩慢地移动，将图像分为相对少数量的片段就足够了，比方说三个，并 在传输前将这三个片段与相对运动向量交错。另一方面，如果用户正拟目当快 速地移动指示设备，可能更明智的是提供更多数量的相对运动向量以具有足够 的信息来正确地跟踪指示设备的运动。因此，在这种情况中，图像可以祐分为 较多数量的片段，比方说十个，然后在传输至控制接口之前，图像片段可以与 十个相对运动向量交错。单个图像的大量相对运动向量给系统足够的信息以估 计在图像已经被处理的时间或之前指示设备所对准的实际点。因此才艮据本发明 的系统优选地包括调整单元用以在图像分析和相对运动向量分析的勤出上确定 对指示设备的摄^^几的图像帧速率和/或图像片段的数量做出的<封可调整。这种 调整能够通过合适的通信接口纟^^射至指示设备。
在本发明另 一个实施方式中，图像帧速率还可以根据指示设备的运动而被 调整，例如根据需要以更快或更f曼的速率提供图像。因此，对于需要迅速响应 的应用，指示设备可以被命令与相对运动向量一起传输每秒图像。另一方面， 对于较慢响应时间就足够的应用能够命令指示设备以较慢的速率发送图像。甚 至可以想到由控制接口生成的控制信号能够被用于影响摄^^几的快门ii;复，由 此允许图像以要求的速率被生成。
交错式数据^fc^送至的控制接口包括接收机，用于接收来自指示设备的 交错式数据流，以及"R取器单元用于从交错式数据流中提取图像片段和相对运 动向量。为了取回原始图像数据，控制接口包括重组单元用于重组图像片段以 获得相应的完整图像，其然后能够在图像分析单元中被分析以确定指示设备被 对准的目标点的位置信息，还有相对运动分析单元用于分析相对运动向量以确 定关于目标点的绝对的位置信息。以这种方式，控制接口能够预测指示设备的 运动，这样它能够例如提供给应用所必须的信息用于相应于指示设备正在对准的实际目标点而正确地在屏幕上呈现光标，或者它能够使用该信息以从数据库 中及时取回合适的模板，以当指示设备正对准的对象被识别时加速图像分析过程。控制接口能够是独立的单元，或者能够被^f在^f可合适的设备中，例如 在计算机中或家庭娱乐设备中，用户能够通过指示设备以上面描述的方式与它 交互。设备可以是<封可电气或电子可控的设备，并且可以在制造时配置有控制 接口 ，或者能够在稍后的时间点使用需要的才狭和接口来升级。本发明其他目的和特征将从随后结合附图考虑的详细描述中变得明显。然 而应当理解，图单独为了说明的目的而被设计并且不^^作发明P艮制的定义。

图1示出了依照本发明的指示设备的坐标系统； 图2示出了依照本发明的指示设备遵循的路径； 图3示出了根据本发明的实施方式用于确定指示设备的运动的系统； 图4是根据本发明的实施方式由指示设备的摄<斜几生成的目标区域图像的 示意'l"i^示；图5是依照本发明的交错式数据流的示意4錄示。在图中，同样的数字始终指的是同样的对象。图1示出了指示设备2，带有 摄#^几3 ^f在它的顶端，这样摄像机3能够生成在指示设备2前面并在指示P 的方向上的目标区域的图像。指示设备2被分配了一个三维空间中的坐标系统， 通过轴X, Y和Z而示出，其能够^皮任意创造。这里，X 4辆皮定义为与指示i更备 2的纵轴垂直的水平轴，Y轴在垂直方向延伸，而Z轴相应于指示i殳备2的纵轴。 指示设备2在由这些轴X, Y, Z给出的三个方向的任意一个上自由移动，即， 左和右，前和后，上和下，以任意组^^进^亍。此外，指示设备2能够围绕轴X, Y, Z中的一个或多个而旋转。围绕Y轴的旋專純常被称为"偏转(yaw)，，，围绕 X轴的旋转通常#皮称为"倾斜(pi tch )"或"歪斜(t i 11)",围绕纵向Z轴的旋 專M常被称为"滚动(roll)"。当指示设备2 ^U I户(在图中未示出)从第一 位置移动至第二位置时，结杲产生的位置改变能够被运动向量所描述，根据第 二位置，其能够包括上面描述的六个可能的自由度的运动分量中一个或多个， 甚至可能全部。图2示出了在由坐标系统的轴x，， y，， z，而给定的第一位置，以;^^f皮用户以弧D所示运动方向而移动后在由轴X"， Y"， Z，，而给定的第二位置的指示设备2。 在将指示设备2从它的第一位置移动到它的第二位置之间，用户还能够旋转指示设备2，这样倾斜、滚动和偏转的角度也会被考虑。
为了确定指示设备2的相对运动，指示设备2叙己有多个运动向量检测装 置Mh M2, M3,如在图3中所示的，其示出了在用于确定指示设备2的相对运动 的系统l的上下文中的指示设备2。由指示设备2收集的图像和运动信息4iL^射 至控制接口 20以解释。控制接口 20能够才財居用户使用指示设备2 a的动作 来控制设备IO。在这个例子中，将被控制的设备10是带有显示器11的电视4几 10，显示器11示出了图形用户界面，在上面用户能够移动光j示12以选择在显 示器11上呈现的选项选择中的一个。
指^i殳备2的运动向量;^则装置M^ M2, M3能够被适当地安排在指7^ri殳备2 中或上面，以检测在指示设备2移动的方向上的运动。指示i殳备的运动的多种 分量(在轴X, Y， Z的一个或多个方向上的平移和/或围绕轴X， Y, Z的一个或 多个旋转)被编译以给出相对运动向量V2， V3， V4。各种运动;f^则装置M， M2, M,能够持续地生成测量，这样相对运动向量V,， V2, V3, V4能够或多或少持续 地产生，或者以预定义的规则间P融皮产生，这样相对运动向量V" V2, V3， L也 以，见则间隔纟皮编译。
指示设备2正被对准设备10,其在显示器ll中示出应用的图形用户界面。 为了与应用交互，用户能够将指示设备2对准显示器11,这样指示设备2的摄 <斜几3生成在指示P的方向上的目标区域A的图像4,包含显示器11的一些或 全部。图像4被指示设备2的摄像机3生成，按照由快门速度和还可能由指示 设备2被操作所处于的照明务降而给定的时间间隔。
图4示出了在电视机IO的图像4中获取的显示器11的部分。用户将指示 设备2对准显示器11以选择多个菜单选项中的一个。光标12出现在目标点T 以给用户示出他将指^i殳备2对准的显示器11中的点。在用户在显示器11上 移动指^i殳备2的同时图像4在一些时间点^姓成。然而，在这个图像4已经 被处理的时间或以前，如将稍后描述的，指示设备2将已经被继续移动，这样 指示设备2实际对准的目板S、T，不再是图像4的"旧"的目标点T。在图像帧时 间中，即在两个图像4之间的时间，运动才^则装置M!， M2, M3生^目对运动向量 V,, V2， V3, V4,给出指示设备2从第一目板存、T至第二目标点T，的运动相对于 目标区域A的近似值。
新的目标点T，能够基于图像4和由相对运动向量Vj， V2， V3, 1给出的增量 (delta)而被估计。为了以这样一种方式将图像4和相对运动向量V，V2， V3, K发射至控制接口 20，该方式为相对运动向量V15 V2, V3, V,能够,皮利用而不需 要等待^图^^达，图像4被分为多个片段S,， S2, S3, S4并且与相对运动向量V,, V2, V3， V4交错，如在图5中所示的。此处，图像4;j^为四个片段S， S2, S3, S,,并且四个相对运动向量V!， V2， V3， V4被夹在片段S,， S2, S3, &之间 以产生交错式数据流5。时间t。^L^用为图像4的第一片段S^tt射的时间。图像4的四个片段分 别地按照时间tl5 t2和t3给定的时间间隔而发射。相对运动向量跟随每个图像片段，这样相对运动向量VJ,图像片段S，相对运动向量V2跟随图像片段S2，等等。在第四图像片段S4和第四相对运动向量V4已经以这个交错式方式^H射 后，过禾l^t4重复，以下一个图像的第一图像片段S,，和与该图像关联的第一相 对运动向量V开始。图4象片,殳S，S2, S3, S4和相对运动向量V,， V2, V3,、的》—斤然后如下i^f亍 一旦已经接4UiJ完全的图像，绝对的位置，即用户在图像^皮获取的时刻将指示 设备对准的目标点，能够被确定。在这个例子中，我们〗叚设对于在前目标点的 值，给定为变量"last—absolute—position (最近的绝对位置)，，，已经对于在 前的时间而确定，在前的时间例如为tH,其被^Ht在变量"last—absolute—time(最近的绝对时间)"中。然后，一J9^于当前图像4接Jlt^所有图像片段S,， S2， S3， S4,有可能确定在图像4^皮获取的时刻，即时间t。，用户将指^i殳备对 准的点。使用由相对运动向量V" V2, V3, V4给出的增量校正这个位置以产生"actual—position (实际位置)"的值，给出在图像4的图像处理已经^^L成 的时间或之前，即在时间t3,用户将指示i殳备对准的实际点的近似值或估计值。 变量"last—absolute—time"然后一皮更新为由"actual—position"给出的才^jE 后的值，并且变量"last—absolute-time"才艮悟t3的值净皮改变。这些变量然后 能够被用作对用于以更精细的粒度等级平滑和/或预测运动的进一步方法的输入。注意相对运动向量V]， V2, V3, ^不需要直接在^d射之前;f皮编译，而是它 们能够被预先生成和编译。它们可以按照比实际发射的速率更快的速率而生成， it才羊最当前的相对运动向f^嫂射而^f也的净皮丢弃。同样地，相对运动向量V,, V2， V3, V4不需要以精确规则的间隔^^成，特别是当它们基于图像分##^成 时，这样斜目对运动向量的生成之间的实际间隔能够改变，或者能够是规则的。 类似地，图i^粉为的片段不需要必须4^是相同尺寸，而是如果需要能够改 变尺寸。回到图3，在分段单元13中图像4被分为片段S,， S2, S3, S,并JL^由发射 机15发射至控制接口 20之前，在指示设备2的交错单元14中与相对运动向量v,， V2, V3, V4交错。控制接口通过接收机21接4^JiJ交错式数据流5。它然后能够在提取单元22 中从交错式数据流5中提取出图^f棘运动信息，其输出是图像片段S，， S2, S3， S,和相对运动向量V" V2， V3， V4,其分别被转发至图像重组单元23和相对运动 分析单元27。图像重组单元23重组图像片段S!， S2， S3, S4以'l^l^始图像4。 图像然后传至图像分析单元26,在那里它祐分析以确定用户将指^H殳备2对准 的点。这个过程在WO 2004/047011 A2中^皮详细描述。
同时，拟目对运动分析单元27中，指示设备2遵循的鴻径^J^少部分MA 相对运动向量V" V2, V3， V4提供的信息中重构。部分重构可能A^够的，由于 它可能不是相关的，例如，如果指示设备以指示的方式向前移动，或者如果指 ^i殳备2围绕它自己的纵轴旋转。跨图像4的虚^^f圣起源于第一目标点T并 使用由相对运动向量V,， V2, V3, V,给定的增量而重构，它产生在图像分析单元 已经获得与第一目标点T关联的图像4的时间或之前用户将指示设备2对准的 实际对象点T，的辺:似值。
这个f言息然后能够被用于优化图像分析，其目的是4空制i殳备10,在设备IO 上运行的应用或指示设备2。调整单元28接收关于图像4的信息、相对运动向 量K, V2, V3, V,和/或实际对象点T，，并生成合适的控制信号30, 31。例如， 获得的关于用户将指示设备2对准的实际点T，的信息能够被用于发出合适的指 令32,引起/^#器17中及时i脉回正确的模板，由jth^口速图像分析并减少系 统时延。调整单元28还能够通过指示设备2的实际目标点T，的合适的信号31 把实际目标点通知给在设备10 Jii^行的应用，这样光标12及时地^^i斤以在 显示器11上正确;45艮随指示设备2的运动。
调整单元28的另一个功能可以M出适当的指令给指示设备2以影响图^f象 帧速率和/或图像4将^^为的片段S,， S2， S3, S4的数量，通过M适的控制信 号30通it^4^几29发射至指^i殳备2。叙沐接收机16的指^i殳备2能够接 收由调整单元28发出的指令30并能够据此反应。以这种方式，系统能够对指 ^i殳备2的快速移动做出^Z,通过例如将图像4分为更多数量的片段，由此 允许指示设备2在交错式数据流5中提供相应地更大数量的相对运动向量，这 样系统能够最终以更高精确度跟踪指示设备2的运动。
虽然本发明已经以优选实施方式和它的变型的形式被公开，应当理解可以 对它做出多种附加的修改和变化，而不脱离本发明的范围。例如，它可能不需 要检测指示设备的所有可能自由度的移动，这样指示设备能够实现为只带有期 望自由度所要求的运动测试装置。
为了清楚的缘故，还应当理解贯穿在这个申请中的"一"或"一个，，的使用不排除多个，"包括，，不排除其它步骤或元件。"单元，，或可以包括
多个块或i殳备，除非明确描述为一个单独的实体。
权利要求
1.一种确定指示设备(2)的运动的方法，其中该方法包括步骤将包括摄像机(3)的指示设备(2)对准目标区域(A)的方向；生成由指示设备(2)对准的目标区域(A)的图像(4)；在两个图像(4)之间的图像帧时间期间，获得关于指示设备(2)的运动的一系列相对运动向量(V1，V2，V3，V4)；将图像(4)和相对应的相对运动向量(V1，V2，V3，V4)发送到控制接口(20)；解释图像(4)和相对应的相对运动向量(V1，V2，V3，V4)以确定指示设备(2)的运动。
2. 根据权利要求1的方法，其中图像(4 HM"段以产生多个图像片段U,s2， s3， s4),在传输之前，相对应图像帧时间的相对运动向量(v" v2, v3， v4)与图l象片l殳(S，S2, S3, S4)交错以产生交错式数据流(5)用以传输至控制接 口 (20)。
3. 根据权利要求1或权利要求2的方法，其中用于生成目标区域(A )的 图像(4)的图像帧速率和/或图^^皮分段的分段(S，S2， S3, S4)的数對艮据指 示设备(2 )的运动被调整。
4. 根据在前权利要求任意一个的方法，其中相对运动向量(V" V2， V3， V4) 包括关于指示设备(2)的空间坐标和/或指示设备(2)的平移和/或指示设备(2 )的旋转的信息。
5. —种将由指示设备(2 )的摄像机(3 )生成的图像(4 )与关于指示设 备(2 )的运动并与该图像(4 )相关联的相对运动向量(Vl5 V2， V3， V4)交错的 方法，其中图像(4)一紛为多个图像片段(Sn S2, S3)并JU目对运动向量(V,， V2， V3， V4)在图像片段(S" S2， S3) ^或之前以产生交错式数据流(5)。
6. —种用于确定指示设备(2)的运动的系统(1),包括指示设备(2 )，该指示设备(2 )包括摄{^几(3 )用于生成在指示(P )方 向上目标区域(A)的图像(4);运动向量确定装置(M，M2, M3)，用于确定指示设备(2)的相对运动向量 (M,, M2, M3， M4);控制接口 (20)，用于解释图像(4)和相对运动向量(V" V2, V3， V4)以 确定指示设备(2 )的运动；发射机(25)，用于将图像(4)和相对运动向量(V" V2, V3， VJ发射至 控制接口 (20)。
7. 根据权利要求6的系统(1 )，包4射周整设备(28 )用于确定将对指示 设备(2)的摄j財几(3)的图像帧速率和/或图像片段(S15 S2， S3)的数量做出 的调整。
8. —种控制接口 (20),包括接收机(21 ),用于从指示设备(2 )接4t^交错式数据流(5 )中的图像(4 ) 和相对运动向量(V,， V2， V3， V4);提取单元(22),用于从交错式数据流(5)中提M目对运动向量(V,， V2, V3, V4)和图1象片^殳(S,， S2, S3, S4);重组单元(23)，用于重组图像片段(S" S2， S3， S4)以获得相对应的完整 图像(4);图像分析单元(26 )，用于分析图像(4 )以确定关于图像(4 )中目标点(T ) 的位置信息；相对运动分析单元(27)，用于分4財目对运动向量(V，V2, V3, VJ以确定 关于目标点(T)的乡^H立置信息。
9. 一种指示设备(2 )，包括摄#^几(3 ),用于生成在指示(P )方向上在指示设备(2 )前面的目标区 域(A)的图像(4);运动向量确定装置(M,, M2, M3)，用于确定指示设备(2)的相对运动向量 (V" V2, V3， V4);分段单元(13)，用于将图像(4)分段为多个图像分段(S，S2， S3, S4); 交错单元(14)，用于将相对运动向量(V" V2, V3, V4)与图像分段(Sl5 S2, S3, S4)交错为交错式数据流(5);发4#几(25 ),用于将交错式数据流(5 )发射至控制接口 ( 20 )。
10. —种电气或电子可控的设备(10 ),包4封艮据权利要求8的4空制接口 (20)。
全文摘要
本发明描述了一种确定指示设备(2)的运动的方法，其中该方法包括步骤将包括摄像机(3)的指示设备(2)对准目标区域(A)的方向并生成由指示设备(2)对准的目标区域(A)的图像(4)，同时在图像(4)间的图像帧时间期间还获得关于指示设备(2)的运动的一系列相对运动向量(V₁，V₂，V₃，V₄)。图像(4)与相应的相对运动向量(V₁，V₂，V₃，V₄)一起被发射至控制接口(20)，在那里它们被解释以确定指示设备(2)的运动。本发明进一步描述了一种用于确定指示设备(2)的运动的系统(1)。此外，本发明描述了在系统(1)中使用的控制接口(20)，指示设备(2)，和包括这样的控制接口(20)的电气或电子可控设备(10)。
文档编号G06F3/0346GK101238429SQ200680029275
公开日2008年8月6日 申请日期2006年7月25日 优先权日2005年8月11日
发明者J·奈斯勒 申请人:皇家飞利浦电子股份有限公司