交互式显示系统的制作方法

专利名称：交互式显示系统的制作方法
技术领域：
背景技术：
本发明为交互式显示系统的领域。更具体来说，本发明的实施例针对此些显示系统及操作所述显示系统的方法，其中用户使用远程手持式装置与所显示内容交互。演讲者将消息传递给观众的能力通常通过使用视觉信息结合口头语言来增强。在现代中，使用计算机及相关联显示系统来产生并向观众显示视觉信息已变得很普通，举例来说，借助于例如可从微软公司(Microsoft Corporation)购得的POWERPOINT呈现软件的应用程序。对于大的观众群(例如在礼堂环境中)，显示系统通常为投影系统(正面投影或背面投影)。对于较小的观众群(例如在会议室或教室环境中)，尤其是随着平板(例如，液晶)显示器的成本在近几年来已下降，这些显示器已变得普遍。不需要特殊屏幕且因此更容易部署的新显示技术(例如小型投影仪(“微微型投影仪”))现在正在进入市场。对于 向非常小的观众群(例如，一两个人)的呈现，膝上型计算机的图形显示器可足以呈现视觉信息。在任何情况中，增加的计算机能力与更好且更大的显示器(均具有较低成本)的组合已增加基于计算机的呈现系统在广泛的情景(例如，商业、教育、法律、娱乐)中的使用。典型的基于计算机的呈现涉及演讲者站在远离显示系统处以便不阻挡观众对视觉信息的观看。通常，演讲者将使用指示器(例如激光指示器或甚至简单的木质或金属指示器)来非交互式地指向显示器上的视觉信息。然而，在此类型的呈现中，演讲者基本上限制于所产生的、通常以顺序方式显示(即，以给定次序从一个幻灯片到另一幻灯片)的呈现内所含有的视觉信息。然而，由于视觉呈现为计算机产生且计算机控制的，因此可执行交互式呈现。此交互式呈现涉及给特定观众选择特别重要的视觉内容、演讲者在呈现期间注释或说明视觉信息及调用效应(例如缩放、选择到呈现中别处的信息的链接(或在线)、将显示元素从一个显示位置移动到另一显示位置等)。此交互性大大地增强了呈现，从而使得对于观众来说其更有趣且更具吸引力。然而，在于观众面前使用的常规显示系统中，演讲者通常必须就座于计算机本身处以便通过操作计算机来交互地控制所显示的呈现内容。此限制可使呈现逊色，尤其是在大观众群情景中。因此，期望演讲者从远处与所显示的视觉内容交互的能力。更具体来说，因此，期望远程定位的操作者可用来指向并与所显示的视觉信息交互的手持式装置。当然，为了使此装置交互地发挥作用，基于计算机的显示系统必须辨别出显示器上的装置正指向的位置，以便理解操作者命令。如此项技术中已知，常规“光笔”在远处提供与显示器的手持式交互。在这些装置中，阴极射线管显示器(CRT)上的所指向位置通过感测所述显示器上的所指向像素位置由CRT电子枪刷新的时间来检测。使此所感测时间与CRT显示器的光栅扫描序列相关，以确定光笔传感器所瞄准的屏幕位置。当然，此光笔感测技术由于其对感测光栅扫描时序的相依性而限制于CRT显示器。第5，933，135号美国专利描述结合现代液晶显示器(IXD)及其它类似平板显示器技术(例如，等离子显示器、发光二极管(LED)显示器等)有用的另一常规类型的手持式指向装置。此笔装置包含捕获显示屏幕的一部分(包含可见光标)的图像的成像器(例如相机)。将经检测到的光标的位置、大小及定向转发到主机处理器，所述主机处理器将经检测到的光标与所显示的图像进行比较并推断出笔装置相对于显示器的相对定向及位置。根据此方法以及第7，513，700号美国专利及第7，161，596号美国专利中所描述的类似方法，指向装置捕获所显示图像的一些或全部(未必包含光标元素)。所捕获图像与正显示的图像之间的比较使得能够推断出相机图像的中心相对于所显示图像的位置。然而，这些常规指向装置必定约束所显示的图像，从而需要所显示光标元素或可感知图像内容在所显示图像内变化以便确定定位装置的所指向位置。在一些情形中，光标的存在对于观看的观众来说可能为分散注意力或多余的。另外，这些装置将不能在“白板”情景中使用，举例来说，在用户希望在原本空白的显示场上手写或画图像的情况下。另外，此方法涉及大量的数据处理及带宽以传递所捕获的图像并将其与所显示的图像进行比较。·
第7，420, 540号美国专利描述一种对于相对远离显不器的用户有用且未必依赖于所显示图像的内容来定位的指向装置。在经致动时，此指向装置从远处捕获图像(包含显示器的一个或一个以上拐角及或许显示器的中心)，并将所述所捕获的图像转发到控制器。控制器接着依据由指向装置捕获的图像中显示拐角的位置及定向来确定指向装置的定位及相对移动。然而，此方法限制于其中用户充分远离显示器使得指向装置的视包含一个或一个以上显示拐角的那些情形，且将显现为在较小的环境中或在其中演讲者接近大显示器的那些情形中并不良好地操作。根据另一方法，所显示的图像包含指向装置可感知但人类观看者不可直接感知的定位信息。第7，553，229号美国专利描述一种在所显示图像帧序列当中交错十字准线导航帧的游戏显示系统。将这些十字准线导航帧描述为包含相对暗的图像图案，所述图像图案由于以相对高的帧速率在帧图像序列内交错的相对少的数目个导航帧将不可由人类观看者直接感知。在此系统中，游戏装置(即，指向装置)捕获包含导航帧中的两者或两者以上的视频序列；系统接着通过图案辨识来识别所述导航帧并使经识别帧交叉相关以确定显示器的指向装置所瞄准的“十字准线”位置。在此系统中对装置的快速定位需要所显示序列内的导航帧的高工作循环，此减小所显示游戏图像对于人类用户的亮度及对比；相反地，可以较长定位检测时间为代价获得较低人类可感知影响且因此获得减小的游戏性能。第7，421，111号美国专利中描述涉及指向装置的位置的人类不可感知图像信息的其它定位方法。根据一种所描述的方法，通过像素或位置编码定位图案帧序列、显示所述序列并随时间对其进行感测；接着从所感测的顺序代码推断出所指向位置。通过针对图案使用红外光或通过针对总体所显示图像内的可见光定位图案的显示使用极高帧速率(需要高速投影技术或单独的投影仪)来减小这些定位图案的人类可感知性。在本专利中所描述的另一方法中，在指向装置内提供多个传感器以放大显示器的所感测区域且捕获单个帧内的完整代码；为了进行恰当解码及定位，此方法似乎限制定位装置与所显示图像之间的距离。作为进一步背景，在帕克(Park)等人的“到动态表面上的未失真投影(Undistorted Projection onto Dynamic Surface)” (图像与视频技术的进步(2006), M582-90页)中描述“扩增真实性系统”。在此所描述的系统中，将图像投影到实际的真实世界物体及表面上以增强观看者对他的或她的环境的感知，其中对所显示图像应用几何校正以计及物体的表面从平坦的变化。将此几何校正描述为基于相机所捕获图像数据与待显示的图像数据的比较。在此文章中，投影系统在连续帧中使所显示图像与亮度或色彩的图案图像变化叠加。连续帧中的图案图像(即，变化)总计为零且因此为人类观看者不可感知的。出于几何校正的目的而将连续帧中的相机所捕获图像彼此相减，从而抵消所显示图像数据但恢复图案图像。由相机所观看的经恢复图案图像与待显示的数据的比较使得能够对所显示图像进行几何校正。作为进一步背景，已知数字微镜装置类型的交互式投影仪系统。在这些系统中，使用单独的高速经调制光源或替代地色轮段在显示器处投影人类观看者不可见但相机可检测的定位信息。当然，这些系统限制于基于数字微镜的调制器投影显示系统且通常需要额外投影子系统(包含额外调制器)以便以合理的性能操作。

发明内容
本发明的实施例提供一种交互式显示系统及一种交互地操作显示系统的方法，其中手持式指向装置在一系列的距离及定向内与所显示内容交互。本发明的实施例提供其中以观众不可感知(不管人类可感知图像的内容如何)的方式确定指向装置所瞄准的位置的此一系统及方法。本发明的实施例提供其中可使用通过使用可见光且以显示器的标称帧速率显示的人类不可感知定位信息快速且高效地执行指向装置的定位的此一系统及方法。本发明的实施例提供其中经由指向装置进行的用户交互的类型包含突出显示、点击拖曳、徒手文本及画、操作驱动显示器的基础计算机系统、缩放所显示图像、手势辨识等的此一系统及方法。本发明的实施例提供其中高效且快速地执行指向装置所瞄准的位置的定位的此一系统及方法。本发明的实施例提供其中可通过指向装置中所包含的其它传感器(例如加速计以及其它物理定位及移动传感器)辅助定位过程的此一系统及方法。本发明的实施例提供与广泛的显示器类型(包含CRT、平板及投影显示器(正面型或背面型))兼容的此一系统及方法。本发明的实施例提供在不需要改型或替换的情况下与现有显示系统兼容的此一系统及方法。本发明的实施例提供其中可在大范围的显示器大小内(介于从礼堂大小的投影屏幕到膝上型平板显示器的范围内)使用指向装置的此一系统及方法。本发明的实施例提供与触摸检测及触摸屏交互兼容的此一系统及方法。本发明的实施例提供其中可视需要在系统内分布计算资源的此一系统及方法。参考以下说明书连同其图式的所属领域的技术人员将明了本发明的实施例的其它目标及优点。可将本发明的一个方面实施成一种计算机显示系统，所述计算机显示系统包含远程无线或有线指向装置，所述远程无线或有线指向装置包含相机或其它视频捕获系统。所述指向装置包含相机及与产生所显示图像的计算机系统通信的能力。根据本发明的实施例，计算机系统在例如平板显示器或投影系统及屏幕的常规显示器上显示其既定视觉(图形或视频)输出。此既定视觉输出内包含一个或一个以上定位目标，其呈视觉有效负载的显示帧中的强度的经图案化调制(例如，所显示色彩中的一者或一者以上的像素亮度或强度的变化)、后续接着连续帧中的相反调制的形式。人类观众自然地平均化所观看的帧，此具有随时间抵消定位目标的调制的效应，同时使既定视觉输出为观众可见的。由指向装置捕获所显示图像的包含定位目标中的一者或一者以上的至少两个帧的全部或一部分；将连续帧中的所捕获帧数据彼此相减以在所捕获视觉数据中恢复定位目标(并移除所显示图像有效负载)。经恢复定位目标的位置、大小及定向识别指向装置相对于显示器的瞄准点及空间位置。根据本发明的另一方面，所述显示系统包含在显示器中在变化的时间处于变化的位置的定位目标。在一个实例中，按命令(例如，在用户致动定位装置中的开关之后)显示定位目标且其由定位装置捕获。所述显示系统接着在所显示图像的稍后帧中包含处于显示·器的不同位置的第二目标。处理所显示定位目标在所捕获图像中的位置、大小、时序及定向以恢复指向装置相对于显示器的瞄准点。可随时间重复所述过程以理解指向装置的移动。根据本发明的另一方面，所述显示系统以响应于从先前帧捕获的定位目标的图像而选择的位置、大小及其它属性产生稍后定位目标。通过指向装置捕获所显示图像的其中定位目标突出且紧密匹配所产生定位目标的一部分来促进显示器的所指向位置的准确且快速确定。根据本发明的此方面，更改定位目标以校正指向装置距显示器的距离、指向装置的旋转、指向装置从显示器“离轴”的位置及所产生的定位目标与指向装置所捕获的定位目标之间的其它失真。参考本说明书的所属领域的技术人员将明了本发明的在其各种实施例中实现的其它方面。


图I是使用根据本发明的实施例的交互式显示系统执行的演讲者呈现的示意性透视图。图2a及2b是呈框形式的电路图，每一解说明根据本发明的实施例的交互式显不系统。图3a是图解说明根据本发明的实施例的交互式显示系统的操作的流程图。图3b是由本发明的实施例的交互式显示系统显示的图像中所包含的定位目标的图解说明。图3c是图解说明根据本发明的所述实施例的图2a的交互式显示系统的操作的流程图。图3d是图解说明根据本发明的所述实施例的图2b的交互式显示系统的操作的流程图。图4a是根据本发明的实施例显示包含一个或一个以上定位目标的图像的方法的流程图。
图4b是图解说明图4a的方法的操作的实例的流程图。图4c是根据本发明的实施例在所显示图像中检测定位目标的方法的流程图。图5a及5b图解说明根据本发明的实施例的指向装置的远视及近视定位的实例。图6a是伽马及逆伽马曲线的曲线图，且图6b是图解说明根据本发明的实施例的逆伽马曲线在定位目标的显示中的应用的流程图。图7图解说明根据本发明的其中在定位目标中包含少于整个所显示图像的替代实施例的所述定位目标的显示的实例。图8是本发明的其中干扰定位目标的规则性的替代实施例的流程图及对应实例。

图9是本发明的其中也通过调制背景图像来减小定位目标的对比的替代实施例的流程图及对应实例。图IOa及IOb是图解说明本发明的其中对定位目标进行色彩加权以减小人类可感知性的替代实施例的流程图。图11是图解说明本发明的其中使定位目标的边缘模糊以进一步减小人类可感知性的替代实施例的流程图。图12是图解说明根据本发明的另一实施例操作交互式显示系统的方法的流程图，其中随时间对多个定位目标进行定序。图13a到13e图解说明根据本发明的另一实施例的标称定位目标、所述定位目标的由于指向装置的位置所致的失真表示及补偿定位目标。
具体实施例方式将结合本发明的实施例中的一者或一者以上来描述本发明，S卩，实施成包含观众可见的显示器的计算机化呈现系统，因为预期本发明在应用于此系统时将特别有益。然而，还预期，本发明结合其它应用(例如在游戏系统、用户到计算机系统中的一般输入中等)可为有用的。因此，将理解，以下描述仅以实例方式提供且并不打算限制所主张的本发明的真实范围。图I图解说明其中本发明的实施例有用的环境的简化实例。如图I中所展示，演讲者SPKR正在使用视觉辅助物给出观众A现场呈现。在此情况中，视觉辅助物呈由计算机22产生并以观众A可见的方式在房间大小的图形显示器20上显示的计算机图形及文本的形式。如此项技术中已知，此些呈现在商业、教育、娱乐及其它情景中为常见的，其中特定观众群大小及系统元件广泛地变化。图I的简化实例图解说明其中观众A包含观看呈现的数个或更多成员的商业环境；当然，环境的大小可从容纳数百个观众成员的礼堂到其中观众A由单个人组成的单个书桌或桌子而变化。用于向观众A呈现视觉辅助物的显示器20的类型也可变化，此通常取决于呈现环境的大小。在介于从会议室到大型礼堂的范围内的房间中，显示器20可为投影显示器，包含安置于显示屏幕前方或后方的投影仪。在所述环境中，计算机22将产生视觉辅助图像数据并将其转发给投影仪。在较小环境中，显示器20可为由计算机22中的图形适配器直接驱动的例如等离子或液晶(LCD)类型的外部平板显示器。对于向一两个观众成员的呈现，呈膝上型或桌上型计算机的形式的计算机22可仅仅使用其自己的显示器20来呈现视觉信息。此外，对于较少观众A，手持式投影仪(例如，“口袋型投影器”或“微微型投影仪”)正在变得更普遍，在所述情况中，显示屏幕可为墙壁或白板。使用计算机呈现软件来产生并在呈现的情景中呈现图形及文本现在为普遍的。此呈现软件的众所周知的实例为可从微软公司购得的POWERPOINT软件程序。在图I的环境中，此呈现软件将由计算机22执行，其中在显示器20上显示呈现中的每一幻灯片，如此实例中所展示。当然，特定视觉信息不需要为在计算机22处执行的先前所形成的呈现，而是可为经由计算机22接入的网页；包含图标、程序窗口及动作按钮的桌面显示；来自DVD或正由计算机22读取的其它存储装置的视频或电影内容；或甚至作为“白板”的空白屏幕(演讲者SPKR可使用指向装置10在其上“画”或“写”)。参考本说明书的所属领域的技术人员将明了结合本发明的实施例有用的其它类型的视觉信息。如图I中所展示，对于演讲者SPKR来说，站在远离显示器20处以便不阻挡观众A的观看且也更好地吸引观众A通常为有用的。根据本发明的实施例，给演讲者SPKR提供远离计算机22且远离显示器20与在显示器20处显示的视觉内容交互的能力。此外，根据本发明的实施例，演讲者SPKR可紧密地接近显示器20且(举例来说)在虚拟按钮或链接处虚拟地“按压”或“触摸”显示器20以便以此方式与视觉内容交互。由显示器20显示的视觉·信息的此交互使用给演讲者SPKR提供在认为有用时向特定观众A即席演讲呈现的能力，以与活动内容(例如，因特网链接、活动图标、虚拟图标、流式视频等)介接并致动呈现的高级图形及控制件，而不需要演讲者SPKR就座于计算机22处或以其它方式“钉到”计算机22。如下文将结合本发明的特定实施例进一步详细地描述，演讲者SPKR借助于指向装置10执行此远程交互，指向装置10能够捕获显示器20处的图像的全部或一部分且能够与所述图像的所指向(或所瞄准)目标位置交互。此实例中的指向装置10无线地将显示器20的此所指向位置及来自演讲者SPKR的其它用户命令传递给接收器24且因此传递给计算机22。以此方式，根据本发明的实施例，执行与所显示图像的远程交互。交互式显示系统的一般构造及操作现在参考图2a，现在将描述在例如图I中所展示的环境的环境中有用且根据本发明的实施例的交互式显示系统的构造的一般化实例。如图2a中所展示，此交互式显示系统包含指向装置10、投影仪21及显示屏幕20。在本发明的此实施例中，计算机22包含用于产生待由投影仪21在显示屏幕20处显示的“有效负载”图像的适当功能性，此些有效负载图像既定供观众观看。根据本发明的实施例，这些有效负载图像的内容由人类用户经由指向装置10交互地控制。为了进行此操作，计算机22与定位电路25协作，定位电路25确定显示屏幕20的指向装置10正指向的位置。如依据以下描述将变得明了，此定位确定是基于指向装置10检测在显示屏幕20处显示的一个或一个以上定位目标。计算机22将以其有效负载图像产生功能产生或可以接入待显示的视觉信息(即，视觉“有效负载”图像)，举例来说，所述视觉信息呈存储于存储器中的先前所产生的呈现文件的形式或呈例如计算机22可经由网络或因特网检索的活动内容的形式。如下文也将进一步详细地描述，来自计算机22的此人类可见有效负载图像帧数据将与由目标产生器功能23产生的定位目标图像内容组合，当在图形显示器20处显示时，所述定位目标图像内容可由指向装置10捕获并由定位电路25用来推断指向装置10所指向的位置。图形适配器27包含适合于以适合显示格式向投影仪21呈现图像数据帧序列(包含有效负载图像数据与定位目标图像内容的组合)的适当功能性。在此投影实例中，投影仪21又在显示屏幕20处投影对应图像I。计算机22、定位电路25、目标产生器电路23及图形适配器27的特定构造可广泛地变化。举例来说，预期包含适当处理电路(CPU或微处理器)及存储器的单个个人计算机或工作站(呈桌上型计算机、膝上型计算机或其它适合形式)可经构造及编程以执行以下功能产生有效负载图像、产生定位目标、在图形适配器27之前或借助于图形适配器27组合此两者以及接收并处理来自指向装置10的数据以确定所显示图像的所指向位置。或者，预期在计算机22外部的单独功能系统可执行目标产生器23、接收器24及定位电路25的功能中的一者或一者以上，使得可将计算机22实现为在不进行修改的情况下操作的常规计算机；在此情况下，图形适配器27本身可构成外部功能(或与在计算机22外部的目标产生器23、接收器24及定位电路25的其它功能中的一者或一者以上组合)，或替代地可在将来自目标产生器23的输出呈现到的计算机22内实现。还预期这些功能的其它各种替代实施方案。在任何情况下，预期计算机22、定位电路25、目标产生器23及在产生在图形显示器20处显示的图像及定位目标时所涉及的其它功能将包含呈存储计算机程序指令的计算机可读媒体的形式的适当程序存储器，所述计算机程序指令在由其处理电路执行时将执行 如本说明书中所描述的本发明实施例的各种功能及操作。预期参考本说明书的所属领域的技术人员将能够容易地在不过度实验的情况下布置用于实施本发明的这些实施例的适当计算机硬件及对应计算机程序。此实例中的指向装置10包含由光学系统12及图像传感器14组成的相机功能。当指向装置10瞄准显示器20时，便将所捕获图像展露给图像传感器14，所述所捕获图像取决于指向装置10与显示器20之间的距离、光学系统12内的透镜的焦距等而对应于显示器20处的图像I的全部或一部分。图像捕获功能16包含此项技术中已知的用于在由用户选择的特定时间点处或在取样时间序列中的每一取样时间处随着捕获而获取并存储所捕获图像的数字表示的适当电路。指向装置10还包含为常规按钮或指向装置10的用户可借以以鼠标按钮的性质提供用户输入的其它开关的致动器15，以致动图像捕获或用于如下文将描述且所属领域的技术人员明了的其它功能。在此实例中，指向装置10内还包含一个或一个以上惯性传感器17以辅助或增强与所显示内容的用户交互；此些惯性传感器的实例包含加速计、磁性传感器(即，用于感测相对于地球磁场的定向)、陀螺仪及其它惯性传感器。在图2a的此实例中，指向装置10可操作以将对应于由图像捕获功能16获取的所捕获图像的信号转发到定位电路25。此通信功能由指向装置10中的无线发射器18连同其内部天线A执行，借助于所述内部天线A来发射射频信号(例如，根据常规标准，例如蓝牙或适当IEEE 802. 11标准)。预期发射器18具有常规构造及用于编码、调制及经由适用无线协议发射所捕获图像数据连同其它用户输入及控制信号的操作。在此实例中，接收器24能够经由其天线A从指向装置10接收所发射信号且能够将所接收信号解调、解码、滤波及以其它方式处理成适合于由定位电路25处理的基带形式。现在将参考图3a在一般意义上描述根据本发明的实施例的交互式显示系统的操作。在过程30中，计算机22产生待在显示器20处显示的视觉有效负载图像数据。这些视觉有效负载图像数据对应于既定供在图I的环境中的观众A观看的人类可感知内容，此内容对应于构成呈现的视觉分量的视觉辅助物(POWERPOINT幻灯片、网页等)。在过程32中，连同此视觉有效负载图像数据，目标产生器功能23产生也将连同视觉有效负载图像数据一起在显示器20上显示的定位目标图像。下文将进一步详细地描述根据本发明的实施例的这些定位目标图像的性质。在本发明的实施例中，在过程32中产生的定位目标图像不需要可由观众A直接感知，而仅需可由指向装置10感知以用于此系统的操作。在过程34中，图形适配器27将视觉有效负载图像数据与定位目标图像数据组合成适合于在显示器20处显示的形式，举例来说，在常规意义上呈一个或一个以上图形或视频数据“帧”的形式。或者，计算机22可从目标产生器功能23接收定位目标并组合那些定位目标与有效负载图像数据，之后将经组合结果转发到图形适配器27 ;在此情况中，计算机22及目标产生器功能23中的一者或两者可包含图形适配器电路，其中那些实例中的任一者或替代地下游图形适配器电路用作向投影仪21呈现图形输出的图形适配器27。然而，在过程36中，将被组合的那些经组合帧转发到投影仪21以供以常规方式在显示器20处输出。或者，针对其它类型的显示系统(例如LCD、LED及其它非投影显示器)，将不利用投影仪21，而是图形显示器20本身将包含用于接收并显示经组合的有效负载图像与定位目标的适当功能性。图3b图解说明在过程36之后在显示器20上显示的图像I的一般化实例。如此图3b中所展示，图像I包含置于在显示器20处显示的图像I的左上角象限中的基本定位目标PTl。对于定位目标PTl来说，包含某一非对称性使得可依据定位电路25对所捕获图·像的分析来识别指向装置10相对于显示器20的轴的旋转为有用的。预期在指向装置10内实施的辅助运动传感器(例如加速计)可辅助此旋转定向确定，从而使得能够更快速地执行定位。在过程38中，交互式显示操作继续使指向装置10捕获正在显示器20处显示的图像的至少一部分。如上文所提及，指向装置10可按用户命令(举例来说，借助于致动器15)捕获此图像；或者，指向装置10可以经取样图像序列的形式周期性地捕获图像。在任一情况中，为了实现系统的交互式操作，由指向装置10捕获的图像将包含所显示图像中的定位目标中的一者或一者以上连同人类可感知的视觉有效负载图像。图3b针对其中使指向装置10瞄准所显示图像I (如视场FOV所指示)的情况图解说明所捕获图像Cl的实例。如图3b中所展示，获取所捕获图像Cl的视场FOV包含所显示图像I的仅一部分；另外，使视场FOV从所显示图像I的定向旋转(例如，逆时针45° )。在此实例中，所捕获图像Cl包含所捕获定位目标PT I。。在过程40中，在指向装置10获取包含至少一个定位目标的至少一个图像之后，交互式显示系统中的定位电路即刻确定所捕获图像内所含有的定位目标图像的属性。这些属性包含如指向装置10所观看的定位目标在所捕获图像中的位置，且还可包含例如所述所捕获图像中的定位目标的大小(此大小指示指向装置10距显示器20的距离)、所捕获图像中的定位目标的定向(其指示指向装置10相对于显示器的定向)、所捕获图像中的定位目标的形状(其可指示指向装置10离开法向于显示器20的轴的位置)等属性。参考图3b的基本实例，可将所捕获定位目标PTlc的位置识别为在所捕获图像Cl的左下角扇形中(例如，借助于某些坐标)。可识别所捕获定位目标PT1。的相对大小以给出在捕获时指向装置10到显示器20有多近的指示；另外，可依据所捕获定位目标PT1。在捕获时的形状的非对称性来识别其定向。在过程42中，基于这些经识别属性，图2a的系统中的定位电路25确定所显示图像I的在图像捕获时指向装置10指向的位置。在一般意义上，通过将所捕获图像Cl与在对应时间形成图像I的视频数据进行比较来实现过程42的此确定。可将此比较执行为视频数据的直接比较(即，将所捕获图像Cl的位图与所显示图像I的位图进行比较以将视场FOV置于图像I内正确的位置处)。或者，还可将例如大小、定向、形状等经识别属性与所显示的定位目标的类似属性进行比较，可依据所述比较来计算指向装置10相对于显示器20的位置。假定所捕获图像Cl及所显示图像I，预期参考本说明书的所属领域的技术人员可在不过度实验的情况下容易地开发出用于确定所指向位置的适当算法及方法。在任何情况中，在确定显示器20的在图像捕获时指向装置10所瞄准的位置之后，计算机22接着可即刻解码由用户经由指向装置10以图形用户接口方式给出的命令。如在此项技术中为基本的，图形用户接口命令包含例如“选择”、点击拖曳、双击、右击等功能以及包含放大或缩小所显示内容、翻页等其它命令。此些命令的其它实例包含经由使用指向装置10在所显示内容上(举例来说，突出显示或评论所述内容)或在空白“白板”显示器上画徒手图像或写徒手文本。在图形用户接口情景中，这些命令不仅包含将采取的特定动作，而且取决于所显示图像中的当前所指向位置。在以此方式解码用户命令之后，交互式显示系统即刻(举例来说)通过在过程30中产生待响应于所接收用户命令而显示的新视觉 有效负载图像内容来重复所述过程。任选地，可在过程32的下一实例中但也响应于经解码命令而产生定位目标并将其组合到所显示图像中；举例来说，下一些定位目标的位置可取决于显示器的当前所指向位置(例如，以确保下一定位目标在指向装置10的视野中)。所述过程接着重复。预期本发明的实施例的交互式显示系统中的定位电路25的特定位置可在系统间变化。在一般意义上，哪一硬件子系统(即，驱动显示器的计算机、指向装置、视频数据路径中的单独子系统或其某一组合)执行显示器20的所指向位置的确定并非特别重要。在图2a中所展示的实例中，如上文所描述，定位电路25结合计算机22及目标产生器功能23部署于一系统中，所述系统将产生所显示图像I与确定所显示图像I的指向装置10所瞄准的位置(及解码与其相关联的命令)的功能组合成所述系统的相同元件中。就这一点来说，图3c图解说明上文相对于图3a所描述的但具有到图2a的系统的更具体应用的总体过程的一部分。在此情况中，图3c的交互式显示操作如上文相对于图3a所描述而通过其中指向装置10捕获在显示器20处显示的图像I的至少一部分的过程38继续。在过程39(图3c)中，指向装置10经由发射器18及天线A将对应于所捕获图像Cl且包含一个或一个以上定位目标的信号发射到定位电路25。在接收器24接收到所述所捕获图像数据之后，定位电路25即刻执行其中其在所捕获图像Cl数据内识别一个或一个以上定位目标的过程40’。除识别那些定位目标的位置以外，定位电路25还可识别定位目标的例如大小、定向等其它属性。所指向位置的确定(图3a的过程42)由图2a的系统中的定位电路25借助于其中将所捕获图像Cl中的定位目标图像内容的属性与所显示图像I中的对应定位目标图像内容进行比较的过程41来执行。如上文所描述，取决于特定实施方案，可通过视频图像内容的直接比较或替代地借助于基于特定属性的计算(图像场中的x-y位置的比较等)来执行过程41。在过程43中，计算机22接着使用在过程41中识别的指向装置10相对于显示器20的定位来确定显示器20的所指向位置。交互式显示过程接着继续过程44，如上文所描述，计算机22借助于过程44来解码并执行当前用户命令。
图2b图解说明根据本发明的实施例的交互式显示系统的替代一般化布置。此系统包含如之前所述的投影仪21及显示器20，其中投影仪21投影有效负载图像内容及由计算机22产生的定位目标图像内容，如上文所描述。在此实例中，指向装置10’执行在确定显示器20的其当前正指向的位置时所涉及的计算中的一些或全部。如此，除相机(透镜12、图像传感器14及图像捕获器16)以外，定位装置10’还包含定位电路25’连同无线发射器18。相反地，如之前所述，计算机22耦合到接收器24。 在一般意义上，定位电路25 ’接着通过将在其图像传感器14及图像捕获器16处获取的所捕获图像I内所含有的定位目标图像内容与存储于其存储器中的定位目标图像信息进行比较来确定显示器20的定位电路25’所瞄准的位置。举例来说，定位电路25’可先验地存储对应于待在显示器20处显示的定位目标的标称形状及大小的图像数据，使得其可将所捕获图像与所述定位目标图像进行比较。或者，发射器18及接收器24可各自实施为既能够从彼此接收无线通信又能够向彼此发射无线通信的收发器，在所述情况中，可将对应于在显示器20处显示的定位目标的大小、形状及位置的数据发射到指向装置10’以供 比较。在任一情况中，图2b的系统(其中定位电路25’的至少一部分分布在指向装置10’处)产生稍微不同的总体操作，如现在将相对于图3d中所展示的具有到图2b的系统的具体应用的总体过程的部分描述。不论是预先存储于定位电路25’内还是通过无线发射接收，在过程46中，指向装置10’均存取对应于由目标产生器23产生且包含于所显示图像I中的定位目标图像内容的数据。这些数据可为定位目标图像内容数据本身(例如，图3b的定位目标P Tl)或替代地可为定位电路25’可依据其确定定位目标图像内容的位置及其它属性的某一类型的表示数据(例如，x-y位置、定向等)。在过程40”中，指向装置10中的定位电路25’在所捕获图像Cl内识别一个或一个以上定位目标(例如，定位目标PTlc)并视需要确定例如大小、定向等定位目标属性。在图2b的其中定位电路25’提供于指向装置10’内的系统中，定位电路25’执行过程47以识别所捕获图像Cl中的定位目标与所显示图像I内的定位目标(如在过程46中从计算机22传递)之间的关系。此操作基本上对应于图3c的过程41，但是在指向装置10’中执行而非在计算机22处执行(图2a)。并且，在过程48中，指向装置10’的图像捕获与定位电路16’基于在过程47中导出的相对属性而确定显示器20的指向装置10’本身在图像捕获时正指向的位置。指向装置10’在确定显示器20的其所指向位置之后接着即刻在过程49中经由由发射器18及接收器24建立的无线链路将识别所述所指向位置的数据连同任何命令或其它用户输入(例如，经由致动器15的输入)发射到计算机22。计算机22可接着以来自过程44的所要交互方式在其对图像I的操作及显示中对这些命令做出响应，如上文所描述。此外，在也由图2b暗示的替代方案中，计算并确定显示器20的指向装置10、10’所瞄准的位置的定位电路25、25’可分布于整个系统中，其中若干部分在两个指向装置10、10’处且若干部分在计算机22处，每一部分执行定位功能的某一部分。举例来说，指向装置10’处的定位电路25’可计算其所捕获图像Cl内所含有的定位目标图像内容的属性(例如，x-y位置、目标大小、定向等)，且接着将所述信息转发到接近计算机22部署的定位电路25，定位电路25完成显示器20的所指向位置的确定。预期参考本说明书的所属领域的技术人员可在不过度实验的情况下针对特定实施方案设计定位功能性及计算资源在各种系统元件当中的特定分布。假定此一般化描述，本发明的各种实施例针对产生并在显示器20处显示定位目标信息的方式，且现在将描述借助于本发明的那些实施例获得的益处中的一些益处。人类不可感知定位目标如上文在本发明的背景技术中所论述，远程指向装置的定位的许多常规方法包含使用所显示图像中的人类可感知内容来辨识显示器的指向装置所指向的位置。在一些情况中，可见光标构成定位目标，其中通过将所捕获图像中的光标的位置及属性与所显示的光标的位置及属性进行比较来确定所指向位置。在其它情况中，在定位过程中涉及图像的可见内容或实际上所显示图像本身的拐角。然而，在所显示图像中使用原本可感知图像或光标对于观众来说可能为分散注意力的，尤其是在显示系统正用作呈现者正在其上画或写视觉内容的“白板”的情况下。当然，那些常规可见目标系统在严格的“白板”应用中不能发挥作用，因为未显示可在定位功能中使用的视觉内容。另外，根据本发明，已观察到，就距显·示屏幕的距离来说，这些常规方法限制了指向装置的可用范围；由指向装置捕获的目标可能太大以致在指向装置过于靠近显示器的情况下不能被辨别出，或者太小以致在指向装置过于远离显示器的情况下不能被辨别出。根据本发明的实施例，使用观众不可直接感知的定位目标来执行指向装置10的定位(即，确定显示器20的指向装置10在特定时间所瞄准或指向的位置)。另外，本发明的实施例使用人类不可感知而仍以显示系统的标称帧速率操作且不需要对显示器进行硬件修改(例如额外投影仪、特殊帧速率叠加、针对定位目标使用不可见光(例如红外光)的额外投影子系统等)的目标来执行此定位。图4a到4c图解说明根据本发明的实施例的交互式显示系统中的定位目标的产生、显示及检测的实例。预期本文中在这一点上所描述的操作将由交互式显示系统的适当组件(举例来说，借助于上文相对于图2a及2b所描述的系统中的目标产生器功能23及图形适配器27)来实施及执行。并且，还预期可在不需要从当前由各种类型的现代常规显示器使用的标称速率(例如，大约60Hz)增加帧速率的情况下执行此产生及显示过程。预期参考本说明书的所属领域的技术人员可在不过度实验的情况下容易地构造及编程这各种功能(包含目标产生器功能23)以执行本文中所描述的操作。如图4a的流程图(其描述包含视觉有效负载图像内容及人类不可感知定位目标的所显示图像的产生及显示)中所展示，在过程30中，计算机22以图像数据帧的形式产生待在显示器20处显示的视觉有效负载图像数据。这些视觉有效负载图像数据对应于既定供观众观看的人类可感知内容。同时或提前地，目标产生器功能23执行过程32以通过图形适配器27或在图形适配器27之前产生待叠加到在过程30中产生的帧数据上的一个或一个以上定位目标。在过程50中，从存储器检索或通过目标产生器功能23以其它方式产生定位目标的图案形状。如上文所提及，可使用不同目标形状来显示多个定位目标以促进所指向位置的定位。在过程52中，选择待在显示器20处显示的图像的一个或一个以上位置作为将叠加在过程50中导出的定位目标的位置；此选择过程52可仅仅检索先前所确定的显示位置或替代地可基于定位过程的先前反复而以交互方式执行。根据本发明的实施例，定位目标是以与同视觉有效负载内容相关的像素强度值的偏差的形式应用于在过程30中产生的图像数据。换句话说，定位目标是作为对视觉有效负载图像数据的强度的调制来应用-定位目标区域内的每一像素将使其强度从由视觉有效负载图像数据针对所述像素指示的强度增加或减小。如图4b中所展示，在过程54中，目标产生器功能23选择对应于这些定位目标图案中所涉及的调制的强度A值p。根据本发明的此实施例，在图像数据帧序列内交替地将定位目标图案的强度A值加到视觉有效负载图像数据上及从视觉有效负载图像数据中减去。如从本描述将变得明了，此方法导致定位目标为大致人类不可感知的，而仍保持由定位电路25 “机器可感知”。如此，针对不同图像帧不同地执行上文结合图3a所描述的将视觉有效负载与定位目标组合的过程34。在本发明的实施例的此实例中，图形适配器27针对连续图像数据帧将组合过程34执行为连续组合过程34a、34b，如现在将参考图4a及4b描述。如上文所提及，预期图形适配器27可实施为从计算机22及从目标产生器功能23接收输入的单个图形适配器，或替代地可部署于那两个功能中的一者或两者中，或此外，在替代方案中，借助于计算机22及目标产生器功能23中的每一者内的向下游图形适配器馈送的图形适配器电路来实施，所述下游图形适配器向投影仪21或直接向显示器20呈现图形输出数据。 组合过程34a以过程55a开始,其中接收来自帧j的视觉有效负载图像数据。图4b图解说明此图像数据帧j的帧数据FD[j]的简化实例，其展示既定供观众观看的视觉内容。在过程56a中，通过将在过程52中选择的位置处的定位目标形状内的那些像素的强度数据修改在过程54中确定的强度A值而将帧数据FD[j]与定位目标组合。在此过程56a中，针对帧j，在逐像素基础上将此强度A值加到其选定位置处的定位目标形状内的每一像素的强度值上。在本发明的此实施例中，在过程56a中不修改定位目标外部的像素的强度值。换句话说，如果显示位置(x，y)处的像素在有效负载图像数据中具有强度值Ix, y，那么过程56a的结果将产生经修改像素强度值I ,y，如下Im x,y = Ix,y+P (x,y)G 定位目标= Ix, y (X,y) g定位目标图4b借助于经修改帧数据FDniU]图解说明加法56a的结果的简化实例，其中十字形定位目标PTl在所显示图像的右下角象限中的选定位置处显现为较亮值。在过程36a中，对帧j的这些经修改帧数据FDm[j]进行格式化以供显示并将其转发到投影仪21以供在显示器20处显示。针对视觉有效负载图像帧数据的下一帧j+1的组合过程36b从定位目标内的像素的有效负载强度中减去强度A值。在过程55b中，接收视觉有效负载图像帧数据的帧j+1 ;在图4b的简化实例中，假定此有效负载图像数据从帧j到帧j+1大致不改变(即，FD[j] =FD[j+1])。在过程56b中，通过从定位目标内的帧数据ro的像素的强度值数据中减去强度A值来修改所述像素强度。在过程56b中不修改定位目标外部的像素的强度值。类似地，如上所述，针对显示位置(x，y)处的在有效负载图像数据中具有强度值Ix，y的像素，过程56b的结果产生经修改像素强度值I ,y Imx,y = Ix,y-p (x,y)G 定位目标= Ix, V) C定位目标如图4b中所展示，经修改帧数据FDjj+l]在所显示图像的右下角象限中的相同选定位置处包含十字形定位目标PTl作为较暗值。在过程36b中，对帧j+1的这些经修改帧数据FDm[j+l]进行格式化以供显示并将其转发到投影仪21以供在显示器20处显示。出于本描述的目的，在单色意义上描述应用于定位目标的强度修改，其中将每一像素的总体强度描述为在定位目标处被调制成较亮或较暗。当然，现代显示器为通常基于针对每一分量色彩(例如，红色、绿色、蓝色)具有不同强度的帧数据而实现的彩色显示器。如此，针对本发明的一些实施例，预期将在定位目标位置处将每一分量色彩的强度调制土P。在本发明的其它实施例中，如下文将进一步详细地描述，调制将在色彩间变化。在从帧j及j+1完成组合过程34及转发过程36之后，如图4a中所指示，接着即刻通过递增j = j+2且针对下一帧j+2使控制返回到过程55a而针对所述下一帧j+2重复所述过程。因此，在显示器20处显示图像序列，其中一个或一个以上定位目标在连续帧中显现，但在那些连续帧中在较亮与较暗之间交替。然而，人眼的响应通常太慢以致不能感知处于大约60Hz或更高的现代帧速率的个别显示帧(例如，在60Hz或更高的显示刷新速率下，显示闪烁通常为人类不可见的)。而是，人类观看者往往将(举例来说)在若干个序列内平均化所感知的所显示图像。参考图4b，此平均化的结果将为使连续帧j、j+1相加(加 法器61)，且接着随时间平均化强度。针对定位目标内的那些像素，在两个帧内的此平均化总计为
_3]== Z3ry (x, y) E定位目标= Ix,y(U) €定位目标如此，人类观看者自然地仅感知视觉有效负载图像数据且并不直接感知定位目标或形状。然而，根据本发明的实施例，交互式显示系统能够检测并识别所显示图像I内所包含的定位目标。现在将参考图4c来描述检测过程40的实例。根据本发明的此实施例，可使用常规且市售的“网络相机”组件来构造指向装置10的相机与图像捕获功能。为便于同步(或更准确地，异步操作)，期望指向装置10的图像捕获功能16以约为显示器20的帧速率的两倍或更高的帧速率进行操作。在此图像捕获帧速率下，指向装置10操作以在过程60中捕获图像帧m且接着在过程62中捕获图像帧m+2(所述图像帧为稍后处于所述图像捕获帧速率的两个帧)。分开两个图像捕获取样周期的过程60、62的此操作确保所捕获图像帧m+2捕获具有叠加有与所捕获图像帧m的强度A值相反的强度A值的定位目标的图像(例如，图4b的帧数据FDm[j+l]及帧数据FDJj])。在过程64中，定位电路25 (不论是如图2a中位于计算机22处还是如图2b中在指向装置10’处)在逐像素基础上从所捕获图像帧m中减去所捕获图像帧m+2的图像数据。如图4b中所展示，减法64导致视觉有效负载图像数据有效地抵消且强化定位目标PT1。在理想情况中，减法过程64产生以下所感知强度值Iperx, V= (Ix,y+p)-(Ix,y-p) = 2p (x, y)G 定位目标= 0 (Xr y) g定位目标如此，在减法过程64之后，定位装置10仅感知定位目标或形状且并不感知视觉有效负载图像数据。进一步预期，如果期望减噪，那么可捕获两个以上帧并将其相减以恢复定位目标。举例来说，可将巾贞m及m+1相加在一起,其中将巾贞m+2及m+3相加在一起,且使用经相加帧的差来恢复定位目标。预期这些及其它变化形式也在本发明的实施例的范围内。
接着对减法过程64的结果应用常规所捕获图像处理。在图4c中所展示的本发明实施例中,在过程66中，应用直方图均衡滤波。如此项技术中已知,此直方图均衡校正经压缩像素强度范围内的视频数据，如在以下减法过程64中即为此情况。直方图均衡滤波过程66基本上重新分布像素强度以使其跨越强度范围的分布均衡。在过程68中，对经滤波定位目标图像数据应用常规自适应同步以校正几何失真，如数字水印嵌入及检测的技术中已知。在期望时也可应用其它图像处理技术。在从所捕获图像帧m、m+2恢复并处理定位目标图像数据之后，接着即刻由定位电路25执行过程70以识别经处理图像数据中的定位目标特征(如果存在的话)。可通过分析数据以确定在经处理的所捕获图像数据中是否存在匹配已知定位目标形状的形状来执行此识别。如果识别出此定位目标，那么过程70还可确定所捕获定位目标的各种属性，包含其在所捕获图像中的x-y位置、定位目标特征的大小、其旋转定向、任何形状失真(其可指示以一角度观看显示器20)等。因此，根据本发明的此实施例，属性确定过程40(图3a)完成。接着使用经检测属性来完成交互命令的定位及识别，如上文相对于图3a所描述。
·
因此，根据本发明的实施例，以定位电路25可感知而观众A不可感知的方式产生并检测显示器20处的所显示图像中的一个或一个以上定位目标特征。另外，以常规标称显示帧速率且在不需要对投影仪的修改或其它显示器20的情况下执行此操作。如此，可结合各种类型的显示器及现有显示器在广泛的设施中使用本发明的实施例。此外，根据本发明的实施例，人类可感知定位目标的不存在可增加可使用交互式显示系统的距离范围，如现在将参考图5a及5b描述。如图5a中所展示，指向装置10相对靠近显示器20。如此，指向装置10的视场FOV相对小，且包含单个定位目标PT。此定位目标PT在由指向装置捕获的图像内将显现得相对大。如此，定位电路25不仅可推断出显示器20的指向装置10所瞄准的位置，而且可依据由指向装置10捕获并恢复的图像内的单个定位目标PT的大小推断出指向装置10仅离开显示器20—近距离的指示。相反地，在图5b的实例中，指向装置10相对远离显示器20。如此，在此实例中，指向装置10的较大视场FOV包含多个定位目标PT1、PT2，所述定位目标中的每一者在由指向装置10捕获的图像内将显现为相对小(相对于图5a的情况)。定位目标PTl到PT6可具有彼此不同的形状或定向(未展示)以辅助定位过程。同样，定位电路25不仅可确定所指向位置(即，视场FOV的中心)，而且可依据所捕获及经恢复图像内的定位目标PT1、PT2的数目及大小进行确定。还预期，可以动态方式执行显示及定位过程，其中目标产生器功能23以取决于定位过程的先前反复的位置、大小及外观产生定位目标。下文将结合图13a到13e描述定位目标的此动态产生的实例。根据本发明的实施例，交互式显示系统的用户因此可仅仅基于指向特定虚拟“按钮”、链接或在显示器20处显示的其它内容而与在显示器20处显示的视觉内容交互，不论是在离开显示器20长距离处还是接近或甚至触摸显示器20。以此方式，用户可以对应于图形用户接口(“⑶I”)的方式与视觉内容交互。预期此交互的各种应用。演讲者可通过选择活动内容(例如，因特网链接、活动图标、虚拟按钮、流式视频等)、致动正在显示器20处显示的呈现的高级图形及控制件来与所述呈现交互。预期基于显示器20的所确定的所指向位置而从指向装置10传递例如“选择”、点击拖曳、双击、右击、放大或缩小所显示内容、翻页等图形用户接口命令。在另一情景中，指向装置10可用作游戏控制器，从而允许用户操作并玩正由计算机22执行的计算机游戏；就这一点来说，可使用指向装置10内所包含的例如加速计等惯性传感器来增强从用户到游戏的输入。在另一情景中，指向装置10可用于结合在所显示内容上(举例来说，突出显示或评论所述内容)或在空白“白板”显示器上画徒手图像及写徒手文本而发出命令。尤其在此应用中，预期用户可发出“记录”命令(举例来说，经由使用指向装置10本身来指向显示器20处的图标)，计算机22响应于所述命令而操作以将数据存储于其存储器资源中的一者中，所存储数据对应于指向装置10的后续操作，包含保存由指向装置10相对于显示器20做出的“虚拟”写或画；另外，预期还可记录由用户或观众所讲的音频以对应于所保存的虚拟写及画。在这些图形用户接口情景中的任一者中，计算机22可通常通过产生待响应于经由指向装置10从用户发出的命令而显示的新视觉有效负载图像内容来交互地对所述所接 收用户命令做出响应。接着重复总体显示、定位及响应过程，如上文所描述。结合本发明，已观察到，人类观众可能会在所显示图像中感知由于定位目标图像所致的一些像差，甚至根据如上文所描述的本发明实施例也如此。根据本发明的各种额外实施例，可以进一步减少这些可见像差从而进一步改进观众对定位目标的不可感知性且因此进一步增强观众体验的方式产生定位目标。现在将进一步详细地描述本发明的这各种额外实施例，应理解，在所主张的本发明范围内，本发明的这些实施例中的每一者可个别地或彼此以任何组合方式或组合其它变化形式来使用。逆伽马定位目标产生根据本发明，已观察到，根据上文所描述的一般化概念产生的定位目标(即，定位目标中的每一像素的强度D值的简单加法及减法)可导致定位目标在有效负载图像的相对亮区域中为人类观看者可见的且相反地在有效负载图像的较暗区域中对于指向装置来说为不良可见度。这些假象是由于显示过程中的伽马校正所致。如此项技术中已知，所显示的每一像素的强度并非基于对图形适配器27的输出的线性响应。而是，应用“伽马”校正函数使得像素的所显示照度L(I)为数字强度值I的函数(正规化到范围
)L(I) = CIY+b其中C为与显示器20的最大亮度相关的常数，b为黑色电平，且Y为显示器20的非线性度(通常介于从I. 5到2. 2的范围内)。此伽马校正函数L(I)的实例由图6a的曲线71展示。如此，将强度I调制强度A值p在I到零比到一更近时对所得照度L(I)具有较少的影响。相反地，将强度I调制强度△值P在I接近于一时对所得照度L(I)具有较多的影响。此导致定位目标在有效负载图像的亮区(I接近于一)中为可见的或在有效负载图像的暗区(I接近于零)中难以恢复。根据本发明的此实施例，通过将强度A值p表达为数字强度值I的函数来产生并应用定位目标，其中此函数P(I)补偿伽马校正函数。图6b中展示此操作，其中在过程32 (图4a)中产生定位目标以检索定位目标形状(过程50)及选择定位目标的位置(过程52)开始，如之前所述。在过程54’中，分别针对红色、绿色及蓝色色彩分量为定位目标选择图案强度A基值& pg、pb。这些基值Pr、Pg、Pb定义将应用于定位目标中的视觉有效负载图像强度数据的函数P (I)。过程56a对视觉有效负载图像数据的帧j应用定位目标叠加，如上文所描述。在本发明的此实施例中，此过程56a是基于有效负载图像中的每一像素且特定来说定位目标中的每一像素的所接收强度值Ir, g,b。在过程72a中，目标产生器功能23根据伽马校正函数响应于所述像素的强度值L而计算定位目标位置中的红色分量的强度A值p/ (Ir)P； = (Zr+Pr)(^-Zr^在图6a中借助于曲线73绘制此逆伽马校正函数的实例。分别响应于所接收强度值Ig、Ib而类似地计算绿色及蓝色分量的强度A值Pg’(Ig)、Pb’(Ib)。或者，可基于考虑到对不同色彩的不同人类敏感度的公式而计算像素亮度值，且可接着对此像素亮度值应用逆伽马校正。在过程74a中，接着将由过程72产生的强度A值p/ (Ir), p/ (Ig)、pb’ (Ib)加·到帧j的定位目标位置中的每一像素的所接收强度值Ir,g,b。类似地，过程72b响应于下一帧j + 1的定位目标位置中的每一像素的所接收强度值Ir, g, b而计算那些位置中的每一像素的强度A值p/ (Ir), p/ (Ig)、Pb’(Ib)。在过程74b中，通过减去在过程72b中计算的强度A值p/ (Ir)、Pg’(Ig)、Pb’ (Ib)来修改帧j + 1的定位目标中的每一像素的所接收强度值Ir,g,bo在每一情况中，在过程36a、36b (图4a)中在适当时通过图形适配器27 (包含根据用于显示器20的伽马函数)对经修改帧强度数据进行格式化，且接着将其转发到投影仪21或直接转发到显示器20以供呈现。因此，根据本发明的此实施例，在有效负载图像数据的较亮区中减小定位目标的人类可感知性，同时维持那些定位目标在所述图像的较暗区中的可检测性。还预期，根据本发明的此实施例的逆伽马校正也将使得能够使用较小强度A基值P，因此进一步减少图像中的由观众所观看到的定位目标假象的存在。定位目标的闪烁的分散区在帕克(Park)等人的“到动态表面上的未失真投影(Undistorted Projectiononto Dynamic Surface) ”(图像与视频技术的进步(2006),第582-90页)中，在其中将有效负载图像投影到实际的真实世界物体及表面上的应用中，出于几何校正的目的而将图案图像嵌入到所显示图像中。如所述文章中所描述，出于“扩增真实性”的目的，图案图像填充整个屏幕。然而，已知人眼对正在改变强度的较大显示区的闪烁的感觉较敏感，如在沃森(Watson)等人的“可见度窗口 经时间取样视觉运动显示器中的保真度心理物理理论(Window of visibility:a psychophysical theory of fidelity in time-sampledvisual motion displays) ”(J. Opt. Soc. Am.，第 3 卷，第 3 期(1986 年 3 月)，第 300-07 页)中所描述。因此，根据本发明的另一实施例，定位目标仅覆盖每一所显示图像帧的若干部分而非整个图像帧。图7使用正方形作为基本定位目标PTl到PT6来图解说明此经减少覆盖的实例。当然，如上文所描述，特定定位目标PT形状通常将为除正方形以外的某物以促进检测指向装置10的定向、将各种定位目标PTl到PT6彼此区别开且还检测指向装置10的离轴位置。在任何情况中，如从图7针对经修改图像帧数据FDm[j]、FDm[j+l]的实例显而易见，定位目标PTl到PT6覆盖大致小于所显示有效负载图像的整个区域。预期，可实施甚至更多的定位目标PT，而覆盖更少的总体显示区域。因此，预期根据本发明，考虑到正以经调制强度在帧间显示总体显示区域的仅一小部分，将减少可能由观众感知的显示器闪烁的感觉。因此改进定位目标图像的不可感知性。定位目标的图案的去图案化如沃森等人的“眼睛能最好地看到什么？(What does the eye see best ) ”(自然，302 (5907) (1983)，第419-22页)中所描述，人眼对以某些空间频率发生的图案敏感。根据本发明，已通过原本不可感知的图案在所述图案明显规则的情况下变得可感知观察到此效应。根据本发明的此实施例，通过以不同空间频率产生并叠加定位目标的较弱图案来干扰定位目标的图案的规则性。现在参考图8，现在将描述根据本发明的此实施例产生具有不规则空间频率的定位目标。特定来说，在过程32 (图3a)内实施本发明的此实施例，其中如上文所描述而产生定位目标。

在本发明的此实施例中产生定位目标以过程50a开始，其中从存储器检索或通过目标产生器功能23以其它方式产生定位目标的初级图案的图案形状。在过程52a中，选择图像的将显示初级定位目标的位置；在本发明的此实施例中，如初级定位目标图案PTPl所展示，此图案在空间意义上基本上为周期性的。并且如上文所描述，在过程54a中，目标产生器功能23选择此初级定位目标图案的强度A值Pl。此强度A值？1同样将对应于与定位目标内的像素位置处的有效负载图像数据的强度偏差(正或负)。在过程60中，根据具体情况，确定或检索初级定位目标图案的二维空间频率fxyl。预期可以用于图像处理应用的常规方式来确定此空间频率。过程50b开始产生将叠加初级定位目标图案且当然也叠加有效负载图像数据的定位目标次级图案。根据本发明的此实施例，此次级图案将具有比初级图案的空间频率fxyl高的二维空间频率fxy2，举例来说fxy2 =当然，可替代地使用除9/4以外的空间频率倍数。在过程52b中，假定所显示图像的边界且在选择个别元素的形状之后，接着产生此次级图案作为叠加。如图8中所展示，在此实例中，次级图案PTP2中的定位目标各自为圆形的，而初级图案PTPl中的定位目标为正方形。最后，在过程54b中，选择此次级图案的次级强度A值p2。预期，此次级强度A值P2的量值将小于初级强度A值Pl。或者，可应用较复杂的定位目标图案作为次级图案PTP2。举例来说，从不可感知性的观点来看，已观察到二维高斯曲线的图案产生有效的掩蔽图案。然而，此些较高复杂度的次级掩蔽图案可能使定位目标的检测复杂化。图8还图解说明组合过程34a的结果的简化实例，其中定位目标初级图案PTPl及次级图案PTP2叠加帧j的有效负载图像数据。在此实例中，将把初级强度A值Pl及次级强度A值？2加到(在强度上)有效负载图像数据的像素图案上。一些像素将接纳初级强度A值P1加法器及次级强度A值P2加法器两者，其它像素将接纳这些加法器中的一者或另一者，且其它像素将保持于其由有效负载图像数据确定的强度。图8中以简化形式图解说明此实例中的所得帧图像数据FDJj]。根据本发明的此实施例，由定位目标次级图案PTP2施行的不规则性通过干扰可能存在于定位目标初级图案中的空间周期性来辅助使定位目标变得让观众不可感知。另夕卜，已观察到，初级及次级定位目标的叠加可通过将定位目标彼此区分开而辅助定位过程。在图8的实例中，叠加可再现图案使得初级图案PTPl中的两个正方形不相似。可在图像捕获之后即刻检测个别定位图案及确定指向装置10的所指向位置时应用此信息。背景翻转如上文相对于图7所描述，呈不填充整个显示器20的重复图案的形式的定位目标PT有助于减小人类观众对定位目标的可感知性。根据现在将参考图9描述的本发明另一实施例，在不减小定位目标PT的可检测性的情况下进一步增强定位目标的不可感知性。更具体来说，根据本发明的此实施例，也可通过沿相反方向调制定位目标PT外部的像素的像素强度将所述定位目标内的像素的像素强度的调制的振幅减小多达二分之一。根据本发明的此实施例，对视觉有效负载图像数据应用定位目标PT的过程34a、34b以过程55a开始，其中接收所显示图像的帧j的帧数据FD[j]。在过程56a’中，针对此 帧j，在逐像素基础上将较小强度A值加到其选定位置处的定位目标形状内的每一像素的强度值上。在此实例中，针对选定调制强度△值P，定位目标形状内的强度的加法为P/2。在过程57a中，在本发明的此实施例中，也修改定位目标位置及形状外部的像素的强度值，但是通过从那些像素强度中减去经减小调制强度A值p/2而进行。如上文所描述，如果期望，那么过程56a’、57a可将分量色彩中的每一者的强度值调制这些量。因此，定位目标内及定位目标外部的像素之间的强度差保持为P，但任何像素强度与有效负载数据的最大偏差限制于P/2。因此，根据此实例，在帧j中，将经修改像素强度表达为Irn Xy — IXy + 芝(x，y) G 定似目标= Ixy - y) g定位目标在过程36a中，接着对经修改帧数据FDm[j]进行格式化并将其转发到显示器20以
供呈现。在过程55b中，接收下一帧j+1的帧数据FD [j+1]。以类似方式但以与应用于帧j的极性相反的极性修改这些帧数据FD[j+l]。过程56b’从定位目标内的每一像素的强度值中减去经减小调制强度A值p/2，且过程57b将经减小调制强度A值p/2加到定位目标外部的每一像素的像素强度上。因此，针对此帧j+1，将经修改像素强度表达为Im Jtiy = !Xiy (x, y) G 定位目标= Ixy + y) g定位目标在过程36b中，接着对经修改帧数据FDm [j+1]进行格式化并将其转发到显示器20
以供呈现。参考本说明书的所属领域的技术人员将容易理解，如之前所述，在检测定位目标时经修改帧数据FDJj]与经修改帧数据FDm[j+l]的差分将恢复定位目标；有效负载图像数据将同样借助此减法而抵消。相反地，由人类观看者对所显示的经修改帧数据FDm[j]及经修改帧数据FDm[j+l]的自然平均化将抵消在过程34a、34b中应用的调制，包含对定位目标外部的像素应用的调制。如此，定位目标将为不可感知的，在本发明的此实施例中甚至更如此，因为将针对任何一个像素的强度调制的量值减小二分之一。简化的色彩加权如此项技术中已知，人眼对一些色彩比对其它色彩更敏感。更具体来说，已展示，人眼对蓝色不如对红色敏感且对红色不如对绿色敏感。举例来说，在计算机显示器及电视中，典型人眼的相对响应加权为对红色0. 29、对蓝色0. 11及对绿色0. 59。根据本发明的此实施例，通过选择人眼最不敏感的色彩组合来增强定位目标的不可感知性；指向装置10的相机功能不(或不需要)具有与人眼相同的对色彩的相对敏感度，且因此可较容易地“看见”人眼可能较不容易看见的定位目标。图IOa图解说明本发明的此实施例的一个实施方案，其中在再现较不可感知的定位目标时结合如上文结合图6a及6b所描述的逆伽马补偿采用人眼的相对色彩敏感度。将通过相同或类似参考编号来提及图IOa中的类似于上文结合本发明的其它实施例所描述的那些过程的过程。
·
通过目标产生器功能23以检索定位目标形状(过程50)及选择定位目标的位置(过程52)开始来产生定位目标，如上文所描述。然而，在本发明的此实施例中，在过程80中选择图案强度对比度c ;根据人类敏感度的逆对个别色彩分量应用此对比度，如依据以下描述将变得明了。在过程85中，从存储器检索或通过目标产生器功能23计算一组逆色彩加权w’ pW’g、w’b。这些逆色彩加权w\、w’g、w’b逆对应于人眼的相对敏感度。举例来说，分别假定对红色、绿色、蓝色的一组相对色彩敏感度Wp Wg> Wb,根据本发明的此实施例按下式计算逆色彩加权W’ r> w’ g、w’ b :
「 n , /I I I Xf1
L0151」 评”=w 丨 + 十I
I Wr % WbJ
/1 i i Yj_1Wta = W0 I — + — + — I
U S\Wr Wg WbJ
(i i iYf1WfJ, = Wh I--1--H--I
\Wr Wg WbJ举例来说，如果对红色、绿色、蓝色的所述组相对色彩敏感度(^、Wg, Wb)分别具有值(0. 29,0. 59,0. 11)，那么根据此实施方案在过程85中导出的所述组逆色彩加权(W，r、w’g、w’b)将为(0. 24、0. 12、0.64)。如依据此实例显而易见，人眼最不敏感的蓝色分量变为定位目标图像调制中的加权最重的色彩分量，且反之亦然。在过程56a中再次执行针对定位目标内的像素修改有效负载图像数据中的像素强度，在此情况中过程56a针对帧j以过程82a开始，其中计算定位目标位置中的给定像素的亮度b。在本发明的此实施例中，过程82a通过对所述像素的有效负载图像数据的强度值Ir> Ig> Ib应用由人类观看者感知的所述组相对色彩敏感度Wpwg、wb计算亮度b b = wrIr+wgIg+wbIb如此，此像素的所感知亮度b对应于有效负载图像数据强度值的色彩分量中的每一者的所感知亮度。在过程72a’中，基于此所计算的亮度b且基于来自过程80的选定图案强度对比C而针对定位目标中的每一像素计算逆伽马移位值C’。在本发明的此实施例中，举例来说，可按下式计算逆伽马移位值C’ :
权利要求
1.一种交互并远程地操作计算机系统的方法，其包括 产生视觉有效负载图像帧数据； 将对应于在连续帧中应用于所述视觉有效负载图像帧数据的一个或一个以上选定像素位置处的互补强度方差的至少一个定位目标图案与所述视觉有效负载图像帧数据组合； 在显示器上显示所述经组合的视觉有效负载图像帧数据与定位目标图案； 在至少两个帧内捕获表示所述显示器的包含所述定位目标的至少一部分的图像数据； 处理图像数据以将所述所捕获图像数据的帧彼此相减以在远离所述显示器观看时恢复所述定位目标图案；及 响应于所述经恢复定位目标图案而确定所述显示器的所指向位置。
2.根据权利要求I所述的方法，其中所述组合步骤包括针对将显示所述定位目标图案的每一像素 确定所述像素处的所述视觉有效负载图像帧数据的至少一个色彩分量的强度分量值； 响应于所述像素处的所述强度分量值且根据逆伽马校正函数而计算至少一个方差值； 在第一帧中，将经计算方差值加到所述像素的所述视觉有效负载图像帧数据上；及 在第二帧中，从所述像素的所述视觉有效负载图像帧数据中减去经计算方差值。
3.根据权利要求I所述的方法，其进一步包括 产生对应于第一量值的强度方差区的第一多个定位目标，所述第一多个定位目标以第一二维空间频率在所述显示器的区域上布置成一图案；及 产生对应于小于所述第一量值的第二量值的强度方差区的第二多个定位目标，所述第二多个定位目标以大于所述第一二维空间频率的第二二维空间频率在所述显示器的所述区域上布置成一图案；且其中所述组合步骤包括 在第一帧中，将所述第一及第二多个定位目标与所述视觉有效负载图像帧数据加性组合；及 在时间邻近于所述第一帧的第二帧中，将所述第一及第二多个定位目标与所述视觉有效负载图像帧数据减性组合。
4.根据权利要求I所述的方法，其进一步包括 选择所述显示器的将显示所述定位目标图案的位置。
5.根据权利要求4所述的方法，其中所述组合步骤包括 在第一帧中 从将在所述选定位置内的每一像素处显示的所述视觉有效负载图像帧数据中减去强度方差；及 将强度方差加到将在并非所述选定位置内的像素处显示的所述视觉有效负载图像帧数据上；及 在时间邻近于所述第一帧的第二帧中将强度方差加到将在所述选定位置内的每一像素处显示的所述视觉有效负载图像帧数据上 '及 从将在并非所述选定位置内的像素处显示的所述视觉有效负载图像帧数据中减去强度方差。
6.根据权利要求I所述的方法，其中所述组合步骤包括 确定图案强度对比值； 确定位于定位目标内的像素的色彩分量的逆色彩加权，所述逆色彩加权逆对应于人眼对所述色彩分量中的每一者的相对可感知性； 针对在第一帧中将显示所述定位目标图案的每一像素 确定所述像素处的所述视觉有效负载图像帧数据的亮度值； 响应于所述图案强度对比值及所述像素的所述亮度值，计算所述像素的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数；及 对所述像素的所述视觉有效负载图像帧数据加性应用所述经色彩加权方差因数； 且 针对在时间邻近于所述第一帧的第二帧中将显示所述定位目标图案的每一像素； 确定所述像素处的所述视觉有效负载图像帧数据的亮度值； 响应于所述图案强度对比值及所述像素的所述亮度值，计算所述像素的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数；及 对所述像素的所述视觉有效负载图像帧数据减性应用所述经色彩加权方差因数。
7.根据权利要求I所述的方法，其中所述组合步骤包括 确定图案强度对比值； 确定位于定位目标内的像素的色彩分量的逆色彩加权，所述逆色彩加权逆对应于人眼对所述色彩分量中的每一者的相对可感知性； 针对在第一帧中将显示所述定位目标图案的每一像素 响应于所述图案强度对比值及所述像素的所述视觉有效负载图像帧数据的每一色彩分量的强度数据，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数； 及 对所述像素的所述视觉有效负载图像帧数据加性应用所述经色彩加权方差因数； 且 针对在时间邻近于所述第一帧的第二帧中将显示所述定位目标图案的每一像素；响应于所述图案强度对比值及所述像素的所述视觉有效负载图像帧数据的每一色彩分量的强度数据，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数；及对所述像素的所述视觉有效负载图像帧数据减性应用所述经色彩加权方差因数。
8.根据权利要求I所述的方法，其进一步包括 选择所述定位目标的强度调制值；及 通过减小定位目标形状中在距所述定位目标形状的边缘的边界区内的像素的所述强度调制值来确定所述互补强度方差的量值。
9.根据权利要求I所述的方法，其中所述显示步骤以第一帧速率在显示器上显示所述经组合的视觉有效负载图像帧数据与定位目标图案； 其中以大致两倍于所述第一帧速率的第二帧速率执行所述捕获图像数据的步骤；且其中所述处理步骤处理第一所捕获图像帧及在时间上与所述第一所捕获图像帧分开所述第二帧速率的两个周期的第二所捕获图像帧中的所捕获图像数据。
10.根据权利要求I所述的方法，其中所述有效负载图像帧数据对应于计算机游戏的图形显示输出 且所述方法进一步包括 响应于所述所指向位置的所述确定，解释来自用户的游戏命令；及 响应于所述游戏命令，产生新的视觉有效负载图像帧数据。
11.根据权利要求I所述的方法，其进一步包括 响应于所述所指向位置的所述确定，产生新视觉有效负载图像帧数据； 重复所述产生、组合、显示、捕获、处理、确定步骤 '及 从所述指向装置接收对应于来自用户的记录命令的用户输入； 响应于所述记录命令，将对应于用户动作序列的包含至少多个所指向位置及对应用户输入的数据存储于所述计算机系统的存储器资源中。
12.—种交互式显示系统，其包括 计算机，其用于产生将在显示器上显示的显示图像数据； 目标产生电路，其用于产生至少一个定位目标图案，所述至少一个定位目标图案对应于将在连续帧中应用于视觉有效负载图像数据的一部分的互补强度方差； 图形输出电路，其用于将所述视觉有效负载数据与所述至少一个定位目标图案组合为呈适合于显示的格式的图形输出信号； 指向装置，其包括 手持式外壳； 相机，其安置于所述外壳中 '及 视频捕获电路，其用于捕获由所述相机获得的图像数据 '及 定位电路，其用于使由所述指向装置从耦合到所述计算机的显示器捕获的连续帧相减以恢复包含所述目标图案的图像数据，且用于确定所述指向装置所瞄准的所述显示器的位置。
13.根据权利要求12所述的系统，其中所述计算机包括 处理电路，其用于产生所述有效负载图像数据；所述定位电路的至少一部分；及 无线接收器电路，其用于从所述指向装置接收信号； 且其中所述指向装置包括 无线发射器电路，其用于将对应于所述所捕获图像数据的信号发射到所述计算机。
14.根据权利要求12所述的系统，其中所述指向装置进一步包括所述定位电路的至少一部分。
15.根据权利要求12所述的系统，其中所述指向装置进一步包括 至少一个致动器，其用于接收用户输入。
16.根据权利要求15所述的系统，其中所述致动器为选自由以下各项组成的群组的类型开关、加速计、磁性传感器、陀螺仪。
17.根据权利要求12所述的系统，其中所述指向装置进一步包括 至少一个惯性传感器。
18.根据权利要求2所述的系统，其中所述计算机包括用于产生布置于多个帧中的视觉有效负载图像数据的处理电路； 且其中所述图形输出电路将所述视觉有效负载图像帧数据与对应于在连续帧中应用于所述视觉有效负载图像帧数据的一个或一个以上选定像素位置处的互补强度方差的所述至少一个定位目标图案组合。
19.根据权利要求18所述的系统，其中所述目标产生电路执行多个操作，所述多个操作包括针对将显示所述定位目标图案的选定位置的每一像素 确定所述像素处的所述视觉有效负载图像帧数据的至少一个色彩分量的强度分量值； 响应于所述像素处的所述强度分量值且根据逆伽马校正函数而计算至少一个方差值； 在第一帧中，将经计算方差值加到所述像素的所述视觉有效负载图像帧数据上；及 在第二帧中，从所述像素的所述视觉有效负载图像帧数据中减去经计算方差值。
20.根据权利要求18所述的系统，其中所述多个操作进一步包括 产生对应于第一量值的强度方差区的第一多个定位目标，所述第一多个定位目标以第一二维空间频率在所述显示器的区域上布置成一图案；及 产生对应于小于所述第一量值的第二量值的强度方差区的第二多个定位目标，所述第二多个定位目标以大于所述第一二维空间频率的第二二维空间频率在所述显示器的所述区域上布置成一图案；且 且其中所述图形输出电路通过执行包括以下各项的多个操作将所述视觉有效负载数据与所述至少一个定位目标图案组合 在第一帧中，将所述第一及第二多个定位目标与所述视觉有效负载图像帧数据加性组合；及 在时间邻近于所述第一帧的第二帧中，将所述第一及第二多个定位目标与所述视觉有效负载图像帧数据减性组合。
21.根据权利要求18所述的系统，其中所述图形输出电路通过执行包括以下各项的多个操作将所述视觉有效负载数据与所述至少一个定位目标图案组合在第一帧中 从将在所述选定位置内的每一像素处显示的所述视觉有效负载图像帧数据中减去强度方差；及 将强度方差加到将在并非所述选定位置内的像素处显示的所述视觉有效负载图像帧数据上；及 在时间邻近于所述第一帧的第二帧中 将强度方差加到将在所述选定位置内的每一像素处显示的所述视觉有效负载图像帧数据上；及 从将在并非所述选定位置内的像素处显示的所述视觉有效负载图像帧数据中减去强度方差。
22.根据权利要求18所述的系统，其中所述目标产生电路执行包括以下各项的多个操作 确定图案强度对比值； 确定位于定位目标内的像素的色彩分量的逆色彩加权，所述逆色彩加权逆对应于人眼对所述色彩分量中的每一者的相对可感知性； 且其中所述图形输出电路通过执行多个操作将所述视觉有效负载数据与所述至少一个定位目标图案组合，所述多个操作包括针对所述选定位置的在第一帧中将显示所述定位目标图案的每一像素 确定所述像素处的所述视觉有效负载图像帧数据的亮度值； 响应于所述图案强度对比值及所述像素的所述亮度值，计算所述像素的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数；及 对所述像素的所述视觉有效负载图像帧数据加性应用所述经色彩加权方差因数；且 针对所述选定位置的在时间邻近于所述第一帧的第二帧中将显示所述定位目标图案的每一像素； 确定所述像素处的所述视觉有效负载图像帧数据的亮度值； 响应于所述图案强度对比值及所述像素的所述亮度值，计算所述像素的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数；及 对所述像素的所述视觉有效负载图像帧数据减性应用所述经色彩加权方差因数。
23.根据权利要求18所述的系统，其中所述目标产生电路执行包括以下各项的多个操作 确定图案强度对比值； 确定位于定位目标内的像素的色彩分量的逆色彩加权，所述逆色彩加权逆对应于人眼对所述色彩分量中的每一者的相对可感知性； 且其中所述图形输出电路通过执行多个操作将所述视觉有效负载数据与所述至少一个定位目标图案组合，所述多个操作包括针对所述选定位置的在第一帧中将显示所述定位目标图案的每一像素 响应于所述图案强度对比值及所述像素的所述视觉有效负载图像帧数据的每一色彩分量的强度数据，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数； 及 对所述像素的所述视觉有效负载图像帧数据加性应用所述经色彩加权方差因数； 且 针对所述选定位置的在时间邻近于所述第一帧的第二帧中将显示所述定位目标图案的每一像素； 响应于所述图案强度对比值及所述像素的所述视觉有效负载图像帧数据的每一色彩分量的强度数据，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的逆伽马移位值； 响应于所述像素的所述逆伽马移位值及所述色彩分量的所述逆色彩加权，计算所述像素的所述视觉有效负载图像帧数据的每一色彩分量的经色彩加权方差因数； 及 对所述像素的所述视觉有效负载图像帧数据减性应用所述经色彩加权方差因数。
24.根据权利要求18所述的系统，其中所述目标产生电路执行包括以下各项的多个操作 选择所述定位目标的强度调制值；及 通过减小定位目标形状中在距所述定位目标形状的边缘的边界区内的像素的所述强度调制值来确定所述互补强度方差的量值。
25.根据权利要求12所述的系统，其中所述视频捕获电路以产生所述显示图像数据的帧速率的大致两倍捕获图像数据； 且其中所述定位电路用于从在时间上与第一所捕获图像帧分开视频捕获帧速率的两个周期的第二所捕获图像帧中减去所述第一所捕获图像帧中的所捕获图像数据。
26.—种交互并远程地操作计算机系统的方法，其包括 产生视觉有效负载图像帧数据； 将待在图像中的第一位置处显示的第一定位目标图案与所述视觉有效负载图像帧数据组合； 在显示器上显示所述经组合的视觉有效负载图像帧数据与第一定位目标图案； 在第一指向装置处，捕获表示所述显示器的包含所述第一定位目标图案的至少一部分的图像数据； 处理所述所捕获图像数据以确定所述第一指向装置与所述显示器的角度及距离；将待在图像中的第二位置处显示的第二定位目标图案与所述视觉有效负载图像帧数据组合； 在显示器上显示所述经组合的视觉有效负载图像帧数据与第二定位目标图案； 在所述第一指向装置处，捕获表示所述显示器的包含所述第二定位目标的至少一部分的图像数据； 处理所述所捕获图像数据以确定所述第一指向装置与所述显示器的角度及距离；及基于所述第一及第二定位目标而响应于所述所确定的角度及距离来确定所述显示器的所指向位置。
27.根据权利要求26所述的方法，其进一步包括 响应于所述所指向位置的所述确定，产生新的视觉有效负载图像帧数据；及 在所述显示器处显示所述新的视觉有效负载图像帧数据。
28.根据权利要求27所述的方法，其进一步包括 从所述指向装置接收用户输入； 其中还响应于所述所接收用户输入来执行所述产生新的视觉有效负载图像帧数据的步骤。
29.根据权利要求26所述的方法，其中所述将所述第一定位目标图案与所述视觉有效负载图像帧数据组合的步骤包括 将对应于在连续帧中应用于所述视觉有效负载图像帧数据的一个或一个以上选定像素位置处的互补强度方差的至少一个定位目标图案与所述视觉有效负载图像帧数据组合； 且其中所述将所述第二定位目标图案与所述视觉有效负载图像帧数据组合的步骤包括 将对应于在连续帧中应用于所述视觉有效负载图像帧数据的一个或一个以上选定像素位置处的互补强度方差的至少一个定位目标图案与所述视觉有效负载图像帧数据组合。
30.根据权利要求26所述的方法，其进一步包括 响应于所述第一定位目标在所述所捕获图像数据中的表示，将所述第二定位目标图案产生为具有经补偿属性。
31.根据权利要求26所述的方法，其进一步包括 在第二指向装置处，捕获表示所述显示器的包含所述第一定位目标图案的至少一部分的图像数据； 处理所述所捕获图像数据以确定所述第二指向装置与所述显示器的角度及距离；在所述第二指向装置处，捕获表示所述显示器的包含所述第二定位目标图案的至少一部分的图像数据； 处理所述所捕获图像数据以确定所述第二指向装置与所述显示器的角度及距离；且其中所述确定步骤还响应于所述第二指向装置的所述所确定的角度及距离来确定所述显示器的针对所述第二指向装置的所指向位置。
32.根据权利要求26所述的方法，其中使用第一色彩显示所述第一定位目标图案 且所述方法进一步包括 针对使用第二色彩显示的定位目标重复所述组合及显示步骤； 在第二指向装置处，捕获表示所述显示器的包含使用第二色彩显示的定位目标 图案的至少一部分的图像数据； 处理所述所捕获图像数据以确定所述第二指向装置与所述显示器的角度及距离； 且其中所述确定步骤还响应于所述第二指向装置的所述所确定的角度及距离来确定所述显示器的针对所述第二指向装置的所指向位置。
33.一种交互并远程地操作计算机系统的方法，其包括 产生视觉有效负载图像帧数据； 将待在图像中的第一位置处显示的第一定位目标图案与所述视觉有效负载图像帧数据组合； 在显示器上显示所述经组合的视觉有效负载图像帧数据与第一定位目标图案； 在远离所述显示器定位的第一指向装置处，捕获表示所述显示器的包含所述第一定位目标图案的至少一部分的图像数据； 响应于所述第一定位目标在所述所捕获图像数据中的表示，产生具有经补偿属性的第二定位目标图案； 将所述第二定位目标图案与所述视觉有效负载图像帧数据组合； 在显示器上显示所述经组合的视觉有效负载图像帧数据与第二定位目标图案； 在所述第一指向装置处，捕获表示所述显示器的包含所述第二定位目标的至少一部分的图像数据；及 响应于所述所捕获图像数据包含所述第二定位目标的表示，确定所述显示器的所指向位置。
34.根据权利要求33所述的方法，其中所述经补偿属性为所述第二定位目标图案的大小。
35.根据权利要求33所述的方法，其中所述经补偿属性为所述第二定位目标图案的旋转定向。
36.根据权利要求33所述的方法，其中所述经补偿属性为所述第二定位目标图案的形状。
37.根据权利要求33所述的方法，其中所述经补偿属性为所述第二定位目标图案的位置。
38.根据权利要求33所述的方法，其进一步包括 在第二指向装置处，捕获表示所述显示器的包含所述第一定位目标图案的至少一部分的图像数据； 在所述第二指向装置处，捕获表示所述显示器的包含所述第二定位目标图案的至少一部分的图像数据； 且其中所述确定步骤还确定所述显示器的针对所述第二指向装置的所指向位置。
39.根据权利要求33所述的方法，其中使用第一色彩显示所述第一及第二定位目标图案 且所述方法进一步包括 针对使用第二色彩显示的定位目标重复所述组合及显示步骤； 在第二指向装置处，捕获表示所述显示器的包含使用第二色彩显示的定位目标图案的至少一部分的图像数据； 且其中所述确定步骤还确定所述显示器的针对所述第二指向装置的所指向位置。
全文摘要
本发明涉及一种交互式显示系统，其包含无线指向装置，所述无线指向装置包含相机或其它视频捕获系统。所述指向装置捕获由计算机显示的图像，包含一个或一个以上人类不可感知的定位目标。在视觉有效负载的显示帧中将所述定位目标呈现为强度的经图案化调制(例如，像素强度的变化)，后续接着连续帧中的相反调制。将至少两个所捕获图像帧彼此相减以在所捕获视觉数据中恢复所述定位目标并移除所显示图像有效负载。所述经恢复定位目标的位置、大小及定向识别远程指向装置相对于显示器的瞄准点。另一实施例使用定位目标(人类可感知或人类不可感知)的时间定序来定位所述指向装置。
文档编号G06F3/14GK102792245SQ201180013837
公开日2012年11月21日 申请日期2011年3月7日 优先权日2010年3月16日
发明者李洪军, 格雷戈里·布莱恩·卡鲁什, 约达姆·所罗门, 罗伯特·菲尼斯·安德森三世 申请人:英特飞斯公司