专利名称：：使用运动和语音命令对主机应用进行远程控制的制作方法
技术领域：
：本申请涉及人/机接口，并且更具体地涉及远程控制/微型显示器设备，该设备接受语音命令并追踪手部运动和/或头部移动，以便提供针对诸如在远程主机设备上执行的应用软件的访问。
背景技术：
：能够存储并显示大量高分辨率计算机图形信息乃至视频内容的小型便携式电子设备变得越来越流行。这些设备(诸如，苹果的iPhone)代表在移动电话、便携式计算机和数字媒体播放器之间会聚的显著趋势。(iPhone是加利福尼亚(California)库比蒂诺(Cupertino)的苹果计算机公司的商标。)尽管这些设备通常包括显示器屏幕，但是可能因这些设备的物理大小限制而无法容易地在这些设备中重现高分辨率、大格式显示器的视觉体验。结果，消费者现在寻求高质量的便携式彩色显示器以提升其手持设备。一个这样的设备是头戴式眼镜设备，其与一副眼镜或头戴式耳麦类似的方式佩戴在用户的脸部或头部上。另一个示例是手持式观看设备。这些设备包括用于放大图像的透镜和小型高分辨率微型显示器。无线接口向这种设备提供了极大的便利和移动性。微型显示器可以提供超级视频图形阵列(SVGA)(800X600)分辨率甚至扩展型图形阵列(XGA)(1024X768)或更高的分辨率。关于这种显示器的更多信息，请参见以下共同未决专利申请2009年1月5日提交的、名为"MobileWirelessDisplaySoftwarePlatformforControllingOthersystemsandDevices”的美国申请No.12/348，648，以及2009年3月27日提交的、名为"HandheldWirelessDisplayDevicesHavingHighResolutionDisplaySuitableforUseasMobileInternetDevice”的PCT国际申请No.PCT/US09/38601。
发明内容一种远程控制微型显示器设备，其使用诸如头部追踪加速计或相机之类的输入设备来检测诸如头部移动、手部运动和/或手势之类的移动，以及利用可选的语音命令，来控制用于微型显示器的视野(诸如位于与主机应用关联的较大虚拟显示器区域内的视野)的参数。该显示器可以实现为各种形式，诸如作为头戴式耳麦中的单目显示器，作为眼镜4设备中的双目显示器，或在其他手持设备中。根据附图中示出的示例性实施方式的更具体描述，前文将变得易于理解。在附图中，贯穿不同的视图，相同的参考标记指代相同的部分。附图不一定按比例绘制，相反，重点在于示出实施方式。图IA是示出了头戴式远程控制/显示器设备，以及人员通过使用手部手势和/或头部移动来控制主机计算机、虚拟显示器和视野的高层示意图。图IB是使用头部条带的实施方式。图IC是双目实施方式。图2是示出了如何将语音、手部手势和头部追踪命令转译成键盘和鼠标命令的远程控制设备和主机的高层框图。图3A和图:3B示出了如何使用语音和头部追踪命令的组合来操纵虚拟显示器内的视野。图4A和图4B是使用语音和头部移动命令的另一示例。图5示出了使用语音和头部移动命令的web浏览示例。图6A和图6B是导航建筑绘图的另一示例。图7A是典型命令的列表，包括屏幕命令和应用特定命令。图7B示出了如何使用追踪的头部移动和“加粗”语音命令来与MicrosoftWord交互。图8示出了可以如何使周边视力缺失的人更有效地利用远程控制显示器设备。图9是可以如何在视野的中心部分临时显示菜单以辅助这种视力受限的人的示例。图10是示出了适配用于通过双向通信路径无线地传输数据的示例性实施方式的单目显示器设备和主机计算设备的内部部件的简化示意框图。图11是示出了用于通过蓝牙(Bluetooth)连接来接收内容的示例性实施方式的单目显示器设备的内部部件的详细示意框图。图12是示出了示例性实施方式的单目显示器设备的操作方法的流程图。图13是示出了可以如何使用示例性实施方式的单目显示器设备、通过用户接口来控制和管理各种主机的高层软件示意图。图14是示出了示例性实施方式的单目显示器设备的示例性硬件接口的示意图。图15是示出了包括代理功能的蓝牙协议栈的示意图。图16A至图16B是示出了传统的传输控制协议(TCP)连接与通过蓝牙连接的经代理的TCP连接之间差异的示意图。图17是更详细地示出了用于通过双向通信路径来携带数据分组的蓝牙代理的框图。图18是示出了设备驱动的框图。图19是示出了设备内容的框图。具体实施例方式以下给出了示例性实施方式的描述。通过参考，将此处引用的所有专利、公开的申请和参考的教导整体并入。图IA示出了并入高分辨率(VGA或更好的)微型显示器元件140的远程控制无线显示器设备100。包括麦克风输入和输出扬声器的音频输入和/或输出设备包括在相关联的外壳中(图IA中未示出)。还位于外壳中的是各种电子电路，如将会理解地，包括微型计算机、无线接口、关联存储器或其他存储设备、相机(光传感器)和/或运动传感器。相机和/或运动传感器用于至少在第一轴111(水平)但是优选地还在第二轴(垂直)112和第三轴(倾斜)113追踪用户的头部或手部的运动。设备100用作针对主机计算设备200的远程控制。主机200例如可以是膝上型计算机、蜂窝电话、黑莓、iPhone或较之于远程控制设备100具有更大计算复杂度的其他计算设备。主机200可以进一步连接至其他网络，诸如通过无线连接210连至因特网。远程控制100和主机200经由诸如蓝牙链路150提供的适当无线连接进行连接。根据下文将更详细说明的多个方面，远程控制设备100允许用户在由虚拟显示器限定的大得多的区域中选择视野300。典型地，用户可以控制视野300的位置、范围(例如，X-Y范围)和/或放大。尽管图IA中示出的是呈现利用悬臂式长杆话筒160支撑在用户面部上的单个固定显示器元件140的单目微型显示器，但是应当理解，针对远程控制显示器设备100的其他配置也是可行的。例如，在图IB的实施方式中，单目显示器120和悬臂171可以利用条带172支撑在用户头部上，以针对眼部提供显示器平板(pod)的稳定定位。使用条带也可以使得针对不同的头部形状所进行的调节更加容易。图IC示出了使用“双眼”、双目布置的另一实施方式，其中向用户呈现两个微型显示器元件181、182。电子器件和/或电池可以置于后部的系索(lanyard)183或外壳184中，以减轻平板的大小和重量。系索183还可以向显示器模块提供配重，从而将无线显示器设备的重心移向头部中心。图2是示出了远程控制显示器100、主机200与在其间行进的数据的更多细节的框图。远程控制显示器100经由麦克风从用户接收语音输入，经由相机或光传感器接收手部移动，以及经由头部追踪电路接收头部移动输入。这些由远程设备100中的软件转译成键盘和/或鼠标命令，这些命令继而通过蓝牙接口150向主机200发送。主机200继而根据其自己的操作系统/应用软件来解释这些经转译的命令，以便执行各种功能。命令之一是选择虚拟显示器内的视野300，以及向远程设备返回所选择的屏幕数据。由此，应当理解，非常大格式的虚拟显示器区域可以与主机200上运行的操作系统或应用软件相关联。然而，仅向远程控制显示器设备100返回视野300内较大虚拟显示器区域的一部分并且实际由该远程控制显示器设备100对其进行显示。图3A和图;3B是这样的示例，其中主机200上的虚拟显示器区域可以包括美国的详细地图。用户最初可以在微型显示器140上看到整个虚拟显示器区域，尽管是以降低的分辨率。如图3A所示，由此，最初以低放大率将视野的中心定位在中央光标点或地点上，诸如在地图上的Kansas，Lawrence处。用户继而移动他的头部或者做出手势，以更详细地查看感兴趣的特定区域。手势可以是斜扫运动。头部移动可以是向左继而向上，或者可以是直接斜线移动至用户感兴趣的区域。例如，用户现在可能对Washingtor^Seattle周围的区域感兴趣，并且已将他/她的头部移动至此。利用诸如“放大”的相应语音命令，所呈现的虚拟显示器区域继而被放大，从而在微型显示器上更详细地看到了Seattle周围的区域，如图:3B所示。可以可选地是主机仍然一直呈现原始的整个美国区域。还可以通过语音命令在原始的整个美国区域与kattle周围的区域之间往复切换。备选地，切换可以是地图中任何两个不同地点之间的切换或者是任何两个缩放水平之间的切换。图4A和图4B是远程设备100可以如何控制典型的主机计算机200的显示器的更详细视图。用户最初看到的是屏幕的中心部分，并且可以选择两个模式之一(a)移动光标模式或(b)平移/缩放模式。通过利用语音命令选择这些模式中的第一模式，用户可以使用手势或头部移动来引起光标在虚拟显示器内到处移动(左、右、上、下)。由此，如图4A所示，例如，在视野的中心原始定位在MicrosoftOutlook电子邮件窗口的情况下，在此模式中的用户可以使用手部或头部移动来将光标定位到待阅读的特定电子邮件消息上。该用户继而可以说出命令，诸如“选择”，以引起该电子邮件消息出现在显示器面板上。然而，该用户继而可以发布另一语音命令，诸如引起屏幕平移出的“选择平移”，从而允许用户更好地看到屏幕的不同部分，诸如位于Outlook窗口后面的MicrosoftWord文档窗口的一部分。利用手部或头部移动以及说出“选择”语音命令，用户继而可以改变视野，使得MicrosoftWord文档出现在前面。参见图4B。图5是使用手部或头部移动以及语音命令、利用web浏览器导航web页面的类似示例。此处，用户可以选择移动模式，以及使用手部或头部移动来将光标定位在感兴趣的特定超链接。利用语音命令“选择”，继而激活选择的超链接，例如“关于USPTO(AboutUSPT0)”。浏览器继而前进到选择的web页面。继而，利用手部或头部移动，用户可以从显示在web页面上的多个超链接中进行选择，以及使用语音命令，继而引起该超链接被选择。手部/头部移动和语音命令的其他组合可以引起web页面的上滚和下滚，后退或前进一页，或者实现其他典型的web浏览器命令。图6A和图6B是使用远程控制显示器设备来查看建筑绘图的另一示例。在此示例中，虚拟显示器区域是安装在建筑物中的太阳能热水系统的绘图。用户在鼠标移动模式中拾取了感兴趣的特定管线310。该用户继而可以利用手部/头部移动来沿着管线310的路径追随该管线310(例如，跟随“水箱”320和“收集器”330之间的路径)。例如，通过简单地将她的手部/头部向右移动，视野随着用户的手部/头部移动以将泵340和收集器330二者带入视野内而由此追随感兴趣的管线部分。在此模式中的移动速度可以由用户手部移动的范围、剧烈程度或相对量进行控制。例如，引起光标和/或视野在虚拟显示器内进行特定对应移动的手部移动的量可以以与在MicrosoftWindows操作系统内控制鼠标移动的比例的方式非常一致的方式进行控制。图7A是通常可以在MicrosoftWindows环境中利用的典型语音命令的列表。这些包括屏幕命令，诸如向上、向下移动光标、向左、向右、向上、向下平移、放大、缩小、缩放57倍、缩放10倍等。语音命令还可以包括诸如“选择”、“后退”、“前进”之类的命令，或其他应用特定命令，诸如“加粗”、“加下划线”等。远程控制设备还可以包括用于支持诸如MicrosoftWord之类的应用的软件覆盖。如图7B所示，应用覆盖可以使用手部/头部移动以及语音命令来选择文字区域710。接着，启动语音命令“选择加粗”的语音由远程控制设备100转换成Control-B命令。此Control-B继而向主机200以及最终向MicrosoftWord发送，以引起将选择的文本710置于加粗字体中。图8示出了使用远程控制设备100来辅助具有视力缺失的人的另一示例。人类中的大部分具有视力缺失，其需要诸如通过使用双焦镜的校正。这些人群倾向于是近视和/或具有周边视力缺失，使得仅其查看中心处的区域可以正确对焦。他们通常不能容易地使用诸如图IA中所示的头戴式显示器。归因于此受限的能力，他们例如不能调节其双焦镜以便清晰地看到微型显示器的全部，并且微型显示器140的边缘将会偏离焦点。此处描述的设备将这种用户从选择较大虚拟显示器内的视野解放出来，由此使得他们具有更愉悦的体验。如图8所示，应用软件的主菜单通常位于屏幕的上部或下部。然而，这些菜单区域对于尝试使用微型显示器140的视力受限人员而言通常偏离焦点。利用远程控制显示器设备100，可以替代地经由语音命令使得主菜单出现在视野300的中心250中，如图9所示。例如，语音命令“调用主菜单”可以强制命令的主菜单754作为覆盖出现在视野300的中心750处，而不是邻近沿着视野300的顶部753的菜单栏752。用户继而可以诸如经由进一步的口头或手部/头部移动命令来选择菜单内的命令。在选择了命令之后，该菜单继而消失，从而允许再一次查看底层信息。现在可以理解，用户可以利用语音命令来将视野固定在虚拟区域内，以及允许手部/头部移动来控制鼠标位置，或者用户可以使得光标位置被固定，以及允许在虚拟区域内到处平移和缩放视野。用户还可以控制多大程度的移动可以转译成特定鼠标或平移/缩放命令，即，针对在较大虚拟显示器的上下文内的移动定义比例尺。使用远程设备来进行web浏览的独特方面在于将语音命令和头部移动命令结合使用，以在web页面中导航。现在可以理解，主机计算机呈现的虚拟显示器的仅一部分需要从主机200向远程控制设备100反馈。由此，例如，仅需要返回位于视野内的显示量。图10示出了单目显示器设备100和示例性主机计算设备225的非限制性示例实施方式的简化框图。单目显示器设备100包括连接至显示器控制器400的微型显示器元件140，其可以是htel、TexasInstruments或AdvancedMicro-Devices(AM))制造的数字信号处理器。控制器400连接至总线405，诸如外围部件互连(PCI)总线。在一个实施方式中，微型显示器140备选地可以连接至视频图形芯片(未示出)，该视频图形芯片连接至总线405。单目显示器设备100还包括存储器410，诸如随机访问存储器(RAM)415和只读存储器(ROM)402，其保存可执行程序指令，以及通过总线405向控制器400传送程序指令。优选地，单目显示器设备100进一步包括发射机425和接收机430，和/或组合的收发机(未示出)，二者连接至总线405，以形成与主机计算设备225的无线接口。发射机425和接收机430还通过总线405连接至显示器控制器400，以及接收用于控制该显示器控制器400的指令。单目显示器设备100还包括输入设备接口435，其可以提供去往无线鼠标、轨迹球或键盘、或可以通过无线链路440无线连接至PCI总线405的其他类似用户设备的接口，其中该无线链路440由接收机430接收。围绕X、Y和Z轴的横向和旋转头部移动手势可以由霍尔效应传感器447、MIM二极管448、加速计449或其他传感器/换能器检测。位于设备100上的相机440还可以向CPU445提供指示手部移动和手势的输入。相机440可以是能够检测手部移动的光传感器或前向瞄准视频相机。输入435、相机440、音频输入495和传感器447、448、449等可以控制在单目显示器设备100、主机计算设备225或二者上的屏幕提示，其中单目显示器设备100和主机计算设备225如在此处其他地方所期望的、处于主/从联网关系。主机计算设备225包括中央处理单元(CPU)445、具有RAM450,ROM455以及还包括高速缓存存储器460的存储器。主机计算设备225进一步包括收发机465和接收机470，其可以具体化为组合的收发机。主机计算设备225还可以包括主显示器475和输入设备480，二者均连接至诸如PCI总线的总线490。总线490还可以连接至有线宽带连接(未示出)、无线宽带连接485、DSL线路、线缆调制解调器、媒体播放器、音乐或视频播放器或任何其他适当的链路，以接收内容。显示器控制器400向显示器140输出控制信号，以显示图像。这允许单目显示器设备100接收存储在主机计算设备225的高速缓存存储器460上的数据。当主机计算机225未使用时或断电时，在单目显示器设备100上查看的数据来自高速缓存存储器460，并且并未更新。与主机计算设备225处于操作时相比，此数据可能较旧并且未通过通信链路300a至300e进行刷新。设备100和主机计算设备225还可以包括音频输入/输出设备497。备选地，在又一示例性实施方式中，单目显示器设备100可以在主机计算设备225处于开启、关闭或节电状态(诸如，睡眠或休眠状态)时，通过无线通信链路235来访问主机计算设备225。在此实施方式中，主机计算设备225以最小功率进行操作，并且周期性地扫描来自单目显示器设备100的即兴、自发的唤醒调用或命令，以触发主机计算设备225中的低层命令，以便唤醒主机计算设备225以及向单目显示器设备提供内容或服务。主机计算设备225可以配置有预定输入/输出(I/O)端口，以便针对唤醒调用或命令进行监控，该调用或命令触发低层命令以唤醒主机计算设备225。端口包括适用于通过无线通信链路235来进行无线通信的以太网端口或卡、WiFi端口或卡、蜂窝端口或卡，或蓝牙端口或卡。此端口对于单目显示器设备100也是已知的，使得唤醒命令可以适当地由主机计算设备225收发。任何外部硬连线或外部无线接口可被访问，以允许MicrosoftWindowsSideShow小工具访问来自休眠的主机计算设备225的数据。主机计算设备225监听特别地针对休眠的主机计算设备225以将其唤醒的特定地址号、名称或命令。在主机计算设备225处接收命令会触发用于唤醒主机计算设备225的低层命令。一旦唤醒，主机计算设备225会供应单目显示器设备100请求的任何以及所有信息和服务。当传输完成时，单目显示器设备100可以通过无线通信链路235向主机计算设备225传输命令。在接收到该命令之后，运行在主机计算设备225上的MicrosoftWindowsSideShow小工具触发系统层命令，以引起主机计算设备225重新进入休眠，例如，直到稍后被再次需要为止。可以触发其他节电状态，包括睡眠和断电。单目显示器设备100可以通过利用MicrosoftWindowsSideShow的能力而向用户提供很多益处。利用运行在主机计算设备上的MicrosoftWindowsSideShow小工具，避免了用户例如不必须在到处移动或行进时携带PC225。其PC225运行MicrosoftWindowsSideShow小工具的用户可以从任何地方远程地自发联系其PC225，从而即时地接收所需要的主机计算设备225的信息内容和服务，以及继而将其PC225恢复到休眠状态。此外，通过允许用户在未参与时不是必须让计算机运行，同时仍然在用户需要时向用户提供针对所有或PC信息、计算服务的即时访问以及对公司计算机资源的正常访问，单目显示器设备100允许针对减小其计算机和附件功率消耗提供较大的促进。其还降低了通常的PC维护、修复乃至在携带期间的毁损。而且，减少运行未参与的PC允许针对减轻用于冷却未参加的PC的空调功率需求的较大促进，并且允许未参加的PC乃至很多服务器处于休眠，直到其被需要的那一刻。单目显示器设备100还允许PC用户不再需要不得不等候其PC启动(例如，每个启动周期为5-10分钟并不罕见)。无论PC是否位于用户附近(例如，小于等于30英尺)以及通过蓝牙无线命令、WiFi命令或通过蜂窝无线命令乃至以太网接口的更大距离可从休眠进行访问，PC处于休眠并且准备好在用户调用时开始动作。例如，在PC在工作日的早晨或刚好在旅行之前启动之后，该PC可以保持在休眠模式，并且不是必须再次启动，直到用户完全需要或者期望为止。此外，PC用户可以使用MicrosoftWindowsSideShow小工具来提供针对主机计算设备的服务、应用、内容和存储的远程访问，以及可以进行远程操纵，而不需要用户通过协议(诸如，远程显示器协议(RDP)和虚拟网络计算(VNC))，以及商务服务(诸如，GoToMyPC)与主机计算设备之间的交互。图11提供了并入单目显示器设备100的电子部件的更详细视图，该单目显示器设备100连接至主机计算设备225，以通过蓝牙连接接收数字视频信号。这些部件在共同未决专利申请中进行了详细描述2009年1月5日提交的、名为“MethodAndApparatusForTransportingVideoSignalOverBluetoothWirelessInterface，，的美国申请No.12/348，627，通过参考在此将其并入。在优选实施方式中，单目显示器设备100包括高级精简指令集计算机(RISC)机器(ARM)/数字信号处理器(DSP)512(其可以是开放多媒体应用平台(OMAP)3500系列处理器，可从iTexas,Dallas的TexasInstruments获得)、存储器514、蓝牙接口516(可由可从England，Cambridge的CambridgeSiliconRadio(CSR)获得的类别2蓝牙接口来提供)、显示器驱动器519(其例如可以是可从MAjestborough的Kopin公司获得的SSD1508显示器驱动器)、视频层移位电路520、电池5M支持的电源522、通用接收机发射器(UART)526(诸如可以用于调试)和存储器515。安全数字(SD)、极端数字(xD)、USBSD(uSD)存储器517或其他类似接口可以用于存储应用程序、内核命令或配置数据，和/或连接至诸如数码相机的设备。多个输入设备530可以与设备(例如，交换机1/交换机2/交换机3和重置输入)、相机M6、霍尔效应传感器M7、MIM二极管M8、加速计M9、追踪板和涡形齿轮以及LED输出532(Iedl)关联。还提供了VGA或更高质量的微型显示器元件140和音频输入和输出设备560(其可以包括麦克风输入562和立体声输出564)。信号可以通过从单目显示器设备100到主机计算设备225使用串行端口简档(SPP)建立的蓝牙无线通信链路235进行发送，较之于使用任何“高级”蓝牙模式，其提供了更大的吞吐量，比已被发现是本申请所不需要的这种高级模式强加的更高层协议要高。在蓝牙无线电516中，通过蓝牙连接接收的视频信号通过USB连接518向处理器512发送。一个设计考虑在于针对已知的数据缓冲器大小来优化数据分组格式。在蓝牙无线电516内部的是默认大小为1000字节的分组缓冲器。这可以被修改以强制流传输视频信号仅使用约为990字节的缓冲器大小。处理器512可能期望接收的视频内容是使用所谓的基线简档或更好的简档、利用H.沈4(运动图像专家组(MPEG)-4部分10)格式编排进行编码的。在优选实施方式中，处理器512可以使用多任务嵌入式操作系统。处理器512按如下方式在接收的视频信号上进行操作。使得MPEG格式容器文件(例如，MP4文件)可用。在一个优选实施方式中，这可以是专有文件格式，尽管选择的输入.MP4文件格式的特定细节在此处并不重要，只要处理器512被编程以正确地处理之即可。处理器512继而打开去往主机计算设备225的通信端口，以及通过USB接口518从蓝牙无线电516接收文件。处理器512中的MP4解码器将文件剥离成相应的音频和视频流。更具体地，处理器512将输入文件H.264压缩的数字视频信号解码成YCbCr基带分量视频信号。处理器512还可以将关联的压缩音频(格式化为高级音频编码(AAC)格式信号)划分成基带立体声音频。处理器512可以以任何适当格式向显示器驱动器519输出视频，诸如8比特的国际电信联合无线电通信部门(ITU-R)推荐BT.656或具有单独的同步信号的运动图像和电视工程师协会(SMPTE)293M16比特YUV逐行扫描信号。解压缩的视频信号通过处理器512的内部ARM总线进行转发。ARM总线继而经由SMPTE接口直接向显示器驱动器519发送内容。智能接口控制器(I2C)接口547用于配置微型显示器元件140。处理器512还向音频输出压缩/解压缩模块(CODEC)560输出基带音频。其可以获取单音或立体声音频输入，以及产生适当的立体声输出信号。图12是根据单目显示器设备的实施方式的操作方法600流程图。在第一步中，方法开始(步骤60幻。此后，单目显示器设备等待(步骤607)用户输入请求。此输入可以是来自输入设备的任何信号输出(诸如，MIM二极管、霍尔效应传感器或加速计检测到的单目显示器设备的用户头部移动生成的输出)，或者来自检测手部运动或手势的相机的任何信号输出，或者来自位于单目显示器设备外壳上的按钮、无线轨迹球、无线鼠标或无线小键盘的任何信号输出。在一个实施方式中，使用诸如MicrosoftWindowsMobile操作系统的操作系统，以及使用手势输入和语音命令，用户可以“双击”单目显示器设备屏幕(例如，图IA的微型显示器元件140)上的图标，以指示打开电子邮件消息或打开应用。请参考图3A-图8针对特定示例的上述讨论。此后，方法600响应于该请求试图从内容源接收数据，以及该方法确定(步骤610)内容源是否位于单目显示器设备上的存储器(例如，图4的存储器410)中，例如，相机输出上，或者该内容源是否位于另一远程位置处，诸如主机计算设备(例如，图2的主机计算设备225)上。如果数据确实是本地存储的(步骤612)且不需要无线链路，则11访问本地存储器(步骤61，以及数据配置用于被获取和加载以供后续显示在显示器元件上。一旦方法600访问本地存储器(步骤615)，方法600就返回以等待新的用户输入请求(步骤607)。然而，如果数据位于远程存储器上或者位于不在单目显示器设备上的存储器中(步骤613)，则开始蓝牙连接或其他之前描述的无线连接(步骤620)，以获得所请求的数据(步骤607)。如先前讨论的那样，还可以使用其他无线通信格式，本方法600仅用于示意目的。设备的发射机(例如，图10的发射机42可以被激活以询问主机计算设备，以及向主机计算设备的接收机(例如，图4的接收机470)发送初始配置信号(步骤62。该主机确定蓝牙""信号的功率是否足够以及是否是从单目显示器设备100接收的(步骤630)。一旦接收到信号，则主机发射机(例如，图10的发射机465)使用第二预定信号来向单目显示器设备接收机(例如，图10的接收机430)发送确认信号。如果未接收到信号(步骤632)，则单目显示器设备继续询问主机(步骤62幻。发送更强或更定向的信号。如果主机计算设备正确地接收到信号(步骤634)，则在无线链路(例如，图IA的无线链路150)上形成双向通信数据路径(步骤63。上行链路和下行链路信号可以通过双向连接数据路径在设备(例如，图IA的主机计算设备200和单目显示器设备100)之间传递，本方法仅仅是除了图6的非限制性方法之外、可以沿无线链路发送的信号和各种诊断性工具应用的示意。一旦形成了双向通信数据路径(步骤63，则可以从主机计算设备向单目显示器设备传递多媒体数据文件。在一个非限制性实施方式中，通信路径的带宽就每秒比特(bps)而言是足够的，使得当在主机计算设备处操作MicrosoftWindowsVista操作系统时，主机显示器输出屏幕(例如，图10的主机显示器475)的图形输出在微型显示器元件(例如，图10的微型显示器元件140)处实时可见，从而如果两个显示器并排放置，光标移动基本上同时出现在两个屏幕上，以支持在单目显示器设备处对主机计算设备的远程操作。显示器控制器(例如，图10的控制器400)从计算设备发送针对视频信号的请求(步骤640)。该请求传递至总线405，以及传递至发射机，以及继而沿着链路发送。此后，单目显示器设备确定视频信号是否是以无线方式从主机计算系统接收的(步骤645)。如果该信号是无线接收的(步骤647)，则单目显示器设备请求音频(步骤650)。如果该信号不是以无线方式接收的(步骤648)，则单目显示器设备返回以发送另一请求(步骤640)。显示器控制器向主机计算设备发送针对音频信号的请求(步骤650)。音频和视频信号可以作为一个连续信号进行发送，本公开不限于任何这样两种信号的实施方式。该请求传递至总线(例如，图10的总线40、传递至发射机，以及继而沿着链路发送。单目显示器设备继而确定音频信号是否是以无线方式从主机计算系统接收的(步骤655)。如果该音频信号是无线接收的(步骤647)，则单目显示器设备显示视频(步骤660)。如果该音频数据或信号不是以无线方式接收的(步骤648)，则单目显示器设备返回以发送另一请求(步骤650)。程序指令通过显示器控制器引起单目显示器设备在微型显示器元件上显示视频(步骤660)，以及使用音频设备(例如，图10的音频输出设备4%)来播放音频(步骤665)。此后，发送针对另一输入信号的请求(步骤670)。继而确定该过程是否完成(步骤675)。如果该过程完成(步骤677)，则该方法结束(步骤680)。如果该过程未完成(步骤678)，则等待另一用户输入请求(步骤607)。各种控制配置是可行的并且在本公开的范围内，本配置仅用于说明，可以执行用于对主机计算或其他外部计算设备格式的加密以及解密的多个其他步骤。图13是指示可以如何使用单目显示器设备100、通过用户接口来控制和管理各种主机225的高层软件示意图。软件栈900包括设备应用浏览器901，其可以运行在操作系统(OS)的内核顶部上，诸如Linux内核902、绘图原语(诸如那些由DirectFB(DirectFB)栈903提供的原语)和图形工具箱(诸如Gimp工具箱(GTK)窗口工具箱904)。设备应用浏览器901允许用户通过图标和菜单接口来访问用于单目显示器设备100的应用软件。这通常包括针对特定单目显示器设备100编写的定制代码。OS902被移植以便在单目显示器设备100的处理器(诸如图11中所示的OMAP3500系列ARM/DSP)上运行。内核层902以其他方式提供标准的操作系统功能。绘图原语层903可以是有点瘦的图形库，其向图形加速输入设备提供集成了处理和抽象的窗口化系统。最终的结果是图形用户显示器910，其具有用户可用的各种应用，诸如蓝牙发现911、计算器912、媒体播放器913和设置接口914。在设备应用浏览器901的上下文内运行的应用可以包括话音输入921、虚拟(桌面)网络客户端922和web浏览器923。虚拟网络是允许对个人计算机(PC)进行远程控制的系统。这是通过以位图格式向另一设备导出整个屏幕显示而实现的。此位图包裹在网络协议中，并且由该设备接收和简单显示。类似地，本地设备检测到的任何鼠标移动或键盘录入数据都直接向远程PC传递以便针对其进行动作。话音命令接口921提供或者允许语音输入命令控制应用浏览器901。由此，例如，用户可以说出由话音设备检测到的词汇“计算器”，其引起操作系统902启动计算器应用。通常，在应用浏览器的上下文内的屏幕上按钮或图标旁边显示的文本标记指示激活对应按钮的说出的词汇。数字式输入(例如，如图1B、图1C、图4和图5示出的MIM二极管、霍尔效应传感器、加速计和交换机)还可以用于导航和选择菜单功能，从而允许对应用及关联数据的全面控制和编辑。如即将理解的，发现应用911不仅允许发现相邻蓝牙设备，还允许连接它们直到应用浏览器层。例如，示例性用户显示器910中示出了这样的事实，即目前存在两个已连接设备，包括桌面计算机927和黑莓TM(BlaCkberryTM)928。设备927、928已经通过发现应用911的操作被发现。这可以例如在单目显示器设备100的第一次上电或通过用户手动发起蓝牙发现过程而发起。蓝牙设备发现按照蓝牙规范继续，报告在物理层连接的任何新的蓝牙""层设备。然而，此时，提供附加的功能性以允许在网络层与蓝牙"^设备进行通信。具体地，告知客户端927、928打开对于单目显示器设备100而言位于本地的本地主机地址上的特定端口。该设备端口用作代理，总是寻找这种请求。在接收到请求时，其向回报告将要由个体设备927、928为进行网络层通信而使用的可用网络层地址(即，诸如TCP/IP地址)。图14示出了也由图13的浏览器应用901提供的硬件接口功能性，其可以接收和/或控制单目显示器设备100上的各种硬件功能。这些功能可以包括单目显示器设备检测1001、电池状态1002、输出设备调整，诸如头戴式耳麦按钮1003、扬声器音量1004、麦克风音量1005、媒体流传输功能1006、帧缓冲器切换1007、设备驱动器和其他功能。1图15示出了在图IA的蓝牙链路150中实现的蓝牙协议栈，其中添加了特定的代理功能。蓝牙层如同在任何标准蓝牙设备中那样提供了蓝牙设备1100的发现。然而，连接至1110的单目显示器设备100也提供了允许与这种设备1112交换数据的协议信息。其也可以连接至其他类型的头戴式设备1120，诸如电话头戴式设备，其可以提供针对传入呼叫1122和传出呼叫1124的处理。图16A至图16B和图17示出了蓝牙接口237提供的代理功能性的更多细节。图16A示出了涉及去往数据源的多个直接TCP层连接的传统方式。例如，在图13的应用浏览器901的上下文中运行的每个应用(诸如，话音识别应用921、虚拟网络客户端922和web浏览器客户端923)可能都需要去往主机计算设备225提供的数据源的一个或多个TCP连接。传统系统包括去往数据源的多个直接TCP连接。图16B示出了尽管蓝牙""本身不提供去往因特网350或其他高层网络的任何直接连接，但是代理1230可以如何经由支持因特网的主机计算设备225来支持单目显示器设备100与因特网350之间的连接。蓝牙"^不能直接连接到因特网，其必须经由支持因特网的设备。由此，例如，诸如web浏览器923的应用通常需要主机计算设备225充当联网代理。图17示出了优选布置，其中单个蓝牙链路150支持多个应用921-923。多个应用921-923需要单个蓝牙连接237支持多个套接字，诸如传输控制协议(TCP)连接。例如，尽管每个应用921-923可能在其他情况下需要多个TCP连接，但是替代地，在标准蓝牙层与常规TCP协议层之间添加的蓝牙代理层1310将多个请求的TCP连接聚集到单个套接字上。由蓝牙链路237提供的单个套接字继而向主机计算设备225传输多个连接。在主机计算设备侧225上提供的类似相反功能性1318将分组分散到其相应的连接921，-923，。尽管蓝牙本身允许主机与客户端之间的多个连接套接字，但是很多移动电话运营商施加了单个连接限制。由此，可以在很多情况中看到单个连接限制。这不仅允许更大的安全性，而且避免无线设备身陷蓝牙连接请求的可能性。这种方式还允许标准的web浏览器应用923例如在无需针对其对TCP套接字的使用进行修改的情况下进行操作。由此，在单目显示器设备100上提供的蓝牙代理1310的操作和在主机计算设备225上提供的代理功能1318将运行在应用浏览器901内的应用921-923隔离，以及还将运行在主机计算设备225上的应用与这种经修改的套接字功能性隔离。例如，运行在主机计算设备225上的虚拟网络现在不需要修改。图18示出了被提供以将设备应用浏览器901与不得不知道针对特定主机设备的内容格式规范相隔离的设备驱动器。由此，例如，针对黑莓主机225b提供黑莓服务器1401，以及针对Windows机器主机225c提供WindowsVista服务器1402。这允许将针对特定主机计算设备225的用户接口呈现为针对单目显示器设备100的通用接口。服务器1401、1402提供至少两个功能性，包括图13的蓝牙代理功能性1318(即，将TCP通道数据分散至多个需要的通道)和内容服务器。图19示出了图18的服务器1401、1402针对设备内容进行的处理。这些可以包括针对每个相应的内容类型的内容格式块，其中内容包括电子邮件收件箱1501、联系人列表1502、证券报价机1503、媒体浏览器1504等。这些服务器功能1501-1504中的每一个使用页面标记语言重新调整其内容的格式。页面标记语言继而可以由单目显示器设备上的内容浏览器901进行解释。内容浏览器901现在可以一般性地解释页面标记语言，以适应单目显示器设备100的各种需求。在备选实施方式中，诸如MicrosoftWindowsSideShow的功能可以获取来自Windows设备的格式化内容，以及根据SideShow需求对其进行格式化。MicrosoftWindowsSideShow是在Microsoft操作系统的WindowsVista发布中引入的一种技术，其使得WindowsPC能够驱动连接至主PC的各种附属显示器设备。这些设备可以与主PC分离或与之集成，例如，嵌入在膝上型计算机盖外部上的显示器等。利用MicrosoftWindowsSideShow功能性和/或虚拟网络，单目显示器设备100还可以成为“变色龙”，实际上采纳主机计算设备225的熟悉的用户控制、相同的用户屏幕和相同的图形用户接口。即使单目显示器设备100同时接受若干主机计算设备225(即，黑莓、蜂窝电话和PC)，但是允许用户在主机设备之间切换。每次在用户做出这种切换时，用户可以看见以及仍然认出熟悉的从设备或主机和设备用户屏幕、相同的图形用户接口(GUI)和相同的熟悉的控件和命令。现在，由此可以理解的是，单目显示器设备100可以如何按照不同的方式来观看内容，其中这些内容都可由用户通过使用与语音输入结合的头部移动和/或手势进行选择，包括针对设备本身编写的新应用，设备应用，web应用，web浏览器等，以及MicrosoftWindowsSideShow应用或经由虚拟网络连接的本地应用。利用蓝牙代理支持，通过原始主控设备⑶I接口、屏幕、命令和控制接口进行推送的效果可以同时针对多个设备得到支持。尽管已经参考本发明的示例性实施方式具体示出和描述了本发明，但是本领域技术人员应当理解，在本领域中，可以在不脱离所附权利要求涵盖的本发明范围的前提下，对本发明的形式和细节作出各种改变。1权利要求1.一种手持便携设备，包括微型显示器，用于显示从本地处理器接收的可视信息；运动检测器，用于检测用户身体部分的物理移动，以及提供运动输入；以及位于所述手持便携设备中的所述本地处理器，以及进一步包括接收机，用于接收所述运动输入；转译器，用于将所述运动输入转译成用户命令；通信接口，用于向主机处理器转发主机命令以及用于从所述主机处理器接收回复；显示器控制器，用于转发将在所述微型显示器上显示的信息，至少包括已处理所述用户命令的所述本地处理器的可视确认。2.如权利要求1的设备，进一步包括麦克风，用于从所述用户接收音频信号，并且其中所述本地处理器进一步包括话音识别器，用于处理所述音频信号以产生语音命令；并且其中所述转译器进一步将所述语音命令与所述运动输入结合，以确定所述主机命令。3.如权利要求1的设备，其中所述运动检测器提供指示在两个或更多维度中的运动的两个或更多运动输入。4.如权利要求1的设备，其中所述通信接口是所述手持便携设备与所述主机处理器之间的无线链路。5.如权利要求1的设备，其中所述运动检测器是用于检测所述用户的手部移动的相机。6.如权利要求1的设备，其中所述运动检测器是用于检测所述用户的头部移动的头部移动追踪设备。7.如权利要求1的设备，其中所述用户命令由所述本地处理器处理，以控制显示在所述微型显示器上的可视信息的呈现方面。8.如权利要求7的设备，其中所述用户命令控制视野。9.如权利要求7的设备，其中所述用户命令控制缩放、平移或比例因子。10.如权利要求7的设备，其中所述用户命令选择项目。11.如权利要求10的设备，其中所述项目是超链接。12.如权利要求1的设备，其中所述用户命令作为主机命令向所述主机处理器转发。13.如权利要求12的设备，其中所述回复导致光标移动。14.一种用于操作手持便携设备的方法，其中所述手持便携设备具有微型显示器、运动检测器、无线通信接口和本地处理器，所述方法包括在微型显示器上显示从所述本地处理器接收的可视信息；使用所述运动检测器来检测用户身体部分的物理移动以用作针对所述本地处理器的运动输入；将所述运动输入转译成用户命令；以及基于所述用户命令来控制在所述微型显示器上呈现的所述可视信息的方面。15.如权利要求14的方法，其中所述可视信息的方面是视野。16.如权利要求14的方法，其中所述可视信息的方面是缩放、平移或比例因子。17.如权利要求14的方法，还包括使用所述无线接口向主机处理器转发所述用户命令。18.如权利要求14的方法，其中所述运动检测器提供指示在两个或更多维度中的运动的两个或更多运动输入。19.如权利要求14的方法，其中所述运动检测器是用于检测所述用户的手部移动的相机。20.如权利要求14的方法，其中所述运动检测器是用于检测所述用户的头部移动的头部移动追踪设备。全文摘要一种远程控制微型显示器设备，其使用手部和头部移动以及语音命令来控制位于与主机应用关联的较大虚拟显示器区域内的该微型显示器的视野参数。文档编号G06F3/033GK102460349SQ201080025582公开日2012年5月16日申请日期2010年5月5日优先权日2009年5月8日发明者C·帕金森,J·J·雅各布森,S·A·庞伯申请人:寇平公司