专利名称：具有辅助触摸控制器的内容系统的制作方法
技术领域：
本发明涉及一种具有辅助触摸控制器的内容系统。
背景技术：
内容服务的用户具有用于控制内容呈现设备的许多选项。电视遥控器已变得越来越复杂并且具有控制多个设备的能力。与游戏平台一起使用的游戏控制器不仅允许用户参与玩游戏，而且允许用户消费游戏设备上提供的内容。已通过具有触摸屏的所谓的“智能”或平板计算设备来提供新的控制选项。例如，内容提供者允许用户在用户的智能电话上安装应用，该应用将流送来自远程源(诸如Netflix)的内容或者甚至改变某人电视机上的频道(通过使用来自康卡斯特(Comcast)的XfinityTV应用)。尽管这些不同的控制选项在某些实施例中有用，但是在其它情况下优选 触觉设备。
发明内容
提供一种技术，该技术允许当用户通过使用主处理系统和主触觉控制器来消费不活动或供人分享的内容时，在启用触摸的控制器上具有辅助媒体或控制体验。在包括主内容呈现设备的内容呈现和交互系统的控制器中提供辅助体验。控制器包括触觉控制输入端和触摸屏控制输入端。触觉控制输入端响应于第一用户的输入并且通信地耦合到内容呈现设备。控制器包括多个触觉输入机制并且提供操纵内容的多个控制输入的第一集合。控制器包括触摸屏控制输入端，该触摸屏控制输入端响应于第一用户的输入并且通信地耦合到内容呈现设备。第二控制器在第一控制器附近，并且提供多个控制输入的第二集合。控制输入的第二集合包括用于这些控制中的至少一些的替换输入以及使用触觉输入机制无法获得的附加输入。提供本发明内容以便以简化形式介绍将在以下具体实施方式
中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
图I示出了示例性的游戏与媒体系统。图2示出了本技术的示例性使用情况。图3示出了用于实现本技术的组件的概览的框图。图4是用于实现本技术的示例性系统的框图。图5是示出本技术的示例的流程图。图6A- IOC是用于将触觉控制器与触摸屏界面控制器集成的多个实施例的平面图和侧视图。图11 - 16示出了本文讨论的触摸屏界面控制器上提供的主内容和辅助环境的多个实施例。图17是示出可能被提供的多个界面的流程图。图18是示例性处理设备的框图。图19是示例性触摸屏界面设备的框图。图20是示例性控制台设备的框图。
具体实施例方式提供一种技术，该技术允许当用户通过使用主处理系统和主触觉控制器来消费不活动或供人分享的内容时，在启用触摸的控制器上具有辅助媒体或控制体验。辅助控制器可通过使用集成的、连接的或通信的处理设备来提供，该处理设备使辅助界面适于正被消 费的内容。一个方面包括提供用于游戏体验或流媒体的辅助控制器。娱乐服务提供内容并且跟踪用户的在线活动。基于用户所选择的用于在娱乐系统中消费的内容，该服务确定触摸屏界面的适当辅助体验并且提供与该内容结合的体验。也可从第三方源提供内容，在这种情况下处理设备或控制台可向娱乐服务提供关于的内容性质的反馈。本技术可与图I、图18和图20所示的主处理设备结合使用。图I示出了示例性的游戏与媒体系统。如图I所示，游戏与媒体系统200包括游戏与媒体控制台(以下统称为“控制台”)202。一般而言，如以下将进一步描述的，控制台202是一种类型的计算系统。控制台202被配置成适应一个或多个无线控制器，如控制器204(1)和204(2)所表示。控制台202配备有内部硬盘驱动器(未示出)和支持如光学存储盘208所表示的各种形式的便携式存储介质的便携式介质驱动器206。合适的便携式存储介质的示例包括DVD、CD-ROM、游戏盘等。控制台202还包括用于容纳可移动闪存型存储器单元240的两个存储器单元卡插座225 (I)和225 (2)。控制台202上的命令按钮235启用和禁用无线外围支持。控制台202还包括用于与一个或多个设备进行无线通信的光学端口 230和支持附加控制器或其他外围设备的有线连接的两个USB (通用串行总线)端口 210(1)和210 (2)。在某些实现中，可修改附加端口的数量和安排。电源按钮212和弹出按钮214也位于游戏控制台202的正面。电源按钮212被选择来对游戏控制台供电，且还可以提供对其它特征和控件的访问，而弹出按钮214交替地打开和关闭便携介质驱动器206的托盘以允许存储盘208的插入和取出。控制台202通过A/V接口电缆220连接到电视机或其他显示器(如监视器250)。在一个实现中，控制台202配备有专用A/V端口(未示出)，该端口被配置成用于使用A/V电缆220 (例如，适用于耦合到高清显示器16或其它显示设备上的高清多媒体接口“HDMI”端口的A/V电缆)来进行内容受保护的数字通信。电源电缆222向游戏控制台供电。控制台202可进一步被配置成具有如电缆或调制解调器连接器224所表示的宽带能力以便于访问诸如因特网等网络。还可通过诸如无线保真(Wi-Fi)网络等宽带网络来无线地提供宽带能力。每一控制器100经由有线或无线的接口耦合到控制台202。在所示实现中，控制器100经由无线连接耦合到控制台202。控制台202可配备各种用户交互机制中的任何一种。在图2中示出的示例中，每个控制器100都配备有两个拇指摇杆(访111^^^)112(&)和112(b)、D垫116、按钮106、以及两个触发器110。
这些控制器100仅仅是代表性的，并且本文讨论了控制器100的附加实施例。因为各种控制器之间存在若干公共元件，所以它们一般被共同标记为100，其根据本文所述的应用而变化。在一个实现中，还可以将存储器单元(MU) 240插入到控制器204中以提供附加和便携的存储。便携MU允许用户存储游戏参数以供在其它控制台上玩时使用。在此实现中，每一控制器被配置成适应两个MU240，但是也可采用多于或少于两个MU0游戏和媒体系统200通常被配置成玩存储在存储器介质上的游戏，以及被配置成下载并玩游戏、和被配置成从电子和硬介质来源再现预先录制的音乐和视频。使用不同的存储供应，可从硬盘驱动器、从光盘介质(例如，208 )、从在线源、或从MU240播放项。游戏和媒体系统200能够播放的媒体的类型的示例包括
·从⑶和DVD盘、从硬盘驱动器、或从在线来源播放的游戏项。·从便携介质驱动器206中的⑶、从硬盘驱动器上的文件(例如，使用Windows媒体音频(WMA)格式的音乐)、或从在线流送来源播放的数字音乐。 从便携介质驱动器206中的DVD盘、从硬盘驱动器上的文件(例如，活动流送格式(Active Streaming Format))、或从在线流传送来源播放的数字音频/视频。在操作期间，控制台202被配置成接收来自控制器100的输入并在显示器16上显示信息。例如，控制台202可在显示器250上显示用户界面以便允许用户使用控制器100来选择游戏并且显示。图2示出可通过使用本文所述技术来采用的公共用户场景。根据本技术，触摸显示器控制器与触觉控制器结合使用，以提供辅助体验以及由娱乐系统200提供的内容14。在图2中，示出两个用户50和52坐在显示设备16前，在该显示设备16上显示了共享内容的片段14 (在该实例中是网球比赛)。每个用户50、52具有相关联的处理控制器60、62。每个控制器60、62具有各自的相关联的触摸组件64、65。在图2中，控制器被示为与触摸设备集成，但是控制器60、62可包括本文所讨论的多种控制器中的任何一种。同样在图2中示出娱乐系统200，娱乐系统200可包括游戏控制台202、显示设备16以及捕捉设备20，所有这些均在下面相对于图18到图20讨论。图2也示出包括目标识别与跟踪设备20的第二控制器。目标识别与跟踪设备20可包括诸如微软Kmect 控制器之类的系统，其多个实施例在以下共同待审专利申请中有描述，这些专利申请全部通过引用专门结合于此于2009年5月29日提交的名称为“Environment And/Or Target Segmentation (环境和/或目标分割)”的美国专利申请序列号12/475，094 ;于2009年7月29日提交的名称为“Auto Generating a VisualRepresentation (自动生成视觉表示)”的美国专利申请序列号12/511，850 ;于2009年5月29日提交的名称为“Gesture Tool (姿势工具)”的美国专利申请序列号12/474,655 ;于2009年10月21日提交的名称为“Pose Tracking Pipeline (姿态跟踪流水线)”的美国专利申请序列号12/603,437 ;于2009年5月29日提交的名称为“Device for Identifyingand Tracking Multiple Humans Over Time (用于随时间标识和跟踪多个人的设备)”的美国专利申请序列号12/475,308 ;于2009年10月7日提交的名称为“Human TrackingSystem (人类跟踪系统)”的美国专利申请序列号12/575，388 ;于2009年4月13日提交的名称为“Gesture Recognizer System Architecture (姿势识别器系统架构)”的美国专利申请序列号12/422，661 ;以及于2009年2月23日提交的名称为“Standard Gestures (标准姿势)”的美国专利申请序列号12/391，150。如图2所示，每个用户具有他们自己的控制器，该控制器配备有触敏组件64、65。触敏组件与主控制器60和62结合使用，以便提供启用触摸的控制器上的辅助媒体控制体验。图3示出具有触敏设备400以提供辅助媒体控制体验的触觉控制器100的示例性实施例。如图3所示，用户可使用控制台202观看显示器16上的内容。控制器100可包括用于“Xbox”设备的控制器。图3是具有触觉或手动输入的控制器100的俯视图。尽管描述了特定控制器，但是它不旨在是限制性的，因为可使用许多类型的控制器。控制器100包括形成控制器的大部分外部表面的外壳或主体102，具有与用户的手对接的形状。一对手柄104从主体的下部延伸。一组输入或动作按钮106位于主体的右上部。这些输入按钮可被称为面按钮，这是 因为它们在控制器的主体102的顶面上的定向。输入按钮可以是简单的开关，生成具有二元输出以指示用户的选择的信号。在其他示例中，输入按钮可以是压敏开关，生成指示用户的不同级别的选择的信号。附加输入按钮108设置在主体的上部中央位置，并可提供附加功能，如用于导航图形用户界面菜单。输入按钮108还可提供二元或多级响应信号。一组输入按钮110设置在控制器主体102的顶面，通常称为用于通过手指对它们预期致动的触发器。在许多示例中，这些类型的触发器是压敏的，但并不必须如此。第一模拟拇指杆112a设置在主体102的面的左上部，第二模拟拇指杆112b设置在主体102的面的右下部。每个模拟拇指杆通过确定拇指杆相对于固定基座部分的精确角度而允许所谓的模拟输入。而且，模拟拇指杆以精确角度测量杆的移动量，以便响应于任何方向上的不同输入量而生成信号。方向垫(D-pad) 114形成在主体102的面的中央左部处的凹部116中。在其他示例中，D-pad可无需凹部而形成在控制器表面之上。D-pad包含致动表面,致动表面包括十字形输入垫120和四个填充片152。在该示例中，输入垫包括四个输入臂128。在其他示例中，输入垫可包括多于四个或少于四个输入臂。在一个示例中，D-pad允许用户能够提供对应于四个输入臂128的四个不同坐标方向(如NSEff (北南东西))的方向输入控制。D_padll4的致动表面布局可由用户配置。在一个不例中，填充片152可相对于输入垫120移动以改变输入垫120的上表面和填充片的上表面之间的距离。以此方式，D-pad的致动表面布局可由用户更改。利用填充片152处于相对于输入垫120的向上位置，提供了环形或盘形致动配置，而利用填充片处于相对于输入垫的上表面的降低的位置，提供了十字形致动配置。在一个实施例中，输入垫120和填充片152可在凹部116内绕方向垫的垂直于致动表面的中央部分而延伸的中心轴旋转。输入垫120和填充片152的旋转造成填充片平行于中心轴的线性平移。通过以顺时针或逆时针方向绕中心轴旋转方向垫114，致动表面118的表面布局可被改变。填充片的线性平移改变了输入臂128的上表面和填充片152的上表面之间的距离，从而改变了方向垫的致动表面布局。设备400可以是启用触摸的处理设备，诸如以下关于图4和图19所描述的。启用触摸的处理设备可经由因特网连接无线地耦合到控制台202，或经由电缆302和连接器304耦合到控制台202。设备400可与控制器20或控制器100交互以提供与在主显示器16和控制台202上消费的内容14结合的辅助体验。图4是示出适于实现本技术的系统的框图。图4示出多种使用情况和多个系统组件。图4示出用户53、55、57，每个用户与他们自己的显示器16、主处理设备202以及一个或多个控制器交互。这些用户中的每一个消费可由例如娱乐服务480或第三方提供者425所提供的内容。娱乐服务可包括内容存储470，内容存储470可包括流媒体、游戏以及供用户53、55、57使用的其它应用的库。娱乐服务可包含用户简档存储460，用户简档存储460包含关于服务480的每个用户的在线与内容消费活动的信息记录。用户简档存储460可包括诸如从在线活动与第三方社交网络馈源420选出的用户社交图之类的信息以及用户对娱乐服务480所提供的游戏应用的参与。内容管理器462可确定不同类型的内容470与由娱乐服务480所提供的相同或相似内容的其它用户以及用户53、55、57在使用本文讨论的任何处理设备时所参与的活动之间的关系。第三方内容提供者425可由控制台202直接显示或者通过服务480来消费。这些 提供者425可包括社交网络馈源420、商业内容馈源422、商业音频视频馈源424、其它游戏系统426以及私人音频/视觉馈源。商业内容服务422的示例包括来自识别的新闻服务代理的新闻服务馈源以及RSS馈源。商业音频视频服务424可包括来自广播网络或提供流媒体娱乐的其它商业服务的娱乐流。游戏服务426可包括除了由娱乐服务480所提供的那些内容以外的来自游戏服务的内容。私人音频/视频馈源428可包括通过社交网络可用的音频/视觉馈源以及通过诸如YouTube之类的商业音频视频网站可用的那些馈源两者。娱乐服务480也可包括触摸界面设备控制器464。触摸界面设备控制器可确定用户界面410，用户界面410应呈现在界面设备400上。触摸界面设备控制器464可向触摸界面设备400提供指令以允许触摸界面设备提供辅助体验，以便渲染用户界面并且提供控制指令回到娱乐服务或第三方服务以控制在相应显示设备16上呈现的内容。如图4所示，触摸界面设备400可按多种方式耦合到处理系统202和娱乐服务。如相对于用户53所示，通过将触摸界面设备400-1物理地附连到控制器100-1而将设备400-1与控制器100-1集成。以下描述物理耦合的多种示例，但是可包括以电缆方式拴系、以电缆方式物理地连接设备、以每个设备上的接口端口的方式物理地连接设备、或者内置到控制器100的完全集成的触摸界面设备。如相对于用户55所示，触摸界面设备400-2可与控制器100-2无线地通信。类似地，控制器100-2可与控制台202无线地通信，并且到触摸界面设备的指令可经由控制台202从界面设备控制器464提供或者可直接从控制台202提供。如相对于用户57所示，触摸界面设备400可与网络90直接通信，网络90可以是诸如因特网之类的公共和私有网络的组合，并且触摸界面设备400可从控制台202或从界面设备控制器464接收指令。在用户57实施例中，控制器100还与控制台202通信。在替换实施例中，控制器100可与网络90通信以控制控制台202和从内容存储470以及第三方系统425提供的内容两者。如图4所示，触摸界面设备400的通用组件将包括可执行用于提供用户界面410的指令的处理器404，网络接口 402，易失性存储器406以及非易失性存储器408。本文将描述触摸界面设备400的多种能力。以下描述的方法可转换成可由处理器404以及控制台202、控制器100和控制器20操作的指令，以使得本文描述的这些方法能够被执行和实现。
图5示出根据本技术的方法的一般流程图。在510，触摸界面设备耦合到诸如控制器100之类的控制器，并且可确定触摸界面设备的能力。在一些实施例中，触摸界面设备集成在控制器中并且不需要执行步骤510。在一些实施例中，触摸界面设备400可构成诸如智能电话和媒体播放器之类的多种不同处理设备中的任何一种，这些处理设备具有通用连接端口或无线连接能力以允许它们耦合到控制器或耦合到控制台202或耦合到网络90和服务480。在此类情况下，在520确定设备的能力。在一个实施例中，触摸界面设备是集成设备，或者是被设计成专门与控制器100 —起使用的已知设备。在此类实施例中，不需要执行步骤520。在530，用户选择接收或参与从服务480提供的、或第三方的、或与诸如控制台202之类的处理设备结合的内容。在540，做出关于辅助体验的类型的确定，辅助体验可根据所呈现的内容的类型而被呈现在触摸界面设备上(如果有的话)。辅助体验的各个示例在下文中描述。如果从服务480呈现内容，那么服务480将知晓哪些内容正被呈现给用户并且可确定是否应将辅助内容、用户界面或控制器、或一些其它辅助体验提供给触摸界面设备400。 如果从第三方服务提供内容，那么控制台202可向服务480提供反馈，并且服务480随后可确定应将哪些辅助体验提供给用户。在550，在界面设备上结合所呈现内容呈现辅助体验。图6A和6B示出将触摸界面设备400_6连接到控制器100_6的一个替代方案。在图6A和6B中，触摸界面设备400-1是可与控制器100-6结合使用的多个通用设备中的任何一个。控制器100-6 —般相当于以上讨论的控制器100并且配备有用于电缆602的连接器，该连接器可适于与使用插头604的多个不同界面设备中的任何一个一起使用。该连接器可以是标准连接器，诸如USB或小型USB连接器。在图6A和6B中，包括臂612和614的硬件底座610用于将触摸界面设备400_6连接到控制器100。以此方式，触摸界面设备400-6可以是任何通用触摸界面设备，并且可由控制器100的用户用于接收相对于显示器上的内容呈现的辅助体验。每个臂612、614的一端可插入到控制器100-6的相应耦合孔中，并且每个臂的第二端可包括相对于控制器100-6固定触摸界面设备400-6的支架。如图6B所示，底座610可允许触摸界面设备400-6相对于控制器100-6以多种角度放置。触摸界面设备400-6可包括相机630，相机630放置在该设备的相关于触敏表面的面上。众所周知，许多触摸设备包括在设备背面上的第二相机。将设备相对于控制器100-6成角度地放置允许相机的不同视场并且向服务480提供替换输入以提供以下所述的多种辅助体验。如图6B所示，控制器100-6还可包括前向相机620。前向相机具有朝向控制器所指向的方向的视场。这给予系统480多个视场并且增加了以下所述的系统的功能。图7A和7B示出第二触摸界面设备400-7，第二触摸界面设备400-7已适于被容纳到控制器100-7的槽704中。在该实施例中，触摸界面设备400-7上的物理连接器以及控制器100-7上的物理连接器以允许这两个设备间的电连接的方式配对。槽704为界面设备400-7提供结构刚性。另外，要注意，设备400-7的取向相对于控制器100-7处于“纵向”模式。下面讨论替换实施例。如图7B所示，槽(或其它耦合组件)可适于允许触摸界面设备400-7相对于控制器100-7具有变化的角度。图7A同样示出触摸界面设备400-7上的相机630以及控制器100-7上的相机620。如图8A和8B所示，控制器100-8已适于容纳横向安装的界面设备400-8。设备400-8可被配置成插入到控制器100-8中的一个或多个连接中，并且控制器100-8包括如上述提供的所有触觉元件。触摸界面设备400-8可以是适于与控制器100-8 —起使用的专用触摸界面设备，或者控制器100-8可适于容纳使用标准连接的多种不同设备中的任何一种。再一次，如图8B所示，槽(或其它耦合组件)可适于允许触摸界面设备400-8相对于控制器100-8具有变化的角度。图9A和9B示出具有集成触摸界面设备400_9的另一控制器100_9。集成触摸界面设备400-9现在应被视为单独界面设备，但是可被视为集成在控制器100-9之中或之上的触摸界面屏幕。在该实施例中可存在图4所示的通用界面设备400的处理组件。再一次，控制器100-9示出其它实施例的所有触觉控制元件。图9A和9B示出放置在诸如图9所示的控制器的其它部分的附加相机的使用，其 中相机630和640提供用户环境的替换视图，这些视图可用于下面所述的辅助体验中。应理解，可在本文所述的各个实施例中的任何一个中提供这些相机。图10A-10C示出将触摸界面设备400-10相对于控制器100-10放置的替代方案。如图所示，控制器100-10将触摸界面设备400-10安装在手柄104下方。如图IOA和IOB所示，可基于控制器内的物理调节、在控制器中提供替换槽以便设备进入、或者允许用户调节屏幕角度的其它机械组件，来选择设置控制器的角度。图11-17示出在触摸显示器控制器上提供的辅助界面的多个示例。辅助界面可适于与用户所消费的内容一起使用。以下描述是示例性的，并且可基于所选内容的类型来提供任何数量的不同辅助界面。通常，这些包括用户帮助界面、辅助控制器界面或者替换视图界面。辅助控制器界面可提供不是由触摸控制元件提供的用于游戏控制的控制信号的替换集合，或者作为触觉控制元件的替换的替换控制装置。如此，对于由控制器和触摸显示器提供的内容的控制信号集，可由触觉控制器提供一个子集且由触摸显示器界面提供第二子集。这些子集可以是完全分离的，可以是部分重叠的，或者是完全重叠的。例如，如以下所讨论的，在游戏应用中，可结合游戏提供替换用户界面或者帮助屏幕。在流媒体环境中，可呈现与流媒体相关的附加引导信息。另外，可提供替换形式的控制器或补充信息，所有这些均落在正被用户消费的内容或媒体的类型的上下文内。图11示出当在显示器16上玩游戏时用户可看到的结合辅助体验的示例性视图。显示器16示出网球游戏1102，其示出上方的网球运动员1104相对于网1110击打球1106。如通常将会理解的，在网球游戏期间，用户具有可相对于球做出的多种击打方式，并且控制器112A和112B可用于通过进入按钮106上的相应按钮入口来安置运动员以及执行不同类型的击打。图11示出包括帮助屏幕1130的辅助界面的示例，其中向用户提供如何关于该游戏使用控制器的指令。在该上下文中，指令相关于游戏是相对基本的。在另一上下文中，因为服务480控制游戏并且知晓用户在何处参与游戏，所以帮助屏幕1130的上下文可改变。例如，在角色扮演游戏中，在用户被挑战来完成游戏内的若干不同类型挑战的情况下，如果用户在特定挑战上失败一定次数，那么辅助界面可提示该用户以指示该用户是否希望看看游戏中的其它成员或参与者是如何解决该级别的。这可包括视频预排(videowalk-through)、逐步指令、基本提示或建议、或任何其它替换类型的帮助，而不打扰在显示器16上出现的游戏1102的主体验。图12示出一场景，其中以第一人称视图1202玩角色扮演游戏的用户可控制团队环境中的其它成员。角色扮演游戏视图1202提供对于武器1206进入环境的第一人称视图。如图12所示，显示器16上的环境包括栅栏1204、1214，建筑物1216以及其它元件。这些元件中的一些以及其它玩家可存在于该游戏世界中，但是可在第一人称视场1202以外。在该示例中，在显示器400-12上提供的辅助体验示出可能在该用户的团队中的两个其它用户1250和1252。辅助界面的一个示例允许控制器100-12的操作者安置其它用户1250和1252，如果他们是基于团队的游戏的成员并且控制器100-12的操作者是主控玩家。为了安置队员，例如通过触摸该用户队员并通过在触摸界面屏幕400-12上滑动该用户的手指将该用户队员移动到所请求位置，可拖曳该队员至不同位置。各种类型的团队场景可与辅助体验结合使用。例如，屏幕可能不止对屏幕上的玩家位置的简单控制。屏幕可允许用户与其它成员可视地且可听地通信。触摸用户1252可打开与该团队成员的音频信道以经由音频通信向该团队成员传达指令。或者，触摸用户1252可产生具有由控制器100-12 的操作者选择的预编程指令的菜单，控制器100-12的用户仅仅需要选择这些指令以将这些指令传达给他们的队员。或者，辅助界面可简单地提供该环境的俯视地图，该地图示出以第一人称视图无法看到的元件。在又一替换方案中，触摸界面400-12可提供关于辅助界面中的物体的附加信息或帮助提示。图13示出使用与图12所示的类似的角色扮演游戏的第二场景。在这种情况下，在界面400-13上向用户提供游戏环境的替换第一人称视图，该视图可包括正在用户背后发生事件的后视图。在该示例中，用户可以看到在游戏视图1202的虚拟环境中在控制器100-13的操作者的背后存在潜在危险，例如另一人物1310。人物1310仅在辅助体验400-13中的辅助界面上出现，除非用户控制界面“回转”并看向虚拟环境中的后面。或者，界面400-13可使用以上所讨论的相机来提供用户所处环境的替换视图或者显示从用户范围内的真实世界人们解释的替换数据，并且将这些环境变量弓I入游戏体验。图14示出使用替换控制装置的实施例，该控制装置对于某些类型的游戏而言可能比控制器100-14上的触觉控制更有利。在由诸如滑块或拨盘之类的模拟输入对用户控制进行辅助的游戏中，可使用触摸界面400-14。在该实施例中触摸界面400-14用于玩在显示器16上出现的打靶游戏1400。在该游戏中，用户必须将他们的弹弓1402向后拉以获得足够的弹丸速率来击中靶1404。图14在设备400-14上示出力量滑块界面，其中用户滑动他们的手指自初始接触点1406到第二接触点1408并且从设备400-14的屏幕释放他们的手指以释放游戏1400中的弹丸。这种模拟控制可被更容易地呈现并且允许设备400-14上的用户控制选项。在图14的示例中，游戏可通过触觉控制提供与界面400-14相同的打靶和控制机制。因此，在这种实施例中，来自触觉设备的控制信号集可能与来自界面400-14的一个重叠。图15示出辅助体验的又一实施例，其可由控制器100-15上的触觉控制实现或在界面400-15上实现。在扑克游戏1500中，用户通常不希望游戏中的其它用户知晓他们的纸牌。控制器100-15的操作者可使他们的纸牌在触摸界面400-15中向自己呈现。用户可使用对用户自己设备上的纸牌1506 (游戏中的其它玩家无法看到)的触摸输入1504来参与显示器16上的纸牌游戏1500，即使在显示器由游戏中的所有玩家共享的情况下亦是如此。这种实施例在诸如图2所示的场景中是有用的，在该场景中玩相同的游戏但是具有不希望于游戏中的其它玩家共享的秘密信息的两个用户需要访问他们自己的信息。界面400-15可以是在控制器100-15上使用触觉控制的部分替代或完全替代。图16示出包括通知系统的另一辅助体验。在图16中，显示器400-16上的辅助体验包括其它用户等待控制器100-16的操作者玩不同游戏的通知。在该场景中，控制器100-16的操作者正在利用上面讨论的视图1202玩角色扮演游戏。然而,其它用户可向控制器100-16的操作者发送询问该用户他们是否愿意参与其它类型游戏的消息1604和1608或者任何其它类型的通知。依赖于通知类型，可提供软件响应控制按钮1610、1612、1614、1616、1618和1620以允许控制器100-16的操作者容易地响应于这些通知或简单地忽略这些通知。应认识到，可在辅助体验上实现任何数量的不同类型的通知和通知控制。图17示出根据本技术的突出多种不同实施例的更具体方法的流程图。在步骤 1702，用户选择要被呈现给用户的或者要由用户参与的内容。基于所选择的内容，生成辅助体验并将其呈现到触摸界面设备。如果在1704该内容是游戏，那么在1706，服务480将选择应被显示给用户的辅助体验的组件。在1708，该服务将这些组件发送到触摸界面设备。一旦在1710接收到控制元件，那么在1712用户可利用这些控制元件来控制游戏。触摸界面设备上的辅助体验的控制元件将生成控制信号，该控制信号将被返回到服务480以根据游戏的特定要求来控制游戏。在1714，如果内容需要帮助屏幕，那么可提供显示帮助的提示。在1716，当帮助屏幕被调用时，服务480可确定用户在在该游戏、应用或其它内容中的何处、以及关于游戏应用或内容的用户历史。这可帮助服务480提供正确类型的帮助，或者提供选项以便用户请求不同类型的帮助。在1718，选择适当的帮助类型。可由游戏服务480自动选择适当的帮助类型，或者可提示用户选择随后可在1719被显示的特定帮助类型。帮助可采取许多形式，包括以上讨论的那些。另外，可向用户播放如何执行游戏任务的视频，或者向用户示出其它用户如何解决关于应用的问题。在1702用户选择内容之后，在1720可接收到通知。在1722，服务480可做出通知是否是用户可能希望观看的类型的判定。可使用任何数量的过滤器来做出该判定。例如，从用户社交图的特定级别接收到的所有通知消息可被允许通过。用户可能已指定他们不希望接收某些类别的通知，诸如玩游戏的邀请。在1722，一旦系统确定该通知是否应被提供，系统就可按适当方式来显示该通知。如普通技术人员将会理解的，可由服务480或第三方提供者提供多种类型的内容。对于在1728任何类型的内容，一旦在1730服务480确定了内容的类型，那么在1732可提供辅助体验。在1732，系统确定适于在辅助体验中使用的控制、信息或应用，并且在1734向触摸屏控制器提供辅助UI体验。如所述，服务480可通过来自控制台202或直接来自用户的反馈确定用户的观看历史以及连同当前流送内容一起的其它在线活动，并且该反馈可用于在不同上下文中提供辅助界面。图18示出可用于前述技术中作为本文所述的任何处理设备的合适计算系统环境的示例。多个计算系统可用作实现位置服务的服务器。
参考图18，用于实现本发明的一个示例性系统包括计算机710形式的通用计算设备。计算机710的组件可包括，但不限于，处理单元720、系统存储器730、以及将包括系统存储器的各种系统组件耦合到处理单元720的系统总线721。系统总线721可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA (EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层(Mezzanine)总线的外围组件互连(PCI)总线。计算机710通常包括各种计算机可读介质。计算机可读介质可以是能由计算机710访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、R0M、EEPR0M、闪存或其他存储器技术，CD-ROM、数字多功能盘(DVD)或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者能用于存储所需信息且可以由计 算机710访问的任何其他介质。系统存储器730包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM) 731和随机存取存储器(RAM) 732。包含诸如在启动期间帮助在计算机710内的元件之间传输信息的基本例程的基本输入/输出系统733 (BIOS)通常存储在R0M731中。RAM732通常包含处理单元720可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图18示出了操作系统734、应用程序735、其它程序模块736和程序数据737。计算机710也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图18示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器740，从可移动、非易失性磁盘752中读取或向其写入的磁盘驱动器751，以及从诸如⑶ROM或其它光学介质等可移动、非易失性光盘756中读取或向其写入的光盘驱动器755。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器741通常通过诸如接口 740之类的不可移动存储器接口连接到系统总线721，并且磁盘驱动器751和光盘驱动器755通常通过诸如接口 750之类的可移动存储器接口连接到系统总线 721。上文讨论并在图18中示出的驱动器及其相关联的计算机存储介质为计算机710提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，在图18中，硬盘驱动器741被示为存储操作系统744、应用程序745、其它程序模块746和程序数据747。注意，这些组件可与操作系统734、应用程序735、其他程序模块736和程序数据737相同，也可与它们不同。在此操作系统744、应用程序745、其他程序模块746以及程序数据747被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘762和定点设备761——通常是指鼠标、跟踪球或触摸垫——向计算机20输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口 760连接到处理单元720，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其他接口和总线结构来连接。监视器791或其他类型的显示设备也经由诸如视频接口 790之类的接口连接至系统总线721。除了监视器以外，计算机还可包括诸如扬声器797和打印机796之类的其他外围输出设备，它们可通过输出外围接口 790来连接。计算机710可使用到一个或多个远程计算机(诸如，远程计算机780)的逻辑连接而在联网环境中操作。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机710描述的许多或所有元件，但在图7中只示出存储器存储设备781。图7中所示的逻辑连接包括局域网(LAN) 771和广域网(WAN)773，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。当在LAN联网环境中使用时，计算机710通过网络接口或适配器770连接到LAN771。当在WAN联网环境中使用时，计算机710通常包括调制解调器772或用于通过诸如因特网等WAN773建立通信的其他手段。调制解调器772可以是内置的或外置的，可经由 用户输入接口 760或其他适当的机制连接到系统总线721。在联网环境中，相对于计算机710所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图18示出了远程应用程序785驻留在存储器设备781上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。图19是可以在本技术的各实施例中作为触摸界面设备操作的示例性移动设备的框图。描绘了典型移动设备的示例性电子电路。该移动设备900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器1010 (例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器)。移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。应用可包括被提供给用户界面918的辅助界面。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用1030可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用、本文中讨论的交互应用等。存储器1010中的非易失性存储组件1040包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi或蓝牙等任何附加通信信道1060、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感应加速方向、以及定向、振动和震动。处理器912进一步与响铃器/振动器916、用户界面/键区/屏幕918、一个或多个扬声器1020、话筒922、相机924、光传感器926和温度传感器928进行通信。根据公知原理和技术，用户界面、键区和屏幕可包括电容触摸屏。处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站(例如固定站、运营商、其他蜂窝电话等)来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器1020，同时所接收到的其它数据信号也被适当地处理。另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可用作到计算设备和/或本文所述的控制器100的各个实施例的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同 步等操作。为这样的服务启用使用基于卫星的无线电导航来中继用户应用程序的位置的GPS收发机965。附图中示出的示例计算机系统包括计算机可读存储介质的示例。计算机可读存储介质也是处理器可读存储介质。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPR0M、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。图20是可用于实现控制台202的计算系统的另一个实施例的框图。在这一实施例中，计算系统是多媒体控制台800，诸如游戏控制台等。如图20所示，多媒体控制台800具有中央处理单元(CPU)SOl以及便于处理器访问各种类型存储器的存储器控制器802，包括闪速只读存储器(R0M)803、随机存取存储器(RAM)806、硬盘驱动器808、以及便携式媒体驱动器806。在一种实现中，CPU801包括I级高速缓存810和2级高速缓存812，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器808进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。CPU801、存储器控制器802、以及各种存储器设备经由一个或多个总线(未示出)互连。在此实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的体系结构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA (EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。在一个实现中，CPU801、存储器控制器802、R0M803、以及RAM806被集成到公用模块814上。在此实现中，R0M803被配置为通过PCI总线和ROM总线(两者都没有示出)连接到存储器控制器802的闪存ROM。RAM806被配置为多个双倍数据速率同步动态RAM (DDRSDRAM)模块，它们被存储器控制器802通过分开的总线(未示出)独立地进行控制。硬盘驱动器808和便携式媒体驱动器805被示为通过PCI总线和AT附加(ATA)总线816连接到存储器控制器802。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。图形处理单元820和视频编码器822构成了用于进行高速度和高分辨率(例如，高清)的图形处理的视频处理流水线。数据通过数字视频总线(未示出)从图形处理单元(GPU)820传输到视频编码器822。通过使用GPU820中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所使用的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器(scaler)可用于设置该分辨率，从而消除了对改变频率并弓I起TV重新同步的需求。音频处理单元824和音频编解码器(编码器/解码器)826构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路(未示出)在音频处理单元824和音频编解码器826之间传送音频数据。视频和音频处理流水线向A/V (音频/视频)端口 828输出数据，以便传输到电视机或其他显示器。在所示出的实现中，视频和音频处理组件820-828安装在模块214上。 图20示出了包括USB主控制器830和网络接口 832的模块814。USB主控制器830被示为通过总线(例如，PCI总线)与CPU801和存储器控制器802进行通信，并作为外围控制器804(I)-804(4)的主机。网络接口 832提供对网络(例如因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。在图18中描绘的实现中，控制台800包括用于支持四个控制器804(1)-804(4)的控制器支持子部件840。控制器支持子部件840包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作所需的任何硬件和软件组件。前面板I/O子部件842支持电源按钮812、弹出按钮813，以及任何LED (发光二极管)或暴露在控制台802的外表面上的其他指示器等多个功能。子部件840和842通过一个或多个电缆部件844与模块814进行通信。在其他实现中，控制台800可以包括另外的控制器子部件。所示出的实现还示出了被配置成发送和接收可以传递到模块814的信号的光学I/O接口 835。MU840(1)和840 (2)被示为可分别连接到MU端口 “A” 830 (I)和“B” 830⑵。附加的MU (例如，MU840 (3)-840 (6))被示为可连接到控制器804 (I)和804 (3)，即每一个控制器两个MU。控制器804 (2)和804 (4)也可以被配置成接纳MU (未示出)。每一个MU840都提供附加存储，在其上面可以存储游戏、游戏参数、及其他数据。在一些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被插入到控制台800或控制器中时，MU840可以被存储器控制器802访问。系统供电模块850向游戏系统800的组件供电。风扇852冷却控制台800内的电路。还提供微控制器单兀854。包括机器指令的应用860被存储在硬盘驱动器808上。当控制台800被接通电源时，应用860的各个部分被加载到RAM806，和/或高速缓存810以及812中以在CPU801上执行，其中应用860是一个这样的示例。各种应用可以存储在硬盘驱动器808上以用于在CPU801上执行。可以通过简单地将系统连接到显示器16、电视机、视频投影仪、或其他显示设备来将游戏与媒体系统800作为独立系统来操作。在此独立模式下，游戏和媒体系统800允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口 832而成为可能，游戏和媒体系统800还可以作为更大的网络游戏社区的参与者来操作。尽管用结构特征 和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
权利要求
1.一种用于包括主内容呈现设备的内容呈现和交互系统的控制器，包括 触觉控制输入端[100]，响应于第一用户的输入且通信地耦合到内容呈现设备[202，250]，其包括多个触觉输入机制并且提供操纵内容的第一控制输入集合； 触摸屏控制输入端[400]，响应于所述第一用户的输入且通信地耦合到所述内容呈现设备，屏幕接近所述触觉控制输入端并且提供第二控制输入集合，所述第二控制输入集合包括所述第一控制输入集合中的至少一些的替换输入以及使用所述触觉输入机制无法获得的附加输入。
2.如权利要求I所述的控制器，其特征在于，所述控制器与所述内容呈现设备通信，且所述内容呈现设备经由网络与娱乐服务通信，所述服务提供辅助界面中的一个或多个元件，所述辅助界面包括以下各项中的一个或多个 应用帮助界面； 应用控制界面； 替换游戏视图界面； 信息界面，其提供关于所述内容的附加信息。
3.如权利要求2所述的控制器，其特征在于，所述触摸屏控制输入端包括处理器和连接器，并且所述触摸屏控制输入端通过所述连接器连接到所述触觉控制输入端。
4.如权利要求3所述的控制器，其特征在于，所述触觉控制输入端或触摸屏控制输入端包括至少一个成像相机，所述成像相机与所述处理设备通信以向所述辅助用户界面提供输入。
5.如权利要求4所述的控制器，其特征在于，在所述第二集合中提供所述第一控制输入集合的至少一部分。
6.如权利要求I所述的控制器，其特征在于，所述内容呈现设备经由网络与内容服务通信，所述服务提供辅助界面的一个或多个元件。
7.如权利要求I所述的控制器，其特征在于，所述触摸屏控制输入端包括处理器和连接器，并且第二控制器连接到所述触觉控制输入端。
8.如权利要求I所述的控制器，其特征在于，所述第二控制器包括处理器和无线通信系统，并且所述第二控制器经由所述无线通信系统耦合到所述内容呈现设备。
9.如权利要求I所述的控制器，其特征在于，所述输出设备经由网络与内容服务通信，所述服务在包括所述第二控制集合的所述触摸屏输入端上提供辅助界面的一个或多个元件。
10.如权利要求I所述的控制器，其特征在于，所述触摸屏控制输入端通信地耦合到所述触觉控制输入端。
全文摘要
提供一种具有辅助触摸控制器的内容系统。描述了用于包括主内容呈现设备的内容呈现和交互系统的控制器。控制器包括触觉控制输入端和触摸屏控制输入端。触觉控制输入端响应于第一用户的输入并且通信地耦合到内容呈现设备。控制器包括多个触觉输入机制并且提供操纵内容的多个控制输入的第一集合。控制器包括触摸屏控制输入端，该触摸屏控制输入端响应于第一用户的输入并且通信地耦合到内容呈现设备。第二控制器在第一控制器附近，并且提供多个控制输入的第二集合。控制输入的第二集合包括用于这些控制中的至少一些的替换输入以及使用触觉输入机制无法获得的附加输入。
文档编号G06F3/01GK102968183SQ201210556938
公开日2013年3月13日 申请日期2012年12月19日 优先权日2011年12月20日
发明者J·克拉维, K·A·洛布, C·M·诺瓦克, K·盖斯那, C·克莱恩 申请人:微软公司