提供抬头操作和视觉反馈的远程控制接口的制作方法
【专利摘要】在一个实施例中，提供了远程控制接口，其允许用户以基本上“抬头”的方式从具有触摸屏显示器的移动装置与可编程多媒体控制器交互作用，同时在所述移动装置上提供视觉反馈以确认触摸输入。所述用户可以在所述触摸屏显示器上输入触摸输入，包括轻击、保持、滑动以及拖移。这样的触摸输入可以被处理并且被传递到所述可编程多媒体控制器，其在被耦接到所述可编程多媒体控制器的显示装置上显示屏幕上显示菜单系统。所述用户可以将他的或她的大部分注意力对准到所述显示装置上的所述屏幕上显示菜单系统。然而，也可以在所述移动装置的所述触摸屏显示器上显示一些视觉反馈，所述视觉反馈对在所述触摸屏显示器上接收的触摸输入的类型而言是特定的。
【专利说明】提供抬头操作和视觉反馈的远程控制接口
[0001]相关的申请
本申请要求2011年I月18日提交的标题为“当与屏幕上显示交互时提供抬头操作和视觉反馈的远程控制接口”的美国临时专利申请序列号N0.61/433，941的优先权，其内容以引用的方式被整体并入此处。
【技术领域】
[0002]本公开一般涉及装置控制，并且更特别地涉及供可编程多媒体控制器使用的远程控制接口，所述可编程多媒体控制器控制各种各样的电子装置，诸如音频装置、视频装置、通话装置、数据装置、安全装置、马达操作的装置、继电器操作的装置和/或其他类型的装置。
【背景技术】
[0003]随着电子装置的不断日益复杂，简单而又有效的装置控制正在变得越来越重要。尽管曾经电子装置可以用仅仅少量的模拟按钮和开关被充分地控制，现代电子装置经常向用户呈现大量可配置的选项和参数的阵列，其需要复杂的控制以操作和选择)。响应于用户的对“便利性”的需求，这些控制经常在特定装置或“通用”手持式远程控制单元上被实现，其使用红外线(IR)、射频(RF)或其他类型的信号来与正被控制的电子装置对接。然而很少用常规的远程控制单元实现实际的便利性。
[0004]许多特定装置和“通用”远程控制单元被设计有在中心的按钮的范式，以致许多特定功能的按钮被挤进所述远程控制单元的表面上的相对小的空间中。在一些情况下，所述特定功能的按钮是物理按钮，其被耦接到检测它们的按下的传感器或开关。在其他情况下，所述特定功能的按钮可以是虚拟按钮，其被显示在触摸屏显示器(即，能够显示虚拟输出并且也被配置为接收触摸数据的显示器)上。然而，这样的在中心的按钮远程控制单元具有各种各样的缺点。
[0005]在中心的按钮远程控制单元的拥挤的按钮布局经常需要用户频繁地俯看所述远程控制单元，以便从所述远程控制单元挑选出期望的按钮。因此，用户必须将他的或她的注意力从例如在显示装置(例如电视机)上正被显示的屏幕上显示转移以查看所述远程控制单元。如上所述，用户经常被强迫以“低头”的方式操作所述远程控制单元。
[0006]甚至当俯看所述远程控制单元时，在中心的按钮远程控制单元的拥挤的按钮布局经常使得从许多可用的按钮中选择期望的按钮是困难的，尤其是在弱光条件下。用户可能只是不能够看到与每个按钮相关联的常常是小的和隐蔽的标签，或者可能不理解它们的意义。如果用户不经意地按下“错误”按钮，则装置可能执行不想要的动作或进入不期望的模式或状态。这可以使用户困惑或激怒用户。
[0007]新近，尝试已经被进行以抛弃在中心的按钮范式，并且不是简单地在远程控制单元的触摸屏显示器上显示虚拟按钮，以在所述触摸屏显示器上接收手势或其他更复杂的输入。尽管在抛弃在中心的按钮范式中已实现了某些优势，这样的远程控制单元典型地具有它们自身的缺点集合。在那些中最重要的是，这样的单元典型地没有向用户提供他们的控制输入正在被正确地接收和记录的反馈或确认。与物理按钮(当被按压时其可以用响应运动使用户放心)不同，触摸屏显示器典型地没有提供任何立即反馈。用户可能不确定他们的选择是否被正确地接收或记录。
[0008]近来，已针对智能电话、平板电脑和允许这样的装置作为特定装置或“通用”手持式远程控制单元操作的其他“移动装置”开发了各种各样的接口。然而，专用远程控制单元的上面所讨论的潜在的缺点已迁移到用于智能电话、平板电脑和其他“移动装置”的接口之上。
[0009]所需要的是可以解决一些或所有上面所描述的缺点的改进的远程控制接口。
【发明内容】
[0010]根据本公开的一个实施例，提供了远程控制接口，其允许用户以基本上“抬头”的方式从具有触摸屏显示器的移动装置与可编程多媒体控制器交互作用，以及否则控制所述可编程多媒体控制器，同时在所述移动装置上提供视觉反馈以确认触摸输入。
[0011]在所述移动装置上执行的远程控制接口客户端应用程序可以在所述触摸屏显示器上显示输入接口。用户可以在所述触摸屏显示器上输入触摸输入，包括轻击、保持、滑动或拖移。这样的触摸输入可以被处理并且被传递到所述可编程多媒体控制器，其在显示装置(诸如被耦接到所述可编程多媒体控制器的电视机)上显示屏幕上显示菜单系统。用户可以将他的或她的大部分注意力对准到所述显示装置上的所述屏幕上显示菜单系统，而不是所述移动装置上的所述触摸屏显示器。响应于触摸输入，所述控制接口客户端应用程序可以将适当的命令传递到所述可编程多媒体控制器以使其在所述显示装置上显示和操纵所述屏幕上显示菜单系统，并且记录其中的选择。此外，所述控制接口客户端应用程序可以致使视觉反馈显示在所述移动装置的所述触摸屏显示器上，其对在所述触摸屏显示器上接收的触摸输入的类型而言是特定的。此视觉反馈可以在不同类型的触摸输入之间(例如，在轻击、保持、滑动和拖移之间)，以及在不同方向上(例如，左、右、上和下)的触摸输入之间区分。可以在输入在进行中的同时和/或其被完成之后不久提供这样的视觉反馈。
【专利附图】
【附图说明】
[0012]下面的描述参考附图，在其中:
图1是被互连到若干装置上的可编程多媒体控制器例子的框图；
图2是所述可编程多媒体控制器例子的硬件架构例子的示意性框图；
图3是可以与图1的所述可编程多媒体控制器操作的移动装置例子的硬件架构例子的框图；图4是可以在被耦接到所述可编程多媒体控制器的显示装置上被显示的远程控制接口的屏幕上显示菜单系统例子的图；
图5A是可以在移动装置的触摸屏显示器上被显示的输入接口例子的屏幕截图；
图5B是可以在移动装置的触摸屏显示器上被显示的示出了响应于虚拟按钮轻击或保持而被提供的视觉反馈的输入接口例子的屏幕截图；
图5C是可以在移动装置的触摸屏显示器上被显示的示出了响应于手势区域中的轻击或保持而被提供的视觉反馈的输入接口例子的屏幕截图；图ro是可以在移动装置的触摸屏显示器上被显示的示出了响应于潜在的拖移而被提供的视觉反馈的输入接口例子的屏幕截图；
图5E是可以在移动装置的触摸屏显示器上被显示的示出了响应于手势区域中进行中的拖移或滑动而被提供的视觉反馈的输入接口例子的屏幕截图；
图6A是可以由远程控制接口客户端应用程序实施的用以与可编程多媒体控制器交互操作来提供远程控制接口的步骤序列例子的流程图；
图6B是可以由所述远程控制接口客户端应用程序实施的用以确定是已经轻击了虚拟按钮还是在手势区域中已经接收了轻击并且采取适当的响应的步骤序列例子的流程图；
图6C是可以由所述远程控制接口客户端应用程序实施的用以确定潜在的拖移是否被完成以变成实际进行中的拖移并且采取适当的响应的步骤序列例子的流程图；
图6D是可以由远程控制接口客户端应用程序实施的用以记录滑动并且采取适当的响应的步骤序列例子的流程图；
图6E是可以由远程控制接口客户端应用程序实施的用以确定是已经保持虚拟按钮还是在手势区域中已经接收保持并且采取适当的响应的步骤序列例子的流程图；以及
图6F是可以由所述远程控制接口客户端应用程序实施的用以实现心跳指示器的步骤序列例子的流程图。
【具体实施方式】
[0013]图1是被互连到若干装置的实例可编程多媒体控制器100的框图。术语“可编程多媒体控制器”应被广义地解释为能够控制各种各样的电气和电子装置(诸如音频、视频、通话、数据、安全、马达操作的、继电器操作的、加热、通风和空调(HVAC)、能量管理和/或其他类型的装置)、在所述各种各样的电气和电子装置之间转换数据、和/或否则与所述各种各样的电气和电子装置交互操作的装置。
[0014]所述可编程多媒体控制器100可以被耦接到各种各样的A/V装置，包括音频源装置110，诸如致密光盘(⑶)播放器、数字视频盘(DVD)播放器、麦克风、数字视频记录器(DVRs)、电缆盒、音频/视频接收器、个人媒体播放器和发源音频信号的其他装置；可以被耦接到各种各样的视频源装置120，诸如数字视频盘(DVD)播放器、数字视频记录器(DVRs)、电缆盒、音频/视频接收器、个人媒体播放器和发源视频信号的其他装置；可以被耦接到各种各样的音频输出装置130，诸如扬声器、将扬声器并入的装置和输出音频的其他装置；并且可以被耦接到各种各样的显示装置140，诸如电视机、监视器和输出视频的其他
>j-U ρ?α装直。
[0015]此外，所述可编程多媒体控制器100可以被直接地或者通过一个或多个中间控制器耦接到各种各样的其他类型的装置、控制所述各种各样的其他类型的装置、以及否则与所述各种各样的其他类型的装置交互操作。例如，所述可编程多媒体控制器100可以被耦接到管理位于住宅或其他结构周围的照相机系统的闭路电视(CCTV)控制系统170、管理HVAC装置来调节所述住宅或其他结构中的环境功能和/或能量管理装置的HVAC控制和/或能量管理系统175、和/或管理所述住宅或其他结构中的多个独立的安全传感器的安全系统180。响应于从所述可编程多媒体控制器100接收的控制命令，所述CCTV控制系统170、所述HVAC控制系统和/或能量管理系统175以及所述安全系统180可以在它们的各自的立即控制下管理所述装置。
[0016]此外，所述可编程多媒体控制器100可以被耦接到一个或多个电子照明控制器190、控制所述一个或多个电子照明控制器190、以及否则与所述一个或多个电子照明控制器190交互操作。所述一个或多个电子照明控制器190可以例如经由有线的或无线的链路被耦接到多个继电器192和/或调光器单元193。相似地，所述可编程多媒体控制器100可以被耦接到一个或多个马达操作的装置控制器195(例如，一个或多个自动遮光窗帘控制器或其他类型的控制器)、控制所述一个或多个马达操作的装置控制器195、以及否则与所述一个或多个马达操作的装置控制器195交互操作。如同照明控制一样，响应于从所述可编程多媒体控制器100接收的控制命令，所述马达操作的装置控制器195可以在住宅或其他结构的各种房间中选择性地触发马达操作的装置(未被显示)，以实现期望的效果。
[0017]所述可编程多媒体控制器100可以经由一个或多个远程控制单元(例如，壁装式的控制单元、桌面控制单元、手持式便携控制单元等等)接收用户输入。在一些情况下，远程控制单元可以经由中间装置153而被耦接到所述可编程多媒体控制器100。在其他情况下，所述远程控制单元可以直接与所述多媒体控制器100通信。依据所述远程控制单元的通信的模式，对所述中间装置153的需求和所述中间装置153的形式可以变化。例如，如果所述远程控制单元使用无线局域网(LAN)连接(诸如W1-FI或IEEE 802.11连接)，则所述中间装置153可以是无线接入点或其他网关。可替代地，如果所述远程控制单元使用有线的LAN连接(诸如以太网连接)，则所述中间装置153可以是交换机或路由器。在又另一个可替代方案中，如果所述远程控制单元在广域网(WAN)(诸如因特网)上通信以联系所述可编程多媒体控制器100，则所述中间装置153可以是对WAN的接口，诸如线缆调制解调器或数字用户线路(DSL)调制解调器。
[0018]一种特殊类型的远程控制单元在此处将被称为“移动装置” 150。如在此处所使用的，术语“移动装置”指的是适合于在一个人身上被运送的电子装置，包括多媒体智能电话(诸如可从苹果公司获得的iPhone?多媒体电话、以及可从Research In Motion有限公司获得的Blackberry?装置)、多用途平板电脑装置(诸如可从苹果公司获得的iPad?平板电脑)、便携式媒体播放器(诸如可从苹果公司获得的iPod? touch)、个人数字助理(PDAs)、电子书阅读器等等。这样的移动装置150可以与所述可编程多媒体控制器100直接地通信，或者通过中间装置153、使用各种无线网络技术、蜂窝网络技术和/或有线网络与所述可编程多媒体控制器100间接地通信。
[0019]响应于来自移动装置150的用户输入，所述可编程多媒体控制器100可以在下列装置之间转换数据、将控制命令发布到下列装置、和/或否则与下列装置交互操作:所述音频源装置110、所述视频源装置120、所述音频输出装置130和/或所述视频输出装置140。此外，响应于所述用户输入，所述可编程多媒体控制器100可以将控制命令发布到下列装置，以及否则与下列装置交互操作:所述CCTV控制系统170、所述HVAC控制和/或能量管理系统175、所述安全系统180、所述电子照明控制器190以及马达操作的装置控制器195。
[0020]图2是实例可编程多媒体控制器100的实例硬件架构200的示意性框图。所显示的各种部件可以被布置在所述控制器100的“母板”上，或者被布置在通过底板(未被显示)互连的多个电路卡上。微控制器210管理所述控制器100的一般操作。所述微控制器210经由总线218而被耦接到音频开关215和视频开关220。所述音频开关215和所述视频开关220优选地是能够同时切换若干连接的交叉点开关。然而，可以采用能够切换数字信号的许多其他类型的开关，例如，时分多路复用(TDM)开关或其他装置。此外，尽管显示了两个独立的开关215、220，音频和视频切换可以被合并到支持两种类型的数据的切换的单一开关中。
[0021]中平面235将所述音频和视频开关215、220互连到各种各样的输入和输出模块，例如，一个或多个视频输入/输出模块287、一个或多个音频输入/输出模块290,和/或一个或多个其他模块295。这样的模块可以包括能够被耦接到A/V装置的复数个连接端口。所述中平面235进一步被耦接到以太网开关230，其将以太网端口 232和处理子系统240互连到所述微控制器210。在一个实施例中，所述处理子系统240包括一个或多个“通用计算机”245。通用计算机245，如在此处所使用的，指的是被配置为执行一组指令的装置，并且依据所执行的特定的指令，可以执行各种各样的不同的功能或任务。典型地，但不是总是如此，通用计算机245执行通用操作系统，诸如可从微软公司获得的Windows?操作系统、可从各种供应方获得的Linux?操作系统、可从苹果公司获得的0SX?操作系统、或者另外的操作系统。所述通用计算机245可以包括计算机可读介质，例如，硬盘驱动器、致密光盘只读存储器(CDROM)驱动器、闪存存储器或其他类型的存储装置，和/或可以被互连到在所述处理子系统240中别处提供的存储装置。
[0022]所述处理子系统240优选地具有一个或多个图形输出241、242，诸如模拟视频图形阵列(VGA)连接器、数字视觉接口(DVI)连接器、苹果显示器连接器(ADC)连接器、或其他类型的连接器，用于供应图形。例如可以从所述处理子系统240的一个或多个通用计算机245直接供应这样的图形输出241、242。
[0023]所述实例可编程多媒体控制器100也可以包括存储卡接口和被互连到USB集线器243的若干通用串行总线(USB)端口 242。这样的USB端口 242可以被耦接到外部装置。USB开关244被采用以将在所述集线器处接收的USB信号切换到所述处理子系统240。以相似地方式，若干IEEE 1394 (Fire Wire?)端口 246可以被耦接到外部装置并且将数据传递到IEEE 1394集线器247以及传递到IEEE 1394开关248，用于切换到所述处理子系统240。
[0024]所述微控制器210进一步被连接到串行外围接口(SPI)和内置集成电路(I2C)配电线路250，其将串行通信接口提供给相对低的数据传送速率装置。所述SPI/I2C控制器250被连接到所述中平面235，并且由此将控制命令从所述微控制器210提供到所述可编程多媒体控制器100的模块287、290、295。此外，来自所述SPI/I2C控制器250的连接被提供到诸如风扇控制器251、温度传感器252和功率管理器电路253的部件，其共同地管理所述可编程多媒体控制器100的热特性。
[0025]所述微控制器210也被连接到装置控制接口 275，其可以与所述CCTV控制系统170、所述HVAC控制和/或能量管理系统175、所述安全系统180、所述一个或多个电子照明控制器190以及所述一个或多个马达操作的装置控制器195通信。此外，可以提供电话接口 270来连接到电话网络和/或电话手持听筒。此外，可以提供扩展端口 280，用于将若干可编程多媒体控制器100链接在一起，以形成扩展的系统，同时可以提供前面板显示器265以向用户显示状态、配置和/或其他信息。
[0026]图3是可以与图1的可编程多媒体控制器100相操作的实例移动装置150的实例硬件架构的框图。所述移动装置150包括被耦接到存储器320的处理器310。所述存储器320可以包含永久的存储部分和易失的存储部分两者，其存储处理器可执行的指令，用于一个或多个软件应用程序在所述处理器320上的执行。远程控制接口客户端应用程序325可以被存储在所述存储器320中并且包括用于在所述处理器310上执行的指令(其用于实现下面所描述的技术的至少一部分)。所述处理器310可以进一步被耦接到显示器接口 330，可视地呈现图形用于在触摸屏显示器上显示。所述触摸屏显示器可以包括显示器屏幕(诸如液晶显示器(IXD) 345)和被覆盖在所述显示器屏幕上的触摸屏面板347 (其接收和记录来自用户的触摸)两者。这样的触摸信息可以被触摸屏面板控制器350解析并且被供应给所述处理器310，供此处所描述的技术使用。此外，可以包括无线网络收发器(诸如W1-FI或IEEE 802.11收发器)、蜂窝网络接口(诸如CDMA或GSM收发器)和/或其他类型的(一个或多个)无线或有线收发器的接口 360可以被耦接到所述处理器310，并且易于直接地或间接地与所述可编程多媒体控制器100通信。
[0027]根据本公开的一个实施例，提供了远程控制接口，其允许用户以基本上“抬头”的方式从具有触摸屏显示器的移动装置150与可编程多媒体控制器100相互作用，以及否则控制可编程多媒体控制器100，同时在所述移动装置150上提供视觉反馈来确认触摸输入。在所述移动装置150上执行的远程控制接口客户端应用程序325可以在所述触摸屏显示器上显示输入接口。用户可以在所述触摸屏显示器上输入触摸输入，包括轻击、保持和诸如滑动或拖移的手势。这样的触摸输入可以被处理并且被传递到所述可编程多媒体控制器100，其在显示装置(诸如被耦接到所述可编程多媒体控制器100的电视机)上显示屏幕上显示菜单系统。用户可以将他的或她的大部分注意力对准到所述显示装置140上的所述屏幕上显示菜单系统，而不是所述移动装置150上的所述触摸屏显示器。响应于触摸输入，包括轻击、保持和诸如滑动或拖移的手势，所述控制接口客户端应用程序325可以将适当的命令传递到所述可编程多媒体控制器100以使其在所述显示装置140上显示和操纵所述屏幕上显示菜单系统，并且记录其中的选择。此外，所述控制接口客户端应用程序325可以致使在所述移动装置150的触摸屏显示器上显示视觉反馈，其对在所述触摸屏显示器上接收的触摸输入的类型而言是特定的。此视觉反馈可以例如在轻击、保持和诸如滑动或拖移的手势之间，以及在不同方向(例如，左、右、上、下)上的手势之间区分，并且响应于每个类型的触摸输入而提供不同的视觉指示。可以在所述输入处于进行中的同时和/或在其被完成之后不久提供这样的视觉反馈。
[0028]如此处所使用的，术语“轻击”指的是在固定位置处的短暂触摸，以致触摸和释放发生在预定的时间段内。如此处所使用的，术语“保持”指的是在固定位置处的持续的触摸，以致触摸发生，时间消逝，以及释放发生，在其中时间的消逝的长度长于预定的时间段。如此处所使用的，术语“滑动”指的是触摸从开始位置在某一方向(例如左、右、上、下)上迅速地移动到结束位置，在其中所述移动以大于预定的速度发生。如此处所使用的，术语“拖移”指的是触摸从开始位置在某一方向(例如左、右、上、下)上通过一段距离缓慢移动到结束位置，在其中所述移动发生在大于预定的距离上。
[0029]图4是可以被显示在显示装置140 (其被耦接到所述可编程多媒体控制器100)上的远程控制接口的实例屏幕上显示菜单系统400的图。所述屏幕上显示菜单系统400可以通过在所述可编程多媒体控制器100或另外的装置的处理子系统240上执行的软件应用程序而被呈现。所述屏幕上显示菜单系统400由以环形配置而被显示的多个可选择的选项410、420、430、440组成。尽管在图4中仅仅显示了四个可选择的选项，可以提供任何数量的可选择的选项。所述屏幕上显示菜单系统400可以是二维的，其中所述可选择的选项410、420、430、440被布置在平行于显示屏的平面中，或者可以是三维的，以致所述可选择的选项410、420、430、440以环形的模式被布置在三维空间中，并且将所述三维空间的图像显示给用户。相似地，所述可选择的选项自身410、420、430、440可以是二维或三维表示。在一个实施例中，所述可选择的选项410、420、430、440是图形图标，其外观涉及它们的各自的功能或者否则与它们的各自的功能相关联。例如，所述可选择的选项410、420、430、440可以是代表由所述可编程多媒体控制器100控制的装置的图形图标，并且它们的选择可以被用于指示用于进一步控制的装置中的一个。如果通过选择适当的可选择的选项选择了所述装置中的一个用于进一步控制，则进一步可选择的选项(未被显示)可以被显示用于与所选择的装置交互作用。例如，如果所选择的装置是有线电视源(诸如电缆盒)，则进一步可选择的选项可以对应于在关于所述有线电视源的可获得的电视指南中的列表。相似地，如果所选择的装置是HVAC装置，则进一步可选择的选项可以对应于加热和冷却点以及控制。应被理解的是:可选择的选项的选择可以触发可选择的选项的随后等级的显示，并且这些可选择的选项也可以触发各种各样的广泛的嵌套配置中的随后等级的显示。
[0030]为了选择不同的可选择的选项410、420、430、440并且做出其他控制选择，用户与所述移动装置150以及其触摸屏显示器交互作用。图5A是可以在移动装置150的触摸屏显示器上被显示的实例输入接口 500的屏幕截图。所述输入接口 500可以通过在所述移动装置150的处理器310上执行的远程控制接口客户端应用程序325而被呈现。标题栏510可以包括虚拟按钮515 (其用于关闭所述远程控制接口客户端应用程序325)以及连通性指示器520 (其例如通过显示预定的颜色而可以在存在与所述可编程多媒体控制器100的连通性时指示)。可以在所述输入接口(其被指派预定义的和/或上下文敏感的功能)中提供多个附加的虚拟按钮，包括音量增加按钮525、音量减小按钮530、静音按钮535、通道增量按钮545、通道减量按钮550、菜单/功率按钮555(其可以触发图4中所描绘的屏幕上显示菜单系统的显示)和退出按钮560 (其可以致使图4中所描绘的屏幕上显示菜单系统被隐藏，或者其子菜单被退出)。此外，窗口工具软件按钮565可以致使在被耦接到所述可编程多媒体控制器100的显示装置140上显示一个或多个窗口工具软件或其他小的应用程序。所述输入接口 500的剩余部分可以投入用于手势区域565，在其处用户可以输入触摸输入，包括轻击、保持，以及诸如滑动或拖移的手势。在一些实施例中，这些手势不需要被严格地限制到所述手势区域565，并且可以在所述虚拟按钮525-565中的一个或多个之上延伸。如果没有手势已被检测到，则所述虚拟按钮525-565可以被配置为仅接受输入。
[0031 ] 根据此处所描述的远程控制接口技术的一个实施例，用户可以通过在垂直或水平方向上滑动他的或她的手指来输入诸如滑动或拖移的手势。响应于此，可以在被耦接到所述可编程多媒体控制器100的显示装置140上所显示的屏幕上显示菜单系统400中操纵(例如，旋转)所述可选择的选项410、420、430、440。例如，参考图4，可选择的选项420可以响应于由用户进行的向右滑动或拖移而旋转到由可选择的选项410目前占据的位置中。用户可以通过在所述屏幕上显示菜单系统400中将所述选项带到指定的位置(例如，带到三维环形菜单系统的前景位置或二维环形菜单系统的底部位置)来选择可选择的选项410、420、430、440。一旦处于所指定的位置，用户在所述手势区域565中用任意位置上的轻击或保持来选择所述可选择的选项。
[0032]如上面所讨论的，所述远程控制接口可以在所述移动装置150的触摸屏显示器上提供视觉反馈，所述视觉反馈对正在或已经在所述触摸屏显示器上的输入接口中接收的触摸输入的类型(例如，轻击、保持、滑动或拖移)而言是特定的。此视觉反馈可以例如在轻击、保持、滑动和拖移之间，以及在不同方向的滑动和拖移之间区分。当虚拟按钮被轻击或保持时也可以提供视觉反馈。
[0033]图5B是示出了可以被显示在移动装置150的触摸屏显示器上的响应于虚拟按钮轻击或保持而被提供的视觉反馈的实例输入接口 502的屏幕截图。在一个例子中，所述菜单/功率按钮555已被轻击并且用预定的颜色或图案被加亮显示，其后持续短暂的预定的时间段。如果所述菜单/功率按钮555可替代地被保持，则所述按钮针对该按钮被保持的持续时间可以保持加亮。
[0034]图5C是示出了可以被显示在移动装置150的触摸屏显示器上的响应于所述手势区域565中的轻击或保持而被提供的视觉反馈的实例输入接口 504的屏幕截图。在一个例子中，用户已轻击了所述手势区域565的中心的附近。在所述轻击之后，指示器570可以被显示在所述轻击的位置周围，持续短暂的预定的时间段。在一个配置中，所述指示器是以预定的颜色的圆形动画(其被显示为从所述轻击的位置辐射出)。然而，应被理解的是:所述指示器570可以具有不同的视觉外观。用户应该保持所述触摸屏显示器，而不是在轻击中迅速地释放它，所述指示器570可以在所述触摸屏显示器被初始按下之后不久而被显示并且可以针对所述触摸屏显示器被保持的持续时间而保持可见。所述触摸屏上的轻击或可替代地保持可以致使特定地可选择的选项410、420、430、440 (其位于所述屏幕上显示菜单系统400中的指定的位置处)的选择，或致使其他动作被进行。
[0035]图是示出了可以被显示在移动装置150的触摸屏显示器上的响应于潜在的拖移而被提供的视觉反馈的实例输入接口 506的屏幕截图。在此例子中，用户已开始从位于所述手势区域565的中心附近的开始位置在向右方向上缓慢地移动触摸，然而这样的移动可以从所述触摸屏显示器上的除了所述标题栏510之外的任何位置开始，包括在虚拟按钮525-565之上。用户一开始此手势，就可以显示一个或多个方向指示器575(例如箭头)。所述方向指示器可以具有预定的颜色或用预定的图案被阴影化。在一个实施例中，所述移动的距离越大，所显示的方向指示器575的数量越多。例如，如果用户继续在向右方向上移动，则可以显示第二方向指示器(未被显示)，随后第三方向指示器(未被显示)等等。一旦用户已行进了大于预定的距离，则所述潜在的拖移可以被记录作为实际进行中的拖移，并且所述屏幕上显示菜单系统400可以被更新，例如，所述屏幕上显示菜单系统400中的可选择的选项410、420、430、440可以被旋转，或者其他动作被进行。
[0036]图5E是示出了可以被显示在移动装置150的触摸屏显示器上的响应于所述手势区域565中的进行中的拖移或滑动而被提供的视觉反馈的实例输入接口 508的屏幕截图。在此例子中，通过在向右方向上缓慢地移动至少所述预定的距离并且在所述移动的末端处保持，用户已记录了进行中的拖移，或者通过从开始位置在向右方向上迅速地移动到结束位置，用户已输入了滑动。如上面所讨论的，尽管在此例子中，所述移动被显示为从所述手势区域565的中心附近的开始位置开始，这样的移动可以从所述触摸屏显示器上的除了所述标题栏510之外的任何位置开始，包括在虚拟按钮525-565之上。可以显示多个580方向指示器575 (例如箭头)。这样的多个580方向指示器575可以在拖移正在进行中时被显示，或者在滑动的情况下，其后持续短暂的预定的时间段。如上面所讨论的，响应于拖移，所述屏幕上显示菜单系统400可以被更新，例如，所述屏幕上显示菜单系统400中的可选择的选项410、420、430、440可以被旋转，或者其他动作被进行。相似地，响应于滑动，所述屏幕上显示菜单系统400可以被更新，例如，可选择的选项410、420、430、440可以在所述滑动的方向上被前进一个单位。
[0037]图6A是可以由所述远程控制接口客户端应用程序325实施以与可编程多媒体控制器100交互操作来提供远程控制接口的实例步骤序列600的流程图。所述序列在步骤601处开始，在其中所述移动装置150的处理器310执行所述远程控制接口客户端应用程序325，并且在所述移动装置150的触摸屏显示器上显示例如如上面在图5A中显示的输入接口。在步骤602处，在所述触摸屏显示器上检测触摸输入。在步骤604处，按钮延迟计时器被启动，并且执行前进到步骤606，在其处所述应用程序325等待若干可能的事件中的一个发生。在步骤608处，第一可能性是:缺少任何其他事件发生，触摸输入的结束被检测到。在这样的情况下，执行经由连接器610前进到图6B，在其中确定是虚拟按钮已被轻击还是已经在所述手势区域565中接收到轻击，并且采取适当的响应。在步骤612处被检查的第二可能性是:所述触摸在一段距离之上缓慢地移动，在其中所述移动发生在大于预定的最小手势距离之上。在这样的情况下，执行经由连接器614前进到图6C，在其中确定潜在的拖移是否被完成而变成实际的进行中的拖移，并且采取适当的响应。在步骤616处被检查的第三可能性是:所述触摸在一段距离之上迅速地移动，在其中所述移动发生在大于预定的最小命令速度手势距离上。在这样的情况下，执行经由连接器618前进到图6D，在其中滑动被记录，并且采取适当的响应。在步骤620处被检查的第四可能性是:所述按钮延迟计时器终止缺少其他事件发生中的一个。在这样的情况下，执行经由连接器622前进到图6E，在其中确定是虚拟按钮已被保持，还是在所述手势区域565中已接收到保持，并且采取适当的响应。否则执行循环到步骤606。
[0038]图6B是可以由所述远程控制接口客户端应用程序325实施以确定是虚拟按钮已被轻击还是在所述手势区域565中已接收到轻击并且采取适当的响应的实例步骤序列的流程图。在步骤624处，确定在所述触摸屏显示器上轻击的位置是否与虚拟按钮的位置一致。如果是这样的话，则执行前进到步骤626，在其处显示按钮轻击视觉指示，例如，用预定的颜色或图案加亮所述按钮，如在图5B中那样。在步骤628处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮按压命令发送到所述可编程多媒体控制器100，以致使对应于所述虚拟按钮的动作被执行。在步骤630处，所述控制接口客户端应用程序325等待短暂的预定的延迟。在其之后，在步骤632处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮释放命令发送到所述可编程多媒体控制器100，并且在步骤634处，所述视觉指示被隐藏，例如，去除所述加亮。所述序列随后在步骤646处结束。
[0039]可替代地，如果在步骤624处，确定所述轻击的位置与虚拟按钮的位置不一致，例如，其处在所述手势区域565中，执行前进到步骤626，在其中显示轻击视觉指示，例如，指示器570可以被显示在所述轻击的位置周围，诸如在图5C中被显示的。在步骤638处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮按压命令发送到所述可编程多媒体控制器100，以致使选择被进行，例如，选择位于所述屏幕上显示菜单系统400中的指定的位置处的特定的可选择的选项410、420、430、440。在步骤640处，所述控制接口客户端应用程序325等待短暂的预定的延迟。在其之后，在步骤642处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮释放命令发送到所述可编程多媒体控制器100，并且在步骤644处，所述轻击视觉指示被隐藏，例如，去除所述指示器570。所述序列随后在步骤646处结束。
[0040]图6C是可以由所述远程控制接口客户端应用程序325实施以确定潜在的拖移是否被完成而变成实际的进行中的拖移并且采取适当的响应的实例步骤序列的流程图。在步骤648处，潜在的拖移的视觉指示(诸如一个或多个方向指示器575 (例如箭头))被显示在所述移动装置150的触摸屏显示器上，指向所述潜在的拖移的方向，如在图中所显示的。在步骤650处，确定所述触摸是否行进了预定的命令发送距离，并且由此确定实际的拖移是否正在进行中。如果不是，则执行循环到步骤648，除非检测到另一事件(未被显示)。如果是这样的话，则执行前进到步骤652，在其中所述控制接口客户端应用程序325将适当的屏幕上显示方向按压命令发送到所述可编程多媒体控制器100，例如，以致所述屏幕上显示菜单系统400中的可选择的选项410、420、430、440可以针对所述拖移的持续时间被旋转，或其他动作被进行。在步骤654处，显示进行中的拖移的视觉指示，诸如多个580方向指示器575 (例如箭头)，如在图5E中所显示的。在步骤656处，生成并发送心跳指示器，如下面被更详细地讨论的。在步骤658处，检测触摸输入的结束。执行随后前进到步骤660，在其中所述控制接口客户端应用程序325将适当的屏幕上显示方向释放命令发送到所述可编程多媒体控制器100，并且前进到步骤662，在其中所述拖移的视觉指示被隐藏。所述步骤序列在步骤664处结束。
[0041]图6D是可以由所述远程控制接口客户端应用程序325实施以记录滑动并且采取适当的响应的实例步骤序列的流程图。在步骤666处，所述控制接口客户端应用程序325将适当的屏幕上显示方向按压命令发送到所述可编程多媒体控制器100，例如，以致所述屏幕上显示菜单系统400中的可选择的选项410、420、430、440可以被旋转一个增量，或者其他动作被进行。在步骤668处，在所述滑动的方向上的滑动的视觉指示被显示在所述移动装置150的触摸屏显示器上。所述滑动的所述视觉指示可以与拖移的视觉指示相同，例如，多个580方向指示器575 (例如箭头)，如在图5E中所显示的，或者可以具有不同的视觉外观。在步骤670处，所述远程控制接口客户端应用程序325等待短暂的预定的时间段，并且随后，在步骤672处，将适当的屏幕上显示方向释放命令发送到所述可编程多媒体控制器100。在其之后，在步骤674处，所述滑动的视觉指示被隐藏，并且在步骤676处，所述步骤序列结束。
[0042]图6E是可以由所述远程控制接口客户端应用程序325实施以确定是虚拟按钮已被保持还是在所述手势区域565中已接收到保持并且采取适当的响应的实例步骤序列的流程图。在步骤678处，确定所述触摸屏显示器上的保持的位置是否与虚拟按钮的位置一致。如果是这样的话，则执行前进到步骤680，在其中显示按钮保持视觉指示，例如，用预定的颜色或图案加亮所述按钮，如在图5B中那样。在步骤682处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮按压命令发送到所述可编程多媒体控制器100，以致使对应于所述虚拟按钮的动作被执行。在步骤684处，生成并发送心跳指示器，如下面被更详细地讨论的。在步骤686处，所述控制接口客户端应用程序325检测所述触摸屏显示器上的已经结束的触摸。在其之后，在步骤688处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮释放命令发送到所述可编程多媒体控制器100，并且在步骤690处，所述按钮保持视觉指示被隐藏，例如，去除所述加亮。所述序列随后在步骤704处结束。
[0043]可替代地，如果在步骤678处，如下被确定:所述保持的位置与虚拟按钮的位置不一致，例如，其处在所述手势区域565中，则执行前进到步骤692，在其中显示保持视觉指示，例如，可以在所述保持的位置周围显示指示器570,诸如在图5C中被显示的。在步骤692处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮按压命令发送到所述可编程多媒体控制器100，以致使对应于所述保持的动作被执行。例如，选择可以由特定的可选择的选项410、420、430、440 (其位于所述屏幕上显示菜单系统400中的指定的位置处)组成。在步骤696处，生成并发送心跳指示器，如下面被更详细地讨论的。在步骤698处，所述控制接口客户端应用程序325检测到在所述触摸屏显示器上的触摸已结束。在其之后，在步骤700处，所述控制接口客户端应用程序325将适当的屏幕上显示选择按钮释放命令发送到所述可编程多媒体控制器100，并且在步骤704处，所述保持视觉指示被隐藏，例如，去除所述指示器570。所述序列随后在步骤704处结束。
[0044]图6F是可以由所述远程控制接口客户端应用程序325实施以实现心跳指示器的实例步骤序列的流程图。在某个时间段消逝之后没有在所述可编程多媒体控制器100处接收到心跳指示器致使所述可编程多媒体控制器100模拟按钮释放。所述心跳指示器操作以防止如下情形:在其中例如归因于所述移动装置150和所述可编程多媒体控制器100之间的连通性失效，在所述可编程多媒体控制器100处遗漏了释放事件，并且所述可编程多媒体控制器100继续认为按钮正在被按压。在步骤706处，例如响应于触摸，在所述移动装置150上开始心跳指示器生成。在步骤708处，等待延迟周期，并且生成心跳指示器并且将所述心跳指示器发送到所述可编程多媒体控制器100。在步骤710处，检查被执行以确定心跳指示生成是否可以结束，例如，所述触摸是否已被释放。如果不是，则执行循环到708。如果是这样的话，则执行前进到步骤712，在其中心跳指示器生成被结束。
[0045]尽管上面的描述讨论了本公开的某些实施例，应是显而易见的是:可以进行进一步的修改和/或添加，而不背离本公开的预期的精神和范围。尽管上面描述了触摸输入(例如，轻击、保持、滑动和拖移)可以被用于在各种各样的屏幕上显示菜单系统400中操纵和选择可选择的选项，这样的触摸输入可以可替代地被用于直接控制所述可编程多媒体控制器100，或者被耦接到其上的装置，缺少屏幕上菜单的一致显示。例如，当所述可编程多媒体控制器100或者被耦接到其上的装置处于特定的模式中时，某个类型的触摸输入(例如，轻击、保持、滑动或拖移)可以具有可在检测到其时被实施的预定的意义。例如，在一个实施例中，如果电视机正在被控制，则向上拖移可以具有音量应该被升高的预定的意义，并且在检测到这样的向上拖移时，这样的动作可以被进行。因此，控制不需要总是被链接到屏幕上显示菜单系统400的显示器。
[0046]此外，尽管上面的描述涉及各种各样的用于执行各种功能的特定的硬件单元，应被记住的是:此处所讨论的技术中的许多可以可替代地通过各种各样的不同的硬件结构(例如，各种各样的不同的可编程逻辑电路、专门设计的硬件芯片、模拟或部分模拟装置以及其他类型的装置)而被实施，可以在软件中被实施(例如作为被存储在非瞬态计算机可读存储介质中的计算机可执行指令，用于在处理器或其他硬件装置上执行)，或者可以以硬件和软件的组合而被实施。因此，应被记住的是:上面的描述意在仅作为实例而被采用。
【权利要求】
1.一种系统，包括: 可编程多媒体控制器，其被耦接到多个不同类型的电子装置并且被配置为控制所述多个不同类型的电子装置，所述多个不同类型的电子装置包括一个或多个音频源装置、一个或多个视频源装置、一个或多个音频目的地装置以及一个或多个显示装置，所述可编程多媒体控制器被配置为在所述显示装置中的至少一个上显示屏幕上显示菜单系统，所述屏幕上显示菜单系统包括多个可选择的选项，所述多个可选择的选项可响应于控制命令而在所述屏幕上显示菜单系统中旋转并且可从所述屏幕上显示菜单系统选择； 移动装置，其与所述可编程多媒体控制器以及与所述至少一个显示装置相分离，所述移动装置被配置为操作作为针对所述可编程多媒体控制器的远程控制，通过其可以输入用于与所述屏幕上显示互相作用的控制命令，所述移动装置包括使得能够与所述可编程多媒体控制器无线通信的无线接口、触摸屏显示器、处理器以及存储器，所述存储器被配置为至少存储远程控制接口客户端应用程序，所述远程控制接口客户端应用程序当由所述处理器执行时可操作用于: 在所述触摸屏显示器上显示输入接口，所述输入接口具有手势区域， 在所述移动装置上的所述手势区域中检测来自用户的触摸输入， 从多个触摸输入的类型之中确定所接收的触摸输入的类型， 响应于所述触摸输入，将一个或多个控制命令发送到所述可编程多媒体控制器以致使所述可编程多媒体控 制器旋转或选择被显示在所述至少一个显示装置上的所述屏幕上显示菜单系统中的选项中的一个，以及 响应于所述触摸输入，在所述手势区域中显示一个或多个指示器以在所述移动装置上向所述用户提供视觉反馈，所述视觉反馈对所述触摸输入的类型而言是特定的，所提供的视觉反馈对所述多个触摸输入的类型中的不同类型而言是不同的。
2.根据权利要求1所述的系统，其中，所述输入接口进一步包括与所述手势区域相分离的多个虚拟按钮，并且所述远程控制接口客户端应用程序当被执行时进一步可操作用于: 检测来自所述用户的具有与虚拟按钮的位置相一致的位置的附加的触摸输入， 响应于所述附加的触摸输入，将一个或多个控制命令发送到所述可编程多媒体控制器以致使所述可编程多媒体控制器执行对应于所述虚拟按钮的动作，以及 响应于所述附加的触摸输入，在所述移动装置的所述触摸屏上显示视觉指示以向所述用户提供所述虚拟按钮被按压的视觉反馈。
3.根据权利要求1所述的系统，其中，所述触摸输入的类型是轻击并且所述指示器是在所述轻击的位置周围的圆形动画。
4.根据权利要求1所述的系统，其中，所述触摸输入的类型是保持并且所述指示器是在所述保持的位置周围的圆形动画，其针对所述保持的持续时间保持可见。
5.根据权利要求1所述的系统，其中，所述触摸输入的类型是潜在的拖移并且所述指示器是一个或多个方向指示器，所述一个或多个方向指示器指示所述潜在的拖移的方向。
6.根据权利要求5所述的系统，其中，所述一个或多个方向指示器的数量是基于在所检测的输入接口中移动的距离，以致更大的移动距离导致更多数量的方向指示器被显示在所述手势区域中。
7.根据权利要求1所述的系统，其中，所述触摸输入的类型是进行中的拖移并且所述指示器是多个方向指示器，所述多个方向指示器指示所述进行中的拖移的方向并且针对所述进行中的拖移的持续时间保持可见。
8.根据权利要求1所述的系统，其中，所述触摸输入的类型是滑动并且所述指示器是多个方向指示器，所述多个方向指示器指示所述滑动的方向。
9.根据权利要求1所述的系统，其中，所述移动装置是智能电话并且所述显示装置是电视机。
10.根据权利要求1所述的系统，其中，所述移动装置是平板电脑并且所述显示装置是电视机。
11.根据权利要求1所述的系统，其中，所述可编程多媒体控制器也被耦接到至少一个电子装置上并且被配置为控制所述至少一个电子装置，从由下列项构成的组中选择所述至少一个电子装置:闭路电视(CCTV)控制系统、加热、通风以及空调(HVAC)控制系统、能量管理系统、安全系统、电子照明控制器以及马达操作的装置控制器。
12.—种方法,包括: 致使屏幕上显示菜单系统被显示在电视机上，所述菜单系统包括多个可选择的选项，所述多个可选择的选项可以响应于控制命令而在所述屏幕上显示菜单系统中被操纵以及可以从所述屏幕上显示菜单系统中被选择； 在与所述电视机相分离的移动装置的触摸屏显示器上显示输入接口，所述输入接口具有手势区域； 在所述移动装置上的所述手势区域中检测来自用户的触摸输入； 从多个触摸输入的类型 之中确定所述触摸输入的类型； 响应于所述触摸输入，发送一个或多个控制命令以操纵或选择被显示在所述电视机上的所述屏幕上显示菜单系统中的选项中的一个；以及 响应于所述触摸输入，在所述手势区域中显示一个或多个指示器以在所述移动装置上向所述用户提供视觉反馈，所述视觉反馈对所述触摸输入的类型而言是特定的，所提供的视觉反馈针对至少一些类型的触摸输入指示对应于所述触摸输入的方向以在相同类型但是不同方向的触摸输入之间区分。
13.根据权利要求12所述的方法，其中，所述输入接口进一步包括与所述手势区域相分离的多个虚拟按钮，并且所述方法进一步包括: 检测来自所述用户的具有与虚拟按钮的位置相一致的位置的附加的触摸输入； 响应于所述附加的触摸输入，发送一个或多个控制命令以执行对应于所述虚拟按钮的动作；以及 响应于所述触摸输入，在所述移动装置的所述触摸屏上显示视觉指示以向所述用户提供所述虚拟按钮被按压的视觉反馈。
14.根据权利要求12所述的方法，其中，所接收的输入的类型是潜在的拖移。
15.根据权利要求12所述的方法，其中，所接收的输入的类型是进行中的拖移。
16.根据权利要求12所述的方法，其中，所接收的输入的类型是滑动。
17.根据权利要求12所述的方法，其中，所述移动装置是智能电话。
18.根据权利要求12所述的方法，其中，所述移动装置是平板电脑。
19.根据权利要求12所述的方法，其中，由被耦接到所述电视机上的可编程多媒体控制器来执行在所述电视机上显示屏幕上显示菜单系统，所述可编程多媒体控制器被配置为控制多个不同类型的电子装置，所述多个不同类型的电子装置除了所述电视机之外包括一个或多个音频源装置、一个或多个视频源装置、一个或多个音频目的地装置以及一个或多个显示装置，其中所述移动装置与所述可编程多媒体控制器无线通信。
20.一种存储可执行指令的非瞬时计算机可读介质，所述可执行指令当被处理器执行时可操作用于: 致使屏幕上显示菜单系统被显示在显示装置上，所述屏幕上显示菜单系统包括多个选项，所述多个选项可以从所述屏幕上显示菜单系统中被选择； 在移动装置的触摸屏显示器上显示输入接口，所述输入接口具有一个或多个虚拟按钮以及手势区域； 在所述输入接口中检测来自所述用户的具有与虚拟按钮的位置相一致的位置的触摸输入； 响应于所述触摸输入，致使对应于所述虚拟按钮的动作被可编程多媒体控制器执行，所述可编程多媒体控制器被耦接到所述显示装置； 响应于所述触摸输入，在所述移动装置的触摸屏上显示视觉指示以向所述用户提供所述虚拟按钮被按压的视觉反馈； 在所述移动装置上的所述手势区域中检测来自用户的附加的触摸输入； 从多个触摸输入的类型之中确定所述附加的触摸输入的类型； 响应于所述附加的触摸输入，致使所述屏幕上显示菜单系统中的选项中的一个被从所述屏幕上显示菜单系统中选择，所述屏幕上显示菜单系统被显示在所述显示装置上，并且致使对应于所选择的选项的动作被所述可编程多媒体控制器执行；以及 响应于所述附加的触摸输入，在所述手势区域中显示一个或多个指示器以在所述移动装置上向所述用户提供视觉反馈，所述视觉反馈对所接收的触摸输入的类型而言是特定的，所提供的视觉反馈对所述多个触摸输入的类型中的不同的类型而言是不同的。
【文档编号】H04N21/422GK103430519SQ201280014103
【公开日】2013年12月4日 申请日期:2012年1月17日 优先权日:2011年1月18日
【发明者】R.P.马唐纳, N.J.奇波洛 申请人:萨万特系统有限责任公司