与3d远程控制器一起使用的gui应用
【专利说明】与3D远程控制器一起使用的GUI应用
[0001]相关申请的交叉引用
[0002]本申请是国际申请号为PCT/US2008/075364、申请日为2008年09月05日、中国国家申请号为200880105341.8的发明专利申请的分案申请。
[0003]本申请要求于2007年9月7日提交的美国临时专利申请N0.60/967, 835的优先权，该申请的全部内容通过引用并入于此。
技术领域
[0004]本发明涉及利用远程控制器控制媒体系统。
【背景技术】
[0005]有些现有的媒体系统可以利用多种不同的输入机制来控制。例如，有些媒体系统可以由用户直接在媒体系统的界面上提供输入(例如，通过按下结合到媒体系统上的按钮，或者通过触摸媒体系统的触摸屏)来控制。
[0006]作为另一个例子，有些媒体系统可以由用户远离该媒体系统地提供输入(例如，利用远程控制器)来控制。有些远程控制器可以包括一个或多个按钮，用户可以按下这些按钮来指示媒体系统执行一种或多种操作。按钮可操作为自动地执行一种或多种媒体系统操作，或者按钮可操作为选择在屏幕上显示的选项。在有些实施方式中，有些远程控制器例如可以利用短距离通信协议(例如，红外线或射频协议)向媒体系统提供与一个或多个按钮关联的用户输入。为了确保正确接收到了用户输入，用户可以将远程控制器指向媒体系统的接收器，以发送用户输入。
[0007]尽管这种现有的远程控制器可能足以控制许多系统操作，但还期望提供附加机制，使得用户可以通过这些附加机制控制媒体系统显示器。特别地，将期望提供一种机制，通过该机制杆的用户运动可操作为远程提供使媒体系统执行一种或多种操作的指令。
【发明内容】
[0008]提供了一种媒体系统，其中用户可以通过移动杆来控制媒体应用操作。
[0009]媒体系统可以包括电子设备、屏幕和杆。电子设备可操作为向用户提供媒体应用。电子设备可以指示屏幕显示媒体应用的界面，使得用户可以与媒体应用交互。
[0010]用户可以利用杆与媒体应用交互。在有些实施方式中，杆的运动可操作为控制媒体应用的操作。例如，杆可以向电子设备发送识别杆的移动的信息。在有些实施方式中，用户可以在杆的输入界面上提供用于控制媒体应用操作的指令。
[0011]媒体系统可以利用任何合适的方法识别杆的移动。例如，至少一个运动检测部件(例如，加速计或陀螺仪)可以结合在杆中。当用户移动杆时，该至少一个运动检测部件可以检测运动，并识别与输出相关的信息。然后，杆可以向电子设备发送识别出的信息。例如，杆可以向电子设备发送该至少一个运动检测部件的输出。作为另一个例子，基于该至少一个运动检测部件的输出，杆可以确定杆的移动的量和朝向，并发送所确定的量和朝向。在有些实施方式中，每当用户移动杆时，杆可以向电子设备提供移动信息(例如，只要至少一个运动检测部件的输出超过阈值就发送)，杆可以持续地发送至少一个运动检测部件的输出，或者杆可以只响应于首次在杆的输入机构上接收到输入(例如，按下按钮并移动杆)才发送至少一个运动检测部件的输出。
[0012]作为用于识别杆的移动的另一种方法的例子，杆或电子设备可以确定杆相对于相邻于屏幕放置的一个或多个红外线模块的绝对位置。杆可以包括用于捕捉红外线模块的图像的光学部件，还可以基于所捕捉到的图像计算其朝向和离模块的距离。在有些实施方式中，电子设备可以指示红外线模块识别结合到杆上的红外线发射器的位置(例如，通过顺序捕捉杆的图像)，还可以计算杆相对于红外线模块的绝对位置(例如，利用三角测量算法)。
[0013]媒体系统可操作为从杆接收指示杆被移动的发送。基于从杆接收到的发送，媒体系统可以识别要执行的媒体应用操作。例如，媒体系统可以基于杆的移动来改变游标在屏幕上的位置(例如，追随杆的移动)。作为另一个例子，媒体系统可以利用媒体重放应用、图像应用或图示应用来执行操作。作为又一个例子，媒体系统可以提供键盘应用，用户可以通过该键盘应用选择并输入字符(例如，登录到媒体系统)。
[0014]在有些实施方式中，媒体系统可以提供闪光应用，通过该闪光应用，只有一部分屏幕被照亮。通过移动杆，用户可以控制被照亮的屏幕部分。例如，当用户移动杆时，杆可以发送识别杆的移动的信息。响应于接收到识别杆的移动的信息，媒体系统可以改变屏幕上被照亮的部分，以追随杆的移动。
[0015]在有些实施方式中，响应于从杆接收到指令，媒体系统可以改变显示在屏幕上的内容的尺寸(例如，缩放内容)。例如，在有些实施方式中，用户可以在杆的输入机构(例如，触摸板或按钮)上提供输入，以指示要缩放显示在屏幕上的内容。作为另一个例子，媒体系统可以确定用户是否已经朝着屏幕移动了杆(例如，利用运动检测部件的输出，或者通过利用红外线模块确定杆相对于屏幕的位置)O在有些实施方式中，只有特定的媒体应用显示可以缩放。
【附图说明】
[0016]当联系附图考虑以下具体描述时，本发明的以上和其它特征、其本质和各种优点将更加显然，附图中:
[0017]图1是根据本发明一种实施例的例示性媒体系统的示意图，通过该媒体系统，用户可以基于远程杆的朝向来控制屏幕的显示；
[0018]图2是根据本发明一种实施例的杆的示意图；
[0019]图3是根据本发明一种实施例的例示性杆的立体图；
[0020]图4和5是根据本发明一种实施例的示出游标响应于杆移动而移动的例示性显示画面；
[0021]图6和7是根据本发明一种实施例的可以包括指南针的杆的示意图；
[0022]图8是根据本发明一种实施例的主菜单的例示性显示画面；
[0023]图9是根据本发明一种实施例的具有附加可选选项的例示性显示画面；
[0024]图10是根据本发明一种实施例的示出被选选项的例示性显示画面；
[0025]图11是根据本发明一种实施例的示出用于向电子设备提供用户选择的方法的例示性显示画面；
[0026]图12是根据本发明一种实施例的示出用于响应于杆的特定移动而执行另一种电子设备操作的方法的例示性显示画面；
[0027]图13是根据本发明一种实施例的照片应用的例示性显示画面；
[0028]图14是根据本发明一种实施例的被用户选择用于全屏显示的照片的例示性显示画面；
[0029]图15是根据本发明一种实施例的缩小显示的照片的例示性显示画面；
[0030]图16是根据本发明一种实施例的放大显示的照片的例示性显示画面；
[0031]图17是根据本发明一种实施例的放大显示的照片的不同部分的例示性显示画面；
[0032]图18是根据本发明一种实施例的多个图像的例示性显示画面；
[0033]图19是根据本发明一种实施例的放大显示的多个图像的例示性显示画面；
[0034]图20是根据本发明一种实施例的用于提供缩放功能的例示性处理的流程图；
[0035]图21是根据本发明一种实施例的闪光应用的用户选择的例示性显示画面；
[0036]图22是根据本发明一种实施例的闪光应用的例示性显示画面；
[0037]图23是根据本发明一种实施例的当用户将杆拉离屏幕时闪光应用的例示性显示画面；
[0038]图24是根据本发明一种实施例的当用户将杆推向屏幕时闪光应用的例示性显示画面；
[0039]图25是根据本发明一种实施例的当用户将杆以一个角度指向屏幕时闪光应用程序的例示性显示画面；
[0040]图26是根据本发明一种实施例的闪光应用的例示性显示画面，其中闪光束是暗的；
[0041]图27是根据本发明一种实施例的闪光应用的例示性显示画面，其中闪光束是暗的而且其中杆保持以一个角度指到屏幕；
[0042]图28和29是根据本发明一种实施例的当用户移动杆以便改变闪光束的朝向时闪光应用的例示性显示；
[0043]图30和31是根据本发明一种实施例的当用户移动杆以便改变闪光束的朝向时闪光应用的其它例示性显示；
[0044]图32是根据本发明一种实施例的用于闪光应用的例示性处理的流程图；
[0045]图33是根据本发明一种实施例的用户可以造成任何方向滚动的例示性显示画面；
[0046]图34和35是根据本发明一种实施例的分别可以在左右方向上水平滚动的显示的例示性显示画面；
[0047]图36和37可以是根据本发明一种实施例的分别可以在左右方向上水平翻页的显示的例示性显示画面；
[0048]图38和39是根据本发明一种实施例的分别可以在上下方向上垂直滚动的显示的例示性显示画面；
[0049]图40和41是根据本发明一种实施例的分别可以上下垂直翻页的显示的例示性显示画面;
[0050]图42是根据本发明一种实施例的用于选择键盘应用的例示性显示画面；
[0051]图43是根据本发明一种实施例的键盘应用的例示性显示画面；
[0052]图44是根据本发明一种实施例的键盘应用的另一种例示性显示画面；
[0053]图45是根据本发明一种实施例的键盘应用的又一种例示性显示画面；
[0054]图46是根据本发明一种实施例的用于认证用户的键盘应用的例示性显示画面；
[0055]图47是根据本发明一种实施例的用于滚动显示画面的例示性处理的流程图；
[0056]图48是根据本发明一种实施例的用于利用键盘应用选择字符的例示性处理的流程图；
[0057]图49示出了根据本发明一种实施例的用于访问图像应用的例示性显示；
[0058]图50是根据本发明一种实施例的图像应用的例示性显示画面；
[0059]图51和52是根据本发明一种实施例的图像应用的例示性显示画面，其中在该图像应用中图像可以被缩放；
[0060]图53是根据本发明一种实施例的例示性显示画面，其中用户可以在图像应用中移动图像；
[0061]图54是根据本发明一种实施例的例示性显示画面，其中用户可以在图像应用中旋转图像；
[0062]图55和56是根据本发明一种实施例的用于利用图像应用修剪图像的例示性显示画面；
[0063]图57是根据本发明一种实施例的用于在图像应用中显示图像的不同视图的例示性处理的流程图；
[0064]图58是根据本发明一种实施例的用于利用图像应用滚动并修剪图像的例示性处理的流程图；
[0065]图59是根据本发明一种实施例的用于访问图示应用的例示性显示；
[0066]图60是根据本发明一种实施例的图示应用的例示性显示画面；
[0067]图61是根据本发明一种实施例的在图示应用中用户可用的选项的例示性显示画面；
[0068]图62是根据本发明一种实施例的用于访问和使用图示应用的例示性处理的流程图；
[0069]图63示出了根据本发明一种实施例的用于访问媒体应用的例示性显示；
[0070]图64是根据本发明一种实施例的媒体应用的例示性显示画面；
[0071]图65是根据本发明一种实施例的由媒体应用提供的媒体播放列表的例示性显示画面；
[0072]图66是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用播放或暂停媒体；
[0073]图67是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用停止媒体；
[0074]图68是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用快进媒体；
[0075]图69是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用倒回媒体；
[0076]图70是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用跳到下一个媒体项；
[0077]图71是根据本发明一种实施例的例示性显示，用户可以通过该显示利用媒体应用跳到前一项；及
[0078]图72是根据本发明一种实施例的用于控制媒体应用的例示性处理的流程图。
【具体实施方式】
[0079]图1是根据本发明一种实施例的例示性媒体系统的示意图，通过该媒体系统，用户可以基于远程杆的朝向控制屏幕的显示。
[0080]如图1所示，媒体系统100可以包括屏幕102、电子设备104和杆106。屏幕102可以是用于向用户显示媒体或其它内容的任何合适的屏幕。例如，屏幕102可以是电视机、投影仪、监视器(例如，计算机监视器)、媒体设备显示器(例如，媒体播放器或者视频游戏控制台显示器)、通信设备显示器(例如，蜂窝式电话显示器)、与图形输出设备耦接的部件、其任何组合或者任何其它合适的屏幕。
[0081]电子设备104可以通过链接110耦接到屏幕102。链接110可以是用于从电子设备104向屏幕102提供媒体和其它内容用于显示的任何合适的有线链接、无线链接或者这些链接的任何合适的组合。例如，链接110可以包括同轴线缆、多线缆、光纤、带状线缆、高清多媒体接口(HDMI)线缆、数字可视接口(DVI)线缆、分量视频和音频线缆、S视频线缆、显示端口(DisplayPort)线缆、可视图形阵列(VGA)线缆、Apple显示器连接器(ADC)线缆、USB线缆、Firewire线缆或者任何其它用于将电子设备104耦接到屏幕102的线缆或电线。作为另一个例子，链接110可以包括用于将电子设备104和屏幕102耦接的任何合适的无线链接。无线链接可以使用任何合适的无线协议，包括例如蜂窝式系统(例如，0G、1G、2G、3G或4G技术)、短距离无线电电路(例如，对讲机类型的电路)、红外线(例如，IrDA)、射频(例如，专用短距离通信(DSRC)和RFID)、无线USB、蓝牙、超宽带、高频系统(例如，900MHz、2.4GHz及5.6GHz通信系统)、无线局域网协议(例如，WiFi和Hiperlan)或者任何其它合适的无线通信协议。
[0082]电子设备104可以是用于向屏幕102提供要显示的内容的任何合适的电子设备。内容可以包括例如媒体(例如，音乐、视频和图像)、引导画面(例如，引导应用画面)、软件显示(例如，Apple的iTunes画面或者Adobe的Illustrator画面)、用户输入的提示或者任何其它合适的内容。在有些实施例中，电子设备104可操作为生成要提供给屏幕102的内容或显示。例如，电子设备104可以包括台式计算机、膝上型或笔记本计算机、个人媒体设备(例如，iPod)、蜂窝式电话、移动通信设备、小型个人计算机(例如，iPAQ或者PalmPilot)、照相机、摄像机或者任何其它合适的电子设备。
[0083]在有些实施例中，电子设备104可以代替或附加地可操作为从主设备(未示出)向屏幕102发送内容。例如，电子设备104可以包括路由设备、用于将内容流送到屏幕102的设备或者任何其它合适的设备。在有些实施例中，电子设备104可以包括由位于加州Cupertino的Apple公司出售的Apple电视。电子设备104可操作为以任何合适的方式(包括以上关于链接110描述的任何有线或无线链接)从主设备接收内容。主设备可以是用于向电子设备102提供内容的任何合适的设备。
[0084]以下例子将用来例示这种系统的实施例。主设备可以是计算机，媒体在该计算机上存储并利用任何合适的媒体应用(例如，iTunes、Windows的媒体播放器或者Winamp)重放。电子设备可以是Apple的电视设备。利用WiFi (例如，802.11)通信协议，Apple的电视设备可以与主计算机上的iTunes软件同步，以便在电视屏幕上提供可用的内容列表。响应于用户利用与Apple电视设备关联的远程控制器对特定媒体内容的选择，Apple电视设备可以使来自计算机的被选媒体内容流化，并通过HDMI连接将流化的内容以高清晰度地提供到电视屏幕。因此，用户可以在更大的电视屏幕上观看存储在主计算机上的内容。
[0085]为了控制媒体系统100，用户可以利用杆106向电子设备104提供指令。杆106可以包括用于向电子设备104提供用户指令的任何合适的输入设备。杆106可以以任何合适的形状形成，例如包括拉长的物体、圆形的物体、弯曲的物体、矩形的物体或者任何其它合适的形状。杆106可操作为利用任何合适的无线通信协议(包括以上针对链接110所描述的那些)无线地将用户指令发送到电子设备104。例如，杆106可操作为利用红外线通信协议发送指令，通过该协议，信息从杆106发送到IR模块120和122中的一个，然后通过链接112发送到电子设备104。作为另一个例子，杆106可以利用蓝牙或WiFi通信协议直接与电子设备104通信。
[0086]杆106可以包括用于向电子设备104提供用户输入的一个或多个输入机构(例如，按钮或开关)。在有些实施例中，输入机构可以包括以特定的方式放置或移动杆。例如，杆106可操作为响应于用户在特定方向或围绕特定轴轻甩(flick)、自旋、滚动或旋转杆而识别用户输入。作为例示，手腕的轻甩可以旋转杆106，使得杆106向电子设备104提供选择或其它指令。用户可以关于X轴(例如，在屏幕上左右移动)、y轴(例如，在屏幕上上下移动)和z轴(例如，从屏幕前后移动)沿任何方向移动杆106。
[0087]杆106可操作为控制显示在屏幕102上的游标(例如，指针或突出显示区域)，以访问由电子设备104提供的操作。在有些实施例中，用户可以通过杆106的移位来控制游标的移位。媒体系统100可以使用用于将杆106的移动和游标位置关联的任何合适的方法。例如，杆106可以包括一个或多个加速计、陀螺仪或者其它运动检测部件。杆106可操作为将由运动检测部件检测到的运动发送到电子设备104。例如，杆106可以识别x-y平面中的运动，并将该运动发送到电子设备104，然后电子设备104可以指示显示屏幕102根据杆106的运动而移位游标。杆106还可以包括输入机构(例如，滚轮或触摸带)，用于将z方向的输入提供给电子设备104(例如，代替或附加于识别杆106沿z方向的运动)。
[0088]作为将杆106的移动与游标位置关联的另一个例子，IR模块120和122可以设置在屏幕102的附近。媒体系统100可以包括任何合适数量的IR模块120和122，但为了清晰起见，在图1中只示出了两个。IR模块120和122可操作为发射用于由杆106检测的红外光。杆106可操作为检测由IR模块120和122发射的光，并通过识别其关于IR模块120和122的位置和朝向来确定其关于屏幕106的位置和朝向。杆106可操作为向电子设备104发送位置和朝向信息，电子设备104可以将该位置和朝向信息转换成用于游标的坐标或者转换成要执行的动作(例如，放大或滚动)。在有些实施例中，杆106可操作为将位置和朝向信息转换成用于游标的坐标或者要执行的动作，并将该坐标或动作发送到电子设备104。
[0089]在有些实施例中，杆106可操作为发射红外光，而IR模块120和122可操作为接收由杆106发射的光。然后，IR模块120和122及电子设备104可操作为基于接收到杆106所发射的光的角度并基于所接收到光的强度来确定杆106相对于IR模块120和122的位置。
[0090]在有些实施例中，媒体系统100可以包括多个杆106，例如每个用户一个。为了清晰起见，图1中只示出了一个杆106。每个杆106可操作为控制不同的游标或者屏幕的不同部分。在有些实施例中，每个杆可以具有不同的优先级，使得当使用多于一个杆时，具有最高优先级的杆控制屏幕102上所显示的操作。在有些实施例中，每个杆106可操作为向电子设备104提供唯一的信号，由此允许电子设备104识别媒体系统100的用户，并由此提供用户特定的媒体体验(例如，加载用户特定的设置或偏好，或者提供用户特定的媒体)。
[0091]图2是根据本发明一种实施例的杆的示意图。例示性杆200可以包括光学部件202、通信电路204、运动检测部件206和输入机构208。
[0092]光学部件202可操作为接收和处理从IR模块120和122 (图1)接收到的红外光。在有些实施例中，光学部件202可以包括红外线过滤器、透镜、图像拾取元件和图像处理电路(未示出)。红外线过滤器可操作为阻止除IR光以外的所有光波到达透镜，其中透镜可以直接位于红外线过滤器的后面。透镜可操作为拾取通过红外线过滤器的光并可以将光提供给图像拾取元件。图像拾取元件可操作为获得从透镜接收到的光的图像并可以将图像数据提供给图像处理电路。在有些实施例中，图像拾取元件例如可以包括固态成像设备，例如CMOS (互补金属氧化物半导体)传感器或CCD (电荷耦合器件)。成像处理电路可操作为处理从图像拾取元件接收到的图像数据，以识别对应于IR模块的亮点，并将位置信息、朝向信息或者两者都提供给通信电路204。
[0093]通信电路204可操作为将来自杆200的位置和朝向信息及用户输入发送到电子设备(例如，图1的电子设备104)。在有些实施例中，通信电路204可以包括处理器、存储器、无线模块和天线。处理器可操作为控制用于发送存储或者高速缓存在存储器中的数据的无线模块。
[0094]通信电路204可以发送任何合适的数据。例如，处理器可操作为发送从光学部件202接收到的光信息(例如，来自图像处理电路的结果数据)、从运动检测部件206接收到的运动信息(例如，加速度信号)及从输入机构208接收到的用户输入。在有些实施例中，处理可以暂时地将数据存储在存储器中，以便在由无线模块发送之前组织或处理相关的数据。在有些实施例中，无线模块可以以预定的时间间隔(例如，每5ms)发送数据。无线模块可操作为调制要以适当频率发送的数据，并可以将数据发送到电子设备104。无线模块可以使用如以上关于杆106所描述的任何合适的通信协议，包括例如蓝牙。
[0095]在有些实施例中，代替光学部件202或者除光学部件202之外，杆200还可以包括运动检测部件206，该运动检测部件206可操作为检测当用户移动杆时杆200的移动。运动检测部件206可以包括用于确定杆朝向变化的任何合适的元件。例如，运动检测部件206可以包括