专利名称：基于动态记录控制图形用户接口元素转变行为的方法和装置的制作方法
技术领域：
本发明涉及诸如移动终端的电子设备的图形用户接口，并且更具体
地，涉及对图形用户接口元素的转变行为(transition behavior)的控制。
背景技术：
移动终端(例如蜂窝电话)和其他电子设备正在许多人的日常生活 中扮演越来越重要的角色。例如，这些设备正被日益用于通过诸如聊天 室、即时消息以及网络日志的机制来支持社交网络，例如在艺术、政治、 科学等方面分享特殊兴趣的群体。这样，许多用户现在可将他们的个人 电子设备视为其个性的延伸，使得例如移动终端或其他电子设备可以充 当时尚配饰、用户情绪的反映、或者特定亲合群体的会员标志。
制造商和用户已经开发了各种用于使这些设备个性化的技术。例如， 移动终端制造商已经开发了具有大量不同美学特征(包括时尚壳体和面 板)的移动终端，以及能够定义用户定义菜单调色板和其他图形用户接 口 (GUI)特征的终端。例如，2005年10月20日递交的标题为"Theme Creator"的美国临时申请No.60/728,795描述了使用移动终端中的照相机 来支持GUI的用户定义"主题"(例如颜色和图案)。
发明内容
本发明的一些实施方式提供了操作电子设备的方法。提供了包括转 变信息的动态记录。响应于所述动态记录来定义所述电子设备的显示器 上图形用户接口 (GUI)元素的转变行为。例如，在本发明的一些实施方 式中，可以响应于所述电子设备的传感器，诸如音频传感器、视频传感 器和/或运动传感器，来生成所述动态记录。所述GUI转变行为可包括例 如窗口转变行为、菜单转变行为和/或对话框转变行为。定义所述GUI元素的转变行为可包括定义所述GUI元素的移动和/或变型。所述定义还可 包括响应于所述动态记录，定义所述GUI元素的形状和/或颜色转变行为。
在一些实施方式中，定义所述GUI元素的移动和/或变型包括响应于 第一动态记录，定义所述GUI元素的移动和/或变型。所述GUI元素的形 状和/或颜色转变行为可响应于第二动态记录来定义。所述第一动态记录 可以是运动记录，例如响应于诸如加速度计或速率传感器的运动检测器 生成的记录。所述第二动态记录可以是视频记录，例如响应于诸如照相 机的视频传感器生成的记录。
本发明的另一些实施方式提供了被配置为执行上述操作的电子设备 和计算机程序产 品。
本发明的又一些实施方式提供了操作便携式电子设备的方法，其中， 使用所述便携式电子设备的照相机生成视频记录，并且响应于所述视频 记录定义所述便携式电子设备的显示器上GUI元素的转变行为。响应于 所述视频记录定义所述便携式电子设备的显示器上GUI元素的转变行为 可包括响应于所述视频记录来控制所述GUI元素的移动和/或变型，和 /或响应于所述视频记录来控制所述GUI元素的形状和/或颜色。
在本发明的附加实施方式中， 一种移动终端包括显示器和控制器， 所述控制器被配置为响应于包括至少一种转变的动态记录，控制所述显 示器上GUI元素的转变行为。在一些实施方式中，所述移动终端还包括 照相机，并且所述控制器被配置为响应于所述照相机生成的视频记录， 来控制所述显示器上GUI元素的转变行为。在一些实施方式中，所述移 动终端还包括运动传感器，并且所述控制器被配置为响应于所述运动传 感器生成的动态记录，来控制所述显示器上GUI元素的转变行为。
图1-3例示了根据本发明的一些实施方式的移动终端及其操作。 图4-6例示了根据本发明的一些实施方式的用于捕获视频记录并基 于此控制电子设备的GUI转变行为的操作。
图7例示了根据本发明另外的实施方式的用于控制电子设备的GUI
5转变行为的操作。
具体实施例方式
现在将参照附图描述本发明的具体示例性实施方式。然而，本发明 也能够以很多不同的形式来实现，并且不应该被释义为限于本文所阐述 的实施方式；相反，提供这些实施方式是为了使该公开全面而完整，并 且向本领域技术人员全面传达本发明的范围。在对附图所例示的特定示 例性实施方式的详细描述中所使用的术语并非旨在对本发明进行限制。 在附图中，相同的标记指示相同的元件。
当在此使用时，除非做出相反的明确陈述，否则单数形式"一"和"所 述"意图也包括复数形式。应该进一步理解，当在本说明书中使用时，术 语"包括"指示所述特征、整体、步骤、操作、元件和/或组件的存在，但 是并不排除一个或更多个其他特征、整体、步骤、操作、元件、组件、 和/或上述的群组的存在或附加。应该理解，当提及一元件"连接"或"耦合" 到另一元件时，其可以直接连接或耦合到该另一元件，或者可以存在中 间元件。此外，在此使用的"连接"或"耦合"可包括无线连接或耦合。当在 此使用时，术语"和/或"包括一个或更多个相关联列举项中的任何及其全 部组合。
除非另有定义，否则在此使用的所有术语(包括技术术语和科技术 语)具有与本发明所属领域的普通技术人员普遍理解的含义相同的含义。 还应该理解，除非在本文中明确定义，否则术语(诸如普遍使用的辞典 中所定义的那些术语)应该被释义为具有与其在相关技术背景下的含义 相一致的含义，并且不应按照理想化或者过度形式的意义进行解释。当 在此使用时，"电子设备"包括但不限于便携式电子设备，诸如移动终端、
音乐播放器、视频播放器、个人通信系统(PCS)终端、个人数字助理 (PDA)、膝上型计算机、笔记本计算机以及手持式计算机，和固定使用 的电子设备，诸如桌上型计算机。在此使用时，"图形用户接口 (GUI) 元素"包括任何用于支持用户与电子设备交互的图形元素，包括但不限于 视窗、弹出菜单、图标、窗口构件(widget)、对话框等等。本发明的一些实施方式基于如下实现，即在电子设备(诸如移动终
端、PDA或其他便携式电子设备)显示器上产生的GUI元素的转变行为 可根据提供转变信息的视频或其他动态记录来定义，所述转变信息能够 用作GUI转变行为的模型。根据本发明的一些实施方式，可以响应于例 如由电子设备的照相机制作的视频记录来定义GUI转变行为。在其他实 施方式中，这种转变信息可从另一种传感器(诸如加速度计或速率传感 器)获得。在另外的实施方式中，用于定义GUI元素转变的转变信息可 以来自于不同类型的动态记录的组合，诸如视频记录和来自运动传感器 (诸如加速度计)的运动记录的组合。还可以从视频记录获得用于GUI 元素转变的附加形状和颜色转变信息。
图1-3例示了根据本发明的一些实施方式配置的移动终端100。参照 图1 ，终端100包括显示器110，所述显示器110被配置为显示GUI元素， 例如菜单、视窗、图标、窗口构件等。终端100还包括用户输入电路120， 在此被示为包括键盘122和操纵杆124。应该意识到，用户输入设备120 可包括多种其他类型的输入设备中的任何一种。如图2中所示，终端100 还可以包括被配置来生成视频记录的照相机130。
参照图3，终端150还可以包括无线电收发器150，所述无线电收发 器150被配置为支持终端100的无线电通信。无线电收发器150可操作 地与处理器140 (例如微处理器、微控制器或其他计算设备)及相关联的 存储器(例如RAM和/或EEPROM)相关联。处理器140还可操作地与 显示器110、用户输入电路120及照相机130相关联。如图3中另外所示， 终端100还可以包括运动传感器160，诸如加速度计和/或速率传感器， 所述运动传感器160可操作地与处理器140相关联。
如图3中进一步所示，处理器140可被配置用于实现GUI转变控制 器145，该GUI转变控制器145可操作地响应于包括转变信息的动态记 录来控制显示于显示器110上的GUI元素的转变行为，所述转变信息可 以用作定义GUI转变行为的参考。例如，在一些实施方式中，处理器140 可被配置用于存储并执行计算机程序代码，从而响应于照相机130所生 成的视频信息和/或运动传感器160所生成的运动信息来控制GUI元素转
7变行为。在另外的实施方式中，动态记录(例如视频记录)可通过其他 方式获得，诸如通过经由无线电收发器150下载而获得。应该理解，可
按照这种方式控制GUI元素转变行为的各个方面，所述各个方面包括但 不限于移动、排序、颜色转变、纹理转变、形状转变以及GUI元素变型 的其他形式。
根据本发明的一些实施方式，诸如视窗、菜单、图标、窗口构件、 对话框等的GUI元素的转变行为，可以使用移动终端的照相机所生成的 视频记录来定义。参照图4，移动终端100可生成其中所记录场景中的运 动被用来定义GUI元素的转变行为的视频记录。例如，如图4中所示， 移动终端100可支持照相机操作的用户可选择"转变采样"模式，其中用 户进行菜单选择或以其他方式开始要被用作定义GUI转变行为的基础的 视频记录的生成。例如，如图4中所示，在视频记录基本上固定的场景 时，照相机可从位置A通过位置B和C朝向位置D向右摇摄，此处在结 束位置E处的记录之前，用户可以进行快速的前后移动，由此定义如下 转变序列，该序列包括在一个方向上连续的移动，其后跟随短暂的"抖动 (shudder)，，。
如图5中所示，图4中记录的移动随后可以用来例如定义弹出菜单 500的转变行为。例如，从其中选择一菜单选择窗口构件510的状态A， 菜单500可从显示器110的底部升起，通过状态B和C (例如对应于图4 中所示照相机位置B和C)，转变到状态D，在该点菜单以与参照图4描 述的照相机前后移动相对应的上下方式抖动或振动，最后菜单稳定在状 态E，由此从视频记录模仿转变行为。应该意识到，上述移动仅为示例， 并且在本发明的其他实施方式中可提供宽泛的视频运动到GUI元素转变 的其他映射。
例如，根据本发明的另外的实施方式，可以针对GUI元素的从一种 形式到另一种形式的变型提供类似控制。例如，如图6中所示，诸如上 文参照图4所描述的视频记录可用于控制GUI元素600的从窗口到图标 的变型。具体来说，从状态A处的窗口形式开始，GUI元素600可以通 过状态B、 C"收縮"，然后在状态D处变型为"抖动的"图标，对应于上文参照图4描述的记录的移动状态A-D，该序列以在状态E处显示静止图 标结束。
应该理解，在本发明的一些实施方式中，取代移动照相机来生成视 频记录中的运动信息(如上所述)或者组合上述操作，将视频被记录的 场景内的物体的移动和其他特性(例如云的移动和纹理、赛道周围的汽 车等)用作GUI转变行为的模型的来源。还应意识到，在本发明的其他 实施方式中可按类似的方式使用其他类型的视频记录(诸如下载的视频 剪辑)来定义动态行为。可以利用多种不同方式中的任意方式(诸如模 式识别技术和/或涉及视频源中的特定对象的用户识别的技术)从视频记 录中提取信息。在一些实施方式中，诸如颜色转变、纹理转变、阴影转 变、亮度转变以及形状转变的附加视频特征也可被提取并用于定义GUI 转变行为。例如，视频源中的颜色转变可以被用来定义菜单、窗口、窗 口构件以及其他GUI元素的颜色转变(例如，开始和结束的颜色)。
在另外的实施方式中，来自另一信息源的转变信息，例如来自诸如 加速度计或速率传感器的运动传感器的运动信息，可以替代来自视频源 的转变信息或者与之结合使用。在本发明的又一些实施方式中，可以根 据如下动态记录来定义GUI转变行为，所述动态记录提供声音转变形式 的转变信息，诸如来自歌曲或其他音频的记录的节奏。设备还可以被配 置为存储多种GUI转变行为定义，使得用户可以定制和域选择特定定义， 和/或可以将各个GUI转变行为定义与各个主题、用户、用户环境等相关 联。
图7是例示了根据本发明一些实施方式的用于控制GUI转变行为的 示例性操作的流程图。提供，例如生成、下载或以其他方式获得包括转 变信息的视频和/或其他类型的动态记录(框710)。基于所述动态记录定 义GUI元素的转变行为(框720)。根据定义的转变行为对GUI元素进行 移动和/或变型(框730)。
上面已经参照框图和/或操作图(例如，流程图)描述了本发明的各 种实施方式，所述框图和/或操作图例示了根据本发明的各种实施方式的 方法、装置以及计算机程序产品。应该理解，可通过模拟和/或数字硬件，和/或计算机程序指令来实现框图和/或操作图中的每个框，以及框图和/ 或操作图中框的组合。这些计算机程序指令可被提供给通用计算机、专
用计算机、ASIC和/或其他可编程数据处理装置的处理器，从而使得通过 计算机和/或其他可编程数据处理装置的处理器执行的这些指令创建用于 实现框图和/或操作图中指定的功能/动作的方式。
因此，应该意识到，这些框图和操作图支持装置、方法以及计算机 程序产品。例如，在此参照图l-7描述的实施方式中，这些计算机程序指 令可被提供给被配置为控制电子设备的处理器，因此尤其支持被配置为 提供所描述的操作的设备、包括这种操作的方法、以及用于执行这种操 作的计算机程序产品。
在附图和说明书中，已经公开了本发明的示例性实施方式。尽管采 用了特定术语，但是它们仅用于一般和描述的意义，而不是出于限制的 目的，本发明的范围通过所附权利要求来限定。
权利要求
1、一种操作电子设备的方法，所述方法包括以下步骤提供包括转变信息的动态记录；以及响应于所述动态记录，定义所述电子设备的显示器上图形用户接口(GUI)元素的转变行为。
2、 根据权利要求1所述的方法，其中，提供动态记录包括响应于所 述电子设备的传感器来生成所述动态记录。
3、 根据权利要求2所述的方法，其中，所述传感器包括音频传感器、 视觉传感器和/或运动传感器。
4、 根据权利要求1到3中的任一权利要求所述的方法，其中，响应 于所述动态记录来定义所述电子设备的显示器上GUI元素的转变行为包 括定义所述GUI元素的移动和/或变型。
5、 根据权利要求4所述的方法，所述方法进一步响应于所述动态记 录，定义所述GUI元素的形状和/或颜色转变行为。
6、 根据权利要求4到5中的任一权利要求所述的方法，其中，定义 所述GUI元素的移动和/或变型包括响应于第一动态记录来定义所述GUI 元素的移动和/或变型，并且还包括响应于第二动态记录来定义所述GUI 元素的形状和/或颜色转变行为。
7、 根据权利要求6所述的方法，其中所述第一动态记录包括非视频 记录，而其中所述第二动态记录包括视频记录。
8、 根据权利要求6到7中的任一权利要求所述的方法，所述方法还 包括响应于所述第二动态记录来定义所述GUI元素的移动和/或变型。
9、 根据权利要求1到8中的任一权利要求所述的方法，其中，响应 于所述动态记录来定义所述电子设备的显示器上GUI元素的转变行为包 括定义窗口转变行为、菜单转变行为和/或对话框转变行为。
10、 一种电子设备，所述电子设备被配置为执行根据权利要求1到 9中的任一权利要求所述的方法。
11、 一种包括在存储介质中实现的计算机程序代码的计算机程序产品，所述计算机程序代码包括被配置为执行根据权利要求1到10中的任 一权利要求所述的方法的程序代码。
12、 一种操作便携式电子设备的方法，所述方法包括以下步骤 使用所述便携式电子设备的照相机来生成视频记录；以及响应于所述视频记录，定义所述便携式电子设备的显示器上GUI元素的转变行为。
13、 根据权利要求12所述的方法，其中，响应于所述视频记录定义 所述便携式电子设备的显示器上GUI元素的转变行为包括响应于所述视频记录控制所述GUI元素的移动和/或变型。
14、 根据权利要求13所述的方法，所述方法还包括响应于所述视频 记录，控制所述GUI元素的形状和/或颜色。
15、 一种便携式电子设备，所述便携式电子设备被配置为执行根据 权利要求12到14中的任一权利要求所述的方法。
16、 一种包括在存储介质中实现的计算机程序代码的计算机程序产 品，所述计算机程序代码包括被配置为执行根据权利要求12到15中的 任一权利要求所述的方法的程序代码。
17、 一种移动终端，所述移动终端包括 显示器；以及控制器，所述控制器被配置为响应于包括至少一种转变的动态记录， 来控制所述显示器上GUI元素的转变行为。
18、 根据权利要求17所述的移动终端，所述移动终端还包括照相机， 其中，所述控制器被配置为响应于由所述照相机生成的视频记录，来控 制所述显示器上GUI元素的转变行为。
19、 根据权利要求17到18中的任一权利要求所述的移动终端，所 述移动终端还包括运动传感器，并且其中，所述控制器被配置为响应于 由所述运动传感器生成的动态记录，来控制所述显示器上GUI元素的转 变行为。
全文摘要
提供了包括转变信息的动态记录。响应于所述动态记录定义诸如移动终端的电子设备的显示器上图形用户接口(GUI)元素的转变行为。例如，在本发明的一些实施方式中，可以响应于所述电子设备的诸如音频传感器、视频传感器和/或运动传感器的传感器，来生成所述动态记录。所述GUI转变行为例如可包括窗口转变行为、菜单转变行为和/或对话框转变行为。定义的GUI转变行为例如可包括移动、变型、形状转变行为和/或颜色转变行为。提供了被配置为执行这种操作的装置和计算机程序产品。
文档编号G06F3/048GK101558630SQ200780043834
公开日2009年10月14日 申请日期2007年5月22日 优先权日2006年11月27日
发明者大卫·德利昂, 斯塔凡·约尔特, 西蒙·温特 申请人:索尼爱立信移动通讯有限公司