利用分割的图像创建和操作用户界面的方法

专利名称：利用分割的图像创建和操作用户界面的方法
技术领域：
本发明涉及利用分割的图像作为输入或输出界面以管理、检测、或控制动 作和事件的方法，所述输入或输出界面用于例如具有通信能力的电子设备，所
述电子设备包括但不限于移动电话、网络连接的计算机，以及在诸如可编程远 程控制器的家用设备中。
背景技术：
诸如移动电话和计算机的电子设备典型地既包括以按键或按钮形式的用户 输入接口，又包括以一个或多个显示器形式的用户输出界面。通常舰扬声器 和麦克风还包括音频接口，假如安装了适当的软件，其也可以被用于在电子设 备中进行音量控制动作或选择。然而，数据或信息输出主要是受至抱括该显示 器的图形用户界面的影响。
图形用户界面一般是现实的抽象版本，例如一个人可以被^成列表中的 一个电哮号码，而列表中其它电话号码代表其他人。如果你可以读，这对于效 率和管理原因是有利的。然而，这种抽象意赠现实的其它品质被丢失，在日
常生活中的特定瞬间或一群人的临时M更难于在移动设备中表现。
近年来很流行个性化个人移动电话的夕卜观。彩色显示器的弓l入强烈地增加 了肯^旨性化的领域的数目。在一段时间已经能够将铃声信号与电话薄中的联 謝言息相关联。在因特网上的计^m游戏和讨论论坛中，所谓的化身的使用也 可以被看成是用刺 用户，其中例如卡通图的头像被用来^^用户。
今天，高分辨率的彩色显示器甚至被包括在非常小型电子设备中，例如移 动电话，并且越来越常见数码相机或者被包括在该电子设备中或者可连接至该 电子设备用于捕获图片和顿示器上呈现它们。{顿例如电子邮件、固s、或 存储棒，'存储在电子设备中的数字图像可以被传皿传输给其它的用户设备用 于共享或打印输出。然而，事实上使用在电子设备显示器上显示的图像被限带丁 到纯粹标图像本身，鋼视綱于视频会议。

发明内容
提供了一种改进的方式以管理与在照片中所捕获的人物、地点或其它对象 有关的动作或事件，其中在电子设备的显示器上呈现的该照片的数字图像被分
割以致于该图像的分割部分(segment)被體作为用于输A^f出信息鹏制 信号目的的按钮。这样提供了一种直观并且简明的方式用于控制与可以由图像 表示的具体对象相关的动作。
根据本发明的第一实施例，用于为电子设备创建用户界面的方法，包括提 供照片作为数字图像，定义作为该数字图像的分割部分的图像区域，并且M 将动作链接到该图像区域来定义图像按钮，当该图像呈现在显示器上时响应于 激活该图像区域执行该动作。
根据进一步的实施例，定义该图像区域包括在该数字图像上运行图像分割 应用程序以定义覆盖在该照片中描绘的对象的各个分割部分，并皿择由该图 像分割识另啲分割部分作为该图像区域。
根据进一步的实施例，定义该图像区域包括将一个或多个图像区域标记项 放置在该图像中，并且定义该图像区域为由一个或多个图像区域添己项覆盖的 区域。
根据进一步的实施例，对象被描绘在该图像按钮的图像区域中，并且该方 法进一步包括为该图像按钮剤新十算丰MM^代码，包括与iM象相关联的数据。
根据进一步的实施例，该动作包括呈现与该对象相关联的ic^有关的信息。
根据进一步的实施例，该信息包括与iM象相关联的通信地址。 根据进一步的实施例，该 包括与该对象相关的通信地址，并且将被执
行的动作包括初始化从该电子设备到该通信地址的通信。
根据进一步的实施例，该对象是人，并且该计算m^序代5，括该人的虚
拟名片。
根据进一步的实施例，该方法进一步包括存储计^mfMi^代码，包括具有 用于该数字图像的图像数据的标签，定义该图像按钮的图像区域的标签，和定 义与该图像按钮相关的内容的标签。
根据进一步的实施例，该图像区域覆盖在该图像中的对象，并且该方法进 一步包括为描述iM象，信息的该图像按钮剤新十穀Af呈序代码。
根据进一步的实施例，该方法进一步包括为该图像区:^储坐标数据。根据本发明的第二个实施例，用于操作电子设备的用户界面的方法，包括 在电子设备的显示器上将照片显示为数字图像，其中该数字图像的一分割部分 被定义为图像按钮，其用于响应歡活以执^f页先定义的动作、检测该图像按钮 的激活、和在该电子设备中执fi^预先确定的动作。
根据进一步的实施例，对象被描绘在照片中，其中所述分割部分被定义为 图像按钮，并且用于该图像按钮的计算机禾號代码被存储在该电子设备的存储 器内，包括与该对象相关联的数据，执行该预先确定的动作的步骤包括访问存 储器以检索与该对象相关联的 ，并且在显示器上呈现与该 相关的信息。
根据进一步的实施例，该对象是人，并且该计穀朋旨代码包括该人的虚 拟名片，该方法进一步包括在显示器J^现与该人相关联的联纟縮息。
根据进一步的实施例，其中该存储的计算机程序代码包括与该对象相关联 的通信地址，执行该预先确定的动作的步骤包括在显示器上呈现与该对象相关 联的通信地址。
根据进一步的实施例，其中对象被描绘在照片中，其中所述分割部分被定 义为图像按钮，并且用于该图像按钮的计算机禾im邻马被存储在该电子设备的 存储器内，包括与该对象相关的通信地址，执行该预先确定的动作的步骤包括
访问存储器以检索 信地址，并且初始化从该电子设备到该通信地址的通信。
根据本发明的第三个实施例，用于操作图形用户界面的计^^几程序产品包 括可由具有显示器的电子设备中的处理^m行的计穀;if呈序代码。该计算机程 序代码包括具有用于照片的数字图像的图像数据的标签，为作为图像按钮的数 字图像的分割部分定义坐标数据的标签，和定义与该图像按钮相关的内容的标 签，其中该内容包括计算机程序代码，用于响应检测到该图像按钮的激活由该
电子设备执纟ff页先确定的动作。
根据进一步的实施例，该分割部分覆盖在该图像中的对象，该计算m^歸
4戈码ii一步包括定义该对象^M信息的^^。
根据进一步的实施例，该分割部分覆盖在该图像中的对象，该计算机禾聘 代码进一步包括定义预先确定的动作的标签。
根据进一步的实施例，该计算机禾旨代码进一步包括多个标签，每一个标 签定义多个预先确定的动作。
根据进一步的实施例，该动作包括访问电子设备的存储器以检索与该对象相关联的数据，并且在显示器J^现与该数据相关的信息。
根据进一步的实施例，该对象是人，并且该计算^n^呈序代码包括该人的虚 拟名片。该动作包括在显示器上呈现与该人相关联的联謝言息。
根据进一步的实施例，该计穀几程序产品进一步包括计對MM^代码，所
述计^t几程序代码包括与该对象相关联的通信地址。该动作包括在显示器上呈
现与iM象相关的该通信地址。
根据进一步的实施例，该计^t几禾i^戈码包括与iM象相关联的通信地址。 该动作包括访问电子设备的存储器以检索通信地址，并且初始化从该电子设备 到该通信地址的通信。


所包含的附图提供对本发明的进一步理解并且被合并构成本申请的一部
分，其阐述本发明的某些实施例。在附图中
图ia-ic示意性示出禾佣传统计穀;if呈序实现的图片的图像分亂
图2a-2c示意性示出禾佣根据本发明某些实施例的图像分割在人数字图像 中图像按钮的创建和使用；
图3示出根据本发明某些实施例的创建图像按钮的方法的流程亂
图4示出根据本发明某些实施例的使用图像按钮的方法的流程图5a-5b示意性示出在与游戏联合的实施例中在数字图像中图像按钮的使
用；
图6a-6c示意性示出根据本发明某些实施例的在可^用设备的数字图像 中图像按钮的创建和^;
图7示意性示出根据本发明某些实施例的使用电子设备触发与图6a-6c的 家用设备相关的动作、使用图像按钮的情景；
图8示出包括多个项目的台式机的图像，其可以根据本发明的某些实施例 被分割并链接到动作以形成图像按钮-，
图9示意性示出根据本发明某些实施例的使用可选项定义该图像按钮的图 像域的图像按钮的创建；
图10a和10b示出由在图9中所描i^l程的不同实施例定义的作为结果的 图像按钮；和图11示意性示出电子设备的图形用户界面系统，其中可以操作根据本发明 某些实滩例操作的图像按钮。
具体实施例方式
以下将参照附图更加充分地描述本发明的实施例，在其中本发明的实施例 将被示出。然而，本发明可以以各种不同的形式实现并且不应该理解为限于此 处提出的实施例。而是，这些实施例被掛共用舰本发明作彻底和完全的揭示， 并且将向本领域技术人员充分阐释本发明的范围。相同的附图标记始终标相 同的元素。
此处^ffl术语的目的仅仅是为了描述特定实施例而不是意图限制本发明。
正如在此^bM顿的那样，除非特别駄出来，否则单数形式'一个"、"一"、"这
个'也同样意指Mff形式。M该理解术语"包括'、"包括"、"包含"和/或'包含" 在此处4顿时是指定所述特征、整体、步骤、操作、元素和/或组件的存在，但 是不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其组合的 存在或附加。
除非被另外定义，否则在此所〈顿的所有术语(包括狱术语和科学术语) 具有与本发明所属领域的普通技术人员所通常理解的意思相同的含义。还应当
理解此处4顿的术语应当被解释为具有与它们在本说明书上下文和相关技术中 的含义一致的含义，并将不按照理想化或过分正式意义进^^释，除非特别指 出在此如此定义之外。
以下参考根据本发明各个实施例的方法、驢(系统)和减计穀M聘产
品的流程图和/或结构图来描述本发明。应该aimf呈图禾口/或结构图的每一i央、 以及流程图禾口/或结构图中的方块组合可以ffl)i计^mfiff指令实现。这些计算 机禾聘指令可以提供纟^1用计算机、专用计^m、禾口/或其它可编程 处理装 置的处理器以产生机器，如此经由计#^几和/或其它可编程 装置的
^i行的指令生成用于实现流程图禾n/或一个结构图块(或多个结构图i央)中所 指定的功膨动作的装置。
这些计^ini呈序指令还可以存储在计算机可读存储器中，其可以指示计算 机或其它可编程数据处理装置按照特定的方式运fi1，如此存储在计^m可读存 储器中的指令生成包括指令的产品，其中所，令实现流程图和/或一个结构图块(或多个结构图i央)中所指定的功肖^/动作。
计算ml呈序指令还可以被装载到计算机或其它可编程数据处理装置上以使 得一系列操作步骤在该计^m或其它可编程^s上执行，从而生成计算机执fi1 的鹏，如此在计穀几或其它可编程驢上执行的指令掛共用于实现流程图和/ 或一个结构图块(或多个结构图块)中所指定的功敏动作的步骤。
相应地，本发明可以被实现为硬件和/或软件(包括固件、常驻软件、微代 码，等等)的形式。而且，本发明可以采用计算机可用的或计算机可读的存储 介质上的计算机程序产品的形式，其具有在由指令执纟亍系统^ffi或与指令执4亍 系统相结合的介质中实现的计算机可用的或计穀几可读的程劍戈码。在本文的
上下文中，计算机可用的或^i十算机可读的介质可以是樹可介质，其可以包括、
存储、通信、传播或传送由指令执行系统、装置或设备4OT或者与之结合^ffi的辦。
计算机可用的或计算机可读的介质可以是但不局限于电、磁、光、电磁、 红外、或半导体系统、體、设备、或传播介质。计嶽几可读介质的更多具体
的例子(非详尽列表)将包括如下具有一条或多条线路的电连接、便携式计
^m磁盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦可编程只读存 储器(EPROM或决闪存储器)、光纤、以及便携微盘只读存储器(CD-ROM)。 注意计算机可用的或计算机可读的介质甚至可以是纸张或另一适合的介质，于 其上印刷有程序，因为程序例如可以经由纸张或其它介质的光扫描而以电子方 式被获取，然后编译、解释、或按照其它适合的方式处理，如果是必需的话， 然后储存在计算机存储器中。
当前描^^涉及具有用于呈现图像的显示器的电子设备领域，并且其还具有 根据已定义的方案能够检测和处理用户输入信号的控制处理机制。典型地，这 样的控制处理机制包括微处理器系统，其包括相关的存储器和软件，被设计用 来检测输入信号和傲照这對言号初始化动作，例如响应举起电话命令粒连接、 响应按下带有符号的按键将该符号呈现在显示器上、等等。本发明的实施例此 处被描述成可在以移动电话形式的电子设备中使用。然而，应当注意的是其它 类型的电子设备，包括显示器和控制M机制例如微处理^I系统，可被用作实 现本发明实施例的平台，包括台式计穀几、膝上型计算机、通信器、电子组织 者、PDA (个人数字助理)、带有显示器的可编程远程控制器、和数码相机。本发明的某些实施例或许来源于发明人的实现，其中如果某人可以使用照 相机给人或瞬间照相并且^ffl这个照片作为用于管理的使能器并且初始化代表 真实世界动作的事件，这样能够增进用户的经验和对电子设备的使用增加新的
品质。根据本发明的某些实施例，在图像中被选择的X^，例如人或电子装置，
被相互分离出来和从背景中分离出来，并且分离出来的对象的图像区域接着被
编程作为用于用户输A^输出的图像按钮。该图像按钮响应用户的激活。怎样 构成歡活是选择适用于正在讨论的本申请的技术的问题。 一种方式是在触敏式 显示器上显示该图像按钮，在其上'^r活可以通过使用手指、触针或类似物在显 示器上点击由该图像按钮覆盖的表面区域实现。另一选择，但是其中不必包括 触敏式显示器，而是将该图像按钮显示在显示器上，在其上光标依靠光标控制
设备而被移动，光标控制设备例如是HI示、操纵杆、慢跑;^类似物。图像按 钮的激舌接着通过将光标置于由图像按钮覆盖的区域内、并按下选择键例如软 键来完成。对用户可能优选的还是滚动动作以标记在显示器上呈现的两个或更 多图像按钮，并且接着由选#11激活两个或所有被标记的图像按钮。以下展示 的描述，词语激活、单击和按下将在不同时机被〗細。然而，需要注意的是， 除非特另脂出，这既可以是由用户直接在触敏式显示器上歡活执行又可以通过 ^ffl其它用于标记和激活呈现在显示器上的图像按钮的控制，执fi1，而且本 发明可应用于任何用以激活图像按钮的这种装置。
图像按钮可以被链接到与由该图像按钮代表的对象有关的信息，这样其响 应于激活将这，息在显示器上或以可听见方式呈现。可选地，或附加地，该 图像按钮可以响应于激活建立与由该图像按钮代表的对象的连接。该图像按钮 还可以高亮显示以响应除按下该图像按钮之外的其它动作，例如从一幅图像的 一群人中出来的一个人的分离图像被高亮显示以表明有来自那个人的来电。其 它例子将在以下给出。
图像分割是相当成熟的技术用来将图像中的对象从其背景中分离出来。现 有若干个已知方法用于执行对象分离，例如阈值技术、基于边缘的方法、基于 区域的技术、连搭保持松弛法和面部识别。几个这些技术可以与本发明的实施
例相结合4顿。图1A示出一个女人的照片，被存储为数字图像。在图1B中， 图1A的图像已利用用于彩色图像分害啲计算概歸所分割。在图1C中该被分
割图像的轮廓图像被示出。被用作分割的计算机程序的现有技术是基于均值偏移算法，用于估计密度梯度的简单的非参数过程，并且是由美国、NJ08855、 Piscatawy、罗格斯大学电气和计算机工程系的Dorin Comaniciu和Peter Meer提 供，San Juan、 Puerto rico于1997年6月发表在Proceedings of正EE Conference
的计^m视觉和模式识别、第750-755页。f顿该技术例如可能执行图1A中的 图像分割以提供图1C的轮廓信息，从中可以选择和仅高亮显満女人的眼睛。 以相应的方式， 一群人的图片可以被分割以将他们中的針互相新。根据本 发明的一些实施例，图像的一个或多个分割部分接着被链接到存储在该电子设 备中的数据，例如用于在分割部分描述的对象的状态或信息数据，或与那个对 象有关的命令。
本发明的示例性实施例现在将参考附图进行描述。
图2A纯示意性示出有五个人的一组图像。利用图像分割禾聘，於图像部 分21、 22、 23、 24和25被定义，每一个代表一群人中的一个，如图2B所示。 正如可以从图1的例子中看出，旨人可以获得多于一个的分割部分，而在图 2B的简单例子中針人仅有一个分割部分。这可以M简单iik^擁盖一个人 的所有分割部分并且将它们链接到一个总的分割部分获得，以与多个对象在标 准的绘图应用程序中相同的方式，例如在Microso妙Word，可以被分组。每一 部分21-25的图像区域接着被链接到相关的 或命令，以便创M个图像按 钮。在雌实施例中，该图像按钮与触敏式显示器一慰顿，这样当图2A的图 片在其上呈现时并且已定义图像部分21-25的其中一个M:按下被激活时，与那 个图像部分的对象相关的信息或动作被呈现^M发。在可选实施例中，无需触
敏式显示器，图像按钮的歡活M:将光标控制设备例如鼠标、操纵杆、慢跑球
或类似物操纵的显示光标方爐在该图像按钮的图像部分，并按下选择键而实现。 在图2C中，g中间的人的图像部分23，已被选择。响应于该选择，图
像部分23在其它图像部分;tJ:被高，示。高亮显示可以通过褪色、模糊， 黑非选择图像部分并且可能是,背景实现。图像按钮的激活可根据情况触发 不同的动作，并且不同的例子将在以下给出。
图3示意性示出了创建图像按钮的主要过程步骤。
在步骤301 ，利用数码相t喊模拟相机捕获图像，并且随后数字化模拟图片， 以提供数字图像。
在步骤302，该图像被存储到带有显示器的电子设备中，例如计^n或移动电话。用于捕获图像的照相机也可以被包括在该电子设备中。
在步骤303，该数字图像被分割，目的是为了将在图像中代表不同对象的图 像部分彼此分开或从背景中分离出来。这利用图像分割计穀/Lf呈序实现，其同 样也是一个很公知的技术。
在步骤304， 一个或多个动作被链接到分离出来的图像部分，其中被分离出 来的图像部分通过定义图像中的域充当图像按钮，其可以被激活以自动执行已 链接的动作。该动作可以仅仅雖息的呈现，戯出命令以初始化例如通话。
在电子通信设备中，例如移动电话或网络连接的计算机，对于其他人的联 络信息经常被存储并且被存储在联络列表中，例如电子电i满。存储在这样的 联络歹據中的联謝言息典型地包括电话号码和电子邮件i舰。在一个实施例中， 依照本发明的某些实施例这样的联络歹據被链接到图像按钮。这样实施例的例 子参照图24被描述。
特定组(例如公司部门)的5个成员被捕获在图片中，如图2所示。该图 像被存储在电子设备中，其还可以是已经被用于捕获该图像，例如带有内置照 相机的移动电话。
数字图像的分割l^l行以用于为5个人的每一个标识與虫的图像按钮，如
图2B所示的。雌地，被用^is行图像分害啲计^m禾聘腿合做出分割建议，
通过消除或合并比预定像素尺寸小的细节，并集中于定义大的细节。这是一种 在计^t几禾M^(戈码中的简单设置方式，其可以很容易地由技术人员雌。
每个图像按钮被链接到己存储或已链接到电子设备中的联络列表中的一个 位置。图像按钮的动作接着被编程以使得例如通过在它们上单击，图像按钮的 激活，自动地建立与在该图像按钮上描绘的那个人的通信连接，M例如拨打 事先存储的电话号码的电话或打开至3卩个人的新电子邮件地址，如同在联络列 表中定义的。
图4示出了用于在这个例子中概述盼瞎形使用图像按钮的一种方式。 在步骤401， ^M本发明的某些实施例如同参考图3中给出的已经准备好的 图像，包括一个或多个图像按钮，被呈现在电子设备的显示器上。此处需要注 意的是带有图像按钮的图像无需真正地在它们被创建的电子设备中l顿。相反， 图像按钮可充分地共享给其它用户和设备，如同将要被详细解释的。
在步骤402， 一个图像按钮，ffiil在显示器是触i^;显示器时M51^M示器上直接按下定义图像按钮的图像部分，或者M^顿光标和选择按钮被撒活。
该m^i4发链接到图像按钮的动作。
简单的实施例直接转到步骤406，其中自动^:与预置通信地址的通信被初
始化。这可以是，电话通话，或打开寻址到网络地址的文本消息窗口。典型
地，该通信地址是在定义该图像按钮的图像部分中呈现的人的:t舰。
现在有与他Ail信有许多不同的方式，〗柳普通电话、移动电话、传真、 电子由P件、SMS、 MMS、 ff电，等。在步骤405呈现的一个实施例中，正如 在步骤402中的图像按钮的激活因此设计为显示具有可用选项的菜单，例如用 以与正在讨论的人联系的不同方式和地址，在其后那些选项的其中之一可被选 择。鄉择其中一错项后该过程接^a行步骤406。
在一个更常规的实施例中，在步骤402的图像按钮的第一次激活在步骤403 产生呈5见菜单的动作，包括多^项，其中一个可以^M信。
在步骤404选择那4^项iaA步骤405 ^iSA步骤406，取决于呈5见在图 像按钮上的人是否有多于一个的通信地址，并且用于处理图像按钮的应用软件 是否被编程成第一次显^骤405的菜单或是在步骤405直接i4A—个事先设 定的通信iML
链接到图片的联络歹拨的提供和f顿提供了一种视觉上的吸弓l和跟踪联络 信息的直觉方式。例如用户可能希望向一群人中的多个人发送消息。如果那群 人聚餘一幅图像中，如同图2A中的图像，其被分割和存储在用户的电子设备 中，这样用户可以写一条文本消息并且接着写地址然后通过激活感兴趣接收者 的图像按钮将该条消息发邀合该群人的一个可选择子集。
以相应的方式，可以通过使用图像按钮建立到多接收者的电话通话。作为 例子，适用于这个目的的特 ^键可被用作标准PC難的shift按钮。因 此，ffi31按下该特離并且接着歡活选定数目的图像按钮，那么选定数目的图 像按钮将高亮显示并且要么直接激活或者在按下确认键后激活。多，的歡活 粒与所选图像按钮上描绘的人的电话通信链路，假设他们都是可用并且肯树
该通话做出反应。例如这可以被用于M:与多个^i义参加者的会ijm话。可选
地，粒与选定人的PTT (^Hil)连接。这种方式，每次初始方的一人以及 由该方呼叫的其它人，可以在其他人听时立刻说话。
依照本发明的一个实施例，该图像按钮还可以被用来指^iSA的消息，例如电话通话或文本消息。如^4A消息的通信地址之前已经存储在接收电子设备的联络列表中，链接到那个通信地址的图像按钮可以被触发以在该电子设备 的显示器上显示，雌地是与可听信号一起。
将图像按钮特征与电子通信设备的联络表链接起来的进一步实施例可以包 括定位。假设用于已经给予用户获得某群其他用户的位置信息的权利，例如一 个朋友集，位置信息可以被请求或自动地发送给该査询用户的设备。当接收到该位置信息时，被分割的图像例如在图2C中的一个图像可以被用于高亮显示已 经被发现在预置的区域内出现的一群人，例如在相同通信网络小区的覆盖区域 内。
在本发明的另一个实施例中，图像按钮可以由网络经营者或网络服务提供 商使用，用于游戏、买卖和呈现信息。参照图5A和5B描述一个这样的实施例。
在图5A中，运动团队的一些成员被示意性示出，尽管不像在图2A中那么 详述。该团队是由mp3播放器的制造商组织的，并且图5A的图片显示团队成 员51正韓他们自己的mp3播放激莫型52。图5A的图像被分割并且随后一个 或多个覆盖各个团队玩家的被分离出来的图像部分依照本发明的一些实施例被 链接到一个或多个动作，并且被分割和链接的图像被用于交易目的。如同一个 例子，该制造商可以ffl31分发该数字分割和数据離的图像安排组合彩票和广 告的活动。用户可以在MMS中接收图5A的图像，并且在电子设备的显示器上观看它，例如移动电话。文本串随同该图像一起被显示，其可以显示该mp3的 模型52、制造公司、和他们组织的优秀团体。此外，该文本串将包括由问鹏 供的竞赛题，其可以M31激活其中一个图像按旨回答。典型地，该问题可以 是"上一季谁得分最多？仔细思考并按下你的选择！值1€"。
在图5B中，，在其上显示图像的该电子设备的用户通过按下图像按钮 53做出选择，其碰巧是正确答案。图像按钮53的激^M发了链接到其上的预先 定义的动作。典型地，激活可以触发被选玩家的图像部分53以高亮显示，如在 图中所示，并且还将用户选择的结果在以文本串或可听消息形式中呈现，例如: "是，约翰史密斯是正确的玩家！你已经赢得我们的新mp3播放器。"实际地址 和递送事宜可以以多种方式解决。图像按钮的歡活 还可以自动触发扣除该 指示数目。存在处理扣除网络服务的不同的已知方式，并且如果i^赛题是由 网络经营者提供或与网络经营者一致，费用被加到该用户的标准定购贝长户中。在本发明的另一个实施例中，分割图像可以被用作数字邀请卡。例如，参 加同学聚会的邀请可以包括毕业照的原始图像，在其中#学生都已经被分割 开以为^人提供图像按钮，之后信息被链接到每个图像按钮，所述信息例如
姓名、目前居住地点和职业、等等。当覆盖那个学生的图像按钮例如M3i单击 被激活时与特定学生相关的信息因此被自动检索并且被显示。
在一个可选实施例中，该图像按钮被用于物体而不是人。图6A示出了照有 电视机61、连接至该电视机61的DVD记录器62、和放在电视桌64上的灯63 的照片。该照片被存储为数字图像，并且随后被分割以为该电视机61i照U—个 图像按钮65、为该DVD记录器62识别一个图像按钮66、和为该灯63识别一 个图像按钮67。不同的动作接着被^|接到*图像按钮。典型地，当激活其中 一个按钮时触发的第一个动作可以是显示与该图像按钮的对象有关的菜单选 项，如同在以上^H1程中参照步骤403所述的。对于图像按钮65，该菜单可 以例如包括对电视机61的开/关和频,择。对于图像按钮66，该菜单可以包 括开/关、播掛停ih/跳读、和用于编程该DVD记录器62以特定定时准则读取 和存储媒体信号的菜单选项。对于图像按钮67，该菜单可以包括开/关禾啶时器 功能。
图像按钮65-67在图6A的图像中可以是可见的，例如作为细的轮廓、^ 全是不可见的。当其中一个图像按钮ffiii激活它^it择，例如图像按钮66，对 应的按钮ttit在图像中高亮显示，例如S5i在图6C中的框架。同时，相关联的 菜单被呈现(未示出)在图6C的图像中或邻近图6C的图像，或者在同一个电 子设备的另一个显示器上。
图7示意性示出了结合图6A-6C描述的图像按钮是如何被使用的。用户有 电子设备71，其包括显示器、m形式的用户输入接口和光标控制机制^M敏 式显示器、响应用户输A^择以触发动作的f^处理系统、和信号收发 置。 典型地，电子设备71是移动电话，其不仅适宜于M^站的移动网络(例如 GSM或WCDMA网络)通信，还适宜于M繊巨离无线通信例如WLAN、或 直接无线通信例如通过IR或禾,像蓝牙的无线电通信。图6A的图像，和将预 先设定的动作与分开的图像按钮65-67链接的相关控制数据一起被存储在电子 设备71中。该用户可以将包含该图像按钮的图像显示在电子设备71的显示器 上。歡活其中一个图像按钮将触发相关的动作。，腿择的动作还包括发送信号以控制或检索来自由该图像按敏樣的对象的信息。例如，如果电视机按钮65 例如M51被单击来歡活，并M择了接通电源，贝U自动地鹏电子设备71的显 示器所显示的菜单中进fi^择之后，电子设备71必须)l,通电源命令中继至该 电视机61。这可以M3^柳电子设备71的收发:t^S驗发送信号、直接至信 号接收^S，典型地在电视机61中的天线和相关电子设备来实现。可选地，信 号中继站72，例如路由器、集线器或转换器，可以从该电子设备71接收该信号。 该中继站72接着，ffi31导线捆绑(wire-bound) ^￡线连接，发送接通电源信 号至该电视机61。以同样方式，当你远离家时电子设备71可以被用于控制DVD 记录器62，以记录你不想错过的节目，或例如控制该灯63并且还可能控制该电 丰Ml 61鄉定的夜间时刻打开以防止潜在的夜贼。中继站72可以被连接到家 用电话线路，并且从而还可以M:因特网被连接。此外，中继站72，ite具 有信号传送能力，如此用于对象61"63的状^ft息可以被发送至该电子设备71 以显^^合该用户。
图8示出了另一个实施例，在用户台式计^m的图像中。该图像包Mi十算 机81、调制解调器82、网络照相机83、和包括数码相机的移动电话84，移动 电话84被放在，中。依照本发明的某些实施例，这些不同的对象可以被分割 并且链接至U不同的动作，作为图像按钮。对移动电话83的一个这样的动作可以 例如是发送图像至计算机81。
相同的电子设备从而可以被用作远程控制设备以用于许多不同的装置，例 如在图7和8中所示的那些。X^万周知电子设备越复杂和越多样化，就M^隹以 以清楚的方式进行分类和呈现不同可使用的应用，并且既然菜单项一般都是非 常简单的，在各种不同级浏览大量菜单既浪费时间又易于出错。对于小型， 来说，例如移动电话，其具有相对小的显示器，这尤其是所述情况。本发明的 某些实施例为图形用户界面提供了一种解决方案，其合并图像的直观和直接方 式特征和内置的按钮，预先设定或者直接引向被链接的动作，或者引向与在图 像按^描绘的对象有关的正确的子菜单。
通过利用已知的图像分割技术来分离图像中的对象，例如人可以被分割。 通过将被分割区域的坐标存储为多边形，它可以在随后的阶段被用来在该图像 中标注或标识那个区域。如果你舰这个图片和该区域信息，就可能创建可以 被用^J^虫敏式屏幕或普通屏幕的按钮。整个图像接着可以被保存成一种格式，其描述该对象的区域并且也包括该特定对象的信息，例如当该对象是计^m时 为ip号码或当该对象是人时为虚拟名片。月艮务的质量和其它功能当然同样可以 被包括。在图像中定义对象区域之后，该图像可以以类可扩展标记语言
(xml-like)的格式被存储，其包含该图#*身和按钮。
将图像加到可扩展标记语言(xml)文档中可以以Base64 ，制格式编码 该图像来实现。不同的按钮可以作为按钮^^被存储在该可扩展^i己语言文件 中，例如图2B或6B的图像按钮。当该数据应当从该文件中提取出来时则需要 特定盼，像按钮生^T-解析器。禾,从该可扩展标记语言文件中解析的信息， 具有高亮显示按钮的图像可以被显示。Ml科斤的动作中功能被添加到该按钮。
下面是按 件的例子。
这是包含按钮的可扩展^H己语言文件的开始fe^ <createdButtons〉
这个标签包含以base64编码格式的实际图像 <button—image dt:dt "binary.base64,450394gvi98sklv743mv934j hdf4j</button—image>
此处是按钮标签
〈button〉…<button> <button>...</button>
这是包含按钮的可扩展标记语言文件的结束标签
</createdButton^>
下面皿接至人的按钮的例子，例如按钮21-25: <button>
这个标签描述按钮的区域，例如具有其坐标的多边膝 <buttonarea> 10,15,11,18,13， 17,17， 12<buttonarea>
这是用于描述按钮内容的开始标签
<content>
这个描述什么类型的对象连接到该按钮，在这种情况中是人
<objectType>person</objectTyp^>
这个人的以名片信息<vcard>
BEGIN:VCARD
VERSION:2.1
N:Smith;John
TEL;WORK:+4646123456
TEL;HOME:+4646789101
EMAIL;INTERNET;PREF:john劍ohnsmith.画
TEL;CELL:+46701234567
END:VCARD
</vCard>
连接至这个按钮的动作 <nbiO￡\ctions>l 2々nbrO￡\ctions> <^ction>voiceCall</action> <action>videoCall</action> <^ction〉InstantMessage</action> <action>SMS々action〉 <action>MMS</action〉 <^ction>e-mail</action> <action>deleteObject</action> <action>addAction々action> <action>removeAction</action> 々ction〉activHte Button</action> <^ction>deactivate Button</action> </content> 〈button〉
下面是连接至膝，计穀几的按钮的例子 <button>
<buttonarea>10,15,11,18,13,17,17,12</buttonarea> <content>
<t)bjectType>laptop</objectType><objectDescription〉
<computerName>LittlePapa</computerName>
<IP—Address>10.123.456.789</IP—Address
<Bluetooth—Address>aAAFFEEDBAC</Bluetooth—Address>
々objectDescription〉
<nbrOfActions>9</nbrO￡\ctions>
<^ction〉ExchangeFiles</action>
<action>Remote Control</action>
<action〉RemoreScreen</action>
<action〉deleteObject</action>
<^ction>addAction</action〉
<action>removeAction</action>
<^ction>activate Button々action〉
<action〉deactivate Button</action>
々content>
<button>
在一个实施例中，仓犍的可扩展标记语言按敏件从一个电子设备传送至 另外一个电子设备，也在后一个电子设备中使用。作为例子，人A已经创建了 包含可以在移动电话的显示器上显示的按钮图像的按钮文件，和在图像中的一 个或多个分开的按钮区域，具有相关内容。该按做件的代码因此确定哪个动 作被触发以响应该图像按钮的激活。人A从多个朋友的数字照片中已经创建了 正在讨论的图像按钮，并且希望那些朋友可以使用相同类型的接口用于呼叫、 发送消息^t^有关那群人的信息。人A因此创建数字消息，例如MMS劍各 按钮文件作为附件的电子邮件，并经移动电话网络将它发送至至少所描绘朋友 中的人B。 一旦在人B的移动电话中接收，人B安装该按^C件的软件。Mil 包含在按 :件中的代码，或M手动调整，现在接收的该图像按钮被链接至 人B的移动电话中的联络列表，并且因此准，用。
在本发明的一个实施例中，用于识别图像按钮区域的手动解决方案lte用。 如果没有图像分割或面部识别技术可用或因为某种原因不能工作，用户替代被 呈现为框架或具有不同微的框架集。这些框架可以例如是圆形、方形、矩形，其是可伸縮的或以不同尺寸被提供，这可以被应用于该图像。这使得AA^择一
个图像形成图像按钮仍然是可能的。图9示意性示出了图片91，类似于图2A 中的一个图片，如同以图像按钮生^l模式^g的在电子设备的显示器上显示。 在这种情况下，电子设备中没有可用的图像分割软件，并且替代的多个可用的 图像区域标记框架已经被显示顿示器上。这些框架包職形92和椭圆93，其 可以被变形、伸縮和旋转。在图像91中，用户^ffl可选择的框架92和93M: 多个框架94去覆盖人的图像部分至左边，以为了创建图像按钮的域。在随后的 步骤中，所{顿的框架94被链接在一起至一个图像域95，如在图10A中所示， 的通过在图像按钮生繊应用禾蹄中构造'链接框架"命令。该聚集的域95 现在定义至左边人的图像按钮的区域，依照本发明的某些实施例例如信息的呈 现或事件的触发的图像按钮动作被链接至左边。典型地，图像的所有对象、或 如在这种情况中的人，通过重复图9和10的M可以被分离地形成图像按钮。 在樹氐复杂度和易于f顿的实施例中，仅仅框架92被给出，例如矩形。该框架 可以伸縮或不能伸縮。在图10B中，示出了这样的实施例，其中单独的框架96 被放置并且在高度和宽衝申縮以尽可育謝的适应至左边的人。尽管那个框架没 有遵循很完美地与图像按钮相关的图像区域的轮廓，它仍然提供了有利的解决 方案。雌地，该图像按钮当其由光标或类似物标记时被高亮显示，并且显而 易见的是，正在讨论的该图像按钮涉及基本占据图像按钮的整个区域的那个人。 然而在另一个实施例中，定义图像按钮的图像区域可以当图像中的图像按
钮在显示器上显示时M:为其画轮廓来实现。对刊虫敏式显示器，这可以M
在显示器上移动触针或手指来实现。可选方案是舰光标和光标控制设备，例 如鼠标或操纵杆。
图11示意性揭露了电子设备的图形用户界面，在其上用于iOT根据本发明 某些实施例的图像按钮的方法可以被使用。该电子设备可以例如是移动电话或 计^t几。显示器101可通信i蝶接至微^SI器单元102，其依次至d^&^i十^tl 处理器CPU和内^#储器MEM。该微处理器单元的 更件进一步与计算丰jlf聘 产品相关联，其中计算mfiJ^产品包括用于ffi^OT根据本发明某些实施例的 图形用户界面处理在显示器101上呈现信息的软件，禾口用于检测^M示器JlM 示的数字图像的分割部分上的单击和响应该检测的单击执ffll先确定的动作的 软件。为了输入数据至该微M器单元102，例如为了创建图像按钮或为了操作该电子设备，某些形式的数据输A^g也被连接到此，例如鄉或小键盘103 禾口/鄉标控制设备104，例如鼠标、足跟宗^^纵杆。该微鹏器单元102还 可以连接至外部存储器^ 库105，在诸如移动电话的通信终端的实施例中， 存储器105可以是^应于用户识别模块SM，该模±央可连接至该终端。根据
本发明的某些实施例，该计算mf呈序产品包括计嶽;iiM^代码，其可以被存4诸
在该微处理器单元102的存储器MEM中并且当由该微处理器单元执行时，根 据在前面附图中所描述的，其触发该微舰器单元在显示器101 J^现图形用 户界面，具有响应单击的图像按钮。该微处理器单元102 ^i^也被连接至用于 发送禾啦收繊的收发器单元106。传输设Mti^t也被连接至雌器单元106， 该传输设备例如是用于无线电通信的天线107，或可i^t也为用于塞绳连接(cord connection)至其它电子设备的电缆连接器、记t乙棒接口、或红外接口。
本发明的各种实施例已经MM3S当的方法步骤和在不同的实施例中用于创 建和使用图像按钮的操作模式进行了描述。本发明的某些实施例可以使之容易 地和彭见地从我们的周围f顿熟悉的元素并将它们构造成按钮或动作区域。数 字或真实世界的对象或图像可以增进用户的经验。尤其是在与触,连接时,它 将会比许多其它的解决方案纟^更直接的交互并且纟^f个人接触到的图形用户 界面。这可以被用于将动作连接至齡人或一群人以支ifffi信和例如提高虚拟 名片功能。
本发明的某些实施例可有利地用于捕获和存储与任意或短期iM相关的信 息。 一个人可以例如是临时与一群人一起旅行，其不久之后有被iiS的可能。 传统地，你可以给你的临时朋友照相并交换电话号码或地址以为将来使用。然 而，该照片可能会被遗失并且存储在你的移动电话中或写在一张纸上的联纟g 息之后的那个人往往被淡忘。这样，本发明的某些实施例提供了唯一的解决方 案，用于将图像链接至与被包括在图像中的人或对象相关的信息。捕获一群朋 友的数字图像，分割该图像以创建图像按钮，并且接着添加身份和联纟縮息至 所述人，意歸该图像和信息被链接和存储在一起。该按做ff^着可以被发 送至用于安全存储的地方，例如至带回家的计算机，并且也可以被发送给照片 中的其他人。这样，遗失或遗忘关于那些人的信息的风险被最小化。此外，一 个简单的共享功能^i也被包括，其可用于这种情景。通过在图像中标记所有 的图像按钮和给出共享命令，例如通过使用软键并在菜单中选择"共享给所有人"的命令，带有图像按钮的图像被自动地发送给图像中存在的所有联络人。发
送可以预先设置以实现到某特定itt类型，例如Mil电子邮件或MMS，或这个 选项可以被提供给用户以响应于使得共享给所有人命令。除了使用移动电话的 照相机是一个有吸弓l力的方式外，本发明的实施例对于非基于文本交互例如对 于一些不能读或小孩的人群也是有用的。此外，图像的使用以十分有效的方式 渡过了任何语言障碍，并且本发明的实施例因此可以十^S宜于增进^^通信。 所描述的实施例包括呈现，^t接连接至，在已定义的图像按钮中所描绘 的人的通信地址。应当注意的是，尽f^样，其它类型的对象也可以具有联系 通信i舰，例如描绘的带有相关电话号码、蓝牙地址或IP地址的通信设备，或 例如具有电话号码、电子邮件地址、传真号码等等的公司或协会的建^[物。
权利要求
1. 一种为电子设备创建用户界面的方法，包括提供照片作为数字图像；定义图像区域，其为该数字图像的分割部分；和通过将动作链接到该图像区域来定义图像按钮，当该图像被呈现在显示器上时响应于该图像区域的激活而执行该动作。
2、 根据权利要求1所述的方法，其中定义所述图像区域包括在该数字图像上运行图像分割应用程序以定义覆盖该照片中所描绘的对象的各个分割部分；和将由所述图像分割确定的分割部她择作为所述图像区域。
3、 根据权利要求1所述的方法，其中定义所述图像区域包括 将一个或多个图像区域标记项放置在该图像中；和 将该图像区域定义为由所述一个或多个图像区嫩莉己项覆盖的区域。
4、 根据权利要求1所述的方法，其中对象被描绘在该图像按钮的图像区域 中，并且进一步包括为该图像按钮剤新十算机程荆戈码，该计算*朋聘代石驰 括与所M象相关的数据。
5、 根据权利要求4所述的方法，其中所述动作包括呈现与所述数据有关的 信息，所述 与所 #相关联。
6、 根据权利要求4所述的方法，其中所述信息包括与所舰象相关的通信 地址。
7、 根据权利要求4所述的方法，其中所述 包括与所自象相关的通信 地址，并且将被执行的所述动作包括初始化从该电子设备到所述通信地址的通信。
8、 根据权利要求4所述的方法，其中所M象是人，并且戶Jf^计^^， 代m括所述人的戯以名片。
9、 根据1^利要求l戶万述的方法，进一步包括剤新十^R禾Mmt码，所述计算机禾Mi^代码包括用于该数字图像的具有图像数据的标签，定义该图像按钮的 图像区域的标签，和定义与该图像按钮相关的内容的标签。
10、 根据^l利要求9所述的方法，其中所述图像区 盖在该图像中的对象，该方法进一步包括为该图像按钮存储计^mf歸代码，用于为所舰象描 述鄉信息。
11、 根据权利要求9所述的方法，进一步包括为该图像区Jl^储坐标繊。
12、 一种用于操作电子设备的用户界面的方法，包括在电子设备的显示器上将照片显示为数字图像，其中该数字图像的分割部分被定义为图像按钮，其用于响应歡活以执fi^跌定义的动作； 检测该图像按钮的歡活；禾口 在所述电子设备中执行所述预先确定的动作。
13、 根据权利要求12所述的方法，其中对象被描绘在照片中，其中所述分割部分被定义为所述图像按钮，并且用于该图像按钮的计算mfSi^(戈码被存储在该电子设备的存储器内，该计算+/1^代码包括与所 象相关的数据，其 中执行所述预先确定的动作的步骤包括访问所述存储器以M与所^im相关的数据；禾口在所M示器上呈现与所述数据相关的信息。
14、 根据权利要求13所述的方法，其中所^m是人，并5^f述计^mf呈序代石驰括所述人的戯以名片，该方法进一步包括在所M示器上呈现与所述 人相关的联纟^f息。
15、 根据权利要求13所述的方法，其中该存储的计算机程i^^m括与所 象相关的通信地址，执行所述预先确定的动作的步骤包括在所^M示器上 呈现与所^tm相关的所M信itt。
16、 根据权利要求12所述的方法，其中对象被描绘在照片中，其中所述分 割部分被定义为所述图像按钮，并且用于该图像按钮的计算机禾i^^码被存储 在该电子设备的存储器内，该计穀Mim切驰括与所,象相关的通信地吐， 其中执行所述预先确定的动作的步骤包括访问所述存储器以驗所3^1信;tlMlb禾口 初始化从该电子设备到所M信i"tt的通信。
17、 一种用于操作图形用户界面的计算机禾旨产品，该计算mi旨产品包 括可由具有显示器的电子设备中的处理 行的计#^几禾旨代码，该计算mi呈 序代離括包括用于照片的数字图像的图像数据的标签；为作为图像按钮的数字图像的分割部分定义坐标娜的^礎；和 定义与该图像按钮相关的内容的标签，其中所述内容包掛十穀朋呈荆戈码， 用于由所述电子设織4"跌定义的动作以响应检测至膝图像按钮的歡活。
18、 根据权利要求17所述的计穀M將产品，其中所述分割部分鶴图像 中的对象，该计#*^呈萌戈码进一步包括为所 象定义，信息的#^。
19、 根据权利要求17所述的计穀M呈序产品，其中所述分割部分鶴图像中的对象，该计嶽M呈m戈码进一步包括定义所述预先定义的动作的^^。
20、 根据权利要求i9所述的计算^f呈序产品，该计^m禾i^^码进一步包括多个标签，每一个标签定义多个预先定义的动作。
21、 根据权利要求19所述的计穀jll聘产品，其中所述动作包括 访问该电子设备的存储器以检索与所，象相关的数据；禾口 ^E^皿示器上呈现与所述数据相关的信息。
22、 根据权利要求19戶，的计^mfM^产品，其中所M象是人，并且所 述计^t几程序代码包括所述人的虚拟名片，其中所述动作包括在所述显示器上 呈现与所述人相关的联纟^ft息。
23、 根据^i利要求19所述的计^ini歸产品，进一步包^i十^mfi^戈码，其包括与所 象相关的通信地址，其中所述动作包括在所述显示器上呈现与 所舰象相关的所舰信地址。
24、 根据权利要求19所述的计算棚歸产品，进一步包掛十穀几鹏鹏， 其包括与所iW象相关的通信地址，其中所述动作包括访问该电子设备的存储器以检索所^M信地址；和 初始化从该电子设备到所^M信地址的通信。
全文摘要
提供了一种用于创建和使用电子设备的图形用户界面的方法和计算机程序产品。在一些方法中，照片被提供作为数字图像，并且该图像的分割部分被定义为图像按钮，通过链接5动作至该分割部分的坐标数据，由该电子设备响应于在该图像按钮上的单击而被执行。代表图像按钮的可单击区域的分割部分可以通过在该数字图像上运行图像分割应用程序来定义，以定义覆盖照片中所描绘的对象的各个分割部分。将被执行的动作可以与该对象相关，例如人，由10图像按钮覆盖，图像按钮例如呈现与该对象相关的信息或初始化与该对象相关的通信地址的通信。
文档编号G06F3/033GK101288042SQ200680038053
公开日2008年10月15日 申请日期2006年10月5日 优先权日2005年10月14日
发明者E·汉森, F·拉姆斯坦 申请人:索尼爱立信移动通讯股份有限公司