专利名称：用户界面系统及其操作方法
用户界面系统及其操作方法技术领域
本系统大体上涉及用户界面系统，更具体地涉及可以利用用户的姿势来识别身体部分的用户界面(UI)。
背景技术：
最近，用户站(US)如移动站(MS)、蜂窝电话、移动电话(例如，IPHONE )、个人数字助理(PDA )、黑莓 型装置、上网本、膝上型电脑、PAD型计算装置(例如，IPAD )、个人计算机(PC)、台式计算机、电视机等已经开始包括图像捕获装置如照相机以捕获图像信息。然而，为了减少尺寸和/或重量他们不具有传统的用户输入装置，如用户可以用来容易地与US交互的硬键式键盘。因此，用户可以通过可以提供软键盘的触屏式显示器与这些装置交互。然而，这要求用户在显示器的一个手臂的长度内，这对于用户可能不太方便。发明内容
公开了提供基于姿势的用户界面(UI)的一个或多个系统、方法、装置和/或计算机程序(在下文中，为了清楚起见，其每一个将被称为系统，除非上下文中另外指出)。本系统可以在个人环境或企业环境中与用户交互。因此，用户可以通过用户站(US)如PAD型计算装置，和/或通过如在商店、机构(例如，学校)、公共场所(例如，机场等等)、政府机关(例如，机动车辆部门等等)等等中的企业系统与本系统交互。此外，该系统可以辨别可能同时与系统交互的两个或更多用户。因此，可以为一个或多个用户以同时的方式或并行的方式执行本系统的操作动作。此外，取决于随时间推移的两个或更多身体部分之间的用户的姿势，该系统为了用户的方便可以选择和/或显示通知内容。
根据本系统的一个方面，公开了一种用户界面(UI)方法，该Π由一个或多个控制器控制。UI方法可以包括:从用户的图像序列获得图像信息的一个或多个动作；分析图像信息以识别该用户；从图像信息识别与用户的各个身体部分相对应的第一参考对象和第二参考对象；确定第一参考对象是否已经放置在第二参考对象的阈值缩放距离内或超过第二参考对象的阈值缩放距离；当确定第一参考对象已经放置在第二参考对象的阈值缩放距离之内或超过第二参考对象的阈值缩放距离时，计算第一参考对象与第二参考对象之间的交互时间(Ti);比较交互时间与阈值参考时间(Trt);以及根据比较的结果执行行动。
该方法还可以包括:注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联的动作。此外，可以使用对象识别技术执行识别的动作。此外，识别的动作还可以包括确定图像内的一个或多个感兴趣区(ROI)的动作。
还可以设想该方法可以包括:基于第一参考对象与第二参考对象之间的关系确定行动的动作。此外，执行该行动的动作可以包括突出和呈现第二参考对象、调用应用的一个或多个动作，从而运行特定的处理代码，运行代码片段、输入命令以及类似的其他操作。
还提供用户界面(UI)系统，该Π通信系统包括:可以从用户的图像序列获得图像信息的一个或多个控制器；分析图像信息以识别该用户；识别其一个或多个与来自图像信息的用户的各个身体部分相对应的第一参考对象和第二参考对象，；确定第一参考对象是否已经放置在第二参考对象的阈值距离内或超过第二参考对象的阈值距离；当确定第一参考对象已经放置在第二参考对象的阈值距离之内或超过第二参考对象的阈值距离时，计算第一参考对象与第二参考对象之间的交互时间(Ti);比较交互时间与阈值参考时间(Trt);和/或基于比较的结果执行行动。该一个或多个控制器可以包括注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联。此外，根据对象识别技术，该一个或多个控制器可以识别其一个或多个与用户的各个身体部分相对应的第一参考对象和第二参考对象。此夕卜，为了识别第一参考对象和第二参考对象，该一个或多个控制器可以确定图像内的一个或多个感兴趣区(ROI)。此外，基于第一参考对象与第二参考对象之间的关系，该一个或多个控制器可以确定行动。还可以设想根据行动该一个或多个控制器可以突出和呈现(例如，在系统的用户界面上如显示屏)第二参考对象、调用应用或输入命令。还公开了存储在计算机可读存储器媒介上的计算机程序，该计算机程序配置为提供用户界面(UI)，该计算机程序可以包括配置为从用户的图像序列如来自装置如照相机，来自持久性存储器等等的图像信息获得图像信息的程序部分；分析图像信息以识别该用户；识别其一个或多个与来自图像信息的用户的各个身体部分相对应的第一参考对象和第二参考对象；确定第一参考对象是否已经放置在第二参考对象的阈值距离内或超过第二参考对象的阈值距离；当确定第一参考对象已经放置在第二参考对象的阈值距离之内或超过第二参考对象的阈值距离时，计算第一参考对象与第二参考对象之间的交互时间(Ti);匕匕较交互时间与阈值参考时间(Trt);和/或基于比较的结果执行行动。此外，根据该计算机程序，程序部分可以配置为注册第一参考对象和第二参考对象以及第一参考对象与第二参考对象之间的对应的关联。此外，根据对象识别技术，程序部分还可以配置为识别其一个或多个与用户的各个身体部分相对应的第一参考对象和第二参考对象。此外，为了识别第一参考对象和第二参考对象，该程序部分可以配置为确定图像内的一个或多个感兴趣区(R0I )。还可以设想该程序部分可以配置为基于第一参考对象与第二参考对象之间的关系确定行动。还可以设想程序部分可以配置为根据行动突出和呈现第二参考对象、调用应用和/或输入命令。
以示例的方式，参照附图详细地解释了本发明，在附图中:图1示出根据本系统的实施方式的成像系统的框图；图2示出根据本系统的实施方式的被捕获的个体的图像的屏幕截图；图3示出根据本系统的实施方式的、使用标准对象信息(SOI)呈现的图像；图4示出根据本系统的实施方式的、使用标准对象信息(SOI)呈现的图像；图5示出图像序列，该图像序列示出根据本系统的实施方式的、将手与身体区域相关联的过程；图6示出根据本系统的实施方式的过程的流程图；图7示出根据本系统的实施方式的、规格化手的中心位置的方法的屏幕截图；以及
图8示出根据本系统的实施方式的系统800的一部分(例如，同级，服务器，用户站寸寸7 ο具体实施方式
以下是对示例性实施方式的描述，其与附图一起时将说明上面指出的特征与优点，以及另外的特征与优点。在下面的描述中，为了解释的目的而不是限制的目的，阐明了示例性的细节，如架构、接口、技术、元件属性等等。然而，对于本领域的技术人员显而易见的是，与这些细节不同的其他实施方式仍然应该理解为在所附权利要求的范围内。此外，为了清晰起见，省略了公知的装置、电路、工具、技术以及方法的详细描述，以免使本系统的描述模糊。另外，应该清楚地理解所包括的附图是用于说明的目，而不是表示本系统的范围。在附图中，不同的附图中相同的附图标记表示相同的元件。
为了简化本系统的描述，本文中所使用的术语“可操作地联接”、“联接”及其派生词指的是装置和/或其部分之间的连接使根据本系统的操作能够实现。例如，可操作地联接可以包括使装置和/或其部分之间的单向通信和/或双向通信路径能够实现的有线连接和/或无线连接中的一个或多个。例如，可操作地联接可以包括使控制器与一个或多个用户装置之间的通信能够实现的有线或无线联接。
本文中使用的术语“呈现(rendering)”及其派生词指的是提供内容，如可以包括，例如音频信息、视觉信息、视听信息等等的数字媒介，从而其可以由至少一个用户感觉，如视觉和/或听觉所察觉。例如，本系统可以在显示装置上呈现用户界面(Π )从而其可以由用户看到并且可以与用户交互。此外，本系统可以在呈现可听到的输出的装置(例如，扩音器，如扬声器)和呈现视觉输出的装置(例如，显示器)上呈现视听内容。为了简化以下论述，术语“内容”及其派生词将被使用并且应该被理解为包括音频内容，视觉内容，视听内容，文本内容和/或其他内容类型，除非特别指出特别的内容类型，这是可以容易理解的。
使用任何各种类型的可操作地联接至控制被显示环境如姿势识别系统的处理器(例如，控制器)的人-处理器界面装置可以实现用户与计算机环境的交互和计算机环境的操作。姿势识别系统可以单独操作或根据可以呈现在系统的显示器上的用户界面(UI)(如图形用户界面(GUI))操作。例如，用户可以使用与平面工作相关的某些姿势来操作视觉对象，例如光标，该视觉对象是用户操作位置与光标的示出位置之间的、以直接或间接映射的二维显示表面上的视觉对象。这通常被称为位置控制，其中所示出对象的运动可以与用户的运动和/或姿势在时间上相关联。
现在将详细论述根据本系统的实施方式使用图像识别方法识别各个身体部分的系统。根据本系统的实施方式，在辨识第一参考对象(例如，第一身体部分，如用户的右手)之后，系统可以辨识其他参考对象(例如，用户的其他身体部分)相对于第一身体部分(例如，手)在时间上的关系。因此，在给定的时间间隔上，本系统可以辨识，例如，用户的右手，并且可以确定与用户的右手相关联的身体部分。
图1示出根据本系统的实施方式的成像系统100的框图。成像系统100可以包括图像捕获部分102、控制部分104、对象识别部分106、存储器部分108以及显示部分110中的一个或多个，上述各部分可彼此分离或彼此组合。此外，部分102-112中的每一个可以是彼此本地或远距离地可操作地联接。因此，部分102-112可以与其他部分102-112通过例如有线或无线网络通信。图像捕获部分102可以包括任何合适的图像捕获装置，例如照相机、摄像机、热捕获装置、深度捕获装置、运动捕获装置、身体传感装置等等。因此，图像捕获部分102可以捕获静止图像、视频图像等等，作为可以进一步处理以形成图像信息的原始图像。图像捕获部分102可以包括可以向控制部分104传输原始图像信息或图像信息的网络照相机。图像捕获部分102可以包括可以可操作地联接至控制部分104的网络照相机。控制部分104可以控制成像系统100的全部操作。因此，控制部分104可以包括可以处理信息、传输和/或接收信息(例如，原始图像信息、图像信息、控制和/或命令信息等等)的一个或多个处理器、逻辑装置、控制器、专用集成电路(ASIC)等等，如本文中进一步所描述的。对象识别部分106可以包括可以根据本系统的一个或多个算法处理原始图像信息的数字信号处理器(DSP)。该算法可以是例如一个或多个图像处理应用(如Intel OpenCV 应用)的一部分。对象识别部分106可以包括硬的(例如，硬件)和/或软的(例如，软件)处理部分。对象识别部分106可以接收来自图像捕获部分102的原始图像信息，并且可以根据一个或多个对象识别方法(如HaarCascades型方法)处理原始图像信息或图像信息以形成对象识别信息(0RI)，并且其可以保存在系统100的存储器，如存储器108中。存储器108可以包括任何合适的存储器部分，其中可以存储本系统100的各种信息。因此，存储器108可以包括持久性存储器，其可以存储原始图像信息、图像信息、0R1、系统100产生的数据、用户信息(例如，用户帐户信息、注册信息等等)，本系统的操作程序或应用和/或系统100适当操作所必需的其他信息。存储器108可以包括彼此位于本地或彼此远离的部分。因此，存储器108可以包括表面区域网络(surface area network) (SAN)等等。此外，存储器108通过网络可以是可达到的。显示部分110可以包括任何合适的显示器，其为了用户方便起见可以呈现(例如，显示)内容和/或其他信息)。因此，显示器Iio可以包括液晶显示器(IXD)、发光二极管(LED)显示器、阴极射线管(CRT)显示器、电泳(EA)显示器等等，其为了用户的方便起见可以显示内容等。显示器部分110可以包括触摸屏显示器，利用该触摸屏显示器用户可以交互以将信息直接地输入系统100。为方便用户，系统100还可以包括输出内容(如音频内容)的扩音器，和/或接收音频信息的麦克风。在控制部分104的控制下，扩音器和/或麦克风可以操作。调制解调器部分112可以包括有线的或无线的调制解调器，其可以使用任何合适的协议传输和/或接收信息，如内容、原始图像信息、图像信息等等。因此，调制解调器112可以配置为上变换用于通过有线或无线链路(例如，使用天线等等)发送的信息并可以下变换接收的信息，并且向控制部分104发出所下变换的信息。图2示出根据本系统的实施方式的捕获的个体(例如，用户)的图像200的屏幕截图。通过图像捕获部分(例如，部分102等等)捕获图像200，并且可以通过对象识别部分(例如，部分106等)处理图像200，该对象识别部分可以使用一个或多个对象识别方法(如OpenCV 应用、HaarCascades方法(技术)、DSP方法等等)处理图像200，以根据本系统的实施方式辨识图像200的相关部分。本系统可以使用对象识别应用，(如OpenCV 框架)处理图像信息，并且确定图像信息内的一个或多个感兴趣区(region of interest) (ROI)。每一个感兴趣区可以与一个区域(如矩形区域、环形区域或其他形状的感兴趣区(ROI)及其组合)相对应。下文示例性地描述了矩形形状区域并且用框206-X将其示出，然而权利要求应该理解为包括其他形状的区域，除非在本文中另有特别说明。因此，在确定与用户的身体202对应的ROI之后，本系统可以用框206-1框示该ROI。类似地，在确定与用户的手和脚相对应的ROI之后，系统分别可以用框206-2和206-3框示这些区域。
在本示例中，根据HaarCascade方法，用框206-X示出的的ROI可以与区域(如矩形区域)相对应，并且可以由位于图像200中的任何位置和/或范围、且可以例如在本示例中分别与身体、右手区域和右脚区域相对应的框206-1到206-3 (—般地206-X)示出。然而，也可以设想其他区域，如矩形区域和/或其组合。根据本系统的实施方式，本系统可以发现图像或图像的序列内的所有区域。此外，根据本系统的实施方式，区域可以位于其它区域内。因此，例如，右手区域206-2和右脚矩形区域206-3分别可以位于身体矩形区域206-1内。在每一个矩形区域(例如，206-X)内，对象识别部分106可以确定该图像内的各种类Haar特征。如下文参照图7描述的,这些类的Haar特征可以涉及该图像的对应区域(例如，矩形区域)内的区域的像素和的差别。在“en.wikipedia.0rg/wiki/haar_like_features”进一步详细描述了类Haar特征。
为了确定ROI的位置、形状和/或尺寸，对象识别部分利用例如从系统的存储器获得的标准对象信息(SOI)可以与用户的图像信息进行比较。每一个感兴趣区可以具有包括在例如对应的可扩展标记语言(XML)文件或其它存储格式中的对应的HaarCascades信息。例如，可以在因特网上在因特网地址nuicode.com/projects/gsoc-ccv-hand/repository/revisions/44/entry/Final/haar cascade, xml 得到作为 XML 文件的手的样本HaarCascadexml描述。可以为在本系统中示出的每一个的身体部分产生类似的XML文件。因此，在本示例中，SOI可以包括限定标准身体的解剖学区域如手、右肩、右肘、右大腿、右膝、右脚、腹部、左肩、左射、左大腿、左膝、左脚、参考对象(例如，尺子)等等，以及对应于第一区域到第四区域(如象限)的信息。本系统可以获得HaarCascades信息并且辨识包括预期的身体和/或其部分的区域。因此，当本系统获得用户的图像序列时，其可以根据HaarCascades信息，以及第一参考对象和第二参考对象(如被限定的身体部分)之间的交互的持续时间(例如，交互时间(Ti))来确定各种信息，如R01、第一象限到第四象限、在这些区域内的用户的各个解剖学身体部分、对象的交互(如用户的至少一个被限定的身体部分(即，第一参考对象和第二参考对象)(例如，用户右手或其他指示对象如尺子，位于右大腿上等)等等。然后系统可以根据确定的交互和/或持续时间使用该信息(例如，被限定身体部分的交互和/或Ti)确定一个或多个动作(例如，向上翻页、回车、应用调用等等)。还可以设想与交互(例如，右手放置在右大腿上)和/或交互的持续时间(例如，10秒)相关的信息可以输出到其他应用以用于另外的处理。
图3示出根据本系统的实施方式的使用SOI呈现的图像300。图像300的圈出区域的每一个可以示出与预先限定的身体部分或其他对象对应的标准对象(例如，右手、左膝等等)，并且可以在一对一的基础上映射到人体。SOI可以包括可以匹配用户(如坐姿图像、站姿图像、跑姿图像等等)的图像，以使本系统可以容易地匹配用户的图像信息(例如，通过网络摄像机捕获)与对应的SOI (例如，坐姿的用户可以与坐姿的SOI文件匹配)，从而本系统可以在例如一对一的基础上有效地将用户的图像信息与SOI映射。
如下文所描述的，参照图2与图3，通过确定一个或多个ROI和对应的矩形区域以及在一对一的基础上比较该一个或多个矩形区域与对应的SOI信息以确定标准对象(例如，标准化的解剖特征)的位置和/或这些标准对象之间的关系，系统可以辨别被捕获图像序列中的用户的身体的一个或多个部分(例如，一个或多个解剖特征)。因此，对象识别部分可以在一对一的基础上比较矩形Haar被识别的图像200的部分如图像200的矩形区域(206-X)与图3中示出的S0I，并且可以识别用户的身体的一个或多个部分(例如，右手、左脚、腹部等等)和/或基于该比较的用户的身体部分的位置。对象识别部分可以为图像序列的图像信息的矩形区域或每一个部分重复该过程。
此外，对象识别部分可以执行用于图像中的一个或多个身体的各个解剖特征(例如，面部特征、头、腹部、右手、右脚等等)的识别过程。因此，如果数个身体处于一个图像中，对象识别部分可以辨别每一个身体，并且然后可以辨别每一个身体的解剖特征。然后，该过程可以匹配这些特征与S0I，从而识别标准对象(例如，头、腹部、、左脚等等)。因此，该过程可以使用例如面部特征从数字图像自动地辨识和/或验证人以识别该人。对象识别部分可以使用任何合适的方法(例如，使用Haar分类器、图像应用等等)处理图像200以辨识用户、用户的解剖特征以及参考对象之间的交互，如用户的解剖特征。
为了节省资源，SOI可以保存在不同的数据库中。例如，面部信息可以是保存在面部用SOI数据库中，而一般的身体信息可以保持在身体用SOI数据库中。例如，可以捕获将手放置在用户的身体的一个或多个部分上的用户的图像或图像序列。根据本系统的实施方式，系统可以例如确定矩形Haar的中心位置，将矩形Haar的中心位置与全身关联，和/或提供用户的图像或身体全身图像，和/或使用户将手放置在其上的身体的区域突出。然后突出的区域可以与表示与突出的区域相对应的实际身体部分名称的SOI比较。因此，SOI可以包括具有身体部分的对应名称的身体的预先限定的结构。
图4示出根据本系统的实施方式的使用SOI呈现的图像400。SOI还可以限定如所示的第一区域到第四区域的区域。根据本系统的实施方式，这些区域的尺寸和形状可以取决于因素，如相对于照相机的身体的紧密度、需要识别的身体部分的数目、以及图像中的身体形状或人的特定类型。因此，系统可以检测什么时候用户将选择的解剖学特征(如右手)放置在与被限定的第一区域至第四区域(如象限)的一个或多个相对应的身体的一部分之上，并且可以确定与用户的手所放置的位置最靠近的身体部分(例如，在阈值距离内的身体部分)以及放置的持续时间。因此，例如，如果确定的是用户已经将手在对应于第一象限的身体的一部分上放置等于或超过第一阈值时间的一段时间，根据确定的交互和/或持续时间该过程可以确定一个或多个动作(例如，向上翻页、回车等等)。通过将身体分成区域，因为如本文中所描述的，在识别动作期间仅包括在识别区域中的身体部分需要被搜索，所以确定最靠近的身体部分变得更容易。
图5示出示出根据本系统的实施方式的将右手与身体502的区域相关联的过程的图像序列。在图像A中，该过程可以检测矩形Haar506-2，可以确定该Haar的中心位置，并且可以实时地将矩形Haar506-2的中心位置与身体502关联。如图像B中所示，本系统可以获得示出身体的映射的S0I，其示出第一象限至第四象限。然后，如图像C (其为后来捕获的用户的图像)中所示，假定用户的右手放置在对应于第三象限的身体区域之上，系统可以比较用户的右手的位置与图像B的SOI，并且确定用户的最靠近的身体部分。然后，如下文参照表I所描述的，系统可以确定右手与所确定的最靠近的身体部分之间的交互时间(Ti)，并且基于检测的交互身体部分和TI执行适当的动作。
此外，可以设想系统可以追踪在各个时间上一系列身体部分的交互。例如，左手位于右肩上3秒以及其后在右大腿上10秒或更多等等。因此，当本系统检测随时间推移的一系列身体部分(或关于区域的部分)的交互时，系统可以根据确定的交互顺序和/或对应的持续时间确定一个或多个动作(例如，退格、向上翻页等等)。根据本系统的实施方式，这些系列还可以保存在存储器如数据库(DB)中用于后面的另外的处理和分析，并且基于这些保存的交互的系列可以与调用/运行应用相关联，使图像突出。
在下文中参照图6描述示出一个或多个例如由本系统的索引部分(和/或其他部分)执行的一个或多个操作的过程，图6示出说明根据本系统的实施方式的过程600的流程图。使用通过网络通信的一个或多个计算机可以执行过程600。过程600可以包括以下动作中的一个或多个。此外，如果需要，这些动作中的一个或多个可以组合和/或分成子动作。根据本系统，可以使用合适的图像处理方法，如使用合适的图像处理应用(例如，Intel 0penCV 应用或类似应用)的HaarsCascade型方法执行该过程的图像处理动作。操作中，该过程可以在动作601期间开始然后进行到动作603。
在动作603期间，该过程可以接收来自图像捕获装置如网络照相机的图像信息(例如，与用户的图像序列相对应)。在执行动作603以后，该过程可以继续至动作605。在动作605期间，该过程可以确定是否在图像信息中检测到人(例如，用户)或其他预先确定的对象。在对图像信息中是否检测到人的检测中，如可以容易理解的，根据本系统的实施方式的系统可以识别身体(例如，全身)或身体部分(例如，如上躯干)。因此，如果该过程确定人被检测到，该过程可以继续至动作607。然而，如果该过程确定没有被检测到人，该过程可以重复动作603、605。通过例如处理图像信息和确定什么时候在图像信息中检测到人，该过程可以检测人。因此，当人走到网络照相机前面时，该过程可以确定在图像中检测到人。
在动作607期间，该过程可以辨识人。因此，例如，该过程可以在图像信息上执行生物统计学/身体识别过程(如面部和/或其他另一个身体识别过程)从而形成可用于辨识人的辨识信息。在执行动作607以后，该过程可以继续至动作609。在动作609期间，该过程可以确定是否该人为注册人(例如，在系统的数据库中注册的人)。因此，如果该过程确定该人为注册人，该过程可以继续至动作611。然而，如果该过程确定该人不是注册人，该过程可以继续至动作613。
根据本系统的实施方式，基于辨识信息的比较的结果(例如，来自动作607)以及注册人识别(RPI)信息(例如，从系统的存储器所获得)该过程可以确定该人是否为注册人。因此，当比较的结果指示识别信息与RPI信息相对应时，该过程可以确定所述人为注册人。如在下面表I中所示，如参考对象关联表中所述，RPI可以包括:例如，与生物统计学信息相关的息如SO1、与身体相关联的参考对象(例如，手、脚、大腿等等)，相关联的参考对象关联(例如，右手位于左大腿上、尺子位于左大腿上等等)和/或相关联的阈值参考时间(例如，持续时间，如3秒等等)。
表I
权利要求
1.一种用户界面(UI)方法，所述Π由一个或多个控制器控制，所述方法包括: 从用户的一系列图像获得图像信息； 分析所述图像信息以识别所述用户； 识别第一参考对象和第二参考对象，所述第一参考对象和所述第二参考对象中的至少一个与根据所述图像信息所识别的所述用户的各个身体部分相对应； 确定所述第 一参考对象是否已经被放置在所述第二参考对象的阈值缩放距离内或超过所述第二参考对象的所述阈值缩放距离； 当确定所述第一参考对象已经放置在所述第二参考对象的阈值缩放距离之内或超过所述第二参考对象的所述阈值缩放距离时，计算所述第一参考对象与所述第二参考对象之间的交互时间(Ti)； 比较所述交互时间与阈值参考时间(Trt);以及 根据比较的结果执行行动。
2.如权利要求1所述的方法，还包括: 注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。
3.如权利要求1所述的方法，其中，使用对象识别技术执行所述识别步骤。
4.如权利要求3所述的方法，其中所述识别步骤还包括: 确定所述图像内一个或多个感兴趣区(ROIs)。
5.如权利要求1所述的方法，还包括: 基于所述第一参考对象与所述第二参考对象之间的注册的关联来确定所述行动。
6.如权利要求1所述的方法，其中，所述行动包括以下的一个或多个: 突出和呈现所述第二参考对象、调用应用以及输入命令。
7.一种用户界面(UI)系统，所述Π系统包括: 一个或多个控制器，用于: 从用户的一系列图像获得图像信息； 分析所述图像信息以识别所述用户； 识别第一参考对象和第二参考对象，所述第一参考对象和所述第二参考对象中的至少一个与根据所述图像信息所识别的所述用户的各个身体部分相对应； 确定所述第一参考对象是否已经放置在所述第二参考对象的阈值距离内或超过所述第二参考对象的所述阈值距离； 当确定所述第一参考对象已经放置在所述第二参考对象的阈值距离之内或超过所述第二参考对象的所述阈值距离时，计算所述第一参考对象与所述第二参考对象之间的交互时间(Ti)； 比较所述交互时间与阈值参考时间(Trt);以及 基于比较的结果执行行动。
8.如权利要求7所述的系统，其中，所述一个或多个控制器注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。
9.如权利要求7所述的系统，其中，所述一个或多个控制器根据对象识别技术来识别与所述用户的各个身体部分相对应的所述第一参考对象和所述第二参考对象。
10.如权利要求9所述的方法，其中，为了识别所述第一参考对象和所述第二参考对象，所述一个或多个控制器确定所述图像内一个或多个感兴趣区(ROI)。
11.如权利要求7所述的系统，其中，所述一个或多个控制器基于所述第一参考对象与所述第二参考对象之间的关系确定所述行动。
12.如权利要求7所述的系统，其中，所述一个或多个控制器根据所述行动突出和呈现所述第二参考对象、调用应用或输入命令。
13.一种计算机程序，存储在计算机可读非临时性存储媒介上，所述计算机程序被配置以提供用户界面(UI)，所述计算机程序包括: 程序部分，用于: 从用户的一系列图像获得图像信息； 分析所述图像信息以识别所述用户； 识别第一参考对象和第二参考对象，所述第一参考对象和所述第二参考对象中的至少一个与根据所述图像信息所识别的所述用户的各个身体部分相对应； 确定所述第一参考对象是否已经放置在所述第二参考对象的阈值距离内或超过所述第二参考对象的所述阈值距离； 当确定所述第一参考对象已经放置在所述第二参考对象的阈值距离之内或超过所述第二参考对象的所述阈值距离时，计算所述第一参考对象与所述第二参考对象之间的交互时间(Ti)； 比较所述交互时间与阈值参考时间(Trt);以及 基于比较的结果执行行动。
14.如权利要求13所述的计算机程序，其中，所述程序部分还注册所述第一参考对象和所述第二参考对象以及所述第一参考对象与所述第二参考对象之间对应的关联。
15.如权利要求13所述的计算机程序，其中，所述程序部分还根据对象识别技术来识别所述第一参考对象和所述第二参考对象。
16.如权利要求14所述的计算机程序，其中，为了识别所述第一参考对象和所述第二参考对象，所述程序部分还确定所述图像内一个或多个感兴趣区(ROI)。
17.如权利要求13所述的计算机程序，其中，所述程序部分还基于所述第一参考对象与所述第二参考对象之间的关系确定所述行动。
18.如权利要求13所 述的计算机程序，其中，所述程序部分还根据所述行动突出和呈现所述第二参考对象、调用应用或输入命令。
全文摘要
本发明提供用户界面(UI)的方法，该方法可以由一个或多个控制器控制并且可以包括从用户的一系列图像获得图像信息的一个或多个动作；分析图像信息以识别该用户；识别第一参考对象和第二参考对象，其至少一个与来自图像信息的该用户的各个身体部分相对应；确定第一参考对象是否已经放置在第二参考对象的阈值缩放距离内或超过第二参考对象的阈值缩放距离；当确定第一参考对象已经放置在第二参考对象的阈值缩放距离之内或超过第二参考对象的阈值缩放距离时，计算第一参考对象与第二参考对象之间的交互时间(Ti)；比较该交互时间与阈值参考时间(Trt)；以及根据比较的结果执行行动。
文档编号G06K9/00GK103140862SQ201180047323
公开日2013年6月5日 申请日期2011年9月29日 优先权日2010年9月30日
发明者瑟萨德利·阿玛斯纳杜, 亚当·奥德斯基 申请人:法国电信公司