内容管理接口的制作方法

专利名称：内容管理接口的制作方法
技术领域：
本发明涉及内容管理领域，尤其涉及一种允许用户管理内容的接口。
在很多情况下，用户都可以对内容进行访问，这些内容通常是保持在媒体集合或媒体库中的内容。通常，用户希望能够管理这些内容，尤其是以显性方式或者通过浏览(例如参考某些分类)而从集合项目中进行选择，将项目添加到集合中(或者将其从集合中删除)或是改变数据在集合中的组织结构，以及对内容的体验方式进行控制，例如控制回放音频音量、控制被显示图像对比度等等。
举个例子，自动选曲机在一个基本的级别上为用户提供了内容集合，用户可以通过按下字母数字按键来选择回放曲目，或者可以旋转一个标度盘来改变回放曲目音量，由此可以对内容进行管理。
另举一个更为新近的实例，很多个人计算机用户都构建了数字形式的内容集合，例如音乐、视频序列、图像、文档、URL等等。应用软件则允许用户选择所要访问(显示、回放、导航等等)的项目，以及控制体验访问项目的方式(变更音量、回放速度、分辨率等等)。通常，这些内容是排列在数据库中的，并且该数据库是用目录和子目录集合之类的数据结构进行组织的。
在本文中，表述“内容”是以概括方式使用的，由此表示了所有信息形式，其中包括但不局限于文本、网页、图像、动画、视频序列、音乐、声音等等。每个内容项通常都具有相关的元数据，这些元数据依照某些属性集合以及依照在描述特定内容项时适用于这些属性的值来描述该内容项。例如，曲目文件可以使用定义曲目标题、艺术家和流派的元数据来描述。稍后在本文中将会对此进行更详细的描述。
通常，当用户管理内容时，他必须按下按钮，转动标度盘，敲击键盘，操作指示设备(例如移动和点击计算机鼠标)，或者以其他方式操作某个物理输入设备，以便控制其对内容的访问和体验。这样做拉开了用户与内容之间的距离，并且会使内容管理不够直观。
本发明的优选实施例为用户提供了一个全新范例，由此允许用户以更直接和更直观的方式管理内容。
更特别地，本发明将运动和/或姿态检测结合在了内容管理应用中。
WO99/07153公开了一种交互式系统，该系统允许用户根据他在菜单中做出的选择来显示信息，例如旅游者信息，这些选择是借助用户相对于显示器的运动做出的。该系统为用户提供了具有预定信息并且数量有限的交互活动。此外，在该系统中，虽然用户可以对所显示的特定类型的信息进行搜索，但是用户只能搜索系统中已经规定的信息，也就是搜索那些与预定菜单选项相对应的信息。由此在该系统中，用户选择特定“搜索”菜单选项的处理始终会执行相同和明确定义的搜索。
本发明为内容管理系统提供了一种如附加权利要求定义的全新类型的用户接口。
本发明还提供了一种包含此类用户接口的内容管理系统。
本发明还提供了一种包含此类用户接口的内容浏览器。
本发明还提供了一种如附加权利要求所定义的用于管理用户与内容管理系统之间的交互作用的方法。
本发明还提供了一种如附加权利要求定义的计算机系统。
本发明还提供了一种如附加权利要求定义的计算机程序。
根据本发明的优选实施例，图像捕获设备查看包含了一个或多个用户的场景，并且在屏幕上显示该场景的图像。在该场景图像上，系统将会叠加与运动和/或姿态敏感窗口小部件(widget)相对应的图形元素，也就是在涉及所关联的屏幕上对运动和/或姿态做出响应的控制部件。用户可以移动其身体的一个部位(例如臂部、手等)，由此其身体部位在屏幕上的图像将会接触到所显示的窗口小部件。这样一来，举例来说，用户可以通过将其手部移经窗口小部件、向前推动窗口小部件等操作来“虚拟”操作窗口小部件。
根据本发明，描述被管理内容的元数据将会映射到一个或多个窗口小部件，尤其是那些图形元素显示在屏幕上的运动敏感窗口小部件。用户可以通过移动而使其身体在屏幕上的图像(或者更为常见的是身体部位在屏幕上的图像)移经这些窗口小部件，由此对其进行操作。在本发明的优选实施例中，这种窗口小部件的操作允许用户通过参考元数据来选择或浏览内容，并且改变元数据等等。这样做允许用户以一种参与其中的直观有趣的方式来管理相关联的内容，并且更易于执行内容管理功能和增强其体验乐趣。
根据本发明，对用户接口中的一个或多个特定窗口小部件而言，在特定窗口小部件、特定元数据项目以及内容管理功能(或一类内容管理功能)之间定义了一个关联。但是，在用户相对这个特定窗口小部件移动时，这种关联会使这时将被获取的内容管理功能动态改变，特别地，这种改变取决于与这个窗口小部件相关联的元数据。
特别地，在操作特定窗口小部件时可以获取的功能取决于“当前”可适用于与关联于该窗口小部件的特定元数据项所定义的属性的值，并且所述“当前”通常是指用户操作窗口小部件的时间。由此，在与涉及电影流派的元数据相关联的窗口小部件的情况下，如果用户在数值“西部片”适用于电影流派的时候操作该窗口小部件，那么由此产生的内容管理功能取决于电影流派值“西部片”。如果用户在数值“音乐片”适用于电影流派的时候操作该同一个窗口小部件，那么他会得到稍有不同的内容管理功能，此时该内容管理功能取决于电影流派值“音乐片”。
举个例子，设想一个第一窗口小部件，其中该窗口小部件与涉及内容项第一属性的第一元数据项相关联。例如，在这里可以定义所述第一元数据项与第一窗口小部件之间的关联，以使第一窗口小部件的操作产生一个在相关内容项集合中执行的搜索。此外，在该实例中还可以定义这种关联，以便规定该搜索应该寻找内容项，对所述内容项来说，在按照第一属性进行描述时，该内容项将会采用一个与动态定义值相同(或不同)的值，尤其是一个在用户操作第一窗口小部件时可适用的值。
可以看出的是，在对指定窗口小部件进行操作的时候，这时获取的特定内容管理功能并不完全是预先确定的，取而代之的是，该功能是根据动态变化的元数据属性值改变的。通常，在指定时间视为“适用”的属性值是适于当前在系统中的“选定”内容项的属性值。例如对音乐浏览器应用的用户接口来说，在指定时间“适用”的属性值是适于当前正在播放、最后播放或是当前选择播放等操作的音乐文件所具有的相关属性值。
但是，“当前适用的”属性值也可以采用其他方式定义例如，第一属性的“当前适用”值可以是在描述内容项时适用于第一属性的值，其中该内容项可以是当前用户特别喜欢的或当前播放次数最多的内容项，亦或是最近添加到用户收藏中的内容项等。由此，根据指定情况中有哪些选项适用，在用户改变其内容项选择，改变其指定给不同内容项的等级或者将内容项添加到其收藏等等的时候，指定属性的“当前适用”值将会改变。
根据本发明的优选实施例，指定的窗口小部件不必始终活动。但是，当其活动时，用户相对于相关屏幕上区域的运动将会导致执行一个相关联的内容管理功能，该功能取决于可以动态变化的属性值。特别地，对可以通过活动窗口小部件的操作而被获取的内容管理功能来说，该功能特别是由关联于窗口小部件的元数据项以及由适用于该元数据项的属性值在操作窗口小部件的时候隐性定义的。
可以看出的是，本发明的用户接口为用户提供了一个范围广泛和可扩展的内容管理功能。举例来说，如果使用该用户接口来管理数据项集合，并且用户向集合中添加了新的内容项(例如通过从因特网下载)，那么它有可能添加这样一个内容项，其中该内容项的属性将会采用一个未被已处于该集合中的任何一个内容项所展示的新值。如果该属性与一个窗口小部件相关联，那么在新内容项将属性值“当前适用”设置给同一个窗口小部件的时候，用户可以对这个窗口进行操作，从而获取新的内容管理功能。
例如，对控制应用于科学论文集的内容管理功能的用户接口来说，用户可以在其收藏中添加一篇论文，并且该论文是由某个著作先前尚未在集合中出现的作者撰写的。该用户接口可以包括一个与“作者”相关联的窗口小部件，其中举例来说，该小部件被调整成获取(例如从因特网)以及向集合中添加更多与显示屏上最后显示的论文具有相同“作者”的科学论文。由此，用户只要通过向其集合中添加作者X的先前著作即可获取新的内容管理功能“向集合中添加更多由作者X撰写的论文”。
从以下作为实例的本发明优选实施例的描述中可以清楚了解本发明进一步的特性、特征和优点，其中

图1是描述根据本发明并且可以使用内容管理接口的不同系统实例的图示，其中图1A描述的是将计算机监视器用于显示的系统；以及图1B描述的是将后投影屏幕用于显示的系统；图2是描述根据本发明优选实施例用于产生内容管理接口的各种基本组件的框图；图3是描述在图2的内容管理接口中使用的窗口小部件管理器中的组件实例的图示；图4是一系列示意性描述根据本发明优选实施例所产生的屏幕上视图中的某些实例的图示，其中图4A描述的是滚动列表窗口小部件的应用；图4B描述的是用于浏览内容的被映射元数据窗口小部件的应用；以及图4C描述的是滑动器(slider)窗口小部件；图5是描述根据在音乐浏览器应用中实施的本发明优选实施例而产生的屏幕上视图实例的一系列照片；图5A描述的是滚动列表窗口小部件的应用；图5B描述的是用于浏览内容的被映射元数据窗口小部件的应用；图5C描述的是一个滑动器窗口小部件；以及图6描述的是图5音乐浏览器应用中的不同的屏幕上呈现。
本发明可以被视为是用以解决如何实现参与其中的实时内容管理问题的虚拟现实领域中产生的技术的应用。
虚拟现实系统寻求为用户提供一个可交互(通常是借助于数据手套之类的附件)的参与性沉浸式环境。“投影的现实”则是虚拟现实系统的一种形式。
在“投影现实”系统中，用户图像显示在屏幕上，该屏幕同时还显示用户可与之交互的环境的图像。在投影现实系统中，用户不需要使用任何附件，他可以简单地通过移动其身体以及观察其在屏幕上的图像相对于被显示环境的移动而与所显示的人造环境进行交互。用户则会被投影式的人工现实所吸引，并且采用一种有趣直观的方式来与之交互。
在根据本发明的内容管理接口的优选实施例中，用户图像显示在屏幕上，该屏幕同时还显示了可供用户虚拟交互的某些图形元素(窗口小部件)，以便以预期方式管理相关内容。用于描述内容的元数据被映射到用户可操作的图形“窗口小部件”元素上。用户则实时与该接口交互，这其中不需要使用特殊附件(例如数据手套)或外围设备(例如键盘)来向该接口输入命令。
本发明的内容管理接口可以在多种不同的物理系统中实现。
举例来说，如图1A所示，本发明的一个优选实施例提供了一个内容管理接口，该接口是用个人计算机1以及相关的外围部件实现的，这些外围部件包括成像设备2(例如网络摄像头、Sony的Eye ToyTM等等)和监视器屏幕3。用户希望交互的内容可以保存在个人计算机1的存储器中，或者可以采用其他方式由计算机1进行访问(例如借助网络连接、通过将CD-ROM、DVD等媒体插入计算机的恰当驱动器等等)。用户在成像设备2的前方四处活动，并且观察其在监视器屏幕3上的显示图像如何相对于同样显示在监视器屏幕上的内容管理接口图形元素进行移动。他可以简单地通过移动其身体来操作那些其图形元素被显示的窗口小部件中的不同的一些窗口小部件，由此可以对内容进行管理。
图1B描述的是可以实施本发明的内容管理接口的系统的一个不同实例。在本范例中，图像捕获设备5借助系统控制器7而将用户图像馈送到后投影屏幕6。
如上所述，为了创建根据本发明的内容管理接口，有必要使用成像设备和显示屏。但是现今有很多此类接口的潜在用户已经拥有了具有监视器屏幕和网络摄像头的个人计算机(如图1A中那样)。此外，他们还有可能拥有内容管理应用软件。因此，本发明的某些实施例只包含了用于产生和管理内容管理接口自身的软件。本发明的其他实施例则包括自身执行内容管理以及产生和管理内容管理接口的软件。此外，本发明的其他实施例还包括硬件部件(例如涉及成像或显示)以及上述软件。
应该指出的是，本发明是在多用户环境和单用户环境中工作的。在多用户环境中，对可以为系统成像设备所看到的所有用户来说，其图像都会经过处理并显示在屏幕上，并且可以与接口中的部件交互。为了简明起见，以下的描述论述的是在成像设备视野中只有单个用户的情况。本领域技术人员很容易理解本教导如何被扩展到存在几个用户的情况中。
下列功能是由图1A的实例中的个人计算机以及图1B的实例中的系统控制器7执行的-对用户图像在屏幕3(或6)上的显示进行控制-对接口中其他图形元素(窗口小部件等等)在用户图像上的覆盖进行控制，-检测用户命令(用其与接口中显示的图形元素的虚拟交互来表述)，-执行针对用户命令的响应(依照内容管理，例如回放用户选定的视频序列，导航到用户选定类型的URL，在本地或远端集合中搜索特定类型的内容等等)。
对实施本发明的内容管理接口的系统来说，它还可以执行附加功能，这些功能包括但不局限于-向集合中添加内容项；-从集合中删除内容项；-改变用于组织该集合的数据结构等等。
这些附加功能既可以借助根据本发明的接口执行，也可以借助某些其他手段执行(例如使用与用户必须实际操作的输入设备相关联的常规应用软件)。
可用于如下功能的技术都是已知的-捕获和分析包含用户的场景图像，-将用户与背景相隔离，-通过分析经过处理的图像来检测用户运动和/或姿态(并且评估所述运动/姿态的参数，例如速度、持续时间和运动方向等等)，-将场景图像与屏幕上显示区域相关联，-识别与用户运动/姿态相对应的屏幕上区域，并且确定所述运动/姿态的特性(例如速度、方向等等)，以及-将用于产生场景的屏幕上图像的视频数据与表示接口中的图形元素的视频数据相结合。
举例来说，通过使用诸如光流检测、平均移动算法和轮廓检索之类的技术，可以检测到用户的手部在图像中的运动。因此，在这里不必详细描述这些功能以及用于实现这些功能的手段。这些功能通常在软件中实施就足够了，但是硬件实施方式以及混合的硬件/软件实施方式同样是可以使用的。
图2是用于处理实现本发明优选实施例的上述功能所需要的图像处理和计算的基本部件中的视频核心10的框图。
如图2所示，视频处理核心10与一个表示窗口小部件管理器20的模块相连，其进而与内容管理器(未显示)交互。通常，内容管理器包含了用于处理针对内容的物理访问的应用软件。该内容管理器可以集成在用于产生本发明的内容管理接口的系统(例如软件)中，或者也可以处于该系统的外部。在后续描述中，假设内容管理器包括处于图2所示系统外部的应用软件，其中该应用软件是用于创建和管理内容管理接口的。
窗口小部件管理器20保持了为内容管理接口定义的窗口小部件编目，并且该窗口小部件管理器20可以视为是具有用于每个窗口小部件的控制器。所述编目包含了用于管理每个窗口小部件操作所需要的所有信息，其中包括指示将哪个屏幕区域视为用于该窗口小部件的“可操作区域”的信息，该窗口小部件的当前状态如何(也就是当前处于活动还是未活动)，应该在屏幕上显示哪个(或哪些)图形元素来表示该窗口小部件(以及在何处)，对于哪个(或哪些)操作模式激活该窗口小部件，等等。
窗口小部件管理器20可以作为三个主要模块来实现-第一模块，该模块具有允许其与视频核心10中的运动检测部件交互的功能，-第二模块，该模块具有产生视频数据所需要的功能，其中该视频数据表示的是将要在屏幕显示区域为不同窗口小部件显示的图形元素，以及-第三模块，该模块具有与内容交互以及管理内容所需要的功能，这个功能是使用该接口的特定应用所必需的。
很明显，如果窗口小部件管理器20与内容管理之间的通信导致内容管理接口阻塞或迟延(也就是在对用户命令即运动的反应中存在延迟)，那将是非常不理想的。为了避免这个问题，对窗口小部件管理器20来说，较为有利的是为其不同模块使用单独线程(也就是独立的并行计算进程)。
窗口小部件管理器20可以在用于实现本发明的多种接口中使用，这些接口在内容管理上下文(例如在音乐文件的本地收藏中浏览，在因特网上搜索科学论文等等)方面以及所包含的窗口小部件数量和特性方面存在很大差异。由此，窗口小部件管理器20的细节实施方式可以随接口不同而具有很大改变。
此外，基本视频处理核心10的细节实施方式是根据实施内容管理接口的整个技术系统而改变的——例如根据成像设备和显示屏特性、根据编程环境等等。
出于这些原因，如果构建一个允许使用公共模块集合来构造根据本发明的不同接口的通用开发人员软件包(kit)，那将被认为是非常有利的。这种通用开发人员软件包包括-通用视频组块库(用于视频的捕获、处理和可视化(visualization))，-通用窗口小部件用户接口组块库(用于与窗口小部件相关的处理，其中包括产生窗口小部件的图形表示数据)，以及-能以不同方式将视频组块与窗口小部件用户接口组块参数化并相互关联的工具软件包。
这种通用的开发人员软件包是用编程语言C++构造的，此外还可以发现，在诸如Java之类的不同编程环境中，相同的基本组块库可以通过添加介于Java与C++之间的附加层而被重新使用。
根据本发明的内容管理接口可以被构造成是完全配置的、完全可定制的、或是具有某些已被配置的参数以及能够由用户定制的其他参数。如果存在可以由用户配置的接口参数(例如哪些元数据可以映射到窗口小部件上、窗口小部件布置、哪些图形元素可被使用等等)，那么该接口可以配备一个配置模块，以便处理针对用户的选项呈现，以及根据用户选择来准备配置数据。该配置数据可以提供到窗口小部件管理器20，由此可以完善恰当窗口小部件的编目。
在图2的实施例中，对图像信号来说，无论该信号来自哪一个用于获取包含用户的场景的成像设备，该信号都会被馈送到视频处理核心10(例如帧抓取器11)。并且所述图像将会根据需要而被预处理，例如，该预处理可以使用图像翻转器12(它对输入数据执行任何希望的水平或垂直反射变换)以及图像转换器13(它可以改变输入图像的颜色空间，例如将每通道具有8比特的RGBA改为32比特的灰度级)来实施。经过预处理的视频数据将被提供到运动遮罩(mask)生成器14，并且该生成器将会计算连续视频帧之间的强度差。通常，在帧差别数据上将会应用抗噪声滤波和阈值处理。然后，经过滤波的帧差别将被提供到一个区域上运动检测器15。
对每个窗口小部件来说，屏幕上哪些像素块是该窗口小部件的“可操作区域”都是已知的。此外，区域上运动检测器15接收的视频信号的不同部分之间的关联以及不同的屏幕位置同样是已知的。因此，区域上运动检测器可以被配置成只监视视频信号中那些与窗口小部件可操作区域相对应的区域。对每个窗口小部件来说，区域上运动检测器15通过应用适当的算法来确定在该窗口小部件可操作区域中是否存在用户运动，如有需要，该检测器还确定该运动的特性(参见下文)。
现在，举例来说，由于认为窗口小部件发生运动，或者窗口小部件已被激活或去激活，因此，由区域上运动检测器15监视的可操作区域可以改变。因此，区域上运动检测器15必须就哪些可操作区域可在任何给定时间得到监视而被更新。优选地，这种更新是由窗口小部件管理器20执行的。此外，在定制/建立该接口时(在制造时执行，或者在许可该处理的实施例中由用户执行)，这种处理将会满足窗口小部件创建/删除处理的需要。
已经发现，为了确定指定区域中是否发生运动，区域上运动检测器15将会处理已滤波帧差别的布尔矩阵时间序列，在这种情况下，该接口将会以令人满意的方式工作。这代表了这样一种妥协，那就是对计算进行简化但是仍旧产生可接受的接口性能。
在本发明的优选实施例中，区域上运动检测器15将会考虑跨越特定时间间隔的视频帧——其中该时间间隔通常介于半秒和1秒之间(举例来说，它可以表述为具有持续了最后n帧的运动，n是可以为不同窗口小部件而被不同地定义的整数)——以便确定是否发生运动。这样做有助于区别真实和有目的的用户运动，并且将其解释为接口控制和随机运动(噪声)是恰当的。
此外，对特定窗口小部件来说，仅仅确定在指定屏幕上区域中出现运动可能是不够的，其他运动参数有可能很重要，举个例子，对可滚动列表窗口小部件来说，重要的是知道运动的方向和速度。区域上运动检测器15则被设计成执行可能需要的任何此类处理。
图3是一个用户图像，其中该图像(如上所述)经过处理而会高亮显示那些运动中的用户区域。这些高亮显示的区域可被视为是用户用以激活不同接口部分的控制表面。
如果区域上运动检测器15确定在指定窗口小部件的可操作区域中存在运动，那么它会产生一个名为“事件”的信号。窗口小部件管理器20具有侦听器，该侦听器将会监视此类事件的发生，如果发生此类“事件”，那么该侦听器将会触发由恰当窗口小部件控制器执行的操作(该控制器可以是用于所有窗口小部件的单个控制器，或是专用于特定窗口小部件的一组控制器)。如果存在关联，那么区域上运动检测器15会在“事件”信号中包含与运动特性相关的信息。
窗口小部件管理器20的窗口小部件控制器通过为其相应的窗口小部件指定所要执行的功能来对用户运动信息做出响应。该处理通常包括与产生图像数据的窗口小部件管理器模块进行交互(由此产生、移动或改变适于窗口小部件图形表示的图像数据)，并且还会与用于处理与内容管理器之间通信的模块进行交互(以便实现用户希望的内容管理)。
根据公知常识，本领域技术人员很容易理解如何对窗口小部件管理器20进行设计，以便能够执行上述功能。因此，在这里是不必详细说明该主题的。
不同窗口小部件产生的图像数据转发到图像渲染器16(也可以为其供应重叠在用户图像上的其他图形元素的图像数据)。图像渲染器16会向视频混合器17提供相应的视频数据，并且借助图像显示接口18而在显示器上提供相应的视频数据。视频混合器17还会接收与用户图像相对应的图像数据(更确切的说是成像设备成像的场景)。通常，该视频数据会在图像大小缩放器19中得到处理，由此视频数据大小将会与显示屏大小相适合。
如上所述，本发明的内容管理接口使用的是“窗口小部件”，也就是与显示屏特定区域相关的控制部件。对某些窗口小部件来说，这种关联可以是动态的。根据本发明的优选实施例，当在屏幕上显示用户运动时，该用户运动“处于”与窗口小部件相关的显示屏区域中，并且该运动将被解释成是窗口小部件操作。在某些屏幕区域中，其中将用户的屏幕上图像的运动视为是对窗口小部件进行操作，这些屏幕区域可被称为窗口小部件的“可操作区域”。
本发明使用的是与描述被管理内容的元数据存在关联的窗口小部件。元数据可以具有不同形式，这一点取决于被考虑的内容特性。下表1给出了不同类型的元数据的某些实例，其中这些元数据通常是与不同类型的内容相关联的。应该指出的是，表1中的不同类型的内容的列表以及不同类型的元数据的实例并不是穷举性的。
表1
表1列举了两个类别中的元数据“非固有特征”元数据和“固有”特征元数据。应该指出的是，一般来说，为“非固有”特征列举的元数据是指与创建内容的环境相关的特性。相比之下，列举成与“固有”特征相关联的元数据涉及的是内容本身的特性。在很多情况下，涉及内容固有特性的元数据可以通过恰当分析内容而被自动确定(也就是在没有先验知识的情况下)。另一方面，涉及“非固有”或“环境”特征的元数据是无法在没有先验知识的情况下确定的。
通过参考其涉及的是相关内容的“非固有”还是“固有”特征进行的上述元数据分类是以元数据特性的经验性考虑为基础的，它并不反映这个领域中的标准方法。
在指定的应用中，描述内容的元数据是依照某些定义了被描述属性(并且为这些属性分配了名称)的模式进行组织的。由此，指定的内容项在理论上具有将某个值指定给依照该模式定义的每个属性的元数据。
例如，绘画集合可以使用这样一个模式，根据该模式，在这里定义了用于给出画家姓名的第一种元数据“艺术家”，列举绘画标准名称的第二种元数据“标题”，以及指示该绘画采用的是油画颜料、水彩画颜色还是彩色蜡笔的第三种元数据“介质”。在这种情况下，对特定绘画、比方说Leonardo da Vinci的“Mona Lisa”来说，该绘画可以具有下列相关元数据<Artist(Da Vinci，Leonardo)><Title (MonaLisa)><Medium(Oils)>
在根据本发明的内容管理接口的优选实施例中，所使用的是与特定类型元数据相关联的窗口小部件。这种关联可以在制造时规定，或者在配置阶段规定(由制造商、用户或系统自身规定)。因此，一旦配置了该接口，那么将预期会发现与其所要管理的每个内容项相关联的某些类型的元数据。
当用户获取内容时，他通常会同时获取相关联的元数据，而他对此甚至会一无所知。例如，当计算机用户使用音乐共享应用软件而从文件共享网络下载曲目时，该曲目将会加载到本地计算机存储器保持的数据库中，用以标识表演者、曲目标题、专辑等等元数据则通常会同时加载到数据库中(无论是否向用户显示)。通常，对根据本发明的接口来说，该接口是很容易与那些保持在与被管理内容相同的数据库(或是相关联的数据库)中的元数据一起工作的。
但是有可能存在这样的情况，其中用户希望访问的内容不具有相关联的元数据，或者至少缺少依照本发明的接口预期发现的某些类型的元数据。在这种情况下，不同的解决方案都是可行的。对于被映射到遗失类型的元数据的接口窗口小部件来说，该窗口小部件在屏幕上是用图形元素表示的，其中该图形元素代表的是为选定内容项(例如为选定的曲目、演唱者国家的国旗)指示该类型的元数据值的图标。在这种情况下，可以显示替换的图标，该图标表明该类型的元数据的值是未知的。
作为替换，在这里有可能出现这样的情况，其中可以通过例如参考该接口所具有的该内容项的数据来查阅一个目录或数据库，由此获取遗失类型的元数据。例如，该接口可以通过向因特网电影数据库(http://www.imdb.com)发送电影标题和发行年份来寻求描述电影的元数据，或者它也可以通过向MusicBrainz数据库(http://www.musicbrainz.org)等等发送曲目的MusicBrainz ID来寻求描述该曲目的元数据。
如果遗失的元数据是描述内容“固有”特征的元数据，那么还存在另一种可能性；其中该接口可以包括一个模块，该模块能够通过内容分析而自动提取遗失类型元数据的值。举例来说，如果内容管理接口是在为文档管理配置的上下文中实施的，那么它可以配备一个通过文本统计分析而从文档中提取关键字的模块；在为音乐浏览配置的上下文中，它可以包括用于自动评估乐器敲击、能量(energy)等的模块。
对通过操作根据本发明的内容管理接口中的窗口小部件所获取的结果来说，该结果的特性是根据窗口小部件类型改变的。本发明的优选实施例使用了多种不同类型的窗口小部件，其中尤其包括-可滚动列表窗口小部件在屏幕上，这些部件是作为显示列表的区域表示的，该列表可以在不同方向滚动或者根据用户运动而停止，此外，用户可以通过在滚动列表窗口小部件屏幕区域内部的恰当的屏幕上位置中运动而从列表中进行选择——该列表通常是一个具有由与特定类型的元数据相对应的属性获取的值的列表，这些值则可以使用包括图标在内的任何便利表示来进行表述；-映射元数据窗口小部件这些窗口小部件通常是将表示不同类型元数据的图标映射到显示屏上的相应指示区域——通过虚拟“触摸”显示图标，用户可以参考相应元数据来管理内容(例如搜索具有这个元素的相同值或不同值的更多内容等等)。此外，通过对映射元数据窗口小部件进行设计，可以使用户在操作该窗口小部件时能够将内容项的元数据(通常是“当前选定的”内容项)设置成其希望的值——这其中可以包括使用与另一个窗口小部件相关联的映射元数据窗口小部件(例如可滚动列表窗口小部件，该部件可以显示元数据可被设置成的值的不同选择)。
-模式选择器窗口小部件举例来说，这些窗口小部件允许用户改变接口显示模式/工作模式，由此其在屏幕上的某些位置将会从显示第一组窗口小部件改为显示第二组窗口小部件；-可以选择性激活的窗口小部件这些窗口小部件可以根据需要而被激活或去激活，例如，它们可以因为用户选择了不需要相应控制的接口显示模式而被去激活(并且不再显示相应图形元素)——在窗口小部件去激活时，该窗口小部件将会忽略与之关联的可操作区域中的屏幕上活动；-跳动式(toggling)窗口小部件这些窗口小部件与一对功能相关联，并且用户操作将会促使在这两个功能之间进行跳动；-占位符窗口小部件这些窗口小部件充当的是其他窗口小部件的占位符，由此不需要连续显示其他窗口小部件(这些窗口小部件有可能占用很大的屏幕上区域)；-包括“滑动器窗口小部件”在内的可移置窗口小部件对表示这些窗口小部件的整个或部分图形元素来说，其在屏幕上的位置可以根据用户操作而改变——“滑动器窗口小部件”为用户提供了物理滑动器象征(参见下文)——该窗口小部件的可操作区域可以相应于与该窗口小部件相关联的图形元素移动而在不同时间指定到屏幕上的不同区域，以及-回放控制窗口小部件这些窗口小部件对于为用户的某些内容的回放进行控制，举例来说，这些窗口小部件可以使用与常规媒体播放器设备上的控制相对应的图形元素来表示(例如播放、暂停、快进、跳到下一个音轨/场景等等)。
应该理解的是，单个窗口小部件可以具有两种或多种上述类型，例如，一个窗口小部件可以既是映射元数据窗口小部件又是可选择性激活的窗口小部件，可以既是映射元数据窗口小部件又是滑动器部件，并且可以既是映射元数据窗口小部件又是滚动列表窗口小部件等等。
通常，对于每个窗口小部件来说，一个图形元素会在屏幕上显示，由此将会占用窗口小部件的可操作区域——这样做将会为用户提供可视参考，由此允许其了解他必须“在哪里”移动其屏幕上图像，从而操作该窗口小部件。但是，对于为窗口小部件显示的图形元素以及该窗口小部件的可操作区域来说，如果图形元素位置适于向用户发出提示，由此其相对于图形元素的活动将会需要窗口小部件可操作区域中的活动，那么在该图形元素占用的像素块与所述可操作区域之间的精确的一对一关系并不是强制性的(所显示的图形元素可以略小于或大于窗口小部件的可操作区域，和/或与之略微偏离)。
由于在不同窗口小部件可操作区域之间的重叠性有可能增大关于指定用户活动的解释的不确定性(系统很难确定用户希望激活的是附近/重叠区域中的哪些窗口小部件)，因此较为优选的是在不同窗口小部件的可操作区域之间保留一定空间。
但是目前发现存在这样的情况，即使两个窗口小部件具有邻接的可操作区域，系统还是可以正确地将活动指定到恰当的窗口小部件。这样则有可能设计出一种接口，在该接口的显示屏中将会使用配对的窗口小部件，其中一个是“主窗口小部件”，与其配对的另一方则是“标签窗口小部件”。该标签窗口小部件在屏幕上是用图形表示描绘的，其中该图形表示是指示与主窗口小部件相关联的某些性质的标签。在屏幕上，主窗口小部件可以用图标表示。配对窗口小部件的可操作区域处于接近于显示屏的位置(其图形表示也是如此)。用户可以进行移动，以使其图像相对于配对窗口小部件中任何一个部件的可操作区域的图像发生运动并且获得执行与这个配对窗口小部件相关联的功能。
如果在显示器上有过多窗口小部件需要可操作区域，那么每个可操作区域的大小必然很小，并且很难精确确定用户是否正在操作指定窗口小部件。由此，举例来说，较为优选的是使用不同操作模式来优化屏幕空间使用，以使实现特定功能的不同窗口小部件集合只在被需要时在屏幕上显示。
窗口小部件可以采用任何便利方式而以图形方式显示。通常，窗口小部件是用一个描述有限制区域的图形元素表示的。很明显，该有限制区域的形状可以根据需要来设置，特别地，该形状不必采用本申请的附图中描绘的形状。在本发明的优选实施例中，窗口小部件的图形表示会在操作窗口时改变，例如，它可以闪光或改变颜色(临时性或者在“关闭”之前，例如通过操作某些其他窗口小部件)。这样做能使用户认识到该接口将他的其中一个动作登记为命令。
窗口小部件的其他图形表示同样是可以使用的，尤其是作为用户可以从日常物体中熟悉的物理控制元素象征的图形表示。就此而论，应该指出的是，本发明的优选实施例使用了一个作为滑动器象征的图形元素。
“滑动器”图形元素在显示屏上占用了一个细长区域，通常，该部件描述的是外部边界以及包含在该边界以内的填充符。该填充符从这个细长边界的一端延伸到另一端，并且根据用户如何设置与该窗口小部件相关联的参数的方式而占用了该窗口小部件中的某个可变部分。滑动器窗口小部件可以被很好地改编来使得用户能够控制连续可变参数，例如音频音量、图像照度等等。在确定如何解释应用于滑动器窗口小部件的用户命令时，有两种方法是可以采用的a)设想用户的屏幕上图像相对于滑动器图形元素区间所移动的位置(例如处于“高”端、沿着路径的三分之一等等)，并且将相关联的参数设置成一个与参数范围内部的位置相对应的值，由此在需要时执行参数的步进变化，或者b)设想用户是否移动到“填充符”顶端位置，如果已经移动到该位置，则尝试确定他试图“移动滑动器”的方向——然后则连续不断地改变相关参数，直至用户滑动器位移停止。
这两种方法都有可能需要对用于滑动器窗口小部件的可操作区域进行不同定义(也就是，对应于滑动器图形表示的整个屏幕上区域，或者仅仅是在“填充符”末端周围的区域)。
现在将参考图4～6来描述根据本发明优选实施例的不同类型的窗口小部件及其在内容管理接口中的应用。
图4A～4C是描述根据本发明优选实施例在一个内容管理接口中在显示屏上放置了多个窗口小部件图形元素的实例图示。为了简化说明，图4A～4C并未显示在实践中叠加了这些图形元素的用户图像。
图5A～5C涉及的是根据本发明并且用于音乐浏览器应用的内容管理接口实例，并且还显示了包含图4A～4C所示的某些窗口小部件实例的屏幕显示。
如图4A所示，在一个显示模式中，根据本发明优选实施例的内容管理接口显示了可滚动列表窗口小部件SLW、两个模式选择窗口小部件MSW、回放控制窗口小部件PCW以及占位符窗口小部件PHW(在这种情况下是稍后将论述的用于音量滑动器窗口小部件的占位符)。
可滚动列表窗口小部件SLW对列表显示以及列表项目选择进行控制。根据本发明的优选实施例，列表项目包括不同的值，这些值可以指定给属性，所述属性则是由关联于内容的某种元数据定义的。图4A描述的是可滚动列表窗口小部件SLW显示标题列表的实例，其中该标题列表是穿越显示屏顶端滚动的。很明显。在屏幕上显示滚动列表的特定位置并不重要；它也可以穿越屏幕底部，在屏幕的一侧从顶到底(反之亦然)，从屏幕上绘制的窗口的一端到另一端等等。此外如上所述，可滚动列表中的项目未必是单词，它们也可以是列表项目的某种符号表示(例如图标)。
当用户进行移动并且由此其身体部位的图像(例如其臂部、手或手指)在用于显示受可滚动列表窗口小部件控制的屏幕区域中移动时，这时的结果将如下所示-如果用户移动并且由此其手/手指的图像在显示可滚动列表的屏幕区域的右端移动，那么该列表将朝左滚动(也就是还原到在屏幕右侧退出的屏幕项目)；-如果用户移动并且由此其手/手指的图像在显示可滚动列表的屏幕区域的左端移动，那么该列表将会朝右滚动(也就是还原到在屏幕左侧退出的屏幕项目)；以及-如果用户移动并且由此其手/手指在显示可滚动列表屏幕中心区域的区域中移动，那么在屏幕中心列举的项目将会因为某些目的而被选择(在存储器中将会有一个相关联的文件来记录在指定时间处于中心屏幕区域的是哪一个列表项目)。
在本发明的优选实施例中，通过设计可滚动列表窗口小部件的控制器，可以使列表滚动速度关联于被检测用户手/手指图像在显示可滚动列表的屏幕区域右端和左端区域中的移动速度。
此外，在本发明的优选实施例中，通过设计可滚动列表窗口小部件的控制器，可以只在显示列表的屏幕区域右端或左端具有连续运动的时候执行列表滚动；如果运动停止，则列表停止滚动。但是，可滚动列表窗口小部件的控制器也可以被设计为即使在用户停止移动的情况下也保持列表滚动。其他一些操作同样可以用作触发器来停止列表滚动，例如用户虚拟地轻敲显示该列表的屏幕区域的特定位置。
图5A是根据本发明一个优选实施例而在使用音乐浏览接口的过程中获得的屏幕显示照片。该照片显示了一个处于屏幕顶端的可滚动列表窗口小部件，它显示的是Rolling Stones的不同曲目的标题列表。用户通过移动其臂部来停止滚动列表，由此其手指图像会在被显示列表的中心移动。如果持续地虚拟“轻敲”该屏幕上的区域，那么将会导致选择一个标题被显示在可滚动列表区域中心的曲目，即“Out ofTears”。相对于所列举的其他标题而言，选定的曲目标题将会变灰，由此向用户显示其做出的曲目选择已被系统登记。在本发明的这个实施例中，该标题选择将会导致自动回放曲目“Out of Tears”。但是，选择滚动列表中列举的项目还有可能导致某些其他相对于与该项目相关联的内容的操作。举例来说，如果滚动列表是不同电影流派列表，那么对列表中特定流派所进行的选择将会导致显示选定流派中的一部随机选择的电影，或者显示选定流派中的可用电影的列表等等。
附带地，虽然在上文中指出用户是通过停止滚动操作并且通过在屏幕中心选择项目而从滚动列表(或可滚动列表)中选择项目的，但是该选择也可以采用别的方式进行。例如，通过定义该窗口小部件，可以使得在被显示列表中的任何位置执行的“操作”都会选择出现在该位置的列举项目。此外，在做出选择之前不必停止列表滚动(虽然较为便利的是在系统注意到用户选择的时候停止滚动，因为这样做将会为用户提供另一个关于其命令已被系统登记的可视提示)。
回到图4A，现在应该设想的是在用户移动并且由此其手/手指图像移经表示回放控制窗口小部件PCW的图形元素时出现的情况。图4A描述了这样一种情况，其中表示回放控制窗口小部件的图形元素是常规媒体播放器按钮的象征。更特别地，在图4A所述的实例中，回放控制窗口小部件的操作会在“回放”与“暂停”功能之间跳动。换句话说，如果一个曲目或者电影正在回放给用户，则他能够通过进行移动来使得其手部的图像“按下”播放/暂停回放控制窗口小部件的屏幕上表示来“暂停”所述曲目/电影。
在图4A的实例中，可以使用两个分开的窗口小部件，一个窗口小部件用于播放功能，分开的窗口小部件用于暂停功能，但是有利的是将这两个功能组合到一个跳动式窗口小部件中，以便减少在显示器上需要具有不同可操作区域的不同窗口小部件的数量。优选地，关于轮换窗口小部件所显示的图形元素将会改变，从而反映该窗口小部件的状态。举例来说，如果当前正在回放某些内容，那么使用表示“暂停”功能的图形元素/图标来表示轮换性的播放/暂停窗口小部件将是非常有益的——这样做能使用户在操作该窗口小部件的情况下了解接下来将会获取的功能。
对在根据本发明的内容管理接口中使用的回放控制窗口小部件来说，其数量和特性是取决于特定应用的。例如，在管理曲目、电影等内容的时候，较为恰当的是使用一个或多个回放控制窗口小部件，其中每个窗口小部件都象征了常规媒体播放器上的某个按钮(例如停止、快进、跳到下一章等等)。另举一例，在管理文档时，较为恰当的是使用一个或多个与“向下翻页”、“下一页”、“最后一页”等功能相关联的回放控制窗口小部件。
图4A所示的占位符窗口小部件PHW是一个允许用户调用与当前未被显示的另一个窗口小部件相关联的功能的占位符。优选地，如图4A所示，在占位符窗口小部件的图形表示上提供了一个图标，由此指示可以由该占位符的操作所调用的功能特性。当用户移动并且由此其手/手指的图像移经占位符窗口小部件的图形表示时，该占位符窗口小部件的控制器将会去激活占位符窗口小部件，并且改为激活与被调用的功能相关联的窗口小部件。
在图4A中，占位符窗口小部件是用表示扬声器的图标标记的，并且它是一个用于表示音频音量的滑动器窗口小部件的占位符。图4C描述了这样一种情况，其中占位符窗口小部件PHW由用户进行操作，由此导致从屏幕中移除表示该占位符窗口小部件的图形元素，并且显示一个代表滑动器窗口小部件SW的图形元素。
在本发明的优选实施例中，当占位符窗口小部件与另一个窗口小部件相关联时，控制所述另一个窗口小部件的窗口小部件控制器被设计成监视用户在与所述另一个窗口小部件相关联的可操作区域中的屏幕上运动的持续时间。这样做能使窗口小部件控制器去激活所述另一个窗口小部件，并且在用户运动停止之后的预定时间重新激活占位符窗口小部件。这样一来，所述另一个窗口小部件只在用户真正对于控制与所述另一个窗口小部件相关联的功能感兴趣的时段中才是活动的(并且其图形表示才会被显示)。
本发明的优选实施例使用了与滑动器窗口小部件相关联的占位符窗口小部件。目前已经发现的是，对滑动器窗口小部件、尤其是那些可操作区域接近于显示屏边缘的滑动器窗口小部件来说，当用户进入和离开成像设备视野时，这些窗口小部件是很容易虚假操作的。通过使用占位符窗口小部件，由于滑动器窗口小部件只在相对较短的时段中活动，因此可以阻止(或者至少急剧减少)这种滑动器的虚假操作。
图4A所示的模式选择窗口小部件MSW允许用户在不同接口操作模式之间进行选择，在本范例中则是模式A和模式B。每个接口操作模式都与一种不同显示模式相关联。图4A涉及的是选择模式A的情况，这导致在屏幕顶端显示可滚动列表窗口小部件SLW。在图4B和4C中，用户选择了模式B，并且在屏幕顶端显示了三个映射元数据窗口小部件MMW，代替可滚动列表窗口小部件SLW。
为了操作图4A所示的模式选择窗口小部件，用户可以进行移动，由此如果其手/手指移经表示被选择的接口操作模式的图形元素时，那么该屏幕上的图像。举例来说，接口操作模式A可以与一种操作模式相对应，在该模式中，用户可以借助特定表演者而从标题滚动列表中进行选择，从而选择曲目，此外，接口操作模式B可以对应于这样一种操作模式，在该模式中，用户通过类别来浏览曲目(不同类别是用不同映射元数据窗口小部件表示的)。
在本发明的优选实施例中，在表示模式选择窗口小部件的图形元素上显示了图标。这样做能使用户在选择与这些窗口小部件相关联的不同操作模式时理解自己在选择什么。应该指出的是，图4A显示的是能使用户在不同的接口操作模式之间进行选择的单独的窗口小部件(以及图形元素)。作为替换，跳动式窗口小部件控制模式选择同样是可以使用的。很明显，如果有两种以上的操作模式，那么可以定义数量增加的模式选择器窗口小部件，或者可以使用一个具有两种以上的状态的跳动式窗口小部件。图4B和4C描述了在屏幕顶端显示的是三个映射元数据窗口小部件。这其中的每一个映射元数据窗口小部件都与一种相应类型的元数据相关联，并且优选地显示一个用于表示元数据类型的图标。举例来说，第一元数据映射窗口小部件可以映射到涉及曲目表演者的国家的第一种元数据MD1，第二元数据映射窗口小部件可以被映射到涉及曲目流派的第二种元数据MD2，第三元数据映射窗口小部件可以被映射到涉及曲目表演者的第三种元数据MD3。
当用户移动并且由此其手/手指的屏幕位置在元数据映射窗口小部件的可操作区域中移动时，他会操作该窗口小部件。而窗口小部件的操作结果则取决于窗口小部件控制器的配置。
更特别地，窗口小部件控制器将会定义特定元数据属性与内容管理功能之间的关联。当用户运动表明该窗口小部件正被操作时，窗口小部件控制器将会根据“当前”适用于指定元数据属性的值来触发执行内容管理功能。窗口小部件控制器可以推迟其对指定属性的当前适用值的判定，直至对该窗口小部件进行操作的时刻为止，此外它也可以持续(或周期性)监视指定属性在用户接口受到操作时的变化。
在涉及内容浏览应用的本发明的优选实施例中，当选择某个内容项进行访问时(回放、显示等等)，映射元数据窗口小部件将会映射到适用于选定项的元数据值——举例来说，如果当前选定的曲目具有很快的节奏，那么与元数据类型<Tempo>相关联的映射元数据窗口小部件将会映射到元数据<Tempo(Fast)>。然后，用户可以搜索、浏览内容，并且可以参考当前选定项目的元数据来做出选择。
在这个上下文中，根据当前选定曲目的元数据，与第一种元数据——例如<Tempo(Fast)>——相关联的元数据映射窗口小部件的控制器可以被设计成在操作该窗口小部件时，窗口小部件控制器命令选择与该元数据具有相同的值的更多内容，也就是具有元数据<Tempo(Fast)>的更多曲目。作为替换，窗口小部件控制器可以被设计成将映射到<Tempo(Fast)>的窗口小部件操作解释成是用户的一个命令，即将当前的选择改成具有不同的此种类型的元数据的值的选择(例如选择不具有元数据<Tempo(Fast)>的新曲目)。该接口可以通过在用户指示的类别中进行随机选择或是通过执行一个顾及了某些用户首选项的选择来响应用户的“新曲目”(更为概括的是“新内容”)选择。这种用户首选项可以明确表述，也可以由系统自动确定(例如通过汇编与用户过去的内容访问相关联的统计信息)。
在上述实例中，当选择某个内容项以进行访问(播放、显示等等)时，映射元数据窗口小部件将会映射到适于选定项目的元数据的值。但是，本发明并不局限于这种用于确定映射给指定窗口小部件的“当前适用”属性值的方法。其他的可能性包括将窗口小部件映射成适合下列各项的属性值用户给出了最高等级的内容项(在当前时间)，播放最多的内容项目，最近添加到用户收藏中的内容项等等。
在本发明的优选实施例中，对于表示被映射到当前选定内容项的元数据的窗口小部件的图形元素来说，该图形元素是一个代表元数据的图像(例如对元数据<Performer(Rolling Stones)来说，乐队“Rolling Stone”的照片可以用作当前表示该窗口小部件的图形元素>)。在“当前选定的”内容项改变时，具有相关联的映射元数据窗口小部件的特定类型的元数据的值有可能发生变化。表示该窗口小部件的图形元素也会因此而改变。举例来说，如果当前选定的曲目从具有<Performer(Rolling Stones)>的“Satisfaction”改成具有<Performer(The Beatles)>的“Twist and Shout”，那么表示与当前选定曲目的<Performer>元数据相关联的映射元数据窗口小部件的图形元素可以改为显示Beatles的照片。
图5B是根据本发明的一个实施例而在使用音乐浏览接口的过程中获取的屏幕显示的照片。如图5B的屏幕显示所示，其中有两个映射元数据窗口小部件是活动的，其中一个涉及的是当前选定的音乐项目的流派，另一个涉及的是当前选定的音乐项目的作曲者。更特别地，在拍摄该照片时选择Frederic Chopin的一段音乐，由此其中一个窗口小部件被映射到元数据“<Genre(Classical)>”，另一个则映射到<Composer(Chopin，Frederic)>。
图5B所示的屏幕显示指示的是用户正在将其手指移经映射到<Genre(Classical)>的窗口小部件的图形表示。在图示的实例中，用于该窗口小部件的控制器被设计成通过命令选择另一段具有元数据<Genre(Classical)>的音乐来对窗口小部件的操作做出响应。
附带地，映射元数据窗口小部件是可以有选择激活的，例如，该窗口小部件可以只在接口处于特定操作模式、比方说图4B和4C所示模式B的时候活动。此外还有必要具有一种机制，以便在激活模式B的时候为映射到映射元数据窗口小部件MMW的元数据设置数值。在本发明的某些优选实施例中，当用户操作模式选择器窗口小部件来选择例如模式B时，当前选定内容项(也就是在模式改变时选定的内容项)的元数据将会确定所述元数据映射窗口小部件所要映射到的元数据。
举例来说-如果用户在曲目“Twist and Shout”是当前选定内容项的时候从操作模式A(图4A)改成操作模式B(图4B)，那么可以将图4B的三个元数据分别映射窗口小部件分别映射到<Country(UnitedKingdom)><Genre(Pop)><Performer(The Beatles)>，并且可以使用表示英国国旗的图形元素、用于“pop”的图标以及Beatles的照片来表示该窗口小部件；以及-如果用户在曲目“Twist and Shout”是当前选定内容项的时候从操作模式B(图4B)改成操作模式A(图4A)，那么可滚动列表窗口小部件(它可以是元数据映射窗口小部件)可以显示具有元数据<Performer(The Beatles)>的其他曲目标题的列表，或是具有<Genre(Pop)>的内容的其他表演者的名称列表等等——对数值包含在可滚动列表中的属性来说，该属性将会由窗口小部件控制器来确定(并且可以取决于用户如何配置接口)。
图4C描述的是这样一种情况，其中用户通过操作图4B的占位符窗口小部件PHW来调用滑动器窗口小部件SW。而图5C则是根据本发明一个实施例的音乐浏览器接口中的显示屏照片，其中显示的是一个正被操作的此类窗口小部件。在本实例中，用户通过将其手在屏幕上的图像置于滑动部件的顶部(处于整个滑动器边界内部的填充符)并且虚拟地按下该滑动器来操作滑动器窗口小部件。在这个实例中，用户操作该滑动器窗口小部件的结果是逐渐降低了正在回放的音频文件的音量。
在根据本发明的内容管理接口中使用的窗口小部件的特定选择、操作模式的数量和类型以及(在每个模式中)所要显示的图形元素极大地取决于应用以及设计者和/或用户的希望(取决于最终用户可以配置接口的程度)。应该指出的是，根据本发明的接口还可以在显示屏上显示那些不与可以借助用户屏幕上图像的虚拟动作而被操作的窗口小部件相对应的图形元素。举例来说，如图6的照片中所示，显示屏可以显示文本(在这种情况下是当前选定曲目的标题和表演者)。另举一例，该接口可以显示那些能够借助除用户屏幕上图像的虚拟动作之外的某个用户动作而被操作的元素——例如需要使用指示设备(例如鼠标)、触摸屏、输入板等等选择的元素。
总结一下以上说明可知，有益的是提供作为实现本发明的内容管理接口应用的一个实例的基于图2和图4A～4C的音乐浏览器接口操作的概述。
应该设想的是，在启动时，内容管理接口不但显示了基于图4B的屏幕，而且还显示了由成像设备提供的用户实时图像。以ElvisPresley的“A Little Less Conversation”为例，该曲目是随机选择的，并且将会自动回放。由于该接口是在模式B中工作的，因此在屏幕顶端将会显示三个图标，它们表示的是具有适于当前回放曲目的数值的三种预定类型的元数据，即处于屏幕左上方的<Performer’sCountry(United States of America)>、处于屏幕顶部居中的<Genre(Pop)>以及处于屏幕右上方的<Performer(ElvisPresley)>。在屏幕的底部显示了一个带有单词“Pause”的按钮，由此代表的是跳动式播放/暂停回放控制窗口小部件(如果用户通过移动激活该窗口小部件，从而暂停当前曲目回放，那么被显示按钮上的单词将会变成“Play”)。
如果用户希望听到与当前曲目具有相同流派的曲目(但并不介意表演者和表演者的国家是否与当前选择不同)，那么他会通过移动而使其手的图像按下顶部居中的按钮(其窗口小部件当前被映射到<Genre(Pop)>)。由这个顶部居中的按钮所表示的窗口小部件通过从具有<Genre(Pop)>的可用曲目中随机选择一个曲目来做出响应。举个例子，假设选择的是Michael Jackson的曲目“Billie Jean”，那么该曲目的回放将会自动开始进行(并且先前选定曲目的回放将会中止)。
如果用户希望听到的是与当前表演者来自相同国家的表演者的曲目(但是并不介意该表演者或流派是否与当前选择不同)，那么他会通过移动而使其手的图像按下左上方的按钮(其窗口小部件当前映射到<Performer’s country(United States of America)>)。由这个左上方按钮表示的窗口小部件可以通过从具有<Performer’scountry(United States of America)>的可用曲目中随机选择一个曲目来做出响应。举个例子，假设选择的是Bill Haley的曲目“(We’reGoing to)Rock Around The clock”，那么该曲目的回放将会自动开始进行。
如果用户希望听到的是与当前曲目具有相同表演者的曲目(但是不介意流派是否与当前选择不同)，那么他会通过移动而使其手的图像按下右上方的按钮(其窗口小部件当前映射到<Performer(BillHaley and The Comets)>)。由这个右上方按钮所表示的窗口小部件将会通过从具有<Performer’s country(United States of America)>的可用曲目中随机选择一个曲目来做出响应。举个例子，假设所选择的是Bill Haley and The Comets的曲目“See You Later，Alligator”，那么该曲目的回放将会自动开始进行。
用户有可能希望选择这个艺术家的特定曲目，并且他知道存在一个可用于实现该目的(借助于当前选定曲目的表演者的曲目名称滚动列表)的可用接口的替换操作模式(模式A)。在朝着屏幕左侧的方向上显示了两个按钮，它们分别表示的是模式A和模式B的模式选择器窗口小部件。用户可以通过移动而使所显示的其手的图像按下表示操作模式A的按钮。
作为用户动作的结果，用于模式A的按钮所表示的窗口小部件将会促使显示基于图4A的屏幕(其中叠加了用户的图像)。表示三个元数据映射窗口小部件的按钮则不再出现。取而代之的是，滚动列表将会出现在屏幕的顶部，它显示的是Bill Haley and the Comet的所有可用曲目的标题。当用户查看其希望滚动到屏幕中心的曲目标题时，该用户通过移动而使其手的显示图像触摸该标题。用滚动列表表示的窗口小部件则会促使列表滚动停止，并且促使具有选定标题的曲目被自动回放。
如果用户希望降低(增大)当前正在回放的曲目的音量，那么他可以通过移动而使其手的图像按下处于屏幕右侧表示占位符窗口小部件的按钮。该占位符窗口小部件将会促使该占位符窗口小部件的图形表示消失并且促使显示滑动器窗口小部件的图形表示出现，从而做出响应，如图4C所示。用户则通过移动其手部而使其显示图像停留在滑动器部件的顶部(底部)(也就是处于图4C中SW的阴影和白色部分之间的接口上)，并且该用户通过移动而使其手的显示图像向上(向下)滑动该滑动器。该滑动器窗口小部件则对当前选定曲目的回放进行控制，从而因此对其音量进行改变。
本发明的技术可以通过引入基于姿态的控制来进行扩展。换句话说，该接口可以包括用于分析用户图像的装置，由此确定用户是否做出一组预定姿态之一-例如“拇指向下”姿态(这表示“改成某些不同于当前选择的事物”)，手掌朝下以及朝下运动的手部姿态(指示“减小音量”)等等。当检测到其中一个预定姿态时，相应的基于姿态的控制器将会采取措施，以便执行与这个姿态相关联的功能。目前已经提出了很多用于识别姿态的技术，并且本发明在所采用的技术方面是不受限制的。
虽然在上文中参考本发明的某些优选实施例的详细特征而对本发明进行了描述，但是在不脱离附加权利要求定义的发明范围的情况下，本领域技术人员是很容易想到可以进行各种修改、替换和适配的。
例如，虽然上述优选实施例涉及的是其中图形元素与窗口小部件相关联地显示的内容管理接口，但是应该理解，这些图形元素并不是必要的。换句话说，在特定的屏幕上位置可以定义具有可操作区域的窗口小部件，但在该屏幕上并不显示任何指示该位置的图形元素。
在该上下文中，应该想到的是，提供图形元素是为了向用户提供其应该在哪里移动屏幕上图像来操作指定窗口小部件的可视参考。换句话说，这些图形元素充当的是关于适用于每个窗口小部件的可操作区域位置的备忘录，使得接口的使用简单并且在具有大量窗口小部件的时候则尤其具有价值。但是还可以想到这样的情况，其中用户可以记忆少量窗口小部件的可操作区域(例如屏幕顶部、屏幕左下方以及屏幕右下方)，所述少量窗口小部件具有恰当间隔的可操作区域，由此根据这些窗口小部件的图形表示的需要来进行分配。
为了允许在用户与接口之间实现更简单的交互，该系统可以进行适配，以使摄像机(或其他检测用户的成像设备)能够跟随用户并且聚焦于用户。
作为选择，实现本发明的系统可以被设计成从经验中进行学习(例如学习用户首选项，由此在响应于用户命令而选择新的内容的时候对其加以考虑)，学习识别用户以及(如果支持姿态识别)学习新的姿态。
在启动根据本发明的接口时，系统可以选择所要访问并为用户呈现的内容项(例如曲目自动回放、图像自动显示等等)。但是，这并不是强制性的；在访问/呈现任何特定的内容项之前，该接口可以等待用户的具体动作。
权利要求
1.一种用于内容管理系统的用户接口，该用户接口用于输入和响应于用户命令，由此促使对可以借助所述内容管理系统访问的一个或多个内容项执行一个或多个内容管理功能，其中每一个所述内容项都是用一个元数据集合描述的，在描述所述内容项时，所述集合中的每一项元数据都定义了一个相应的属性以及所述属性的一个值，并且所述一个或多个内容管理功能尤其包含了在以下内容组成的组中选出的一个或多个操作选择、访问、搜索、修改和呈现内容项，从集合中添加和删除内容项，以及选择、访问、搜索、修改和呈现一个定义所述内容项集合组织的数据结构，该用户接口包括视频处理装置，用于处理包含用户图像的视频流；显示装置，用于准备视频图像，以便在屏幕上显示与所述视频流相对应的图像；控制装置(20)，该装置至少定义了所述显示屏的相应的第一区域与相应的第一内容管理功能之间的第一关联，所述第一内容管理功能取决于元数据定义的第一属性的变量值，控制装置(20)被适配成登记显示屏区域与内容管理功能之间的指定关联是否是活动的；以及运动检测装置，用于在所述显示屏的所述至少一个区域要被显示的所述视频流的相应部分中检测用户运动；其中控制装置被适配成在运动检测器第一次在将要显示在所述显示屏的所述第一区域中的所述视频流的一部分中检测用户运动的时，以及在第一关联在所述第一次是活动的时，该控制装置使得所述第一内容管理功能根据所述第一属性的第一个值被执行，所述第一个值是在所述第一次适用于所述第一属性的值。
2.根据权利要求1的接口，其中控制装置被适配成将适用于在所述第一次选择的内容项的所述第一属性值用作所述第一个值。
3.根据权利要求2的接口，其中控制装置被适配成促使在所述第一次执行一个内容管理功能，该功能包括将在所述第一次选择的所述内容项的所述第一属性值与适用于另一个所述可访问内容项的所述第一属性值相比较。
4.根据权利要求1、2和3的接口，其中控制装置(20)包括一个图形数据生成器，该生成器被适配成产生一个用于在所述显示屏上的与所述控制装置(20)定义的功能相关联的区域显示的图形元素。
5.根据权利要求4的接口，其中控制装置(20)定义的至少一个关联是显示屏的细长区域与用于改变指定内容项的属性值的特定内容管理功能之间的关联，所述指定属性采用的是连续范围的值，并且其中该控制装置被适配成当促使执行所述特定内容管理功能时，所述内容管理功能所产生的值的变化取决于在所述细长区域内检测到的用户运动的特性。
6.根据权利要求5的接口，其中图形数据生成器被适配成产生一个表示关于用于改变属性值的所述特定内容管理功能的滑动器的图形元素。
7.根据前述任一权利要求的接口，其中在所述显示屏上不显示关于不活动的内容管理功能的图形元素。
8.根据前述任一权利要求的接口，其中由控制装置(20)定义的至少两个所述关联是一对互补功能，并且这些功能是反相激活和去激活的，其中互补功能中的第一个是占位符功能，并且控制装置(20)被适配成当运动检测装置在与所述占位符功能相关联的区域中要被显示的视频流的一部分中检测到用户运动时，去激活所述占位符功能。
9.根据权利要求8的接口，其中控制装置(20)被适配成当运动检测装置在与所述第二互补功能相关联的区域中要被显示的视频流的一部分中停止检测用户运动之后，将所述互补功能中的第二个在预定间隔一个预定的间隔。
10.根据权利要求1～9中任一权利要求的接口，其中由控制装置(20)定义的至少一个关联是显示屏列表区域与包含来自列表的选择的内容管理功能之间的关联；所述列表的能够滚动的图形表示是在激活所述内容管理功能的时候在所述显示屏上显示的；以及当运动检测器在与所述列表区域中的预定区域相对应的视频流的一部分中检测到用户运动时，所述列表选择内容管理功能将会促使选择其图形表示被显示在显示屏的所述预定区域上的列表项目。
11.根据权利要求10的接口，其中当运动检测器在与所述列表区域的末端相对应的视频流的一部分中检测到用户运动时，所述列表的图形表示将会朝着或者背离所述列表区域的末端而滚动。
12.一种内容管理系统，其中包含根据权利要求1～11中任一权利要求的用户接口。
13.一种内容浏览器，其中包含根据权利要求1～11中任一权利要求的用户接口。
14.一种用于对用户与内容管理系统之间的交互活动进行管理的方法，包括以下步骤处理一个包含用户图像的视频流；准备用于促使在屏幕上显示与所述视频流相对应的图像的视频数据；定义至少一个能在所述显示屏的相应的第一区域与相应的第一内容管理功能之间被调用的第一关联，所述第一内容管理功能取决于由元数据定义的第一属性的变量值；以及在将要显示在所述显示屏的所述第一区域的所述视频流的相应部分中检测用户运动；以及当第一次在将要显示在所述显示屏的所述第一区域中的所述视频流的一部分中检测到用户运动时，以及在第一关联在所述第一次是活动的时，促使执行所述第一内容管理功能；其中第一内容管理功能第一次是以一种依赖于所述第一属性的第一个值的方式被执行的，所述第一个值是在所述第一次适用于所述第一属性的值。
15.一种计算机系统，它被安排来执行以下步骤处理一个包含用户图像的视频流；准备用于促使在屏幕上显示与所述视频流相对应的图像的视频数据；定义至少一个能在所述显示屏的相应的第一区域与相应的第一内容管理功能之间被调用的第一关联，所述第一内容管理功能取决于由元数据定义的第一属性的变量值；以及在将要显示在所述显示屏的所述第一区域中的所述视频流的相应部分中检测用户运动；以及当第一次在将要显示在所述显示屏的所述第一区域中的所述视频流的一部分中检测到用户运动时，以及第一关联在所述第一次是活动的时，促使执行所述第一内容管理功能；其中第一内容管理功能第一次是以一种依赖于所述第一属性的第一个值的方式被执行的，所述第一个值是在所述第一次适用于所述第一属性的值。
17.一种计算机程序，该程序具有一组指令，当在通用计算机中使用时，促使计算机执行下列步骤处理一个包含用户图像的视频流；准备用于促使在屏幕上显示与所述视频流相对应的图像的视频数据；定义至少一个能在所述显示屏的相应的第一区域与相应的第一内容管理功能之间被调用的第一关联，所述第一内容管理功能取决于由元数据定义的第一属性的变量值；以及在将要显示在所述显示屏的所述第一区域的所述视频流的相应部分中检测用户运动；以及当第一次在将要显示在所述显示屏的所述第一区域中的所述视频流的一部分中检测到用户运动时，以及第一关联在所述第一次是活动的时，促使执行所述第一内容管理功能；其中第一内容管理功能第一次是以一种依赖于所述第一属性的第一个值的方式被执行的，所述第一个值是在所述第一次适用于所述第一属性的值。
全文摘要
一种内容管理接口，该接口是使用将图形“窗口小部件”重叠在用户实时图像的屏幕显示上的处理而被实施的。该窗口小部件是运动感应控制部件，这些部件对用户的运动做出响应，并且在与窗口小部件相关联的屏幕位置上产生用户运动的显示图像。用户可以对该窗口小部件执行虚拟操作，举例来说，用户可以通过将其手部移经窗口小部件或者向前推动窗口部件来操作窗口小部件。描述所管理内容的元数据则映射到窗口小部件上，由此允许用户与元数据进行交互，尤其是通过改变该窗口小部件或是参考该配件来选择内容而与之交互。
文档编号G06F3/033GK101073048SQ200580041720
公开日2007年11月14日 申请日期2005年10月5日 优先权日2004年10月5日
发明者F·帕彻特, P·罗伊, J·-J·奥考图里尔 申请人:索尼法国股份有限公司