基于用户注意力的实时多媒体内容递送的质量适配的制作方法

专利名称：基于用户注意力的实时多媒体内容递送的质量适配的制作方法
技术领域：
本发明涉及一个管理多媒体内容以便实时分发和传输到用户的方法。
为视频点播和互联网相关的应用来实时传输多媒体内容的需求正在增长。相应地，实时多媒体内容的分发也在上升，且新的多媒体内容将具有更多样的内容类型。
多媒体内容可以通过用户拉取应用和提供者广播应用来访问。在用户拉取应用中，用户手工选择要被远程访问的内容。在提供者广播应用中，实时多媒体内容被分发到所有的用户，且用户在本地选择要访问的内容，诸如，举例来说，通过有线电视系统的机顶盒。新的访问多媒体内容的方式(下面更详细地讨论)正不断地被开发出来以用于专业的、商业的、和消费者的应用。
实时的多媒体内容递送通过网络，诸如互联网或有线电视系统，被递送给连接到网络的用户。用户可通过高带宽连接(即，DSL和电缆连接)或低带宽连接(即，无线链路)而连接到网络。而且，用户使用许多不同类型的站来访问该网络，所述站包括移动台，诸如移动电话、寻呼机和个人数字助理；以及工作站，诸如个人计算机和网络终端。
提供者使用被连接到一个或多个网络的设备、按要求提供多媒体内容给用户。然而，提供者的设备和提供者与用户之间的传输路径每个都具有有限的容量。一旦提供者正在该传输路径上以设备的全部容量发送，提供者就必须或者使其本身对另外的用户不可用，或者增加设备的容量。已知的对可缩放性问题的解决方案受限于基于设备容量的、对每个用户的可用带宽。
本发明的一个目的是提供一种调节用于实时传输的多媒体内容的参数的方法。
本发明的目的是通过确定在多媒体内容的实时递送期间用户对该多媒体内容的关注度并相应地调节该多媒体内容的参数而达到的。本发明利用在多媒体内容的递送期间用户对该多媒体内容的注意力。用户可能观看、阅读、或收听部分多媒体内容，而在其它时间则未集中精神注意这些内容。代替地，用户可能并行地进行其他活动，或者只是对多媒体内容的特定片断不感兴趣。在这些相对较不注意的时间期间，用户没有将注意力完全集中到该多媒体上，并且甚至可能离开显示多媒体内容的输出设备的邻近位置。而且，用户可能只对在输出设备上显示的一个特定的部分感兴趣，这样一来，用户的注意力只集中在显示器的一小部分。根据这种关注度的变化，多媒体内容可以这样来管理通过根据检测到的用户对于多媒体内容的关注度来调整被递送内容的质量水平。
在优选实施例中，当确定用户的注意力从该内容转移时，降低多媒体内容的质量水平，从而降低多媒体内容的数据递送速率，由此而增加可用带宽。结果是，在该用户较低关注的周期期间，有更多的带宽可提供给其他潜在的用户。降低给特定用户的质量水平可以，举例来说，通过在检测到该用户较低关注的周期期间降低输出的视频和/或音频部分的分辨率而达到。
通过结合附图考虑以下的详细说明，本发明的其他目的和特性将变得清晰。然而，应当认识到，附图仅仅是以说明为目的而设计的，不能作为本发明限定范围的定义，关于本发明的限定范围应当参照附属权利要求。还应当认识到，附图不一定是按比例画的，除非另外指出，它们仅仅用以概念性地说明这里描述的结构和过程。
在图中，几个视图中相似的参考字符表示相似的单元

图1是一个示出了实时分发多媒体内容的系统的示意图；图2是按照本发明的一个实施例的一个用户设备的正视图；以及图3是按照本发明的另一个实施例的一个用户设备的透视图。
图1中显示了按照本发明的一个用户设备20。用户设备20可通过连接40(可以是有线或无线连接)被连接到通信网络10。用户设备20可以是任何已知的能够连接到通信网络10的部件，诸如，举例来说，电视机顶盒、移动电话、个人数字助理(PDA)、寻呼机、计算机和网络工作站。网络10可能包括，举例来说，视频点播提供者，诸如有线/卫星电视系统或互联网。提供者服务器30，诸如电视提供者或互联网服务器，被连接到网络10。用户可能希望通过使用用户设备20来访问由提供者服务器30实时递送的多媒体内容。数据的实时传输可以由用户(即，用户拉取设备)通过远程地选择要被激活的内容(诸如通过选择从网页下载的多媒体)而被启动。替换地，多媒体内容可以由提供者服务器30通过广播传输而被分发，以使得用户可本地地选择是否访问该内容，例如用户通过机顶盒选择的有线电视广播。
用户设备20包括输入28、输出24、和处理器22。输入28可包括键盘、鼠标、遥控器、或允许用户输入那些用于控制用户设备20的命令的任何其他设备。输出设备24可包括显示器和扬声器，以及任何其它对于呈现多媒体内容给用户所必须的设备，诸如，举例来说，允许用户感受输出的虚拟现实设备。输入28和输出24被连接到控制这些设备的处理器22，即，微处理器。
多媒体内容的实时递送所需要的恒定数据流需要使用一个带宽，这个带宽在实时递送多媒体内容的持续时间内不能被另一个用户使用。在许多情形下，用户在多媒体内容输出的持续时间内不会对多媒体内容的输出倾注全部的关注。在用户未完全关注的时间期间使用整个带宽是带宽的非有效使用或者是对可用于其他用户的带宽的浪费。为了使带宽的利用最大化，本发明包括被连接到用户设备20的检测器26，用于检测用户何时未关注该多媒体内容。检测器26可包括与用户设备20相连接的一个分立部分，或者可以包括它的一个集成部件。当检测器确定用户不在关注时，检测器26输出一个信号，该信号被通过网络10发送到提供者服务器30。由检测器26输出的信号可以是1比特信号，它用信号告知是关注状态还是不关注状态。在下面将要描述的更复杂的实施例中，信号输出可能大于1比特。
在提供者服务器30中的参数调节模块32管理多媒体内容的数据流，以使得在不关注的周期期间减小用来发送多媒体内容的带宽。参数调节模块32可能，举例来说，包含提供者服务器30的软件模块。
为了管理数据，参数调节模块32可降低视频信号的分辨率(质量水平)，而同时保持要被发送到用户设备20的音频信号的质量。替换地，可以保持视频信号的质量而降低音频信号的质量(如果用户设备是音频输出处在静音的电视机，则这是适用的)。降低分辨率会减小单位时间内所需要发送的信息量，即，传输速率，由此增加在提供者服务器30与用户设备20之间的路由上可供使用的带宽。因为多媒体内容的数据流是被实时递送的，所以一旦用户返回到关注状态，参数调节模块32就不再收到该不关注信号，且提供者服务器30可立即恢复正常质量水平的数据传输。因此，用户不会觉察多媒体内容的质量水平的改变。而且，参数调节模块32可包括一个延时，使得在参数调节模块降低分辨率之前，用户必须在该延时的持续时间内是不关注的。
检测器可替换地或附加地监视用户设备20的屏幕保护器(screensaver)的状态。在这个实施例中，当屏幕保护器被打开以及屏幕保护器保持打开时，检测器26输出一个不关注信号。
当多媒体内容数据流的管理优选地是自动的时，输入28也可被用来发送命令到参数调节模块32。例如，如果用户想要下载和/或保存与其他的多媒体项目一起显示的、特定的多媒体内容项目，则用户可能想要在可能的最快时间内保存最高质量，而不必在出现这一事项时坐着和观看具有高分辨率的其他多媒体内容项目。在这种情形下，用户可使用输入28以代替参数调节模块32。用户设备28也可被用来在正常模式与较低质量模式(即，带宽节省模式)之间做手工轮转。替换地或附加地，输入设备28可被用来调节那些确定何时输出该被显示信号质量的参数，诸如调节在检测到用户的不关注后的开始时间。
为了确定关注，检测器26可以检测人是否在场。可以通过评估用户设备20前面的一个区域的图像，以及确定在检测器图像中是否有人的轮廓，而确定人是否在场。这种检测人是否在场的方法是在，例如，Hydra，Multiple People Detection and Tracking Using Silhouettes(利用轮廓的多人检测和跟踪)，Haritaoglu，D.Harwood，L.Davis，Computer Vision and Pattern Recognition(计算机视觉和模式识别)(CVPR 1999)second Workshop of Video Surveillance中被揭示的。在本发明的简单的实施例中，存在轮廓就表示关注，而不存在轮廓则表示不关注。
检测器26可以以许多不同的方式检测人是否在场。检测器26检测空间的图像，分析图像以找出具体的特征，诸如形状、颜色、和运动，把图像的特征与模型进行比较，确定是否有人在场。特征可包含形状，诸如上述的轮廓、颜色(诸如肤色)和/或人的特定的运动(诸如步态)。模型可包含表征有人在场的任何个人特征。
作为将图像和模型相比较的替换或补充，检测器26也可包括运动检测器，诸如安全系统中使用的、用来检测运动的那些检测器。在本实施例中，运动的检测表征空间中人的活动。单独运动便可以表示关注，或设备可使用下面描述的进一步的检测来进一步定义关注度。
而且，用户与系统之间的距离也可被使用来评估关注。在本实施例中，当离用户设备的距离增加时，用户的关注减小。当用户移动到离用户设备20更远时，用户不需要高的质量水平。为了评估用户离用户设备20的距离，可以评估检测器图像中轮廓的尺寸或轮廓的视在高度。在本实施例中，可以规定某个距离，当超过这个距离点时用户被认为是不关注的。替换地，当用户离用户设备20的距离增加时，发送到用户设备20的信号的质量水平可逐渐降低。
轮廓可被进一步分析，以便确定身体的取向。也就是，如果用户的身体面向用户设备，则用户被认为是关注的，以及，用户背离用户设备时被认为是不关注的。
当然，有可能用户的脸部面向显示器而身体没有面向显示器。在这种情形下，必须检测头部的取向，来确定用户是否实际上正在观看屏幕。可以使用用于确定头部取向的已知的方法，诸如S.Iwasawa，J.Ohya，K.Takahashi，S.Kawato，K.Ebihara和S.Morishima在Real-time 3D Estimation of Human Body Postures from Trinocular Images(从三投射式图象实时3D估计人体姿势)，ICCV’99图像中揭示的方法。通过使用这些技术，在场、距离和取向都被用来评估用户的关注度。
在题目为“Method and Apparatus for Tuning Content ofInformation Presented to an Audience(用于调谐呈现给观众的信息的内容的方法和设备)”的、美国专利申请No.09/603,532中揭示了另外的根据观众特征来调谐呈现给观众的信息内容的技术，该专利申请的整个内容在此被特别地引用，以供参考。在这个申请中揭示的技术是针对观众的。然而，用来确定观众特征的某些技术可被应用到本发明，以确定有关用户对于媒体的关注的信息。
图2显示用户设备20a的一个实施例，其中检测器26a被安排来检测用户50相对于包含显示屏的输出24a的头部取向和/或凝视。为了本申请的目的，头部取向涉及个人的头部姿势，以及，用户的凝视涉及用户眼睛正在观看的方向。取向或凝视的确定可以通过使用计算机视觉技术来实现，诸如，举例来说，在美国专利No.6,154,559和美国专利No.5,561,718中揭示的计算机视觉技术，这些专利的全部内容在此引用，以供参考。在本实施例中，检测器26a可包含照相机或红外检测器，它使用至少一个以下的用于确定头部取向的技术使用几何推理来检测面部特性、应用3D模型来执行拟合操作、学习2D或3D面向/非面向模型以及检测面部内的肤色百分数。这些技术都被用来确定用户头部的姿势。例如，所检测到的面部特性、拟合操作和面向/非面向模型被使用来确定(1)用户的头部是否出现，和(2)用户头部的取向。而且，肤色百分数的检测也给出和指示出用户是否在场和用户头部的取向。当用户面向输出24a时，肤色百分数是最高的。当用户把头转开时，用户头部的侧面或背面面向输出24a和检测器26a，所以检测到的肤色百分数较低。根据这个信息，检测器26a确定用户是否正在面向输出，即，是否为注意力的。
检测器26a也可被使用来跟踪用户眼睛的凝视，以确定输出设备24a上用户所关注的位置。在本实施例中，检测器26a可包含被连接到处理器的单个照相机或红外检测器，诸如来自LC Technologies，Inc.(Fairfax，Virginia)的“Eyegaze Development System(眼睛凝视开发系统)”的检测器。在图3所示的另一个实施例中，检测器26b也可包含一个双照相机系统，其中“头部”照相机28b确定用户头部的位置，以及“眼睛”照相机29b根据来自头部照相机的输出聚焦在眼睛上，例如来自Metrovision(Pérenchies，FR)的Visioboard)凝视通信系统。除了上面提到的、用于检测头部取向的技术以外，眼睛跟踪实施例还检测眼睛特性，并在校准阶段期间使用几何推理和学习技术来适应特定的用户。这使得检测器26b能够确定用户眼睛正在观看的方向。
在眼睛跟踪实施例中，参数调节设备32可以减小输出中用户不关注区域的视频内容的质量水平。例如，如果用户只观看屏幕的左下部分，则参数调节设备32可以减小屏幕其它象限中视频内容的质量水平，以使得只有四分之一的屏幕以最高的质量递送。参数调节设备32可包含一个延时，使得只有当对于延时的时间周期期间用户的凝视已经固定在屏幕某部分以后它才作出这个减小。一旦用户把他的凝视移动到输出的其余部分，整个多媒体输出就以最高的质量被发送。在本实施例中，由检测器输出的不关注信号必须包括关于用户在何处不关注的指示。因此，为了包括这个位置信息，该不关注信号必须大于一个比特。
这个实施例也可包括对于参数调节设备32的人工取代(override)，其中即使用户移出检测器26b的范围或移出它的视域，用户也可使用输入28来保持高的传输质量。替换地，如果用户提前知道多媒体内容的哪个部分是所关心的，则用户可指示参数调节设备32保持该特定部分的高质量传输。在多媒体内容的数据流的传输期间，输入28也可被用来按用户的要求，人工返回到高质量传输。
因此，虽然这里已经显示、描述和指出应用到本发明的优选实施例的本发明的基本新颖特性，但将会理解，本领域技术人员可以在不背离本发明的精神的情况下，在所例示设备的形式、细节及其操作方面作出各种省略、替换和改变。例如，以基本相同的方式执行基本相同的功能以得到相同结果的那些单元和/或方法步骤的所有组合显然都打算被包括在本发明的范围内。而且，应当看到，作为一般的设计选择问题，关于本发明的任何揭示形式和/或实施例而显示和/或描述的结构和/或单元和/或方法步骤可以被并入到任何其他揭示的、描述的或建议的形式或实施例中。所以，旨在只受附属权利要求的范围所表示内容的限制。
权利要求
1.一种用于实时分发多媒体内容的方法，其特征在于，该方法包括以下步骤(a)从提供者服务器通过通信网络传送多媒体内容的流到用户设备，以及在该用户设备上实时输出该多媒体内容；(b)连续地确定在所述步骤(a)期间用户对于用户设备输出的关注度；以及(c)在提供者服务器处，根据在所述步骤(b)确定的关注度而调节在所述步骤(a)传送的该多媒体内容的参数。
2.权利要求1的方法，其特征在于，在所述步骤(b)中确定用户的关注度包含确定头部取向和用户的凝视中的一项。
3.权利要求2的方法，其特征在于，所述确定头部取向和用户的凝视中的一项的步骤包括通过检测面部特性以及至少下述一项来确定头部取向使用几何推理、应用3D模型来执行拟合操作、学习2D面向和非面向模型、学习3D面向和非面向模型以及检测面部中的肤色百分数。
4.权利要求1的方法，其特征在于，在所述步骤(b)中确定用户的关注度包含跟踪用户的眼睛位置。
5.权利要求4的方法，其特征在于，所述跟踪用户的眼睛的步骤包括通过检测面部特性与至少下述一项来确定用户的头部取向使用几何推理、应用3D模型来执行拟合操作、学习2D面向和非面向模型、学习3D面向和非面向模型及检测面部中的肤色百分数；以及通过检测眼睛特性来检测眼睛位置和在校准阶段使用几何推理及执行学习技术以适应用户。
6.权利要求1的方法，其特征在于，所述步骤(b)还包含当确定用户的注意力没有针对用户设备的输出时，发送不关注信号到提供者服务器。
7.权利要求1的方法，其特征在于，所述步骤(c)包含降低至少一部分多媒体内容的质量水平，以减小所述步骤(a)需要的带宽。
8.权利要求7的方法，其特征在于，所述步骤(c)包含降低多媒体内容的音频内容和视频内容之一的至少一部分的质量水平。
9.权利要求8的方法，其特征在于，所述步骤(b)包含确定在输出显示器上用户的注意力所针对的区域，并定义所有其他区域为不关注的区域；以及，音频内容和视频内容之一的至少一部分的降低的质量水平是在输出显示器的不关注区域中该多媒体内容的视频内容的降低的质量。
10.权利要求1的方法，其特征在于，所述步骤(b)还包含当确定用户的注意力没有针对用户设备的输出时发送不关注信号到提供者服务器，以及所述步骤(c)包含当存在不关注信号时，调节该参数到降低的质量水平，以及当不存在不关注信号时，调节该参数到正常质量水平。
11.权利要求1的方法，其特征在于，用户设备具有屏幕保护模式，而且此方法还包含当用户设备处在屏幕保护模式时在提供者服务器处调节在所述步骤(a)中传送的多媒体内容的参数的步骤。
12.权利要求1的方法，其特征在于，用户设备具有用于接收用户命令的输入，以及此方法还包含根据在该输入处进入的用户命令而在提供者服务器处调节在所述步骤(a)中传送的多媒体内容的参数的步骤。
13.权利要求1的方法，其特征在于，在所述步骤(b)中确定用户的关注度包含确定下述项之一在用户设备前面的一个区域中用户的存在、用户离用户设备的距离和用户的身体取向。
14.一种用于通过网络来实时地分发多媒体内容的系统，其特征在于，所述系统包含检测器，用于检测用户对于用户设备的关注度，用户设备可连接到网络，用于从提供者服务器接收多媒体内容的流以及实时输出该多媒体内容给用户，该提供者服务器被连接到网络，用于实时发送多媒体内容的流到该用户设备；以及参量调节模块，用于在提供者服务器处根据由所述检测器确定的关注度而调节被发送的多媒体内容的参数。
15.权利要求14的系统，其特征在于，所述检测器包含照相机和红外检测器中的至少一个，被安排来检测用户的取向和凝视之一。
16.权利要求15的系统，其特征在于，所述检测器包含照相机和红外检测器中的至少一个，被安排来跟踪用户的眼睛位置。
17.权利要求16的系统，其特征在于，用户设备包括显示器，以及所述检测器确定在所述显示器上用户注意力所针对的关注区域，并定义所述显示器的其他区域为不关注区域。
18.权利要求17的系统，其特征在于，所述多媒体内容包括视频内容，以及所述参数调节模块降低在所述显示器的所述不关注区域中的视频内容的质量，由此减小传送所述多媒体内容的流所需要的带宽。
19.权利要求14的系统，其特征在于，所述参数调节模块根据所述检测器确定的减小的关注度而降低正在传送到所述用户设备的所述多媒体内容流的至少一部分的质量水平，以使得传送所述多媒体内容的流所需要的带宽被减小。
20.权利要求19的系统，其特征在于，所述多媒体内容包含视频内容和音频内容，以及所述参数调节模块根据由所述检测器确定的减小的关注度而降低所述视频内容和所述音频内容的至少一项的一部分的质量水平。
21.权利要求14的系统，其特征在于，所述检测器被运行地安排成当确定用户的注意力没有针对用户设备的输出的至少一部分时，输出一个不关注信号。
22.权利要求21的系统，其特征在于，所述参数调节模块被运行地安排成当存在不关注信号时，由用户设备调节该多媒体内容的至少一部分的参数为降低的质量水平，以及当不存在该不关注信号时，调节该参数为正常质量水平。
23.权利要求14的系统，其特征在于，所述用户设备具有屏幕保护模式，以及所述参数调节模块被安排成当该用户处在屏幕保护模式时，调节该多媒体内容的参数。
24.权利要求14的系统，其特征在于，所述用户设备包含用于接收用户命令的输入，以及所述参数调节模块被安排成根据用户命令而调节被传送的多媒体内容的参数。
25.权利要求14的系统，其特征在于，所述检测器检测至少以下之一用户设备前面的一个区域中用户的存在、用户离用户设备的距离和用户身体的取向。
全文摘要
一种用于把多媒体内容的流从提供者服务器发送到用户设备(20)的方法，包括从提供者服务器通过通信网络(10)发送多媒体内容到用户设备，以及通过用户设备上的输出把多媒体内容从用户设备输出给用户，以使得多媒体内容从提供者服务器实时地递送到用户。在传输期间用户针对用户设备输出的关注度被连续地确定，且在提供者服务器处的参数调节模块(32)根据该关注度而调节多媒体内容的参数。
文档编号G06T1/00GK1557083SQ02818428
公开日2004年12月22日 申请日期2002年9月16日 优先权日2001年9月20日
发明者E·克肯－索拉, E 克肯-索拉 申请人:皇家飞利浦电子股份有限公司