专利名称：一致的数字项自适应的制作方法
技术领域：
本申请和与此一起提出、并且在此合并作为参考的序列号为10/079,096的美国专利申请有关。
本发明总体上涉及自适应(adapt)数字项领域，尤其涉及具有一致的资源和描述符的数字项自适应。
背景技术：
已知有许多单元用于构造基础结构来创建、发送与接收多媒体内容。例如，分别参见ISO/IEC 138181995，“Information Technology-Generic Coding ofMoving Pictures and Associated Audio”，和ISO / IEC 144961999，“InformationTechnology-Coding of Audio-Visual Objects”，诸如MPEG-2和MPEG-4的标准在音频与视频内容的有效传播和分发中扮演重要的角色。对于经由IP网络的传输，存在有各种由IETF定义的规范，例如参见由Schulzrinne等人所著、于1996年1月提出的RFC 1889“RTPA Transport Protocol for Real TimeApphcations”，以及由Kikuchi等人所著，于2000年11月提出的RFC 3016“RTPPayload Format for MPEG-4 Audio/Visual Streams”。此外，对于多媒体内容的搜索与检索，参见ISO/IEC 159382001，“Information Technology-MultimediaContent Description Interface”，MPEG-7提供了描述符和描述方案的标准集。
然而，当前没有描述这些现有的或者正在开发中的单元如何相互关联的标准。正浮现出来的MPEG-21标准，正式称为ISO/IEC 21000，“InformationTechnology-Multimedia Framework”的主要目的是用来描述这些单元如何相互关联。人们期望各种现存的、或者将被开发的规范，将通过在MPEG及其它标准化主体之间的协作被集成到一个多媒体框架中。MPEG-21的总体目的是定义一个能够使跨越一个大网络和设备范围的多媒体资源透明和强化使用的多媒体框架。
在MPEG-21框架内，事务的基本单元被称为“数字项”。数字项被定义为具有标准表示、标识和相关的元数据或者在该数字项内的资源的描述符的结构化数字对象。通常，该资源能够包含多媒体内容。
图1举例说明了数字项100的概念，其包含一个或多个资源110、相关的描述符120、和结构130。资源110能够包含独立的多媒体资产111，诸如MPEG视频、或者MP3音频文件。描述符120包含有关该资源内部的描述信息，诸如内容标识和基于内容的描述符，例如，MPEG-7描述121。结构130定义了在数字项100中的部分、即资源和描述符当中的关系和关联。
数字项100的一个重要优点是它能够把多个不同的资源聚集成为具有丰富的描述信息集合的单个逻辑单元、或者包。给定媒介文件的集合，这是现有的解决方案，例如“zip”或者“tar”文件，所不能处理的某些东西。现有的解决方案缺乏结构信息和描述信息，这使得大的多媒体集合难以导航、分发和使用。
数字项的第二个重要的优点是它是自我描述和可配置的。例如，考虑一本包含用于在各种设备上回放的特定场所内容的数字杂志。现有的技术迫使内容创建者创建和管理多个版本，一个版本用于每一个设备、场所和用户偏爱信息。因为数字项具有为不同的用户、设备和场所表达选项和增强信息的性能，所以它能够被配置以满足特定的需要。
为了实现以上所述，MPEG-21 150已经开发了数字项定义(DID)、这是ISO/IEC 21000的第二部分，其计划在2002年5月成为国际标准。DID的目的是定义数字项100的构成和结构。已经开发了基于XML的数字项定义语言(DIDL)。DIDL是通用结构，其提供分级和灵活的元数据表达式，以及可重用和可配置的单元。
图2显示了被指定为DIDL的部分的各种单元。容器单元200允许项目201和/或容器组成在一起。项目单元是一组被绑定到相关描述符的子项目和/或部件。部件单元是资源202到所有它的相关描述符203的绑定。描述符单元203用封装的部件或者项目和信息关联。资源单元是诸如视频或音频剪辑的、可单独识别的多媒体资产。语句是包含信息的字面上的文本值。它包含有效的XML文档，其通过命名空间进行标识。
为了允许数字项可被配置，指定了若干个额外的单元。选择单元描述一组能够影响项目配置的相关选择。条件单元把封装的单元描述为是可选的，并且把它链接到影响它的包含的选择。选择单元描述将影响在项目内某处的一个或多个条件的特定判定。覆盖单元用来标识要由该覆盖单元的双亲所替代的选择或者选定。
数字项能够以两种方式分发。第一种方式中，该分发能够贯穿网络。以这种方式，DID连同对在该网络上、能够从中检索该资源的位置的标记一起被分发。第二种方式中，DID能够作为独立的对象分发，在这样的情况下该DID和它的资源一起被分发。
不管数字项是什么方式分发的，都存在有各种要求数字项被修改的外部资源情况和因素。在本发明中描述的方法解决了这个要求。
发明概述一种通过把数字项分析成为资源和资源的描述来自适应数字项的方法和系统。该资源然后依据数字项自适应描述进行自适应以产生自适应的资源。然后依据该数字项修改描述修改描述符以产生与修改的资源一致的修改的描述符。修改的描述符和修改的资源被合并以形成修改的数字项。
该描述符与该数字项的内部资源有关，而且该数字项自适应描述与该数字项的外部资源有关，而且修改的数字项实质上与外部资源一致。
附图简要说明图1是现有技术的数字项的框图；图2是现有技术的数字项定义的框图；图3是依据本发明的数字项修改的框图；图4是在资源自适应引擎和描述符自适应引擎之间的接口的框图；以及图5是使用了依据本发明的数字项自适应的应用程序的流程图。
用于实现本发明的最佳方式介绍当数字项在不同种类网络上分发时，它们可能需要适应于外部资源、环境、网络、设备和用户偏爱信息。本发明描述了数字项自适应的一般概念。这个处理过程涉及由数字项定义的资源和描述符的一致性自适应。
本发明提供了一种用于自适应数字项、以便在自适应的资源和关联的描述符之间保持一致性的方法和系统。即，与自适应的资源相关联的描述符应当准确地描述自适应的资源，例如依据位比率、输出设备、或者空间分辨率来自适应该资源。
图3举例说明了依据本发明的数字项自适应的概念。数字项100被传递并通过数字项适配器300以产生修改了的数字项101。在适配器300的输入端，分析数字项302以使用结构130和，例如，MPEG-21 DID分析器来提取资源110和关联的描述符120。
数字项中的资源(R)被路由到资源自适应引擎310并且依据它以产生修改了的资源(R′)，同时数字项中的描述符(D)被路由到描述符修改引擎320并且依据它产生与自适应的资源一致的修改了的描述符(D′)。当这些被组合起来303时，它们形成修改了的数字项101。修改了的数字项现在能够以一种和外部约束一致的方式进行分发。
数字项适配器300接受数字项自适应描述301以参与修改处理过程。自适应描述不同于在数字项100内的描述符120，因为它们没有描述在该数字项内的内部资源110，而是描述外部资源或者不直接与该数字项100的资源相关联的环境因素。
数字项自适应描述存在有各种影响资源自适应引擎310的操作的外部资源因素。这些因素包含终端或者输出设备的性能、物理网络条件、传递/传输性能、用户偏爱信息和自然环境特征。所有这些因素能够是数字项自适应描述301中的参数。
终端性能包含诸如处理器速度和存储器容量的硬件属性、诸如操作系统的软件属性、诸如屏幕分辨度的显示属性以及可以指示所支持的媒体格式，例如MPEG简档表/级别的设备简档表。
物理网络条件指定诸如端到端延迟、单向延迟或者延迟变化的延迟特性，诸如位差错率、包丢失或者破裂的差错特征，以及诸如可用带宽数量或者带宽变化的带宽特性。
传递性能指定所支持的传输协议类型，诸如MPEG-2系统、TCP/IP和RTP，以及所支持的连接类型，例如广播、单播、多播。
用户偏爱信息包含过滤和搜索偏爱、浏览偏爱、显示偏爱和QoS偏爱，以及诸如性别和年龄的人口统计信息。
自然环境特征包含诸如GPS坐标和场所的位置，例如室内、室外、家或者办公室的位置类型，用户输出设备或者终端的速度以及影响用户设备或者终端的照明属性。
除了以上所述之外，数字项修改描述还可以指定服务性能。服务性能包含特定的用户角色，例如内容创建者、服务提供者、权利所有者、记账当事方或者终端消费者，以及特定用户提供的服务类型，诸如内容创建、权利谈判、记账、内容自适应和代码转换、网络的使用和内容消费。假定特定用户是权利所有者或者内容创建者，则数字项自适应描述还可以包含允许的修改的允许类型，例如位速率不应该低于2Mb/秒或者视频的空间分辨率不应该降低超过两倍。
数字项自适应的详细描述图4显示了数字项自适应的详细描述。该图举例说明了在描述自适应引擎和资源自适应引擎之间的数据流和控制。假定MPEG-21 DID分析器302早已经分析了DID并且已经把存在于DID语句单元中的描述部分和由资源单元指定的资源路由到它们相应的引擎310和320。应当注意到，在分布式环境中，这些引擎不必要定位在一起，即它们可以物理上位于世界的不同部分而且经由网络进行连接。也应注意到在数字项从源移动到诸如用户终端设备的目的地设备的过程中，它可以被自适应若干次。
来自DID的描述文档首先经受DID描述符分析器420以产生和该资源相关联的描述符集合。需要依据其创建该文档的第一模式430、或者规则组用于这个操作。包含字段和值的该描述符集合然后被传递到接口460。在分析过程期间，参见万维网协会(World Wide Web Consortium，W3C)规范创建文档对象模型(Document Object Model，DOM)。DOM实质上是定义了在该文档内的各个字段和值的亲子关系的数据结构。DOM被传递给DID描述符修改器440以稍后改变由于资源适配器450的自适应动作而必须被修改的字段的值。
数字项自适应描述301由DIA描述分析器470分析以产生一组与外界因素或者外部资源相关的描述。类似地，来自该描述组的字段和值被传递到描述/资源接口460。就象DID描述分析器一样，同样需要第二模式431用于这个分析操作。
描述符接口460的功能将收集各个资源(R)的描述符(D)、解释字段和值并且把相关信息传送给资源适配器450。描述/资源接口460知道资源适配器的性能。因此，接口460过滤和传送仅仅能够由资源适配器450使用的描述符参数。这能够通过预定义的应用程序接口(API)实现。基于资源适配器450的动作，自适应的资源(R′)以及相应的描述被送回到接口460。因为该系统是动态的，所以往返于该接口460的更新能够定期进行。
接口460依次获取由资源适配器450指定的修改了的描述符值，并且把再次包含字段和值的改变传送到DID描述符修改器440。使用这些更新了的值和由DID描述符分析器420创建的DOM，创建要被包含在修改的DID中的修改的文档。
资源适配器如上所述，资源适配器450的操作不仅受数字项自适应描述301的影响，而且还受被包含作为DID一部分的资源描述符的影响。这样的描述包含如由Vetro等人在1999年6月15日提出的美国专利申请Sn.09/547,159、“Videotranscodmg using syntactic and semantic clues”或者ISO/IEC 15938-52001、“Information Technology-Multimedia Content DescriptionInterfacePart5Multimedia Description Schemes”中指定的代码转换示意。
有多种可以依照本发明使用的资源修改引擎。对于视频代码转换，资源自适应引擎320可以考虑比特率减缩，例如参见由Sun等人所著、于1996年4月提出的IEEE Transactions on Circuits and Systems for Video Technology中的“Architectures for MPEG compressed bitstream scaling”，以及空间分辨率缩减，例如参见由Vetro等人在2001年5月11日提出的美国专利申请Sn.09/853,394“Video Transcoder with Spatial Resolution Reduction”。其他类型的修改可以包含视频概述的产生，例如参见由Divakaran等人在2000年8月9日提出的美国专利申请Sn.09/845,009“Method for summarizing a video using motion and colordescriptors”，或者压缩格式的改变，例如从MPEG-2改变到MPEG-4。
本发明能够使用任何用于资源修改的已知方法。该资源修改引擎的特定性能高度依赖于目标应用程序和目标修改设备。
数字项分发图5显示了数字项如何被产生、分发、自适应和最后被使用。首先，视听资源(多媒体内容)被捕捉和编码510。该资源然后可以经受特征提取511过程以产生一组该资源的描述符。基于该资源和描述符的内容，创建初始的数字项。在这个示例中，我们把这个包含资源和相应的资源描述符的数字项的特定类型称为CDI 512。
在经由异构网络分发CDI的过程中，它可能遇到由于某些外界因素，例如将由数字项自适应描述521指定的可用带宽，而要求该数字项的某些修改的网络节点520。这将启动数字项自适应处理过程300并且产生修改的CDI 522。
作为中间内容传递链530的一部分，该修改了的CDI 522可能最终在一家庭服务器/网关540上结束，在那儿它将等待到任意数量的不同消费者设备570的最终传递的请求。在这个示例中，我们考虑了支持MPEG-2 MP@ML的HDTV、支持在低空间分辨率和位传输率时的MPEG-4简单简档表(SimpleProfile)的PDA、以及仅仅可支持特定图形格式的游戏设备。
这些设备中的每一个都能够产生它们自己的描述，这将被我们称为初始的XDI 550。假定家庭服务器/网关支持多种类型的连接，例如，无线、CATV、以太网，则来源于相应设备的每个XDI可以在组合器580中由与例如网络条件有关的数字项自适应描述560进行进一步的修改。XDI修改器将处理这样的、对XDI的修改。除了到DID描述修改器的输入是直接基于数字项修改描述之外，该修改器以一种类似于描述自适应引擎300的方式进行操作。
当到达家庭服务器/网关时以及假定已经提出了对特定资源的请求时，将再次执行数字项自适应。在这种情况下，XDI起数字项自适应描述的作用，而且自适应的资源、或者具有所包含的资源的整个DID能够被传输到任何终端设备570。
虽然已经通过最佳实施例描述了本发明，但是要理解的是在本发明精神和范围之内能够做出各种其它的适应和修改。因此，所附权利要求书的目的是包含在本发明真实精神和范围之内的所有这样的变化和修改。
权利要求
1.一种用于自适应数字项的方法，所述数字项包含资源和资源描述符，所述方法包含依据数字项自适应描述来自适应该资源以产生自适应的资源和修改了的描述符值；依据修改了的描述符值来修改所述描述符以产生与自适应的资源一致的修改了的描述符；以及把修改了的描述符和自适应的资源组合成为修改了的数字项。
2.如权利要求1所述的方法，其特征在于所述描述符与数字项的内部资源有关，而且所述数字项修改描述与该数字项的外部资源有关，并且修改了的数字项实质上与外部资源一致。
3.如权利要求2所述的方法，其特征在于所述外部资源包含用于处理修改了的数字项的计算机系统。
4.如权利要求2所述的方法，其特征在于所述外部资源包含用于传输修改了的数字项的网络。
5.如权利要求2所述的方法，其特征在于所述外部资源包含用户偏爱信息。
6.如权利要求2所述的方法，其特征在于所述外部资源包含自然环境。
7.如权利要求2所述的方法，其特征在于所述外部资源包含用于使用修改了的数字项的用户设备。
8.如权利要求1所述的方法，进一步包含使用数字项说明分析器来分析该数字项以获得资源和描述符。
9.如权利要求1所述的方法，其特征在于使用代码转换器来自适应所述资源。
10.如权利要求1所述的方法，其特征在于该自适应概述所述资源。
11.如权利要求1所述的方法，其特征在于所述数字项自适应描述在用于分发该数字项的网络内产生。
12.如权利要求1所述的方法，其特征在于所述数字项自适应描述由使用该数字项的终端设备产生。
13.如权利要求1所述的方法，其特征在于所述数字项包含多个资源和多个关联的描述符。
14.如权利要求1所述的方法，其特征在于所述资源包含多媒体内容。
15.如权利要求1所述的方法，进一步包含经由描述符/资源接口来协调所述自适应和修改。
16.一种用于自适应数字项的系统，所述数字项包含资源和资源描述符，所述系统包含被配置以用于把数字项分离成为资源和描述符的分析器；被配置以用于依据数字项自适应描述自适应所述资源以产生自适应的资源的资源自适应引擎；被配置以用于依据数字项自适应描述修改所述描述符以产生与自适应的资源一致的、修改了的描述符的描述符修改引擎；以及被配置以用于把修改了的描述符和自适应的资源组合成为修改了的数字项的组合器。
17.如权利要求16所述的系统，进一步包含连接资源自适应引擎和描述符修改引擎的描述符/资源接口。
18.如权利要求16所述的系统，其特征在于所述资源自适应引擎包含代码转换器。
全文摘要
一种通过把数字项分析成为资源和资源的描述来自适应该数字项的方法和系统。该资源然后依据数字项自适应描述进行自适应以产生自适应的资源。然后依据该数字项自适应描述修改该描述符以产生与该自适应的资源一致的、修改的描述符。修改的描述符和自适应的资源被组合以形成修改的数字项。
文档编号G06F12/00GK1507748SQ0380016
公开日2004年6月23日 申请日期2003年2月12日 优先权日2002年2月20日
发明者A·维特罗, A 维特罗 申请人:三菱电机株式会社