专利名称：多媒体内容适配的设备、方法和系统的制作方法
技术领域：
本发明涉及一种将多媒体内容适配到不同终端的设备和方法。
更具体地，本发明允许将多媒体内容动态适配到不同的终端类(profile)。
本发明特别涉及其中根据不同的终端能力定义了一定数量的类的MPEG-4领域。
背景技术：
在多媒体设计的环境中，假定多种异类终端能够接收和恢复由相同服务器提供的内容。
然而，在硬件或软件功能方面，这些终端具有不同的能力。这些终端可以是桌面个人计算机、膝上型计算机、个人数字助理(PDA)、便携式电话、或数字接收机。如先前所认识到且公知的那样，这些终端不能读取相同的内容。作为简单的实例，可以容易地理解这些终端不能显示具有相同分辨率的相同图像。
MPEG-4标准(在文件ISO/IEC 14496-12001系统中定义)论坛已经根据必须符合MPEG-4的设备，定义了许多类。在文件N3932《NewMPEG-4 Profile Under Consideration》中定义了这些类。
例如，一些PDA将只能够播放MPEG-4压缩的音频/视频内容，而一些MPEG-4兼容计算机将能够播放所有MPEG-4类。
MPEG-4内容创建者的问题在于设计了由不符合接收到的内容的类的平台所理解的内容。针对一些特定的MPEG-4类创建的内容不能够在不符合该内容类的平台上显示，或者至少不在符合低等级的类的平台上显示。而且，当每一个类也被分割为不同的等级时，所定义类的数量非常重要，例如，每一个等级定义了如视频分辨率或数据率等参数。
在第六次亚太软件工程会议学报的第72页到79页中公布的文件《Design of a framework for dynamic content adaptation toweb-enabled terminals and enterprise applications》涉及一种将内容适配到具有不同能力的终端的方法。提出了一种根据设备的类型来选择、删除或转换网络文件的内容的每一个元素的解决方案。尽管该文件描述了一种动态适配系统，在发射器处执行适配，从而导致了对许多不同版本的内容进行发送。
这种解决方案不适合于包括大量终端的系统，其中需要将相同的内容发送到最大可能数量的终端，或者不适合于其中发射器预先不知道存储在特定终端中的参数的系统。
本发明人已经发现应该关注于当根据不同的类产生多个预定内容并且将其传送到不符合所传送内容的类的不同的异类终端时，具有一种允许在组播传输中的动态内容适配的系统。
本发明提出了一种基于转换规则的解决方案，并且允许动态地修改这些规则。该解决方案特别关注于其中定义了大量类、并由终端加载允许转换每一个终端中的所有类的完整解决方案在资源消耗和成本上花费较低的系统。
发明内容
本发明的目的是一种多媒体内容适配设备，用于接收与至少第一类相关的输入数据并产生与至少第二类相关的输出数据，包括-用于提取与至少第一类相关的事实的装置，-用于提取与至少第二类相关的事实的装置，-规则的集合，用于描述将与所述第一类相关的事实修改为与所述第二类相关的事实的方式，-用于分析与至少第一类相关的所述事实和与至少第二类相关的所述事实的装置，-用于根据所述规则的集合，将与所述第一类相关的事实修改为与所述第二类相关的事实的装置，
-当根据所述规则的集合，所述规则的集合不允许将与所述第一类相关的事实修改为与所述第二类相关的事实时，请求附加规则的装置。
具有可以根据接收到的内容和终端的类进行修改的规则的集合减少了在终端中所需的存储器容量。本发明特别关注—但不局限于—允许不同类的系统，其中每一个类被分割为多个等级。作为接收到的内容的函数，在需要的情况下，产生将允许更为复杂的功能转换的新规则。由于接收终端和外部的相互作用，能够以新规则来丰富规则的集合，并因而转换所有的功能，甚至是不必经常使用和将不需要专用规则的永久存储的特定事实。
本发明可以用于—但不局限于—连接多个多媒体终端的网络，所述多个多媒体终端根据不同的类产生不同的内容。
在一个优选实施例中，所述设备包括用于存储所述规则的集合和所述附加规则的装置。
根据本发明的一个实施例，提出了当现有规则不足时，使用能够学习新规则的系统，例如专家系统。
该特征尤其涉及几乎没有存储器容量的设备，例如便携式电话或个人数字助理。在这种情况下，可以在设备中首先实现基本规则的集合，如果其不足以进行转换，则请求附加规则。
如果设备有规律地接收根据特定类写入的内容，则这尤为有意义。所述规则的集合需要适配在这种情况下经常使用的内容，将适当的规则保持在设备中以便将来使用是省时的。
在另一实施例中，与内容一起接收所述规则的集合和所述附加规则。
这尤其适合于没有存储容量来永久存储所述规则的集合和所述附加规则的设备。
根据本发明的一个实施例，请求附加规则的所述装置向用户发送请求。
在定义了新类或存在多个适配解决方案的情况下，使用户能够具有在多个转换可能中进行选择的能力是有意义的。根据用户的喜好，例如，该用户可能更喜欢将多边形转换为圆形，而不是将其转换为矩形。用户的喜好是可以帮助将来内容的转换并因此可以存储在设备中的规则。
根据本发明的一个实施例，根据本发明的所述设备与一个多媒体终端相连。
将所述设备与多媒体终端相连特别有利。优选地，设备完全可以是多媒体终端的一部分，而不是通过外部链路与其相连。
根据本发明的一个实施例，所述多媒体终端通过网络与服务器相连，所述服务器根据多个类发送所述输入数据，并且请求附加规则的所述装置向所述服务器发送请求。
本发明在服务器向所有客户终端发送数据的客户-服务器环境中尤为有意义。
优选地，所述附加规则取决于所述多媒体终端的当前类。
所述设备可以请求附加规则以便完善已经存储在其存储器中的规则的集合，并且能够将与输入数据的类相关的事实转换为与其类相关的事实。例如，可以在一个时刻根据一个类来配置终端，并且根据网络特性或其他外部和内部参数来改变其配置。这样，根据这样的配置改变，终端可能需要与该新类适配的其他规则。
在一个特定的实施例中，根据优选级顺序对所述规则的集合和所述附加规则进行分类。
在某些情况下，可能发生多个规则能够将与第一类相关的事实转换为与第二类相关的事实。在这种情况下，确定必须应用哪一个规则尤为方便。规则可以由用户进行分类。所述分类还可以基于用户过去的选择的统计。
根据本发明的一个特定实施例，根据MPEG-4类定义来定义所述类。
在MPEG-4中，针对标准的每一部分严格地定义类○视频○音频○图形
○场景图形○DMIF(代表《传递多媒体集成框架》)○OD(代表“对象描述符”)○MPEG-J每一个类定义了对于一定的应用目的，例如对于根据需要的视频或服务质量要求，应该足够的功能的集合。
在MPEG-4中，还将类分割为多个等级。等级定义了类的复杂度。类和等级的组合定义了设备的性能(例如，处理功率、图形能力、存储器)。
本发明还涉及一种系统，包括至少一个根据本发明的任一个实施例的设备，一个第一设备，产生符合所述第一类的输出内容，并且将其发送到能够理解符合所述第二类的输入内容的至少一个第二设备。
根据本发明，根据本发明任一个实施例的设备接收符合所述第一类的所述输出内容，并且为所述第二设备产生符合所述第二类的输出内容。
本发明还涉及一种多媒体内容适配服务器，包括向至少一个客户终端发送数据的装置，所述数据与至少第一类相关，并且所述客户终端符合至少第二类，所述客户终端包括用于将与第一类相关的所述数据转换为与所述第二类相关的数据的规则的集合。
根据本发明，所述服务器还包括当所述客户终端不能将与所述第一类相关的所述数据转换为与所述第二类相关的数据时，在所述客户终端进行请求的情况下，向至少一个客户终端发送附加规则的装置。
本发明还涉及一种多媒体内容适配方法，包括以下步骤-接收与第一类相关的输入数据，-产生与至少第二类相关的输出数据，-提取与第一类相关的事实，-提取与第二类相关的事实，-利用规则的集合，描述将与所述第一类相关的事实修改为与所述第二类相关的事实的处理，-分析与至少第一类相关的所述事实和与至少第二类相关的所述事实，-根据所述规则的集合，将与所述第一类相关的事实修改为与所述第二类相关的事实，-当根据所述规则的集合，所述规则的集合不允许将与所述第一类相关的事实修改为与所述第二类相关的事实时，请求附加规则。
本发明还涉及一种计算机程序产品，包括当在机顶盒或数字电视接收机上执行该程序时，执行本发明所述的方法的程序代码指令。
借助附图，通过将说明本发明的非限定性实施例的描述，本发明的其他特征和优点将会更加明显，其中图1是表示根据本发明实施例的设备的方框图，图2是描述在符合MPEG-4标准的内容的情况下的适配的方框图，图3是表示根据本发明特定实施例的系统的方框图。
具体实施例方式
本实施例使用了MPEG-4类，但是也可以使用其他类型的类。当在描述中使用术语类时，还包括等级的概念。
MPEG-4论坛中的类的最新定义强调了以下思想尽管产生了单个的内容，许多异类的终端应该能够读取该内容，由于多媒体内容的使用越来越多地必须由多个终端读取。因此，当应用于MPEG-4时，本发明尤为相关。
在图1上示出了根据本实施例的设备。所述设备包括与分析和适配系统3相连并与外部链路6相连的内容加载模块1。分析和适配系统3还与规则存储装置2和输出模块4相连。规则存储装置能够进行规则的永久存储。规则存储装置2是可选的，并且在另一实施例中，规则可以与内容一起传输，如在本文件中稍后所描述的那样，并且一旦使用就删除。
在优选实施例中，如所示的那样，适配模块还通过连接链路5与用户相连。
根据本实施例，外部链路5是无线遥控器，而该设备是电视接收机的一部分。当然，本发明并不局限于该实施例。这些设备可以优先包括在诸如个人计算机、个人数字助理、电视机或其他任何多媒体终端的电子设备中，并且可以与这些多媒体终端相连。
所述设备从外部链路6接收内容。根据本实施例，该链路是因特网连接。
在这里所描述的优选实施例中，内容是MPEG-4兼容的。根据由MPEG-4标准化委员会定义的不同的类来写入该内容。还将每一个类分割为多个等级。
如图3所示，与多个设备相连的服务器产生所述内容。
根据一种变化的实施例，内容由设备产生，并且由服务器向网络中的其他设备广播。
所产生的内容符合一个类，该类不必是该内容的所有被寻址者的类，因而必须对其进行转换，以便由每一个被寻址者理解和/或显示。
内容加载模块1可能还必须对该内容进行解码(例如，当其被压缩时)。例如，所述解码在于将MPEG-4场景的不同成分分离为视频、音频、图形元素。
内容加载模块将所述内容传输到分析和适配系统，所述分析和适配系统将其分割为多个成分，对应于类工具(音频、视频、……)。图2给出了在MPEG-4内容的情况下的一个实例。
一旦分割了该内容，分析和适配模块从该修改后的内容中提取事实(fact)，以便应用存储在存储模块2中的规则。这些规则能够将根据初始类定义的内容转换为由其中嵌入了所述设备的电视接收机所能够理解的内容。例如，如果其是必须显示的内容，所述类可以定义为一组事实，例如显示器的尺寸。例如，由终端所提供的事实可以是显示器的尺寸、其能够显示的颜色的数量、分辨率等……。
存储在规则存储装置2中的规则能够通过修改所定义的不同事实并将其转换为与终端类相对应的事实，对所述内容进行修改。
例如，一个简单的规则可以是如果终端尺寸是50*10且输入内容被定义为100*20，则在原始内容上施加1/2的缩放。
根据从输入内容中所提取的事实，适配模块可以具有多个选择。根据一种变化的实施例，根据优先级标准，对规则进行排列。例如，如果某次请求用户选项以在多个规则中选择一个规则，根据基于用户的先前选择的统计，存储该用户的优选级，并对规则进行分类。
另外，根据一种变化的实施例，出于优化的目的，添加内部规则，例如，在MPEG-4中的“移除或删除空节点”。与其自身的场景图形的描述一起，这些节点描述了音频-视频原始数据及其属性。
根据一种变化的实施例，根据本发明，按照与所述设备相关的终端的类，在所述设备中删除一些规则。事实上，如果终端从未接收到给定类的内容，则一些规则可能是无用的。这可能对低类终端有意义，所述低类终端通常与较低的软件或硬件能力相关，因此几乎不具有存储器。
根据接收到的内容，一些提取出的事实可能不具有根据终端类的任何相应事实。在根据高等级类定义的内容和符合低等级类的几乎不具有资源的终端的情况下，可能会发生这样的情况。
在这种情况下，规则存储装置可以不包含能够根据高等级类来转换事实的转换规则。同时，可能已经删除了先前存在的规则。
根据本实施例，由设备通过外部链路6从服务器中请求丢失的规则。所述服务器通过向该设备发回规则作出响应。
当所述设备接收到输入内容时，其将该内容转换为不同的对象，如图2所示。其从这些对象中提取不同的事实。然后，所述设备根据这些事实来提出与输出类相关的事实。当不存在能够相应地提出的事实时，设备无法知道进行转换的任何规则。于是，该设备向服务器请求能够进行转换的规则或规则集合。该请求对于用户是透明的并且是实时的。
根据一种变化的实施例，由设备通过外部链路5从用户请求规则。然后，用户可以通过向该设备输入指示，帮助适配模块进行转换。例如，设备向用户提供多个选择，并且由用户进行选择。然后，将选择转换为诸如“将多边形转换为矩形”的规则。
这表示根据不同的实施例，链路5或链路6是可用的。
在图2中，示出了MPEG-4内容的分解以及适配器的功能描述。
将内容分离为以下不同的元素音频、视频、图形、场景图形、对象描述符和MPEG-J。
适配器至少包括4个模块用于时间和空间再取样的模块14、用于场景重构的模块15、用于对象描述符重构的模块16和用于API验证的模块17(“application and programming interface”的首字母缩写词)。
例如，时间和空间再取样的模块14根据事实将从输入事实中提取的输入内容的尺寸或形状(或其他任何几何特征)适配于输出类。例如，假定输入内容包含多边形形状，并且输出类包含表示任何已授权形状必须为矩形的事实。
时间和空间再取样模块14根据输入事实和输出类的事实，适配视频流的尺寸或其帧速率。
场景重构子模块15重构与输入场景一致的场景，但适配为输出场景图形和图形类。输出场景图形表示场景的结构。
例如，如果输入内容包含多边形的形状，并且输出类包含诸如已授权形状是矩形的事实，则模块15定义将多边形形状转换为矩形形状的规则。
对象描述符重构模块16提供由场景重构子模块15提供的场景描述和流资源之间的接合。
API验证模块17检查所述内容符合输出类。
根据本发明的该实施例，作为计算机程序指令来执行包含在分析和适配系统3中的不同功能。
可以对包括在规则存储装置2中的规则的集合进行修改，因此可以对其进行升级而无需编辑。它们可以作为软件那样下载，或者每一次当所述设备向服务器进行请求时，在添加新规则的情况下，对其进行修改。这能够进行不专用于一个终端的动态视频，而可以适配到包括这样的设备的每一个终端。
在图3中，示出了根据本实施例的包括多个设备的系统。
该图示出了其中多个网络通过多个网关互连并且与相同的服务器相连的特定实施例。
该特定实施例示出了分别在网络中而不是集成到其他设备中的设备。这使得能够利用现有的终端来实现本发明。一个特定的有意义的结构是根据其在相同网络上的类来组织这些终端。在这种情况下，服务器7发送根据网络8上的一个类设计的一个内容。该内容由不同的网关或中继器9、10接收，并且传输到与不同网络11、12和13相连的被寻址者。如先前所述，如果与网络11相连的终端符合唯一的类，具有位于网关中的适配器尤为有意义，从而适配器可以对于所有终端只进行一次转换。在这种情况下，适配器可以容易地学习位于网络上的终端符合的类的类型并且学习适当的规则。适配器可以包含能够学习新规则的专家系统。在这种情况下，针对所有终端发送相同内容的一个条件在于如果向其要求了相同的信息，则现有用户向适配器提供相同的信息。这看起来是不切实际的。根据本发明，设计单个的主终端以便仅在需要的时候帮助适配器进行转换。在一个优选实施例中，在IEEE-1394网络的情况下，例如，主终端可以是循环主终端。
根据一种变化的实施例，将规则(基本规则和附加规则)与内容一起发送。这尤为适合于没有存储器的适配器。服务器可以向不同的适配器9和10发送相同的内容，并且根据网络11、12和13上的终端向这些适配器发送不同的规则。
有利地，内容创建者还可以定义专用于其创建的内容类型的规则的特定集合，并且将该规则的集合与内容一起发送。
权利要求
1.一种多媒体内容适配设备，用于接收与至少第一类相关的输入数据并产生与至少第二类相关的输出数据，包括-用于提取与至少第一类相关的事实的装置，-用于提取与至少第二类相关的事实的装置，-规则的集合，用于描述将与所述第一类相关的事实修改为与所述第二类相关的事实的方式，-用于分析与至少第一类相关的所述事实和与至少第二类相关的所述事实的装置，-用于根据所述规则的集合来修改与所述第二类相关的事实的装置，-当根据所述规则的集合，所述规则的集合不允许将与所述第一类相关的事实修改为与所述第二类相关的事实时，请求附加规则的装置。
2.根据权利要求1所述的设备，其特征在于所述设备包括用于存储所述规则的集合和所述附加规则的装置。
3.根据权利要求1所述的设备，其特征在于与输入的内容一起接收所述规则的集合和所述附加规则。
4.根据权利要求1到3之一所述的设备，其特征在于请求附加规则的所述装置向用户发送请求。
5.根据权利要求1到4之一所述的设备，其特征在于所述设备与一个多媒体终端相连。
6.根据权利要求5所述的设备，其特征在于所述多媒体终端通过网络与服务器相连，所述服务器根据多个类发送所述输入数据，并且请求附加规则的所述装置向所述服务器发送请求。
7.根据权利要求6所述的设备，其特征在于所述附加规则取决于所述多媒体终端的当前类。
8.根据权利要求1到7之一所述的设备，其特征在于根据优先级顺序对所述规则的集合和所述附加规则进行分类。
9.根据权利要求1到8之一所述的设备，其特征在于根据MPEG-4类定义来定义所述类。
10.一种包括根据权利要求1到9之一所述的至少一个设备的系统，其特征在于一个第一设备产生符合所述第一类的输出内容，并且发送到能够理解符合所述第二类的输入内容的至少一个第二设备，并且根据权利要求1到9之一的所述设备接收符合所述第一类的所述输出内容，并且为所述第二设备产生符合所述第二类的输出内容。
11.一种多媒体内容适配方法，包括以下步骤-接收与第一类相关的输入数据，-产生与至少第二类相关的输出数据，-提取与第一类相关的事实，-提取与第二类相关的事实，-利用规则的集合，描述将与所述第一类相关的事实修改为与所述第二类相关的事实的处理，-分析与至少第一类相关的所述事实和与至少第二类相关的所述事实，-根据所述规则的集合，将与所述第一类相关的事实修改为与所述第二类相关的事实，-当根据所述规则的集合，所述规则的集合不允许将与所述第一类相关的事实修改为与所述第二类相关的事实时，请求附加规则。
12.一种多媒体内容适配服务器，包括向至少一个客户终端发送数据的装置，所述数据与至少第一类相关，并且所述客户终端符合至少第二类，所述客户终端包括用于将与第一类相关的所述数据转换为与所述第二类相关的数据的规则的集合，所述服务器的特征在于其包括当所述客户终端不能将与所述第一类相关的所述数据转换为与所述第二类相关的数据时，在所述客户终端进行请求的情况下，向至少一个客户终端发送附加规则的装置。
13.一种计算机程序产品，包括当在机顶盒或数字电视接收机上执行该程序时执行根据权利要求11所述的方法的程序代码指令。
全文摘要
本发明涉及一种用于接收与第一类相关的数据并产生与第二类相关的数据的设备，包括－用于提取与第一类相关的事实的装置，－用于提取与第二类相关的事实的装置，－规则的集合，用于描述将与所述第一类相关的事实修改为与所述第二类相关的事实的方式，－用于分析与至少第一类相关的所述事实和与至少第二类相关的所述事实的装置，－用于根据所述规则的集合来将与所述第一类相关的事实转换为与所述第二类相关的事实的装置，－当根据所述规则的集合，所述规则的集合不允许将与所述第一类相关的事实修改为与所述第二类相关的事实时，请求附加规则的装置。
文档编号H04N5/00GK1582565SQ02822009
公开日2005年2月16日 申请日期2002年10月22日 优先权日2001年11月6日
发明者达维德·萨于克, 保罗·凯尔比里乌, 蒂埃里·维耶拉尔, 让-克洛德·舍韦 申请人:汤姆森许可贸易公司