专利名称：：根据媒体资源转换多媒体内容的模态以支持质量服务的方法和设备的制作方法
技术领域：
：本发明涉及一种根据媒体资源来转换多媒体内容的模态以支持质量服务的方法和装置，尤其涉及多媒体内容的模态转换，以支持在普遍存在的计算环境中使用的多媒体内容的质量服务。
背景技术：
：终端不支持相同种类的内容资源，但访问和使用(consume)通用多媒体的情况是多媒体通信中的新趋势。在用于通用多媒体访问(UMA)的系统中，内容的自适应转换是对使用者支持质量服务(QualityofService,QoS)的最重要的处理。内容的自适应转换可以从两个角度考虑。一个是内容译码(transcoding),即，改变内容的位速率(或质量)而不转换内容的模态；另一个是模态转换，即，将内容从一个模态(例如，视频)转换到另一模态(例如，静止图像)。在一些近来的研究中，已经讨论了表示内容值(或内容质量)与资源之间的相互关系的内容值模型(或内容值曲线)。在S.Chandra和C.S.Ellis在1999年10月的"2ndSymp.InternetTechnologiesandSystems"中发表的论文"JPEGCompressionMetricasaQualityAwareImageTranscoding"中,以及在S.Chandra和C.S.Ellis的论文"JPEGCompressionMetricasaQulityAwareImageTramscoding，2ndSymp.InternetTechnologiesandSystems"BoulderCO:USENIX，Oct.1999中，基于与资源量密切相关的压缩率，对JPEG图像特有的质量度量(measure)进行了广泛探究。在RakeshMohan、JohnR.Smith和Chung-ShengLi在IEEETrans.Multimedia,Vol.1，No.1,pp.104-114中发表的论文"AdaptingMultimediaInternetContentforUniversalAccess,IEEETrans.Multimedia,Vol.1No.1，pp.104-114，Mar.1999"中，当内容表示设计(representationdesign)包括具有不同模态的内容版本时，讨论了使用单调凹函数表示内容值与资源之间的相互关系的情况。然而，凹函数不能正确地表示具有不同模态的内容值之间的相互关系。目前，大部分QoS用内容值必须根据具体模态来分别计算。这样做的原因是每个模态具有特定的特性，并且不同模态的质量可能以不同的维(dimension)来度量。然而，简单的执行模态转换的系统方法和内容缩放(scaling)需要不同模态的内容值的组合。直观上，如果给出几个资源的内容特性即限制，服务提供者(向下)缩放内容以适应资源的特性，直到向使用者提供最佳的QoS。然而，在一些情况下，所缩放的内容的质量可能不适合使用者。在这种情况下，针对以上问题的解决方案是将内容的模态转换为另一模态。例如，当带宽过窄时，与低质量视频的流动(streaming)和传输相比，一连串不同图像的传输可能更适合。这种方法是将模态从视频转换为图像的典型例子。当从QoS的角度看时，模态转换中的最重要的问题是"哪个资源特性需要将当前模态转换为不同的模态"。支持模态转换的大多数当前系统只有当终端不支持特定模态时才工作。然而，当终端支持模态但资源被限制时，任何现有技术的发明均不提供确保最佳QoS的模态转换的系统解决方案。本发明针对基于模态的QoS的以上解决方案，提供查找模态转换边界(boundary)的方法。
发明内容因此，本发明的目的是提供模态转换的时点和方法，其在各种内容和装置环境下，在不同模态以及相同模态中，从QoS的角度保证最佳QoS。关于该目的，本发明提出(l)使用不同内容模态的比例因子来为QoS设计重叠内容模型的方法，以及(2)为了模态转换的自动化，将模态转换的QoS描述为可扩充标记语言(XML)。本发明提供一种根据媒体资源来转换多媒体内容的模态以支持多媒体内容的QoS的方法，包括以下步骤接收描述多媒体内容的模态转换的特性的模态转换描述符；接收多媒体内容；以及将多媒体内容的模态转换为根据媒体资源和模态转换描述符确定的模态。模态转换描述符描述多媒体内容的模态的内容值曲线和比例因子。每个内容值曲线是通过对根据两个或更多个不同的质量而度量的内容值曲线进行合并而获得的。优选地，模态转换步骤包括以下步骤使用模态的内容值曲线和比例因子来获得转换边界；使用转换边界确定针对媒体资源的最佳模态；以及将多媒体内容转换为所确定的最佳模态。此外，本发明提供一种根据媒体资源来转换多媒体内容的模态以支持多媒体内容的QoS的设备，该设备包括接收装置，用于接收描述多媒体内容的模态转换的特性的模态转换描述符；以及模态转换装置，用于将多媒体内容的模态转换为根据媒体资源和模态转换描述符确定的模态。本发明提出的方法由表示内容值与资源之间的相互关系以支持QoS的重叠内容值模型、以及对重叠内容值模型的设计构成。在本发明中，内容在不同种类的网络环境中传输，并被各种终端使用。首先，接收数据描述结构，在该数据描述结构中，描述用于保证QoS的多媒体内容的模态转换的特性。之后，根据所输入的数据描述结构，将多媒体内容的模态转换为提供QoS的模态。优选地，当根据所输入的数据描述结构对多媒体内容的模态进行转换以提供QoS时，使用不同内容模态之间的转换边界来转换多媒体内容的模态。使用不同内容模态之间的转换边界来转换内容的模态的步骤包括(A)查找表示内容值与资源之间的相互关系的模态的内容值曲线(模态曲线)，(B)查找表示模态的重要性的模态的比例因子，(C)根据比例因子将模态曲线映射为单一重叠内容值模型，(D)在重叠内容值模型中，获得作为模态曲线的交点的转换边界，以及(E)在限制下，使用所获得的模态转换边界将当前模态转换为不同的模态以支持QoS。在查找表示内容值与资源之间的相互关系的模态的内容值曲线(模态曲线)的步骤中，可以根据不同的质量(PSNR、MOS等)来度量内容值。当内容值与多种资源有关时，将模态曲线变为模态面。在查找表示模态的重要性的模态的比例因子的步骤中，可以由内容作者或提供者自动或手动地提供比例因子。在根据比例因子将模态曲线映射为单一重叠内容值模型的步骤中，通过对根据不同质量度量的值进行合并来获得内容值。图l是示出根据本发明实施例的转换多媒体内容的模态的装置的框图；图2是示出根据本
发明内容项目(contentitem)的重叠内容值模型的概念的视图；图3是示出根据本
发明内容项目的最终内容值函数的概念图；图4是示出视频内容模态从两个质量曲线到单一最终模态曲线的构建(映射)的概念图，其中，图4a是示出以峰值信号与噪声的比(PSNR)度量的质量曲线的曲线图，图4b是示出以平均判分法(MeanOpinionScore,MOS)度量的质量曲线的曲线图，图4c是示出在每个比例因子均是l的情况下，组合的单一最终模态曲线的曲线图；以及图5是示出转换内容的模态以支持QoS的处理的流程图。具体实施方式以下，参考附图来详细说明本发明的实施例。在附图中，相同的附图标记用来表示相同或相似的组成部分或信号。图l是示出根据本发明实施例的转换多媒体内容的模态的装置的框图。多媒体内容和模态转换描述符接收单元102通过网络接收多媒体内容和多媒体内容的模态转换描述符，并且将所接收的多媒体内容和描述符提供给模态转换描述符提取单元104和多媒体内容模态转换单元108。模态转换描述符提取单元104提取所输入的多媒体内容的模态转换描述符，并将模态转换描述符提供给多媒体内容模态转换单元108。媒体资源信息提供单元106将与多媒体内容的提供有关的、由网络或终端提供的限制提供给多媒体内容模态转换单元108。多媒体内容模态转换单元108为由模态转换描述符和媒体资源信息提供的媒体资源确定最佳模态，并将多媒体内容的模态转换为最佳模态。通过输出单元110，将转换为新模态的多媒体内容提供给网络或终端。本发明提供的重叠内容值模型可以表示内容值、资源和模态之间的相互关系。可以根据不同的内容模态，与表示内容值的重叠内容值模型一起表示内容。图2示出具有视频模态的内容的内容值模型的例子。在图2中，可以由内容提供者或作者，或者通过终端中的计算来分配各种模态的内容值曲线。图3是示出根据本
发明内容项目的最终内容值函数的视图。如图3的虚线所示，模态曲线的交点表示模态之间的转换边界。基于转换边界，可以定量确定模态转换，以维持最大的容许QoS。本发明包括以图3所示的重叠模型来表示各种内容模态并基于QoS来确定模态转换点的方法。单一模态曲线是由内容缩放器(scaler)所使用的内容缩放操作形成的。例如，考虑到空间分辨率、时间分辨率和每像素代码位(codedbit),一见频内容一皮缩放，以与特定资源的特性相匹配。为了从这种单一内容模型来形成重叠内容模型，必须在单一重叠内容模型上生成包括各种模型的单一曲线。假定内容i的模态j的内容值曲线是VMi,。在这种情况下，j=l，...，山，^是内容i可使用的模态的数量。此外，对于全部j二l，…，Ji，必须满足VMi^0,tl是表示内容的初始模态的指标。在这种情况下，由以下方程l表示内容i的内容值函数^-max^KMj^l,..",.}(1)在方程1中，Wij是内容i的模态j的比例因子。为了将不同模态合并为如方程l所示的单一模型，内容的作者或提供者自动或手动地为每个模态分配适当的比例因子Wy,以使得不同形式的内容值必须反映其相对重要性，并且对公用的内容值具有公用的度量单位。此外，可以根据各种质量来度量模态的内容值曲线。例如，视频模态可以通过计算PSNR和MOS来获得内容值曲线。因此，为了表示根据特定质量而度量的内容值曲线，使用术语"质量曲线"。其结果是，可以由各种质量曲线形成单一模态曲线。術y=2>广術、(2)大在方程2中，VMkij是根据内容的质量类型k度量的质量曲线。此外，zk是用于确保QoS的质量类型k的比例因子。图4是示出获得模态曲线的例子的曲线图，其示出从分别具有不同度量的内容值(PSNR和MOS)的两个质量曲线形成单一模态曲线的过程。比例因子Zk是将不同度量的内容值合并为单一模态曲线的参数，其可以根据QoS进度表(schedule)由内容提供者事先提供，或可自动计算。此时，当内容涉及多种资源时，将模态曲线转换为多维空间中的模态面(modalitysurface)。此外，可将本发明提出的上述方法有效应用到很多资源。总体上，在QoS的模态转换中，重叠内容值模型的解析特征可以概括如下(1)模型包括多种模态曲线。(2)最终内容值函数由重叠模型的上部组成。(3)每个模态曲线可由一个或更多内容缩放操作来构造。(4)每个模态曲线的特征在于，当资源的数量增加时，模态曲线不减少且不增加。图5的流程图中示出概述的整个模态转换过程。在步骤10和11,使用各种测量方法为n个模态计算质量曲线。在步骤20和21,基于依赖于质量类型的比例因子，使用方程2将为每个模态计算的质量曲线合并为单一模态曲线。在这种情况下，其结果是在步骤30和31获得n个模态曲线。在步骤40,在粗略计算模态的比例因子后，基于所获得的比例因子，将模态曲线映射为单一模型，以形成单一重叠内容值模型。在内容的单一重叠内容值模型中(步骤50),在步骤60，可以找到模态曲线的交点。可以使用最终获得的模态转换边界来获得当前模态应该在何种限制下转换为支持QoS的不同模态的解决方案(步骤70)。在该系统中形成重叠内容模型中，表示所使用的参数的元数据(metadata)信息需要以例如可扩充标记语言(eXtendedMarkupLanguage,XML)的结构化形式来表示。表1表示XML形式的本发明提出的模态转换QoS技术表l<table>tableseeoriginaldocumentpage11</column></row><table>在表l中，"ModalityCurveType"的语义的定义如表2所示表2<table>tableseeoriginaldocumentpage11</column></row><table>名称定义Modality描述资源的模态ModScale描述资源模态的比例因子QualityCurve描述资源模态的内容值曲线UtilityRef描述资源模态的质量曲线UtiScale描述质量曲线的比例因子上述实施例仅用于使本领域技术人员便于理解本发明，而并非意在限制本发明的范围。本领域技术人员必须注意，可以对上述实施例做出各种变化和修改。原则上，本发明的范围由所附权利要求书限定。工业应用性根据本发明的结构，提供一种针对重叠内容值模型的设计的系统方法，以使模态之间的转换边界可以被定量计算。其结果是，可以在单一模型中建立各种模态之间的相互关系，并且可以执行支持最佳QoS的模态转换。此外，使用本发明作为精确确定模态转换和内容缩放的基础，从而有效实现UMA。权利要求1.一种根据媒体资源来转换多媒体内容的模态以支持所述多媒体内容的质量服务(QoS)的方法，包括以下步骤接收描述所述多媒体内容的模态转换的特性的模态转换描述符；接收所述多媒体内容；以及模态转换步骤，用于将所述多媒体内容的模态转换为根据媒体资源和所述模态转换描述符确定的模态。2.根据权利要求l所述的方法，其特征在于，所述媒体资源是所述多媒体内容被提供到的网络或终端。3.根据权利要求l所述的方法，其特征在于，所述模态转换描述符描述所述多媒体内容的模态的内容值曲线和比例因子。4.根据权利要求3所述的方法，其特征在于，所述模态转换步骤包括以下步骤使用模态的所述内容值曲线和所述比例因子来获得转换边界；使用所述转换边界确定针对所述媒体资源的最佳模态；以及将所述多媒体内容转换为所确定的最佳模态。5.根据权利要求4所述的方法，其特征在于，所述转换边界是与如下交点对应的媒体资源的值，所述交点是当模态的所述内容值曲线根据所述比例因子彼此重叠时，所述内容值曲线彼此相交的交点。6.根据权利要求3所述的方法，其特征在于，每个所述内容值曲线是通过对根据两个或更多个不同的质量而度量的内容值曲线进行合并而获得的。7.—种根据媒体资源来转换多媒体内容的模态以支持所述多媒体内容的QoS的设备，该设备包括接收装置，用于接收描述所述多媒体内容的模态转换的特性的模态转换描述符；以及模态转换装置，用于将所述多媒体内容的模态转换为根据媒体资源和所述模态转换描述符确定的模态。8.根据权利要求7所述的设备，其特征在于，所述模态转换描述符描述所述多媒体内容的模态的内容值曲线和比例因子。9.根据权利要求8所述的设备，其特征在于，所述模态转换装置包括使用模态的所述内容值曲线和所述比例因子来获得转换边界的装置；以及将所述多媒体内容的模态转换为所确定的最佳模态的装置。10.根据权利要求9所述的设备，其特征在于，所述转换边界是与如下交点对应的媒体资源的值，所述交点是当模态的所.述内容值曲线根据所述比例因子彼此重叠时，所述内容值曲线彼此相交的交点。11.根据权利要求8所述的设备，其特征在于，每个所述内容值曲线是通过对根据两个或更多个不同的质量而度量的内容值曲线进行合并而获得的。全文摘要本发明涉及基于媒体资源的、支持质量服务(QoS)的模态转换，其包括以下步骤接收描述多媒体内容的模态转换的特性的模态转换描述符；接收多媒体内容；以及将多媒体内容的模态转换为根据媒体资源和模态转换描述符确定的模态。根据本发明，提供一种针对重叠内容值模型的设计的系统方法，以使模态之间的转换边界可以被定量计算。其结果是，可以在单一模型中建立各种模态之间的相互关系，并且可以执行支持最佳QoS的模态转换。文档编号H04QGK101124570SQ200480033034公开日2008年2月13日申请日期2004年10月8日优先权日2003年10月10日发明者南济镐,洪镇祐,童从尚,金在坤,鲁勇满申请人:韩国电子通信研究院;库隆股份有限公司;韩国情报通信大学校产学协力团