专利名称：用于适配图形内容的装置和方法及其系统的制作方法
技术领域：
本发明涉及一种用于适配(adapt)图形内容的装置及其方法，更具体地，涉及一种用于使图形内容适应于使用环境信息的装置及其方法，其中所述使用环境信息包括用户终端特性和用户表示偏好。本说明书中所述的图形内容被定义为包括两维图形内容、三维图形内容，和动画图形内容。本说明书将把图形内容的主题集中在描述本发明上。
背景技术：
运动图象专家组(MPEG)提出的数字项适配(DIA Digital ItemAdaptation)，是MPEG-21的一个新标准工作项。数字项(DI)的意思是一个具有标准表示、识别和元数据的结构化的数字对象。DIA是一种用于适配资源适配引擎和/或描述符适配引擎中的DI从而生成适配后的DI的处理。
术语“资源”表示一种可以被单独识别的东西，如视频或音频剪辑，和图形或文本的东西。它可以指示物理对象。术语“描述符”表示与组件或DI组件相关的信息。在本说明书中所述的术语“用户”包括DI的制造者、版权所有者、经销者或消费者。媒体资源表示可以直接以数字表示来表达的内容。在本说明书中，术语“内容”在使用中与DI、媒体资源和资源有相同的意思。
常用技术具有一个问题，它们不能提供一种一个图形内容适用于不同使用环境的单资源多用户环境。使用环境可以由有关用户特性、自然环境和终端能力的信息来描述。
“单资源”表示从一个多媒体资源中生成的内容。“多用户”意味着单个资源可以被具有不同使用环境的不同用户终端所使用。
单资源多用户环境具有这样一种优点，它可以通过对要适应于不同使用环境的单内容进行再处理，而提供适合于不同使用环境的各种形式的内容。另外，当它使单资源适用于各种使用环境时，它可以有效地减小网络带宽。
因此，在单资源多用户环境中，内容提供商可以减小不必要的成本，以制造和传输适用于不同使用环境的大量内容。同样，内容消费者可以消费最满足他们的用户偏好的最优图形内容。
近来，正日益显著地需要通过如个人计算机(PC)、个人数字助理(PDA)和移动电话的不同用户终端，在如游戏、医学诊断、计算机辅助设计/计算机辅助制造(CAD/CAM)、教育和娱乐的不同应用领域的图形内容。
制造商更加自由地使用他们的创造性来制造图形内容。图形内容具有一个优势，其数据传输量在可视通信方面相对较小。但是，也有缺点，当在最终用户的终端中显示时，它们需要大量计算。
在使用多媒体内容的常用方法中，如因特网，当内容被从服务器传输后，所述内容在用户终端中被使用。因此，考虑到用户的表示偏好、处理性能和用户终端的不同特性，在制造和传输三维图形或动画内容的过程中存在问题。
发明内容
因此，本发明的一个目的是提供一种用于使用包括上述用户终端特性和图形表示偏好的使用环境信息，来适配图形内容的装置。
根据本发明的一个方面，提供了一种用于适配图形内容以为多用户使用单源的装置，包括图形使用环境信息管理单元，用于从消费图形内容的用户终端收集、描述和管理图形使用环境信息；图形适配单元，用于适配图形内容以适应于用户终端的图形使用环境信息，并将适配后的图形内容输出给用户终端，其中图形使用环境信息包括用户终端特性信息和图形表示偏好信息。
根据本发明的一个方面，提供了一种用于适配图形内容以为多用户使用单源的方法，包括下列步骤a)从消费图形内容的用户终端收集、描述和管理图形使用环境信息；b)适配图形内容以使之适应于用户终端的图形使用环境信息，并将适配后的图形内容输出给用户终端，其中图形使用环境信息包括用户终端特性信息和图形表示偏好信息。
从下面给出的优选实施例的描述以及附图中，本发明上述和其它目的和特性将变得更加明显，其中图1是一个图示了用于根据本发明实施例适配图形的装置的方框图；图2是一个示出了根据本发明实施例的图1的图形适配装置的方框图；
图3是一个描述了图1的图形适配装置中的图形适配处理的流图；图4是一个图示了图3的步骤S305中的适配处理的流图；图5示出了一个图形内容的例子，其中根据本发明的实施例改变了几何品质描述符。
具体实施例方式
从下文中参考附图的实施例的描述中，本发明的其它目的和方面将更加明显。
下面的描述仅举例说明了本发明的原理。即使在本说明书中没有清晰的描述和图示，本领域的一般技术人员也可以具体化本发明的原理，并构造各种包含在本发明的概念和范围内的装置。
本说明书中提出的条件和实施例的使用，其目的仅为使本发明的概念更易理解，而并不仅限于说明书中提及的实施例和条件。
此外，对本发明的原理、观点和实施例及特定实施例的所有详细描述，应该被理解为包括与之等价的结构和功能。等价体不仅包括当前已知的等价体，并且包括那些在未来开发的，即发明的所有用以实现相同功能的设备，而不管它们的结构如何。
例如，本发明的方框图应该被理解为显示了包含本发明的原理的典型电路的一个概念观点。类似地，所有流图、状态变化图、伪代码等都可以被实质上表示在计算机可读介质中，不管计算机或处理器是否被明确描述，它们都应该被理解为表示各种由计算机或处理器操作的处理。
在附图中图示的包括表示为处理器或类似概念的功能块的各种设备的功能，可以不仅通过使用专用于该功能的硬件来提供，而且可以被使用能够为该功能运行适当软件的硬件来提供。当由处理器来提供一个功能时，该功能可以被单个专用处理器、单个共享处理器或多个独立的、且部分可以共享的处理器来提供。
术语“处理器”、“控制”或类似概念的明显使用，不应该被理解为专用于指一个能够运行软件的硬件，而应该被理解为暗含地包括数字信号处理器(DSP)、硬件和用于存储软件的非易失存储器、ROM和RAM。其它已知和常用硬件也可以被包含在其中。
在本说明书的权利要求中，被表述为一个用于执行在详细描述中描述的功能的装置的一个元件意欲包括所有用于执行该功能的方法，包括所有的软件形式，如用于执行特定功能的电路、固件/微代码等的组合。
为了执行特定功能，元件与一个适合的电路合作以执行软件。由权利要求定义的本发明包括用于执行特定功能的各种装置，和以权利要求中所需方法彼此相联的装置。因此，任何可以提供该功能的装置应该被理解为是一个从本说明书得出的等价体。
从下文中参考附图的实施例的描述中，本发明的其它目的和方面将更加明显。尽管元件出现在不同的图中，但对相同的元件指定相同的参考数字。此外，如果关于相关现有技术的详细描述会搅乱本发明的要点，则忽略该描述。下文中，将参考附图详细描述本发明的优选实施例。
图1是一个图示了用于根据本发明实施例适配图形的装置的方框图。本发明的图形适配装置100包括图形适配部分103和图形使用环境信息管理部分107。
图形适配部分103和图形使用环境信息管理部分107中的每个都可以被独立地安装在图形处理系统上。图形处理系统包括膝上型计算机、桌面计算机、工作站、主机(main frame computer)和其它类型的计算机。它还包括其它类型的数据处理系统或信号处理系统，如PDA和移动通信中的移动台。
图形处理系统可以是形成网络路径的节点中的任何一个，即多媒体节点系统，多媒体中继节点系统，和最终用户终端。最终用户终端配备有一个播放器，如Windows Media Player，Real Player等。
例如，当图形适配装置100被安装在多媒体源节点系统上并运行时，图形适配装置100从最终用户终端接收关于使用环境的信息，适配内容以适应于接收到的使用环境，并将适配后的内容传输给最终用户终端。
为了描述根据本发明的一个实施例的图形适配装置100的数据处理功能和操作，如图形编码处理，在ISO/IEC技术委员会的ISO/IEC标准文档可以帮助描述优选实施例的元件的功能和操作的范围内，包含所述标准文档以作为本说明书的一部分。
图形数据收集部分101收集多媒体源中生成的图形数据。图形数据收集部分101可以被包含在多媒体源节点中或包含在通过有线/无线网络接收从多媒体源节点系统发送的图形数据的多媒体中继节点系统中。同样，它也可以被包含在最终用户终端中。
图形适配部分103从图形数据收集部分101接收图形数据，并通过使用图形使用环境信息管理部分107获得的使用环境信息适配图形内容以适应于使用环境。使用环境信息包括用户终端特性和图形表示偏好。
图形适配部分103的功能并不需要被包含在特定节点系统中，但是它可以被包含在形成网络路径的节点系统中。
图形使用环境信息管理部分107从用户终端收集信息，事先描述用户终端的使用环境信息，并管理它。
图形数据输出部分105输出由图形适配部分103适配后的图形数据。输出的图形数据可以通过有线/无线网络被传输给最终用户终端的图形播放器，或传输给多媒体中继节点系统或最终用户终端。
图2是一个示出了根据本发明实施例的图1的图形适配装置的方框图。在图中，图形数据收集部分101可以包括图形内容/元数据收集单元110、图形元数据存储单元130和图形内容存储单元120。
图形内容/元数据收集单元110收集图形内容和图形元数据。图形元数据存储单元130存储收集到的图形元数据。图形内容存储单元120存储收集到的图形内容。
图形内容/元数据收集单元110将地面波信号、卫星和电缆电视(TV)信号、以及各种图形内容和与通过记录介质(如录像机(VCR)、CD和DVD)获得的图形内容相关的元数据发送给图形内容存储单元120和图形元数据存储单元130，并将它们存储在其中。
因为图形内容可以包括三维图形和三维动画图形，所以它们可以以多种不同编码方法来存储。编码方法包括各种以流形式传输的介质格式。
同样，通过定义图形媒介信息，如图形内容方法的类型、文件大小、比特速率、每秒的帧数目(帧/秒)及分辨率，以及通过定义制造和分类信息，如标题、制造商、制造地点、制造日期和时间、以及扩展标记语言(XML)模式的内容的类型和等级，来描述图形元数据。
图形使用环境信息管理部分107可以包括图形表示偏好信息收集单元150、用户终端特性信息收集单元140、图形表示偏好信息管理单元160、和用户终端特性信息管理单元170。
图形表示偏好信息收集单元150收集和调节用户的图形表示偏好信息，并将收集到的信息发送给图形表示偏好信息管理单元160，以基于用户的特定表示偏好来适配图形内容以适应于多视形内容。用户的图形表示偏好与用户终端的性能相关。
图形表示偏好信息管理单元160以一种机械可读语言如XML模式，记录、存储和管理用户表示偏好信息，并将该信息发送给图形内容适配单元180。
同样，用户终端特性信息收集单元140收集和调节用户终端用于表示图形内容缩写的用户终端特性信息，并将该信息发送给用户终端特性信息管理单元170。
与图形表示偏好信息管理单元160相同，用户终端特性信息管理单元170以一种机械可读语言如XML模式，记录、存储和管理用户终端特性信息，并将该信息发送给图形内容适配单元180。
图形适配部分103可以包括图形内容适配单元180和图形元数据适配单元190。图形内容适配单元180适配图形内容，图形元数据适配单元190从图形元数据存储单元130接收元数据，并将元数据发送给图形内容适配单元180。
图形内容适配单元180分析图形表示偏好信息管理单元160，以获取用户的表示偏好，如多视图偏好和加强图形质量的偏好，并适配图形内容以适应于用户的图形表示偏好。
图形内容适配单元180从用户终端特性信息管理单元170接收XML模式的用户终端特性信息，分析该信息，并适配图形内容以适应于用户终端的特性。
图形元数据适配单元190提供图形内容适配处理所需的元数据，并根据图形内容适配的结果来适配图形元数据。
图形数据输出部分105可以包括图形内容/元数据输出单元200，用于向用户输出从图形内容适配单元180和图形元数据适配单元190发送的图形内容和图形元数据。
图3是一个描述了图1的图形适配装置中的图形适配处理的流图。参考附图，本发明的处理以在步骤S301中，图形使用环境信息管理部分107从用户终端收集图形使用环境信息，并描述用户终端特性信息和图形表示偏好信息为开始。
在步骤S303，图形数据收集部分101收集图形数据。然后，在步骤S305，图形适配部分103基于在步骤S301中获得的使用环境信息，适配图形数据以适应于如用户终端特性和图形表示偏好的使用环境。在步骤S307，图形数据输出部分105输出适配后的、在步骤S305中获得的图形数据。
图4是一个图示了图3的步骤S305中的适配处理的流图。在步骤S401中，图形适配部分103检查图形数据收集部分101收集的图形内容和图形元数据。在步骤S403中，它适配该图形内容以适应于用户终端特性和图形表示偏好。在步骤S405中，它根据图形内容适配的结果适配图形元数据。
下文中披露的是图形使用环境信息管理部分107所管理的描述信息的结构。根据本发明的用户终端特性信息的元素显示在表1和2中。
表1
表2
下面是描述了与图形内容的解码和/或编码处理相关的信息的XML模式的语法。该信息由用户终端特性信息管理单元170记录和存储。
首先，表1可以如下表示。
<element name＝“GraphicsFormat”type＝“mpeg7ControlledTermUseType”/>
同样，图2可以如下表示。
<element name＝“GraphicParameters”minOccurs＝“0”>
<sequence>
<element name＝“vertexProcessingRate”type＝“integer”minOccurs＝“0”/>
<element name＝“fillRate”type＝“integer”minOccurs＝“0”/>
<element name＝“memoryBandwidth”type＝“integer”minOccurs＝“0”/>
</sequence>
</element>
vertexProcessingRate、fillRate、和memoryBandwidth描述符代表用户终端的图形内容表示能力。vertexProcessingRate描述符描述了以顶点/秒为单位的编解码器的最大顶点(vertex)处理速率。fillRate描述符描述了以像素/秒为单位的编解码器的最大填充速率。填充速率被定义为图形分辨率、帧速率和深度复杂性的乘积。memoryBandwidth描述符描述了以比特/秒为单位的编解码器的最大带宽。
同时，图形表示偏好信息的元素被显示在表3中。
表3
下面是描述由图形表示偏好信息管理单元160记录并存储的图形表示偏好信息的XML模式的语法。
<element name＝“GraphicsPresentationPreference”type＝“diaGraphicsPresentationPreferenceType”minOccurs＝“0”/>
<complexTypename＝“GraphicsPresentationPreferenceType”>
<sequence>
<element name＝“3DtoMultivew2D”minOccurs＝“0”>
<complexType>
<sequence maxOccurs＝“unbounded”>
<element name＝“CameraSourceLocation”type＝“3Dcoord”/>
<element name＝“CameraDestLocation”type＝“3Dcoord”/>
<element name＝“CameraFocallength”type＝“float”/>
<element name＝“CameraProjection”minOccurs＝“0”/>
<simpleType>
<restriction base＝“string”>
<enumeration value＝“Perspective”>
<enumeration value＝“Orthographic”>
</restriction>
</simpleType>
</element>
<element name＝“CameraFieldOfView”>
<simpleType>
<restriction base＝“float”>
<minInclusive value＝“0.0”>
<maxInclusive value＝“360.0”>
</restriction>
</simpleType>
</element>
<element name＝“CamerAspectRatio”type＝“mpeg7nonNegativeFloat”/>
<element name＝“CameraNearPlane”type＝“mpeg7nonNegativeFloat”/>
<element name＝“CameraFarPlane”type＝“mpeg7nonNegativeFloat”/>
</sequence>
</complexType>
</element>
<element name＝“GeometryQuality”
type＝“mpeg7zeroToOneType”/>
<element name＝“MaterialQuality”type＝“mpeg7zeroToOneType”/>
<element name＝“AnimationQuality”type＝“mpeg7zeroToOneType”/>
</sequence>
</complexType>
<simpleType name＝“3Dcoord”>
<restriction base＝“mpeg7floatVector”/>
<minLength value＝“3”/>
<maxLength value＝“3”/>
</restriction>
</simpleType>
在这些图形表示偏好信息中，GeometryQuality描述符强调图形内容的图形对象的几何品质。它强调用户的几何偏好。
图5示出了一个图形内容的例子，其中根据本发明的实施例改变了GeometryQuality描述符。图形内容的几何特性，即几何品质，可以通过在值0与1之间设置GeometryQuality描述符来加强。
例如，当GeometryQuality描述符被设置为1时，传输图形内容的原件。当GeometryQuality描述符被设置为0.4，并且图形内容的图形对象由100个矩形网格构成时，通过将矩形网格的数目降低为40，图形对象的几何特性被以低于原始品质的质量显示。
MaterialQuality描述符强调图形内容的图形对象的素材特性，如纹理。MaterialQuality描述符包括与图形结构降低相关的用户偏好的纹理加强。它的重点是用户对素材的偏好。图形内容的素材质量可以被通过在值0与1之间设置MaterialQuality描述符来加强。
例如，如果MaterialQuality描述符被设置为1，图形内容的所有素材特性保持不变而被传输。如果MaterialQuality描述符被设置为0.04，且图形内容的图形对象由100×100个像素构成，则通过将素材减少为20×20个像素，素材特性被以低品质显示。
AnimationQuality描述符示出了在动画图形对象中用户对每秒显示的图片数目的偏好。AnimationQuality描述符可以被设置为0与1之间的值以加强动画特性，即动画质量。
例如，如果AnimationQuality描述符为1，则图形内容具有的所有原始动画特性被传输。如果AnimationQuality描述符为0.4，并且图形内容的动画图形对象具有30个关键位置，通过将动画的临时解析度降为每秒12个关键位置，图形内容的动画特性被以低品质显示。
如上所述，本发明的技术可以提供一种服务环境，其中通过使用用户终端特性信息和用户偏好信息，图形内容可以适应于不同的使用环境及各种用户偏好。
同样，在本发明的单源多用户环境中，一个图形内容被再处理以适应于不同环境和用户需求，如各种用户终端的性能和能力及各种用户的特性，并且可以很快地提供该图形内容。因此，可以降低制造和传输大量图形内容的成本，使用户克服在位置和环境中的限制，同时满足用户的偏好。
尽管本发明被关于特定优选实施例而描述，但对于本领域的技术人员而言，很显然在不背离如权利要求书中所定义的本发明的范围的情况下可以做出各种变化和修改。
权利要求
1.一种用于适配图形内容以使用单源用于多用途的装置，包括图形使用环境信息管理装置，用于从消费图形内容的用户终端收集、描述和管理图形使用环境信息；图形适配装置，用于适配图形内容以适应于用户终端的图形使用环境信息，并将适配后的图形内容输出给用户终端，其中图形使用环境信息包括用户终端特性信息和图形表示偏好信息。
2.如权利要求1所述的装置，其中用户终端特性信息包括与用户终端的编码/解码性能相关的信息，并且图形适配装置基于与编码/解码性能相关的信息适配图形内容，并向用户终端发送适配后的图形内容。
3.如权利要求2所述的装置，其中与编码/解码性能相关的信息包括关于用户终端中每秒处理的顶点的最大数目的信息。
4.如权利要求2所述的装置，其中与编码/解码性能相关的信息包括关于每秒用户终端的屏幕缓冲器中显示的像素的最大数目的信息。
5.如权利要求2所述的装置，其中与编码/解码性能相关的信息包括关于用户终端的图形处理器和图形存储器之间的最大速率的信息。
6.如权利要求1所述的装置，其中图形表示偏好信息包括对图形内容的图形对象的几何特性的偏好，并且图形适配装置通过改变图形内容的图形对象的几何特性来适配图形内容，并向用户终端发送适配后的图形内容。
7.如权利要求1所述的装置，其中图形表示偏好信息包括对图形内容的图形对象的素材特性的偏好，并且图形适配装置通过改变图形内容的图形对象的素材特性来适配图形内容，并向用户终端发送适配后的图形内容。
8.如权利要求1所述的装置，其中图形表示偏好信息包括对于每秒显示的动画图形对象的图片数目的用户偏好，并且图形适配装置通过基于用户偏好改变图形内容的动画图形对象的特性来适配图形内容，并向用户终端发送适配后的图形内容。
9.一种用于适配图形内容以使用单源用于多用途的方法，包括下列步骤a)从消费图形内容的用户终端收集、描述和管理图形使用环境信息；b)适配图形内容以适应于用户终端的图形使用环境信息，并将适配后的图形内容输出给用户终端，其中图形使用环境信息包括用户终端特性信息和图形表示偏好信息。
10.如权利要求9所述的方法，其中用户终端特性信息包括与用户终端的编码/解码性能相关的信息，并且在步骤b)中，基于与编码/解码性能相关的信息适配图形内容，并向用户终端发送适配后的图形内容。
11.如权利要求10所述的装置，其中与编码/解码性能相关的信息包括关于用户终端中每秒处理的顶点的最大数目的信息。
12.如权利要求10所述的装置，其中与编码/解码性能相关的信息包括关于每秒用户终端的屏幕缓冲器中显示的像素的最大数目的信息。
13.如权利要求10所述的装置，其中与编码/解码性能相关的信息包括关于用户终端的图形处理器和图形存储器之间的最大速率的信息。
14.如权利要求9所述的装置，其中图形表示偏好信息包括对图形内容的图形对象的几何特性的偏好，并且在步骤b)中，通过改变图形内容的图形对象的几何特性来适配图形内容，并向用户终端发送适配后的图形内容。
15.如权利要求9所述的装置，其中图形表示偏好信息包括对图形内容的图形对象的素材特性的偏好，并且在步骤b)中，通过改变图形内容的图形对象的素材特性来适配图形内容，并向用户终端发送适配后的图形内容。
16.如权利要求9所述的装置，其中图形表示的偏好信息包括对于每秒显示的动画图形对象的图片数目的用户偏好，并且在步骤b)中，通过基于用户偏好改变图形内容的动画图形对象的特性来适配图形内容，并向用户终端发送适配后的图形内容。
全文摘要
提供了一种用于适配图形内容的装置和方法及其系统。通过适配数字内容以适应于用户的图形显示偏好，该装置和方法为用户提供了最佳的数字内容体验。用于适配图形内容的装置包括图形使用环境管理单元和图形适配单元。
文档编号G06F3/14GK1777919SQ200380109269
公开日2006年5月24日 申请日期2003年12月3日 优先权日2002年12月3日
发明者金鳞澈, 南济镐, 洪镇佑, 金镇雄, 金海光, 赵南翊, 金炯中, 金万培 申请人:韩国电子通信研究院, 金鳞澈