专利名称：用于适配2d和3d立体视频信号的装置和方法
技术领域：
本发明涉及一种用于适配2D或3D立体视频信号的装置和方法；更特别地，本发明涉及一种用于根据用户特征和用户终端特征来适配2D或3D立体视频信号的装置和方法以及一种其上记录了用于执行所述方法的程序的计算机可读记录介质。
背景技术：
运动图像专家组(MPEG)建议了一种新的标准工作项、一种数字项适配(DIA)。数字项(DI)是一种具有标准表示、标识和元数据的结构化数字对象，而DIA是指通过修改资源适配引擎和/或描述符适配引擎中的DI来产生适配的DI的处理过程。
这里，资源是指能单独标识的资产，诸如音频或视频剪辑、以及图像或文本资产。资源也可以代表一个物理对象。描述符是指与DI的部件或项目相关的信息，诸如元数据。同样，用户是指包括DI的所有生产者、合法人(rightfulperson)、分销商和消费者。媒体资源是指能直接数字化表述的内容。在本说明书中，以与DI、媒体资源和资源相同的意思来使用术语‘内容’。
虽然目前为止二维(2D)视频已经为通用媒体，但是三维(3D)视频也已经被引入到信息和电讯的领域中。在很多的英特网站点、DVD标题等处容易找到立体图像和视频。随着这种情况的发展，在立体视频处理中已经对MPEG产生了兴趣。在MPEG-2中已经标准化了立体视频的压缩方案，即，国际标准组织/国际电技术委员会(ISO/IEC)JTC1/SC29/WG11的“Final Text of12818-2/AMD3(MPEG-2 multiview profile)”。1996中定义了MPEG-2多视角配置(MVP)，来作为利用为立体声TV的主应用域的MPEG-2标准的修正版。MVP通过隐含地定义不均等性补偿预测(disparity-compensated prediction)，来向着内视角通道冗余(inter-viewchannel redundancy)进行开拓来扩展众所周知的混合编码(hybrid coding)。主要的新元件是用于多摄像机序列(multi-camerasequence)的临时可扩展性(TS，temporal scalability)模式的用途的定义，以及在MPEG-2语法中的获取参数的定义。起初开发了TS模式来允许具有低帧速率的基层流和具有附加视频帧的增强层流的联合编码。如果两种流都可用，则能利用全帧速率来再现已解码的视频。在TS模式中，能从基层帧或从最近重新构造的增强层帧中执行增强层宏块的临时预测(temporal prediction)。
通常，使用具有一对左和右摄像机的立体摄像机来产生立体视频。该立体视频被存储或发送到用户。不像立体视频，2D视频的3D立体转换(2D/3D立体视频转换)使得用户观看来自普通2D视频数据的3D立体视频成为可能。例如，用户能欣赏来自TV、VCD、DVD等的3D立体电影。不像从立体摄像机获得的一般立体图像，本质差别是立体转换要产生来自单一2D图像的立体图像。同样，能从从立体摄像机获得的3D立体视频中提取2D视频(3D立体/2D视频转换)。
传统技术具有一个问题，即它们不能提供单源多用途环境，在该单源多用途环境中通过使用视频内容使用信息，即，用户特征、用户的自然环境、以及用户终端的能力，来将一个视频内容适配到不同的使用环境上并在该不同的使用环境中使用。
这里，‘单一源’表示在多媒体源中产生的内容，以及‘多用途’是指具有各种使用环境的各种用户终端，该各种用户终端消费适应到它们的使用环境的‘单一源’。
单源多用途是有利的，这是因为它通过将内容适配到不同的使用环境来利用仅仅一种内容就能提供各种内容，另外，当它提供适配到各种使用环境的单一源时，它能有效地减少网络带宽。
因此，内容提供者能节约用于产生和发送多个内容以匹配各种使用环境的不必要成本。另一方面，能把为了它们的各种使用环境而优化的视频内容提供给内容消费者。
但是，传统技术没有利用单源多用户。也就是说，传统技术不加选择地发送视频内容，而没有考虑使用环境，诸如用户特征和用户终端特征。具有视频播放机应用程序的用户终端利用从多媒体源接收的未经变化的格式来消费视频内容。因此，传统技术不能支持单源多用途环境。
如果多媒体源提供一种考虑了各种使用环境的多媒体内容以克服传统技术的问题并且支持单源多用途环境，则较多的负担被施加到内容的产生和传输上。
发明内容
因此，本发明的一个目标是提供一种用于通过使用预先规定消费视频内容的用户终端的使用环境的信息来将视频内容适配到使用环境的装置和方法。
根据本发明的一个方面，提供了一种用于为了单源多用途而适配二维(2D)或三维(3D)立体视频信号的装置，该装置包括视频使用环境信息管理装置，用于获取、描述和管理来自用户终端的用户特征信息；以及视频适配单元，用于将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
根据本发明的另一个方面，提供了一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的装置，该装置包括视频使用环境信息管理单元，用于获取、描述和管理来自用户终端的用户终端特征信息；以及视频适配单元，用于将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
根据本发明的一个方面，提供了一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
根据本发明的另一个方面，提供了一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户终端特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
根据本发明的一个方面，提供了一种用于记录程序的计算机可读记录介质，该程序用于实现为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
根据本发明的另一方面，提供了一种用于记录程序的计算机可读记录介质，该程序用于实现为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户终端特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
从下面结合附图给出的优选实施例的描述中，本发明的上述和其它目标和特征将变得明显，其中图1是说明配有根据本发明的一个实施例的视频适配装置的用户终端的方框图；图2是描述一个用户终端的方框图，该用户终端能通过使用本发明的一个实施例的图1的视频适配装置来使其具体化；图3是说明图1的视频适配装置中执行的视频适配处理的流程图；图4是描述图3的适配处理的流程图；图5是显示根据本发明的一个优选实施例对2D视频信号和3D立体视频信号进行适配处理的流程图；图6是描述根据本发明的视差的示范性图；图7是描述根据本发明的深度范围的示范性图；以及图8A至8C是说明根据本发明的3D立体视频信号的着色方法的示范性图。
具体实施例方式
从下面参考附图给出的实施例的描述中，本发明的其它目标和方面将变得明显，这在下文中阐述。
下面的描述仅仅例示本发明的原理。即使在本说明书中没有清楚地描述或说明它们，本领域技术人员也能实现(embody)本发明的原理并且在本发明的思想和范围内发明各种装置。
本说明书中陈述的条件术语和实施例仅用来理解本发明的概念，并且它们没有被限制到说明书中提出的实施例和条件上。
此外，所有对本发明的原理、观点和实施例和特定实施例的详细描述应该被理解为它们的结构性和功能性等效物。该等效物不仅包括当前已知的等效物而且也包括未来将要开发的那些等效物，即，所有发明来执行同样功能的设备，而不管它们的结构。
例如，本发明的方框图应该被理解为显示用来体现本发明的原理的示范性电路的概念性观点。相似地，所有的流程图、状态转换图、伪代码等能基本上被表示在计算机可读记录介质中，并且无论在说明书中是否有区别地描述了计算机或处理器，它们都应该被理解为表示由计算机或处理器运行的处理。
不仅通过使用专用的硬件，而且也通过使用能够运行适当软件的硬件，就能提供在包括表示为处理器或相似概念的功能块的图中说明的各种设备的功能。当由处理器来提供所述功能时，提供者可以是单一专用处理器、单一共享处理器、或多个单独处理器，该多个单独处理器的部分能被共享。
术语‘处理器’、‘控制’或相似概念的明显使用不应该被理解为专门是指能够运行软件的一片硬件，而应该被理解为隐含包括数字信号处理器(DSP)、硬件以及用于存储软件的ROM、RAM和非易失性存储器。其中也包括其它已知和公共使用的硬件。
在本说明书的权利要求中，表示为用于执行在详细描述中所描述的功能的“装置”的元件是指包括用于执行包括所有软件格式的功能的所有方法，诸如用于执行功能的电路组合、固件/微码等。为了执行所打算的功能，所述元件和用于执行软件的合适电路一起运行。本发明包括用于执行特定功能的各种装置，并且该装置以权利要求中所请求的方法彼此连接。因此，任何能提供该功能的装置应该被理解为从当前说明书中得出的等效物。
参照附图，从下面实施例的描述中，本发明的其它目标和方面将变得明显，这在下文中阐述。相同的附图标记被给定到相同的元件上，虽然该元件出现在不同的附图中。此外，如果对相关现有技术的进一步的详细描述被认为使本发明的观点变得模糊，则省略其描述。下文中，将详细地描述本发明的优选实施例。
图1是说明配有根据本发明的实施例的视频适配装置的用户终端的方框图。参照图1，本发明的实施例的视频适配装置100包括视频适配部分103和视频使用环境信息管理部分107。视频适配部分103和视频使用环境信息管理部分107中的每一个都能彼此相互独立地被提供到视频处理系统中。
视频处理系统包括膝上型电脑、笔记本电脑、台式电脑、工作站、大型计算机和其它类型的计算机。在视频处理系统中包括了数据处理或信号处理系统，诸如个人数字助理(PDA)和无线通信移动台。
视频系统可以是从形成网络路径的节点中任意选择的任何一个，例如，多媒体源节点系统、多媒体中继节点系统、以及最终用户终端。
该最终用户终端包括视频播放机，诸如Windows媒体播放机和实时播放机。
例如，如果视频适配装置100被绑定在多媒体源节点系统上并被运行，则它接收关于其中消费视频内容的使用环境的预先规定的信息，将该视频内容适配到使用环境上，并且将所适配的内容发送到最终用户终端上。
关于视频编码处理，视频适配装置100处理视频数据的处理，用于ISO/IEC的技术委员会的标准/国际电子技术委员会(ISO/IEC)标准文档资料的国际组织可以被包括为本说明书的一部分，只要其有助于描述本发明的实施例中的元件的功能和操作。
视频数据源部分101接收在多媒体源中产生的视频数据。视频数据源部分101可以被包括在多媒体源节点系统中、或在通过有线/无线网络接收从多媒体源节点系统发送的视频数据的多媒体中继节点系统中、或在最终用户终端中。
视频适配部分103接收来自视频数据源部分101的视频数据，并且通过使用由视频使用环境信息管理部分107预先规定的使用环境信息，来将视频数据适配到使用环境上，例如，用户特征和用户终端特征。
视频使用环境信息管理部分107收集来自用户和用户终端的信息，并然后预先描述和管理使用环境信息。
视频内容/元数据输出部分105输出由视频适配部分103所适配的视频数据。可以通过有线/无线网络将输出的视频数据发送到最终用户终端的视频播放机上，或发送到多媒体中继节点系统或最终用户终端上。
图2是描述能通过使用根据本发明的实施例的图1的视频适配装置来实现的用户终端的方框图。正如在附图中所描述的，视频数据源部分101包括视频元数据201和视频内容203。
视频数据源部分101从多媒体源收集视频内容和元数据并存储它们。这里，从地面、卫星或有线TV信号、诸如英特网的网络、或诸如VCR、CD或DVD的记录介质中获得视频内容和元数据。视频内容也包括以流(streaming)或广播的形式发送的2维(2D)视频或3维(3D)立体视频。
视频元数据201是与视频媒体信息和相应的内容信息相关的描述数据，其中视频媒体信息为诸如视频内容的编码方法、文件大小、比特率、帧/第二和分辨率，相应的内容信息为诸如视频内容的题目、作者、生产时间和地点、类别和速率。基于可扩展标记语言(XML)方案能定义和描述视频元数据。
视频使用环境信息管理部分107包括用户特征信息管理单元207、用户特征信息输入单元217、视频终端特征信息管理单元209和视频终端特征信息输入单元219。
用户特征信息管理单元207通过用户特征信息输入单元217，根据来自用户终端的用户偏好或喜爱，在2D/3D视频转换的情况下，接收用户特征的信息，诸如3D立体视频内容的深度和视差，或在3D/2D视频转换的情况下，接收左和右内部视频，并且管理用户特征的信息。以机械可读的语言，例如XML格式，来管理输入的用户特征信息。
视频终端特征信息管理单元209接收来自视频终端特征信息输入单元219的终端特征信息和管理该终端特征信息。以机械可读的语言，例如XML格式，来管理终端特征信息。
视频终端特征信息输入单元219将预先设置或由用户输入的终端特征信息发送到视频终端特征信息管理单元209。视频使用环境信息管理部分107接收所收集的用户终端特征信息，以播放3D立体视频信号，诸如用户终端的显示硬件是单视的还是立体的，或视频解码器是立体MPEG-2、立体MPEG-4或立体音频视频交织(AVI)视频解码器，或着色方法是交叠的、同双的、页面翻转的、红蓝彩色立体图、红青彩色立体图、或红黄彩色立体图。
视频适配部分103包括视频元数据适配单元213和视频内容适配单元215。
视频内容适配单元215分析分别在用户特征信息输入单元217和视频终端特征信息管理单元209中管理的用户特征信息和视频终端特征信息，然后将视频内容适当地适配到用户特征和终端特征上。
也就是说，视频内容适配单元215接收和分析用户特征信息。然后，诸如深度、视差的用户偏好和最大延迟帧的数目被反映在适配信号处理过程中，以及2D视频内容被转换到3D立体视频内容上。
当输入的3D立体视频信号被转换到2D视频信号时，根据用户的偏好信息来发射输入的3D立体视频信号的左图像、右图像或同步图像并且将3D立体视频信号适配到2D视频信号上。
同样，视频内容适配单元215以XML格式从视频终端特征信息管理单元209接收用户特征信息，并分析该用户特征信息。然后，视频内容适配单元215根据诸如显示设备、3D立体视频解码器和着色方法的种类的用户终端特征信息，来执行3D立体视频信号的适配。
视频元数据适配处理单元213将在视频内容适配处理过程中需要的元数据提供到视频内容适配单元215，并且基于视频内容适配的结果来适配相应的视频元数据信息的内容。
也就是说，视频元数据适配处理单元213将在2D视频内容或3D立体视频适配处理过程中所需要的元数据提供到视频内容适配单元215。然后，视频元数据适配处理单元213基于视频内容适配的结果来更新、写入或存储2D视频元数据或3D立体视频元数据。
视频内容/元数据输出单元105输出根据用户特征和终端特征适配的2D视频或3D立体视频的内容和元数据。
图3是说明在图1的视频适配装置中执行的视频适配处理过程的流程图。参照图3，在步骤S301处，视频使用环境信息管理部分107获取来自用户和用户终端的视频使用环境信息，并且规定关于用户特征、用户终端特征的信息。
随后，在步骤S303处，视频数据源部分101接收视频内容/元数据。在步骤S305处，视频适配部分103通过使用在步骤S301处描述的使用环境信息，来将在步骤S303处接收的视频内容/元数据适当地适配到使用环境，即，用户特征、用户终端特征上。
在步骤S307处，视频内容/元数据输出部分105输出在步骤S305处适配的2D视频数据或3D立体视频。
图4是描述图3的适配处理(S305)的流程图。
参照图4，在步骤S401处，视频适配部分103识别视频数据源部分101已经接收的2D视频内容或3D立体视频内容和视频元数据。在步骤S403处，视频适配部分103将需要适配的2D视频内容或3D立体视频内容适当地适配到用户特征、用户的自然环境和用户终端能力上。在步骤S405处，视频适配部分103基于视频内容适配的结果来适配与2D视频内容或3D立体视频内容相对应的视频元数据，这在步骤S403处被执行。
图5是显示根据本发明的一个优选实施例对2D视频信号和3D立体视频信号进行适配处理的流程图。
参照图5，解码器502接收编码的MPEG视频信号501、从每一16×16宏块中提取运动矢量并且执行图像类型分析503和运动类型分析504。
在图像类型分析期间，确定图像是否是静止图像、水平运动图像、非水平运动图像或快速运动图像。
在运动类型分析期间，确定摄像机的运动和运动图像的目标。
通过图像类型分析503和运动类型分析504来从2D视频中产生3D立体视频505。
从基于强度、纹理和其它特征的静止图像中获得块的图像像素或3D深度信息。所获得的深度信息被用来构造右图像或左图像。
从水平运动图像中选择当前图像或延迟的图像。根据由运动类型分析504所确定的水平运动图像的运动类型，适当地将所选的图像显示到用户的右或左眼上。
根据运动和深度信息，从非水平运动图像中产生立体图像。
这里，描述在视频使用环境信息管理部分107中管理的描述信息的结构。
根据本发明，为了通过使用消耗2D视频内容或3D立体视频内容的使用环境的预先规定的信息来将2D视频内容或3D立体视频内容适配到使用环境上，应该管理使用环境信息，例如，关于用户特征的信息StereoscopicVideoConversionType，关于终端特征的信息StereoscopicVideoDisplayType。
关于用户特征的信息描述关于2D视频或3D立体视频转换的用户偏好。下面所示是语法的例子，该语法基于XML模式(schema)的定义，图1中所示，来描述由视频使用环境信息管理部分107所管理的用户特征的描述信息结构。
<complexType name＝ “StereoscopicVideoConversionType”>
<sequence>
<elementname＝ “Frorm2DTo3DStereoscopic” minOccurs＝ “0”>
<complexType>
<sequence>
<element name＝ “ParallaxType”>
<simpleType>
<restriction base ＝ “string”>
<enumeration value ＝ “Positive”/>
<enumeration value ＝ “Negative”/>
</restriction>
</simpleType>
</element>
<elementname＝ “DepthRange”type＝“mpeg7:zeroToOneType”/>
<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>
</sequence>
</complexType>
</element>
<elementname＝“From3DStereoscopicTo2D”MinOccurs＝“0”/>
<complexType>
<sequence>
<element name ＝“LeftRightInterVideo”>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝ “Left”/>
<enumeration value ＝ “Right”/>
<enumeration value ＝ “Intermediate”/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
</element>
</sequence>
</complexType>
图1显示用户特征的元件。
参照由XML模式的定义描述的示范性语法，本发明的用户特征被划分成两种类别，诸如从2D视频到3D立体视频的转换情况From2DTo3Dstereoscopic和从3D立体视频到2D视频From3DStereoscopicTo2D的转换情况。
在从2D视频到3D立体视频的转换的情况中，ParallaxType表示为用户对视差类型的偏好的负视差或正视差。
图6是根据本发明描述视差的示范性图。
参照图6，A表示负视差以及B表示正视差。也就是说，在负视差的情况下，在监视器屏幕和人眼之间觉察到目标的3D深度，而在正视差的情况下在屏幕后面觉察到目标。
同样，在从2D视频信号到3D立体视频信号的转换的情况下，DepthRange表示用户对3D立体视频信号的视差深度的偏好。能根据3D深度的范围的确定来增加或减少视差。
图7是根据本发明描述深度范围的示范性图。
参照图7，在汇聚点A处，与B相比较觉察到较宽的深度。
同样，在从2D视频信号到3D立体视频信号的转换的情况下，MaxDelayedFrame表示延迟帧的最大数目。
立体转换方案之一是利用延迟的图像。也就是说，图像顺序是{...，Ik-3，Ik-2，Ik-1，Ik，...}和Ik是当前的帧。先前帧之一，Ik-n(n＞1)被选择。然后，立体图像由Ik和Ik-n组成。由MaxDelayedFrame来确定延迟帧的最大数目n。
在从3D立体视频信号到2D视频信号的转换的情况下，LeftRightInterVideo表示在左图像、右图像或合成图像之中的用户偏好，以便获得具有较好质量的图像。
关于用户终端特征的信息表示特征信息，诸如用户终端的显示硬件是单声的或立体的，或视频解码器是立体的MPEG-2、立体的MPEG-4或立体的AVI视频解码器，或着色方法是交叠的、同双的、页面翻转的、红蓝彩色立体图、红青彩色立体图、或红黄彩色立体图。
如下所示是一种语法的例子，该语法基于XML方案的定义，如图1中所示，表示由视频使用环境信息管理部分107管理的用户终端特征的描述信息结构。
<complexType name＝“StereoscopicVideoDisplayType”>
<sequence>
<element name＝“DisplayDevice”>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝“Monoscopic”/>
<enumeration value ＝ “Stereoscopic”/>
</restriction>
</simpleType>
</element>
<element name ＝“StereoscopicDecoderType”type＝“mpeg7: ControlledTermUseType”/>
<element name ＝“RenderingFormat”/>
<simpleType>
<restriction base ＝“string”>
<enumeration value ＝“Interlaced”/>
<enumeration value ＝“Sync-Double”/>
<enumeration value ＝“Page-Flipping”/>
<enumeration value ＝“Anaglyph-Red-Blue”/>
<enumeration value ＝“Anaglyph-Red-Cyan”/>
<enumeration value ＝“Anaglyph-Red-Yellow”/>
</restriction>
</simpleType>
</element>
</sequence>
</complexType>
表2显示用户特征的元件。
DisplayType表示用户终端的显示硬件是单像的或立体的。
StereoscopicDecoderType表示视频解码器是立体MPEG-2、立体MPEG-4或立体AVI视频解码器。
RenderingFormat表示视频解码器是立体的MPEG-2、立体的MPEG-4或立体的AVI视频解码器，或着色方法是交叠的、同双的、页面翻转的、红蓝彩色立体图、红青彩色立体图、或红黄彩色立体图。
图8A到8C是说明根据本发明的3D立体视频信号的着色方法的示范性图。参照图8A到8C，着色方法包括交叠的、同双的和页面翻转的。
下面所示为一种语法的例子，该语法当将2D视频信号适配为3D立体视频信号时表示诸如用户的偏爱和爱好的用户特征的描述信息结构。
该语法表示ParallaxType表示负视差，DepthRange被设置为0.7并且延迟帧的最大数目是15。
同样，该语法表示在3D立体视频信号之中选择合成图像。
<StereoscopicVideoConversion>
<From2DTo3DStereoscopic>
<ParallaxType>Negative</ParallaxType>
<DepthRange>0.7</DepthRange>
<MaxDelayedFrame>15</MaxDelayedFrame>
</From2DTo3DStereoscopic>
<From3DStereoscopicTo2D>
<LeftRightInterVideo>Intermediate</LeftRightInterVideo>
</From3DStereoscopicTo2D>
</StereoscopicVideoConversion>
下面所示为一种语法的例子，该语法在3D立体视频信号用户终端的情况下表示用户终端特征的描述信息结构。
用户终端支持单像显示器、MPEG-1视频解码器和彩色立体图。这些用户终端特征被用于3D立体视频信号用户。
<StereoscopicVideoDisplay>
<DisplayDevice>Monoscopic</DisplayDevice>
<StereoscopicDecoderTypehref＝“urn:mpeg:mpeg7:cs:VisualCodingFormatCS:2001:1”>
<mpeg7:Name xml:lang＝“en”>MPEG-1 Video</mpeg7:Name>
</StereoscopicDecoderType>
<RenderingFormat>Anaglyph</RenderingFormat>
<StereoscopicVideoDisplay>
本发明的方法能被存储在计算机可读的记录介质中，例如，CD-ROM、RAM、ROM、软盘、硬盘和光/磁盘中。
如上所述，通过使用关于用户的偏好和爱好的信息和用户终端特征，本发明能提供能将2D视频内容适配3D立体视频内容的和将3D立体视频内容适配2D视频内容的服务环境上，以便符合不同的使用环境和特征和用户的偏好。
同样，本发明的技术通过将2D视频信号或3D立体视频内容适配到不同的使用环境和具有各种特征和趣味的用户上，能将一个单一源提供到多个使用环境上。因此，能够节约用于生产和发送多个视频内容的成本，并通过满足用户的偏好和克服用户终端能力的限制，能提供最佳视频内容服务。虽然已经参照特定实施例显示和描述了本发明，但是对于本领域技术人员将显然的是，在没有脱离所附权利要求定义的本发明的精神和范围的情况下，可以做出很多的变化和更改。
权利要求
1.一种用于为了单源多用途而适配二维(2D)或三维(3D)立体视频信号的装置，包括视频使用环境信息管理装置，用于获取、描述和管理来自用户终端的用户特征信息；以及视频适配装置，用于将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
2.根据权利要求1所述的装置，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如正视差或负视差的用户偏好。
3.根据权利要求2所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“ParallaxType”><simpleType><restriction base＝“string”><enumeration value＝“Positive”/><enumeration value＝“Negative”/></restriction></simpleType></element>。
4.根据权利要求1所述的装置，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如3D立体视频信号的视差深度的用户偏好。
5.根据权利要求4所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<elementname＝“DepthRange”type＝“mpeg7zeroToOneType”/>。
6.根据权利要求1所述的装置，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如延迟帧Ik-n的最大数目n的用户偏好。
7.根据权利要求6所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>。
8.根据权利要求1所述的装置，其中，所述用户特征信息包括在将3D立体视频信号适配到2D视频信号的情况下诸如其图像信号选择为2D视频信号的用户偏好。
9.根据权利要求8所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“LeftRightInterVideo”><simpleType><restriction base＝“string”><enumeration value＝“Left”/><enumeration value＝“Right”/><enumeration value＝“Intermediate”/></restriction></simpleType></element>。
10.一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的装置，包括视频使用环境信息管理装置，用于获取、描述和管理来自用户终端的用户终端特征信息；以及视频适配装置，用于将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
11.根据权利要求10所述的装置，其中，所述用户特征信息包括关于由用户终端支持的显示设备的信息。
12.根据权利要求11所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“DisplayDevice”><simpleType><restriction base＝“string”><enumeration value＝“Monoscopic”/><enumeration value＝“Stereoscopic”/></restriction></simpleType></element>。
13.根据权利要求10所述的装置，其中，所述用户特征信息包括关于3D视频解码器的信息。
14.根据权利要求13所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“StereoscopicDecoderType”type＝“mpeg7ControlledTermUseType”/>。
15.根据权利要求10所述的装置，其中，所述用户特征信息包括关于3D视频的着色方法的信息。
16.根据权利要求15所述的装置，其中，所述用户特征信息被表示在如下的信息结构中＜element name＝“RenderingFormat”＞ ＜simpleType＞ ＜restriction base＝“string”＞ ＜enumeration value＝“Interlaced”/＞ ＜enumeration value＝“Sync-Double”/＞ ＜enumeration value＝“Page-Flipping”/＞ ＜enumeration value＝“Anaglyph-Red-Blue”/＞ ＜enumeration value＝“Anaglyph-Red-Cyan”/＞ ＜enumeration value＝“Anaglyph-Red-Yellow”/＞ ＜/restriction＞ ＜/simpleType＞＜/element＞。
17.一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的方法，包括如下步骤a)获取、描述和管理来自用户终端的用户特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
18.根据权利要求17所述的方法，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如正视差或负视差的用户偏好。
19.根据权利要求18所述的方法，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“ParallaxType”><simpleType><restriction base＝“string”><enumeration value＝“Positive”/><enumeration value＝“Negative”/></restriction></simpleType></element>。
20.根据权利要求17所述的方法，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如3D立体视频信号的视差深度的用户偏好。
21.根据权利要求20所述的装置，其中，所述用户特征信息被表示在如下的信息结构中<elementname＝“DepthRange”type＝“mpeg7zeroToOneType”/>。
22.根据权利要求17所述的装置，其中，所述用户特征信息包括在将2D视频信号适配到3D立体视频信号的情况下诸如延迟帧Ik-n的最大数目n的用户偏好。
23.根据权利要求22所述的方法，其中，所述用户特征信息被表示在如下的信息结构中<elementname＝“MaxDelayedFrame”type＝“nonNegativeInteger”/>。
24.根据权利要求17所述的装置，其中，所述用户特征信息包括在将3D立体视频信号适配到2D视频信号的情况下诸如其图像信号选择为2D视频信号的用户偏好。
25.根据权利要求24所述的方法，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“LeftRightInterVideo”><simpleType><restriction base＝“string”><enumeration value＝“Left”/><enumeration value＝“Right”/><enumeration value＝“Intermediate”/></restriction></simpleType></element>。
26.一种用于为了单源多用途而适配2D视频信号或3D立体视频信号的方法，包括如下步骤a)获取、描述和管理来自用户终端的用户终端特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
27.根据权利要求26所述的方法，其中，所述用户特征信息包括关于用户终端所支持的显示设备的信息。
28.根据权利要求27所述的方法，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“DisplayDevice”><simpleType><restriction base＝“string”><enumeration value＝“Monoscopic”/><enumeration value＝“Stereoscopic”/></restriction></simpleType></element>。
29.根据权利要求26所述的方法，其中，所述用户特征信息包括关于3D视频解码器的信息。
30.根据权利要求29所述的方法，其中，所述用户特征信息被表示在如下的信息结构中<element name＝“StereoscopicDecoderType”type＝“mpeg7ControlledTermUseType”/>。
31.根据权利要求26所述的方法，其中，所述用户特征信息包括关于3D视频的着色方法的信息。
32.根据权利要求31所述的方法，其中，所述用户特征信息被表示在如下的信息结构中＜element name＝“RenderingFormat”＞ ＜simpleType＞ ＜restriction base＝“string”＞ ＜enumeration value＝“Interlaced”/＞ ＜enumeration value＝“Sync-Double”/＞ ＜enumeration value＝“Page-Flipping”/＞ ＜enumeration value＝“Anaglyph-Red-Blue”/＞ ＜enumeration value＝“Anaglyph-Red-Cyan”/＞ ＜enumeration value＝“Anaglyph-Red-Yellow”/＞ ＜/restriction＞ ＜/simpleType＞＜/element＞。
33.一种用于记录程序的计算机可读记录介质，该程序用于实现为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
34.一种用于记录程序的计算机可读记录介质，该程序用于实现为了单源多用途而适配2D视频信号或3D立体视频信号的方法，该方法包括如下步骤a)获取、描述和管理来自用户终端的用户终端特征信息；以及b)将视频信号适配到视频使用环境信息上以产生适配的2D视频信号或3D立体视频信号，并且将所适配的视频信号输出到用户终端。
全文摘要
一种用于适配2D和3D立体视频信号的装置和方法。用于适配2D和3D立体视频信号的装置通过将数字内容适配到包括用户特征和终端特征的特定使用环境上，来向用户提供数字内容的最好经验。该装置允许与用户的适配请求相关联的视频内容的有效传送。
文档编号H04N7/24GK1682539SQ03821222
公开日2005年10月12日 申请日期2003年7月16日 优先权日2002年7月16日
发明者南济镐, 金万培, 洪镇佑, 金镇雄, 金在俊, 金炯中, 赵南翊, 金鳞澈, 金海光 申请人:韩国电子通信研究院