一种三维视频通信的方法、装置及系统的制作方法

专利名称：一种三维视频通信的方法、装置及系统的制作方法
技术领域：
本发明涉及视频通信技术，尤其是指一种三维(3D)视频通信的方法、 装置及系统。
背景技术：
目前传统的视频图像是一种二维(2D)的信息载体，只能表现出景物的内 容而忽略了物体的远近、位置等深度信息，因此，是不完整的。由于人们习惯 使用双眼来观察事务，所以需要得到比一幅二维图像更多的信息来获取必须的 空间信息。三维视频技术可以提供符合立体视觉原理的具有深度信息的画面， 从而能够真实地重现客观世界景象，表现出场景的纵深感、层次感和真实性， 是当前视频技术发展的重要方向。3D视频技术早在七八十年代就开始研究，但 由于技术不成熟、显示设备昂贵和缺乏标准等原因一直没有得到大规模应用。 近年来，随着相关技术的完善、设备成本的大幅降低及相关标准的出台，3D视 频技术也越来越接近实用，而3D视频通信也成为3D视频研究领域内的一个热 点。在公开号为EP1433335的专利申请中，公开了一种3D 一见频会议工作站， 该工作站包括用于捕获视频信号的双视频摄像机和一个用于创建深度图的深度 图计算装置；视频信号和深度信息作为3D视频数据进行传输。此外，该工作 站还包括一个用于显示立体图像的立体显示设备，所述的深度图计算装置还可 以估计用户的位置，用于控制立体图像的生成。在公开号为US2005259148的专利申请中，公开了一种可以显示三维立体 图像信息的三维图像通信终端，该终端包括 一个三维图像输入才莫块，具有多 个摄像头用于捕获立体物体图像； 一个三维图像显示模块，用于显示三维图像信息； 一个通信模块，用于至少传输由三维图像输入模块获得的三维图像信息； 三维图像显示模块由集成成像类型的水平Z垂直视差显示设备组成，摄像机被排 列为至少呈上/下、左/右方位分布，在三维图像显示设备的附近。
在上述的现有技术方案中，3D视频通信终端只能进行点对点通信，只能显 示单方的3D视频图像，还不能进行多方的3D视频通信，因此，随着通信技术 的快速发展，实现3D多方视频通信或2D/3D混合多方视频通信已成为一个越 来越迫切的需求。

发明内容
有鉴于此，本发明实施例的主要目的在于提供一种三维视频通信的方法、 装置及系统，从而可实现多方的3D视频通信或2D/3D混合多方视频通信。 为达到上述目的，本发明实施例中的技术方案是这样实现的 一种三维视频通信的方法，该方法包括
接收至少两个会话方的视频信息，其中至少一个会话方的视频信息是三维 碎见频信息；
冲艮据所述至少两个会话方的状态信息及终端的显示能力处理接收到的所述 至少两个会话方的^L频信息。 本发明实施例中还提供了 一种三维视频通信系统，该系统包括
至少两个会话方，用于将视频信息发送给所述视频通信终端，其中至少一 个会话方的视频信息是三维视频信息；
视频通信终端，用于接收至少两个会话方的视频信息，并根据所述至少两 个会话方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视 频信息。
本发明实施例中还提供了 一种三维视频通信系统，该系统包括 多点控制单元，用于接收至少两个会话方的视频信息，其中至少一个会话 方的视频信息是三维视频信息；并根据所述至少两个会话方的状态信息及终端 的显示能力处理接收到的所述至少两个会话方的视频信息，得到处理后的视频信息；视频通讯终端，用于获取并显示所述处理后的视频信息。本发明实施例中还提供了 一种三维视频通信装置，该装置包括接收模块，用于接收至少两个会话方的视频信息和状态信息以及终端的显示能力；其中至少 一个会话方的视频信息是三维视频信息；处理模块，用于根据所述至少两个会话方的状态信息及终端的显示能力处 理所接收到的所述至少两个会话方的视频信息。综上可知，本发明的实施例中提供了一种三维视频通信的方法、装置及系 统，通过在具有三维显示能力的终端上接收至少两个会话方的视频信息，并将 所接收到的每个会话方的视频信息同时以三维显示方式或二维显示方式进行显 示，来实现多方的3D视频通信或2D/3D混合多方视频通信，使得用户可同时 与多个会话方进行3D视频通信，增加了用户对3D碎见频通信的体验。


图1为本发明实施例中的3D视频的基本原理图。图2为本发明实施例中的左眼图像和对应的视差图的示意图。图3为本发明实施例中3D视频通信系统的网络结构示意图。图4为本发明实施例中3D视频通信显示模式一的示意图。图5为本发明实施例中终端合成各会话方视频信息的方法的流程图。图6为本发明实施例中3D视频通信显示模式二的示意图。图7为本发明实施例中3D视频通信显示模式三的流程图。图8为本发明实施例中使用MCU的多点会议的示意图。图9为本发明实施例中使用MCU实现3D视频通信的方法的流程图。图IO为本发明实施例中三维视频通信系统的结构图。图11为本发明实施例中另一个三维视频通信系统的结构图。
具体实施例方式
为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附 图及具体实施例对本发明再作进 一 步详细的说明。
3D视频的基本原理是模拟人眼成像原理，采用双摄像机得到左眼图像 和右眼图像，在进行3D显示时，可使人的左、右眼分别看到左、右眼图像， 从而看到具有立体感的图像，使观察者能够感到场景的深度。因此，3D视 频图像可分为左眼图像和右眼图像，两种图像之间具有视差。
图1为本发明实施例中3D视频的基本原理图。如图1所示，本发明实 施例中使用的是平行双摄像机系统。在图l的左图中，A、 B为实际场景中 的两个点，0^和OR分别为左、右摄像机的光心，且OL和OR之间的距离为 C。此时所采用的为平行摄像机系统，即Ol和OR的连线与投影平面平行且 与地面平行，两个摄像机的光心到投影平面的距离均为f,即摄像机的焦距 为f。 ^V和j、分别为点A相对于左、右摄像机在投影平面上的投影点；SV 和S、分别为点B相对于左、右摄像机在投影平面上的投影点。如图1中的 右图所示，假设有 一 个摄像机的光心Om位于Ol和0R连线的中点上，贝'j B
点相对于该摄像机OM在投影平面上的投影点为BM。此时，以OM为坐标原
点，设B点的空间坐标为(x, y， z)，从Y-Z平面观察B点相对于摄像机 Om在投影平面上的投影点，可以得到如图1中的右图所示的几何关系。在 右图中，设点om到投影平面的垂直线与投影平面相交于F点，则Om与F 之间的距离为f,即0MF = f;设从点B到0MF的垂直线与0MF相交于E点， 则BE = y、 0ME = z。由于三角形0MEB和三角形0MFBM相似，则得到如下 的关系式<formula>formula see original document page 9</formula>(1)
由公式(l)及图l中可以看出，BMF的长度值即为投影点BM在投影平
面Y轴坐标，同理可以推出Bm在投影平面中的X轴坐标，若设BM在投影
平面中的X轴坐标和Y轴坐标采用u、 v表示，贝'J:<formula>formula see original document page 10</formula>
(2)
由于摄像机0^和OR分别相对于摄像机Om在X轴上偏移了 -c/2和+c/2， 因此可以推出对于空间某一点X(x， y, z),其相对于摄像机Ot的投影 点在投影平面上的X轴坐标uL和Y轴坐标vL，以及其相对于摄像机Or的 投影点在投影平面上的X轴坐标ur和Y轴坐标vr可以用下面的公式表示
<formula>formula see original document page 10</formula>
(3)
由于是平行摄像机系统，两幅图像同一成像点在垂直方向(Y轴方向) 的差距可以视为0，只存在水平方向的差距。可以表示为
<formula>formula see original document page 10</formula>
(4)
可见，生成的左右眼图像存在一个水平方向的视差，其和场景中成像点 的深度信息有关，因此视差和深度之间可以进行相互转换。
相对于2D视频来说，3D视频具有更大的数据量，而视频数据的增加给 存储和传输都带来了 一些困难，所以需要尽量消除3D视频数据中的冗余数
和时域上的数据冗余度外，还必须消除3D视频数据的左、右眼图像之间的 空域数据冗余度。因此，可消除左、右眼图像间的空域冗余度的视差/深度 估计补偿技术成为了 3D视频编码中的一项关键技术。与运动估计补偿技术 相类似，视差/深度估计补偿技术的核心思想是通过两幅(或多幅)图像间 的相关性来消除多个图像之间的空域数据冗余度，而视差/深度信息一般是 通过对左、右眼图像进行立体匹配得到的。
图2为本发明实施例中的左眼图像和对应的视差图的示意图。如图2所示，图2左边的图像为左眼图像，右边的图像为视差图(该图以亮度信息表 示图像中的各像素点的视差信息)。从图2中可以看出，距离观察者越近的
图像区域的视差越大，因而亮度也越大；距离观察者越远的区域的视差越小， 因此亮度也越暗。所以，根据视差和深度的关系，可以容易地将视差图转换 为深度图；利用视差/深度信息，可以根据左眼图像生成右眼图像(基本方 法为左眼图像的像素加上视差偏移量即可得到右眼图像中所对应的像素)。 因此，通过上述的技术，可以不用传输或减少传输右眼图像的数据信息，从 而提高了编码效率。此外，由于得到了拍摄场景的深度信息，因此可利用摄 像机成像模型生成虚拟摄像机视点的图像，使用户可以观看到没有放置摄像 机视点处的场景，以及解决用户通过自动立体显示器观看立体图像时，因为 位置的移动而带来视差变化，从而导致所看到的立体图像发生变化的问题， 从而使得用户在不同位置都可以看到合适的3D图像。
图3为本发明实施例中3D视频通信系统的网络结构示意图。如图3所 示，在本实施例中，该视频通信系统可建立在分组网络上(例如局域网、 窄带ISDN、宽带ISDN或E1等)，由网关、多点控制单元(MCU) 、 2D 视频通信终端和3D视频通信终端等构成。网关可为分组网络的终端或者其 它网关之间提供实时双向通信；多点控制单元是网络中一个节点，可为3个 或更多终端及网关进行多方视频通信(例如，参加一个多点会议)，也可以 先连接两个终端构成点对点视频通信，随后再扩展为多方视频通信；MCU 可包括多点控制器(MC)，除MC外，还可包括多点处理器(MP)。其中， 多点控制器为多方视频通信提供控制功能，可以与终端进行能力协商，控制 会议资源；多点处理器在多点控制器的控制下在多方视频通信中对音频、视 频和/或数据流进行混合、交换等集中处理；2D视频通信终端为只具有2D 图像处理和显示能力的视频通信终端，例如可视电话、视频会议终端和个 人计算机视频通信终端等；而3D视频通信终端则为具有3D图像处理和显 示能力的视频通信终端。
在上述的网络结构中，当某一终端发起视频通信会话时，将首先通过自身或多点控制器与对端进行能力协商。如果双方都是3D视频通信系统，则 用户双方都可以看到实时的3D视频图像；如果一方是2D视频终端，由于 不满足3D视频通信的条件，所以双方用户只能以2D方式进行视频通信。
本发明实施例中的3D视频通信终端能接收到多个会话方发送的3D视 频信息，该视频信息的格式包括左眼图像+右眼图像、左眼图像+深度/ 视差信息或左眼图像+深度/视差信息+右眼图像残差信息等方式。采用深度/ 视差信息的原因主要是(1 )使用深度/视差信息可进行有效的3D视频图 像的编解码；(2 )可有效地进行其它虚拟视点(即没有物理摄像机的视点) 的重构。
实施例一、由3D浮见频通信终端合成各会话方碎见频信息。
在本发明实施例中的3D视频通信终端系统中，浮见频通信终端可以才艮据 用户选择的或预定义的显示模式对多个会话方的视频信息进行合成处理。所 述的显示模式包括以下三种模式
模式一终端以多会话方显示方式同时显示多个会话方，与终端正在交 互的会话方为3D显示方式，其他的会话方为2D显示方式。
图4为本发明实施例中3D视频通信显示模式一的示意图。如图4所示， 在模式一的多会话方显示方式下，与终端正在进行交互的当前会话方的场景 为3D显示方式(屏幕左上角的会话方窗口 )，而其他的非当前会话方(即 终端的关注度较低的会话方)则为2D显示方式。通过上述的这种显示模式， 可给终端用户带来较好的临场感。
在本实施例中，终端需要检测所有的会话方，以确认当前会话方。所述 当前会话方，可以是正在与终端用户进行通话的会话方，也可以是终端用户 指定的某一个会话方。此外，当终端用户的当前用户方发生改变时，还需要 实时切换各个会话方的显示方式，即终端需要逐个确定每个会话方的显示方 式。为了叙述的简便，在本实施例中，我们将以终端的某一个会话方为例， 对终端确认会话方显示方式的方法进行简单的介绍。图5为本发明实施例中终端合成各会话方视频信息的方法的流程图。如 图5所示，本实施例中终端合成各会话方视频信息的方法包括如下所述的步
骤
步骤501，检测所需确定显示方式的会话方的状态信息以及终端的显示
妙+
B匕刀。
在本步骤中，所述会话方的状态信息中可包括用于判断该会话方是否正
在与终端进行通话的信息；所述终端的显示能力中包括该终端是否支持三维 显示方式的信息。
步骤502,判断上述会话方是否为当前会话方且终端是否支持三维显示 方式。如果是，则执行步骤503;否则，执行步骤505。
在本步骤中，所述会话方的判断标准可以根据实际应用情况而预先设 定。例如，终端可根据上述状态信息将正在与其通话的会话方作为当前会话 方，或者，也可由终端用户指定一个会话方作为当前会话方。而当终端用户 指定某个会话方为当前会话方时，则可省略步骤501。
另外，在本步骤中，还需根据终端的显示能力获知该终端是否支持三维 显示方式。
步骤503,合成用于显示的3D视频信息。
在本步骤中，利用上述会话方传输来的3D视频信息(例如，左眼图像 +深度/视差图像)得到适合终端用户观看位置的多视点图像(例如，左、右 目艮图像)，或至少一个视点图像及深度/视差图，并进行3D图像渲染，从而 合成用于显示的3D视频信息。
步骤504，在上述会话方窗口中显示3D视频信息。结束流程。
步骤505，合成2D视频信息。
在本步骤中，对上述会话方采用2D视频图像进行显示，因此只需选择 一个2D视频图像(例如，左、右眼图像中的任一幅图像)或合成一幅2D 视频图像(例如，利用左、右眼图像合成中间视点图像)进行渲染，即可生 成2D纟见频信息。步骤506，在上述会话方窗口中显示2D视频信息。结束流程。 终端对每一个会话方均进行如上所述的处理方法，确认每一个会话方的 显示方式，使得只有当前会话方才使用3D显示方式，而其他非当前会话方 的会话方均使用2D显示方式。
此外，在本实施例中，终端用户还可以直接选择某个会话方，并将多会 话方显示方式切换到单一会话显示方式(例如，全屏显示方式)，所述被选 择的会话方将自动以3D显示方式或2D显示方式进行显示，而其他会话方 将不会被显示。此时，该被选择的会话方可以是当前会话方，也可以不是当 前会话方。
在本实施例中，模式一还可支持两种显示方式
1) 单个立体显示器的显示方式。
在该显示方式下，单个立体显示器采用以多个窗口显示多个会话方的多 会话方显示方式，在该显示方式下，每一个窗口都唯一对应于一个会话方。 当前会话方可采用3D视频窗口 (即在一个窗口中显示3D视频图像)的方 式进行显示，而其它会话方则采用2D碎见频窗口 (即在一个窗口中显示2D 视频图像)的方式进行显示。目前有很多立体显示器支持2D/3D显示方式 的自由切才奐，例如，基于连续切才奐画面(Frame Sequential),即采用左、右 眼图像缓冲实现立体显示方式的立体显示器等；此外，开放图形库(OpenGL) 立体接口也支持在一个窗口中显示3D视频图像，而在其它窗口中显示2D 视频图像。
2) 多显示器的显示方式。
在该显示模式下，使用多个显示器对多个会话方进行显示，每个会话方 唯一对应于一个显示器。在上述的显示方式中，当前会话方所对应的的显示 器中显示3D视频图像，而其它会话方所对应的的显示器则显示2D视频图像。
模式二终端从多会话方显示方式同时显示多个会话方，由终端用户选择每个会话方的显示方式。
图6为本发明实施例中3D视频通信显示模式二的示意图。如图6所示， 在模式二下，终端用户可根据实际应用情况来选择各个会话方的显示方式，
即指定各个会话方的显示方式，并将各个会话方的指定显示方式分别记录在 相应的会话方的状态信息中。例如，终端用户指定会话1、 4的会话方的显 示方式为3D显示方式，而指定会话2、 3的会话方的显示方式为2D显示方 式。此时，终端可根据各个会话方的状态信息中的指定显示方式完成对各会 话方视频信息的合成，即可同时对一个或多个^f见频流进行合成，得到一个或 多个会话方的3D视频图像并进行显示。在本实施例中，所述终端合成各会 话方视频信息的方法与模式一中的步骤501 ~ 506相类似，区别点在于，在 模式二中，步骤502中的判断条件将改为判断上述会话方的显示方式是否 为3D显示方式，或者改为判断上述会话方是否为指定会话方。
此外，终端用户也可以先选择某个会话方，然后从多会话方显示方式切 换到单一会话方显示方式来显示所选择的会话方(即单一显示所选择的会话 方，而不显示其他的会话方)，所述单一会话方显示方式可以是2D显示方 式或3D显示方式。与模式一相同，模式二也支持单个立体显示器和多显示 器的显示方式。另外，在模式二中合成3D视频图像时，将控制每个会话方 的3D图像的视差，从而使多个3D图像显示时不会相互千扰，以改善用户 的体验。
模式三终端从多会话方显示方式同时显示多个会话方，所有会话方均 为2D显示方式，并可选择某个会话方，从多会话方显示方式切换到单一会 话显示方式(例如全屏方式)，以3D显示方式显示被选择的会话方。
图7为本发明实施例中3D视频通信显示模式三的流程图。如图7所示， 在模式三中，对于不支持2D/3D同时显示，但支持单一会话显示方式的设 备(例如立体眼4竟)，则均以2D显示方式显示多会话方的画面。而当终 端用户选择了某一个会话方(例如，会话方1)作为被选择会话方时，该会话方的状态信息中将记录该会话方作为被选择会话方的信息，终端则可根据
式，并以3D显示方式显示该被选择会话方的视频图像。此外，在上述的模 式三中，当以单一会话显示方式显示被选择会话方时，终端需要根据该被选
择会话方的视频信息合成用于显示的3D视频信息；而当终端切换回多画面 显示时，还需根据该被选择会话方的视频信息合成用于显示的2D视频信息。 上述终端合成各会话方视频信息的方法与模式二中的合成方法相同，在此不 再赘述。
实施例二 、由MCU合成各会话方#见频信息。
在实施例一中的三个显示模式中，均是由3D视频通信终端进行多会话 方4见频画面的合成，然后对多个会话方的显示方式进行处理。而在本实施例 中，将使用增加了 3D视频会话的处理能力以及3D图像的合成能力的多点 控制单元(MCU),由MCU进行多会话方视频画面的合成，然后将合成后 的碎见频流发送给^L频通信终端进4于显示。
图8为本发明实施例中使用MCU的多点会议的示意图。如图8所示， 在本实施例中，通信网络中包括可进行点对点通信的终端A、 B、 C，也包 括不能进行点对点通信的终端D、 E、 F。因此，可通过增加了 3D视频会话 的处理能力以及3D图像的合成能力的MCU来实现多点会议，例如，终端 A与终端D、 E、 F进行多点会议等。
图9为本发明实施例中使用MCU实现3D视频通信的方法的流程图。 如图9所示，本实施例中使用MCU实现3D浮见频通信的方法包括如下所述 的步骤
步骤901,获取通信终端的显示能力及各会话方的显示方式。 在本步骤中，MCU需要通过视频通信协议获得各通信终端的显示能力， 并根据各会话方的状态信息获得各会话方的显示方式。所述通信终端的显示 能力包括该通信终端是否具有3D视频采集能力、是否支持3D显示方式以及是否为多会话方显示方式等；所述会话方的状态信息中可包括用于判断
该会话方是否为当前会话方、指定会话方或被选择会话方的信息，从而可根 据这些信息获知各个会话方的显示方式。
步骤902，判断终端是否支持3D显示方式。如果是，则执行步骤904; 否则，执行步骤903。
步骤903,合成多会话方的2D视频流；执行步骤907。
在本步骤中，由于当前终端不支持3D显示方式，因此MCU将当前终 端所需显示的多个会话方的视频信息合成多会话方的2D视频流。
步骤904，判断会话方的显示方式是否全为3D显示方式，如果是，则 执行步骤905;否则，执行步骤906;
步骤905，合成多会话方的3D视频流，执行步骤907。
在本步骤中，MCU将根据各个会话方的视频信息合成多会话方的3D 视频流。例如，将所有会话方的的左眼图像合成一帧左眼图像，并将所有会 话方的深度/视差图像合成为 一 帧深度/视差图像，然后将所述的 一 帧左眼图 像和一帧深度/视差图像合成多会话方的3D视频流。
步骤906 ，合成多会话方的2D和3D视频流。
在本步骤中，MCU根据终端的显示能力和显示模式以及各个会话方的 显示方式，合成多个会话方2D或3D视频流，例如将所有会话方的的左 眼图像合成一帧左眼图像，并将选定的会话方(例如，需要以3D显示方式 显示的当前会话方或终端用户指定的指定会话方或终端用户选择的被选择 会话方等)的深度/视差图像合成为一帧深度/视差图像，将所述的一帧左眼 图像和一帧深度/视差图像合成多会话方的3D视频流；将所有未选定的会话 方的视频信息(例如，2D视频信息或左眼图像等)合成多会话方的2D视频流。
步骤907,将合成的视频流分组发送给终端。
在步骤907之后，终端将根据接收到的MCU发送的合成的视频流，合 成各个会话方的用于显示的视频信息，进行显示。具体来说，终端将根据所接收到的合成视频流，合成各个会话方的用于 显示的视频信息，并进行显示。例如，当终端接收到的合成视频流为合成的
2D视频流时，终端对所述合成的2D浮见频流进行分割，合成各个会话方的用 于显示的2D视频信息进行显示；当终端接收到的合成视频流为合成的 2D/3D视频流时，终端对所述合成的2D/3D视频流进行分割，合成不同会话 方的用于显示的2D视频信息或用于3D显示的3D视频信息(例如，结合合 成的视频流中的某一左眼图像以及与该左眼图像相对应的深度/视差图合成 与该左眼图像相对应的右眼图像，形成3D视频信息)，并进行显示；当终 端4妄收到的合成视频流为合成的3D纟见频流时，终端对所述合成的3D^L频 流进行分割，合成各个会话方的用于显示的3D视频信息(例如，结合合成 的图像信息中的某一左眼图像以及与该左眼图像相对应的深度/视差图合成 与该左眼图像相对应的右眼图像，形成3D视频信息)；并进行显示。
本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的 介质。
图IO为本发明实施例中三维视频通信系统的结构图。如图IO所示，本 发明实施例中的三维视频通信系统包括至少两个视频通信终端；其中，至 少一个视频通信终端具有3D显示能力，即为3D视频通信终端。为了叙述 的方便，图10中示出了两个具有3D显示能力的视频通信终端。
在本发明的一个实施例中，该系统包括
多点控制单元，用于接收至少两个会话方的视频信息，其中至少一个会话 方的视频信息是三维视频信息；并根据所述至少两个会话方的状态信息及终端 的显示能力处理接收到的所述至少两个会话方的视频信息，得到处理后的视频 信息；
视频通讯终端，用于获取并显示所述处理后的视频信息。在该系统中，各视频通信终端均可进行多方视频通信；而具有3D显示能 力的视频通信终端，则可接收多个会话方的视频信息，并将所接收到的每个会 话方的^L频信息同时以3D显示方式或2D显示方式进行显示。
该系统中的MCU,可用于完成各会话方视频信息的合成，为至少两个终端 实现多方视频通信。
上述的MCU还可包括接收模块和处理模块；
所述接收模块，用于接收至少两个会话方的视频信息和状态信息以及终端 的显示能力；其中至少一个会话方的视频信息是三维视频信息；
所述处理模块，用于根据所述至少两个会话方的状态信息及终端的显示能 力处理所接收到的所述至少两个会话方的视频信息。
而所述处理^=莫块还包括^f全测单元和合成单元；
所述检测单元，用于根据所接收到的会话方的状态信息获知该会话方的显 示方式；当所述会话方的显示方式为三维显示方式，且所述终端的显示能力为 支持三维显示方式时，发送三维合成指令；当所述会话方的显示方式为二维显 示方式时，发送二维合成指令；
所述合成单元，用于当接收到所述三维合成指令时，根据所述会话方的视 频信息合成该会话方的三维视频流；当接收到所述二维合成指令时，根据所述 会话方的视频信息合成该会话方的二维视频流。
另外，在本发明的另一实施例中，上述的三维视频通信系统可以不包括上 述的MCU,而通过上述具有3D显示能力的视频通信终端(即3D视频通信终 端)，来完成各会话方视频信息的合成，从而取代上述的MCU。
图11为本发明实施例中另一个三维视频通信系统的结构图。如图11所示， 本发明实施例中的三维-见频通信系统包括
至少两个会话方，用于将视频信息发送给所述视频通信终端，其中至少一 个会话方的视频信息是三维视频信息；
视频通信终端，用于接收至少两个会话方的视频信息，并根据所述至少两 个会话方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息。
上述的3D视频通信终端还包括接收模块和处理it块；
所述接收模块，用于接收至少两个会话方的视频信息和状态信息以及终端 的显示能力；其中至少一个会话方的视频信息是三维视频信息；
所述处理模块，用于根据所述至少两个会话方的状态信息及终端的显示能 力处理所接收到的所述至少两个会话方的视频信息。
而所述处理模块还包括检测单元和合成单元；
所述检测单元，用于根据所接收到的会话方的状态信息获知该会话方的显 示方式；当所述会话方的显示方式为三维显示方式，且所述终端的显示能力为 支持三维显示方式时，发送三维合成指令；当所述会话方的显示方式为二维显 示方式时，发送二维合成指令；
所述合成单元，用于当接收到所述三维合成指令时，根据所述会话方的视 频信息合成该会话方的三维视频信息；当接收到所述二维合成指令时，根据所 述会话方的视频信息合成该会话方的二维视频信息。
综上所述，通过使用本发明实施例中所提供的方法、装置及系统，可方 便地实现多方的3D视频通信或2D/3D混合多方视频通信，使得用户可同时 与多个会话方进行3D视频通信，增加了用户对3D视频通信的体验。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护 范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。
权利要求
1. 一种三维视频通信的方法，其特征在于，该方法包括接收至少两个会话方的视频信息，其中至少一个会话方的视频信息是三维视频信息；根据所述至少两个会话方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息。
2、 根据权利要求1所述的方法，其特征在于，所述根据所述至少两个会话 方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息 包括当所述会话方的状态信息表明所述会话方为当前会话方，且所述终端的显 示能力为支持三维显示方式时，根据所述当前会话方的视频信息合成用于显示 的三维视频信息；否则，将根据所述会话方的视频信息合成用于显示的二维视 频信息。
3、 根据权利要求1所述的方法，其特征在于，所述根据所述至少两个会话 方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息 包括当所述会话方的状态信息表明所述会话方为指定会话方，且所述终端的显 示能力为支持三维显示方式时，根据所述指定会话方的视频信息合成用于显示 的三维视频信息；否则，将根据所述会话方的视频信息合成用于显示的二维视 频信息。
4、 根据权利要求2或3所述的方法，其特征在于，该方法还进一步包括 选择一个会话方，从多会话显示方式切换到单一会话显示方式；所述被选择的会话方以三维显示方式或二维显示方式进行显示。
5、 根据权利要求1所述的方法，其特征在于，所述根据所述至少两个^^舌 方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息 包括当所述终端的显示能力为支持单一会话显示方式，且有一个会话方的状态 信息表明该会话方为被选择会话方时，根据所述被选择会话方的视频信息合成用于显示的三维视频信息；否则，将根据各个会话方的视频信息分别合成用于 显示的二维视频信息。
6、 根据权利要求2、 3或5所述的方法，其特征在于，所述合成用于显示 的三维视频信息包括根据会话方的视频信息得到适合观看位置的多视点图像或至少一个视点图 像及深度图或至少一个视点图像及视差图，合成三维视频信号。
7、 根据权利要求1所述的方法，其特征在于，所述根据所述至少两个会话 方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息 包括当所述终端的显示能力不支持三维显示时，根据各会话方的视频信息合成 各会话方的二维视频流；当所述终端的显示能力支持三维显示，且根据各个会话方的状态信息获知 所述会话方的显示方式全为三维显示方式时，根据各会话方的视频信息合成各 会话方的三维视频流；当所述终端的显示能力支持三维显示，且根据各个会话方的状态信息获知 所述会话方的显示方式不全为三维显示方式时，根据各会话方的视频信息以及 各个会话方的显示方式合成各会话方的二维和三维视频流；将所述合成后的视频流分别发送给相应的终端。
8、 根据权利要求7所述的方法，其特征在于，所述根据各会话方的视频信 息合成各会话方的三维视频流包括将所有会话方的视频信息中相同类型的单视点图像合成一帧单视点图像， 并将所有会话方的视频信息中的深力视差图像合成为 一帧深度/视差图像,将所 述的一帧单视点图像和一帧深度/视差图像合成三维视频流。
9、 根据权利要求7所述的方法，其特征在于，所述根据各会话方的视频信 息以及各个会话方的显示方式合成各会话方的二维和三维视频流包括将所有会话方的视频信息中相同类型的单视点图像合成一帧单视点图像， 并将按三维方式显示的会话方的深度/视差图像合成为 一帧深度/碎见差图像，将所述的一帧单视点图像和一帧深度/视差图像合成三维视频流；将所有按二维方式显示的会话方的视频信息合成二维视频流。
10、 一种三维视频通信系统，其特征在于，该系统包括 至少两个会话方，用于将视频信息发送给所述视频通信终端，其中至少一个会话方的视频信息是三维视频信息；视频通信终端，用于接收至少两个会话方的视频信息，并根据所述至少两 个会话方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视 频信息。
11、 一种三维视频通信系统，其特征在于，该系统包括 多点控制单元，用于接收至少两个会话方的视频信息，其中至少一个会话方的视频信息是三维视频信息；并根据所迷至少两个会话方的状态信息及终端 的显示能力处理接收到的所述至少两个会话方的视频信息，得到处理后的视频 信息；视频通讯终端，用于获取并显示所述处理后的视频信息。
12、 一种三维;魄频通信装置，其特征在于，该装置包括接收模块，用于接收至少两个会话方的视频信息和状态信息以及终端的显 示能力；其中至少一个会话方的视频信息是三维视频信息；处理模块，用于根据所述至少两个会话方的状态信息及终端的显示能力处 理所接收到的所述至少两个会话方的^L频信息。
13、 根据权利要求12所述的装置，其特征在于，所述处理模块包括 检测单元，用于根据所接收到的会话方的状态信息获知该会话方的显示方式；当所述会话方的显示方式为三维显示方式，且所述终端的显示能力为支持 三维显示方式时，发送三维合成指令；当所述会话方的显示方式为二维显示方 式时，发送二维合成指令；合成单元，用于当接收到所述三维合成指令时，根据所述会话方的视频信息合成该会话方的三维视频信息；当接收到所述二维合成指令时，根据所述会 话方的视频信息合成该会话方的二维视频信息。
14、 根据权利要求12所述的装置，其特征在于，所述处理模块包括 检测单元，用于根据所接收到的会话方的状态信息获知该会话方的显示方式；当所述会话方的显示方式为三维显示方式，且所述终端的显示能力为支持 三维显示方式时，发送三维合成指令；当所述会话方的显示方式为二维显示方 式时，发送二维合成指令；合成单元，用于当接收到所述三维合成指令时，根据所述会话方的视频信 息合成该会话方的三维视频流；当接收到所述二维合成指令时，根据所述会话 方的浮见频信息合成该会话方的二维碎见频流。
15、 如权利要求12-15所述的装置，其特征在于，所述装置为多点控制单 元或视频通讯终端。
全文摘要
本发明的实施例中公开了一种三维视频通信的方法，该方法包括接收至少两个会话方的视频信息，其中至少一个会话方的视频信息是三维视频信息；根据所述至少两个会话方的状态信息及终端的显示能力处理接收到的所述至少两个会话方的视频信息。本发明的实施例中还公开了三维视频通信系统和三维视频通信装置。通过上述的方法、装置及系统，可实现多方的3D视频通信或2D/3D混合多方视频通信，使得用户可同时与多个会话方进行3D视频通信，增加了用户对3D视频通信的体验。
文档编号H04N7/14GK101291415SQ20081009835
公开日2008年10月22日 申请日期2008年5月30日 优先权日2008年5月30日
发明者源 刘 申请人:深圳华为通信技术有限公司