专利名称：一种可实现2d/3d视频通讯、传输优化的方法和系统的制作方法
技术领域：
本发明涉及视频通讯领域，特别涉及一种可实现2D/3D视频通讯、传输优化的方法和系统。
背景技术：
3D视频技术早在七八十年代就开始研究，但由于技术不成熟、显示设备昂贵和缺乏标准等原因一直没有得到大规模应用。近年来，随着相关技术的完善、设备成本的大幅降低及相关标准的出台，3D视频技术也越来越接近实用，而3D视频通信也成为3D视频研究领域内的一个热点。3D技术是根据双眼视差原理及人眼的视觉特性，将有一定角度的两个图像分别投射入人的左眼和右眼，使人的大脑形成具有一定深度感的图像，从而形成3D立体感的显示效果。因此，要实现3D立体感的显示效果，则必须在某一时间内同时显示两个视频图像(一个左眼视频图像，一个右眼视频图像)，从而产生立体的视觉效果。由于3D视频本身数据量大，当前市面上对3D视频信号编码压缩、传输的方案中， 不是压缩编解码方式复杂、就是解压后图像质量差、而在网络带宽等物理条件受限的环境中，如何保证多个用户同时进行实时、流畅的3D高清视频通信更是难上加难。
发明内容
本发明目的在于提供一种可实现2D/3D视频通讯、传输优化的方法和系统，旨在解决，在当前网络带宽等资源受限的环境下，实现多个用户同时进行实时、高码率、高清晰的3D视频会议。为实现上述发明目的，本发明实施例采用如下技术方案
一种可实现2D/3D视频通讯、传输优化的方法，该方法包括
A.主叫视频通讯终端通过连接服务端媒体服务器，申请创建网络会议室；网络会议室创建成功后，该主叫视频通讯终端负责邀请其他被叫视频通讯终端进入所述网络会议室；
B.所述各个视频通讯终端负责实时采集本地视频信号，并通过对视频信号进行合成、 编码、压缩等处理，以单路信道的传输方式实时上传至媒体服务器；
C.所述主叫视频通讯终端负责向媒体服务器发送切换信令，包括选择当前网络会议的视频会话方，以及要求被选定的视频会话方上传指定视频图像类型；
D.所述视频会话方(当前网络会议中输出视频画面的某一视频通讯终端与会者)通过接收并解析媒体服务器下发的信令，处理生成指定视频数据，并实时上传；
E.媒体服务器负责接收所述视频通讯终端实时上传的视频信号，并转发至各个视频通讯终端；
F.所述各个视频通讯终端通过接收媒体服务器转发的视频信号，进行解压、解码后的输出。一种可实现2D/3D视频通讯、传输优化的系统，该系统包括媒体服务器负责维护和创建服务端的网络会议，实时监听、接收、转发所述视频通讯终端上传的视频数据与信令指示；
视频通讯终端，包括
采集单元负责获取视频通讯终端图像采集装置(普通或高清摄像头)采集的场景视频图像数据；
处理单元负责视频信号的编码、解码、压缩、解压、单路信号合成、信令解析等操作处
理；
单路码流传输单元负责发送经处理后的视频数据至媒体服务器；
显示单元负责输出视频数据。所述主叫视频通讯终端负责向媒体服务器发送切换信令，包括要求被选定的视频会话方上传指定视频图像类型，所述视频图像类型包括可在视频通讯终端输出显示的2D 视频数据和3D视频数据。本发明方法和系统采用单路信道进行视频数据的传输，改变传统的3D视频会议需要双路信道进行视频数据传输的方式，有效地避免了因为网络带宽等资源的严重匮乏， 而造成视频通信过程中的实时性问题。本发明方法和系统采用将2D/3D视频数据进行单路图像处理的方式，不仅保证了多用户之间进行2D/3D视频会议过程中的画面连续性，还明显减缓了网络端的压力，避免网络资源占用、拥塞等现象的发生。另外，本发明方法和系统采用视频通讯终端负责处理视频信号、生成视频数据，后台媒体服务器只负责转发信令、视频数据，主叫视频通讯终端负责视频信令切换等处理策略，有效的降低了后台服务端系统的运营及维护成本，赋予用户更大的操作权限，增强用户体验等有益效果。
图I为本发明中实现方法流程图。图2为主叫视频通讯终端发出视频切换信令的实现流程图。图3为本系统结构图。
具体实施例方式下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。实施例一
图I示出了本发明中实现方法流程图，详述如下
101:用户(之后称为主叫视频通讯终端)通过视频通讯终端连接媒体服务器，请求媒体服务器为其创建网络会议室；网络会议室创建成功后，主叫视频通讯终端负责邀请其它用户(之后称为被叫视频通讯终端)进入网络会议室，邀请方式包括互联网Web邀请、电话网络拨号等多种邀请方式。102 :各个与会者(视频通讯终端)成功进入网络会议室后，视频通讯终端负责将采集的本地视频信号进行视频信号合成、指定格式的编码、压缩等处理。编码方式可基于
H.264、MPEG4等标准协议对采集的视频信号进行指定格式的编码、压缩处理后，生成可通过互联网进行传输的3D视频数据或者2D视频数据，其中3D视频数据或2D视频数据都将被处理成可通过单路信道进行传输的视频数据，通过网络实时传输至媒体服务器。103 :媒体服务器负责实时接收各路视频通讯终端上传的视频数据，通过所述主叫视频通讯终端选定输出指定视频会话方(当前网络会议中指定与会者的本地视频画面)的信令控制，转发指定视频会话方上传的本地视频数据至各个与会者(网络会议中的视频通讯终端)。104 :所述各个视频通讯终端通过接收媒体服务器实时下发的视频数据，再将视频数据进行解压、解码处理后，还原成可供视频通讯终端输出显示的3D视频数据或2D视频数据；
对于视频通讯终端输出显示的3D视频数据，终端用户则需要佩戴指定3D眼镜，即可进行网络会议现场3D视频内容的实时收看；
对于视频通讯终端输出显示的2D视频数据，终端用户只需裸眼就能实时收看网络会议现场的视频内容。实施例二
图2示出了主叫视频通讯终端发出视频切换信令的实现流程图，详述如下
105 :所述主叫视频通讯终端负责选定当前网络会议室中，各个视频通讯终端输出显示的视频会话方(当前网络会议中指定与会者的本地视频画面)、以及要求被选定的视频会话方上传指定视频图像类型(2D视频数据或3D视频数据)的信令控制发送至媒体服务器； 所述主叫视频通讯终端发出视频会话方切换信令，主要包括被选定的视频会话方、视频会话方切换信令等信息作为参数发送至媒体服务器；
所述主叫视频通讯终端发出视频会话方上传指定视频图像类型的切换信令，主要包括选定的视频会话方、选定要上传的视频图像类型，视频图像类型切换信令等信息作为参数发送至媒体服务器。106:所述媒体服务器通过监听并解析所述主叫视频通讯终端发出的信令请求，如解析当前信令为视频会话方切换信令，则将被选定的视频会话方(视频通讯终端)用户实时上传的本地视频数据转发至各个与会者(网络会议中的视频通讯终端);
所述媒体服务器如解析当前信令为视频会话方上传指定视频图像类型的切换信令，负责将所需要上传指定视频图像类型的信令发送至该视频会话方(视频通讯终端)。107 :所述视频会话方(视频通讯终端)通过接收并解析媒体服务器下发的信令，执行如下操作
所述视频会话方(当前网络会议中输出视频画面的某一视频通讯终端与会者)通过接收并解析媒体服务器下发的信令，处理生成3D视频数据或2D视频数据，并实时上传； 优选的，所述视频通讯终端生成3D视频数据过程，包括
如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述视频通讯终端负责将前端采集的视频信号进行帧间延时处理(获取帧循环队列中两个相邻帧，如1帧+P帧、I帧+B帧、B帧+P帧)作为两幅图像(之后称为A图像、B图像)；再将两幅图像进行位移、分色(RGB/红绿蓝)、合成、编码、压缩等处理后，生成一幅具有3D效果、 并可以通过单路信道进行传输的3D视频图像；
如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述视频通讯终端负责将前端采集的多路视频信号(左、右眼图像)，如同一时间单位中，分别从左、右摄像头采集获取的两路视频信号作为两幅图像(之后称为A图像、B图像)；再将两幅图像进行位移、分色(RGB/红绿蓝)、合成、编码、压缩等处理后，生成一幅具有3D效果、并可以通过单路信道进行传输的3D视频图像；
所述视频通讯终端生成2D视频数据过程，包括
如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述视频通讯终端负责将前端采集的视频信号进行指定格式的编码、压缩处理后，生成2D视频数据；
如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述视频通讯终端只需从获得的多路视频数据(左、右眼图像)中选择任意一个2D视频图像 (如左、右眼图像中的任一幅图像)，或选择合成一幅2D视频图像(如利用左、右眼图像合成中间视点图像)的方式进行指定格式的编码、压缩等处理后，生成2D视频数据。本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。实施例三
图3示出了本系统结构图，详述如下
所述系统由媒体服务器、视频通讯终端组成，其中所述媒体服务器可由后端一至多台服务器构成，并配置相应的网络带宽；所述媒体服务器负责维护和创建服务端的网络会议， 实时监听、接收、并转发所述视频通讯终端上传的视频信号与信令指示。所述视频通讯终端可是具有2D图像处理和显示能力的视频终端，或具有3D图像处理和显示能力的视频终端，包括可视电话、视频会议终端、计算机视频通信终端等。所述视频通讯终端包括采集单元、处理单元、单路码流传输单元、以及视频输出显示单元。所述采集单元负责获取视频通讯终端图像采集装置(普通或高清摄像头)采集的场景视频图像数据，并将获取的模拟图像信号转换为数字图像信号，再将采集到的图像数据以帧的形式保存在视频通讯终端的缓存中；所述采集单元还可将采集到的视频数据提供给处理单元进行图像的处理。所述处理单元包括处理所接收的视频数据的编解码处理、视频数据的压缩、解压处理、单路信号合成处理等操作；其中对视频数据的编解码、压缩处理可基于H. 264、MPEG4 等标准协议，对采集的视频信号进行指定格式的处理操作；
优选的，所述处理单元生成3D视频数据过程，包括
如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述处理单元负责将前端采集的视频信号进行帧间延时处理(获取帧循环队列中两个相邻帧，如1帧+P帧、I帧+B帧、B帧+P帧)作为两幅图像(之后称为A图像、B图像)；
如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述处理单元负责将前端采集的多路视频信号，在同一时间单位中，分别从左、右摄像头采集获取的视频信号作为两幅图像(之后称为A图像、B图像)；
所述处理单元获取两幅图像后，对两幅图像进行位移、分色(RGB/红绿蓝)、合成等处理；如将A图像的Red通道、B图像的GreeruBlue通道，分别组成互补色图的R、G、B通道，生成一幅具有不同颜色、存在位移视差、可通过单路信道进行传输的3D视频图像。所述处理单元再将所述的3D视频图像进行指定格式的编码、压缩后传送至单路码流传输单元。所述处理单元生成2D视频数据过程，包括
如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述处理单元负责将前端采集的视频信号进行指定格式的编码、压缩处理后传送至单路码流传输单兀；
如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述处理单元只需从获得的多路视频数据(左、右眼图像)中选择任意一个2D视频图像(如左、 右眼图像中的任一幅图像)，或选择合成一幅2D视频图像(如利用左、右眼图像合成中间视点图像)的方式进行指定格式的编码、压缩处理后传送至单路码流传输单元。此外，所述处理单元还负责解析如媒体服务器下发指定视频图像类型的切换信令，并执行相应的操作处理，生成媒体服务器要求的视频数据格式，提供给单路码流传输单
J Li ο 所述单路码流传输单元负责接收所述处理单元提供的视频数据，并通过网络传输至媒体服务器。所述显示单元负责接收并显示所述处理单元经过解压、解码等处理后的3D视频数据或者2D视频数据。本发明对本领域的技术人员显而易见的是，在不偏离本发明的精神和原则范围内，本发明还可以做各种修改和变更，本发明覆盖在所附权利要求范围内的本发明的所有修改和变更。
权利要求
1.一种可实现2D/3D视频通讯、传输优化的方法，其特征在于，包括A.主叫视频通讯终端通过连接服务端媒体服务器，申请创建网络会议室；网络会议室创建成功后，该主叫视频通讯终端负责邀请其他被叫视频通讯终端进入所述网络会议室；B.所述各个视频通讯终端负责实时采集本地视频信号，并通过对视频信号进行合成、 编码、压缩等处理，以单路信道的传输方式实时上传至媒体服务器；C.所述主叫视频通讯终端负责向媒体服务器发送切换信令，包括选择当前网络会议的视频会话方，以及要求被选定的视频会话方上传指定视频图像类型；D.所述视频会话方(当前网络会议中输出视频画面的某一视频通讯终端与会者)通过接收并解析媒体服务器下发的信令，处理生成指定视频数据，并实时上传；E.媒体服务器负责接收所述视频通讯终端实时上传的视频信号，并转发至各个视频通讯终端；F.所述各个视频通讯终端通过接收媒体服务器转发的视频信号，进行解压、解码后的输出。
2.根据权利要求I所述的方法，其特征在于，所述主叫视频通讯终端通过连接服务端媒体服务器，申请创建网络会议室；网络会议室创建成功后，该主叫视频通讯终端负责邀请其他被叫视频通讯终端进入所述网络会议室，邀请方式包括互联网Web邀请、电话网络拨号等多种邀请方式。
3.根据权利要求I所述的方法，其特征在于，所述主叫视频通讯终端负责向媒体服务器发送切换信令，包括所述主叫视频通讯终端发出视频会话方切换信令，主要包括被选定的视频会话方、视频会话方切换信令等信息作为参数发送至媒体服务器；所述主叫视频通讯终端发出视频会话方上传指定视频图像类型的切换信令，主要包括选定的视频会话方、选定要上传的视频图像类型，视频图像类型切换信令等信息作为参数发送至媒体服务器。
4.根据权利要求3所述的方法，其特征在于，所述媒体服务器通过监听并解析所述主叫视频通讯终端发出的信令请求，包括如解析当前信令为视频会话方切换信令，则将被选定的视频会话方(视频通讯终端)用户实时上传的本地视频数据转发至各个与会者(网络会议中的视频通讯终端)；如解析当前信令为视频会话方上传指定视频图像类型的切换信令，负责将所需要上传指定视频图像类型的信令发送至该视频会话方(视频通讯终端)。
5.根据权利要求I所述的方法，其特征在于，所述主叫视频通讯终端负责向媒体服务器发送切换信令，包括要求被选定的视频会话方上传指定视频图像类型，所述视频图像类型包括可在视频通讯终端输出显示的2D视频数据和3D视频数据。
6.根据权利要求I、4或5所述的方法，其特征在于，所述视频会话方通过接收并解析媒体服务器下发的信令，处理生成3D视频数据过程，包括如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述视频通讯终端负责将前端采集的视频信号进行帧间延时处理(获取帧循环队列中两个相邻帧，如1帧+P帧、I帧+B帧、B帧+P帧)作为两幅图像(之后称为A图像、B图像)；再将两幅图像进行位移、分色(RGB/红绿蓝)、合成、编码、压缩等处理后，生成一幅具有3D效果、并可以通过单路信道进行传输的3D视频图像；如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述视频通讯终端负责将前端采集的多路视频信号(左、右眼图像)，如同一时间单位中，分别从左、右摄像头采集获取的两路视频信号作为两幅图像(之后称为A图像、B图像)；再将两幅图像进行位移、分色(RGB/红绿蓝)、合成、编码、压缩等处理后，生成一幅具有3D效果、并可以通过单路信道进行传输的3D视频图像。
7.根据权利要求I、4或5所述的方法，其特征在于，所述视频会话方通过接收并解析媒体服务器下发的信令，处理生成2D视频数据过程，包括如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述视频通讯终端负责将前端采集的视频信号进行指定格式的编码、压缩处理后，生成2D视频数据；如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述视频通讯终端只需从获得的多路视频数据(左、右眼图像)中选择任意一个2D视频图像 (如左、右眼图像中的任一幅图像)，或选择合成一幅2D视频图像(如利用左、右眼图像合成中间视点图像)的方式进行指定格式的编码、压缩等处理后，生成2D视频数据。
8.根据权利要求I、6或7所述的方法，其特征在于，所述各个视频通讯终端负责实时采集本地视频信号，并通过对视频信号进行合成、编码、压缩等处理，包括编码方式可基于H. 264、MPEG4等标准协议对采集的视频信号进行指定格式的编码、压缩处理。
9.一种可实现2D/3D视频通讯、传输优化的系统，该系统包括媒体服务器负责维护和创建服务端的网络会议，实时监听、接收、转发所述视频通讯终端上传的视频数据与信令指示；视频通讯终端，包括采集单元负责获取视频通讯终端图像采集装置(普通或高清摄像头)采集的场景视频图像数据；处理单元负责视频信号的编码、解码、压缩、解压、单路信号合成、信令解析等操作处理；单路码流传输单元负责发送经处理后的视频数据至媒体服务器；显示单元负责输出视频数据。
10.根据权利要求9所述的系统，其特征在于，所述媒体服务器可由后端一至多台服务器构成，并配置相应的网络带宽；所述媒体服务器负责维护和创建服务端的网络会议，实时监听、接收、并转发所述视频通讯终端上传的视频信号与信令指示。
11.根据权利要求9所述的系统，其特征在于，所述视频通讯终端可是具有2D图像处理和显示能力的视频终端，或具有3D图像处理和显示能力的视频终端，包括可视电话、视频会议终端、计算机视频通信终端等。
12.根据权利要求9所述的系统，其特征在于，所述采集单元负责获取视频通讯终端图像采集装置(普通或高清摄像头)采集的场景视频图像数据，并将获取的模拟图像信号转换为数字图像信号，再将采集到的图像数据以帧的形式保存在视频通讯终端的缓存中；所述采集单元还可将采集到的视频数据提供给处理单元进行图像的处理。
13.根据权利要求9所述的系统，其特征在于，所述处理单元包括处理所接收的视频数据的编解码处理、视频数据的压缩、解压处理、单路信号合成处理等操作；其中对视频数据的编解码、压缩处理可基于H. 264、MPEG4等标准协议，对采集的视频信号进行指定格式的处理操作。
14.根据权利要求9或13的系统，其特征在于，所述处理单元包括处理所接收的视频数据的编解码处理、视频数据的压缩、解压处理、单路信号合成处理等操作，生成3D视频数据包括如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)， 所述处理单元负责将前端采集的视频信号进行帧间延时处理(获取帧循环队列中两个相邻帧，如1帧+P帧、I帧+B帧、B帧+P帧)作为两幅图像(之后称为A图像、B图像)；如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述处理单元负责将前端采集的多路视频信号，在同一时间单位中，分别从左、右摄像头采集获取的视频信号作为两幅图像(之后称为A图像、B图像)；所述处理单元获取两幅图像后，对两幅图像进行位移、分色(RGB/红绿蓝)、合成等处理；如将A图像的Red通道、B图像的GreeruBlue通道，分别组成互补色图的R、G、B通道，生成一幅具有不同颜色、存在位移视差、可通过单路信道进行传输的3D视频图像。
15.根据权利要求9或13的系统，其特征在于，所述处理单元包括处理所接收的视频数据的编解码处理、视频数据的压缩、解压处理、单路信号合成处理等操作，生成2D视频数据包括如果所述视频通讯终端具有单路视频信号采集能力(具有单摄像头的2D终端设备)，所述处理单元负责将前端采集的视频信号进行指定格式的编码、压缩处理后，生成2D视频图如果所述视频通讯终端具有多路视频信号采集能力(具有双摄像头的3D终端设备)，所述处理单元只需从获得的多路视频数据(左、右眼图像)中选择任意一个2D视频图像(如左、 右眼图像中的任一幅图像)，或选择合成一幅2D视频图像(如利用左、右眼图像合成中间视点图像)的方式进行指定格式的编码、压缩处理后生成2D视频图像。
16.根据权利要求9或13的系统，其特征在于，所述处理单元还负责解析如媒体服务器下发指定视频图像类型的切换信令，并执行相应的操作处理，生成媒体服务器要求的视频数据格式，提供给单路码流传输单元。
17.根据权利要求9所述的系统，其特征在于，所述单路码流传输单元负责接收所述处理单元提供的视频数据，并通过网络传输至媒体服务器。
18.根据权利要求9所述的系统，其特征在于，所述显示单元负责接收并显示所述处理单元经过解压、解码等处理后的3D视频数据或者2D视频数据。
全文摘要
本发明公开了一种可实现2D/3D视频通讯、传输优化的方法和系统，包括视频通讯终端负责处理视频信号、生成视频数据；后台媒体服务器只负责转发信令、视频数据；主叫视频通讯终端负责视频信令切换；2D/3D视频数据采用单路图像处理方式，并通过单路信道进行传输等处理策略，明显减缓了网络端的压力，避免网络资源占用、拥塞等现象的发生，赋予用户更大的操作权限，增强用户体验等有益效果。
文档编号H04N13/00GK102611873SQ20121005666
公开日2012年7月25日 申请日期2012年3月6日 优先权日2012年3月6日
发明者不公告发明人 申请人:宋健