专利名称：即时通信中实现立体视频通信的系统及方法
技术领域：
本发明涉及立体视频技术，尤指一种即时通信中实现立体视频通信的系统及方法。
背景技术：
随着计算机科技的发展，图像和视频已经从平面发展向立体化。在听觉上，为了使人两只耳朵分别听到不同的声音可以产生空间感，由单声道发展为双声道，更甚者借助现代音响设备的空间布局实现了 5. 1,7. 1声道环绕立体声。同立体声原理类似，在视觉上，由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，利用人眼睛的双目视差原理，双目各自独立地接收来自同一场景的特定摄像点的左右图像左眼看偏左的图像，右眼看偏右的图像，形成双目视差，大脑能得到图像的深度信息，使欣赏到的图像有强烈深度感、逼真感，观众能欣赏到超强的立体视觉效果。立体视频技术涉及立体视频捕获技术、立体视频编码技术和立体视频显示技术， 其中，立体视频捕获技术用于获取立体视频图像。为了获取立体视频图像，由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，获取立体图像对，直接模拟人类双眼处理景物的方式。捕获到的两路视频流分别代表人两只眼睛看到的图像序列。这种设备一般称为双目摄像机(或双目摄像头)。立体视频一般有两个视频通道，数据量要远远大于单通道视频。一般立体视频的编码压缩除了利用视频通道内的相关性(一般视频编码方案，包括帧内预测，帧间预测) 之外，还可以利用两个视频通道之间的相关性。使用立体图像提取深度信息在计算机视觉领域中是一个常用的技术，Michael Ε. Lukaces是立体视频编码的早期研究者，Michael Ε. Lukaces探索了将视差补偿(DC-based)用于从立体视频序列中的一个视频序列预测另一个视频序列，并提出了多种基于视差补偿的方法，这里，视差补偿是指使用双目视视差关系在两幅图像之间建立对应。Franich提出了基于通用块匹配算法的视差估计方法，并引入一种平滑检测手段来评价视差匹配好坏。立体视频编码相对于一般编码方式主要增加了以下几种方案静止立体对编码，混合分辨率立体编码，运动及视差联合估计，物体方向性立体编码，与标准可兼容的编码，基于心理特性的比特分配，基于多分辨率的立体编码，多视编码及中间视图合成等。在本质上，立体视频编码都是利用双目视频流之间的相关性，以整体提高两路视频信号的编码效率。立体视频的显示有佩戴偏振眼镜/光栅眼镜观看(大屏幕投影)，以及裸眼借助特殊显示设备观看两种方式(三维显示器，三维视频手机)。采用两个投影仪，将两路视频流投影到同一个屏幕上，在两个投影仪前方分别架设偏振片使得两个投影仪透出的光线成为传播方向垂直的偏振光，观看时观众佩戴偏振眼镜，通过偏振镜片，使两只眼睛分别接收来自两个投影仪的视频图像，形成视差产生立体效果；光栅眼镜观看的方式是将两路视频流以较高频率交叉显示，第1，3，5帧显示左序列，2，4，6帧显示右序列，而光栅眼镜通过和播放设备进行通信控制闭合/开启左右光栅镜片，使得左眼只能看到1，3，5帧的左序列图像，右眼只能看到2，4，6帧右序列图像而形成视差产生立体效果，目前电影院的3D电影多采用这种方式。裸眼借助特殊显示设备观看也是类似原理，在显示屏表面使用特殊的材料和纹理，使得光线通过折射分别进入两只眼睛，以此形成视差产生立体感。两种方式各有优劣，前一种效果好，但是普通用户较难具备这种专业的设备和投影场地；后一种方式由于材料和光线折射方向等限制，只能在特定角度取得较好的效果，但是不需要用户使用投影仪、 偏振眼镜/光栅眼镜等专业设备，操作门槛低。目前，在即时通信中，还没有立体视频通信的具体实现方案。
发明内容
有鉴于此，本发明的主要目的在于提供一种即时通信中实现立体视频通信的系统及方法，能够在即时通信中，实现立体视频通信。为达到上述目的，本发明的技术方案是这样实现的一种即时通信中实现立体视频通信的系统，包括信令参数控制模块、立体视频捕获模块、立体视频编码模块、网络传输适配模块和立体视频显示模块，其中，指令参数控制模块，用于与用户命令交互，将启动立体视频的用户命令信息通知到该系统中的其它各模块；视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息， 捕获来自视频捕获设备的立体视频流的两路视频流，并输出给视频编码模块；视频编码模块用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码；网络传输适配模块用于接收启动立体视频的用户命令信息，发送编码后的立体视频编码码流；视频显示模块与显示设备相连接，用于将立体视频流输送到显示设备驱动接口并显不。该系统还包括视频解码模块，用于接收来自用户的选择切换至立体视频通话的通知，对接收到的来自网络传输适配模块的立体视频流进行解码。所述视频解码模块，还用于对普通视频流进行解码。所述视频捕获模块，还用于捕获单通道普通视频流；所述视频编码模块，还用于在采用普通视频模式时，对单通道视频流进行编码，将单通道的普通视频编码码流输出给网络传输适配模块；所述网络传输适配模块，还用于发送普通视频编码码流；所示视频显示模块，还用于将单通道视频流输送到显示设备驱动接口并显示。一种即时通信中实现立体视频通信的方法，主要包括在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行立体视频编码后，发送编码后的立体视频编码码流以显示。该方法还包括对所述编码后的立体视频编码码流进行立体视频解码后再执行显示。
该方法还包括在判断出本地视频捕获设备不支持立体视频捕获，或者对端未要求启动立体视频时，发送单路普通视频，按照普通视频模式编码数据，结束本流程。所述立体视频编码包括对所述立体视频流中的主序列使用通用视频编码方式编码，副序列采用通用编码方式中的帧内、帧间预测方式，以及采用主序列的对应帧作为参考帧作视差估计补偿编码。所述发送编码后的立体视频编码码流的方法为所述立体视频编码码流的主序列和副序列的对应帧采取关联发送策略。从上述本发明提供的技术方案可以看出，在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行编码后，发送编码后的立体视频编码码流，接收端接收立体视频码流进行解码以显示立体视频。本发明在即时通信中实现了立体视频通信；另外，充分考虑到了对现有普通视频模式的兼容，同时考虑到了目前网络的异构性、终端的多样性。
图1为本发明立体视频通信系统的组成架构示意图；图2为本发明立体视频通信系统中，发送方的处理流程图；图3为本发明立体视频通信系统中，接收方的处理流程图。
具体实施例方式图1为本发明立体视频通信系统的组成架构示意图，如图1所示，本发明系统主要包括信令参数控制模块、视频捕获模块、视频编码模块、网络传输适配模块和视频显示模块，其中，指令参数控制模块，用于与用户输入命令交互，将用户命令信息，比如启动立体视频，通知到相应模块。视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息， 即表明采用立体视频通信方式，捕获来自视频捕获设备如双目摄像头的两路视频流(双通道视频流)，标记其左右属性、宽、高、格式，输出给立体视频编码模块，并输出给视频编码模块。进一步地，还用于捕获单通道普通视频流。视频编码模块，用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码，将立体视频编码码流输出给网络传输适配模块；也就是说，在接收到启动立体视频的通知，即表明采用立体视频通信方式，采用立体视频编码压缩方法对双通道视频流进行编码；这里，不限定具体的立体视频编码方式，例如将两路视频流标定为主序列和副序列，主序列使用通用视频编码方式编码，副序列除了采用通用编码方式中的帧内、帧间预测方式外，增加一种预测方式视差估计补偿，即采用主序列的对应帧作为参考帧作视差估计补偿编码。进一步地，还用于在采用普通视频模式时，对单通道视频流进行编码，将单通道的普通视频编码码流输出给网络传输适配模块。网络传输适配模块用于接收启动立体视频的用户命令信息，发送立体视频编码码流。需要指出的是当采用立体视频编码方式时，主序列和副序列的对应帧采取关联发送策略，以保证时间上同步的帧同时到达，避免造成体验上的下降。进一步地，还用于发送普通视频编码码流，可以采用抗丢包策略，缓冲策略等。这里提到的关联发送策略、抗丢包策略，缓冲策略等属于现有技术，本领域技术人员的惯用技术手段，具体实现不再详述。视频显示模块与显示设备相连接，用于立体视频流输送到显示设备驱动接口并显示。进一步地，还用于将单通道视频流输送到显示设备驱动接口并显示。图1仅仅表示了作为发送方的单向视频通信的结构示意图，在实际即时通信的应用中，任一个即时通信终端既是发送方也是接收方，可以进行全双工通信，上下行的通信链路互相独立，这是本领域技术人员熟知的，比如，在接收方中，应该包括视频解码模块，用于接收来自用户的选择切换至立体视频通话的通知，对接收到的来自网络传输适配模块的立体视频流进行解码。进一步地，视频解码模块还用于对普通视频流进行解码。图2为本发明立体视频通信系统中，发送方的处理流程图，如图2所示，包括以下步骤步骤200 能力交换准备，检测本地视频捕获设备情况并发送给对端的接收方。本步骤中，检测方式是根据摄像头硬件驱动提供所能支持的视频流格式判断。设备情况包括支持的视频流格式，单路捕获还是两路捕获，以及具体的视频帧格式参数，捕获
帧率等。步骤201 判断本地视频捕获设备是否支持立体视频捕获，如果不支持，则进入步骤203 ；如果支持立体视频捕获，进入步骤202。本步骤中，判断是否支持立体视频捕获为如果设备情况中显示支持单路捕获，则判定不支持立体视频捕获；如果设备情况中显示支持两路捕获，则判定支持立体视频捕获。步骤202 判断对端的接收方是否要求启动立体视频，如果无要求，进入步骤203 ； 如果收到对端的信令通知要求启动立体视频，则进入步骤204。步骤203 发送单路普通视频，按照普通视频模式编码数据，结束本流程。步骤204 启动立体视频捕获，编码立体视频流发送给对端的接收方。本步骤具体实现包括接收到来自对端的启动立体视频的信令，开始启动两路视频捕获，采用双路立体视频编码模式对捕获的两路视频数据进行编码；根据丢包率进行冗余控制，并对对应的两帧进行关联发送，以保证双目对应帧的同时到达及避免部分丢失。图3为本发明立体视频通信系统中，接收方的处理流程图，如图3所示，主要包括以下步骤步骤300 步骤301 接收方收到对端传入的能力交换信息，读取对端是否具有立体视频捕获设备，如果有，则进入步骤302，如果没有，则进入步骤304。步骤302 步骤303 在对端支持立体视频捕获时，首先检测用户是否具备立体视频显示设备如果检测出用户具有立体视频显示设备，提示用户是否切换至立体视频通话，在用户选择切换至立体视频通话，进入步骤305，否则进入步骤304 ；如果检测出用户不具备立体视频显示设备，则不进行任何提示，进入步骤304 ；如果检测失败，则询问用户是否具有立体视频显示设备，若有，则建议用户切换至更逼真的视频通话方式，并在用户选择切换至立体视频通话时，进入步骤305。否则进入步骤 304。
步骤304 接收单路视频流，并进行解码显示。结束本流程。步骤305 选择切换至立体视频发送方式后，信令通知对端发送立体视频流，同时通知解码端切换到立体视频解码方式。步骤306 将接收到的立体视频流解码后进行显示。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种即时通信中实现立体视频通信的系统，其特征在于，包括信令参数控制模块、立体视频捕获模块、立体视频编码模块、网络传输适配模块和立体视频显示模块，其中，指令参数控制模块，用于与用户命令交互，将启动立体视频的用户命令信息通知到该系统中的其它各模块；视频捕获模块，与视频捕获设备相连接，用于接收启动立体视频的用户命令信息，捕获来自视频捕获设备的立体视频流的两路视频流，并输出给视频编码模块；视频编码模块用于接收启动立体视频的用户命令信息，根据预先设置参数，对立体视频流进行编码；网络传输适配模块用于接收启动立体视频的用户命令信息，发送编码后的立体视频编码码流；视频显示模块与显示设备相连接，用于将立体视频流输送到显示设备驱动接口并显
2.根据权利要求1所述的系统，其特征在于，该系统还包括视频解码模块，用于接收来自用户的选择切换至立体视频通话的通知，对接收到的来自网络传输适配模块的立体视频流进行解码。
3.根据权利要求2所述的系统，其特征在于，所述视频解码模块，还用于对普通视频流进行解码。
4.根据权利要求1、2或3所述的系统，其特征在于，所述视频捕获模块，还用于捕获单通道普通视频流；所述视频编码模块，还用于在采用普通视频模式时，对单通道视频流进行编码，将单通道的普通视频编码码流输出给网络传输适配模块；所述网络传输适配模块，还用于发送普通视频编码码流；所示视频显示模块，还用于将单通道视频流输送到显示设备驱动接口并显示。
5.一种即时通信中实现立体视频通信的方法，其特征在于，主要包括在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时， 启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行立体视频编码后，发送编码后的立体视频编码码流以显示。
6.根据权利要求5所述的方法，其特征在于，该方法还包括对所述编码后的立体视频编码码流进行立体视频解码后再执行显示。
7.根据权利要求5或6所述的方法，其特征在于，该方法还包括在判断出本地视频捕获设备不支持立体视频捕获，或者对端未要求启动立体视频时， 发送单路普通视频，按照普通视频模式编码数据，结束本流程。
8.根据权利要求5所述的方法，其特征在于，所述立体视频编码包括对所述立体视频流中的主序列使用通用视频编码方式编码，副序列采用通用编码方式中的帧内、帧间预测方式，以及采用主序列的对应帧作为参考帧作视差估计补偿编码。
9.根据权利要求5所述的方法，其特征在于，所述发送编码后的立体视频编码码流的方法为所述立体视频编码码流的主序列和副序列的对应帧采取关联发送策略。
全文摘要
本发明提供了一种即时通信中实现立体视频通信的系统及方法，在判断出本地视频捕获设备支持立体视频捕获，并且对端通知要求启动立体视频时，启动立体视频捕获，按照预设参数，对捕获到的立体视频流进行编码后，发送编码后的立体视频编码码流，接收端接收立体视频码流进行解码以显示立体视频。本发明在即时通信中实现了立体视频通信；另外，充分考虑到了对现有普通视频模式的兼容，同时考虑到了目前网络的异构性、终端的多样性。
文档编号H04L12/58GK102195894SQ20101012315
公开日2011年9月21日 申请日期2010年3月12日 优先权日2010年3月12日
发明者吕静 申请人:腾讯科技(深圳)有限公司