视频图像数据处理方法、装置及视频会议系统及终端的制作方法

专利名称：视频图像数据处理方法、装置及视频会议系统及终端的制作方法
技术领域：
本发明涉及视频控制技术领域，更具体地说，涉及一种视频图像数据处 理方法、装置及视频会议系统及终端。
背景技术：
随着编码和信息压缩技术的发展以及数字网络的高速发展，视频会议系
统出现并步入市场，从上世纪90年代初期第一套关于^L频会议系统的国际标 准(H.320)获得通过并实施以来，视频会议系统得到了越来越广泛的应用， 同时，其所提供的语音体验、视频体验的需求也越来越受到关注。对于语音 体验需求方面，将向着高保真语音重现方面演进，而视频体验需求方面将向 着高分辨率、宽视角方面演进。
现有的视频会议电视系统中，由发送端的视频会议终端采用单个高清摄 像头进行图像的捕获，捕获的高清视频分辨率一般为720p30f、 720p60f、 1080i30f、 1080i60f、 1080p30f、 1080p60f等，然后，将捕获的视频进行压缩 编码，生成视频码流；接着，通过数据传输网络，将视频码流传送到接收端 的视频会议终端；接收端的视频会议终端对接收到的视频码流进行解码，得 到发送端的高清视频图像，并显示。
上述视频会议终端能够提供比标清视频会议终端更高的视频分辨率，能 够给用户带来更好的视觉体验。但是，提供的视频图像视角比较有限。
思科公司的"网真"系统一定程度上解决了上述问题，该系统的结构如图1 所示，包括多台视频终端、各视频终端配备一台高清摄像头，多台摄像头采 用严格物理位置摆放，以使得在采集到的多路视频图像在位于同 一水平面上 的多台显示"i殳备上进行显示时，给观看者的感觉是连续的。
然而，发明人发现，上述方案至少存在以下问题
该方案对会议室的装修布局要求比较严格，尤其是对摄像机组的位置摆 放、使用者距离摄像机组间距离的大小都有及其严格的要求，否则，显示设备上显示的图像将出现重叠的现象，这种严格要求使得系统的安装过程比较复杂。

发明内容
有鉴于此，本发明实施例提供一种视频图像数据处理方法、装置及视频会议系统及终端，以解决现有技术存在的系统安装过程复杂的问题。
本发明实施例是这样实现的
一种视频图像数据处理方法，包括
获取多路相互关联的视频图像数据及关联信息；
利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；
将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据后，发送给显示设备显示。
一种视频图像数据处理装置，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像
数据组合成单路宽景视频图像数据；
数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多
路视频图像数据；
多个数据输出接口，与外部显示设备相连，用于将所述数据重组单元处理得到的视频图像数据传输给所述显示设备。一种视频图像数据处理装置，包括
数据输入接口 ，用于获取多台摄像机采集的多路相互关联的视频图像数据及关联信息；
数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；
ii数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多
路视频图像数据；
数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送给远端的视频会议设备，以使该视频会议设备通过相应的显示设备显示。
一种视频图像数据处理装置，包括
数据输入接口 ，用于获取编码后的多路视频图像数据；
多个数据解码器，同时对编码后的多路视频图像数据进行解码，解码后
的多路视频图像数据包含所述宽景视频图像分割成的多个子图像及与其相对
应的同步信息和重建信息；
数据同步单元，将所述解码后的子图像根据与其对应的同步信息进行归
类；
数据重建单元，根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据重建单元处理得到的各路视频图像数据分别传输给相应的显示设备。一种^L频会议系统，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像
数据处理成单路宽景视频图像数据；
数据发送单元，用于将所述宽景视频图像数据通过通信网络发送；数据接收单元，用于接收承载于通信网络的宽景视频图像数据；数据重组单元，用于将所述数据接收单元接收的所述宽景视频图像数据
重组成适应显示需求的多路视频图像数据；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单
元处理得到的各路视频图像数据分别传输给相应的显示设备。一种视频会议系统，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据发送单元，用于将所述多路相互关联的视频图像数据及关联信息通过通信网络发送；
数据接收单元，用于接收承载于通信网络的所述多路相互关联的视频图像数据及关联信息；
数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；
数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单元处理得到的各路视频图像数据分别传输给相应的显示设备。一种一见频会议系统，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像
数据处理成单路宽景视频图像数据；
数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多
路视频图像数据；
数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送；
数据接收单元，用于接收承载于通信网络的所述多路视频图像数据；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据接收单元接收到的各路视频图像数据分别传输给相应的显示设备。
一种视频会议终端，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；数据收发单元，用于将所述宽景视频图像数据通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的单
路宽景视频图像数据；
数据重组单元，用于将所述数据收发单元接收到的宽景视频图像数据重
组成适应显示需求的多路视频图像数据；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单元处理得到的各路视频图像数据分别传输给相应的显示设备。
一种视频会议终端，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；
数据收发单元，用于将所述多路视频图像数据及关联信息通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的多路视频图像数据及关联信息；
数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；
数据重组单元，用于将所述数据组合单元处理得到的宽景视频图像数据重组成适应显示需求的多絲4见频图像数据；
多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单元处理得到的各路视频图像数据分别传输给相应的显示设备。
一种视频会议终端，包括
数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；
数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；
数据重组单元，用于将所述数据组合单元处理得到的宽景视频图像数据重组成适应显示需求的多路视频图像数据；
数据收发单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的经过重组得到的多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据收发单元接收到的各路视频图像数据分别传输给相应的显示设备。
从上述的技术方案可以看出，与现有技术相比，本发明实施例在获取多个摄像机采集的多路视频图像数据之后，将多路视频图像数据处理成单路宽景视频图像数据，并根据显示需要重组成若干路视频图像数据进行显示。此过程中，将多路视频图像数据处理成单路宽景视频图像数据的操作可以消除各视频图像数据之间存在的重叠的情况，因此，能够允许摄像机采集的各路视频图像数据之间存在重叠，降低了对摄像机摆放位置及使用者与摄像机组之间的距离的要求，简化了系统的安装复杂度。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术提供的视频会议系统的结构示意图2为本发明实施例中关联视频图像示意图3为本发明实施例中对关联视频图像进行组合的示意图4为本发明实施例提供的一种视频图像数据处理方法的流程图5a-图5b为本发明实施例提供的一种视频图像数据处理方法中进行视
频图像数据重组的示意图6为本发明实施例提供的一种视频图像数据处理方法中视频图像数据
发送过程示意图7为本发明实施例提供的一种视频图像数据处理方法中视频图像数据接收过程示意图8为本发明实施例提供的一种视频图像数据处理装置的一种结构示意
15图9为本发明实施例提供的一种视频图像数据处理装置的另一种结构示
意图io为本发明实施例提供的一种视频图像数据处理装置的另 一种结构示意图11为本发明实施例提供的一种视频图像数据处理装置的另一种结构示意图12为本发明实施例提供的一种视频会议系统的一种结构示意图；图13为本发明实施例提供的一种视频会议系统的另一种结构示意图；图14为本发明实施例提供的一种^L频会i^系统的另一种结构示意图；图15为本发明实施例提供的一种视频会议终端的一种结构示意图；图16为本发明实施例提供的一种视频会议终端的另一种结构示意图；图17为本发明实施例提供的一种视频会议终端的另一种结构示意图；图18为本发明实施例提供的一种视频会议终端的另一种结构示意图。
具体实施例方式
本发明实施例提供了一种技术方案，可以提升用户的视觉体验，并且设备安装简单，无需考虑会议室装修布局，通用性较好。
为了引用和清楚起见，本文中使用的^R术名词、简写或缩写总结如下
H.320, ITU-T Recommendation H.320 ， Narrow-band visual telephonesystems and terminal equipment,国际电信联盟电信标准部指定的一种标准，此标准规定了基于窄带交换系统上的多媒体通信系统；
H.323 ， ITU-T Recommendation H.323 , Packet-based MultimediaCommunications Systems ，国际电信联盟电信标准部指定的 一种标准，此标准规定了基于包交换系统下的多媒体通信系统架构；
IP, Internet Protocol,即网纟各协i义；
ISDN, Integrated Services Digital Network,即综合月良务数字网；ITU-T , International Telecommunication Union TelecommunicationStandardization Sector,即国际电信联盟电信标准部；RTP ， Real-time Transport Protocol ，实时传^T协议；MCU, Multipoint Control Unit,多点控制单元；
UDP, User Datagram Protocol,用户数据才艮协议；
YPbPr,亮度(Y)与色差(Pb/Pr);
DVI, Digital Visual Interface, tt字^L频4妄口；
HDMI, High Definition Multimedia Interface,高清晰多J 某体接口 ；
VGA, Video Graphic Array，显示绘图阵列；
MPEG， Moving Pictures Experts Group,即动态图^f象专家组，MPEGl、 MPEG2和MPEG4都是MPEG标准。
相互关联的视频图像(为了方便描述，下文统称为关联视频图像)指 的是多个摄像机在同一场景中获取的视频图像， 一般来说，由于摄像机摆设 位置相对随意，因此这些图像之间存在重叠区域，如图2所示，阴影部分为 图像21和图像22的重叠区域，图像21和图像22属于关联图像。
图像组合，将多幅来自同一场景的小尺寸(小视角)图像合成一幅大尺 寸(广视角)的图像；针对上述互相关联的图像，拼装时将重叠区域进行处 理。例如，对2所示的图像21和图像22进行处理后，得到图像23,如图3 所示。
图像重组，将一幅大尺寸的视频图像进行分割、滤波处理，形成多幅小 尺寸视频图像。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了 一种视频图像数据处理方法，通过将获取的多路相 互关联的视频图像数据组合成单路宽景视频图像数据，然后根据显示需要， 将所述宽景视频图像数据重组成一路或多路(与显示设备数量相等)视频图 像数据，由显示设备进行显示。
所述显示设备数量可以为多台，在将组合成的宽景视频图像数据重组成 多路视频图像数据后，可以分别发送给各台显示设备。显示设备按照各路视频图像数据在所述宽景视频图像数据中的位置排列进行显示，即可为用户提
供宽视角的视觉体验。具体过程如图4所示，包括以下步骤
步骤S41、获取多路相互关联的视频图像数据及各视频图像数据之间的关 联信息。
所述多路相互关联的视频图像数据来自设置在同 一 场景中的多台摄像 机，这些摄像机架设于该场景中的不同位置。
所述关联信息包括用于指示所述视频图像数据的物理位置信息，及所 述视频图像数据被捕获的时间戳信息。
步骤S42、依据所述关联信息将所述多路视频图像数据组合成单路宽景视 频图像数据。
具体地，依据各路视频图像数据的物理位置及被捕获的时间戳信息，将 各路视频图像数据进行组合，形成单路宽景视频图像数据。
步骤S43、将所述宽景视频图像数据重组成适应显示需求的多路视频图像 数据。
针对显示设备的数量、支持画面的大小及支持的视频图像数据格式，将 宽景视频图像数据重组、滤波成相应路数的视频图像数据。
步骤S44、将重组得到的各路视频图像数据分别发送给各显示设备显示。 如果显示设备的数量为4个，如图5a所示，分别为51a、 52a、 53a和54a， 将宽景视频图像数据按照显示位置重组成4路，然后分别传输给对应的显示 设备显示，于是，各显示设备依照图像在所述宽景视频图像数据中的位置排 列即可将显示的图像组成一幅广视角的视频图像；如果显示设备的数量为3 个，如图5b所示，分别为51b、 52b和53b ，将宽景视频图像数据按照图像 显示位置重组成3路，然后分别传输给对应的显示设备显示。另外，显示设 备所支持的显示画面大小有可能不同，于是，在进行宽景视频图像数据重组 时，需要根据显示设备所支持的显示画面大小将宽景视频图像数据重组成相 应尺寸的视频图像数据，例如显示设备支持HDMI视频输入接口，同时支持 1080p视频格式，而宽景图像的分辨率为4000*1080,则在进行宽景视频图像数据重组时，将宽景视频图像数据重组成滤波成两路分辨率大小为1920*1080 的1080p的视频图像数据进行显示较为合适。
需要说明的是，上述步骤S41中，获取视频图像的视频接口类型可以为 YPbPr接口、 DVI接口、 HDMI接口或VGA接口中的任意一种或几种，也就 是说，各摄像机提供的视频输入接口可以相同，也可以不同。上述步骤S43 中，重组而成的视频图像数据格式与显示设备支持的视频图像格式相一致， 根据显示设备所支持视频图像格式而定。
另外需要说明的是，上述步骤S41中视频输入接口类型与步骤S44输出 的视频输出接口类型可以相同(如视频输入接口类型为YPbPr接口，输出视 频接口类型也为YPbPr接口 )或不同(如视频输入接口类型为YPbPr接口 ， 输出视频接口类型可为HDMI接口 )。当各显示设备所支持的视频接口类型、 视频图像数据格式不同时，在将单路宽景视频图像数据重组成多路视频图像 数据之后，还需要根据对应显示设备所支持的视频接口类型、所支持的视频 图像格式，将所述各路视频图像数据分别进行格式转换后，再发送给相应显 示设备。
本发明实施例在获取多个摄像机采集的多路视频图像数据之后，将多路 视频图像数据组合成单路宽景视频图像数据，根据显示需要重组成若干路视 频图像数据，然后发送给显示设备显示。只需要将显示设备按照视频图像在 所述宽景视频图像数据中的位置排列即可将显示的视频图像组合成广视角视 频图像，为用户提供较好的视觉体验。并且，本发明实施例将多路视频图像 数据组合成单路宽景视频图像数据，由于在组合过程中可以消除各视频图像 数据之间存在的重叠情况，因此，可以允许各摄像机获取的图像存在重叠现 象，这意味着对摄像机摆放位置及使用者与摄像机组之间的距离没有特别严 格的要求，降低了安装摄像机的复杂度。
所述显示设备也可以为具备适应宽景视频图像数据的显示设备，此时， 其数量可以为一台，在将组合成的宽景视频图像数据重组成多路视频图像数 据后，将所述多路视频图像数据按照其在宽景视频图像数据中的位置分路发 送给所述显示设备，由该显示设备将各路视频图像组合成宽景视频图像数据
19后进行显示。本发明实施例可以应用于远程宽景视频会议过程，参加会议各
方都可以将本方视频图像数据发送给对方(即视频图像数据发送过程)， 并接收对方发送的视频图像数据并显示(即视频图像数据接收过程)。
所述视频图像数据发送过程可以如图6所示，包括以下步骤
步骤S61、获取架设在本方会场的多台摄像机采集的视频图像数据及各视 频图像数据间的关联信息。
其中，各台摄像机架设位置不同，但获取的视频图像数据相互关联，所 述关联信息包括各视频图像数据的物理位置及获取时间戳。
步骤S62、依据各视频图像数据的物理位置及获取时间戳，将多路视频图 像数据组合成单路宽景视频图像数据。
步骤S63、将所述宽景视频图像数据通过通信网络发送。
本技术领域人员可以理解，在上述步骤S61中多台摄像机采集的视频图 像数据及各视频图像数据间的关联信息的获取过程是同时进行的，毋庸置疑， 为了让多个显示器前的用户能够看到摄像机前同 一时间的画面，必须保证多 个摄像机同步采集场景图像。另外，为了保证所传输的视频图像的完整性， 必须保证相邻的摄像机拍摄的场景不能有脱离的现象，最好有重叠区域，在 图像组合过程中可以消除所述重叠区域。
本实施例中，所述通信网络的网^^矣口可以是基于电路交换的ISDN、 El接口、 V35接口、基于包交换的以太网接口或基于无线连接的无线端口等。
与上述视频图像发送过程相对应，所述视频图像数据接收过程可以如图7 所示，包括以下步骤 ，
步骤S71、从通信网络获取发自对方会场的宽景视频图像数据。
步骤S72、将所述宽景视频图像数据重组成适应显示需求的多路视频图像 数据。
步骤S73、将各路视频图像发送给相应显示设备显示。
在其他实施例中，所述视频图像数据发送过程也可以是在获取多路视 频图像数据及各视频图像数据间的关联信息后，直接通过通信网络发送。相 应地，所述视频图像数据接收过程为接收所述多路视频图像数据及关联信息后，依据所述关联信息将多路视频图像数据组合成单路宽景视频图像数据， 根据显示设备的数量，将所述宽景视频图像数据重组成多路视频图像数据后 发送给相应显示设备显示。需要说明的是，这些实施例中，所述多路视频图 像数据间的关联信息可以嵌入视频图像数据(或者经过压缩的视频图像数据) 中进行传输，例如，当所述通信网络为以太网时，所述关联信息可以被嵌入 在视频RTP包中进行传输，此方式有利于关联信息与视频图像数据同步。当 然，所述关联信息也可以单独传输，例如通过独立数据通道传输。
在其他实施例中，所述视频图像数据发送过程还可以是获取多路视频 图像数据及各视频图像数据间的关联信息后，依据所述关联信息将多路视频 图像数据组合成单路宽景视频图像数据，根据显示设备(对方会场的显示设 备)的数量，将所述宽景视频图像数据重组成多路视频图像数据后，通过通 信网络发送。相应地，所述视频图像数据接收过程为通过接收所述重组得 到的多路视频图像数据，直接发送给本方会场的显示设备显示。
此外，上述实施例中，发送端发送的宽景视频图像数据的方式可以是直 接发送，也可以是通过编码后发送。所述编码方式可以是H.261、 H.263、 H.264、 MPEG1、 MPEG2或MPEG4。相应的，接收端接收的宽景视频图像数 据可以是没有经过编码的原始数据，也可以是经过编码的数据。需要说明的 是，组合后的图像的尺寸一般情况下是原始图像的尺寸的几倍，这种情况下， 即便采用编码器进行编码，其传输的数据量仍然是比较大的，这对编码器的 能力提出了苛刻的要求。基于此，本发明另外实施例采用多个编码器并列处 理的方式，另外，，由于图像数据的随机性，经过编码之后的数据顺序已经不 能保证同步性了 ，为了保证在显示端多个显示器显示的图像为同一时间拍摄 的，需要对编码之后的数据进行同步处理。
具体的，上述将宽景视频图像数据重组的过程实际上是图像分割过程， 包括步骤
a、将所述宽景视频图像分割为多个子图像，同时得到生成所述多个子图 像的多个同步信息，每个子图像对应一个同步信息。所述同步信息具体为接收到的所述宽景视频图像数据的时间戳，也可以为自定义的序号，所述序号的定义方式要保证属于同一宽景视频图像数据 分割后的多个子图像的序号符合预先设定的规律，例如可以是相同或者相连续。b、 为每个子图像的分割方式分配重建信息，所述重建信息用来记录每个 子图像的分割方式。c、 将各子图像及其对应的同步信息和重建信息发送给其他设备。于是，上述一种视频图像数据处理方法进一步包括同步过程和重建过程， 下面分别进行介绍所述同步过程如下首先，接收所述其他设备发送的各子图像及其对应的同步信息和重建信 息，然后，根据所述同步信息对所述子图像进行归类，找出属于同一宽景视 频图像数据分割后的多个子图像，即在同 一 时间得到的图像信息。执行上述方法的设备具有接收緩存、重建緩存和发送緩存，接收緩存接 收进行分割后的子图像，属于同 一幅宽景图像的子图像的同步信息符合预先 设定的规律，例如相同或相连续，重建緩存中存储待重建的子图像，发送緩 存存储重建的图像。所述重建信息可以是分割方式，所述重建过程为根据所述分割对所述 归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据 按照其在所述宽景视频图像数据中的位置排列。所述同步和重建的具体过程可以包括步骤a、初始化4喿作，即确定最小同步信息MinSyinfo;该步骤所述的"最小同步信息"有可能不是最小的，其可以是任意选出 来的，是々支定的"最小同步信息"。步骤b、从接收緩存中取出未被选取子图像，获取其同步信息CurrSyinfo。步骤c、判断MinSyinfo是否大于CurrSyinfo,如果是，进入步骤d;否 则，进入步骤e;步骤d、将CurrSyinfo确定为MinSyinfo,返回步骤b;步骤e、进行CDT(Check Delay Time, 4企测处理延时)处理，如果所述处 理延时大于规定延时，则进入步骤f;否则，进入步骤g;步骤f、将发送緩存中存储的图像直接输出，并返回步骤a;步骤g、判断MinSyinfo是否小于CurrSyinfo,如果是，返回步骤b;否 则，进入步骤h;步骤h、进行CDT处理，如果所述处理延时大于规定延时，则进入步骤 f;否则，进入步骤i;步骤i、将该子图像存储至重建緩存；步骤j、判断所述接收緩存中是否还存在未被选取的子图像，若是，返回 步骤b，若否，进入步骤k;步骤k、将重建緩存中存储的子图像根据重建信息进行重建，将重建后的 图像存储至发送緩存，并进入步骤f。可以理解的是，步骤f中发送緩存发送数据后，并不立即释放该緩存，因 此当从步骤e或步骤f进入步骤f时，所述发送緩存中存储的图像是成功重建 的前一帧图像；所述发送緩存中存储的图像由步骤k更新，所述更新可以是 数据覆盖的方式，也可以是先释放所述发送緩存，再存入数据的方式，或者 其他数据更新方式。在其他实施例中，在重组过程中，在将所述多个子图像及其对应的同步 信息和重建信息发送之前，将所述多个子图像及其对应的同步信息和重建信 息进行编码，编码方式可以是符合现在主流的各种标准的压缩标准码流格式， 如h261、 h263、 h263++、 mpegl、 mpeg2或mpeg4等多种方式。相应的，在所述同步过程中，接收所述子图像及其对应的同步信息和重 建信息后，先进行解码，对应上述重组过程的多个编码器，相应的解码器也 可以设置有多个。然后，根据所述同步信息对所述解码后的子图像进行归类， 找出属于同 一宽景视频图像数据分割后的多个子图像，即在同 一时间得到的 图像信息。本发明实施例同时还公开了 一种视频图像数据处理装置，可实现上述实 施例7>开的方法。所述视频图像数据处理装置的一种结构形式如图8所示，包括数据组 合单元81、数据重组单元82、数据输入接口 83和数据输出单元84。
其中
数据输入接口 83的数量为多个，分别与多台摄像机相连，用于获取多路 视频图像数据及各路视频图像数据间的关联信息，所述关联信息包括用于 指示所述视频图像数据的物理位置信息，及所述视频图像数据被捕获的时间 戳信息。
数据组合单元81,用于依据所述关联信息，将所述多路视频图像组合成 单路宽景视频图像数据。具体的，依据各路视频图像数据的物理位置及获取 时间，将所述多路视频图像组合成单路宽景视频图像数据。
数据重组单元82,针对显示设备的数量和大小及所支持的视频图像格式， 将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像 数据。
数据输出单元84,用于将数据重组单元82处理得到的多路视频图像数据 通过通信网络发送给处于远端的视频会议设^(可以是终端，也可以是MCU)。
于是，所述处于远端的视频会议设备即可将多路视频图像数据按照视频 图像在宽景视频图像中的位置排列后，传输给所述多个显示设备。所有显示 设备显示的视频图像即可组合成一幅广视角的视频图像，为用户带来宽景的 视觉体验。
数据输入接口 83的类型可以是YPbPr接口、 DVI接口、 HDMI接口或 VGA接口等。 .
需要说明的是，为了减少发送的数据量并保证发送的安全性，所述视频 图像数据处理装置的另一种结构还可以包括用于进行压缩编码的功能单元， 如图9所示，包括it据组合单元91、数据重组单元92、数据输入接口 93、数 据输出单元94和数据编码器95。
其中
24数据组合单元91、数据重组单元92、数据输入接口 93和数据输出单元 94的功能，分别与数据组合单元81、数据重组单元82、数据输入接口83和 数据输出单元84的功能基本相同。
数据编码器95,用于获取数据重组单元92重组得到的多路视频图像数据， 进行编码后提供给数据输出单元94。其编码方式可以是H.261、 H.263、 H.264、 MPEG1、 MPEG2或MPEG4。
为了使数据处理的速度更快，以保证数据传输的实时性，在另外实施例 中可采用多个数据编码器同时对数据重组单元92重组得到的多路视频图像数 据进行编码处理。这种情况下，数据重组单元92处理得到的各路视频图像数 据均包括所述宽景视频图像重组后的每个子图像及与其对应的同步信息和 重组信息。在数据输出单元94将多个编码器编码处理的多路视频图像数据输 出后，接收所述多路视频图像数据的设备即可依据所述同步信息和重建信息 进行同步过程和重建过程，所述同步过程和重建过程的具体内容可参照前文 方法部分的描述，在此不在赘述。
所述接收多路视频图像数据的设备即是所述视频图像数据处理装置的另 一种结构形式，包括多个数据输入接口和多个数据输出接口，另外，还包 括数据解码器、数据同步单元和数据重建单元，其中
所述数据输入接口用于获取编码后的多路视频图像数据；
所述数据解码器数量为多个，用于同时对编码后的多路视频图像数据进 行解码，解码后的多路视频图像数据包含所述宽景视频图像分割成的多个子 图{象及与其相对应的同步信息和重建信息；
所述数据同步单元用于将所述解码后的子图像^4居与其对应的同步信 息进行归类，具体过程可参照前文方法实施例部分的描述。
所述数据重建单元用于根据所述重建信息对所述归类后的子图像进行 重建，得到多路视频图像数据，并提供给数据输出接口，各路视频图像数据 按照其在所述宽景视频图像数据中的位置排列。
25一种结构形式如图IO所示，包括数据 组合单元101、数据重组单元102及数据输入接口 103和多个数据输出接口 104。
其中
数据组合单元101和数据重组单元102的功能，分别与数据组合单元81 和数据重组单元82的功能基本相同。
本结构与图8所示结构的区别在于数据输入接口 103获取的多路视频 图像数据和各路视频图像之间的关联信息，是由其他设备从通信网络发送过 来的。多个数据输出接口 104分别与多个显示设备相连接，用于将数据重组 单元102处理得到的多路视频图像数据按照视频图像在宽景视频图像中的位 置排列发送给各显示设备，所有显示设备显示的视频图像即可组合成一幅广 视角的视频图像。
具体的，数据输入接口 103可以由网络接口和数据接收单元组成，所述 网络接口用于与通信网络建立连接，所述数据接收单元通过所述网络接口接 收其他设备从通信网络传送过来的视频图像数据。
所述网络接口可以是基于电路交换的ISDN、 El接口、 V35接口、基于 包交换的以太网接口或基于无线连接的无线端口。
另外，如果数据输入接口 103接收到的多路视频图像数据和各路视频图 像之间的关联信息是经过编码的，则所述视频图像数据处理装置的另 一种结 构中需要包括用于解码的功能单元，如图ll所示，包括数据组合单元lll、 数据重组单元112、多个数据输入接口 113和数据输出接口 114,还包括数据 解码器115,其中
数据组合单元lll、数据重组单元112、数据输入接口 U3和数据输出接 口 114的功能，分别与数据组合单元101、数据重组单元102、数据输入接口 103和数据输出接口 104的功能基本相同。
数据编码器115,用于对数据输入接口 113获取的多路视频图像数据和各 路视频图像之间的关联信息进行解码，然后提供给数据组合单元111。
26此外，本发明实施例还提供了一种视频会议系统，该系统的一种具体结
构如图12所示，包括数据组合单元121、数据发送单元122、数据接收单 元123、数据重组单元124及多个数据输入接口 125和数据输出接口 126。 其中
数据组合单元121、数据发送单元122和数据输入接口 125位于视频会议 的一方会场。多个数据输入接口 125获取多路视频图像数据及各路视频图像 数据间的关联信息，并由数据组合单元121依据所述关联信息，将所述多路 视频图像组合成单路宽景视频图像数据，然后，由数据发送单元122将该单 路宽景视频图像数据通过通信网络发送给位于远端的另 一方会场。
数据接收单元123、数据重组单元124及数据输出接口 126位于所述位于 远端的另一方会场。数据接收单元123将接收承栽于通信网络的单路宽景视 频图像数据，然后提供给数据重组单元124,数据重组单元124依据显示设备 的数量、支持的画面大小及视频图像格式，将所述单路宽景视频图像数据重 组成适应多个显示设备播放的多路视频图像数据，由数据输出接口 126提供 给与其对应的显示设备。
所述显示设备按照所述视频图像在宽景视频图像中的位置摆放，所有显 示设备显示的视频图像即可组合成一幅广视角的视频图像，为用户带来宽景 的视觉体验。
需要说明的是，数据输入接口 125和数据输出接口 126的类型可以是 YPbPr接口、 DVI接口、 HDMI接口或VGA接口。另夕卜，数据输入接口 125 和数据输出接口 126的类型可以不一样，数据输入接口 125获取的视频图像 数据可以由数据重组单元123在重组时，针对数据输出接口 126的类型进行 格式转换。例如数据输入接口 125为DVI接口，其获取的视频图像数据为 DVI格式，而数据输出接口 126是HDMI接口，因此，数据重组单元123在 进行视频图像数据重组时，需要将DVI格式视频图像数据转换为HDMI格式 视频图像数据。
各方会场需要同时担当发送方和接收方的工作，也即通过数据输入接 口 125、数据组合单元121和数据发送单元122发送本方会场的视频图像数据，通过数据接收单元123、数据重组单元124及数据输出接口 126接收、处理对 方会场的视频图像数据。
需要说明的是，在其他结构形式的系统中，发送方的工作仅需通过数据 输入接口 125获取多路视频图像数据及各路视频图像数据之间的关联信息， 然后通过通信网络发送对方会场。接收方从通信网络获取所述多路视频图像 数据及各路视频图像数据之间的关联信息后，进行组合、重组等操作。请参 考图13,为本发明实施例提供的一种视频会议系统的另一种结构示意图，包 括数据组合单元131、数据发送单元132、数据接收单元133、数据重组单 元134及多个数据输入冲妄口 135和数据输出接口 136。
其中
数据发送单元132和多个数据输入接口 135位于一方会场，数据接收单 元133、数据组合单元131、数据重组单元134及多个数据输出接口 136位于 另一方会场。
多个数据输入接口 135获取多路视频图像数据及各路视频图像数据间的 关联信息，数据发送单元132将所述多路视频图像数据及各路视频图像数据 间的关联信息通过通信网络发送给另一方会场；处于另一方会场的数据接收 单元133接收到所述多路视频图像数据及各路视频图像数据间的关联信息后， 提供给数据組合单元131,数据重组单元131依据所述关联信息将所述多路视 频图像数据组合成单路宽景视频图像数据后，提供给数据重组单元134,数据 重组单元134依据显示设备的数量、支持的画面大小及视频图像格式，将所 述单路宽景视频图像数据重组成适应多个显示设备播放的多,路视频图像数 据，由数据输出接口 136提供给与其对应的显示设备。
需要说明的是，由于上述数据发送单元(数据发送单元122和132 )将视 频图像数据通过通信网络发送的，因此，为了减少发送的数据量并保证数据 的安全性，所述数据发送单元发送的数据可以经过编码。相应的，所述数据 接收单元(数据接收单元123和133 )在接收到通信网络发送的数据后进行解 码。
28需要说明的是，在其他结构形式的系统中，发送方在接收到多路视频图像数据及关联信息后，依据所述关联信息将所述多路视频图像数据组合成单
路宽景视频图像数据，然后重组成若干路视频图像数据并发送；接收方接收
所述若干路视频图像数据后提供给本方会场的显示设备显示。具体结构形式
如图14所示，包括数据组合单元141、数据发送单元142、数据接收单元143、数据重组单元144及多个数据输入接口 145和数据输出接口 146。其中
各单元的功能与图12、图13中的各单元的功能基本相同，所不同的是数据输入接口 145、数据组合单元141、数据重组单元144和数据发送单元142处于一方会场，数据接收单元143和数据输出接口 146处于另一方会场。这意味着，处于一方会场的数据重组单元144需要根据另一方会场的显示设备的数量、支持的画面大小及视频图像格式进行视频图像数据重组。
此外，在另外的结构中，还可以进一步包括数据编码器、数据解码器、数据同步单元和数据重建单元，其中
所述数据编码器数量为多个，设置于数据重组单元144所在会场，用于同时对数据重组单元144重组得到的多路视频图像数据进行处理，所述数据重组单元144重组得到的各路视频图像数据包括所述宽景视频图像分割后的每个子图像及与其对应的同步信息和重组信息；
所述数据解码器数量与所述数据编码器的数量相同，设置于数据接收单元143所在会场，用于同时对数据接收单元143接收的经过编码的多路视频图像数据进行解码；
所述数据同步单元用于将经过所述各个数据解码器解码后的子图像根据与其对应的同步信息进行归类，具体过程可参照前文方法实施例部分的描述。
所述数据重建单元用于根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，并提供给数据输出接口，各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。可以看出，本发明实施例比较适合视频会议双方会场相同(显示设备数量、支持的画面大小及视频图像格式相同)的情况。
针对上述视频图像数据处理方法、装置及会议系统，本发明实施例同时还公开了一种视频会议终端，考虑到视频会议的各方的角色都是相互的(同时作为发送方和接收方)，所述视频会议终端的一种具体结构如图15所示，
包括数据组合单元151、数据收发单元152、网络接口 153、数据重组单元154及多个数据输入接口 155和数据输出接口 156。其中
网络接口 153用于与外部通信网络建立连接，数据收发单元152用于获取通信网络发送的数据，及向所述通信网络发送数据。
其他的功能单元，如数据组合单元151、数据重组单元154、数据输入接口 155和数据输出接口 156的功能，可参照前文视频图像数据处理装置及视频会议系统部分的内容。
作为发送方，所述视频会议终端需要获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据后通过通信网络发送给对方会场；同时作为接收方，所述视频会议终端需要接收对方会场通过通信网络发送过来的宽景视频图像数据，重组处理成多路视频数据图像后传输给本方会场的显示设备。
图16示出了所述视频会议终端的另一结构，包括数据组合单元161、数据收发单元162、网络接口 163、数据重组单元164及多个数据输入接口 165和数据输出接口 166，还包括数据编码器167和数据解码器168。
其中
数据组合单元161、数据收发单元162、网络接口 163、数据重组单元164、数据输入接口 165和数据输出接口 166的功能，分别与数据组合单元151、数据收发单元152、网络接口 153、数据重组单元154、数据输入接口 155和数据输出接口 156的功能基本相同。
数据编码器167在数据收发单元162发送数据之前，对数据进行编码，数据解码器168在数据收发单元162接收数据之后，对数据进行解码。
30所述视频会议终端的另一结构如图17所示，包括数据组合单元171、数据收发单元172、网络接口 173、数据重组单元174及多个数据输入接口 175和数据输出接口 176。
其中
各单元的功能分别与图15中各单元的功能基本相同。
所不同的是，所述视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息后，直接通过通信网络发送给对方会场。同时，作为接收方时，接收对方会场通过通信网络发送过来的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据后，再重组处理成多路视频数据图像后传输给本方会场的显示设备。
图18示出了所述视频会议终端的另一结构，包括数据组合单元181、数据收发单元182、网络接口 183、数据重组单元184及多个数据输入接口 185和数据输出接口 186,还包括数据编码器187和数据解码器188，其中各单元的功能与图16所示的各单元的功能基本相同，所不同的是所述视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，并进行编码后直接通过通信网络发送给对方会场。同时，作为接收方时，接收对方会场通过通信网络发送过来的多路视频图像数据及各路视频图像数据之间的关联信息，解码后组合成单路宽景视频图像数据，然后重组处理成多路视频数据图像后传输给本方会场的显示设备。
在另外的实施例中，视频会议终端作为发送方时，获取本方会场的多路视频图像数据及各路视频图像数据之间的关联信息，组合成单路宽景视频图像数据，并依据对方会场的显示设备的数量、支持的画面大小及视频图像格式，将所述单路宽景视频图像数据重组成适应多个显示设备播放的多路视频图像数据，然后通过通信网络(或者进行编码后通过通信网络)发送往对方会场。同时，作为接收方时，接收对方通过通信网络发送的多路视频数据图像后，提供给本方会场的显示设备显示(或者进行解码后提供给本方会场的
31显示设备显示)。需要说明的是，在这种情况下，在进行编码时可通过多个编码器同时对重组得到的多路视频图像数据进行编码，在进行解码时，通过多个解码器同时对经过编码的多路视频图像数据进行解码，并且，进行同步
过程和重建过程，即将经过所述数据解码器解码后的子图像根据与其对应的同步信息进行归类，根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员可以理解，可以使用许多不同的工艺和技术中的任意一种来表示信息、消息和信号。例如，上述说明中提到过的消息、信息都可以表示为电压、电流、电》兹波、石兹场或》兹性粒子、光场或以上任意组合。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。 ，
程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体
(Read-Only Memory, ROM)或随机存储记忆体(Random Access Memory,RAM)等。
32对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
权利要求
1、一种视频图像数据处理方法，其特征在于，包括获取多路相互关联的视频图像数据及关联信息；利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据后，发送给显示设备显示。
2、 如权利要求l所述的方法，其特征在于，所述关联信息包括各路视 频图像的物理位置关系信息和时间戳信息。
3、 如权利要求l所述的方法，其特征在于，所述获取多路相互关联的视 频图像数据及关联信息具体为获取承载于通信网络上的多路相互关联的视 频图像数据及关联信息。
4、 如权利要求l所述的方法，其特征在于，所述获取多路相互关联的视 频图像数据及关联信息具体为获取架设视频会议一方现场的多台摄像机采 集的多路相互关联的视频图像数据及关联信息。
5、 如权利要求l所述的方法，其特征在于，所述将宽景视频图像数据重 组的过程包括分割过程，所述分割过程包括将所述宽景视频图像分割为多个子图像，同时生成各子图像的同步信息； 按照分割方式为每个子图像分配重建信息； 发送所述多个子图像及其对应的同步信息和重建信息； 所述方法还包括，同步过程和重建过程，其中 所述同步过程包括接收所述子图像、同步信息和重建信息；根据所述同步信息对所述子图像进行归类，属于同 一幅宽景视频图像的 子图像属于同一类； 所述重建过程包括根据所述重建信息对所述归类后的子图像进行重建，得到多路视频图像 数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列。
6、 如权利要求5所述的方法，其特征在于，所述同步信息为序号或时间戳。
7、 如权利要求5所述的方法，其特征在于，发送所述多个子图像及其对 应的同步信息和重建信息之前先对所述多个子图像及其对应的同步信息和重 建信息进行编码，所述编码具体为利用多个编码器同时对所述分割后的多 路子图像及其对应的同步信息和重建信息进行编码；所述同步过程中接收所述子图像、同步信息和重建信息具体为利用多 个解码器同时对接收到的所述编码后的信息进行解码。
8、 如权利要求5所述的方法，其特征在于，所述生成多个子图像的多个 同步信息具体为生成所述宽景视频图像数据时的时间戳，或者，生成自定 义的序号，属于同 一宽景视频图l象数据分割后的多个子图像的序号相同。
9、 一种视频图像数据处理装置，其特征在于，包括 数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息； 数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多 路视频图像数据；多个数据输出接口，与外部显示设备相连，用于将所述数据重组单元处 理得到的视频图像数据传输给所述显示设备。
10、 如权利要求9所述的装置，其特征在于，所述多路相互关联的视频 图像数据及关联信息来自外部通信网络，所述视频图像数据输入接口为 ISDN、 El、 V35、基于包交换的以太网接口或基于无线连接的无线端口。
11、 如权利要求9所述的装置，其特征在于，还包括数据解码器，当所述数据输入接口接收到的视频图像数据为经过编码后 的视频图像数据时，对视频图像数据进行解码，并提供给所述数据组合单元。
12、 如权利要求9所述的装置，其特征在于，所述关联信息包括各路 视频图像的物理位置关系信息和时间戳信息。
13、 一种视频图像数据处理装置，其特征在于，包括 数据输入接口 ，用于获取多台摄像机采集的多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像 数据组合成单路宽景视频图像数据；数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多 路视频图像数据；数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据 通过通信网络发送给远端的视频会议设备，以使该视频会议设备通过相应的 显示设备显示。
14、 如权利要求13所述的装置，其特征在于，所述数据重组单元生成的 所述多路视频图像数据包括所述宽景视频图像重组后的各个子图像及与各 子图像对应的同步信息和重组信息。
15、 如权利要求13所述的装置，其特征在于，还包括 数据编码器，用于将所述数据重组单元处理得到的多路视频图像数据进行编码后，提供给所述数据发送单元。
16、 如权利要求15所述的装置，其特征在于，所述数据编码器的个数为 多个，多个数据编码器同时对多路视频图像数据进行编码。
17、 一种视频图像数据处理装置，其特征在于，包括 数据输入接口，用于获取编码后的多路视频图像数据； 多个数据解码器，同时对编码后的多路视频图像数据进行解码，解码后的多路视频图像数据包含所述宽景视频图像分割成的多个子图像及与其相对 应的同步信息和重建信息；数据同步单元，将所述解码后的子图^^根据与其对应的同步信息进行归数据重建单元，根据所述重建信息对所述归类后的子图像进行重建，得 到多路视频图像数据，其中各路视频图像数据按照其在所述宽景视频图像数据中的位置排列；多个数据输出接口，与外部多个显示设备相连，用于将所述数据重建单 元处理得到的各路视频图像数据分别传输给相应的显示设备。
18、 一种视频会议系统，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息； 数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；数据发送单元，用于将所述宽景视频图像数据通过通信网络发送； 数据接收单元，用于接收承载于通信网络的宽景视频图像数据； 数据重组单元，用于将所述数据接收单元接收的所述宽景视频图像数据重组成适应显示需求的多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单元处理得到的各路视频图像数据分别传输给相应的显示设备。
19、 如权利要求18所述的系统，其特征在于，还包括数据编码器，用于将所述数据组合单元处理得到的宽景视频图像数据进 行编码后，提供给所述数据发送单元；数据解码器，用于将所述数据接收单元接收的宽景视频图像数据进行解 码后，提供给所述数据重组单元。
20、 一种一见频会议系统，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息； 数据发送单元，用于将所述多路相互关联的视频图像数据及关联信息通 过通信网络发送；数据接收单元，用于接收承载于通信网络的所述多路相互关联的视频图 像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多 路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单 元处理得到的各路视频图像数据分别传输给相应的显示设备。
21、 如权利要求20所述的系统，其特征在于，还包括数据编码器，用于将所述数据输入接口获取的多路相互关联的视频图像 数据及关联信息进行编码后，提供给所述数据发送单元；数据解码器，用于将所述数据接收单元接收的多路相互关联的视频图像 数据及关联信息进行解码后，提供给所述数据组合单元。
22、 一种视频会议系统，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息； 数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像数据处理成单路宽景视频图像数据；数据重组单元，用于将所述宽景视频图像数据重组成适应显示需求的多路视频图像数据；数据发送单元，用于将所述数据重组单元处理得到的多路视频图像数据通过通信网络发送；数据接收单元，用于接收承载于通信网络的所述多路视频图像数据； 多个数据输出接口，与外部多个显示设备相连，用于将所述数据接收单元接收到的各路视频图像数据分别传输给相应的显示设备。
23、 如权利要求22所述的系统，其特征在于，还包括 数据编码器，用于将所述数据重组单元重组得到的多路视频图像数据进行编码后，提供给所述数据发送单元;数据解码器，用于将所述数据接收单元接收的多路视频图像数据进行解 码后，提供给所述数据输出接口。
24、 如权利要求23所述的系统，其特征在于，所述数据重组单元重组得 到的各路视频图像数据包括所述宽景视频图像重组后的每个子图像及与其 对应的同步信息和重组信息；所述数据编码器和数据解码器的个数均为多个，多个数据编码器同时对 多路视频图像数据进行编码，多个数据解码器同时对多路视频图像数据进行 解码；所述系统还包括数据同步单元，将所述解码后的子图像根据与其对应的同步信息进行归类；数据重建单元，根据所述重建信息对所述归类后的子图像进行重建，得 到多路视频图像数据，提供给多个数据输出接口 ，其中各路视频图像数据按 照其在所述宽景视频图像数据中的位置排列。
25、 一种视频会议终端，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像 数据处理成单路宽景视频图像数据；数据收发单元，用于将所述宽景视频图像数据通过通信网络发送给远端 的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的单 路宽景视频图像数据；数据重组单元，用于将所述数据收发单元接收到的宽景视频图像数据重 组成适应显示需求的多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单 元处理得到的各路视频图像数据分别传输给相应的显示设备。
26、 一种视频会议终端，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据收发单元，用于将所述多路视频图像数据及关联信息通过通信网络 发送给远端的视频会议设备，以及，接收所述视频会议设备通过所述通信网络发送的多路视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像 数据处理成单路宽景视频图像数据；数据重组单元，用于将所述数据组合单元处理得到的宽景视频图像数据 重组成适应显示需求的多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据重组单 元处理得到的各路视频图像数据分别传输给相应的显示设备。
27、 一种视频会议终端，其特征在于，包括数据输入接口 ，用于获取多路相互关联的视频图像数据及关联信息；数据组合单元，用于利用所述关联信息将所述多路相互关联的视频图像 数据处理成单路宽景视频图像数据；数据重组单元，用于将所述数据组合单元处理得到的宽景视频图像数据 重组成适应显示需求的多路视频图像数据；数据收发单元，用于将所述数据重组单元处理得到的多路视频图像数据 通过通信网络发送给远端的视频会议设备，以及，接收所述视频会议设备通 过所述通信网络发送的经过重组得到的多路视频图像数据；多个数据输出接口，与外部多个显示设备相连，用于将所述数据收发单 元接收到的各路视频图像数据分别传输给相应的显示设备。
28、 如权利要求27所述的终端，其特征在于，还包括多个数据编码器，用于将所述数据重组单元重组得到的包含的多路视频 图像数据进行编码后，提供给所述数据收发单元，其中，各路视频图像数据 包括所述宽景视频图像分割后的每个子图像及与其对应的同步信息和重组信 息的；数据解码器，用于将所述数据收发单元接收的所述多路视频图像数据进 行解码后，提供给数据同步单元；数据同步单元，用于将经过所述数据解码器解码后的子图<|^艮据与其对应的同步信息进行归类；数据重建单元，用于根据所述重建信息对所述归类后的子图像进行重建， 得到多路视频图像数据，提供给所述多个数据输出接口 ，其中各路视频图像 数据按照其在所述宽景视频图像数据中的位置排列。
全文摘要
本发明实施例公开了一种视频图像数据处理方法和装置，所述方法包括获取多路相互关联的视频图像数据及关联信息；利用所述关联信息将所述多路相互关联的视频图像数据组合成单路宽景视频图像数据；将所述宽景视频图像数据重组成适应多个显示设备显示的多路视频图像数据后，分别发送给各显示设备显示。本发明实施例同时还公开了视频会议系统及终端。本发明实施例将多路视频图像数据处理成单路宽景视频图像数据的过程，能够消除各视频图像数据之间存在的重叠现象，因此，可以允许摄像机摄取图像存在重叠现象，从而降低了对摄像机摆放位置及使用者与摄像机组之间的距离的要求。
文档编号H04N7/15GK101668160SQ20091016196
公开日2010年3月10日 申请日期2009年9月10日 优先权日2009年9月10日
发明者源 刘, 凯 李, 静 王, 嵩 赵, 魏小霞 申请人:深圳华为通信技术有限公司