专利名称：多人视频数据显示处理方法及系统的制作方法
技术领域：
本发明涉及多人视频通讯技术，尤其涉及一种多人视频数据显示处理方法及系统。
背景技术：
视频会议要求会议中的每个人可以通过视频设备看到与会者的视频画面，现有技术中通常采用两种方式对视频会议中与会者发出的视频数据进行显示。
第一种方式是单画面显示方式，即每个与会者在任意时刻只能看到一个与会者的视频画面，无法看到其他与会者的视频画面，这种方式下的视频会议控制端仅接收正在发言的与会者所发出的视频数据，并将该视频数据转发给其他与会者，其他与会者接收并显示正在发言的与会者的视频画面。采用这种方式对与会者的视频画面进行显示时，网络负担较小，对于每个与会者而言，无论有多少人参加会议，其接受的数据量都不变，所需带宽也不变。对于控制端而言，其接收的数据量不变，发送的数据量随着与会者的数目增加成线性增长。这种方式的局限性在于所有与会者每个时刻只能看到一个与会者的视频画面，但在很多情况下，多人视频会议需要能同时看到多人甚至全部人的视频画面，则此方式无法满足要求。
第二种方式是多画面显示方式，视频会议中的每个与会者通过多个视频显示设备(如电视墙)可以同时看到多个与会者的视频画面，这种方式下的视频会议控制端需要同时接收多个与会者发出的视频数据，并将接收到的视频数据转发给每一个与会者，与会者的多个视频显示设备可对多个视频数据进行显示。这种方式可使视频会议中的每个与会者可以同时看到多个与会者的视频画面。这种方式最大的问题在于将给网络带来巨大的压力，对于所有与会者而言，他们要接收的网络数据会随与会者数目的增加而呈线性增长。对于控制端而言，需要接收和发送的数据都会急剧增长，这样在整个视频会议期间，网络带宽将被严重占用，而且随着与会者数目的增加，必将导致网络堵塞，从而令视频会议无法进行。所以这种方式下，与会者的数目会受到严格的限制。
发明内容
本发明提供一种多人视频数据显示处理方法及系统，用以解决现有技术中采用多画面方式显示与会者发出的视频数据时，与会者数量的增长会导致网络中数据流量的增长，从而给网络造成严重负荷的问题。
本发明的技术方案包括一种多人视频数据显示处理方法，包括步骤A、读取并处理需要显示的视频数据，使视频数据对应的视频画面尺寸符合显示尺寸的要求；B、将所述符合显示尺寸要求的视频画面以分格形式组合在一个视频画面中并发送出去。
所述显示尺寸由一个视频窗口所显示的分格数量确定。
所述步骤A具体包括步骤A1、接收需要显示的视频数据，为每一个接收到的视频数据分配对应的资源通道并关闭该资源通道的通道锁，利用资源通道对接收的视频数据进行缓存处理；A2、接收视频输出控制指令，根据该指令从指定的资源通道缓存中读取视频数据，对所读取的视频数据进行压缩或扩充处理，使视频数据所对应的视频画面尺寸符合显示尺寸的要求。
所述步骤A2申，实时接收所述视频输出控制指令，并在该指令发生变化时根据新的指令所指定的资源通道读取该资源通道缓存中的视频数据并进行显示。
所述步骤A2后还包括步骤A3、将符合显示尺寸要求的视频画面保存在指定资源通道的存储介质中；A4、读取指定资源通道的存储介质，获取符合显示尺寸要求的视频画面。
若在步骤A2中从缓存中无法读取到视频数据，则在步骤A4中所读取的视频画面与上一次传送出去的视频画面相同。
所述资源通道通过特征标识进行识别，所述视频数据和为其分配的资源通道的特征标识之间互相对应。
所述组合后的视频画面中每一个分格的视频画面与固定的特征标识相对应。
一种多人视频数据显示处理系统，包括视频数据处理单元，用于对视频数据进行压缩或扩充处理，使视频数据对应的视频画面尺寸符合显示尺寸的要求；视频画面重组单元，与视频数据处理单元连接，用于将符合显示尺寸要求的视频画面以分格形式组合在一个视频画面中并发送出去。
所述视频数据处理单元为并行的多个，与视频数据一一对应。
还包括视频输出控制单元，与视频数据处理单元连接，用于控制视频数据处理单元对指定的视频数据进行处理。
所述视频数据处理单元包括视频标识模块，用于接收视频数据，为视频数据分配对应的资源通道，同时关闭已分配的资源通道的通道锁；先入先出缓存模块，连接视频标识模块，用于对视频数据进行缓存；视频缩放模块连接先入先出缓存模块，从先入先出缓存模块中读取视频数据，并对所读取的视频数据进行压缩或扩充处理，使视频数据对应的视频画面尺寸符合预先设定的显示尺寸的要求。
所述视频数据处理单元进一步包括
画面存储模块，连接视频缩放模块，用于接收视频缩放模块输出的符合显示尺寸要求的视频画面，并将该视频画面传送给视频画面重组单元，同时对最近传送出去的视频画面进行保存。
所述显示尺寸在视频缩放模块中设定，其数值根据一个视频窗口所显示的分格数量确定。
本发明有益效果如下本发明在接收到与会者发出的视频数据后，对与会者发出的视频数据进行压缩或扩充处理，使与会者的视频画面符合显示尺寸的要求，将处理后的所有与会者的视频画面组合在一个视频画面中，将组合后的视频画面发送给与会者，从而可以令每一个与会者看到其他所有与会者的视频画面，这样无论会议中有多少与会者，都可以在不增加网络负荷的情况下完成与会者的视频显示，从而大大降低了视频会议中的网络流量，节省了网络带宽。
在组合后的视频画面中，每一个分格与一个与会者的视频数据相对应，从而可以定位每个视频窗口所对应与会者的身份，并且当与会者请求全屏显示某一分格的视频画面时，可以仅读取该分格所对应的视频数据，对其他分格所对应的视频数据进行屏蔽，即可实现对指定与会者的视频画面的全屏切换。
图1为多人视频数据显示处理系统的结构示意图；图2为多人视频数据显示处理方法的流程图；图3为增加视频输出控制单元的多人视频数据显示处理系统的结构示意图；图4为增加画面存储模块的多人视频数据显示处理系统的结构示意图；图5为具有画面抖动消除功能的多人视频数据显示处理方法的流程图；图6为增加视频输出控制单元和画面存储模块的多人视频数据显示处理系统的结构示意图。
具体实施例方式
图1所示为本发明的多人视频数据显示处理系统的结构示意图，该系统在视频会议中用于对与会者发出的视频数据进行显示，由图中可见，该多人视频数据显示处理系统主要由视频数据处理单元和视频画面重组单元构成，其中视频数据处理单元与与会者发出的视频数据一一对应，为并行的多个，通过对与会者发出的视频数据进行压缩或扩充处理使与会者的视频画面尺寸符合显示尺寸的要求。视频画面重组单元与并行的多个视频数据处理单元连接，将符合显示尺寸要求的视频画面以分格形式组合在一个视频画面中，发送给与会者进行显示。
上述视频数据处理单元的结构主要包括视频标识模块用于接收与会者发出的视频数据，为与会者发出的视频数据分配对应的资源通道，关闭已分配的资源通道的通道锁，每个资源通道中包括先入先出缓存模块、画面存储模块和视频缩放模块等资源；先入先出缓存模块连接视频标识模块，用于对与会者发出的视频数据进行缓存；视频缩放模块连接先入先出缓存模块，从先入先出缓存模块中读取视频数据，并对所读取的视频数据进行压缩或扩充处理，使与会者的视频画面尺寸符合显示尺寸的要求。
图2所示为本发明的多人视频数据显示处理方法的流程图，由图中可见，本发明对视频会议中的多个与会者发出的视频数据进行显示处理的步骤如下步骤S10、为与会者发出的视频数据分配对应的资源通道；视频会议的控制端收到与会者发出的视频数据后，为与会者发出的视频数据进行资源分配，从资源通道集合中选取通道锁开启的资源通道分配给与会者发出的视频数据，通道锁开启的资源通道代表该资源通道没有被分配。每一个与会者的视频数据与一个资源通道相对应，每个资源通道中包括先入先出缓存模块、画面存储模块和视频缩放模块等资源。
步骤S11、记录与会者的视频数据和资源通道的特征标识之间的对应关系；对与会者的视频数据和为其分配的资源通道的特征标识之间的对应关系进行记录，每个资源通道都具有唯一的特征标识，利用该特征标识可以唯一识别资源通道。
步骤S12、将已被分配的资源通道的通道锁关闭；每个资源通道配备有一个通道锁，用于指示此资源通道是否已被分配，将步骤10中分配给与会者的视频数据的资源通道的通道锁关闭，用以指示该资源通道已被分配出去。
步骤S13、对接收到的与会者的视频数据进行缓存；每个与会者发出的视频数据所对应的资源通道中都具有先入先出缓存模块，该先入先出缓存模块用于对资源通道所对应的视频数据进行缓存处理。
步骤S14、视频缩放模块对从缓存中读取的数据进行压缩或扩充处理，使与会者的视频画面尺寸符合显示尺寸的要求；在每个与会者的视频数据对应的视频缩放模块中预先设定一个显示尺寸，视频缩放模块从缓存中读取一帧视频数据，通过对所读取的视频数据进行压缩或扩充处理使与会者的视频画面尺寸符合显示尺寸的要求；显示尺寸根据在一个视频窗口中需要显示的视频画面数量确定，所述需要显示的视频画面数量为发出视频数据的与会者的数量。在与会者的视频数据所对应的所有视频缩放模块中所设定的显示尺寸彼此相同。
步骤S15、将符合显示尺寸要求的视频画面组合在一个视频画面中，发送给与会者；视频画面重组单元轮询所有资源通道的通道锁，从通道锁关闭的资源通道的视频缩放模块中获取视频画面，视频画面重组单元将获取的视频画面以分格形式组合在一个视频画面中，并发送给与会者进行显示。
在视频会议中，并非所有人都认识视频画面中每个分格所对应的与会者，所以对于分格视频画面，需要确定出每一个分格是来自于哪一个与会者。上述步骤S11中记录了与会者的视频数据和资源通道的特征标识之间的对应关系，因此特征标识唯一标识了每一个与会者的视频数据。这样，在步骤S15中进行视频画面重组时，只要将重组后视频画面中的每一个分格用特征标识固定唯一标识，即可确定出每一个分格的视频画面是来自于哪一个与会者。
在视频会议中，当轮到某位重要与会者讲话时，有时会需要将该与会者的视频画面转换为全屏显示，从而取代原有的多画面显示，或许全屏显示还会在不同的与会者之间切换，最后也可能会回到多画面显示的状态。这就需要在分格视频画面显示和全屏视频画面显示之间进行切换，或者在不同与会者的全屏视频画面显示之间进行切换。如图3所示，为了实现这一功能，本发明增加了与各个视频数据处理单元相连接的视频输出控制单元，用于控制视频数据处理单元对指定分格所对应的视频数据进行处理，即在上述步骤14中根据视频输出控制单元发出的视频输出控制指令仅读取指定资源通道先入先出缓存模块中的视频数据，还需要在视频缩放模块中预先设定至少两个显示尺寸，其中第一显示尺寸用于在一个视频窗口中显示所有与会者的视频画面的情况，第二显示尺寸用于在一个视频窗口中仅显示一个与会者的视频画面的情况，也可以根据需要设定在一个视频窗口中显示部分与会者的视频画面所需要的显示尺寸。
下面以分格视频画面显示到全屏视频画面显示的切换为例对视频画面的切换过程进行说明当与会者请求全屏显示指定分格的视频画面时，根据该分格所对应的特征标识可确定其对应的视频数据处理单元，视频输出控制单元通过视频输出控制指令控制视频数据处理单元中的视频缩放模块对先入先出存储模块进行读取，并对所读取的视频数据进行压缩或扩充处理，使与会者的视频画面尺寸符合上述预先设定的第二显示尺寸的要求，其他分格所对应视频数据处理单元中的视频缩放模块暂停对先入先出存储模块进行读取处理。这样视频画面重组单元发送给与会者的视频画面即为全屏显示形式的上述指定分格的视频画面，从而实现了分格视频画面显示切换为全屏视频画面显示。
在网络质量较差的情况下，与会者发出的视频数据有时会出现丢包的现象。当画面缩放模块需要从先入先出缓存模块中获取视频数据却无法得到时，如果不采用任何策略，则此帧视频画面将会显示为黑屏，如果经常出现这种情况，则在视频显示中会表现为抖动的画面。为解决这一问题，如图4所示，可以在与会者的视频数据所对应的视频数据处理单元中增加画面存储模块，该画面存储模块与视频缩放模块连接，用于接收视频缩放模块输出的符合显示尺寸要求的视频画面，并将该视频画面传送给视频画面重组单元，同时对最近传送出去的视频画面进行保存。
如图5所示，采用具有画面存储模块的多人视频数据显示处理系统对与会者的视频数据进行显示处理的步骤如下步骤S20至步骤S24与上述步骤S10至步骤S14相同。
步骤S25、画面缩放模块将符合预先设定的显示尺寸要求的视频画面送入画面存储模块中，对最近传送出去的视频画面进行保存。
步骤S26、视频画面重组单元将符合显示尺寸要求的视频画面组合在一个视频画面中，发送给与会者；视频画面重组单元轮询所有资源通道的通道锁，从通道锁关闭的资源通道的画面存储模块中获取视频画面，视频画面重组单元将获取的视频画面以分格形式组合在一个视频画面中，并发送给与会者进行显示。
当与会者发出的视频数据出现丢包的情况时，视频缩放模块有可能从缓存中无法读取到与会者的视频数据，由于画面存储模块中保存有最近传出出去的视频画面，因此视频画面重组单元从画面存储模块中获取到的视频画面仍为与会者的上一帧视频画面，在组合后的视频画面中，该与会者对应的分格当前显示的视频画面与上一帧视频画面相同，由于一帧视频画面的显示时间很短，因此人的肉眼看不出太大的变化，从而可以消除画面的抖动。
在多人视频会议中，每个与会者的网络质量并不一定相同，所以会出现有的与会者丢失视频数据，而有的与会者没有丢失视频数据的情况，对于没有丢失视频数据的视频连接就应该按照原来的处理方式进行处理，仅仅对于丢失视频数据的连接才采用上述的画面抖动消除技术。
图6所示为具有画面存储模块与视频输出控制单元的多人视频数据显示处理系统结构示意图，采用该系统对与会者的视频数据进行显示处理时，仅读取指定资源通道先入先出缓存中的视频数据，对所读取的视频数据进行压缩或扩充处理，将符合显示尺寸要求的视频画面保存在指定资源通道的画面存储模块中；进行画面重组时，仅读取指定资源通道的画面存储模块，将读取到的视频画面以分格形式组合在一个视频画面中并发送给与会者进行显示。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1.一种多人视频数据显示处理方法，其特征在于，包括步骤A、读取并处理需要显示的视频数据，使视频数据对应的视频画面尺寸符合显示尺寸的要求；B、将所述符合显示尺寸要求的视频画面以分格形式组合在一个视频画面中并发送出去。
2.如权利要求1所述的多人视频数据显示处理方法，其特征在于，所述显示尺寸由一个视频窗口所显示的分格数量确定。
3.如权利要求1所述的多人视频数据显示处理方法，其特征在于，所述步骤A具体包括步骤A1、接收需要显示的视频数据，为每一个接收到的视频数据分配对应的资源通道并关闭该资源通道的通道锁，利用资源通道对接收的视频数据进行缓存处理；A2、接收视频输出控制指令，根据该指令从指定的资源通道缓存中读取视频数据，对所读取的视频数据进行压缩或扩充处理，使视频数据所对应的视频画面尺寸符合显示尺寸的要求。
4.如权利要求3所述的多人视频数据显示处理方法，其特征在于，所述步骤A2中，实时接收所述视频输出控制指令，并在该指令发生变化时根据新的指令所指定的资源通道读取该资源通道缓存中的视频数据并进行显示。
5.如权利要求3所述的多人视频数据显示处理方法，其特征在于，所述步骤A2后还包括步骤A3、将符合显示尺寸要求的视频画面保存在指定资源通道的存储介质中；A4、读取指定资源通道的存储介质，获取符合显示尺寸要求的视频画面。
6.如权利要求5所述的多人视频数据显示处理方法，其特征在于，若在步骤A2中从缓存中无法读取到视频数据，则在步骤A4中所读取的视频画面与上一次传送出去的视频画面相同。
7.如权利要求3、4或5所述的多人视频数据显示处理方法，其特征在于，所述资源通道通过特征标识进行识别，所述视频数据和为其分配的资源通道的特征标识之间互相对应。
8.如权利要求7所述的多人视频数据显示处理方法，其特征在于，所述组合后的视频画面中每一个分格的视频画面与固定的特征标识相对应。
9.一种多人视频数据显示处理系统，其特征在于，包括视频数据处理单元，用于对视频数据进行压缩或扩充处理，使视频数据对应的视频画面尺寸符合显示尺寸的要求；视频画面重组单元，与视频数据处理单元连接，用于将符合显示尺寸要求的视频画面以分格形式组合在一个视频画面中并发送出去。
10.如权利要求9所述的多人视频数据显示处理系统，其特征在于，所述视频数据处理单元为并行的多个，与视频数据一一对应。
11.如权利要求9所述的多人视频数据显示处理系统，其特征在于，还包括视频输出控制单元，与视频数据处理单元连接，用于控制视频数据处理单元对指定的视频数据进行处理。
12.如权利要求9所述的多人视频数据显示处理系统，其特征在于，所述视频数据处理单元包括视频标识模块，用于接收视频数据，为视频数据分配对应的资源通道，同时关闭已分配的资源通道的通道锁；先入先出缓存模块，连接视频标识模块，用于对视频数据进行缓存；视频缩放模块连接先入先出缓存模块，从先入先出缓存模块中读取视频数据，并对所读取的视频数据进行压缩或扩充处理，使视频数据对应的视频画面尺寸符合预先设定的显示尺寸的要求。
13.如权利要求12所述的多人视频数据显示处理系统，其特征在于，所述视频数据处理单元进一步包括画面存储模块，连接视频缩放模块，用于接收视频缩放模块输出的符合显示尺寸要求的视频画面，并将该视频画面传送给视频画面重组单元，同时对最近传送出去的视频画面进行保存。
14.如权利要求12所述的多人视频数据显示处理系统，其特征在于，所述显示尺寸在视频缩放模块中设定，其数值根据一个视频窗口所显示的分格数量确定。
全文摘要
本发明公开了一种多人视频数据显示处理方法及系统，用以解决现有技术中采用多画面方式显示与会者发出的视频画面时，与会者数量的增长会导致网络中数据流量的增长，从而给网络造成严重的负荷的问题。本发明在接收到与会者发出的视频数据后，对视频数据进行处理，使视频数据对应的视频画面尺寸符合显示尺寸的要求，将所述符合显示尺寸要求的与会者的视频画面组合在一个视频画面中并发送出去。从而可以令每一个与会者看到其他所有与会者的视频画面，这样无论会议中有多少与会者，都可以在不增加网络负荷的情况下完成与会者的视频显示，从而大大降低了视频会议中的网络流量，节省网络带宽。
文档编号H04N7/15GK1901668SQ200510085030
公开日2007年1月24日 申请日期2005年7月19日 优先权日2005年7月19日
发明者龚毅 申请人:腾讯科技(深圳)有限公司