专利名称：视频会议系统的信息传输方法及视频会议系统的制作方法
技术领域：
本发明涉及一种视频会议系统的信息传输方法及视频会议系统。
背景技术：
随着视频编码以及网络技术的发展，网络视频的应用也越来越广泛，网络视频的 其中一种应用方式是视频会议系统，在使用时，各用户终端将本地采集的视频数据发送至 服务器，服务器接收后再转发给视频会议系统中的所有终端或者指定的其他终端，这些终 端接收后再进行显示。由于高清视频所提供的对虚拟现实的强大的表现能力，高清视频逐 渐成为了当今视频会议系统的主流，其视频分辨率大都支持720P/1080P，然而，在高清视频 提供了对虚拟现实的高表现力的同时，对网络带宽的要求也更高，采用现有的视频会议系 统的通信方式，以目前国内公网的普遍带宽情况来看，假设每个终端都有2Mb/s的上行带 宽和下行带宽，那么，利用H264编码方式实现720P的30fps编码的传输，每个终端就只能 观看一路远端视频，如果要观看两路以上的视频就会很困难，无法在一个终端上实现对多 路远端视频的查看。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于提供一种视频会议系统的信 息传输方法以及一种视频会议系统，其可以实现在一个终端上实现对多路远端视频的查看。为达到上述目的，本发明采用以下技术方案一种视频会议系统的信息传输方法，包括步骤接收各终端发送的视频数据，并根据各终端的视频通道号将各所述视频数据分别 复制到当前视频模板中与各终端对应的子窗口；对整个所述当前视频模板的视频数据进行编码，并将编码后视频数据传送给各所 述终端。一种视频会议系统，包括服务器端与两个以上的终端，其中所述服务器端，用于接收各终端发送的视频数据，根据各终端的视频通道号将各 所述视频数据分别复制到当前视频模板中与各终端对应的子窗口，对整个所述当前视频模 板的视频数据进行编码，并将编码后视频数据传送给各终端；所述终端，用于将视频会议时本地的视频数据发送给所述服务器端，接收所述服 务器端发送的编码后视频数据，并对该编码后视频数据解码后进行显示。根据上述本发明方案，其是通过设定一个视频模板，该视频模板中具有多个小窗 口，各小窗口分别与各终端相对应，在接收到终端发送过来的视频数据后，将该终端的视频 数据复制到该当前视频模板中与该终端对应的小窗口，从而在该视频模板中可以显示各终 端发送过来的视频数据，对整个视频模板的视频数据进行编码，并将编码后视频数据传送 给各终端，从而各终端接收到的编码后视频数据是包含了所有的终端发送的视频数据，且由于是在一个视频模板上实现对各终端视频数据的展现，可以充分有效利用网络带宽，实 现在一个终端上实现对多路远端视频的查看。
图1是本发明的网络视频系统的信息传输方法实施例的流程示意图；图2是视频模板的其中一种设置方式的示例图；图3是视频模板的另外一种设置方式的示例图；图4是本发明的网络视频系统实施例的结构示意图。
具体实施例方式以下以具体实施例的方式对本发明方案进行详细阐述。如图1所示，是本发明的网络视频系统的信息传输方法实施例的流程示意图，其 包括步骤步骤SlOl 接收各终端发送的视频数据，进入步骤S102 ；步骤S102 根据各终端的视频通道号将各所述视频数据分别复制到当前视频模 板中与各终端对应的子窗口，进入步骤S103 ；步骤S103 对整个所述当前视频模板的视频数据进行编码，并将编码后视频数据 传送给各所述终端，这里的编码可以是各种类型的编码方式，例如采用SVC编码以尽量满 足高清的需求。根据本发明方法，其是通过设定视频模板，该视频模板中具有多个小窗口，各小窗 口分别与各终端相对应，在接收到终端发送过来的视频数据后，将该终端的视频数据复制 到当前视频模板中与该终端对应的小窗口，从而在当前视频模板中可以显示各终端发送过 来的视频数据，对整个视频模板的视频数据进行编码，并将编码后视频数据传送给各终端， 从而，各终端接收到的编码后视频数据是包含了所有终端发送的视频数据，且由于是在一 个视频模板上实现对各终端视频数据的展现，可以充分有效利用网络带宽，实现在一个终 端上实现对多路远端视频的查看。在一个具体的实现过程中，可以是预先设定有一个视频模板，视频模板的设置方 式可以是依据需要任意设置，视频模板的其中一种设置示例如图2所示，视频模板的另外 一种设置示例如图3所示，当然，根据需要，也可以进行另外的设置，视频模板中的各小窗 口的尺寸大小可以相同也可以不相同，在此不予赘述。在视频会议系统启用时，直接将预设的该视频模板作为当前模板，然后接收终端 发送过来的视频数据，并将该视频数据复制到视频模板中跟该终端对应的小窗口即可，然 后再对整个视频模板的视频数据进行编码，从而可以得到包含所有终端的视频数据的编码 后视频数据，将该编码后视频数据发送给各终端，从而可以在各终端上实现对多个终端数 据的查看。这种视频会议系统的信息传输方法，由于采用了视频模板来合成各终端发送过 来的数据，有效降低了码率，尤其是在传输两路以上的高清视频时，采用这种模板合成的方 式能够有效降低终端的下行压力。然而，到在实际使用过程中，由于各终端可能分别采用自己的编码方式进行编码， 其发送过来的视频数据的分辨率可能与其对应的子窗口的视频尺寸不相符，导致在将该视频数据复制过去时显示异常，不能显示或者不能正常观看，对此，在本发明方案中，在上述 步骤SlOl与步骤S102之间，还包括步骤步骤SlOll 判断视频数据的分辨率与所述当前视频模板中对应的子窗口的视频 尺寸是否相适应，若否，进入步骤S1022，若是，则进入上述步骤S102 ；步骤S1012 向对应的终端发送分辨率更改通知，该终端根据所述分辨率更改通 知更改输出的视频数据的分辨率，然后再返回步骤S101，继续接收终端发送过来的视频数 据或者对下一终端发送过来的视频数据进行判断。此外，由于各终端发送的视频数据的分辨率是与其对应的子窗口的视频尺寸相适 应的，其无需像现有方式那样发送最高分辨率的视频数据，有效减少了发送数据的数据量， 有效利用了上行带宽，在保证图像质量的情况下，有效减少了上行带宽的压力。本发明方案在使用过程中，还可以对上述视频模板进行修改，S卩，本发明方案还可 以包括步骤接收终端发送的更改模板指令，将所述更改模板指令中的模板ID对应的视频模 板设定为所述当前视频模板；并将更改后的当前视频模板中的视频尺寸发生变化的子窗口 的宽度、高度发送给对应的终端，该终端根据接收到的宽度、高度进行更改编码输出的视频 数据的分辨率。在此情况下，事先可设置有多个视频模板，各视频模板分别有一个对应的模板ID， 视频会议系统投入使用时，可在各终端通过菜单或者其他形式将各视频模板的模板ID在 终端供用户选择，用户可通过菜单选择的方式来发送该更改模板指令，具体实现方式在此 不予赘述。另外，由于具体的网络环境的不同，网络状况可能随时会发生变化，例如网络出现 拥塞，导致丢包率升高等等，在此情况下，从而可能会导致数据传送的延时，若仍然以相同 帧率的编码后视频数据传送给各终端，势必会造成延时时间的加长，影响视频会议的实时 性效果，因此，在上述对整个所述当前视频模板的视频数据进行编码时，生成多种帧率的编 码后视频数据，并接收终端反馈的丢包率，根据终端当前的丢包率确定向该终端发送的编 码后视频数据的帧率，并将与该帧率对应的编码后视频数据发送给该终端。也就是说对于 各终端而言，由于其丢包率可能不尽相同，向其发送的编码后视频数据的帧率也会有所差
已在一个具体的示例中，可以将这些帧率设置为2fps、5fps、10fps、15fps、20fps、 25fps、30fps，即在对整个视频模板的图形进行编码时，可以生成2fps、5fps、10fps、15fps、 20fpS、25fpS、30fpS等帧率的编码后视频数据，相应地，帧率的选定方式可设定为如下方 式在丢包率为0时，选定帧率为30fps的编码后视频数据；在丢包率大于0且小于等于5%时，选择帧率为25fps的编码后视频数据；在丢包率大于5%且小于等于10%时，选择帧率为20fps的编码后视频数据；在丢包率大于10%且小于等于15%时，选择帧率为15fps的编码后视频数据；在丢包率大于15%且小于等于20%时，选择帧率为IOfps的编码后视频数据；在丢包率大于20%且小于等于25%时，选择帧率为5fps的编码后视频数据；在丢包率大于25%时，选择帧率为2fps的编码后视频数据。
根据上述本发明的视频会议系统的信息传输方法，本发明还提供一种视频会议系 统，其包括服务器端与两个以上的终端，其中所述服务器端，用于接收各终端发送的视频数据，根据各终端的视频通道号将各 所述视频数据分别复制到当前视频模板中与各终端对应的子窗口，对整个所述当前视频模 板的视频数据进行编码，并将编码后视频数据传送给各终端；所述终端，用于将视频会议时本地的视频数据发送给所述服务器端，接收所述服 务器端发送的编码后视频数据，并对该编码后视频数据解码后进行显示。图4中示出了本发明的视频会议系统的一个具体示例的结构示意图，在该结构示 意图中，仅示出了其中一个终端，需要说明的是，这种示例说明并不用以限定终端的个数。如图4所示，该服务器端201具体包括服务器数据收发单元2011，用于接收各终端202发送的视频数据，并将合成编码 单元的编码后视频数据传送给各终端202 ；模板单元2012，用于存储和设定当前使用的当前视频模板；合成编码单元2013，用于根据各终端202的视频通道号将各所述视频数据分别复 制到所述当前视频模板中与各终端对应的子窗口，对整个所述当前视频模板的视频数据进 行编码，这里的编码可以是各种类型的编码方式，例如采用SVC编码以尽量满足高清的需 求。在一个具体的实现过程中，模板单元2012可以预先设定有一个视频模板，视频模 板的设置方式可以是依据需要任意设置，视频模板的其中一种设置示例如图2所示，视频 模板的另外一种设置示例如图3所示，当然，根据需要，也可以进行另外的设置，视频模板 中的各小窗口的尺寸大小可以相同也可以不相同，在此不予赘述。在视频会议系统启用时，服务器端201的模板单元2012直接将预设的该视频模板 作为当前模板，然后通过服务器数据收发单元2011接收终端202发送过来的视频数据，合 成编码单元2013将该视频数据复制到跟该终端对应的小窗口，然后再对整个视频模板的 视频数据进行编码，从而可以得到包含所有终端的视频数据的编码后视频数据，将该编码 后视频数据通过服务器数据收发单元201发送给各终端，从而可以在各终端上实现对多个 终端数据的查看。本发明的频会议系统的信息传输方法，由于采用了视频模板来合成各终端发送过 来的数据，有效降低了码率，尤其是在传输两路以上的高清视频时，采用这种模板合成的方 式能够有效降低终端的下行压力。在实际使用过程中，由于各终端可能分别采用自己的编码方式进行编码，其发送 过来的视频数据的分辨率可能与其对应的子窗口的视频尺寸不相符，导致在将该视频数据 复制过去时显示异常，不能显示或者不能正常观看，对此，在本发明方案中，还可以包括有 适应性判定单元2014，用于判断视频数据的分辨率与所述当前视频模板中对应的子窗口的 视频尺寸相适应。此时，上述服务器数据收发单元2011，还用于在适应性判断单元2014的判定结果 为否时，向对应的终端发送分辨率更改通知；上述各终端202，还用于根据所述分辨率更改通知更改输出的视频数据的分辨率。在具体实现时，服务器数据收发单元2011接收到终端发送过来的视频数据后，适应性判断单元2014先判断该视频数据的分辨率是否与该终端的子窗口的视频尺寸，若是 相适应的，则合成编码单元2012将该视频数据复制到当前视频模板中与该终端对应的子 窗口中，若不相适应，则服务器数据收发单元2011向该终端发送分辨率更改通知，要求终 端以该子窗口的视频尺寸来进行编码输出，终端接收后，依据接收到的分辨率更改通知更 改输出的视频数据的分辨率。由于各终端发送的视频数据的分辨率是与其对应的子窗口的视频尺寸相适应的， 其无需像现有方式那样发送最高分辨率的视频数据，有效减少了发送数据的数据量，有效 利用了上行带宽，在保证图像质量的情况下，有效减少了上行带宽的压力。此外，应用本发明方案，还可以对上述视频模板进行修改，即上述终端202，还用于向服务器端201发送更改模板指令，并根据接收到的服务器 端201发送的宽度、高度更改编码输出的视频数据的分辨率，这里的更改模板指令包括上 述模板ID ；上述服务器数据收发单元2011，还用于接收所述更改模板指令，并将所述适应性 判定单元2014确定的视频尺寸发生变化的子窗口的宽度、高度发送给对应的终端；上述模板单元2012，还用于将所述模板ID对应的视频模板设定为所述当前视频 模板；上述适应性判定单元2014，还用于判断在更改后的当前视频模板中的各子窗口的 视频尺寸是否发生变化。在一个具体更改模板的过程中，终端202向服务器端发送更改模板指令，该更改 模板指令中包括更改后的视频模板的模板ID，服务器端201的服务器数据收发单元2011接 收该更改模板指令，随后，模板单元2012根据该更改模板指令将指令中的模板ID对应的视 频模板设定为当前视频模板，适应性判定单元2014判断在视频模板更换后，各终端更换前 对应的子窗口的视频尺寸与更换后对应的子窗口的视频尺寸是否相同，若相同，则说明视 频尺寸没有发生改变，可以让该终端按照当前的分辨率进行编码输出，如不同，则说明视频 尺寸发生改变，若仍然以当前的分辨率进行编码输出会导致显示的一场，因此，通过服务器 数据收发单元2011将更换后的视频模板的子窗口的宽度、高度发送给对应的终端，该终端 根据接收到的高度、宽度调整输出的视频数据的分辨率，以保证视频的正常显示。在此应用情况下，模板单元2012可预先设置有多个视频模板，各视频模板分别有 一个对应的模板ID，视频会议系统投入使用时，可在各终端通过菜单或者其他形式将各视 频模板的模板ID在终端供用户选择，用户可通过菜单选择的方式来发送该更改模板指令， 具体实现方式在此不予赘述。其中，上述对接收到的终端发送的视频数据与对应的子窗口的适应性判断的功 能、以及在接收到更改模板指令之后对视频尺寸的适应性判断的功能，在某一个具体的视 频会议系统中，可以是只具有其中一种功能，但在优选情况下，是同时具有这两种功能。另外，由于具体的网络环境的不同，网络状况可能随时会发生变化，例如网络出现 拥塞，导致丢包率升高等等，在此情况下，从而可能会导致数据传送的延时，若仍然以相同 帧率的编码后视频数据传送给各终端，势必会造成延时时间的加长，影响视频会议的实时 性效果，因此，在本发明方案中上述终端202，还用于向服务器端201反馈该终端的丢包率；
上述服务器数据收发单元201，还用于接收各终端发送的丢包率；上述合成编码单元2013，还用于在对整个当前视频模板的视频数据进行编码时， 生成多种帧率的编码后视频数据，并根据终端当前的丢包率确定向该终端发送的视频的帧 率，并将该帧率对应的编码后视频数据通过所述服务器数据收发单元发送给该终端。在一个具体的示例中，可以将这些帧率设置为2fps、5fps、10fps、15fps、20fps、 25fps、30fps，即在对整个视频模板的图形进行编码时，可以生成2fps、5fps、10fps、15fps、 20fpS、25fpS、30fpS等帧率的编码后视频数据，相应地，帧率的选定方式可设定为如下方 式在丢包率为0时，选定帧率为30fps的编码后视频数据；在丢包率大于0且小于等于5%时，选择帧率为25fps的编码后视频数据；在丢包率大于5%且小于等于10%时，选择帧率为20fps的编码后视频数据；在丢包率大于10%且小于等于15%时，选择帧率为15fps的编码后视频数据；在丢包率大于15%且小于等于20%时，选择帧率为IOfps的编码后视频数据；在丢包率大于20%且小于等于25%时，选择帧率为5fps的编码后视频数据；在丢包率大于25%时，选择帧率为2fps的编码后视频数据。以上所述的本发明实施方式，仅仅是对本发明的其中一个最佳实施方式的说明， 并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替 换和改进等，均应包含在本发明的权利要求保护范围之内。
权利要求
一种视频会议系统的信息传输方法，其特征在于，包括步骤接收各终端发送的视频数据，并根据各终端的视频通道号将各所述视频数据分别复制到当前视频模板中与各终端对应的子窗口；对整个所述当前视频模板的视频数据进行编码，并将编码后视频数据传送给各所述终端。
2.根据权利要求1所述的视频会议系统的信息传输方法，其特征在于，在根据各终端 的视频通道号将各所述视频数据分别复制到当前视频模板中与各终端对应的子窗口之前， 还包括步骤判断视频数据的分辨率与所述当前视频模板中对应的子窗口的视频尺寸是否相适应， 若否，向对应的终端发送分辨率更改通知，该终端根据所述分辨率更改通知更改输出的视 频数据的分辨率。
3.根据权利要求1或2所述的视频会议系统的信息传输方法，其特征在于，还包括步骤接收终端发送的更改模板指令，将所述更改模板指令中的模板ID对应的视频模板设 定为所述当前视频模板；并将更改后的当前视频模板中的视频尺寸发生变化的子窗口的宽 度、高度发送给对应的终端，该终端根据接收到的宽度、高度进行更改编码输出的视频数据 的分辨率。
4.根据权利要求1或2所述的视频会议系统的视频传输方法，其特征在于，在对整个所述当前视频模板的视频数据进行编码时，生成两种以上帧率的编码后视频 数据；接收终端反馈的丢包率，并根据终端当前的丢包率确定向该终端发送的编码后视频数 据的帧率，并将该帧率对应的编码后视频数据发送给该终端。
5.根据权利要求4所述的视频会议系统的视频传输方法，其特征在于所述两种以上帧率的编码后视频数据包括帧率为2fps、5fps、10fps、15fps、20fps、 25fps、30fps的编码后视频数据；根据终端当前的丢包率确定向该终端发送的编码后视频数据的帧率具体包括 在丢包率为0时，选定帧率为30fps的编码后视频数据； 在丢包率大于0且小于等于5%时，选择帧率为25fps的编码后视频数据； 在丢包率大于5%且小于等于10%时，选择帧率为20fps的编码后视频数据； 在丢包率大于10%且小于等于15%时，选择帧率为15fps的编码后视频数据； 在丢包率大于15%且小于等于20%时，选择帧率为IOfps的编码后视频数据； 在丢包率大于20%且小于等于25%时，选择帧率为5fps的编码后视频数据； 在丢包率大于25%时，选择帧率为2fps的编码后视频数据。
6.一种视频会议系统，包括服务器端与两个以上的终端，其特征在于所述服务器端，用于接收各终端发送的视频数据，根据各终端的视频通道号将各所述 视频数据分别复制到当前视频模板中与各终端对应的子窗口，对整个所述当前视频模板的 视频数据进行编码，并将编码后视频数据传送给各终端；所述终端，用于将视频会议时本地的视频数据发送给所述服务器端，接收所述服务器 端发送的编码后视频数据，并对该编码后视频数据解码后进行显示。
7.根据权利要求6所述的视频会议系统，其特征在于 所述服务器端具体包括服务器数据收发单元，用于接收各终端发送的视频数据，并将合成编码单元的编码后 视频数据传送给各终端；模板单元，用于存储和设定当前使用的当前视频模板；合成编码单元，用于根据各终端的视频通道号将各所述视频数据分别复制到所述当前 视频模板中与各终端对应的子窗口，对整个所述当前视频模板的视频数据进行编码。
8.根据权利要求7所述的视频会议系统，其特征在于 所述服务器端还包括适应性判定单元，用于判断视频数据的分辨率是否与所述当前视频模板中对应的子窗 口的视频尺寸相适应；所述服务器数据收发单元，还用于在所述适应性判断单元的判定结果为否时，向对应 的终端发送分辨率更改通知；所述终端，还用于根据所述分辨率更改通知更改输出的视频数据的分辨率。
9.根据权利要求8所述的视频会议系统，其特征在于所述终端，还用于向所述服务器端发送更改模板指令，并根据接收到的所述服务器端 发送的宽度、高度更改编码输出的视频数据的分辨率，所述更改模板指令包括模板ID ；所述服务器数据收发单元，还用于接收所述更改模板指令，并将所述适应性判定单元 确定的视频尺寸发生变化的子窗口的宽度、高度发送给对应的终端；所述模板单元，还用于将所述模板ID对应的视频模板设定为所述当前视频模板； 所述适应性判定单元，还用于判断在更改后的当前视频模板中的各子窗口的视频尺寸 是否发生变化。
10.根据权利要求6至9任意一项所述的视频会议系统，其特征在于， 所述终端，还用于向所述服务器端反馈该终端的丢包率；所述服务器数据收发单元，还用于接收所述丢包率；所述合成编码单元，还用于在对整个所述当前视频模板的视频数据进行编码时，生成 两种以上帧率的编码后视频数据，并根据终端当前的丢包率确定向该终端发送的视频的帧 率，并将该帧率对应的编码后视频数据通过所述服务器数据收发单元发送给该终端。
全文摘要
视频会议系统的信息传输方法及视频会议系统，该方法包括接收各终端发送的视频数据，根据各终端的视频通道号将各所述视频数据分别复制到当前视频模板中与各终端对应的子窗口；对整个所述当前视频模板的视频数据进行编码，并将编码后视频数据传送给各所述终端。本发明方案在接收到终端发送过来的视频数据后，是将该终端的视频数据复制到当前视频模板中与该终端对应的小窗口，对整个视频模板的视频数据进行编码，并将编码后视频数据传送给各终端，从而各终端接收到的编码后视频数据是包含了所有的终端发送的视频数据，且由于是在一个视频模板上实现对各终端视频数据的展现，可以充分有效利用网络带宽，实现在一个终端上实现对多路远端视频的查看。
文档编号H04N7/26GK101984661SQ20101055586
公开日2011年3月9日 申请日期2010年11月23日 优先权日2010年11月23日
发明者石金川 申请人:广东威创视讯科技股份有限公司