无纸化多媒体会议方法、无纸化多媒体会议系统与流程

本发明涉及流媒体直播技术领域，特别涉及一种无纸化多媒体会议方法、无纸化多媒体会议系统。

背景技术：

现在人们在开会时，通常通过放映幻灯片、word文档或pdf文档来展示电子演讲稿，主讲人根据电子演讲稿来进行解说；同时，参会人员通过做笔记的方式做会议记录。但是，现有技术存在以下几个方面的问题：1)参会人员对主讲人的电子演讲稿有问题时，不能直接做出标注位置；2)坐在距离较远的参会人员会看不清发言者展示的电子演讲稿。

因此，一些高档的会议室已经采用多媒体会议系统来替代传统的会议系统，每一个参会人员座位上都放置有一台多媒体显示装置，其他参会人员面前的多媒体显示装置显示的内容与主讲人展示的一致，对于电子演讲稿的任何批注，相关的参会人员都能在多媒体显示装置上看到。

现有的多媒体会议系统进行流媒体传输的技术主要包括：音视频采集(yuv/pcm格式)、编码(h264/aac格式)、封装(flv格式)、推流(rtmp协议包)、分发(rtmp协议包)、解码(h264/aac格式)、播放(yuv/pcm)等模块，每个模块都会存在一定的延迟。利用现有的流媒体传输技术做基础的多媒体会议系统，如果用于异地的多媒体会议，现有的实时性已经可以满足，一般能够做到1秒左右，但对于现场的多媒体会议系统(同一个会议室内)，由于主讲人的声音是实时传输的，而视频和标注等对应的流媒体有延迟，非常影响会议体验和互动效果。

技术实现要素：

本发明要解决的问题是针对现有的多媒体会议系统中显示内容延迟过大，影响会议体验的问题，提供了一种无纸化多媒体会议方法、对应的无纸化多媒体会议系统。

为了解决上述技术问题，本发明实施例提供了一种无纸化多媒体会议方法，包括：

采集同一个局域网下的多媒体会议终端的多媒体数据；

将所述多媒体数据进行编码、分包；

将分包后的数据包重新分发给各个多媒体会议终端；

各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

可选的，多媒体会议终端利用编码器对多媒体数据进行编码解码，所述编码器为基于h264协议的x264编码器。

可选的，当待传输的多媒体数据是视频数据且传输协议基于h264协议时，获取所述视频数据中的全部图像编码帧；根据每个图像编码帧的类型，确定出主要编码帧，其中，将所述图像编码帧中的i帧确定为主要编码帧，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧；优先发送确定的主要编码帧。

可选的，将所述图像编码帧中的符合当前网络传输时延要求的p帧确定为主要编码帧的具体步骤包括：

根据编码分包形成的时间戳确定p帧的采样时间；

将该p帧的采样时间与当前时间的差值作为对应的p帧的采样时间差；

判断所述采样时间差是否小于预设的网络时延时间，若是，则将对应的p帧确定为优先发送的主要编码帧；若采样时间差大于预设的网络时延，则认为对应的p帧不是主要编码帧。

可选的所述多媒体会议终端采集同一个局域网下的多媒体会议终端的多媒体数据；将所述多媒体数据进行编码、分包；将分包后的数据包推流给局域网服务器；利用局域网服务器将数据包重新分发给各个多媒体会议终端。

可选的，终端采集同一个局域网下的多媒体会议终端的多媒体数据并发送给局域网服务器；局域网服务器将所述多媒体数据进行编码、分包，将数据包重新分发给各个多媒体会议终端。

本发明实施例还提供了一种无纸化多媒体会议系统，包括：多媒体会议终端、局域网服务器和连接多媒体会议终端、局域网服务器的局域网络；

其中，局域网服务器采集同一个局域网下的多媒体会议终端的多媒体数据；将所述多媒体数据进行编码、分包，将分包后的数据包重新分发给各个多媒体会议终端；各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

可选的，待传输的多媒体数据是视频数据且传输协议基于h264协议时，获取所述视频数据中的全部图像编码帧；根据每个图像编码帧的类型，确定出主要编码帧，其中，将所述图像编码帧中的i帧确定为主要编码帧，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧；优先发送确定的主要编码帧。

本发明还提供了一种无纸化多媒体会议系统，包括：多媒体会议终端、局域网服务器和连接多媒体会议终端、局域网服务器的局域网络；

其中，多媒体会议终端采集多媒体数据；将所述多媒体数据进行编码、分包，将分包后的数据包推流到局域网服务器；所述局域网服务器重新分发给各个多媒体会议终端；各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

可选的，包括：当待传输的多媒体数据是视频数据且传输协议基于h264协议时，获取所述视频数据中的全部图像编码帧；根据每个图像编码帧的类型，确定出主要编码帧，其中，将所述图像编码帧中的i帧确定为主要编码帧，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧；优先发送确定的主要编码帧。

与现有技术相比，本发明实施例具有如下优点：

由于多媒体会议终端即作为多媒体数据的提供者，也作为多媒体数据的播放载体，多媒体会议终端对多媒体数据进行获取以后，通过局域网服务器转发后重新由各个多媒体会议终端进行播放，实现所有的多媒体会议终端的画面能全部实时调整，位于现场的多媒体会议系统(同一个会议室内)上显示的视频和标注等对应的多媒体信息显示没有延迟，会议体验和互动效果较佳。

附图说明

图1是本发明中的实施例提供的一种无纸化多媒体会议方法的流程示意图；

图2是本发明中的实施例提供的一种无纸化多媒体会议系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明实施例公开了一种无纸化多媒体会议方法，包括：

步骤s101，多媒体会议终端采集多媒体数据；

步骤s102，将所述多媒体数据进行编码、分包；

步骤s103，将分包后的数据包推流到局域网服务器；

步骤s104，局域网服务器将数据整理成帧，并按帧大小分包后分发给各个多媒体会议终端；

步骤s105，各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

在本实施例中，无纸化多媒体会议系统包括：多媒体会议终端、局域网服务器和连接多媒体会议终端、局域网服务器的局域网络。所述多媒体会议终端为桌面式会议终端或者平板式会议终端，所述多媒体会议终端可以镶嵌在会议桌面内，也可以为可移动式的。所述多媒体会议终端至少包括显示屏用于显示多媒体信息，实现无纸化会议及多种高清视频服务，同时可实现交互式会议控制管理(发言讨论、投票表决、同声传译)以及会议信息传达服务等功能，同时，还可以在多媒体会议终端中内嵌电子桌牌功能。

在其他实施例中，所述多媒体会议终端还连接有话筒、书写笔等多媒体信息输入装置，用于获取音频信息、标注信息等。

所述桌面式会议终端或者平板式会议终端通过有线网络或无线网络与局域网相连。在本实施例中，所述多媒体会议终端通过千兆网线传输，从而保证数据传输的实时性。

在本实施例中，多媒体会议终端利用编码器对多媒体数据进行编码解码，所述编码器为基于h264协议的x264编码器。在其他实施例中，也可以选择其他合适的软件编码器或硬件编码器。

在h264协议中，图像以图像序列为单位进行组织，一个图像序列是一段图像编码后的数据流，以i帧(帧内编码帧)开始，到下一个i帧结束。一个图像序列的第一个图像叫做idr(instantaneousdecodingrefresh，立即刷新图像)，idr都是i帧图像。

在h264中，i帧为帧内编码帧，i帧属于关键帧，可以为某一帧画面的完整保留；解码时只需要本帧数据就可以完成。i帧是一个全帧压缩编码帧，它将全帧图像信息进行类似jpeg(国际图像压缩标准)标准的帧内压缩编码方法，解码时仅用i帧的数据就可重构完整图像，i帧描述了图像背景和运动主体的详情，i帧不需要参考其他画面而生成，i帧是p帧(向预测编码帧)和b帧(向预测编码帧)的参考帧(质量直接影响到同组中以后各帧的质量)，i帧是帧组gop(groupofpictures，策略影响编码质量)基础帧(帧)，在一组中只有一个i帧，i帧不需要考虑运动矢量，帧所占数据的信息量比较大。

p帧:前向预测编码帧。p帧表示的是这一帧跟之前的一个关键帧(或p帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。(也就是差别帧，p帧没有完整画面数据，只有与前一帧的画面差别的数据)

p帧的预测与重构:p帧是以i帧为参考帧，在i帧中找出p帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运动矢量从i帧中找出p帧“某点”的预测值并与差值相加以得到p帧“某点”样值，从而可得到完整的p帧。

p帧特点：

1.p帧是i帧后面相隔1～2帧的编码帧；

2.p帧采用运动补偿的方法传送它与前面的i或p帧的差值及运动矢量(预测误差)；

3.解码时必须将i帧中的预测值与预测误差求和后才能重构完整的p帧图像；

4.p帧属于前向预测的帧间编码。它只参考前面最靠近它的i帧或p帧；

5.p帧可以是其后面p帧的参考帧，也可以是其前后的b帧的参考帧；

6.由于p帧是参考帧，它可能造成解码错误的扩散；

7.由于是差值传送，p帧的压缩比较高。

在本实施例中，当待传输的多媒体数据是视频数据且传输协议基于h264协议时，获取所述视频数据中的全部图像编码帧；根据每个图像编码帧的类型，确定出主要编码帧，其中，将所述图像编码帧中的i帧确定为主要编码帧，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧；优先发送确定的主要编码帧。

其中，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧主要包括以下步骤：

根据编码分包形成的时间戳确定p帧的采样时间；

将该p帧的采样时间与当前时间的差值作为对应的p帧的采样时间差；

判断所述采样时间差是否小于预设的网络时延时间，若是，则将对应的p帧确定为优先发送的主要编码帧；若采样时间差大于预设的网络时延，则认为对应的p帧不是主要编码帧。

在本发明实施例中，由于多媒体数据的数据包中存在分包时生成的时间戳，因此，当多媒体数据的数据包因为网络阻塞发送不出去的时候，缓存在缓冲区的多媒体数据中视频流的时间戳和当前时间会有很大的差值，也就是说，待发送的数据已经不具有实时性。为了阻止上述时延现象的发生，先根据多媒体数据包中的时间重要程度以一个图像序列为单位进行分析。也就是说，对该图像序列中的p帧进行时间重要性分析。首先，根据时间戳确定p帧的采样时间；然后，将该p帧的采样时间与当前时间的差值作为该p帧的采样时间差；进一步的，判断采样时间差是否小于预设的网络时延，若是，则将该p帧确定为优先发送的主要编码帧，即认为该p帧符合当前网络传输时延要求，该p帧的时间重要性较大；若采样时间差大于预设的网络时延，则认为如果将该p帧作为待传输编码帧加入到缓存区中的缓存队列后，会严重影响到该多媒体数据的传输效率，并且，由于该p帧与当前时间的差值越大，意味着该p帧中包含的与属于同一图像序列的i帧之间的差异度越细微，以至于可以忽略不计，此时可以认为该p帧的时间重要性较小。因此，首先将时间重要性较小的图像组的数据进行剔除，然后优先发送时间重要性较大的数据，这样，减少了发送端缓存区中缓存的待发送帧的数量，从而缩短了多媒体数据传输的时延。通过上述方法，可以保证将各台多媒体会议终端之间的时延降低到0.5秒之内。

在其他实施例中，多媒体会议终端采集要展示的多媒体数据并发送给局域网服务器；局域网服务器将所述多媒体数据进行编码、分包，将数据包重新分发给各个多媒体会议终端。对应的编码器设置在局域网服务器里面。

本发明实施例还提供了一种无纸化多媒体会议系统，请参考图2，包括：多媒体会议终端10、局域网服务器20和连接多媒体会议终端、局域网服务器的局域网络；

其中，局域网服务器采集同一个局域网下的多媒体会议终端的多媒体数据；将所述多媒体数据进行编码、分包，将分包后的数据包重新分发给各个多媒体会议终端；各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

在本实施例中，待传输的多媒体数据是视频数据且传输协议基于h264协议时，获取所述视频数据中的全部图像编码帧；根据每个图像编码帧的类型，确定出主要编码帧，其中，将所述图像编码帧中的i帧确定为主要编码帧，将所述图像编码帧中的若干个p帧中符合当前网络传输时延要求的p帧确定为主要编码帧；优先发送确定的主要编码帧。

本发明还提供了一种无纸化多媒体会议系统，依旧参考图2，包括：多媒体会议终端、局域网服务器和连接多媒体会议终端、局域网服务器的局域网络；

其中，多媒体会议终端采集多媒体数据；将所述多媒体数据进行编码、分包，将分包后的数据包推流到局域网服务器；所述局域网服务器重新分发给各个多媒体会议终端；各个多媒体会议终端对接收到的数据包进行整包、解码，进行显示。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。