专利名称：多路视频通讯系统及处理方法
多路视频通讯系统及处理方法
技术领域：
本发明涉及一种视频通讯系统和方法，尤其是涉及一种多路视频通讯系统 及处理方法。
背景技术：
随着互联网技术和无线通信的发展和普及，群体视频聊天，视频会议，网 络视频游戏等多路视频通信形式使得人与人之间的沟通交流更加方便快捷，娱 乐方式更加丰富直观，因而越来越受到人们的欢迎。
在多路;f见频通信过程中，由于多路网络状况存在异构性和时变性，且终端
设备(如手机，PC机)的处理能力也有所差异，这就要求视频编码生成的码流
能够适应多种不同需求，同时要根据不同网络的波动状况进行自适应调节。另 外，参与视频通信人数的增加会导致网络传输数据量的增加，也对终端设备处 理能力造成巨大的压力，因此，需要合理分配多人视频通信的带宽占用，在有 限的带宽资源条件下达到最优的视频通话质量。
在视频通讯技术中，参与视频通讯的每个客户端都有一个视频编解码器， 按照平均或者多数用户的网络状况或终端处理能力对视频编解码设定编码参 数，对原始视频数据进行编码，生成具有特定解码视频质量的单一码流，对参 与通话的所有用户广播该单一码流，对于同一个发送的视频源，所有接收的客
户端具有相同的^L频质量。这种技术的缺点显而易见，即无法适应终端处理能 力和网络状况的多样性，对于网络状况较好(如具有较大的网络带宽)或者终 端设备处理能力较强(如能够处理大部分用户都不能处理的高分辨率的图像) 的用户，会带来资源(网络带宽或设备处理能力)的浪费却没有达到最优的视 频通话质量，而对于网络状况较差(如带宽较小、或处于上网高峰期)或者终 端处理能力较低(如设备仅能处理分辨率较低的图像)的用户，会造成网络拥 塞(导致长时间的视频緩沖)或者终端设备无法正常处理(如不能正常显示视 频)等状况。针对上述问题，可以在每个客户端为与其通话的每一条连接通路启动一个 独立的视频编解码器，根据各连接通路的网络状况和终端设备处理能力的差异 独立调节各视频编解码器的编码参数，生成具有不同解码视频质量且能适应不 同终端的码流进行传输。但同时由于视频编码具有较高的计算复杂性，并且每 连接一个新的客户端都要启动一个独立的视频编解码器，因而这种技术的缺点 是，在视频通讯的连接数量逐渐增多时，势必会占有终端机大量的处理器和消 耗过多的内存资源，以致在某些手持设备上可能无法实现多路通讯。
发明内容
有鉴于此，有必要提供一种适应不同网络状况及终端设备的多路视频通讯 系统。
此外，还才是供一种适应不同网络状况及终端设备多鴻4见频通讯处理方法。
一种多路-现频通讯系统，包括
可伸縮视频编解码器，用于对视频源进行编码生成具有可伸缩性的原始视 频编码码流，及对接收的远程客户端的最终碎见频编码码流进4于解码生成视频；
筛选模块，所述筛选模块与所述可伸缩视频编解码器连接获取由所述可伸
缩视频编解码器生成的原始^L频编码码流并根据筛选参数进行筛选，得到最终 -见频编码码流；
网络模块，与筛选模块和可伸缩视频编解码器相连，用于连接远程客户端、 获取远程客户端的设备能力和网络状况传递给筛选模块，并传输最终视频编码 码流；
筛选控制模块，所述筛选控制模块与筛选模块及可伸缩视频编解码器连接， 根据远程客户端的设备能力和网络状况设定筛选模块的筛选参数。
优选地，所述筛选控制模块包括存储单元和计算单元，所述存储单元保存 与篩选有关的参数信息，所述计算单元根据远程客户端的设备能力和网络状况 结合参数信息计算得到所述筛选模块的筛选参数。
优选地，所述筛选模块包括两个或两个以上码流截取器，所述网络模块包 括两个或两个以上网络连接单元，所述码流截取器与网络连接单元--对应连接，所述网络连接单元与远程客户端对应连接；所述码流截取器对原始视频编 码码流按照筛选控制才莫块的筛选参数进行截取，得到最终^见频编码码流；所述 网络连接单元荻取远程客户端的设备能力和网络状况并传输给码流截取器，接 收远程客户端的最终视频编码码流传输给可伸缩视频编解码器或将本地客户端 的最终视频编码码流传输给远程客户端。
优选地，还包括客户端信息表，所述客户端信息表包含本地客户端及其所 有连接的远程客户端的通信信息，所述通信信息包括IP地址或网络物理地址、 最大分辨率、最大帧率及最大上行带宽中的一种或多种。
一种多路-见频通讯处理方法，包括以下步骤
将视频源编码得到具有可伸缩性的原始视频编码码流；
获取远程客户端的设备能力和网络状况；
冲艮据所述设备能力和网络状况设置筛选参数；
根据所述篩选参数对所述原始视频编码码流进行筛选得到最终视频编码码 流并发送给远程客户端。
其中，所述的筛选参数是指根据视频编码码流中码流包的优先级进行筛选 时的优先级阈值，所述优先级阈值根据远程客户端终端设备能力和网络状况结 合存储单元中的参数信息计算获得，所述参数信息是指最近一个图像组内所有 码流包信息的循环队列。
其中，所述码流包信息包括
优先级，即表示码流包优先传输的等级；
时域等级，每一帧图像属于一个时域等级，高时域等级图像可以将低时域 等级的图像作为参考帧进行运动补偿预测；码流中包含图像的时域等级越高， 视频的帧率就越高；
空域等级， 一个空间-现频分辨率对应 一个空域等级；
码率增量，即码流包的长度相对于图像组内图像数目的比例与最大时域等 级对应的帧率的乘积，代表传输该码流包会在多大程度上增加网络资源的消耗； 在一个图像组内，每编码一帧图像，都将码流包信息加入循环队列。 优选地，还包括检测即将连接的客户端是否是第一个连接的客户端的步骤，如果是则创建可伸縮-见频编解码器，如果不是则可直接进行^L频源的编码。 优选地，还包括检测本地客户端是否关闭的步骤，如果本地客户端关闭则
删除所有网络模块和筛选模块以及可伸缩视频编解码器；如果本地客户端没有
关闭，则在一段时间之后检测网络状况。
优选地，还包括检测远程客户端是否关闭的步骤，如果检测到有远程客户
端关闭，则删除与远程客户端对应的码流截取器和网络连接单元，并检测是否
还有其他连接，如果没有其他连接则删除可伸缩视频编解码器。 其中，所述设置篩选参数的处理步骤包括
将循环队列中的码流包信息按照优先级由高到低的顺序进行排序，并从高 到低赋予由小到大的索引号；
按照索引号从小到大的顺序，对每一个码流包信息遍历检查每一个码流截 取器，根据所有连接的终端设备处理能力和网络带宽判断是否满足优先级阈值 的更新条件，若满足，则更新优先级阈值；若不满足，则检查是否所有的码流 包遍历完成。
若所有码流包的遍历完成，结束本次处理；否则进行下一个码流包的处理。 其中，所述更新条件是指
当前码流包的空域等级不大于所检查的客户端终端设备最大显示分辨率对 应的空域等级；
当前码流包的时域等级不大于所检查的客户端终端设备最大帧率对应的空 域等级；
当前输出到所检查的客户端的码率，即当前码率与码率增量的和不大于所 检查的客户端终端设备最大可用下行带宽；
当前输出的总码率，即当前总码率与码率增量的和不大于本地客户端的终 端设备最大可用上行带宽；
当上述条件同时满足时，将优先级阔值设定为当前检查的码流包的优先级 的值，并将当前码率与码率增量的和更新为新的当前码率，当前总码率与码率 增量的和更新为新的当前总码率。
采用可伸缩视频编解码器的多路视频通信系统，利用码流的可伸缩性适应不同终端设备处理能力和网络带宽状况，相对广播单一传统码流的方式，具有
更高的灵活性；同时，可伸缩视频编码的复杂度接近传统视频编码，相对于采 用多个传统视频编码器的多路视频通信系统，又使得复杂度大大降低。
利用当前编码帧之前距离在一个图像组大小内所有码流包的优先级关系， 根据终端处理能力和定时的网络带宽状况反馈，计算各码流截取器的优先级阈 值，在保证截取码流实时性的同时，能使截取码流的码率准确地适应带宽要求。 另外，综合考虑多路码流的率失真特性，合理分配多路视频之间的带宽占用， 使多路视频的整体质量逼近率失真最优，从而提高多人视频通信的整体视频通 话质量。
图1为可伸缩一见频编码标准(JVTSVC)码流结构；
图2为实施例一的系统模块图3为多路视频通讯处理流程图4为设定优先级阈值的处理流程图5为实施例二的系统模块图。
下面结合附图进行进一步的说明。
具体实施方式
可伸缩视频编码是针对网络异构和终端设备多样的特点而发展起来的一种 视频编码方案。它^f吏码流在空域、时域、质量三个方面具有可伸缩性。利用码 流的可伸缩性，在多路视频通讯中根据连接的远程客户端的设备能力和网络状 况传输最适合远程客户端的码流，从而合理利用网络带宽资源和终端设备处理 能力，提高多人视频通讯的整体视频通话质量。
可同时提供空域、时域和质量可伸缩性。分述如下
空域可伸缩性，由于不同的显示设备能够显示图像的最大分辨率不同，因 而为视频中每帧图像都提供多个空间分辨率来实现空域的可伸缩性，每个空间分辨率对应一个空域等级，用不同的空域等级代表不同的分辨率，主要应用于 接收端设备显示屏幕分辨率不同的情况。
时域可伸缩性，是通过等级B图像编码结构实现的，每一巾贞图像属于一个 时域等级，高时域等级的图像通过低时域等级的图像作为参考帧进行运动补偿 预测。
等级B图像编码是一个完全符合R264/AVC标准的编码方法，只是在这个 方法中使用了金字塔式的编码顺序。在这个方法中，涉及关键帧的概念，即若 某一帧图像前面所有^^编码的图像在显示顺序上都先于这帧图像，那么这帧图 像就叫关键帧。使用等级B图像编码时， 一见频序列的第一帧编码为I帧，然后 编码关键帧。关键帧既可以编码为I帧，也可以利用前一个关键帧作为参考图像 编码为P帧。图像组中的其它图像使用B帧编码，但是编码的顺序是按照金字 塔似的分级顺序进行的。以一个8帧的图像组为例，首先编码第8帧，然后编码 第4帧,接下来是第2和第6帧，最后编码第1, 3, 5, 7帧。通过这样的金字塔 似的编码顺序就实现了时间可分级。所有的关键帧组成了最粗糙时间分辨率的 视频序列，随着在编码顺序上的图像的递增，时间分辨率也跟着增加，最后达到 完全时间分辨率的视频序列。
质量可伸缩性，将原始视频编码生成若干码流层，码流层分为一个基本质 量层和若干增强质量层。在每一个空间分辨率下，码流层可以是基本质量层， 也可以是若干增强质量层中的一个。基本质量层包含视频信号是基本的也是最 重要的信息，接收端接收到包含基本质量层的信息后经过处理就可得到基本质 量(即能够满足最基本的识別要求)的图像；增强质量层包含视频信号的细节 信息，接收端接收到包含增强质量层和基本质量层的信息后一起处理，得到更 高质量的图像。采用逐 步减小的量化步长进行编码得到各增强质量层，使得从 基本质量层到增强质量层解码图像质量也相应地逐步提高。
JVT SVC把一个空间分辨率下，每一帧的一个质量层的码流数据作为一个 码流包。图1给出了一种具有2个空域等级(空域等级0和1分别对应QCIF (176像素*144像素)和CIF ( 352像素*288像素)分辨率)，4个时域等级(时 域等级0-3分别对应帧率为3.75fps, 7.5fps, 15fps， 30fys ),每个空域等级上的包含3个质量层的码流结构示例。 实施例一
在多方^f见频通话中，网络上三方或三方以上同时进4亍即时一见频通信。各方 通过多路视频通讯系统客户端互联。
如图2所示，为多路视频通讯系统模块图。图2中，本地客户端500与其 他N ()个远程客户端进行;f见频通讯。
多路视频通讯系统包括可伸缩视频编解码器100、包括N个码流截取器的 筛选模块200、包括与N个与码流截取器对应连接的N个网络连接单元的网络 模块300,以及作为筛选控制模块并与N个码流截取器连接的多路码流截取控 制模块400。
在进行^L频通话时，为处理与其他远程客户端的通讯，为每个远程客户端 都建立一个码流截iF又器和一个网络连接单元。
如图2所示，根据本地客户端数据的流向，可伸縮^L频编解码器100与N 个码流截取器，即第一码流截取器202，第二码流截取器204，......，第N码流
截取器206相连；第一码流截取器202与第一网络连接单元302相连，第二码 流截取器204与第二网络连接单元304相连，......，第N码流截取器206与第N
网络连接单元306相连；第一网络连接单元302与第一客户端502连接，第二 网络连接单元304与第二客户端504连接，......，第N网络连接单元306与第N
客户端506连4姿。
网络才莫块300的N个网络连4娈单元均与可伸缩岸见频编解码器100相连。 多路码流截取控制模块400包括存储单元402和计算单元404。
以图2所示的本地客户端500与第一远程客户端502从建立通信到连接断 开为例，利用上述结构的多路视频通讯系统进行多路^f见频通话的处理步骤如图3 所示，包括
步骤SlOl，本地客户端500检查新建立连接的第一远程客户端502是否是 第一个连接的客户端。本地客户端500的多路视频通讯系统中只需要一个可伸 缩视频编解码器100，如果检测到第一远程客户端502是第一个连接的远程客户端，则需要建立一个可伸缩视频编解码器100,在后面连接新的客户端时就没有
必要再建立，因此检测每个连接的客户端是否是第一个连接的客户端。
步骤S102,将^L频源编码得到具有可伸缩性的原始^L频编码码流。可伸缩
伸缩性的原始视频编码码流，即上述具有不同时域等级、空域等级和质量等级 的码流包的码流。每个码流包中都含有表示码流包这些信息的标识部分，这些 标识部分的信息，即码流包信息被传入多路码流截取控制器400的存储单元402 中保存。
步骤S103,获取网络状况和终端设备能力。由第一网络连接单元302获取 网络状况和终端设备能力。网络状况包括本地客户端500的最大可用上行带宽 及第一远程客户端502的最大可用下行带宽；终端设备能力包括第一远程客户 端502的最大显示分辨率和帧率。所有这些信息都被传入第一码流截取器202。
步骤S104,根据终端设备能力和网络状况设置筛选参数。即根据所连接的 客户端502的终端设备能力和网络状况调整第一码流截取器202的筛选参数。 不满足篩选参数的条件的的码流包将不会通过第一码流截取器202。
步骤S105,根据筛选参数对原始视频编码码流进行萍选得到最终视频编码 码流并发送给远程客户端。在确定筛选参数后，第一码流截取器202对原始碎见 频编码码流进行截取，得到最终4见频编码码流并通过第一网络连4妄单元302发 送给第一远程客户端502。
步骤S106,;险测远程客户端是否关闭。当第一远程客户端502关闭后，为 其分配的第一码流截取器202和第一网络连接单元302就不再需要，删除第一 码流截取器202和第一网络连接单元302以释放其占有的资源。若检测到第一 客户端502关闭，则转入步骤S109;若第一远程客户端502没有关闭则转入步 骤S107。
步骤S107,检测本地客户端500是否关闭。当本地不再有-见频通讯要求时， 本地客户端500就要关闭，所有有关模块占用的资源也需要释放。若本地客户 端500关闭，则转入步骤S110;若本地客户端500仍在继续工作，则转入步骤 S108。步骤S108, —段时间之后，检测网络状况。由于网络的状况不是保持恒定
的状态不变，当网络状况改变的时候，筛选参数就要作相应的改变，因此有必
要每隔一段时间对第一远程客户端502的网络状况做-险测以便随时了解网络状 况。
步骤S109，删除相应的网络连接单元和码流截取器。第一远程客户端502 关闭视频通话时，删除为其分配的第一网络连接单元302和第一码流截取器202 就不再需要。
步骤SllO，删除网络模块和筛选模块。当本地客户端500关闭后，即与所 有的远程客户端都断开视频通话连接，所以与视频通话有关的筛选模块200和 网络模块300也不再需要，删除它们以释放其所占用的系统资源，转入步骤Sl 12。
步骤Slll,检测是否还有客户端与本地客户端500连4娄。4全测到第一远程 客户端502关闭后，检查关闭的是不是最后一个客户端。如果所有连接的远程 客户端都关闭了，则转入步骤S112;如果不是，则结束本地客户端500与第一 远程客户端502的处理流^f呈。
步骤S112,删除可伸缩碎见频编解码器100,结束-见频通讯处理。
能够得到自适应的码流的关键在于实时的码流截取，即实时的设定筛选参 数。针对该问题提出了一种根据当前编码帧距离在一个图像组大小内所有码流 包的优先级关系计算各码流截取器的优先级阈值的方法。应用该方法得到优先 级阈值后，优先级高于优先级阈值的码流包可以通过码流截取器进行传输，而 优先级低于优先级阈值的码流包则不能通过码流截取器。其中图像组由关键帧 和该关4定帧之前的关4建帧之间的所有帧构成。
多路码流截取控制模块400的存储单元402中保存了最近一个图像组内所 有码流包信息的循环队列，其中每一个码流包信息包括码流包A:的优先级A、 时域等级&、空域等级^及码率增量/ ;t。 i f^xi^vJGop&'ze，代表传输该码流 包消耗的网络资源的增加量，其中4为码流包A的长度，/^5 ^为最大时域等级 对应的帧率，Go/ &ze为 一个图像組包含的图像数目。
令本地客户端500的可伸缩视频编码器100具有5"个空域等级，r个时域等 级。s。 乂分别表示与本地客户端连接的第/ ^各客户端终端i殳备最大显示分辨率对应的空域等级，最大帧率对应的时域等级；^分别表示本地客户端的最 大可用上行带宽，以及与本地客户端连接时客户端/的最大可用下行带宽。在计 算优先级阈值的过程中，还需要在多路码流截取控制模块400中保存当前截取 到的每一路码流的码率，即当前码率凡，当前截取到的各路码流码率总和，即 总码率i , OT，以及各码流截取器z'的当前优先级阈值7T7ms/7oW。
在步骤S104中，筛选参数是指根据视频编码码流中码流包的优先级进行筛 选时的优先级阈值。计算单元404设定优先级阈值更详细的步骤如图3所示， 叙述如下
步骤S402,将保存在存储单元402中的循环队列中的码流包信息按照优先 级由高到低的顺序进行排序，并赋以索引号/mfe^O， 1， 2,…n(n为循环队列 中码流包的数目)。
步骤S404,按照码流包优先级由高到低的顺序，即按照索引号由小到大的 顺序，对每一个码流包遍历所有的码流截取器。
步骤S406，检查是否满足优先级阈值的更新条件。所述更新条件是
s(7"Axj, /f7"血x人/ rlwfe^分别表示索引号为/mfec的码流包的空域等级， 帧率及码率增量。上述更新条件所表示的意思是，传输当前码流包所在质量层 形成的图像没有超过连接的客户端/的设备能力，上行传输码率没有超过本地客 户端的上行带宽，下行传输码率没有超过连接客户端/的最大可用下行带宽。表 示可以降低优先级阈值以传输质量较高，优先级较低的码流包。若满足条件则 转入步骤S408;若不满足，转入步骤S410。
步骤S408，更新相应码流截取器的优先级阈值、当前码率及当前总码率。
即，
凡二 ^ +耀"鄉
丑扁=U耀"flfexj
将优先级阈值设为当前满足更新条件的码流包的优先级的值，当前码率与码率增量的和为新的当前码率，当前总码率与码率增量的和为新的当前总码率。
S410，检查是否所有码流包和所有码流截取器遍历完成。若遍历完成，则 结束比较处理；若未遍历完成，转入步骤S404,进行下一个码流包的处理。
由于^f见频序列内容在i^小的一段时间间隔内具有相似性，而且在等级B图 像编码结构下一个图像组内所有码流包的优先级关系可以近似地反映了整个视 频序列码流包的优先级关系，因此，这种利用与当前编码帧距离在一个图像组 大小内所有码流包的优先级关系计算各码流截取器的优先级阔值，不仅保证了 码流截取的实时性，同时能使截取码流的码率较为准确地满足带宽要求，并能 达到近似最优的视频质量。
实施例二
在本实施例中，在多路一见频通讯系统中，如图5所示，还包括一个客户端 信息表600,客户端信息表600中的表项是关于客户端与视频通讯有关的各种信 息，诸如客户端的IP地址或网络物理地址、最大分辨率、最大帧率及最大上行
带宽等。
在加入客户端信息表后，获取远程客户端设备能力的方法有所不同，当新 连接一个远程客户端时，向该远程客户端发送客户端信息表，在未建立任何连 接之前，本地客户端的客户端信息表中仅包含本地客户端所在终端设备的各项 信息，建立连接之后，将接收到的客户端信息表与本地的客户端信息表合并得 到新的客户端信息表。因此在发送码流前可以通过查询客户端信息表来获取各 个客户端与视频通讯有关的信息。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域 的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和 改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附 权利要求为准。
权利要求
1.一种多路视频通讯系统，其特征在于，包括可伸缩视频编解码器，用于对视频源进行编码生成具有可伸缩性的原始视频编码码流，及对接收的远程客户端的最终视频编码码流进行解码生成视频；筛选模块，所述筛选模块与所述可伸缩视频编解码器连接获取由所述可伸缩视频编解码器生成的原始视频编码码流并根据筛选参数进行筛选，得到最终视频编码码流；网络模块，与筛选模块和可伸缩视频编解码器相连，用于连接远程客户端、获取远程客户端的设备能力和网络状况后传递给筛选模块，并传输最终视频编码码流；筛选控制模块，所述筛选控制模块与筛选模块及可伸缩视频编解码器连接，根据远程客户端的设备能力和网络状况设定筛选模块的筛选参数。
2. 如权利要求1所述的多路视频通讯系统，其特征在于，所述筛选控制才莫 块包括存储单元和计算单元，所述存储单元保存与筛选有关的参数信息，所述 计算单元根据远程客户端的设备能力和网络状况结合参数信息计算得到所述筛选模块的篩选参数。
3. 如权利要求1或2所述的多路视频通讯系统，其特征在于，所述筛选模 块包括两个或两个以上码流截取器，所述网络模块包括两个或两个以上网络连 接单元，所述码流截取器与网络连接单元——对应连接，所述网络连接单元与 远程客户端对应连接；所述码流截取器对原始视频编码码流按照筛选控制模块 的筛选参数进行截取，得到最终视频编码码流；所述网络连接单元获取远程客 户端的设备能力和网络状况并传输给码流截取器，接收远程客户端的最终视频 编码码流传输给可伸缩视频编解码器或将本地客户端的最终视频编码码流传输 给远程客户端。
4. 如权利要求1所述的多路视频通讯系统，其特征在于，还包括客户端信 息表，所述客户端信息表包含本地客户端及其所有连接的远程客户端的通信信 息，所述通信信息包括IP地址或网络物理地址、最大分辨率、最大帧率及最大 上行带宽中的一种或多种。
5. —种多路视频通讯处理方法，其特征在于，包括以下步骤 将视频源编码得到具有可伸缩性的原始视频编码码流； 获取远程客户端的设备能力和网络状况； 根据所述设备能力和网络状况设置筛选参数；根据所述筛选参数对所述原始视频编码码流进行筛选得到最终视频编码码 流并发送给远程客户端。
6. 如权利要求5所述的多路枧频通讯处理方法，其特征在于，所述的筛选 参数是指根据视频编码码流中码流包的优先级进行筛选时的优先级阈值，所述 优先级阈值结合参数信息计算获得，所述参数信息是指最近一个图像组内所有 码流包信息的循环队列。
7. 如权利要求6所述的多路视频通讯处理方法，其特征在于，所述码流包 信息包括优先级、时域等级、空域等级和码率增量，在一个图像组内，每编码 一帧图像，都将该图像对应的码流包信息加入循环队列。
8. 如权利要求5所述的多路视频通讯处理方法，其特征在于，还包括4企测 即将连接的客户端是否是第一个连接的客户端的步骤，如果是则创建可伸缩视 频编解码器，如果不是则可直接进行视频源的编码。
9. 如权利要求5所述的多路视频通讯处理方法，其特征在于，还包括4全测 本地客户端是否关闭的步骤，如果本地客户端关闭则删除网络模块和筛选模块 以及可伸缩视频编解码器；如果本地客户端没有关闭，则在一段时间之后检测 网络状况。
10. 如权利要求9所述的多路视频通讯处理方法，其特征在于，还包括检测 远程客户端是否关闭的步骤，如果检测到有远程客户端关闭，则删除与远程客 户端对应的码流截取器和网络连接单元，并检测是否还有其他连接，如果没有 其他连接则删除可伸缩视频编解码器。
11. 如权利要求6所述的多路视频通讯处理方法，其特征在于，所述设置筛 选参数的处理步骤包括将循环队列中的码流包信息按照优先级由高到低的顺序进行排序，并从高到底赋予由小到大的索引号；按照索引号从小到大的顺序，对每一个码流包遍历检查每一个码流截取器， 根据所有连接的终端设备处理能力和网络带宽判断是否满足优先级阈值的更新 条件，若满足，则更新优先级阈值；若不满足，则检查是否所有的码流包遍历 完成；若所有码流包的遍历完成，结束本次处理；否则进行下一个码流包的处理。
12.如权利要求11所述的多路视频通讯处理方法，其特征在于，所述更新 条件是指当前码流包的空域等级不大于所检查的客户端终端设备最大显示分辨率对 应的空域等级；当前码流包的时域等级不大于所检查的客户端终端设备最大帧率对应的空域等级；当前输出到所检查的客户端的码率，即当前码率与码率增量的和不大于所 检查的客户端终端设备最大可用下行带宽；当前输出的总码率，即当前总码率与码率增量的和不大于本地客户端的终 端设备最大可用上行带宽；当上述条件同时满足时，将优先级阈值设定为当前检查的码流包的优先级 的值，并将当前码率与码率增量的和更新为新的当前码率，当前总码率与码率 增量的和更新为新的当前总码率。
全文摘要
本发明涉及一种多路视频通讯系统，包括可伸缩视频编解码器、筛选模块、网络模块及筛选控制模块，可伸缩视频编解码器与网络模块相连用于接收来自远程客户端的码流，筛选模块设于可伸缩视频编解码器和网络模块之间用于将本地客户端的码流进行筛选并通过网络模块传输给远程客户端，筛选控制模块与筛选模块相连。本发明还涉及一种利用上述多路视频通讯系统进行多方视频通讯的方法，利用可伸缩视频编解码器生成的在时域、空域和质量上具有可伸缩性的视频编码码流，所得到的码流由筛选控制模块提供筛选条件，然后筛选模块根据筛选条件进行筛选，得到适合不同设备能力和网络状况的终端的码流进行传输，具有很好的灵活性。
文档编号H04N7/26GK101552913SQ20091003939
公开日2009年10月7日 申请日期2009年5月12日 优先权日2009年5月12日
发明者谷沉沉 申请人:腾讯科技(深圳)有限公司