专利名称：基于mcu的视频会议系统及其视频传输丢包处理的方法
技术领域：
本发明涉及视频传输领域，具体为一种基于MCU的视频会议系统和一种基于MCU 的视频会议系统中视频传输丢包处理的方法。
背景技术：
现有基于MCU(Multipoint Control Unit，即多点控制单元)的视频会议系统，如 图1所示，一般包括编码端、MCU服务端和解码端。其中，MCU服务端是视频会议系统中的 重要组成部分，它的作用主要是协调和控制编码端与解码端之间的视频数据传输。视频会 议系统的一项重要功能就是实现视频的实时传输，一般传输视频数据所采用的传输协议是 TCP (TransmissionControl Protocol)协议或者 UDP (User Datagram Protocol)协议。TCP协议比较可靠，它是一种面向连接的、基于字节流的运输层通信协议。使用 TCP协议可以保证数据传输的可靠性，但是这种可靠性是建立在丢失数据的重传之上。例 如，发送端将一个视频数据段发送出去的同时会启动一个重发定时器，如果该重发定时器 超过预定时间也没有接收到接收端的确认信息，那么发射端会重传该数据段。这样不但增 加了传输的数据量，而且牺牲了视频数据传输的实时性，造成视频图像的延时。UDP协议是OSI参考模型中一种无连接的传输层协议，提供面向事务的简单不可 靠信息传送服务。传输数据之前源端和终端是不需要建立连接的，发送数据时也不需要确 认是否正确接收。由于使用UDP协议传输数据具有发送效率高、实时性强的优点，使用UDP 协议进行视频数据传输是目前大多数视频会议软件选择的方式。但是UDP协议无法保证数 据传输的可靠性，一旦视频出现数据包丢失，那么解码图像很可能出现质量严重下降，例如 马赛克的出现。
发明内容
本发明的目的在于，提出一种基于MCU的视频会议系统和一种基于MCU的视频会 议系统中视频传输丢包处理的方法，能够实时传输视频数据，并提高视频传输的可靠性。本发明基于MCU的视频会议系统中视频传输丢包处理的方法，该基于MCU的视频 会议系统包括编码端、MCU服务端和解码端，其中，该视频传输丢包处理的方法具体包括步骤Si，所述编码端对视频图像进行采样与编码，将编码后获得的子码流按UDP 协议发送至所述MCU服务端。步骤S2，所述MCU服务端对接收到的子码流进行丢包检测，然后返回反馈信息至 所述编码端；所述反馈信息包括丢包检测结果。步骤S3，所述编码端根据所述反馈信息，执行丢包处理策略；其中，所述丢包处理 策略包括对发生丢包的子码流所属的图像组序列，所述编码端停止向所述MCU服务端发 送该图像组序列的剩余数据。步骤S4，所述MCU服务端将丢包检测后的子码流按UDP协议发送至所述解码端。步骤S5，所述解码端接收到所述子码流后进行丢包检测和重组，出现子码流丢包
5时返回终止数据发送的请求至所述MCU服务端；所述MCU服务端根据所述请求，对发生丢包 的子码流所属的图像组序列，停止向所述解码端发送该图像组序列的剩余数据。步骤S6，所述解码端对丢包检测与重组后的子码流进行解码获得视频图像。本发明还同时提出一种基于MCU的视频会议系统，该基于MCU的视频会议系统包 括编码端、MCU服务端和解码端。其中，所述编码端包括用于对视频图像进行采样和编码的采样编码模块、以及用 于对子码流进行发送与控制的编码端发送控制模块。所述MCU服务端包括用于对接收的子 码流进行丢包检测和丢包率统计的数据包分析模块，以及用于对子码流进行发送与控制的 MCU发送控制模块。所述解码端包括用于对接收的子码流进行丢包检测与重组的分析重组 模块，以及用于对子码流进行解码的解码模块。所述采样编码模块对视频图像进行采样与编码，所述编码端发送控制模块将编码 后获得的子码流按UDP协议发送至所述MCU服务端。所述数据包分析模块对所述MCU服务端接收到的子码流进行丢包检测，然后所述 MCU服务端根据丢包检测结果返回反馈信息至所述编码端。所述编码端发送控制模块根据所述反馈信息，执行丢包处理策略；其中，所述丢包 处理策略包括对发生丢包的子码流所属的图像组序列，所述编码端发送控制模块停止向 所述MCU服务端发送该图像组序列的剩余数据。所述MCU发送控制模块将丢包检测后的子码流按UDP协议发送至所述解码端；所 述分析重组模块接收到所述子码流后进行丢包检测与重组，所述解码端在出现子码流数据 包丢失时返回终止数据发送的请求至所述MCU服务端；所述MCU发送控制模块根据所述请 求，对发生丢包的子码流所属的图像组序列，停止向所述解码端发送该图像组序列的剩余 数据；所述解码模块对丢包检测与重组后的子码流进行解码获得视频图像。本发明的技术方案，在传输子码流时都采用UDP协议进行传输，充分保证了视频 数据传输的实时性；而且MCU服务端和解码端在接收数据时都进行丢包检测，在发生丢包 时利用消息反馈的手段进行反馈，可以停止无用数据的发送，避免利用这些无用数据解码 出现马赛克的现象，充分降低了带宽占用，提高视频传输的可靠性。
图1为基于MCU的视频会议系统结构示意图；图2为基于MCU的视频会议系统中视频传输丢包处理的方法流程示意图；图3为两路子码流关键帧交替出现示意图；图4为基于MCU的视频会议系统内部组成示意图；图5为实施例4提出的基于MCU的视频会议系统内部组成示意图。
具体实施例方式实施例1 本实施例是基于MCU的视频会议系统中视频传输丢包处理的方法，该基于MCU的 视频会议系统如图1所示，包括编码端、MCU服务端和解码端。本实施例中，仅以一个解码 端进行描述。其中，该视频传输丢包处理的方法具体如图2所示，包括
步骤Si，编码端对视频图像进行采样与编码，将编码后获得的子码流按UDP协议 发送至MCU服务端。编码端对采集的视频图像进行隔行下采样，然后将图像送入H. 264编 码器进行编码获得子码流。步骤S2，MCU服务端对接收到的子码流进行丢包检测，然后返回反馈信息至编码 端。每一路子码流包含若干数据包，每个数据包的包头都会有唯一的编号-PacketNum， PacketNum是逐一递增的，MCU服务端在接收子码流时等待指定PacketNum的数据包到来， 若发现收到的数据包的PacketNum发生跳跃，则认为当前等待的数据包已经丢失，则会按 TCP协议发送反馈消息至编码端，该反馈消息中包含发生丢包的子码流的信息。步骤S3，编码端根据反馈信息，确定发送的子码流是否发生丢包情况，若发生丢包 则执行相应的丢包处理策略。即对发生丢包的子码流所属的图像组序列，编码端停止向MCU 服务端发送该图像组序列的剩余数据。这些剩余数据属于无用数据，若根据这些无用的数 据进行解码，很可能解码后获得的图像出现马赛克。同时，停止这些无用数据的发送，还能 够节省网络带宽，降低编码端和MCU服务端的带宽占用。步骤S4，MCU服务端将丢包检测后的子码流按UDP协议发送至解码端。在丢包检 测后，若未发生丢包情况，则MCU服务端将接收的完整子码流传输至解码端；若发生丢包情 况，因为已经停止该子码流所述图像组序列的剩余数据的发送，则将已接收的子码流中的 数据发送至解码端。步骤S5，解码端接收到子码流后进行丢包检测和重组，解码端进行丢包检测的过 程与MCU服务端进行丢包检测的过程相同，数据包重组是指将属于同一帧的数据包视频数 据组合在一起，每个数据包包头都有一个帧索引-Framelndex，可以利用这个索引将同帧的 所有数据包组合在一起。同样，丢包检测之后，若发生子码流丢包的情况，解码端返回一个 请求至MCU服务端，要求终止数据发送。MCU服务端根据返回的这个请求，对发生丢包的子 码流所属的图像组序列，停止向解码端发送该图像组序列的剩余数据。这里，同样起到避免 使用无用数据解码使解码图像出现马赛克的情况，并同时降低了 MCU服务端和解码端的带 宽占用。步骤S6，解码端对丢包检测与重组后的子码流进行解码获得视频图像。通过本实施例的描述，该视频传输丢包处理的方法使用UDP协议进行视频数据传 输保证视频的实时性，并在子码流发生丢包情况时通过消息反馈的手段要求停止无用数据 的发送，降低了带宽占用，也提高了视频传输的可靠性。实施例2 本实施例同样描述一种基于MCU的视频会议系统中视频传输丢包处理的方法，该 基于MCU的视频会议系统如图1所示，包括编码端、MCU服务端和解码端，其中，该视频传输 丢包处理的方法具体包括步骤Si，编码端对视频图像进行采样与编码，将编码后获得的子码流按UDP协议 发送至MCU服务端。编码端对采集的视频图像进行隔行下采样，然后将采样获得的图像分 成第一子图像和第二子图像，再将这两个子图像分别放入不同的H. 264编码器进行编码， 编码得出的码流称作第一子码流和第二子码流。在上述编码过程中，可以对子码流关键帧的出现进行控制，S卩，将两个子码流的 关键帧周期都设置为相同值，但关键帧的出现的时间是交替的，如图3所示，在图3中，IDR(Instantaneous Decoding Refresh)表示即时解码刷新。用GopSize表示关键帧周 期，编码端将第一子图像和第二子图像关键帧的间隔帧数都设置为^^，然后根据帧序
FrameNum进行调整，具体为在FrameM^时，编码端只对第一子图像进行编码；
在FrameiVMm^^^时，编码端对第一子图像和第二子图像都进行编码。编码端再将编 码后获得的这两路子码流按UDP协议发送至MCU服务端。步骤S2，MCU服务端对接收到的子码流进行丢包检测和丢包率的统计，然后返回 反馈信息至编码端。本步骤中，MCU服务端进行丢包检测的过程可以参考实施例1中步骤 S2对丢包检测的描述，同样是检测数据包的PacketNum是否发生跳跃，若发生跳跃则认为 当前等待的数据包已经丢失。同时，MCU服务端还会按照预定的时间间隔(例如30秒)进 行丢包率的统计，丢包率按照公式(ι-实际接收数据包数/应该接收数据包数)X 100%进 行计算。然后MCU服务端将包含丢包检测结果和丢包率的反馈信息以TCP方式发送至编码 端。步骤S3，编码端根据反馈信息，确定是否哪路子码流发生丢包，并按照发生丢包的 子码流以及丢包率执行丢包处理策略。丢包处理策略包括1)若第一子码流发生丢包情况，则编码端停止向MCU服务端发送第一子码流所属 图像组序列的剩余数据。若第二子码流发生丢包情况，则采取同样的处理方式。2)根据返回的不同丢包率，执行以下处理策略当丢包率为0% -10%时，编码端不做任何处理；当丢包率为10% -20%时，编码端将对应同一帧的两个子码流的数据包发送间隔 进行设置，该发送间隔最小为1帧，最大为5帧，即发送间隔在1帧以上并且在5帧以下；当丢包率为20% -30%时，编码端在第一子码流和第二子码流中任意选择一路子 码流发送至MCU服务端；此种情况下，丢包率较为严重，除了停止无用数据的发送，再次发 送子码流时，只传输一路子码流数据，以保证视频的流畅性；当丢包率大于30%时，编码端在第一子码流和第二子码流中任意选择一路子码 流，并将该子码流的编码帧率降低为IOfps以上，再将编码帧率降低后的子码流发送至MCU 服务端。当丢包率在30%以上，属于丢包率非常严重的情况，此时仅传输一路子码流是不够 的，还需要降低编码帧率，使降低编码帧率后的子码流能够适应恶劣的网络带宽，来保证视 频的流畅性。步骤S4，MCU服务端将丢包检测后的子码流按UDP协议发送至解码端。步骤S5，解码端接收到子码流后进行丢包检测和重组，在子码流丢包时返回终止 数据发送的请求至MCU服务端；MCU服务端根据请求，对发生丢包的子码流所属的图像组序 列，停止向解码端发送该图像组序列的剩余数据。本步骤丢包检测的过程和步骤S2中丢包 检测过程相同。解码端对子码流进行重组的过程也与实施例1中步骤S5中对子码流进行 重组的过程相同，即根据帧索引Framelndex将同帧的所有数据包的视频数据组合在一起。步骤S6，解码端对丢包检测与重组后的子码流进行解码获得视频图像。本实施例 中，解码端接收到的子码流包括两种情况A)解码端接收到两路子码流，即当前帧的第一子码流和第二子码流的完整数据都被接收到，则解码端对两个子码流的数据进行解码，然后再对解码后的图像进行拼接处理， 再对拼接处理后的图像进行滤波处理，获得质量最好的图像。B)解码端仅接收到一路子码流，此处以仅接收到第一子码流为例，如果当前帧的 第一子码流的完整数据被接收到，则解码端对第一子码流中的数据进行解码后，再对解码 获得的图像进行图像还原处理，例如，可以采用隔行插值的办法进行图像还原过程，获得可 以接受的图像。传统视频会议系统中使用的是单流模式，当一个GOP (Group of Pictures，图像 组)序列中出现数据包丢失，为了保证图像不出现质量下降的情况，解码端只能放弃GOP序 列后续数据的解码，因此视频的流畅性较差，并且浪费带宽。但通过上述描述，本实施例采 用双流模式进行传输，并且利用相应的反馈和丢包处理策略，使得解码端在接收到两路子 码流的情况能够获得质量最好的图像，即使丢失了一路子码流，也可以利用另外一路子码 流还原出令人可以接受的视频图像，尽可能地保证视频流畅性；同时，利用MCU服务端和解 码端的消息反馈，能够停止无用数据的发送，尽最大可能降低带宽占用。实施例3 本实施例提出一种基于MCU的视频会议系统，该基于MCU的视频会议系统包括编 码端、MCU服务端和解码端。其中，如图4所示，编码端包括用于对视频图像进行采样和编码的采样编码模块、 以及用于对子码流进行发送与控制的编码端发送控制模块。MCU服务端包括用于对接收的 子码流进行丢包检测和丢包率统计的数据包分析模块，以及用于对子码流进行发送与控制 的MCU发送控制模块。解码端包括用于对接收的子码流进行丢包检测与重组的分析重组模 块，以及用于对子码流进行解码的解码模块。基于MCU的视频会议系统工作过程如下采样编码模块对视频图像进行隔行下采样，然后将采样的图像送入H. 264编码器 进行编码，编码端发送控制模块将编码获得的子码流按UDP协议发送至MCU服务端。数据包分析模块对MCU服务端接收到的子码流进行丢包检测，然后MCU服务端根 据丢包检测结果返回反馈信息至编码端。每一路子码流包含若干数据包，每个数据包的 包头都会有唯一的编号-PacketNum，PacketNum是逐一递增的，数据包分析模块等待指定 PacketNum的数据包到来，若发现收到的数据包的PacketNum发生跳跃，则认为当前等待的 数据包已经丢失，MCU服务端按TCP协议发送反馈消息至编码端，该反馈消息中包含发生丢 包的子码流的信息。编码端发送控制模块根据反馈信息，确定发生丢包的子码流，然后执行丢包处理 策略，即对发生丢包的子码流所属的图像组序列，编码端发送控制模块停止向MCU服务端 发送该图像组序列的剩余数据。这些剩余数据属于无用数据，若根据这些无用的数据进行 解码，很可能解码后获得的图像出现马赛克。同时，停止这些无用数据的发送，还能够节省 网络带宽。MCU发送控制模块将丢包检测后的子码流按UDP协议发送至解码端。在丢包检测 后，若未发生丢包情况，则MCU发送控制模块将接收的完整子码流传输至解码端；若发生丢 包情况，因为已经停止该子码流所述图像组序列的剩余数据的发送，则MCU发送控制模块 将已接收的子码流中的数据发送至解码端。
9
然后在解码端中，分析重组模块接收到子码流后进行丢包检测与重组。此处分析 重组模块进行丢包检测的过程与MCU服务端中数据包分析模块进行丢包检测的过程相同。 数据包重组是指将属于同一帧的数据包视频数据组合在一起，每个数据包包头都有一个帧 索引-Framelndex，可以利用这个索引将同帧的所有数据包组合在一起。解码端在发生子码流数据包丢失时返回请求至MCU服务端，要求终止剩余数据的 发送。MCU发送控制模块根据请求，对发生丢包的子码流所属的图像组序列，停止向解码端 发送该图像组序列的剩余数据。这样能够避免使用无用数据解码使解码图像出现马赛克的 情况，并同时降低了 MCU服务端和解码端的带宽占用。解码模块对丢包检测与重组后的子码流进行解码获得视频图像。无论是编码端发送控制模块还是MCU发送控制模块，都使用UDP协议进行视频数 据传输，以保证视频传输的实时性。而在发生子码流丢包情况时MCU服务端和解码端都通 过消息反馈的手段要求停止无用数据的发送，降低了带宽占用，尽可能保证视频传输的流 畅性。实施例4 本实施例提出一种基于MCU的视频会议系统，该基于MCU的视频会议系统包括编 码端、MCU服务端和解码端。如图5所示，编码端包括用于对视频图像进行采样和编码的采样编码模块、用于 对子码流进行发送与控制的编码端发送控制模块、以及对图像数据的编码进行编码控制的 编码控制模块。其中，采样编码模块包含两个不同的编码器。MCU服务端包括用于对接收的子码流进行丢包检测和丢包率统计的数据包分析模 块，以及用于对子码流进行发送与控制的MCU发送控制模块。解码端包括用于对接收的子码流进行丢包检测与重组的分析重组模块，用于对子 码流进行解码的解码模块、用于对解码后的图像进行拼接处理的拼接模块、用于对拼接处 理后的图像进行滤波处理的滤波模块、以及用于对解码后的图像进行图像还原处理的图像 还原模块。本实施例将采样“双流”模式进行视频传输，即数据是以两路码流的方式，所以 对应不同的接收状况，将采用不同的模块来对解码后的图像进行处理，以获得所需的视频 图像。具体工作过程如下编码端中，采样编码模块对视频图像进行隔行下采样，然后将采样的图像分成 第一子图像和第二子图像，将这两幅子图像分别送入不同的H. 264编码器进行编码。以 GopSize表示关键帧周期，FrameNum表示帧序，编码控制模块将第一子图像和第二子
图像关键帧的间隔帧数都设置为"^^，再根据帧序进行相应调整编码控制模块在
时发送第一控制指令至采样编码模块，采样编码模块只对第一子图
像进行编码；编码控制模块在FrameM^时发送第二控制指令至采样编码模块，
采样编码模块对第一子图像和第二子图像都进行编码。其中，第一控制指令和第二控制指 令仅仅是为了描述的方便，并不构成对本发明技术方案的限定。编码端发送控制模块将编 码获得的第一子码流和第二子码流按UDP协议发送至MCU服务端。
10
在MCU服务端，数据包分析模块对MCU服务端接收到的子码流进行丢包检测和丢 包率的统计，丢包检测的过程与实施例3中介绍的丢包检测过程相同，即检测收到的数据 包的PacketNum是否发生跳跃，若发生跳跃则认为当前等待的数据包已经丢失。MCU服务端 按TCP协议发送包含发生丢包的子码流信息和丢包率的反馈消息至编码端。编码端发送控制模块根据反馈信息，确定发生丢包的子码流以及相应的丢包率， 然后执行丢包处理策略。其中，丢包处理策略具体包括1)若第一子码流发生丢包情况，则编码端发送控制模块停止向MCU服务端发送第 一子码流所属图像组序列的剩余数据。若第二子码流发生丢包情况，则采取同样的处理方 式。2)根据返回的不同丢包率，执行以下处理策略当丢包率为0% -10%时，编码端发送控制模块不做任何处理；当丢包率为10% -20%时，编码端发送控制模块将对应同一帧的两个子码流的数 据包发送间隔进行设置，该发送间隔最小为1帧，最大为5帧，即发送间隔在1帧以上并且 在5帧以下；当丢包率为20% -30%时，编码端发送控制模块在第一子码流和第二子码流中任 意选择一路子码流发送至MCU服务端；此种情况下，丢包率较为严重，除了停止无用数据的 发送，再次发送子码流时，仅仅传输一路子码流数据，保证视频的流畅性；当丢包率大于30%时，编码端发送控制模块在第一子码流和第二子码流中任意选 择一路子码流，并将该子码流的编码帧率降低为IOfps以上，再将编码帧率降低后的子码 流发送至MCU服务端。当丢包率在30%以上，属于丢包率非常严重的情况，此时仅传输一路 子码流是不够的，还需要降低编码帧率，使降低编码帧率后的子码流能够适应恶劣的网络 带宽，来保证视频的流畅性。MCU发送控制模块将丢包检测后的子码流按UDP协议发送至解码端。在丢包检测 后，若未发生丢包情况，则MCU发送控制模块将接收的完整子码流传输至解码端；若发生丢 包情况，因为已经停止该子码流所述图像组序列的剩余数据的发送，则MCU发送控制模块 将已接收的子码流中的数据发送至解码端。在解码端中，分析重组模块接收到子码流后进行丢包检测与重组。分析重组模块 进行丢包检测的过程与MCU服务端中数据包分析模块进行丢包检测的过程相同。数据包重 组与实施例3中对重组过程的介绍相同，即根据帧索引Framelndex将同帧的所有数据包组
合在一起。解码端在发生子码流数据包丢失时返回请求至MCU服务端，要求终止剩余数据的 发送。MCU发送控制模块根据请求，对发生丢包的子码流所属的图像组序列，停止向解码端 发送该图像组序列的剩余数据。这样能够避免使用无用数据解码使解码图像出现马赛克的 情况，并同时降低了 MCU服务端和解码端的带宽占用。解码模块对丢包检测与重组后的子码流进行解码，这里包括两种情况A)解码端接收到两路子码流，即当前帧的第一子码流和第二子码流的完整数据都 被接收到，则解码模块对两个子码流的数据进行解码，然后由拼接模块对解码后的图像进 行拼接处理，再由滤波模块对拼接处理后的图像进行滤波处理，获得质量最好的图像。B)解码端仅接收到一路子码流，此处以仅接收到第一子码流为例，如果当前帧的第一子码流的完整数据被接收到，则解码模块对第一子码流中的数据进行解码后，再由图 像还原模块对解码获得的图像进行图像还原处理，例如，可以采用隔行插值的办法进行图 像还原过程，获得可以接受的图像。通过UDP协议进行传输，保证了视频传输的实时性，并且使用双流模式结合相应 的反馈机制和策略调整，解码端在接收到两路码流的情况下能够获得最好的视频图像，而 在仅接收到一路码流，采用图像还原处理还原出能够接受的视频图像，尽可能地保证视频 的流畅性。以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明 的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范 围之内。
权利要求
一种基于MCU的视频会议系统中视频传输丢包处理的方法，该基于MCU的视频会议系统包括编码端、MCU服务端和解码端，其特征在于，该视频传输丢包处理的方法具体包括步骤S1，所述编码端对视频图像进行采样与编码，将编码后获得的子码流按UDP协议发送至所述MCU服务端；步骤S2，所述MCU服务端对接收到的子码流进行丢包检测，然后返回反馈信息至所述编码端；所述反馈信息包括丢包检测结果；步骤S3，所述编码端根据所述反馈信息，执行丢包处理策略；其中，所述丢包处理策略包括对发生丢包的子码流所属的图像组序列，所述编码端停止向所述MCU服务端发送该图像组序列的剩余数据；步骤S4，所述MCU服务端将丢包检测后的子码流按UDP协议发送至所述解码端；步骤S5，所述解码端接收到所述子码流后进行丢包检测和重组，出现子码流丢包时返回终止数据发送的请求至所述MCU服务端；所述MCU服务端根据所述请求，对发生丢包的子码流所属的图像组序列，停止向所述解码端发送该图像组序列的剩余数据；步骤S6，所述解码端对丢包检测与重组后的子码流进行解码获得视频图像。
2.根据权利要求1基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 所述步骤Sl具体包括所述编码端对视频图像进行采样，将采样获得的图像分成第一子图像和第二子图像并 分别送入不同的编码器进行编码，将编码后获得的第一子码流和第二子码流按UDP协议发 送至所述MCU服务端；所述步骤S6具体包括若在丢包检测与重组后所述解码端接收到所述第一子码流和所述第二子码流，则所述 解码端对所述第一子码流和所述第二子码流中的数据进行解码，并将解码后的图像进行拼 接处理，获得视频图像；若在丢包检测与重组后所述解码端仅接收到所述第一子码流或所述第二子码流，则所 述解码端对接收到的所述第一子码流或所述第二子码流进行解码，对解码后的图像进行图 像还原处理，获得视频图像。
3.根据权利要求2基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 所述步骤Sl中所述编码端对所述第一子图像和所述第二子图像进行编码的过程具体包括所述编码端将所述第一子图像和所述第二子图像关键帧的间隔帧数都设置为"^^；时，所述编码端只对第一子图像进行编码;^FrameNum>G°P^Ze时，所述编码端对所述第一子图像和所述第二子图像都进行编码；其中，GopSize表示关键 帧周期，FrameNum表示帧序。
4.根据权利要求3基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 步骤S2具体包括所述MCU服务端接收到所述子码流后进行丢包检测并进行丢包率的统计，然后返回反 馈信息至所述编码端；其中，所述反馈信息包括丢包检测结果和丢包率；步骤S3中执行丢包处理策略的过程还包括 当所述丢包率为0% -10%时，所述编码端不做任何处理；当所述丢包率为10% -20%时，所述编码端将对应同一帧的两个子码流的数据包发送 间隔设置为该发送间隔在1帧以上并且在5帧以下；当所述丢包率为20% -30%时，所述编码端在所述第一子码流和所述第二子码流中任 意选择一路子码流发送至所述MCU服务端；当所述丢包率大于30%时，所述编码端在所述第一子码流和所述第二子码流中任意选 择一路子码流，并将该子码流的编码帧率降低为IOfps以上，再将编码帧率降低后的子码 流发送至所述MCU服务端。
5.根据权利要求4基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 步骤S2中所述MCU服务端按照预定的时间间隔进行丢包率的统计。
6.根据权利要求1或5基于MCU的视频会议系统中视频传输丢包处理的方法，其特征 在于，所述编码端采用隔行下采样的方法对视频图像进行采样。
7.根据权利要求1基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 步骤S2中所述MCU服务端返回反馈信息至所述编码端的过程为所述MCU服务端按照TCP协议发送反馈信息至所述编码端；步骤S5中所述解码端返回终止数据发送的请求至所述MCU服务端的过程包括所述 MCU服务端按照TCP协议发送终止数据发送的请求至所述编码端。
8.根据权利要求2基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 步骤S6中，若在丢包检测与重组后所述解码端接收到所述第一子码流和所述第二子码流， 则所述解码端对拼接处理后的图像进行滤波处理，获得滤波处理后的视频图像。
9.根据权利要求2基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于， 步骤S6中，若在丢包检测与重组后所述解码端仅接收到所述第一子码流或所述第二子码 流，则所述解码端采用隔行插值的方法对解码后的图像进行图像还原处理，获得图像还原 处理后的视频图像。
10.一种基于MCU的视频会议系统，该基于MCU的视频会议系统包括编码端、MCU服务 端和解码端，其特征在于，所述编码端包括用于对视频图像进行采样和编码的采样编码模块、以及用于对子码流 进行发送与控制的编码端发送控制模块；所述MCU服务端包括用于对接收的子码流进行丢包检测和丢包率统计的数据包分析 模块，以及用于对子码流进行发送与控制的MCU发送控制模块；所述解码端包括用于对接收的子码流进行丢包检测与重组的分析重组模块，以及用于 对子码流进行解码的解码模块；所述采样编码模块对视频图像进行采样与编码，所述编码端发送控制模块将编码后获 得的子码流按UDP协议发送至所述MCU服务端；所述数据包分析模块对所述MCU服务端接收到的子码流进行丢包检测，然后所述MCU 服务端根据丢包检测结果返回反馈信息至所述编码端；所述编码端发送控制模块根据所述反馈信息，执行丢包处理策略；其中，所述丢包处理 策略包括对发生丢包的子码流所属的图像组序列，所述编码端发送控制模块停止向所述MCU服务端发送该图像组序列的剩余数据；所述MCU发送控制模块将丢包检测后的子码流 按UDP协议发送至所述解码端；所述分析重组模块接收到所述子码流后进行丢包检测与重 组，所述解码端在出现子码流数据包丢失时返回终止数据发送的请求至所述MCU服务端； 所述MCU发送控制模块根据所述请求，对发生丢包的子码流所属的图像组序列，停止向所 述解码端发送该图像组序列的剩余数据；所述解码模块对丢包检测与重组后的子码流进行 解码获得视频图像。
全文摘要
本发明视频传输丢包处理的方法，包括编码端采样与编码，将获得的子码流按UDP协议发送至MCU服务端；MCU服务端对子码流进行丢包检测，然后返回反馈信息至编码端；编码端根据反馈信息，执行丢包处理策略；MCU服务端将丢包检测后的子码流按UDP协议发送至解码端；解码端进行丢包检测和重组，在子码流丢包时返回终止数据发送的请求至MCU服务端，MCU服务端接收该请求并执行；解码端对丢包检测与重组后的子码流进行解码获得视频图像。本发明基于MCU的视频会议系统，包括采样编码模块、编码端发送控制模块、数据包分析模块、MCU发送控制模块、分析重组模块和解码模块。本发明既能提高传输的实时性，还能提高传输的可靠性。
文档编号H04N7/26GK101883240SQ20101019748
公开日2010年11月10日 申请日期2010年6月9日 优先权日2010年6月9日
发明者石金川 申请人:广东威创视讯科技股份有限公司