专利名称：一种视频数据的发送、接收装置及发送、接收方法
技术领域：
本发明涉及多媒体通讯领域，具体地，涉及一种视频数据的发送和接 收装置及发送和接收方法。
背景技术：
目前，视频会议系统包括发送装置和接收装置。如图l所示，发送装
置包括图像采集模块l、视频编码模块2、第一RTP(实时传送协议)模块3 和第一 UDP (用户数据报协议)模块5;如图2所示，接收装置包括第二 UDP模块6、第二RTP模块8、 QoS (服务质量)模块9、解码模块10和图 像输出设备ll。其中，图像采集模块l将其采集的原始视频图像输出至视 频编码模块2,由视频编码模块2对原始视频图像进行编码处理，并转换 成视频帧输出至第一 RTP模块3，第一 RTP模块先将视频帧分割并封装成 至少一个RTP数据包，例如，如图3所示， 一个视频帧被第一RTP模块分 割并打包成n个RTP格式的数据包，然后转给第一 UDP模块5，将n个RTP 数据包发送至TCP/IP传输网络中，由TCP/IP网络传输数据包；第二 UDP 模块6接收TCP/IP网络传输过来的数据包，并将数据包转给第二 RTP模块 8输出至QoS模块9， QoS模块9利用每个数据包携带的RTP头中的时戳和 序号等信息，对多数据包进行緩沖排序，并将数据包组合还原成视频帧， 并将视频帧输出至解码才莫块10进行解码处理，最后由图像输出设备11将 解码的视频帧转换成图像输出。
上述视频会议系统的发送装置对于数据传输协议是基于可实时传送的 RTP协议。但第一 RTP模块3本身并没有提供按时发送机制或其它服务质 量保证，不保证传送或防止无序传送，也不确保底层网络的可靠性，而它 却又依赖于底层网络服务去实现。第一 RTP模块底3层协议选择的是传输 效率高的第一 UDP模块5。但第一 UDP模块5也不提供对IP协议的可靠机 制、流控机制及错误恢复功能等。而TCP (传输控制协议)是基于字节流 的运输通讯协议，可以提供可靠的、面向连接的数据传输服务；但在可靠性上，采用超时重传和稍带确认机制；在流量控制上，釆用滑动窗口协议， 协议中规定，对于窗口内未经确认的分组需要重传；在拥塞控制上，采用 慢启动算法；因此，对于数据传输实时性要求很高的视频会议系统，TCP 协议的数据传输效率无法满足要求。
由于第一 UDP模块5和第一 RTP3模块都不提供可靠机制，数据包在 TCP/IP传输网络中传输，在网络不佳的情况下，数据包在传输过程中会出 现丟包、乱序和抖动等情况，影响图像和声音的质量。现有的解决办法是 在第二RTP模块8接收数据后，通过QoS模块9，利用每个数据包携带的 RTP头中的时戳和序号等信息，对多个数据包进行緩沖和排序，可以解决 乱序和抖动的问题。但是丢包问题没有解决，视频帧被分割成至少一个数 据包在网络上传输，即使丟失一个数据包，也会导致无法组成完整的视频 帧，导致多个数据包失效，特别是I帧(即图像编码的第一个帧，也是图 像的关4定帧，经过适度地压缩，作为随机访问的参考点，可以当成图像) 数据出现丟包时造成的影响非常大。例如，如图4所示，为现有的视频 通讯系统无法控制TCP/IP传输网络传输翁:据包过程中的丟包现象的示意 图，图4中示意出了该系统的发送装置发送的数据包n-2和数据包n在 TCP/IP网络中传输出现丟失，导致该系统的接收装置没有收到数据包n-2 和数据包n,由于一个视频帧的数据包不完整，将会导致^见频图像花屏，声 音不清晰。
发明内容
本发明所要解决的技术问题是提供一种具有可靠机制的视频数据的发 送和接收装置，还提供一种具有可靠机制的视频数据的发送和接收方法。
本发明为解决其技术问题所采用的技术方案是 一种视频数据的发送 装置，包括图像采集模块、编码模块、第一RTP模块和第一UDP模块；还 包括确认重传模块；所述确认重传模块用于接收确认信息、用于判断RTP 数据包是否丟失、用于判断RTP数据包已丟失后生成重传指令给所述第一 UDP模块；所述第一 UDP模块还用于根据重传指令来重传RTP数据包至 TCP/IP传输网络。
一种视频数据的接收装置，包括第二 UDP模块、第二 RTP模块、QoS 模块、解码模块和图像输出设备，还包括响应模块；所述响应模块用于针对其收到的RTP数据包响应回复确认信息给到接收装置中的确认重传模 块。
一种视频数据的发送方法，包括以下步骤
1) 图像采集模块采集视频图像数据；
2) 编码模块对所采集的原始视频图像进行图像编码处理，并转换为 视频帧；
3 )第一 RTP模块将视频帧分割并封装成至少一个RTP数据包；
5 )第一 UDP模块将RTP数据包发送至TCP/IP传输网络中；
6)确认重传模块接收接收装置中响应模块响应回复的确认信息，判
断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一 UDP
模块；
7 )第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络。 一种视频数据的接收方法，所述接收方法中，接收装置中的响应模块 接收到RTP数据包后还包括以下过程通过响应模块针对其收到的RTP数 据包响应回复确认信息给到发送装置中的确认重传模块。
本发明的有益效果是在现有的视频数据的发送装置和接收装置上分 别增加了确认重传模块和响应模块，并结合现有的视频数据的发送方法和 接收方法作了相应的改进，即建立了丟包重传机制，即利用接收装置中 的响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的 确认重传模块，利用确认重传模块接收确认信息、判断RTP数据包是否丟 失、判断RTP数据包已丟失后生成重传指令给第一UDP模块；第一UDP模 块根据重传指令来重传RTP数据包至TCP/IP传输网络，由接收装置重新接 收。由此可知，在本发明的视频通讯数据传输流程中，RTP数据包丢失后 通过重传丟失的RTP数据包的方式，确保了 RTP数据包在接收装置中还原 组合成完整的视频帧，因此，最后图像输出设备能够输出质量和声音效果 好的视频图像，图像不花屏，声音清晰。
图1为现有的视频数据的发送装置示意图； 图2为现有的视频数据的接收装置示意图3为现有的视频帧被分割并封装成视频帧数据包通过TCP/IP网络进 行传输的示意图；图4为现有的视频数据无法控制TCP/1P传输网络传输数据包过程中的
丟包现象的示意图5为本发明一种实施方式的视频数据的发送装置示意图6为图5所示的发送装置进一步细化的示意图7为本发明一种实施方式的视频数据的接收装置示意图8为图6所示的发送装置和图7所示的接收装置进行视频通讯时的
一种数据传输过程简略示意图9为本发明一种实施方式的视频数据的发送方法流程示意图； 图10为本发明一种实施方式的视频数据的接收方法流程示意图。
具体实施例方式
实施方式一
本实施方式包括视频数据的发送、接收装置AiL送、接收方法，其中
如图5和图6所示， 一种视频数据的发送装置，包括图像采集模块l、 编码模块2、第一RTP模块3、确认重传模块4和第一UDP模块5;图像采 集模块1用于釆集视频图像并将所釆集的原始视频图像输出至编码模块2; 编码模块2用于将输入的原始图像进行图像编码处理，转换为视频帧，并 将视频帧输出至第一 RTP模块3;第一 RTP模块3用于将已编码的视频帧 分割并封装成至少一个RTP数据包发送至确认重传模块4;确认重传模块4 用于将RTP数据包转给第一 UDP模块5 、还用于接收确认信息、用于判断 RTP数据包是否丟失、及用于判断RTP数据包丢失后生成重传指令给第一 UDP模块5;第一UDP模块5用于发送RTP数据包至TCP/IP传输网络，用 于根据重传指令来重传RTP数据包至TCP/IP传输网络中，及用于接收 TCP/IP传输网络传输过来的确认信息并转给确认重传模块4。
在该发送装置中，确认重传模块4包括确认请求模块41和重传控制模 块42;确认请求模块41用于给每一待发送的RTP数据包附加确认请求， 并将已附加确认请求的RTP数据包输出至第一 UDP模块5;重传控制模块 42用于在RTP数据包通过第一 UDP模块5发送后，在指定的时间内未收到 接收装置中的响应模块根据该RTP数据包附加的确认请求而回复的确认信 息，视为该RTP数据包丢失，则生成重传指令给所述第一UDP模块5。
如图7所示， 一种视频数据的接收装置，包括第二UDP模块6、响应 模块7、第二RTP模块8、 QoS模块9、解码模块10和图像输出设备11 ，第二 UDP模块6用于接收TCP/IP传输网络传输过来的RTP数据包，并将 RTP数据包输出至响应模块7,及用于发送确认信息至TCP/IP传输网络中； 响应模块7用于针对其收到的RTP数据包响应回复确认信息，给到第二 UDP 模块6发送，及用于将其收到的RTP数据包转给第二 RTP模块8;第二 RTP 模块8用于将其所接收的RTP数据包输出至QoS模块9; QoS模块9用于对 输入的数据包进行緩冲排序，并将数据包组合还原成视频帧，输出至解码 模块10;解码模块10用于对输入的视频帧进行解码处理，并将解码后的 视频帧输出至图像输出设备11,图像输出设备11用于将视频帧转换成图 像输出。
在该接收装置中，响应模块7具体用于针对其收到的附有确认请求的 RTP数据包响应回复确认信息，及用于将RTP数据包输出至第二 RTP模块8。
本视频数据的发送和接收装置的工作过程是如图5至图8所示，就 发送装置而言，图像采集模块1采集视频图像并将所采集的原始视频图像 输出至编码模块2;编码模块2将输入的原始图像进行图像编码处理，转 换为视频帧，并将视频帧输出至第一 RTP模块3;第一 RTP模块3将已编 码的视频帧分割并封装成至少一个RTP数据包发送至确认重传模块4;确 认重传模块4通过其确认请求模块41给每一待发送的RTP数据包附加确认 请求，并将已附加确认请求的RTP数据包输出至第一UDP模块5;第一UDP 模块5将附有确认请求的RTP数据包发送至TCP/IP传输网络中。就接收装 置而言，第二 UDP模块6接收TCP/IP传输网络传输过来的附有确认请求的 RTP数据包，并将RTP数据包输出至响应模块7; —方面，响应模块7针对 其收到的RTP数据包附加的确认请求响应回复确认信息给到第二 UDP模块 6发送至TCP/1P传输网络中，发送装置中的第一 UDP模块5在指定的时间 内收到确认信息，及时转给重传控制模块42,重传控制模块42在附有确 认请求的RTP数据包通过第一 UDP模块5发送后，在指定的时间内收到了 接收装置中的响应模块7响应回复的确认信息，视为接收装置收到了该确 认信息所对应的RTP数据包，因此，不生成重传指令；这里顺便说明一下， 如果重传控制模块42在第一 UDP模块发送附有确认请求的RTP数据包后， 在指定的时间内未收到接收装置中的响应模块7针对确认请求而响应回复 的确认信息，则视为该附有确认请求的RTP数据包在TCP/IP传输网络的传 输过程中丢失，生成重传指令给到第一 UDP模块重传该丟失的附有确认请 求的RTP数据包，直到重传控制模块42判断该RTP数据包接收装置已收到为止；另一方面，响应模块7将其收到的RTP数据包转给第二RTP模块8; 第二 RTP模块8将其所接收的RTP数据包输出至QoS模块9; QoS模块9 对输入的数据包进行緩冲排序，并将完整的数据包组合还原成完整的视频 帧，输出至解码模块10;解码模块10对输入的视频帧进行解码处理，并 将解码后的视频帧输出至图像输出设备11,图像输出设备11将视频帧转 换成图像输出。
如图8所示，重点示出了发送装置将一个视频帧的n个附有确认请求 的RTP数据包发送至TCP/IP传输网络中，并由接收装置接收。这n个附有 确认请求的RTP数据包在TCP/1P传输网络中，有些被传输到了接收装置中， 如第一数据包、第三数据包、第n数据包等；有些丟失了，未被接收装置 收到，如第二数据包等。接收装置收到了附有确认请求的RTP数据包后， 如第一数据包、第三数据包、第n数据包等，响应回复确认信息给发送装 置，而发送装置在指定的时间内收到了第一数据包的确认信息、第三数据 包的确认信息、第n数据包的确认信息等，则认为接收装置收到了第一数 据包、第三数据包、第n数据包等。而对丢失的RTP数据包而言，如第二 数据包，由于接收装置收不到第二数据包，不会响应回复确认信息给发送 装置，因而发送装置在指定的时间内不会收到也根本收不到第二数据包的 确认信息，视为数据包在TCP/IP传输网络中丢失，重发第二数据包。由于 在发送装置和接收装置中增加了丢包重传机制，确保了接收装置中数据包 组合还原成视频帧的完整性，因而，输出的视频图像不花屏，声音清晰。
与本实施方式的视频数据的发送装置和接收装置对应采用的视频数据 的发送方法和接收方法为
如图9所示， 一种视频数据的发送方法，包括以下步骤 步骤Sl:釆集图像，利用图像采集模块采集视频图像数据； 步骤S2:编码处理，利用编码模块对所采集的原始视频图像进行图像 编码处理，并转换为^L频帧；
步骤S3:封包，利用第一 RTP模块将视频帧分割并封装成至少一个RTP 数据包；
步骤S4:递包，利用确认重传模块将RTP数据包转给所述第一UDP模
块；
步骤S5:发送，利用第一 UDP模块将RTP数据包发送至TCP/IP传输网 络中；步骤S6:接收确认信息，利用第一 UDP模块接收TCP/IP传输网络传输 过来的确认信息并转给确认重传模块；
步骤S7:重传控制处理，利用确认重传模块接收第一UDP模块输出的 确认信息，根据接收确认信息的规则来判断RTP数据包在TCP/IP传输网络 传输过程中是否丢失、判断RTP数据包已丢失后生成重传指令给所述第一 UDP模块；
其中步骤S4具体为利用确认请求模块给每一待发送的RTP数据包附 加确认请求，并将已附加确认请求的RTP数据包输出至所述第一 UDP模块。
其中步骤S7具体为利用重传控制^f莫块在RTP数据包通过第一 UDP 模块发送后，在指定的时间内未收到接收装置根据该RTP数据包附加的确 认请求而回复的确认信息，指令所述第一 UDP模块重传该RTP数据包。
如图10所示， 一种视频数据的接收方法，包括以下步骤
步骤S21:接收，利用第二 UDP模块接收TCP/IP传输网络传输过来的 RTP数据包；
步骤S22:响应处理，利用响应模块针对其收到的RTP数据包响应回 复确认信息，给到所述第二UDP模块发送，及将其收到的RTP数据包转给 所述第二RTP模块；
步骤S23:緩冲排序，利用第二RTP模块将其所接收的RTP数据包输出 至QoS模块；利用QoS模块对输入的数据包进行緩沖排序，并将数据包组合 还原成纟见频帧；
步骤S24:解码处理，利用解码模块对所还原的视频帧进行解码处理； 步骤S25:输出视频图像，利用图像输出设备将解码的视频帧转换成 图像输出。
其中步骤S22具体为利用响应模块针对其收到的附有确认请求的RTP 数据包响应回复确认信息，给到所述第二 UDP模块发送至TCP/IP传输网络 中，以^J^送装置接收，并将RTP数据包输出至第二UDP模块。
实施方式二
本实施方式的视频数据的发送和接收装置及发送和接收方法是基于上 述实施方式一而作的改进。具体是
本实施方式中的发送装置与实施方式一的发送装置基本相同，但确认 重传模块取消了实施方式一中的确认请求模块，即本实施方式中的确认重
传模块用于将RTP数据包不作附加确认请求处理直接转给第一 UDP模块发送，该确认重传模块主要用于在RTP数据包通过第一UDP模块发送后，在 指定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回复的 确认信息，视为该RTP数据包丢失，并生成重传指令给第一UDP模块。为 了简化装置，当然在其它实施方式中，RTP数据包也可以不通过确认重传 模块直接转给第一 UDP模块，而是直接由第一 RTP模块直接输给第一 UDP 模块，但确认重传模块仅用于RTP数据包通过第一UDP模块发送后，在指 定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回复的确 认信息，视为该RTP数据包丢失，并生成重传指令给第一UDP模块。
本实施方式中的接收装置与实施方式一中的接收装置基本相同，但响 应模块是用于针对其收到的未附有确认请求的RTP数据包响应回复确认信 息，及用于将RTP数据包输出至第二RTP模块。
本实施方式中的发送方法与实施方式一的发送方法基本相同，但取消 了实施方式一中递包步骤S4中的利用确认请求模块I^一RTP数据包增加 确认请求；本实施方式递包步骤是利用确认重传模块不作附加确认请求直 接将RTP数据包转给第一 UDP模块发送。
本实施方式中的接收方法与实施方式一的接收方法基本相同，但将实 施方式一中的响应处理步骤S22改为利用响应模块针对其收到的未附有确 认请求的RTP凄t据包响应回复确iM言息，给到所述第二 UDP才莫块发送至 TCP/IP传输中，以使发送装置接收；及利用响应模块将RTP数据包输出至 第二RTP模块。
本实施方式的丢包重传机制是基于发送装置对RTP数据包不作附加确 认请求处理，而发送装置接针对收到的每一 RTP数据包必须强行响应回复 确认信息给发送装置。发送装置若在RTP数据包发送后在指定的时间内收 到确认信息，则判断RTP数据包到达接收装置；若在RTP数据包发送后在 指定的时间内未收到确认信息，则视为RTP数据包在TCP/IP传输网络中丢 失，因此重传所丢失的RTP数据包。由此可知，本实施方式能够达到与实 施方式一的技术效果。
以上内容是接合具体的实施方式对本发明所作的进一步详细说明，不 能认定本发明的具体实施只局限于这些说明。对于本发明所属4支术领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单 推演或替换，都应当视为属于本发明的保护范围。
权利要求
1.一种视频数据的发送装置，包括图像采集模块、编码模块、第一RTP模块和第一UDP模块；其特征在于还包括确认重传模块；所述确认重传模块用于接收确认信息、用于判断RTP数据包是否丢失、用于判断RTP数据包已丢失后生成重传指令给所述第一UDP模块；所述第一UDP模块还用于根据重传指令来重传RTP数据包至TCP/IP传输网络。
2. 根据权利要求1所述的视频数据的发送装置，其特征在于所述确认重 传模块包括确认请求模块和重传控制模块；所述确认请求模块用于给每 一待发送的RTP Ifet据包附加确认请求；所述重传控制;f莫块用于在RTP 数据包通过第一 UDP模块发送后，在指定的时间内未收到接收装置中的 响应模块根据该RTP数据包附加的确认请求而回复的确认信息，视为该 RTP数据包丢失，则生成重传指令给所述第一 UDP模块。
3. 根据权利要求1所述的视频数据的发送装置，其特征在于所述确认重 传模块用于在RTP数据包通过第一 UDP模块发送后，在指定的时间内未 收到接收装置中的响应模块针对该RTP数据包而回复的确认信息，视 为该RTP数据包丟失，则生成重传指令给所述第一 UDP模块。
4. 一种视频数据的接收装置，包括第二UDP模块、第二RTP模块、QoS模 块、解码模块和图像输出设备，其特征在于还包括响应模块；所述响 应模块用于针对其收到的RTP数据包响应回复确认信息给到接收装置 中的确认重传模块。
5. 根据权利要求4所述的视频数据的接收装置，其特征在于所述响应模 块具体用于针对其收到的附有确认请求的RTP数据包响应回复确认信 息给到接收装置中的重传控制模块；或者具体用于针对其收到的所有 RTP数据包响应回复确认信息给到接收装置中的确认重传模块。
6. —种视频数据的发送方法，其特征在于包括以下步骤 1)图像采集模块采集视频图像数据；(2)编码模块对所采集的原始视频图像进行图像编码处理，并转换为视频帧；(3 )第一 RTP模块将视频帧分割并封装成至少一个RTP数据包；(5 )第一 UDP模块将RTP数据包发送至TCP/IP传输网络中；(6 )确认重传模块接收接收装置中响应模块响应回复的确认信息，判断RTP数据包是否丢失、判断RTP数据包已丟失后生成重传指令给第一 UDP 模块；(7 )第一 UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络。
7. 根据权利要求6所述的视频数据的发送方法，其特征在于还包括步骤 4 )，所述步骤4 )具体为确认请求模块给每一待发送的RTP数据包附 加确认请求；所述步骤7 )具体为重传控制模块在附有确认请求的RTP 数据包通过第一 UDP模块发送后，在指定的时间内未收到接收装置中的 响应模块根据该RTP数据包附加的确认请求而响应回复的确认信息，视 为该RTP数据包丢失，则生成重传指令给所述第一 UDP模块。
8. 根据权利要去6所述的视频数据的发送方法，其特征在于所述步骤 7 )具体为重传控制模块在RTP数据包通过第一 UDP模块发送后，在 指定的时间内未收到接收装置中的响应模块针对该RTP数据包响应回 复的确认信息，视为该RTP数据包丢失，则生成重传指令给所述第一 UDP模块。
9. 一种视频数据的接收方法，其特征在于所述接收方法中，接收装置中 的响应模块接收到RTP数据包后还包括以下过程通过响应模块针对其 收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块。
10. 根据权利要求9所述的视频数据的接收方法，其特征在于所述响应模 块响应回复确iU言息具体为以下两种方式之一方式一，响应模块针对其收到的附有确认请求的RTP数据包响应回复确 认信息给到发送装置中的重传控制模块；方式二，响应模块针对其收到的所有RTP数据包响应回复确认信息，给 到发送装置中的确认重传控制模块。
全文摘要
本发明公开了一种视频数据的发送、接收装置及发送、接收方法，在视频数据的发送装置上设置了确认重传模块，在视频数据的接收装置上设置了响应模块，建立了丢包重传机制，即利用接收装置中的响应模块针对其收到的RTP数据包响应回复确认信息给到发送装置中的确认重传模块，利用确认重传模块接收确认信息、判断RTP数据包是否丢失、判断RTP数据包已丢失后生成重传指令给第一UDP模块；第一UDP模块根据重传指令来重传RTP数据包至TCP/IP传输网络，由接收装置重新接收，以确保接收装置收到的数据包完整，从而保证了最后图像输出设备能够输出质量和声音效果好的视频图像，即图像不花屏，声音清晰。
文档编号H04N7/24GK101616316SQ200910108049
公开日2009年12月30日 申请日期2009年6月10日 优先权日2009年6月10日
发明者况成禹, 李均荣, 龙 杨, 健 陈 申请人:中兴通讯股份有限公司