丢包重传的方法及装置与流程

本公开涉及实时视频通信领域，尤其涉及一种丢包重传的方法及装置。
背景技术：
：随着互联网技术的发展和移动设备功能的增强，实时视频通信逐渐成为人们日常通讯的常用手段。实时视频通信技术是一种通过网络进行实时视频通信的技术，允许两人或多人使用网络进行实时视频交流，主要应用场景包括多人视频会议、视频电话、远程医疗和在线教育等。由于传输的实时性要求，实时视频传输的时候采用udp的方式。若在视频传输过程中出现数据包丢失，会造成视频图像卡顿等现象，而udp协议本身并不能做出任何检测或提示。相关技术中采取的丢包重传策略，虽可在一定程度上解决udp传输中的丢包问题，然而，在一些情况下，这种策略会造成延时增大、网络拥塞，不适用于实时视频通讯等对实时性要求比较高的场合。技术实现要素：为克服相关技术中存在的问题，本公开提出了一种改进的丢包重传的方法及装置，能够减小重传带来的延时，缓解网络拥塞。根据本公开实施例的第一方面，提供了一种丢包重传的方法，所述方法包括：接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包；若存在所述丢失的数据包，则根据已接收的数据包的类型确定所述丢失的数据包的类型；基于所述丢失的数据包的类型确定是否发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，数据包的类型包括i型、b型和p型，所述基于所述丢失的数据包的类型确定是否发送针对所述丢失的数据包的重传请求包括：若所述丢失的数据包的类型为i帧或者p帧，则发送针对所述丢失的数据包的重传请求；若所述丢失的数据包的类型为b帧，则不发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，所述方法还包括：若存在所述丢失的数据包，且不能判断出所述丢失的数据包的类型，则发送针对所述丢失的数据包的重传请求。根据本公开的第二方面，提供了一种丢包重传的方法，所述方法包括：接收重传请求，所述重传请求携带有丢失的数据包的编号；若所述编号对应的数据包是在视频数据编码过程中被参考的数据包，则重传所述编号对应的数据包。根据本公开的第三方面，提供了一种丢包重传的装置，所述装置包括：丢包检测模块，用于接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包；类型确定模块，用于当所述丢包检测模块检测到存在所述丢失的数据包时，根据已接收的数据包的类型确定所述丢失的数据包的类型；请求发送模块，用于基于所述类型确定模块确定的丢失的数据包的类型确定是否发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，所述请求发送模块具体用于：当所述丢失的数据包的类型为i帧或者p帧时，发送针对所述丢失的数据包的重传请求；当所述丢失的数据包的类型为b帧时，不发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，所述请求发送模块还用于当所述丢包检测模块检测到存在所述丢失的数据包，且所述类型确定模块不能判断出所述丢失的数据包的类型，则发送针对所述丢失的数据包的重传请求。根据本公开的第四方面，提供了一种丢包重传的装置，所述装置包括：请求接收模块，用于接收重传请求，所述重传请求携带有丢失的数据包的编号；数据发送模块，用于当所述请求接收模块接收的重传请求携带的编号对应的数据包是在视频数据编码过程中为被参考的数据包，则重传所述编号对应的数据包。本公开的实施例提供的技术方案可以包括以下有益效果：不同类型的数据包对于解码和播放的重要性不同，本公开中，基于丢失的数据包的类型确定是否重传该数据包，而非重传所有丢失的数据包，能够减少发送重传请求的数量以及重传的数据包的数量。因此，根据本公开各方面的丢包重传的方法及装置能够减少数据交互，降低延时，缓解网络拥塞。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是根据一示例性实施例示出的一种丢包重传的方法的流程图；图2是根据一示例性实施例的一种丢包重传的方法的流程图；图3是根据一示例性实施例的一种丢包重传的方法的流程图；图4是根据一示例性实施例的一种丢包重传的方法的时序图；图5是根据一示例性实施例的一种丢包重传的装置的框图；图6是根据一示例性实施例的一种丢包重传的装置的框图；图7是根据一示例性实施例的一种丢包重传的装置的框图；图8是根据一示例性实施例的一种丢包重传的装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。图1是根据一示例性实施例示出的一种丢包重传的方法的流程图。如图1所示，该方法应用于手机、解码器等视频解码设备，该丢包重传的方法包括：步骤s11，接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包。编码设备在发送原始视频的数据包前，会对视频的数据包进行编号。解码设备接收到视频的数据包后，可以根据已接收的数据包的编号检测是否存在丢失的数据包。在一个示例中，若已接收的数据包的编号不连续，则解码设备可以确定存在丢失的数据包，且不连续的编号对应的数据包即为丢失的数据包。例如：若已接收的数据包的编号为1、2、4和5，则编号3对应的数据包即为丢失的数据包。步骤s12，若存在丢失的数据包，则根据已接收的数据包的类型确定丢失的数据包的类型。如果传输未压缩视频数据，容易造成通信线路故障及数据存储容量紧张。因此，在传输视频之前，通常会对视频数据进行压缩编码。根据视频压缩编码标准，压缩后的数据包被分为不同的类型，不同类型的数据包对于解码和播放的重要性不同。数据包本身携带有类型指示信息，以便于解码设备识别所接收的每个数据包的类型，解码设备可根据数据包的类型进行解码。视频的收发双发，可约定各个类型的数据包的发送顺序规则，从而接收方可根据已接收的数据包的类型确定丢失的数据包的类型。在一种可能的实现方式中，解码设备可以根据与所述丢失的数据包的编号相邻的已接收的数据包的类型确定所述丢失的数据包的类型。在一个示例中，预设规则为：i帧-b帧-b帧-p帧-b帧-b帧-p帧-b帧-b帧，已接收的数据包如表1所示。其中，i(intra-prediction)帧为关键帧，一组数据包中可只有一个数据包的类型为i帧；p(prediction)帧为向前参考的编码帧，以前面最靠近它的i帧或p帧为参考，p帧可以是其后面p帧的参考帧，也可以是其前后的b帧的参考帧；b(bi-prediction)帧为双向参考的编码帧，以前面的i或p帧和后面的p帧为参考。解码设备确定编号2对应的数据包为丢失的数据包，由于编号1对应的数据包的类型为i帧，步骤s12可以确定丢失的数据包的类型为b帧。表1已接收的数据包编号1345类型i帧b帧p帧b帧在一种可能的实现方式，可以根据其他已接收的数据包的类型确定丢失的数据包的类型，例如根据一组已接收的数据包的类型确定丢失的数据包的类型，当一组数据包中不存在i帧类型的数据包时，可以确定丢失的数据包的类型为i帧。步骤s13，基于丢失的数据包的类型确定是否发送针对丢失的数据包的重传请求。不同类型的数据包对于解码和播放的重要性不同，本实施例中，基于丢失的数据包的类型确定是否重传该数据包，而非重传所有丢失的数据包，能够减少发送的重传请求的数量以及重传的数据包的数量。因此，根据本公开各方面的丢包重传的方法及装置能够减少数据交互，降低延时，缓解网络拥塞。在一种可能的实现方式中，数据包的类型包括i帧、b帧和p帧，若丢失的数据包的类型为i帧或者p帧，则发送针对丢失的数据包的重传请求；若丢失的数据包的类型为b帧，则不发送针对丢失的数据包的重传请求。在编码过程中，i帧类型的数据包一定会被其他数据包作为参考，因此i帧类型的数据包丢失后一定会影响后续解码过程，影响视频画面的正常播放，因此，若丢失的数据包的类型为i帧，则发送针对丢失的数据包的重传请求。在编码过程中，p帧类型的数据包可能被p帧类型或者b帧类型的数据包作为参考。因此，p帧类型的数据包丢失后可能会影响后续解码过程。由于解码设备无法确定p帧类型的数据包实际是否被其他数据包作为参考，为了减少对视频画面播放的影响，提高用户体验若丢失的数据包的类型为p帧，则发送针对丢失的数据包的重传请求。在编码过程中，b帧类型一定不会被其他数据包作为参考。因此，b帧类型的数据包丢失后不会影响后续解码过程，若丢失的数据包的类型为b帧，则不发送针对丢失的数据包的重传请求。通过发送针对i帧和p帧类型的丢失数据包的重传请求、而不发送针对b帧类型的丢失数据包的重传请求，根据本公开的丢包重传的方法能够在不影响视频播放的前提下，减少发送重传请求的数量，减少数据交互，降低延时，缓解网络拥塞。图2是根据一示例性实施例示出的一种丢包重传的方法的流程图。如图2所示，在图1的基础上，在执行步骤s11接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包之后，还可以执行步骤s14：步骤s14，若存在丢失的数据包，且不能判断出丢失的数据包的类型，则发送针对丢失的数据包的重传请求。在一种可能的实现方式中，当丢失的数据包的类型存在一种以上的可能性是，发送针对丢失的数据包的重传请求。在一个示例中，预设规则为：i帧-b帧-b帧-p帧-b帧-b帧-p帧-b帧-b帧，已接收的数据包如表2所示。解码设备确定编号3对应的数据包为丢失的数据包，编号2对应的数据包的类型为b帧，根据与丢失的数据包的编号相邻的已接收的数据包的类型确定丢失的数据包的类型时，编号3对应的的数据包的类型可能是b帧或者p帧。丢失的数据包的类型具有不确定性，此时需要发送针对丢失的数据包的重传请求。表2已接收的数据包编号1245类型i帧b帧p帧b帧在一种可能的实现方式中，当出现整组数据包全部丢失时，发送针对该组数据包中每个数据包的重传请求。通过不能判断出丢失的数据包的类型的情况下，发送针对丢失的数据包的重传请求，根据本公开的丢包重传的方法可以避免重要数据包丢失造成解码失败，从而影响视频播放的问题。图3是根据一示例性实施例示出的丢包重传的方法的流程图。如图3所示，该方法应用于摄像机、编码器等编码设备，该丢包重传的方法包括：步骤s21，接收重传请求，重传请求携带有丢失的数据包的编号。步骤s22，若编号对应的数据包是在视频数据编码过程中被参考的数据包，则重传编号对应的数据包。虽然解码设备可能无法判断出类型的丢失的数据包，但是数据包的类型是由编码设备确定的，因此编码设备能够准确获知每个数据包的类型。虽然解码设备无法判断p帧类型的数据包是否在视频数据编码过程中被参考，但解码设备可以确定每个p帧类型的数据包在视频数据编码过程中是否被参考。在一种可能的实现方式中，当编号对应的数据包的类型为i帧时，编码设备重传编号对应的数据包。在一种可能的实现方式中，当编号对应的数据包的类型为b帧时，编码设备不重传编号对应的数据包。在一种可能的实现方式中，当编号对应的数据包的类型为p帧时，编码设备可以不重传未被其他数据包作为参考的p帧类型的数据包，编码设备重传被其他数据包作为参考的p帧类型的数据包。通过，不重传在视频数据编码过程中为未被参考的数据包，根据本公开的丢包重传的方法能够在不影响视频播放的情况下，减少重传的数据包的数量，减少数据交互，降低重传数据包带来的延时，缓解网络拥塞。图4是根据一示例性实施例示出的一种丢包重传的方法的时序图。如图4所示，该丢包重传的方法包括：步骤s31，编码设备向解码设备发送视频的数据包。步骤s32，解码设备接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包。步骤s33，若存在丢失的数据包，则解码设备根据已接收的数据包的类型确定丢失的数据包的类型。若能够判断出丢失包的类型，则执行步骤s34；否则，执行步骤s35。步骤s34，若丢失的数据包的类型为i帧或者p帧，则解码设备向编码设备发送针对丢失的数据包的重传请求。步骤s35，解码设备向编码设备发送针对丢失的数据包的重传请求。步骤s36，编码设备接收解码设备发送的重传请求，重传请求携带有丢失的数据包的编号。步骤s37，若编号对应的数据包是在视频数据编码过程中被参考的数据包，则编码设备向解码设备重传编号对应的数据包。通过解码设备基于丢失的数据包的类型确定是否发送重传请求，编码设备基于重传请求对应的数据包在视频数据编码过程中是否被参考确定是否重传数据包，根据本公开的丢包重传的方法，既可以减少解码设备发送的重传请求的数量，又可以减少重传的数据包的数量。因此，本公开的丢包重传的方法能够减少数据交互，降低重传带来的延时，缓解网络拥塞。图5是根据一示例性实施例示出的一种丢包重传的装置500的框图。参照图5，该装置500包括：丢包检测模块501，用于接收视频的数据包，并根据已接收的数据包的编号检测是否存在丢失的数据包；类型确定模块502，用于当所述丢包检测模块502检测到存在所述丢失的数据包时，根据已接收的数据包的类型确定所述丢失的数据包的类型；请求发送模块503，用于基于所述类型确定模块502确定的丢失的数据包的类型确定是否发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，数据包的类型包括i帧、b帧和p帧，所述请求发送模块503具体用于：当所述丢失的数据包的类型为i帧或者p帧时，发送针对所述丢失的数据包的重传请求；当所述丢失的数据包的类型为b帧时，不发送针对所述丢失的数据包的重传请求。在一种可能的实现方式中，所述类型确定模块502还用于根据与所述丢失的数据包的编号相邻的已接收的数据包的类型确定所述丢失的数据包的类型。在一种可能的实现方式中，所述请求发送模块还用于当所述丢包检测模块501检测到存在所述丢失的数据包，且所述类型确定模块502不能判断出所述丢失的数据包的类型，则发送针对所述丢失的数据包的重传请求。图6是根据一示例性实施例示出的一种丢包重传的装置600的框图。参照图6，该装置600包括：请求接收模块601，用于接收重传请求，所述重传请求携带有丢失的数据包的编号；数据发送模块602，用于当所述请求接收模块601接收的重传请求携带的编号对应的数据包是在视频数据编码过程中被参考的数据包，则重传所述编号对应的数据包。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。图7是根据一示例性实施例示出的一种用于丢包重传的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。图8是根据一示例性实施例示出的一种用于丢包重传的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图8，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(i/o)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1932，上述指令可由装置1900的处理组件1922执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。当前第1页12