一种IP视频超低延时传输方法及装置与流程

本发明涉及ip视频信号传输系统领域，尤其涉及一种ip视频超低延时传输方法及装置。

背景技术：

ip视频信号传输系统功能是用来实现视频信号以ip信号的形式在网络中传输，从源端传送到目的端。相对于传统的dvi线缆传输，其优点体现在：信号源灵活接入系统；传输距离不限制；视频信号可在任何地方呈现。

典型的ip视频信号传输系统由以下组件构成：采集、编码、传输、解码、显示。采集组件负责采集外部的视频信号，例如采集电脑输出视频信号。编码组件负责将采集到的视频数据进行压缩编码。传输组件负责将压缩后的数据发送出去，经传输介质，到达目的端。解码组件负责将传输的数据进行解码。显示组件负责将解码后的视频信号显示出来。所有组件基于串行化的方式工作，各组件数据流传递基于上一级组件推送的方式。

衡量ip视频信号传输系统的指标包括：图像还原度、传输延时、传输带宽等。在某些交互应用场景，例如视频会议系统、ipkvm等。在视频会议系统应用，互相交互多个会议场景的音视频数据经网络传输，在目的端呈现。传输延时是衡量视频会议系统的一个关键指标参数。假如传输延时过大，会引起会议交互的响应过慢，使得沟通效率变低，更严重是引起参与视频会议者不适。ipkvm是一种远程控制电脑的技术，使得用户可以在任意部署了控制节点的地方，远程控制需要控制的电脑，解决了传统的要在本地控制电脑的限制，大大的提高电脑使用的灵活性。传输延时也是一个衡量ipkvm系统关键指标参数，低延时使得用户在远程控制电脑，与本地的体验感一样。高延时使得用户在远程控制电脑时，有滞后感，影响用户使用。

ip视频信号传输系统由采集、编码、传输、解码、显示组件构成。每个组件处理都需要时间，会引入延时的问题。传输系统的总延时等于这几个组件各自延时的累加和。减少传输系统的总延时，分别减少每个组件的处理延时一种方案。下面是几种常见的减少总延时的方案：1.只编码i/p帧，不包括b帧。因为b帧编码采用前后预测的方式，需缓存更多的图像数据帧，带来较大的延时。2.利用漏桶算法控制目标码率。采用动态变化码率的方式，使得码流数据总体较小，适用于存储的应用，但是会使得延时增大。所以，采用常量码流的控制方式，码流输出稳定，延时较小。3.利用编解码纠错功能。ip信号在传输过程中，避免不了有丢包，数据错误等问题，在解码器处理这些异常的码率时，会耗费较多时间，引起延时过大。所以，在编码器使能纠错功能，当传输有异常发生时，解码器可迅速修复错误，使得处理时间较短，延时较小。以上是一些常见的缩短传输系统延时的方法，从根本上来讲，没有一个较大的改善。所以，需要有一种方法，能够较大的改善传输的延时，使得传输延时控制在小于60毫秒。

因此，提供一种能从根本上、较大地改善ip视频传输延时的方法及装置为本领域技术人员需要解决的技术问题。

技术实现要素：

本发明实施例提供了一种ip视频超低延时传输方法及装置，从根本上、较大地改善ip视频传输延时。

本发明实施例提供了一种ip视频超低延时传输方法，包括：

获取到图像帧后，将所述图像帧划分为m个图像片；

对所述图像片进行采集、编码、解码和显示；

其中，m≥2。

优选地，与所述图像帧对应的视频信号帧率为30fps。

优选地，所述图像片的行数n，n为16的倍数。

优选地，所述对所述图像片进行采集、编码、解码和显示具体为：

按行数接收与所述图像片对应的图像数据，得到行数为n的所述图像片；

通过编解码算法对所述图像片进行压缩操作得到输出码流数据；

通过所述编解码算法对所述输出码流数据进行解压操作得到解压后的图像片；

显示所述解压后的图像片。

优选地，所述编解码算法为h.261或h.263或h.264或h.265。

优选地，本发明实施例还提供了一种ip视频超低延时传输装置，包括：

划分模块，用于获取到图像帧后，将所述图像帧划分为m个图像片；

传输模块，用于对所述图像片进行采集、编码、解码和显示；

其中，m≥2。

优选地，与所述图像帧对应的视频信号帧率为30fps。

优选地，所述图像片的行数n，n为16的倍数。

优选地，所述传输模块包括：

采集单元，用于按行数接收与所述图像片对应的图像数据，得到行数为n的所述图像片；

编码单元，用于通过编解码算法对所述图像片进行压缩操作得到输出码流数据；

传输单元，用于从所述编码单元获取到所述输出码流数据，并将所述输出码流数据发送至解码单元。

所述解码单元，用于通过所述编解码算法对所述输出码流数据进行解压操作得到解压后的图像片；

显示单元，用于显示所述解压后的图像片。

优选地，所述编解码算法为h.261或h.263或h.264或h.265。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例提供了一种ip视频超低延时传输方法及装置，其中，该ip视频超低延时传输方法包括：获取到图像帧后，将所述图像帧划分为m个图像片；对所述图像片进行采集、编码、解码和显示；其中，m≥2。本发明实施例通过对图像帧进行拆分得到多个图像片，再对图像片进行传输从而实现了对传输延时的改进，提高了传输系统的处理效率，并实现了传输系统的超低延时。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种ip视频超低延时传输方法的流程示意图；

图2为本发明实施例提供的一种ip视频超低延时传输方法的另一流程示意图；

图3为本发明实施例提供的一种ip视频超低延时传输装置的结构示意图；

图4为典型的ip视频传输系统的结构示意图；

图5和图6为典型的ip视频传输系统的各个组件的延时分析示意图；

图7为将一个完整的图像帧拆分为多个图像片的示意图；

图8为改进后的ip视频传输系统的结构示意图；

图9为改进后的ip视频传输系统的各个组件的延时分析示意图。

具体实施方式

本发明实施例提供了一种ip视频超低延时传输方法及装置，从根本上、较大地改善ip视频传输延时。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供的一种ip视频超低延时传输方法的一个实施例，包括：

101、获取到图像帧后，将图像帧划分为m个图像片；

获取到视频源信号的完整图像帧后，将图像帧划分为m个图像片，其中，m≥2。需要说明的是，这m个图像片大小一致，即行数相同。

102、对图像片进行采集、编码、解码和显示；

划分完成后，对图像片进行采集、编码、解码和显示。

请参阅图2，本发明实施例提供的一种ip视频超低延时传输方法的另一个实施例，包括：

201、获取到图像帧后，将图像帧划分为m个图像片；

获取到视频源信号的完整图像帧后，将图像帧划分为m个图像片，其中，m≥2。需要说明的是，这m个图像片大小一致，即行数相同。

202、按行数接收与图像片对应的图像数据，得到行数为n的图像片；

对图像帧划分完成后，按行数接收与图像片对应的图像数据，得到行数为n的图像片。需要说明的是，在接收图像数据时，是按一行一行进行接收的，接收了n行图像数据后，则得到一个图像片。

203、通过编解码算法对图像片进行压缩操作得到输出码流数据；

得到图像片后，通过编解码算法对图像片进行压缩操作得到输出码流数据。

204、通过编解码算法对输出码流数据进行解压操作得到解压后的图像片；

得到输出码流数据后，通过编解码算法对输出码流数据进行解压操作得到解压后的图像片。

205、显示解压后的图像片。

在显示图像片时，显示的过程中是对图像数据进行一行一行的扫描实现显示的。故在对一个图像片进行显示时，逐行显示直至显示n行后，便完整显示出一个图像片。

进一步地，与图像帧对应的视频信号帧率为30fps。

进一步地，图像片的行数n，n为16的倍数。

进一步地，编解码算法为h.261或h.263或h.264或h.265，需要说明的是，编解码算法是h.264时，每个图像片的行数n必须是16的倍数；编解码算法是h.265时，每个图像片的行数n必须是64的倍数。

上面是对一种ip视频超低延时传输方法进行的详细说明，为便于理解，下面将以一具体应用场景对一种ip视频超低延时传输方法的应用进行说明，应用例包括：

典型的ip视频传输系统由以下组件构成，如图4所示：

视频编解码传输系统包括视频采集、视频编码、传输、视频解码、视频显示这几个组件。

组件1负责采集外部的视频信号，例如采集电脑输出视频信号。

组件2负责将组件1采集到的视频数据进行压缩编码。

组件3为发送子模块、组件4为网络、组件5为接收子模块。负责将组件2压缩后的数据发送出去，经传输介质，到达目的端。

组件6负责将组件5接收到的数据进行解码。

组件7负责将组件6解码后的视频信号显示出来。

所有组件基于串行化的方式工作，各组件数据流传递基于上一级组件推送的方式。

延时分析，每个组件的延时分析如图5、图6所示：

假定视频信号帧率是30fps，采集组件至少缓存一帧，采集组件延时大概是33毫秒。如果采集组件要处理更多，所需的帧缓存更多，那么引入更大的延时。编码组件至少缓存一到两帧，具体与编码器的配置有关。那么编码组件的延时大概是33毫秒或者66毫秒。传输组件包括发送、网络传输介质、接收三个模块，延时时间与实际环境有关。解码组件至少缓存一到两帧，具体与解码器的配置有关。那么解码组件的延时大概是33毫秒或者66毫秒。显示组件按照60hz的刷新率输出，缓存两帧，那么延时大概是33毫秒。所以传输系统的总体延时为：132+x(毫秒)。

上述的ip视频传输系统，各个组件基于串行的工作模式。每个组件都有一个输入、输出(采集组件没有输入、显示组件没有输出)。组件接收上一个组件的输出，经过处理后，输出给下一个组件。每个组件处理过程需要缓存一定数量的图像帧，各个组件累加起来就是传输系统的所有帧缓存。如果按照视频源是30帧来计算，则帧间隔时间为33毫秒。设定传输系统的帧缓存数量为n，则总延时为(n*33+x)毫秒。其中x为在网络中的传输延时，因以实际的网络环境有关，所以定义为x。可以看到，这种基于帧的处理方式，只要某个组件缓存多一帧图像，就会增加33毫秒的传输延时(假定视频源是30fps)。为了解决此问题，本发明提出了一种基于图像片的处理方法。图像片的概念相对于图像帧，是把一个图像帧分割为多个片，每个组件的处理方式基于一个个的片。假定一个图像帧拆分为4个片，那么，图像片的间隔时间为33/4＝8毫秒。设定传输系统的片缓存数量为n，则系统总延时为(n*8+x)毫秒。只要某个组件缓存多一片图像，会增加8毫秒的传输延时。可以看到，这种基于图像片的处理方法，可有效地降低了系统的传输延时。

本发明实施例提供的一种ip视频超低延时传输方法具体实现过程如下：

(1)图像帧划分为片

将一个完整的图像帧按照规则拆分为多个片。如图7所示：

因为采集、显示组件处理是基于行的(采集的时候，是一行一行的接收的；显示的时候，是一行一行的扫描的)。在编解码组件处理时，是按照某个参数的倍数行。编解码算法是h.264时，每个片的行数必须是16的倍数；编解码算法是h.265时，每个片的行数必须是64的倍数。所以，有以下等式：

nlines＝m*16forh.261/3/4

nlines＝m*64forh.265

每片的分辨率是widthxn，width是原来图像帧的宽度，n是行数。

(2)改进的传输系统

基于图像片的处理方式，改进后的传输系统如图8所示：

采集组件基于视频行采集，在原本的方案，采集组件接收完毕一帧原始图像数据后，才交给下一个组件处理，后面的所有组件都基于该图像帧处理。在本方案中，采集组件接收到n行原始图像数据后(n要满足16的倍数)，即把该图像数据片交给下一个组件处理。后面的所有组件都基于该图像数据片进行处理。在显示组件，收到解码组件送过来的图像数据片，不用经过任何的缓存，即可按行扫描输出。如上图所示，基于图像数据片的处理方式，采集组件按行接收原始视频数据，接收n行后，就把该n行组成的图像数据片交给编码组件处理，接收n行所需要的时间为d1毫秒。编码组件接收到该图像数据片，用某种算法对该片进行压缩处理，输出码流数据，所耗费的时间为d2毫秒。编码组件处理完毕交给传输组件(包括发送、网络、接收三个模块)，该组件的处理时间因为与实际环境有关，定义为x毫秒。解码组件接收到前面编码组件输出的码流数据，用对应的算法对码流数据进行解压，所耗费时间为d3毫秒。码流数据经过解压后，得到图像数据片，交给显示组件进行输出处理，所耗费时间为d4毫秒。所以整个传输系统加起来的传输延时是d1+d2+d3+d4+x毫秒。在原本的传输系统，至少缓存了四帧图像，那么总体传输延时是132+x毫秒。在本方案的传输系统，假定每一帧图像拆分为四片，那么每一片的采集时间为33/4＝8毫秒。假定传输系统缓存了四片图像，那么总体传输延时是32+x毫秒。在不计算网络传输延时下，传输延时是原本的四分之一。从计算结果来分析，该传输系统比原来大大地改进了传输延时，真正达到超低延时的效果。

(3)传输序列图

下面用序列图来表示新的ip视频超低延时传输系统，如图9所示。

序列图有助于理解ip视频超低延时传输系统各组件的交互关系。从上述的两个序列图不同点可以看出：基于图像数据帧的处理方式，序列图中的每个组件随着时间的推移串行处理，处理时间不会出现重叠。而在基于图像数据片的处理方式，序列图的每个组件处理时间出现重叠。这种时间上的重叠，使得组件间可以并行处理，提高了系统的处理效率。另外，这种基于图像数据片的处理方式，也是流水线处理技术的一个应用。众所周知，计算机的指令处理是流水线处理的，提高了指令执行的速度。所以，在本方案中，基于图像数据片的处理技术，真正提高了传输系统的处理效率，真正实现了传输系统的超低延时。

请参阅图3，本发明实施例提供的一种ip视频超低延时传输装置的一个实施例，包括：

划分模块301，用于获取到图像帧后，将图像帧划分为m个图像片；

传输模块302，用于对图像片进行采集、编码、解码和显示；

传输模块302包括：

采集单元3021，用于按行数接收与图像片对应的图像数据，得到行数为n的图像片；

编码单元3022，用于通过编解码算法对图像片进行压缩操作得到输出码流数据；

传输单元3023，用于从编码单元获取到输出码流数据，并将输出码流数据发送至解码单元。

解码单元3024，用于通过编解码算法对输出码流数据进行解压操作得到解压后的图像片；

显示单元3025，用于显示解压后的图像片。

其中，m≥2。

进一步地，与图像帧对应的视频信号帧率为30fps。

进一步地，图像片的行数n，n为16的倍数。

进一步地，编解码算法为h.261或h.263或h.264或h.265。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。