一种超低时延的h.264编码方法及编码器的制造方法
【技术领域】
[0001]本发明涉及视频信号编码技术，尤其是一种H.264编码技术。
【背景技术】
[0002]在交互性强的网络视频聊天或视频会议中，视频时延是关键的系统性能质量指标。如果视频延迟偏大，那么会严重影响用户的交流观感。
[0003]另外，在无人机控制领域，现有的无人机控制是基于遥控装置发回的流媒体图像作为反馈信号进行控制。为了控制无人机，从传感器发送视频至压缩引擎到解码图像显示之间的时延通常要小于100毫秒。
[0004]然而现有的视频传输均存在延时，其包括编码延时、传输延时、解码延时，其中编码延时占了传输延时的很大部分。目前大部分视频编码的时延都在200毫秒以上，对于以上特定的应用，时延不能满足要求。
【发明内容】
[0005]本发明所要解决的技术问题是:针对上述存在的问题，提供一种超低时延的
H.264编码方法。
[0006]本发明提供的一种超低时延的H.264编码方法，包括:
步骤1:对输入的视频进行预处理；
步骤2:缓存预处理后的视频中的若干个视频线；
步骤3:对所述若干视频线进行帧预测；
步骤4:将帧预测结果依次进行DCT编码及量化；
步骤5:将步骤4中的量化结果及运动矢量进行熵编码；
步骤6:将熵编码的结果进行缓冲后输出；
其中，所述帧预测进一步包括:
步骤31:将前若干视频线与运动补偿运算得到的结果进行叠加并缓存；
步骤32:将步骤31缓存的内容及步骤2缓存的内容进行运动估计得到运动矢量； 步骤33:将运动矢量与步骤31缓存的内容进行运动补偿运算；
步骤34:从步骤2缓存的内容中减去运动补偿运算的结果得到帧预测的结果。
[0007]进一步，所述前若干视频线的获取方法包括:
步骤311:将步骤4的结果进行反量化；
步骤312:将反量化的结果进行IDCT运算。
[0008]进一步，所述若干视频线为16个视频线。
[0009]本发明还提供了一种超低时延的H.264编码器，包括:
预处理单元，用于将输入的视频进行预处理；
第一帧缓存单元，用于缓存预处理后的视频中的若干视频线；
帧预测单元，用于对所述若干视频线进行帧预测； DCT编码单元，用于对帧预测后的结果进行DCT编码；
量化单元，用于对DCT编码后的结果进行量化；
熵编码单元，用于将量化结果及运动矢量进行熵编码；
缓冲单元，用于将熵编码的结果进行缓冲后输出；
其中，所述帧预测单元进一步包括:
加法单元，用于将前若干视频线与运动补偿运算得到的结果进行叠加并缓存；
第二帧缓存单元，用于缓存加法单元输出的结果；
运动估计单元，用于将第二缓存单元缓存的内容及第一缓存单元缓存的内容进行运动估计得到运动矢量；
运动补偿单元，用于将运动矢量与第二缓存单元缓存的内容进行运动补偿运算；
减法单元，用于从第一缓存单元缓存的内容中减去运动补偿运算的结果得到帧预测的结果。
[0010]进一步，还包括:
反量化单元，用于将量化单元输出的结果进行反量化；
IDCT单元，用于将反量化的结果进行IDCT运算得到前若干视频线。
[0011]综上所述，由于采用了上述技术方案，本发明的有益效果是:
本发明在编码时仅预存视频帧中的若干视频线而不是预存一个完整的视频帧，大大缩减了预存时间，降低了编码时延，相比于普通的编码时延200毫秒以上，本发明可以将时延降低到I毫秒以内，能够很好的满足视频聊天或无人机控制对视频编码的超低时延要求。
【附图说明】
[0012]本发明将通过例子并参照附图的方式说明，其中:
图1为本发明中编码流程框图。
【具体实施方式】
[0013]本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0014]本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0015]传统的H.264编码时延通常以帧来表示，如一般在压缩开始前必须缓冲一个完整帧的时间。假设编码速度可以提高，那么仅通过帧速率加倍即可降低编码时延，也就是说，帧速率为30fps时每帧时延为33毫秒，而帧速率为60fps时每帧时延则为16.5毫秒。
[0016]但是这样的低时延仍然不能满足某些特定场合对超低时延的要求。
[0017]本发明通过优化H.264编码时的帧缓存模块，在不缓存时并非缓存一个完整的视频帧，只缓冲若干个视频线，就开始压缩编码，进一步降低编码时延。
[0018]如图1所示，本发明编码方法的一个具体实施例包括:
步骤1:对输入的视频进行预处理；
步骤2:缓存预处理后的视频中的若干个视频线； 步骤3:对所述若干视频线进行帧预测；
步骤4:将帧预测结果依次进行DCT编码及量化；
步骤5:将步骤4中的量化结果及运动矢量进行熵编码；
步骤6:将熵编码的结果进行缓冲后输出；
其中，所述帧预测进一步包括:
步骤31:将前若干视频线与运动补偿运算得到的结果进行叠加并缓存；
步骤32:将步骤31缓存的内容及步骤2缓存的内容进行运动估计得到运动矢量； 步骤33:将运动矢量与步骤31缓存的内容进行运动补偿运算；
步骤34:从步骤2缓存的内容中减去运动补偿运算的结果得到帧预测的结果。
[0019]所述前若干视频线的获取方法包括:
步骤311:将步骤4的结果进行反量化；
步骤312:将反量化的结果进行IDCT运算。
[0020]本发明中所提到的预处理、DCT编码、量化、商编码、反量化、IDCT、运动估计及运动补偿均为H.264编码标准中的技术，在此不再赘述其详细步骤。
[0021]在一个优选的实施例中，缓存的视频线个数为16，但是不应将16理解为本发明的限制，根据具体的时延需求可缓存不同数量的视频线，但是当缓存的视频线过少时会影响编码效率。
[0022]对于1080p30帧的视频流而言(帧速率为30fps，1080p表示1080行逐行扫描)，采用本发明方法编码时的时延为16/1080/30=494微秒，时延不足500微秒(16个视频线表示一个完整帧1080行中的16行)。而对于480p30视频流而言，时延则低于I毫秒。缓冲16个视频线，相比与缓冲一整帧，编码效率降低20%左右，但是编码时延从33毫秒减少到500微秒。对于某些超低时延要求的特殊应用，这样是很有效的。
[0023]本发明并不局限于前述的【具体实施方式】。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
【主权项】
1.一种超低时延的H.264编码方法，其特征在于，包括: 步骤1:对输入的视频进行预处理； 步骤2:缓存预处理后的视频中的若干个视频线； 步骤3:对所述若干视频线进行帧预测； 步骤4:将帧预测结果依次进行DCT编码及量化； 步骤5:将步骤4中的量化结果及运动矢量进行熵编码； 步骤6:将熵编码的结果进行缓冲后输出； 其中，所述帧预测进一步包括: 步骤31:将前若干视频线与运动补偿运算得到的结果进行叠加并缓存； 步骤32:将步骤31缓存的内容及步骤2缓存的内容进行运动估计得到运动矢量； 步骤33:将运动矢量与步骤31缓存的内容进行运动补偿运算； 步骤34:从步骤2缓存的内容中减去运动补偿运算的结果得到帧预测的结果。
2.根据权利要求1所述的一种超低时延的H.264编码方法，其特征在于，所述前若干视频线的获取方法包括: 步骤311:将步骤4的结果进行反量化； 步骤312:将反量化的结果进行IDCT运算。
3.根据权利要求1所述的一种超低时延的H.264编码方法，其特征在于，所述若干视频线为16个视频线。
4.一种超低时延的H.264编码器，其特征在于，包括: 预处理单元，用于将输入的视频进行预处理； 第一帧缓存单元，用于缓存预处理后的视频中的若干视频线； 帧预测单元，用于对所述若干视频线进行帧预测； DCT编码单元，用于对帧预测后的结果进行DCT编码； 量化单元，用于对DCT编码后的结果进行量化； 熵编码单元，用于将量化结果及运动矢量进行熵编码； 缓冲单元，用于将熵编码的结果进行缓冲后输出； 其中，所述帧预测单元进一步包括: 加法单元，用于将前若干视频线与运动补偿运算得到的结果进行叠加并缓存； 第二帧缓存单元，用于缓存加法单元输出的结果； 运动估计单元，用于将第二缓存单元缓存的内容及第一缓存单元缓存的内容进行运动估计得到运动矢量； 运动补偿单元，用于将运动矢量与第二缓存单元缓存的内容进行运动补偿运算； 减法单元，用于从第一缓存单元缓存的内容中减去运动补偿运算的结果得到帧预测的结果。
5.根据权利要求4所述的一种超低时延的H.264编码器，其特征在于，还包括: 反量化单元，用于将量化单元输出的结果进行反量化； IDCT单元，用于将反量化的结果进行IDCT运算得到前若干视频线。
6.根据权利要求4所述的一种超低时延的H.264编码器，其特征在于，所述若干视频线为16个视频线。
【专利摘要】本发明公开了一种超低时延的H.264编码方法及编码器，涉及视频信号编码技术。本发明技术要点包括：对输入的视频进行预处理；缓存预处理后的视频中的若干个视频线；对所述若干视频线进行帧预测；将帧预测结果依次进行DCT编码及量化；将量化结果及运动矢量进行熵编码；将熵编码的结果进行缓冲后输出等。
【IPC分类】H04N19-61
【公开号】CN104768021
【申请号】CN201510191983
【发明人】陈庆, 何川, 吴海军, 董光利, 陈程
【申请人】四川正冠科技有限公司
【公开日】2015年7月8日
【申请日】2015年4月22日