一种面向多核dsp运动估计的数据预取方法
【专利摘要】本发明公布了一种面向多核DSP运动估计的数据预取方法，该方法根据运动估计中数据的空间相关性和预测运动矢量预取编码块和参考块的数据，将编码块、参考块的数据预取到核的局部存储器，实现了当前编码块运动估计操作与下一个编码块和参考块的数据装入操作并行，降低了运动估计中存储器对多核处理器速度的影响，实验证明本发明的数据预取方法使得多核DSP并行视频编码中运动估计处理速度明显提高。
【专利说明】—种面向多核DSP运动估计的数据预取方法
【技术领域】
[0001]本发明属于多媒体编解码领域，具体涉及一种针对嵌入式多核DSP处理器并行视频编码中运动估计的数据预取方法，是一种通过数据预取加速视频运动估计处理过程的方法。
【背景技术】
[0002]运动估计是基于混合编码框架的视频编码的主要组成部分之一，运动估计以数据块为单位完成预测、运动搜索、运动补偿、DCT变换和量化等操作，在视频编码中运动估计以数据块为处理单元，H.264/AVC编码中运动估计的数据块包含宏块(MB)、亚宏块、块等，HEVC编码中运动估计的数据块包含编码单元(⑶)、预测单元(PU)和变换单元(TU)等，P帧的运动估计需要当前编码帧和一个参考帧的数据、B帧的运动估计需要当前编码帧和一个前向参考帧、一个后向参考帧的数据，处理的数据的吞吐量很大。在1080i格式的视频序列中每帧图像的分辨率为1920X 1080，每秒钟输出60帧图像，用YUV (4:2:0)格式表示彩色信息每秒产生的编码数据达到0.746Gbps,运动估计中的数据达到1.5Gbps以上，随着视频质量的提高，产生的视频数据量还在急剧增加。嵌入式系统中视频编码越来越多的采用多核DSP处理器实现，嵌入式多核DSP处理器为多级存储结构，每个核各自独立拥有局部存储器，所有核共享MSM存储器和大容量的片外存储器。局部存储器容量小，速度最快；MSM存储器较大，速度较慢，外部存储器容量大，速度慢。由于多核DSP处理器的局部存储空间小，不能存储整个编码帧和参考帧的数据，需要把编码帧和参考帧划分为小的数据块，将编码帧的当前编码块和参考块的数据存储到内部存储器而编码帧和参考帧存储在外部存储器。如图1所示，在嵌入式多核视频编码器中，首先由视频采集得到视频数据并暂时存储在大容量的外部存储器中，在编码时由外部存储器读取到内部存储器做运算，然而处理器性能以每年60%的速度增长，而存储器访问性能每年提高不到10%，处理器和存储器之间的性能差距还在不断增大，存储器成为系统性能瓶颈，多核处理器中存储瓶颈问题更为严重，运动估计由于需要的数据量大，存储器瓶颈成为影响处理速度的重要因素。
[0003]为了降低存储瓶颈的影响，采用多级存储结构的多核处理器存储性能靠Cache的命中率来保证，然而多级存储结构中Cache不命中会引起外部访存操作长延迟，长延迟时间可达上百个处理器时钟周期，降低了处理器的执行速度，如TMS320C6678存储器Cache读失效在最坏情况下的延迟为287个时钟周期，合计287ns (核工作在1GHz)。在运动估计中处理数据量大，Cache不命中造成的影响更为明显。数据预取技术在数据使用之前对数据提前读取，通过计算和访存操作重叠降低处理器的等待时间。现有申请号为200410101465.2的专利“视频编解码过程中宏块数据读取的方法”通过建立“宏块地址映射表”的方式解决缓冲区命中率失效问题，但是这种方法仅仅提供了 一种视频帧中宏块数据的索引方式，只能降低Cache失效带来的影响，没有实现编码中参考帧的数据预取问题，而运动估计中往往需要搜索多个参考块的数据，数据量更大，对运动估计的影响也更大。申请号为200710046929.8的专利“视频处理中数据预取系统”在处理器和存储器之间增加“数据预取模块”的方式实现数据块预取，但是这种通过增加硬件单元实现预取的方式不适用于商业化的嵌入式DSP处理器，同时由于缺乏同步机制，这种方法不适用于多核DSP处理器并行实现。
[0004]本发明根据并行编码中运动估计处理的数据空间相关性和预测运动矢量预取编码帧和参考帧的数据，实现了数据读取和运动估计处理的并行，有效的降低了存储瓶颈对多核DSP处理器处理速度的影响，实验表明该方法有效的提高了嵌入式多核DSP处理器运动估计的执行速度。
【发明内容】
[0005]为了克服多核DSP处理器在应用于运动估计时访问存储器造成的延时，本发明公布了一种根据运动估计中数据空间相关性和预测运动矢量预取编码帧和参考帧的数据的技术，在上一个数据块编码的同时使用DMA预取下一个编码块和参考的数据，实现了运动估计数据读取和处理的并行。实验证明，该方法有效的提高了多核DSP处理器运动估计操作的处理速度。
[0006]为实现上述目的，本发明采用了下述技术方案:
[0007]—种面向多核DSP运动估计的数据预取方法(如图4所示)，步骤如下:
[0008]步骤1、设置预取数据块大小，划分编码块、参考块大小，编码块和参考块的数据存储在核的局部存储器中，并将存储区设置为Ping-Pang结构；
[0009]步骤2、如果当前执行运动估计的编码块属于P帧，则执行预测、运动搜索操作，预取下一个编码块和参考块的数据；
[0010]步骤3、如果当前执行运动估计的编码块属于B帧，则执行预测、运动搜索操作，预取下一个编码块和前向参考块、后向参考块的数据。
[0011]所述步骤I具体包括如下操作:
[0012](I)编码帧、参考帧按照多核DSP局部存储器容量和运动估计中处理的数据块大小划分为编码块和参考块，编码图像帧和参考帧的数据存储在外部大容量存储器内，当前编码块和参考块的数据存储在局部存储器内；
[0013](2)编码巾贞划分为编码块和编码行，如图2所不，多核DSP的各个核以编码行为单位执行运动估计操作，即当前核结束一个编码行运动估计操作后立即获取后面第一个未做运动估计编码行继续进行；
[0014](3)设置系统控制表，系统控制表包括当前编码帧计数器、当前编码帧中第一个未做运动估计操作的编码行指示器，当前编码帧编码状态表，系统控制表为多核共用，以实现各核同步；
[0015](4)在局部存储器中为当前编码块和参考数据块设置Ping-Pang结构存储区，当前编码的为Pang,数据预取到Ping。
[0016]所述步骤2具体包括如下步骤:
[0017](I)若当前编码块属于P帧，执行编码块运动估计中的预测和运动搜索操作；
[0018](2)启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的内部存储器，源地址、目的地址、数据块大小按公式(I)计算；
[0019]
【权利要求】
1.一种面向多核DSP运动估计的数据预取方法，其特征在于:步骤如下: 步骤1、设置预取数据块大小，划分编码块、参考块大小，编码块和参考块的数据存储在核的局部存储器中，并将存储区设置为Ping-Pang结构； 步骤2、如果当前执行运动估计的编码块属于P帧，则执行预测、运动搜索操作，预取下一个编码块和参考块的数据； 步骤3、如果当前执行运动估计的编码块属于B帧，则执行预测、运动搜索操作，预取下一个编码块和前向参考块、后向参考块的数据。
2.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于:所述步骤I具体包括如下操作: (1)编码帧、参考帧按照多核DSP局部存储容量和运动估计中处理的数据块大小划分为编码块和参考块，编码图像帧和参考帧的数据存储在外部大容量存储器内，当前编码块和参考块的数据存储在局部存储器内； (2)编码帧划分为编码块和编码行，多核DSP的各个核以编码行为单位执行运动估计操作，即当前核结束一个编码行运动估计操作后立即获取后面第一个未做运动估计编码行继续进行； (3)设置系统控制表，系统控制表包括当前编码帧计数器、当前编码帧中第一个未做运动估计操作的编码行指示 器，当前编码帧编码状态表，系统控制表为多核共用，实现各核同 I K少； (4)在局部存储器中为当前编码块和参考数据块设置Ping-Pang结构存储区，当前编码的为Pang,数据预取到Ping。
3.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于:所述步骤2具体包括如下步骤: (2.1)若当前编码块属于P帧，执行编码块运动估计中的预测和运动搜索操作； (2.2)启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的内部存储器，源地址、目的地址、数据块大小按公式(I)计算；
4.根据权利要求1所述的一种面向多核DSP运动估计的数据预取方法，其特征在于:所述步骤3具体包括如下步骤: (3.1)若当前编码块属于B帧，执行编码块运动估计中的预测和运动搜索操作； (3.2)启动DMA将当前编码块的下一个编码块的数据由外部存储器预取到核的局部存储器，源地址、目的地址、数据块大小按公式(I)计算； (3.3)启动DMA将当前编码块的下一个数据块的前向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储器，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式(2)计算；(3.4)启动DMA将当前编码块的下一个数据块的后向参考块的数据预取到核的内部存储器，即将参考帧中以预测运动矢量为中心的多个参考块的数据预取到核的局部存储区，预取参考块的数量由运动搜索方法决定，源地址、目的地址、数据块大小按公式(2)计算；(3.5)执行运动补偿(MC)、DCT变换、量化操作； (3.6)更新控制表，当前编码块编码标志位置位； (3.7)重复步骤(3.1),(3.2),(3.3)、(3.4)、(3.5)、(3.6)，直到当前编码行各编码块运动估计操作结束。
【文档编号】H04N19/593GK103634604SQ201310632104
【公开日】2014年3月12日 申请日期:2013年12月1日 优先权日:2013年12月1日
【发明者】姜宏旭, 孙士明, 翟东林, 李波 申请人:北京航空航天大学