一种针对hevc视频编码的多核混合存储管理方法
【技术领域】
[0001] 本发明涉及一种针对HEVC视频编码的多核混合存储管理方法。
【背景技术】
[0002] 随着网络通信技术的不断发展和嵌入式处理器性能的不断提高，多媒体业务尤 其是高清视频的需求日益增长。据统计，2013年网络视频占据了互联网90%的流量，而 在移动互联网中视频占据了 50 %以上的流量。随着移动设备的普及，视频流量在移动互 联网中所占的比例将不断增加。因此人们对视频压缩技术的要求也不断提高。下一代 视频编码标准HEVC/H. 265是专门针对于高清、高分辨率视频设计的编码标准，能够支持 4k(4096x2160)和8k(8192x4320)的高清或超高清视频。相比之前的H. 264/AVC视频编码 标准具有相当大的改善，HEVC能够在有限的网络带宽下传输更高质量的视频，仅需H. 264 的一半带宽就能够传输相同质量的视频。然而，为了提高HEVC的压缩效率其编码复杂度急 剧增加，严重阻碍了 HEVC标准的推广与应用。特别是高的访存压力带来了很大的性能与能 耗的开销，据统计HEVC中由于访存所产生的能耗占总能耗的60% -80%，严重影响了 HEVC 在能源有限的嵌入式设备上的应用与发展。
[0003] 利用应用程序的时间和空间局部性，硬件控制的cache已经被广泛应用在现在的 计算机系统中来减小低速的主存（DRAM)对高速CPU的影响。Scratchpad(SPM)作为片上缓 存的一种选择可以由软件进行控制管理，越来越受到嵌入式系统设计者的欢迎。与硬件控 制的cache相比，SPM由程序员或系统软件负责运行时的数据/指令的分配，提高了实时系 统中的时间预测性。此外，由于SPM中缺少tag存储和访存时的tag比较，访问SPM具有更 高的速度和更低的能耗。研究表明，相比于硬件控制的cache，SPM能够节约30%的能耗。 然而用SPM完全替换cache又增加了程序员编程的复杂性，因此混合片上SPM-Cache存储 架构受到了许多嵌入式系统体系架构设计者的欢迎。
[0004] 与H. 264相比，HEVC也同样采用了基于块的预测加变换的混合编码方式，在HEVC 编码标准中编码树单元（CTU)是最基本的编码单元。通常CTU大小可设置为64X64像素 块，每一个CTU会根据其纹理利用四叉树分割方式递归的分割成编码单元（CU)，CU会进一 步分割成一个或多个预测单元（PU)。是预测过程中的基本单元，如图1所示。此外，多 个CTU组成了一个矩形的视频tile，各tile可在独立的处理器核上进行并行编码，充分利 用了多核处理器的优势。然而，这种并行思想又极大地增加了存储管理的难度。现存的针 对于HEVC视频编码的存储架构及其管理策略主要是针对于单核和单一 SPM作为片上缓存。 针对于HEVC编码标准设计专用混合存储架构及其管理策略的发明还尚少。
[0005] 在HEVC编码标准中帧间预测里的运动估计（ME)模块是整个编码过程中最复杂的 步骤。为了去除相邻帧之间的冗余信息，ME为每一个编码预测单元PU在相邻已编码视频 帧（叫做参考帧）中搜索最佳匹配块，通常该搜索过程在一个固定大小的矩形像素区域中 (叫做search window)进行，如图1所示。为了获得最佳匹配块视频编码标准提供了两类 搜索算法，全搜索和快速搜索算法。全搜索可以得到全局最佳的匹配块，但是复杂度太高， 快速搜索算法能够在较低的复杂度下获得近似最优的匹配块，因此快速搜索算法在视频编 码标准中得到了广泛的应用。然而快速搜索算法也同样具有很大的访存压力，特别是高清 高分辨率视频，大量的能量花费在片上片外访存上，严重影响了 HEVC的应用与发展。
【发明内容】
[0006] 本发明为了解决上述问题，提出了一种针对HEVC视频编码的多核混合存储管理 方法，该方法针对HEVC的访存特点设计，能够明显降低HEVC的能耗，促进HEVC在嵌入式多 媒体设备上的发展。
[0007] 为了实现上述目的，本发明采用如下技术方案：
[0008] -种针对HEVC视频编码的多核混合存储管理方法，包括以下步骤：
[0009] (1)统计分析HEVC编码过程中每一个编码树单元对搜索窗口的不同区域的访存 频率，得到HEVC的访存特点；
[0010] (2)根据HEVC编码过程中的访存特点，针对所采用的不同搜索窗口大小以及所编 码视频帧的像素大小，确定片上混合便笺式存储器、高速缓冲存储器的空间大小；
[0011] (3)利用视频编码的可预测性，利用历史信息预测下一编码树单元编码过程中的 访存概率，将搜索窗口中频繁访问的像素区域分配到片上的便笺式存储器空间中，其余低 访问频率的像素区域利用高速缓冲存储器进行访问；
[0012] (4)利用编码过程中对不同的片上便笺式存储器存储空间的访存时刻不同的特 点，根据SPM功率状态，将暂时不会访问的便笺式存储器空间区域设置成低功耗的功率状 ??τ 〇
[0013] 所述步骤（1)中，每一个被编码的视频帧会被分割成几个矩形的像素区域，每一 个像素区域被分配到固定的处理器核上进行独立编码，每一个像素区域分割成固定大小的 编码树单元。
[0014] 所述步骤（1)中，将每一个参考帧进一步分割成固定大小的ηΧη的矩形块作为加 载窗口，RFN表示CTU Ν的参考帧，SW Ν表示CTU Ν的搜索窗口，每个SW Ν包含多个加载窗口，设
，选择时间相邻的中心位置编码树单元CTUE，空间相邻的水平 与垂直位置的编码树单元CTUM和CTU 历史访存信息作为输入信息，利用LW Ei i的访存历 史信息cnt (LWEi1)，LWM被分配到片上SPM上则应该满足以下不等式
[0016] 该不等式中avg〇表示取平均值函数，τ表示预取阈值，预取阈值τ可以利用下 面的不等式确定
[0018] 在该不等式中α表示编码CTU时访问搜索窗口的缓存缺失率；EDRAM、E_ he、ESPM分 别表示访问DRAM、cache和SPM的动态能耗；SEspm表示在编码CTU的过程被加载到SPM上 的加载窗口所产生的平均静态能耗。
[0019] 所述步骤（2)中，在确定的系统配置信息下来确定一个合适的SPM的大小和片上 SPM、Cache的组织形式。
[0020] 所述步骤（2)中，片上每一个核的私有便笺式存储器空间大小的确定方法为：
[0022] 在该公式中SWslz^示搜索窗口的大小，1^表示编码过程中参考帧的个数，其中， ph表示高频率访问区域，即访问次数大于预取阈值τ，占整个搜索窗口的比例。
[0023] 所述步骤（2)中，片上共享便笺式存储器的空间大小的确认方法为：
[0025] 该公式中分别表示搜索窗口的宽度、参考帧的高度和参考帧的宽度； NBvertleajP NBhOT1_tal分别表示当前编码帧中垂直方向和水平方向上像素区域（tile)的边 界线的条数。
[0026] 所述步骤（2)中，为了实现虚拟地址与SPM空间地址的转换为每一个参考帧创建 了一个加载窗口表格LWT，LWT记录了每一个加载到SPM上的加载窗口的虚拟地址与相应 SPM空间地址的映射关系，利用参考帧的宽度、加载窗口的大小以及CPU所产生的虚拟访存 地址来查找LWT，判断该访存地址是否已被加载到SPM空间中，并确定该加载窗口在SPM上 的起始地址，LWT命中说明所访问的参考像素数据已经被加载到片上SPM缓存中，否则