应用于视频编解码中深度图像帧内预测的编码电路及其编码方法与流程

本发明属于视频编解码技术的帧内预测编码技术领域，具体的说是一种应用于视频编解码中深度图像帧内预测的编码方法及编码电路。

背景技术：

随着科学技术的不断发展，信息技术和计算机互联网分别在不同程度改变了人们的日常的生活。如今，人们获取信息的主要来源于多媒体信息，而多媒体信息却以视频为核心。3D视频由于相比普通2D视频能够提供给用户场景真实和自然再现的效果而备受工业界和学术界的重视，成为视频研究的领域的热点之一。相比于普通的2D视频，3D包含着更为巨大的数据量，这给视频数据的传输和保存都带来了一定的难度。因此，对3D视频进行有效的压缩编码就显示十分重要。

在3D视频的深度图像的帧内预测中，相比于普通2D视频的Planar、DC、角度预测三大预测技术，加入了DMM深度建模模式，DMM能够更好的保留深度图像的边缘信息，但与此同时，导致了编码复杂度剧增。在保证合成视点质量的同时，如何降低DMM的高复杂度预测算法成了一个重要的研究方向。DMM深度建模模式中又分为DMM1、DMM4两种模式。

在现有技术中，针对DMM深度建模模式的硬件电路设计还不是很多，Gustavo Sanchez等人在2016Integrated Circuits&Systems Design发表的“Energy-Aware Light-Weight DMM-1Patterns Decoders with Efficiently Storage in 3D-HEVC”中所述电路，是目前少数实现了的DMM1模式编码电路；但是此篇文章未对电路整体架构和具体实现方法进行详细描述，并且，在粗搜索中每个周期仅对一个楔形块匹配方案进行评估，评估完成后根据率失真代价值的判断再进行下一个楔形块匹配方案的评估，这样导致编码时间长，电路运算周期较长，影响编码电路整体工作效率。

技术实现要素：

本发明为解决上述现有技术中存在的不足之处，提出一种应用于视频编解码中深度图像的帧内预测的编码电路及其编码方法，以期能减少编码时间，缩短电路的运算周期，从而提升整个视频编码电路的性能。

为达到上述发明目的，本发明采用如下技术方案：

本发明一种应用于视频编码中深度图像帧内预测的编码电路，记任一深度图像内的4N×4N区域的像素值为原始块RU，其中N为正整数，1≤N≤8；其特点是：所述编码电路包括：输入数据处理模块、粗搜索模块、精搜索模块和楔形块模型数据存储模块；

所述输入数据处理模块接收外部输入的原始块RU，并计算所述原始块RU的上、下、左、右四个边界上的4N-1个梯度值，再对第i个边界上的4N-1个梯度值依次进行标号；将所述第i个边界上的4N-1个梯度值进行降序排序，从而得到梯度值对应标号的相应排序，记为第i个梯度值位置信息Pos_i，其中，梯度值为“0”的标号也记为“0”，1≤i≤4；以第i个梯度值位置信息Pos_i与第j个梯度值位置信息Pos_j作为一组梯度值方向信息，从而得到6组梯度值方向信息，其中任意一组梯度值方向信息记为Ori_t，1≤t≤6；

所述粗搜索模块根据第t组梯度值方向信息Ori_t中非“0”标号所对应的梯度值分别对所述原始块RU进行分割，从而得到K_t个粗搜索分割块，其中，第k个粗搜索分割块是由所述原始块RU分割后得到的两个楔形块组成；根据第k个粗搜索分割块，对所述原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第k个粗搜索预测块；计算第k个粗搜索预测块的粗搜索率失真代价值，从而得到K_t个粗搜索预测块的粗搜索率失真代价值；同步计算6组梯度值方向信息所对应的粗搜索率失真代价值，并从中选择最小的粗搜索率失真代价值所对应的粗搜索预测块作为最优粗搜索预测块，i≠j，1≤j≤4；

所述精搜索模块根据最优粗搜索预测块在分割位置上的两个梯度值，分别找到相邻的两个梯度值，从而根据一个梯度值及其相邻的两个梯度值与另一个梯度值及其相邻的两个梯度值分别对所述最优粗搜索预测块进行分割，得到8个精搜索分割块；其中，第s个精搜索分割块是由所述原始块RU分割后得到的两个楔形块组成；根据第s个精搜索分割块，对所述原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第s个精搜索预测块；计算第s个精搜索预测块的精搜索率失真代价值，从而得到8个精搜索预测块的精搜索率失真代价值，从8个精搜索率失真代价值和最小粗搜索率失真代价值中选择最小的率失真代价值所对应的预测块作为最优精搜索预测块，最后根据所述最优精搜索预测块与所述原始块RU计算得到残差块，从而以所述最优精搜索预测块和残差块实现对所述原始块RU的数据压缩传输；1≤s≤8。

本发明一种应用于视频编码中深度图像帧内预测的编码方法的特点是按如下步骤进行：

步骤1、记任一深度图像内的4N×4N区域的像素值为原始块RU，其中N为正整数，1≤N≤8；计算所述原始块RU的上、下、左、右四个边界上的4N-1个梯度值，并对第i个边界上的4N-1个梯度值依次进行标号；

步骤2、对所述第i个边界上的4N-1个梯度值进行降序排序，得到梯度值对应标号的相应排序，记为第i个梯度值位置信息Pos_i，其中，梯度值为“0”的标号也记为“0”，1≤i≤4；

步骤3、以第i个梯度值位置信息Pos_i与第j个梯度值位置信息Pos_j作为一组梯度值方向信息，从而得到6组梯度值方向信息，其中任意一组梯度值方向信息记为Ori_t，1≤t≤6；i≠j，1≤j≤4；

步骤4、初始化t＝1；

步骤5、根据第t组梯度值方向信息Ori_t中非“0”标号所对应的梯度值分别对所述原始块RU进行分割，从而得到K_t个粗搜索分割块，其中，第k个粗搜索分割块是由所述原始块RU分割后得到的两个楔形块组成；

步骤6、根据第k个粗搜索分割块，对所述原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第k个粗搜索预测块；

步骤7、计算第k个粗搜索预测块的粗搜索率失真代价值，从而得到K_t个粗搜索预测块的粗搜索率失真代价值；

步骤8、将t+1赋值给t，判断t＞6是否成立，若成立，则执行步骤9；否则返回步骤5；

步骤9、从所有粗搜索率失真代价值中选择最小的粗搜索率失真代价值所对应的粗搜索预测块作为最优粗搜索预测块；

步骤10、根据最优粗搜索预测块在分割位置上的两个梯度值，分别找到相邻的两个梯度值；

步骤11、根据一个梯度值及其相邻的两个梯度值与另一个梯度值及其相邻的两个梯度值分别对所述最优粗搜索预测块进行分割，得到8个精搜索分割块；其中，第s个精搜索分割块是由所述原始块RU分割后得到的两个楔形块组成；

步骤12、根据第s个粗搜索分割块，对所述原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第s个精搜索预测块；

步骤13、计算第s个精搜索预测块的精搜索率失真代价值，从而得到8个精搜索预测块的精搜索率失真代价值，从8个精搜索率失真代价值和最小粗搜索率失真代价值中选择最小的率失真代价值所对应的预测块作为最优精搜索预测块；

步骤14、根据所述最优精搜索预测块与所述原始块RU计算得到残差块，从而以所述最优精搜索预测块和残差块实现对所述原始块RU的数据压缩传输；1≤s≤8。

与现有技术相比，本发明的有益技术效果体现在：

1、本发明提出的优化现有深度图像帧内预测编码电路，克服了原有设计中粗搜索过程编码时间过长的问题，提出了一种粗搜索模块的全并行电路架构，对所有粗搜索楔形块分割方案同时进行计算，缩减了编码所需时间。

2、本发明提出的优化现有深度图像帧内预测编码电路，在粗搜索模块采用全并行电路架构的基础上，对梯度值为“0”的位置的梯度值得到的分割方案不进行计算，使得编码电路计算量得到了有效控制，在缩短编码时间的基础上功耗得以降低。

3、本发明提出的优化现有深度图像帧内预测编码方法，改变了原有深度图像帧内预测DMM1模式中串行编码的方式，提出了一种全并行的帧内预测编码算法，减少了编码算法运算所需周期，节省了编码时间。

附图说明

图1为现有技术中原始块RU的像素值示意图；

图2为本发明编码电路整体框架图；

图3为本发明梯度值位置信息示意图；

图4为本发明粗搜索分割块示意图；

图5为本发明粗搜索预测块示意图；

图6为本发明粗搜索率失真代价值计算示意图；

图7为本发明精搜索分割块示意图；

图8为本发明精搜索预测块示意图；

图9为本发明残差块计算示意图；

图10为本发明编码时间缩短比例图；

具体实施方式

本实施例中，一种应用于视频编码中深度图像帧内预测的编码电路，记任一深度图像内的4N×4N区域的像素值为原始块RU，其中N为正整数，1≤N≤8；在本实施例中，N＝1，即该原始块为一个4×4的区域，其具体像素值如图1所示；

如图2所示，该应用于视频编码中深度图像帧内预测的编码电路包括：输入数据处理模块、粗搜索模块、精搜索模块和楔形块模型数据存储模块；

输入数据处理模块接收外部输入的原始块RU，并计算原始块RU的上、下、左、右四个边界上的4N-1个梯度值，再对第i个边界上的4N-1个梯度值依次进行标号；将第i个边界上的4N-1个梯度值进行降序排序，从而得到梯度值对应标号的相应排序，记为第i个梯度值位置信息Pos_i，在本实施例中，如图3所示，即为该原始块RU的梯度值和梯度值位置信息，其中，梯度值为“0”的标号也记为“0”，1≤i≤4；以第i个梯度值位置信息Pos_i与第j个梯度值位置信息Pos_j作为一组梯度值方向信息，从而得到6组梯度值方向信息，其中任意一组梯度值方向信息记为Ori_t，1≤t≤6；

粗搜索模块根据第t组梯度值方向信息Ori_t中非“0”标号所对应的梯度值分别对原始块RU进行分割，从而得到K_t个粗搜索分割块，其中，第k个粗搜索分割块是由原始块RU分割后得到的两个楔形块组成，在本实施例中，根据6组梯度值方向信息，一共有27个粗搜索分割块，如图4所示，即为其中的3个粗搜索分割块，以这3个分割块为例，进行如下的计算；根据第k个粗搜索分割块，对原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第k个粗搜索预测块，在本实施例中，如图5所示，即为图4所示的3个分割块所对应的3个粗搜索预测块；计算第k个粗搜索预测块的粗搜索率失真代价值，从而得到K_t个粗搜索预测块的粗搜索率失真代价值，在本实施例中，如图6所示，即为图5中3个粗搜索预测块计算得到的粗搜索率失真代价值，分别为326、19、303；同步计算6组梯度值方向信息所对应的粗搜索率失真代价值，并从中选择最小的粗搜索率失真代价值所对应的粗搜索预测块作为最优粗搜索预测块，在本实施例中，可见最小粗搜索率失真代价值为19，故其对应的粗搜索预测块为最有粗搜索预测块，i≠j，1≤j≤4；

精搜索模块根据最优粗搜索预测块在分割位置上的两个梯度值，分别找到相邻的两个梯度值，从而根据一个梯度值及其相邻的两个梯度值与另一个梯度值及其相邻的两个梯度值分别对最优粗搜索预测块进行分割，得到8个精搜索分割块，在本实施例中，如图7所示，即为在粗搜索模块中得到的最优粗搜索预测块以及其8个相邻的精搜索分割块；其中，第s个精搜索分割块是由原始块RU分割后得到的两个楔形块组成；根据第s个精搜索分割块，对原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第s个精搜索预测块，在本实施例中，如图8所示，即为根据8个精搜索分割块计算得到的8个精搜索预测块；计算第s个精搜索预测块的精搜索率失真代价值，从而得到8个精搜索预测块的精搜索率失真代价值，在本实施例中，这8个精搜索率失真代价值分别为82、141、368、421、235、461、159、236，从这8个精搜索率失真代价值和最小粗搜索率失真代价值中选择最小的率失真代价值所对应的预测块作为最优精搜索预测块，在本实施例中，这9个率失真代价值中最小的依然为最小粗搜索率失真代价值为19，即最优精搜索预测块和最优粗搜索预测块相同，最后根据最优精搜索预测块与原始块RU计算得到残差块，如图9所示，从而以最优精搜索预测块和残差块实现对原始块RU的数据压缩传输；1≤s≤8。

本实施例中，一种应用于视频编码中深度图像帧内预测的编码方法，是按如下步骤进行：

步骤1、记任一深度图像内的4N×4N区域的像素值为原始块RU，其中N为正整数，1≤N≤8，在本实施例中，如图1所示，即为一个4×4区域的原始块RU的像素值；计算原始块RU的上、下、左、右四个边界上的4N-1个梯度值，并对第i个边界上的4N-1个梯度值依次进行标号；

步骤2、对第i个边界上的4N-1个梯度值进行降序排序，得到梯度值对应标号的相应排序，记为第i个梯度值位置信息Pos_i，在本实施例中，如图3所示，即为原始块的4个边界上的梯度值位置信息，其中，梯度值为“0”的标号也记为“0”，1≤i≤4；

步骤3、以第i个梯度值位置信息Pos_i与第j个梯度值位置信息Pos_j作为一组梯度值方向信息，从而得到6组梯度值方向信息，其中任意一组梯度值方向信息记为Ori_t，1≤t≤6；i≠j，1≤j≤4；

步骤4、初始化t＝1；

步骤5、根据第t组梯度值方向信息Ori_t中非“0”标号所对应的梯度值分别对原始块RU进行分割，从而得到K_t个粗搜索分割块，在本实施例中，如图4所示，即为其中的3个不同的粗搜索分割块，其中，第k个粗搜索分割块是由原始块RU分割后得到的两个楔形块组成；

步骤6、根据第k个粗搜索分割块，对原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第k个粗搜索预测块，如图5所示，即为在本实施例中得到的3个不同的粗搜索预测块；

步骤7、计算第k个粗搜索预测块的粗搜索率失真代价值，从而得到K_t个粗搜索预测块的粗搜索率失真代价值，在本实施例中，如图6所示，即为这3个粗搜索预测块的粗搜索率失真代价值，分别为326、19和303；

步骤8、将t+1赋值给t，判断t＞6是否成立，若成立，则执行步骤9；否则返回步骤5；

步骤9、从所有粗搜索率失真代价值中选择最小的粗搜索率失真代价值所对应的粗搜索预测块作为最优粗搜索预测块，在本实施例中，显然，最小粗搜索率失真代价值为19，故19所对应的粗搜索预测块为最优粗搜索预测块；

步骤10、根据最优粗搜索预测块在分割位置上的两个梯度值，分别找到相邻的两个梯度值；

步骤11、根据一个梯度值及其相邻的两个梯度值与另一个梯度值及其相邻的两个梯度值分别对最优粗搜索预测块进行分割，得到8个精搜索分割块，在本实施例中，如图7所示，即为这8个精搜索分割块；其中，第s个精搜索分割块是由原始块RU分割后得到的两个楔形块组成；

步骤12、根据第s个粗搜索分割块，对原始块RU内的像素值按照两个楔形块分别进行均值计算，得到两个楔形块的均值并填充到相应的楔形块中，从而构成第s个精搜索预测块，在本实施例中，如图8所示，即为根据8个精搜索分割块得到的8个精搜索预测块；

步骤13、计算第s个精搜索预测块的精搜索率失真代价值，从而得到8个精搜索预测块的精搜索率失真代价值，从这8个精搜索率失真代价值和最小粗搜索率失真代价值中选择最小的率失真代价值所对应的预测块作为最优精搜索预测块，在本实施例中，这8个精搜索率失真代价值分别为82、141、368、421、235、461、159、236，最小粗搜索率失真代价值为19，故最优精搜索预测块为最小粗搜索率失真代价值所对应的最优粗搜索预测块；

步骤14、根据最优精搜索预测块与原始块RU计算得到残差块，在本实施例中，如图9所示，即为残差块的计算过程，从而以最优精搜索预测块和残差块实现对原始块RU的数据压缩传输；1≤s≤8。

本发明针对4×4的深度图像进行帧内预测编码方法的基于FPGA的电路设计，采用Verilog HDL进行行为级描述，基于Xilinx XC6VLX760FPGA开发板使用ISE软件进行仿真和综合，本发明使用如图1所示的深度图像块进行测试，相比于Gustavo Sanchez等人在2016Integrated Circuits&Systems Design发表的“Energy-Aware Light-Weight DMM-1Patterns Decoders with Efficiently Storage in 3D-HEVC”中电路，如图10所示，本发明电路预测周期最低仅为传统编码时间的2.93％，平均而言，本发明电路预测周期大约为传统编码电路编码时间的11.76％。