基于bcim的3d-hevc快速帧内预测方案的制作方法
【专利摘要】一种用于基于BCIM的3D-HEVC快速帧内预测的方法，包括：输入3D视频流，所述3D视频流包含视频图像和深度图像；对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量；采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值；基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及对经过重新映射的图像进行熵编码。
【专利说明】基于BCIM的3D-HEVC快速帧内预测方案
[0001]联合研究
[0002]本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助:国家自然科学基金(N0.61103113，N0.60903066)，北京市属高等学校人才强教深化计划项目(PHR201008187);江苏省自然科学基金(BK2011455)，北京市自然科学基金(N0.4102049)，教育部新教师基金(N0.20090009120006);国家 973 计划(2012CB316400)，中央高校基础研究基金(N0.2011JBM214)。
【技术领域】
[0003]本发明涉及图像处理领域，更具体而言，涉及高效视频编码(HEVC)，再更具体而言，涉及在HEVC中基于BCM的3D-HEVC快速帧内预测方案的方法和装置。
【背景技术】
[0004]2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(Joint collaborative Team on Video Coding),一同开发高效视频编码HEVC(Highefficiency video coding)标准,其也称为H.265。HEVC标准主要目标是与上一代标准
H.264/AVC实现大幅度的编码效率的提闻，尤其是针对闻分辨率视频序列。其目标是在相同视频质量(PSNR)下码率降为H.264标准的50%。
[0005]就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码:消除时间域和空间域的相关性。变换编码:对残差进行变换编码以消除空间相关性。熵编码:消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提闻视频压缩效率。
[0006]目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http://wftp3.1tu.1nt获得。
[0007]HEVC(High Efficiency Video Coding)标准在2013年一月份正式作为国际标准发布。在ITU-T中被称作H.265，而在IS0/IEC中被称作MPEG-H的第二部分。同时，为了使HEVC标准能够支持更多的应用场景，开展了后续的工作，其中包括对高分辨率以及色彩格式的支持，可伸缩编码，3-D/立体/多视角编码。
[0008]作为HEVC 扩展中的一个，3D-HEVC(3D High Efficiency Video Coding)项目已经在3D视频编码扩展联合小组JCT-3V的引导下开展了。3D-HEVC中采用提高深度的3D视频格式，即多视角加深度信息，并且每一个视角都有一个深度信息。在对视频信息和深度信息进行解码后，将采用DIBR(Depth-1mage-Based Rendering)技术生成虚拟视角图像。虚拟视角图像将用在立体显示器上显示3D内容。而对应于3D-HEVC的参考软件被称作3D-HTM(3D-HEVC Test Mode)。
[0009]与HEVC相比较，3D-HEVC对独立视角采用了与HEVC相同的编码方法，对非独立视角采用了视差补偿预测，视角间运动参数以及视角间残差预测。另外，修改后的运动补偿，运动矢量编码以及运动参数继承被用于编码深度图像，而DMM(Depth Modeling Mode)被作为一个可选模式来编码深度图像。然而，DMM的引入带来了相当大的复杂度。DMM需要在边界分割模式列表中选出最好的分割模式，而这个搜索过程会消耗相当多的时间。如表1所示，边界分割模式列表的大小最大可达到368，这将大大增加编码复杂度。尽管深度图像不会被使用者看到，但是它对虚拟视角的合成具有很大的影响。所以有必要采用一个特殊的方法对深度图像进行压缩。
[0010]表1:边界分割模式列表
[0011]
【权利要求】
1.一种方法，包括: 输入3D视频流，所述3D视频流包含视频图像和深度图像； 对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量； 采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值； 基于所述基本像素值，利用查询表来对所述深度图像进行索引映射； 基于多个上下文模式，对进行索引映射处理后的图像进行重新映射；以及 对经过重新映射的图像进行熵编码。
2.如权利要求1所述的方法，还包括: 基于HEVC标准的帧内预测，对所述深度图像进行帧内预测；以及基于比特率失真优化算法来在两个预测模式之间进行选择，其中，所述两个预测模式包括所述帧内预测和包括所述直方图分析、对所述多个主像素进行处理、所述重新映射在内的模式。
3.如权利要求1所述的方法，其中，所述获得多个主像素进一步包括: 在所述深度图像的直方图中确定所述多个主像素值； 按照特定的量化区间将所述多个主像素值周围的像素量化为主像素；以及采用阈值分割方法，将所述深度图像中不在所述量化区域之内的像素进行分割，将其量化至对应的主像素上，从而将所述深度图像处理为仅包含所述多个主像素的值的图像。
4.如权利要求3所述的方法，其中，对所述多个主像素进行处理，以得到基本像素值进一步包括: 采用阈值分割法对所述仅包含所述多个主像素的值的图像进行处理，以得到仅包含所述基本像素值的图像。
5.如权利要求4所述的方法，其中，所述阈值分割法包括基于平均值的阈值分割法。
6.如权利要求4所述的方法，其中，所述阈值分割法包括基于平均值的迭代阈值分割法。
7.如权利要求1所述的方法，其中，基于多个上下文模式，对进行索引映射处理后的图像进行重新映射进一步包括: 基于左上、上、右上、左侧的邻居索引值的多个基本模式，执行所述重新映射。
8.一种装置，包括: 用于输入3D视频流的模块，所述3D视频流包含视频图像和深度图像； 用于对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量的模块； 用于采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值的模块； 用于基于所述基本像素值，利用查询表来对所述深度图像进行索引映射的模块； 用于基于多个上下文模式，对进行索引映射处理后的图像进行重新映射的模块；以及 用于对经过重新映射的图像进行熵编码的模块。
9.一种编码器，其包括: 输入端子，其被配置为输入3D视频流，所述3D视频流包含视频图像和深度图像； 帧内预测电路，其被配置为基于HEVC标 准对图像进行帧内预测；BCIM预测电路，其对所述深度图像执行BCIM预测，所述BCIM预测电路被配置为: 对所述深度图像进行直方图分析，并基于所述直方图分析获得多个主像素和所述多个主像素的数量； 采用阈值分割方法对所述多个主像素进行处理，以得到基本像素值； 基于所述基本像素值，利用查询表来对所述深度图像进行索引映射；以及 基于多个上下文模式 ，对进行索引映射处理后的图像进行重新映射；以及 熵编码器，其对经过重新映射的图像进行熵编码。
10.一种计算机程序产品，其包含用于执行权利要求1-7中任一项所述的方法的指令。
【文档编号】H04N19/105GK103813173SQ201410094073
【公开日】2014年5月21日 申请日期:2014年3月14日 优先权日:2014年3月14日
【发明者】张萌萌, 邱圣辉, 白慧慧 申请人:北方工业大学