用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法

文档序号:9794463
用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
【技术领域】
[0001] 本发明构思设及层间视频编码和解码方法,更具体地讲,设及一种将在用于对深 度图像进行编码和解码的方法和设备中使用的对深度图像的屏幕内预测的方法。
【背景技术】
[0002] 立体图像是指连同深度数据和关于空间的形状数据一起提供图像数据的=维 (3D)图像。尽管立体感图像(stereo-image)提供分别与左眼和右眼的不同视点相应的图 像,但立体图像提供图像使得每当观察者改变他或她的视点时图像如同从不同位置被看到 一样。因此,需要在多个视点捕获的图像W产生立体图像。
[0003] 为了产生立体图像而在多个视点捕获的图像构成大量的数据。因此,考虑到网络 基础架构和地面带宽,即使通过使用针对单视点视频编码技术馈如,MPEG-2、H.265/AVC和 肥VC)而优化的编码设备来对立体图像进行编码,也不可能显示立体图像。
[0004] 因此,需要多视点(多层)图像编码设备来产生立体图像。具体地讲,需要开发用于 有效减少时间点和视点之间的冗余的技术。
[0005] 例如,多视点视频编解码器可通过使用单视点视频编码技术对基本视点进行压缩 并通过参考基本视点来对扩展的视点进行编码,从而提高压缩效率。另外,通过进一步对如 同深度图像的附加数据进行编码,可产生包括比经由解码器输入的视点更多的视点的图 像。运里,深度图像用于对中间视点图像进行合成,而不被直接显示给用户,其中,深度图像 的退化使合成的图像的质量恶化。因此,需要不仅有效地对多视点视频进行压缩还有效地 对深度图像进行压缩的多视点视频编解码器。

【发明内容】

[0006] 技术问题
[0007] 由于深度图像是用于在解码器中对中间视点图像进行合成的附加数据,因此需要 考虑深度图像对合成后的图像的影响而对深度图像进行编码。深度图像的深度值在对象的 边界显著地改变,并且在对象内部的改变相对不显著。具体地讲,使在与显著改变的深度值 相应的对象的边界处发生的误差最小化可使合成的图像误差最小化。
[000引同时,为了对深度图像进行编码,可经由特定预测模式(例如,DC模式、平面模式 (planar mode)和深度建模模式(DMM)预测模式)对当前块进行编码。具体来说,确定用于将 被编码的块的均值(W下,称为"DC值"),并通过将确定的DC值映射到深度查找表来计算索 引。另外,编码设备仅将基于原始块的DC值计算出的索引与基于预测块的DC值计算出的索 引之间的差发送到解码设备。
[0009]同时,用于将属于预测块的所有像素值求和并将总和除W相应像素的数量的计算 处理用于计算用于预测块的DC值,其中,运样的用于对像素值进行累加和除法的计算处理 会增加编码设备和解码设备的复杂度。
[0010] 解决方案
[0011]根据本发明构思的一方面,提供了一种层间视频解码方法,包括:从比特流获得关 于深度图像的当前块的预测模式信息;基于获得的预测模式信息产生当前块的预测块;通 过使用预测块的与特定位置相应的像素值对预测块的均值进行预测;通过使用预测块的均 值对深度图像进行解码。
[0012]有益效果
[0013] 根据基于一些示例性实施例的层间视频解码/编码设备和方法,可有效地对深度 图像进行编码或解码,进而降低设备的复杂度并有效地产生具有合成的视点的图像。
【附图说明】
[0014] 图Ia是根据一些示例性实施例的层间视频编码设备的框图。
[0015] 图化是根据一些示例性实施例的视频编码方法的流程图。
[0016] 图2a是根据一些示例性实施例的层间视频解码设备的框图。
[0017]图化是示出根据一些示例性实施例的层间解码方法的流程图。
[0018] 图3是根据一些示例性实施例的层间预测结构的示图。
[0019] 图4a是用于描述根据一些示例性实施例的计算用于预测块的均值的方法的示图。
[0020] 图4b是用于描述根据一些示例性实施例的计算用于预测块的均值的方法的另一 示例的示图。
[0021] 图4c是用于描述根据一些示例性实施例的计算用于使用DMM预测模式的预测块的 均值的方法的示图。
[0022] 图5a是示出根据一些示例性实施例的通过使用用于预测块的均值和深度查找表 来对深度图像进行编码的方法的流程图。
[0023] 图加是示出根据一些示例性实施例的通过使用用于预测块的均值和深度查找表 对深度图像进行解码的方法的流程图。
[0024] 图6是示出根据一些示例性实施例的层间视频解码设备的另一示例的示图。
[0025] 图7a是用于描述根据一些示例性实施例的在DC预测模式下计算用于预测块的均 值的方法的另一示例的示图。
[0026] 图7b是用于描述根据一些示例性实施例的在DMM预测模式下计算用于预测块的均 值的方法的另一示例的示图。
[0027] 图7c是用于描述根据一些示例性实施例的在平面预测模式下计算用于预测块的 均值的方法的示图。
[0028] 图8是根据一些示例性实施例的基于根据树结构的编码单元的视频编码设备的框 图。
[0029] 图9是根据本发明构思的一些示例性实施例的基于根据树结构的编码单元的视频 解码设备的框图。
[0030] 图10是用于描述根据一些示例性实施例的编码单元的概念的示图。
[0031] 图11是根据一些示例性实施例的基于编码单元的图像编码器的框图。
[0032] 图12是根据一些实施例的基于编码单元的图像解码器的框图。
[0033] 图13是示出根据本发明构思的一些示例性实施例的编码单元和分区的示图。
[0034] 图14是用于描述根据本发明构思的一些实施例的编码单元和变换单元之间的关 系的不图。
[0035] 图15是用于描述根据一些示例性实施例的编码信息的示图。
[0036] 图16是根据一些示例性实施例的根据深度的较深层编码单元的示图。
[0037] 图17至图19是用于描述根据一些示例性实施例的编码单元、预测单元和变换单元 之间的关系的示图。
[0038] 图20是用于描述根据图7c的编码模式信息的编码单元、预测单元和变换单元之间 的关系的示图。
[0039] 图21是根据一些示例性实施例的存储有程序的盘的物理结果的示图。
[0040] 图22是用于将程序记录到盘W及从盘读取程序的盘驱动器的示图。
[0041] 图23是用于提供内容分布服务的内容供应系统的整体结构的示图。
[0042] 图24和图25示出根据一些示例性实施例的应用了本发明构思的视频编码方法和 视频解码方法的移动电话的外部结构和内部结构。
[0043] 图26示出根据一些示例性实施例的采用通信系统的数字广播系统。
[0044] 图27是示出根据一些示例性实施例的使用视频编码设备和视频解码设备的云计 算系统的网络结构的示图。
[0045] 最佳模式
[0046] 根据本发明构思的一方面,提供了一种层间视频解码方法,包括:从比特流获得关 于深度图像的当前块的预测模式信息;基于获得的预测模式信息产生当前块的预测块;通 过使用预测块的与特定位置相应的像素值来对预测块的均值进行预测;通过使用预测块的 均值对深度图像进行解码。
[0047] 根据一些示例性实施例,对产生的预测块的均值进行预测的步骤可包括:通过使 用预测块的左上像素值、右上像素值、左下像素值和右下像素值来对产生的预测块的均值 进行预测。
[0048] 根据一些示例性实施例,对产生的预测块的均值进行预测的步骤可包括:通过对 预测块的左上像素值、右上像素值、左下像素值和右下像素值进行加权求和来对产生的预 测块的均值进行预测。
[0049] 根据一些示例性实施例,其中,对产生的预测块的均值进行预测的步骤可包括:确 定是否存在关于深度图像的深度查找表;如果存在深度查找表,则通过使用预测块的左上 像素值、右上像素值、左下像素值和右下像素值来对产生的预测块的均值进行预测。
[0050] 根据一些示例性实施例,预测块可在DC模式、平面模式、角模式和深度建模模式 (DMM)预测模式中的一种预测模式下被预测。
[0051] 根据一些示例性实施例,通过使用预测块的均值对深度图像进行解码的步骤可包 括:通过使用深度查找表来确定与预测块的均值相应的预测索引;通过使用从比特流获得 的索引残差值来确定与关于当前块的恢复块的均值相应的恢复索引;通过使用深度查找表 来确定与恢复索引相应的恢复块的均值;通过使用关于预测块的均值和关于恢复块的均值 来对深度图像进行解码。
[0052] 根据一些示例性实施例,层间视频解码方法还可包括:通过使用当前块的至少一 个邻近像素值来对预测块的均值进行预测。
[0053] 根据本发明构思的一方面,提供了一种层间视频解码设备,包括:预测模式确定 器,从比特流获得关于深度图像的当前块的预测模式信息;预测块产生器,基于获得的预测 模式信息产生当前块的预测块;均值计算器,通过使用预测块的与特定位置相应的像素值 来对预测块的均值进行预测;解码器,通过使用预测块的均值对深度图像进行解码。
[0054] 根据一些示例性实施例,预测模式确定器可通过使用预测块的左上像素值、右上 像素值、左下像素值和右下像素值来对产生的预测块的均值进行预测。
[0055] 根据一些示例性实施例,预测模式确定器可通过对预测块的左上像素值、右上像 素值、左下像素值和右下像素值进行加权求和来对产生的预测块的均值进行预测。
[0056] 根据一些示例性实施例,预测模式确定器可确定是否存在关于深度图像的深度查 找表,如果存在深度查找表,则预测模式确定器通过使用预测块的左上像素值、右上像素 值、左下像素值和右下像素值来对产生的预测块的均值进行预测。
[0057] 根据一些示例性实施例,预测块可在DC模式、平面模式、角模式和深度建模模式 (DMM)预测模式中的一种预测模式下被预测。
[0058] 根据一些示例性实施例,解码器可通过使用深度查找表来确定与预测块的均值相 应的预测索引,通过使用从比特流获得的索引残差值来确定与关于当前块的恢复块的均值 相应的恢复索引,通过使用深度查找表来确定与恢复索引相应的恢复块的均值,通过使用 关于预测块的均值和关于恢复块的均值来对深度图像进行解码。
[0059] 根据一些示例性实施例,均值计算器可通过使用当前块的至少一个邻近像素值来 对预测块的均值进行预测。
[0060] 根据本发明构思的一方面,可提供另一种方法、另一种系统W及一种记录有用于 实现层间视频解码方法的计算机程序的非暂时性计算机可读记录介质。
【具体实施方式】
[0061] W下,将参照图Ia至图7c描述用于根据示例性实施例的层间视频解码和编码的方 法和设备的对深度图像的屏幕内预测的方法。
[0062] 此外,将参照图8至图20描述根据可应用于层间视频编码和解码技术的示例性实 施例的基于具有树结构的编码单元的视频编码技术和视频解码技术。此外,将参照图21至 图27描述视频编码方法和视频解码方法可应用的各种示例性实施例。
[0063] W下,"图像"可表示视频的静止图像或运动图像,或视频本身。
[0064] W下,"样点"表示分配到图像的样点位置并将被处理的数据。例如,空间域的图像 中的像素可W是样点。
[0065] W下,"当前块"可表示将被编码或解码的图像的块。
[0066] 首先,将参照图Ia至图7c描述用于根据一些示例性实施例的层间视频解码和编码 的方法和设备的对深度图像的屏幕内预测的方法。
[0067] 图Ia是根据一些示例性实施例的层间视频编码设备10的框图。图化是根据一些示 例性实施例的视频编码方法的流程图。
[0068] 根据一些示例性实施例的层间视频编码设备10可包括预测模式确定器12、预测块 产生器14、均值计算器16和编码器18。另外,根据一些示例性实施例的层间视频编码设备10 可包括:中央处理器(未示出),控制预测模式确定器12、预测块产生器14、均值计算器16和 编码器18。可选择地,预测模式确定器12、预测块产生器14、均值计算器16和编码器18中的 每一个由它们自己的处理器(未示出)操作,由于所述处理器(未示出)在W相互有机的关系 进行操作,因此全部的层间视频编码设备10可被操作。可选择地,预测模式确定器12、预测 块产生器14、均值计算器16和编码器18可由层间视频编码设备10外部的外部处理器(未示 出)控制。
[0069] 层间视频编码设备10可包括:一个或更多个数据存储单元(未示出),用于存储输 入到预测模式确定器12、预测块产生器14、均值计算器16和编码器18的数据和由预测模式 确定器12、预测块产生器14、均值计算器16和编码器18输出的数据。层间视频编码设备10可 包括用于管理一个或更多个数据存储单元(未示出)的数据输入和数据输出的存储器控制 器(未示出)。
[0070] 为了输出视频编码结果,层间视频编码设备10可与嵌入在其中的内部视频编码处 理器或外部视频编码处理器协同地进行操作,进而执行包括变换的视频编码处理。层间视 频编码设备10的内部视频编码处理器可W是单独的处理器并执行视频编码处理。另外,层 间视频编码设备10、中央处理器或视频处理器可包括视频编码处理模块,进而执行基本视 频编码处理。
[0071] 根据一些示例性实施例的层间视频编码设备10可根据层对多个图像序列进行分 类并根据可伸缩视频编码方法对每个图像序列进行编码,并输出包括根据层被编码的数据 的单独的流。层间视频编码设备10可将第一层图像序列和第二层图像序列编码到不同的 层。
[0072] 例如,根据基于空间可伸缩性的可伸缩视频编码方法,低分辨率图像可被编码为 第一层图像,高分辨率图像可被变为第二层图像。第一层图像的编码结果被输出为第一层 流,第二层图像的编码结果被输出为第二层流。
[0073] 作为另一示例,多视点视频可根据可伸缩视频编码方法被编码。在运种情况下,中 屯、视点图像可被编码为第一层图像,左视点图像和右视点图像可通过参考第一层图像被编 码为第二层图像。可选择地,当层间视频编码设备10允许至少=个层(例如,第一层至第= 层)时,中屯、视点图像可被编码为第一层图像,左视点图像可被编码为第二层图像,右视点 图像可被编码为第=层图像。当然,示例性实施例不限于此,通过对中屯、视点图像、左视点 图像和右视点图像进行编码而获得的层和被参考的层可改变。
[0074] 作为另一示例,可根据基于时间可伸缩性的时间分层预测来执行可伸缩视频编码 方法。可输出包括通过对基本帖率图像进行编码而产生的编码信息的第一层流。可根据帖 率对时间层进行分类,并且可根据层对每个时间等级进行编码。可通过参考基本帖率图像 进一步对高帖率图像进行编码来输出包括高帖率的编码信息的第二层流。
[0075] 此外,可对第一层和多个第二层执行可伸缩视频编码。当存在至少=个第二层时, 可对第一层图像W及第一第二层图像至第K第二层图像进行编码。因此,第一层图像的编码 结果可被输出为第一层流,第一第二层图像至第K第二层图像的编码结果可分别被输出为 第一第二层流至第K第二层流。
[0076] 根据一些示例性实施例的层间视频编码设备10可执行单层的图像被参考的帖间 预测,W便对当前画面进行预测。通过执行帖间预测,可产生指示当前画面和参考画面之间 的运动信息的运动矢量W及当前画面和参考画面之间的残差。
[0077] 此外,层间视频编码设备10可执行第一层图像被参考的层间预测W便对第二层图 像进行预测。
[0078] 此外,当根据一些示例性实施例的层间视频编码设备10允许至少=个层(即,第一 层至第=层)时,可根据多层预测结构执行第一层图像和第=层图像之间的层间预测、第二 层图像和第=层图像之间的层间预测。
[0079] 经由层间预测,可产生当前画面与和当前画面的层不同的层的参考画面之间的位 置差分量W及当前画面与所述不同层的参考画面之间的残差。
[0080] 稍后将参照图3描述层间预测结构。
[0081] 根据一些示例性实施例的层间视频编码设备10可根据层执行根据视频的每个图 像的块的编码。块可W是正方形、矩形或任意几何形状,并不限于具有特定尺寸的数据单 元。块可W是根据树结构的编码单元之中的最大编码单元、编码单元、预测单元或变换单 元。包括树结构的编码单元的最大编码单元可被不同地称为诸如编码树单元、编码块树、块 树、根块树、编码树、编码根或树干。稍后将参照图8至图20描述基于根据树结构的编码单元 的视频编码和解码方法。
[0082] 同时,如果根据一些示例性实施例的层间视频编码设备10对多视点视频进行编 码,则层间视频编码设备10可额外地对补充数据(诸如,深度图像)进行编码,并因此可产生 包括比经由解码器输入的视点更多的视点的图像。运里,由于深度图像用于对中间视点图 像进行合成而不是直接被显示给用户,因此深度图像的恶化可影响合成的图像的质量。
[0083] 深度图像的深度值在对象的边界附近显著改变,并且在对象的内部的改变不显 著。因此,在与显著改变的深度值相应的对象的边界处发生的误差的最小化可使合成的图 像的误差最小化。另外,可通过相对减少关于深度值改变不显著的对象内部的数据量来提 高对深度图像进行编码的效率。
[0084] 因此,层间视频编码设备10可通过使用特定预测模式(例如,DC模式、平面模式、角 模式(angular mode)或深度建模模式(DMM)预测模式)对深度图像的当前块进行编码。另 夕h层间视频编码设备10可计算关于将被编码的块的DC值(W下,将被称为"均值"),并将计 算的均值映射到深度查找表,从而确定索引。运里,深度查找表表示深度图像的可能的深度 值被匹配到索引的表。
[0085] 另外,层间视频编码设备10可仅将通过将原始块的均值映射到深度查找表而确定 的索引与基于从预测块获得的均值计算出的索引之间的差发送到解码设备。
[0086] 同时,用于将属于预测块的所有像素值求和并将总和除W相应像素的数量的计算 处理可用于计算预测块的均值,其中,运样的用于对像素值进行累加和除法的计算处理会 增加编码设备和解码设备的复杂度。
[0087] 因此,可通过仅使用与预测块的像素之中的位于特定位置处的像素相应的像素值 来对预测块的均值进行预测,从而根据一些示例性实施例的层间视频编码设备10的复杂度 可降低。
[0088] W下,将参照图Ib详细描述根据一些示例性实施例的层间视频编码设备10的操 作。
[0089] 在操作11,预测模式确定器12可确定针对深度图像的当前块的预测模式。运里,预 测模式可W是DC模式、平面模式、角模式和深度建模模式(DMM)预测模式之一。运里,DMM预 测模式可包括DMM模式-I (或DMM_WRJ化模式)和DMM模式-4(或DMM_CPREDTEX模式)。
[0090] 运里,DC模式是使用邻近参考样点的均值来填充预测块的预测样点的帖内预测模 式。
[0091] 另外,平面模式是根据下面的等式1针对参考样点p[x][y]计算具有x,y = 〇---nTbS-1的预测样点口'6(15曰1]1口16[义][7]的帖内预测模式。
[0092] [等式 1]
[0093] predSamples[x] [y] = ((nTbS-1-x)*p[-l] [7] + (义+1)*口[11化5] [-l] + (nTbS-1-y)* 口[又][-1] + (7+1)*口[-1][0化5]+11化5)>>化〇邑2(11化5) + 1)
[0094] 运里,n化S表示预测块的水平长度或垂直长度。
[0095] 另外,角模式表示考虑从模式2到模式34的屏幕内预测模式的方向从参考样点之 中确定预测样点的预测模式。
[0096] 另外,DMM预测模式是通过根据图案将当前块划分为至少两个区域来执行预测的 模式,其中,在所述模式中,针对每个区域计算均值。同时,DMM预测模式可包括DMM模式-1和 DMM模式-4。011模式-1可W是层间视频编码设备10通过应用各种边界对当前块进行划分并 基于最适边界对当前块进行划分的模式,而DMM模式-4可W是根据当前块的纹理的图案将 预测块划分为至少两个或更多个块的模式。
[0097] 同时,DC模式、平面模式、角模式和深度建模模式(DMM)预测模式是通过使用当前 块周围的恢复的像素执行屏幕内预测的模式,并且对于本领域普通技术人员而言是显然 的。因此,将省略详细的描述。
[0098] 另外,预测模式确定器12可确定当前块的预测模式是不是使用下述的预测块的均 值的模式。
[0099] 在操作13,预测块产生器14可基于确定的预测模式产生当前块的预测块。
[0100] 在操作15,均值计算器16可通过使用预测块的与特定位置相应的像素值来对预测 块的均值进行预测。
[0101 ]例如,均值计算器16可通过使用W下像素值来对预测块的均值进行预测:与预测 块的左上区域相应的像素值、与预测块的右上区域相应的像素值、与预测块的左下区域相 应的像素值和与预测块的右下区域相应的像素值。详细地,作为替代通过使用预测块中的 所有像素值来获得均值的方式,均值计算器16可通过对W下像素值进行加权求和来对预测 块的均值进行预测:与预测块的左上区域相应的像素值、与预测块的右上区域相应的像素 值、与预测块的左下区域相应的像素值和与预测块的右下区域相应的像素值。然而,本发明 构思不限于此,可通过使用每个区域的至少一个或至少更多个像素值(例如,与左上区域相 应的四个像素值和与右上区域相应的四个像素值)来对预测块的均值进行预测。
[0102] 在另一示例中,均值计算器16可将与产生的预测块的右下区域相应的像素值预测 为预测块的均值。
[0103] 另外,均值计算器16可在不同的预测模式下获得不同的关于预测块的均值。
[0104] 例如,如果存在深度
再多了解一些
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1