视频处理方法及视频处理装置与流程

文档序号:18922331发布日期:2019-10-19 03:42阅读:183来源:国知局
本发明涉及视频处理方法及视频处理装置,更详细地,涉及可提高帧缓冲存储器的内存带宽效率的视频处理方法及视频处理装置。
背景技术
::本研究根据产业贸易资源部产业技术革新事业(系统半导体商业化技术开发事业)的环节来执行[10049498,开发在智能设备上再生网络视频的高清(4K级)视频译码器(HEVC/VP9)SoC]。当前,随着视频处理方式的提高,视频处理装置处理着更大尺寸的影像。尤其,随着产生对UHD的需求,很难利用当前的视频压缩技术来收容存储介质的大小及传输介质的带宽,因此,需要用于压缩UHD视频的新的压缩标准技术,随之,在2013年1月结束了对HEVC的标准化。HEVC可用于通过互联网(Internet)及3G、LTE等网来进行服务的视频流,而在此时,不仅是UHD可以被压缩为HEVC,而且FHD或HD级别也可以被压缩为HEVC。如UHDTV的情况下,预计在短期内具有4K(4096×2304像素)及30fps视频流,预计需要以4K60fps/120fps、8K30fps/60fps/…等每秒钟处理的像素会继续增加。并且,预计用于双向帧的预测及滤波处理的每个帧的请求带宽会大幅度提高。为了与这种处理带宽的提高相对应,需要使系统模数据块间或向外部的传输带宽根据在应用中需要的性能、功能来一同提高。然而,随着要处理的图像分辨率和帧率的增加,与所需的处理带宽大幅度提高相比,用于传输的带宽却存在局限性问题。例如,用于在帧缓冲存储器存储图像或从帧缓冲存储器引出图像的带宽可根据内存应用的最小突发长度(BURSTLENGTH)而受到限制。为了解决此问题,虽然提出对输出输入于帧缓冲存储器的图像进行压缩的方式,但实际上并未带来令人瞩目的带宽降低效果。并且,当前的帧缓冲的压缩方式为了得到高的压缩效率而使用有损压缩方式,然而这不仅带来质量的逐渐降低,而且还存在难于复原原数据的问题。不仅如此,通过上述损失压缩,用于随机访问的帧缓冲存储器探索过程变得复杂,由此从结果来看存在处理量及处理时间再次增加的问题。技术实现要素:技术问题本发明根据上述必要性来提出,本发明的目的在于,涉及可以利用帧缓冲的无损压缩来以没有质量损失的方式提高带宽效率的视频处理装置及视频处理方法。并且,本发明的目的在于,涉及可以通过提供维持无损并容易接近的帧缓冲的压缩格式来进行快速处理的视频处理装置及视频处理方法。并且,本发明的再一目的在于,涉及通过将帧缓冲器的无损压缩时的压缩方式多元化来将带宽减少效果最大化的视频处理装置及视频处理方法。并且,本发明的另一目的在于,涉及在帧缓冲进行压缩时,可有效执行数据块分割来提高压缩效率的视频处理装置及视频处理方法。技术方案用于实现上述目的的本发明一实施例的视频处理装置可包括:影像接收部,接收被编码的影像;滤波部,对从编码后的上述影像中复原的影像帧进行滤波处理;数据块分割部,按既定的分割数据块单位来分割滤波处理后的上述影像帧,并输出为具有相同大小的多个分割数据块;压缩部,对上述多个数据块分别进行压缩,并根据封装单位执行封装;以及帧缓冲存储器,记录被封装的上述数据。用于实现上述目的的本发明一实施例的处理视频方法作为视频处理装置的影像处理方法,包括:接收被编码的影像的步骤;对从编码后的上述影像中复原的影像帧进行滤波处理的步骤;按既定的分割数据块单位来分割滤波处理后的上述影像帧,并输出为具有相同大小的多个分割数据块的步骤;对上述多个数据块分别进行压缩,并根据封装单位执行封装的步骤;以及记录被封装的上述数据的步骤。另一方面,上述视频处理方法可通过计算机可读记录介质来体现,在上述计算机可读记录介质记录有用于在计算机执行的程序。有益效果根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法即使在每秒钟需要处理的像素数(4K60fps/120fps、8K30fps/60fps/…等)较大的影像的情况下,也能在没有质量下降的状态下减少内存带宽,从而可以提高处理效率。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法由于可以容易地接近被压缩的帧缓冲存储器,因而可以提高处理性能。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法可以减少从帧缓冲存储器输入输出的信息的额外开销,且可以减少带宽的变动,从而可以容易地体现系统,并提高稳定性。并且,根据本发明的多种实施例,可提供按分割的纹理数据块来选择性适用互不相同的压缩方式,并选择使带宽减少效果最大化的方式,由此可提高影像处理性能的视频处理装置及视频处理方法。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理方法及装置提供有效的纹理数据块的分割及填充方式,并对双重处理的剩余信号执行可变长度编码,由此可提高影像处理性能。附图说明图1为表示本发明一实施例的视频处理装置的结构的框图。图2为表示本发明另一实施例的视频处理装置的结构的框图。图3为用于更加详细说明本发明实施例的视频处理装置的压缩部结构的框图。图4为用于说明本发明实施例的视频解码方法的流程图。图5为用于更为详细地说明本发明实施例的数据块分割部的图。图6为用于说明本发明实施例的数据块分割部的工作的流程图。图7为用于说明根据本发明实施例来分割的数据块的压缩过程的流程图。图8为用于说明本发明实施例的数据块的封装过程的流程图。图9的(A)部分、(B)部分、(C)部分为用于说明根据本发明实施例来压缩的帧缓冲存储器的图。图10为用于说明本发明实施例的压缩方法及组化的图。图11为用于说明本发明实施例的查阅表的图。图12为与以往的结构相比较来说明根据本发明实施例来存储于帧缓冲存储器的信息的图。图13至图20为用于说明适用本发明实施例的情况下的处理效率得到提高的结果的实验数据。具体实施方式以下,参照附图对本发明进行详细的说明,以使本发明所属
技术领域
:的普通技术人员可以容易地实施。但本发明可以以多种不同形态体现,本发明并不局限于在此所述的实施例。并且,为了明确地说明本发明而省略了附图中与说明无关的部分,且在本说明书全文中,对类似的部分赋予类似的附图标记。在本说明书全文中,当指出一个部分与另一部分“连接”时,这不仅包括“直接连接”的情况,而且还包括在中间设置其他元件来“电连接”的情况。在本说明书全文中,当指出一个部件位于另一部件“上”时,这不仅包括一个部件与另一部件相接触的情况,而且还包括在两个部件之间存在其他部件的情况。在本说明书全文中,当指出一个部件“包括”一个结构要素时,只要没有特别相反的记载,就意味着并不是除去其他结构要素,而是意味着包括其他结构要素。在本说明书全文中使用的程度术语“约”、“实际上”等是在所提及的含义中提出固有的制造及物质允许误差时,以其数值或接近其数值的含义使用,并用于防止无良的侵害者以不当的方式利用为了便于理解而提及的准确或绝对的数值的公开内容。在本说明书全文中使用的程度术语“~(的)步骤”或“~步骤”并不意味着“用于~的步骤”。在本说明书全文中,马库什形式的表达所包括的术语“它们的组合”意味着选自由马库什形式的表达所记载的结构要素组成的组中的一个以上的混合或组合,意味着包括选自由上述结构要素组成的组中的一个以上。作为对实际影像和其深度图进行编码的方法的一例,虽然可利用至今所开发的视频编码标准中的在具有最高编码效率的移动图像专家组(MPEG,MovingPictureExpertsGroup)和视频编码专家组(VCEG,VideoCodingExpertsGroup)中共同进行标准化的高效率视频编码(HEVC,HighEfficiencyVideoCoding)来执行解码,但并不局限于此,本发明实施例的解码装置可利用使用帧缓冲存储器的多种方式(MPEG2,AVC等)的编解码器来执行解码。通常,视频处理装置可包括编码装置或解码装置,编码装置包括编码过程和解码过程,解码装置包括解码过程。解码装置的解码过程可以与编码装置的解码过程相同。以下以解码装置为主进行说明。图1为表示本发明一实施例的视频处理装置的结构的框图。参照图1,本发明的视频处理装置100包括熵解码部110、逆量化/逆变换部120、加法器180、滤波部130、压缩部140、帧缓冲存储器150、解压部160、移动补偿部170及输出部190。除此之外,根据本发明的实施例,视频处理装置100还可包括帧内/帧间转换开关及帧内预测部。只是,本实施例更加具体说明用于生成预测数据块的参照帧的压缩及封装方法和利用这种方法的帧之间的预测(帧间模式)时的移动补偿过程。熵解码部110对从视频编码装置传输的编码比特流进行解码,来分为帧内预测模式指数、移动信息、量化系数序列等。熵解码部110可向移动补偿部170供给解码后的移动信息。熵解码部110可向移动补偿部170、逆量化/逆变换部120供给上述帧内预测模式指数。并且,熵解码部110可向逆量化/逆变换部120供给逆量化系数序列。逆量化/逆变换部120可将量化系数序列变换为二维陈列的逆量化系数。逆量化/逆变换部120可以为了变换而选择多个扫描图案中的一个。逆量化/逆变换部120可基于当前数据块的预测模式(即,帧内预测及帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描图案中的一个。逆量化/逆变换部120可从移动补偿部170或熵解码部110接收帧内侧模式。逆量化/逆变换部120利用选自多个量化矩阵中的量化矩阵来在上述二维陈列的逆量化系数中复原量化系数。根据所要复原的当前数据块的大小来适用不同大小量化矩阵,而对于相同大小的数据块,也可以基于上述当前数据块的预测模式及帧内预测模式中的至少一个来选择量化矩阵。并且,逆量化/逆变换部120对复原的上述量化系数进行逆变化来复原剩余数据块。加法器180对通过逆量化/逆变化部120来复原的剩余数据块和通过帧内预测部或移动补偿部170来生成的预测数据块进行计算,从而复原影像数据块。滤波部130对借助加法器180来生成的复原影像执行滤波处理。这可以带来减少源于通过滤波处理的量化过程中的影像损失的假象的效果。例如,滤波部130可执行用于去除在复原的图片中发生的屏蔽效果的解封滤波过程、用于以像素单位弥补与原影像之间的差值的适应性偏移适用过程及用于利用编码单元来弥补与原影像之间的差值的适应性循环滤波过程。帧缓冲存储器150为用于维持通过滤波部130来执行滤波处理的本机解码影像的存储器,可以存储用于移动补偿的多个帧或图片。存储及输出的帧的数据格式可通过压缩部140及解压部160来发生变形。例如,帧缓冲存储器150可包括闪存卡(flashmemorytype)、硬盘型(harddisktype)、微型多媒体卡形(multimediacardmicrotype)、卡型存储器(例如,SD或XD存储器等)、随机存取存储器、只读存储器(EEPROM等)中的至少一个类型的存储介质。压缩部140为用于根据本发明的视频处理方法来对存储于帧缓冲存储器150的帧执行压缩的模数据块,解压部160为用于从帧缓冲存储器150引出移动补偿部170所请求的随机访问对象帧,并执行解压的模数据块。尤其,在本发明的实施例中,压缩部140并行着选择性无损压缩及非压缩,从而可防止质量的下降,并可生成压缩信息,单独以查阅表方式进行管理降低带宽。例如,压缩部140可接收执行循环滤波的帧,并执行利用差分脉冲编码调制(DPCM)的适应性熵编码,从而获得无损压缩的纹理段。并且,压缩部140生成包含分别对纹理段的偏移信息的压缩信息,并以突发长度单位封装纹理段来与压缩信息一同存储于帧缓冲存储器150。帧缓冲存储器150可为通过AXI接口来连接的外部存储器。并且,通过本发明实施例的压缩部140的压缩处理及解压部160的工作,可容易地体现对移动补偿部170中的帧缓冲存储器150的随机访问。并且,通过本发明实施例的无损压缩及突发长度单位的存储方式的带宽降低效率可达到50%以下。在后期对这种压缩部140的结构进行说明。移动补偿部170基于从熵解码部110接收的帧内预测模式指数来复原当前数据块的帧内预测模式。并且,根据所复原的帧内预测模式来生成预测数据块。尤其,移动补偿部170可基于移动矢量信息,通过解压部160来随机访问压缩存储于帧缓冲存储器150的图片。并且,可基于此来生成当前数据块的预测数据块。在适用少数精密度的移动补偿的情况下,适用所选择的内插滤波器来生成预测数据块。可向加法器180传输所生成的预测数据块。另一方面,虽然未图示,但帧内/帧间转换开关可基于编码模式向加法器180提供从帧内预测部和移动补偿部170的一个生成的预测数据块。并且,移动补偿部170为了生成用于移动补偿的预测数据块,还可包括多路复用器、移动信息编码模式判断部、归并模式移动信息编码部、先进运动矢量预测(AMVP)模式移动信息解码部、预测数据块生成部、剩余数据块解码部及复原数据块生成部。移动信息包括参照图片指数和移动矢量。参照图片指数表示之前被编码来复原的图片中的一个。在当前数据块得到单向帧内预测编码的情况下,表示属于列表0(L0)的参照图片中的一个。相反,在当前数据块得到双向预测编码的情况下,可包括表示列表0(L0)的参照图片中的一个的参照图片指数和表示列表1(L1)的参照图片中的一个的参照图片指数。并且,在当前数据块得到双向预测编码的情况下,可包括表示以结合列表0和列表1的方式生成的列表(LC)的参照图片中的一个或两个图片的指数。移动矢量表示各个参照图片指数所呈现的图片内的预测数据块的位置。移动矢量可以为像素单位(正数单位),但也可以为子像素单位。例如,可具有1/2、1/4、1/8或1/16像素的分辨率。在移动矢量不是正数单位的情况下,从正数单位的像素中生成预测数据块。多路复用器从比特流中多路分配当前编码的移动信息和被编码的剩余信号。多路复用器向移动信息编码模式判断部传输多路分配的上述移动信息,向剩余数据块编码部传输被多路分配的剩余信号。移动信息编码模式判断部判断当前数据块的移动信息编码模式。移动信息编码模式判断部可根据所接收的比特流的skip_flag来判断当前数据块的移动信息编码模式。移动信息编码模式可包括跳跃模式、归并模式、先进运动矢量预测(AMVP,advancedmotionvectorprediction)中的至少一个,但并不局限于此。跳跃模式具有与当前数据块的移动信息具有相同的移动信息的跳跃候选单元,可在剩余信号为0的情况下适用。并且,可在当前数据块与编码单元具有相同尺寸时适用跳跃模式。可将当前数据块视为预测单元。归并模式可在具有与当前数据块的移动信息相同移动信息的归并候选单元时适用。在当前数据块编码单元与编码单元具有不同尺寸的情况下,或者在具有相同尺寸的情况下,存在具有剩余信号的情况下适用归并模式。归并候选单元和跳跃候选单元可相同。先进运动矢量预测模式可在不适用跳跃模式及归并模式时适用。可意味着将具有与当前数据块的移动矢量最为类似的移动矢量的先进运动矢量预测候选单元选为先进运动矢量预测预测单元的模式。并且,预测数据块生成部利用复原的移动信息来生成当前数据块的预测数据块。在移动矢量为正数单位的情况下,复制与参照图片指数所表示的图片内的移动矢量所表示的位置相对应的数据块来生成当前数据块的预测数据块。然而,在移动矢量不是正数单位的情况下,可从参照图片指数所表示的图片内的正数单位像素来生成预测数据块的像素。在此情况下,亮度像素的情况下可使用8标签的内插滤波器来生成预测像素,而在色差像素的情况下,使用4标签的内插滤波器来生成预测像素。剩余数据块解码部对剩余信号进行熵解码。并且,对熵解码的系数进行逆扫描来生成二维的被量化的系数数据块。逆扫描方式可根据熵解码方式而不同。即,基于CABAC来解码的情况和基于CAVLC来解码的情况的帧间预测剩余信号的逆扫描方式可以不同。例如,在基于CABAC来解码的情况下,可适用对角线方向的光栅逆扫描方式,而在基于CAVLC来解码的情况下,可适用Z字形逆扫描方式。并且,根据预测数据块的大小,可以以不同的方式确定逆扫描方式。剩余数据块解码部利用逆量化矩阵来对所生成的系数数据块实施逆量化。为了诱导上述量化矩阵而复原量化参数。量化步长按预先设定的大小以上的不同的编码单元来进行复原。上述预先设定的大小可以为8×8或16×16。剩余数据块解码部对上述逆量化的系数数据块实施逆变换来复原剩余数据块,且复原数据块生成部通过相加上述预测数据块生成部所生成的预测数据块和通过上述剩余数据块解码部生成的剩余数据块来生成复原数据块。利用以这种方式复原的当前数据块的预测数据块和解码的当前数据块的剩余数据块来复原当前数据块,且这重新得到滤波及压缩来存储于帧缓冲存储器150,且重新向移动补偿部170解压来传输,或者向输出部190输出。输出部190可以处理从帧缓冲存储器150输出的数据来显示或向外部传输。在输出部190中处理的影像信号、数据信号、OSD信号等可以分别变换为R、G、B信号来生成为驱动信号。并且,输出部190还可包括用于将在压缩部140中得到压缩处理的数据重组为影像信号的变频器。输出部190可包括用于显示变频的影像信号的PDP、LCD、OLED、软盘(flexibledisplay)、三维显示器(3Ddisplay)等。图2为表示本发明另一实施例的视频处理装置的结构的框图。参照图2,本发明另一实施例的视频处理装置100包括:熵解码部110、逆量化/逆变换部120、加法器180、滤波部130、压缩部140、帧缓冲存储器150、解压部160、移动补偿部170及输出部190,还可包括非压缩处理部195。在图2的情况下,除压缩部140、非压缩处理部195及输出部190之外的剩余结构要素执行与上述图1所述的动作类似的动作,因此可省略对此的详细说明。如图2所示,本发明另一实施例所具有的非压缩处理部195不经过压缩部140而直接向输出部190传输在滤波部130中滤波的影像。尤其,非压缩处理部195以按线(LINEBYLINE)书写方式向输出部190传输经过解码及滤波过程的影像帧。为此,非压缩处理部195可包括单独的缓冲存储器,且数据的突发长度可预先设定为64比特(byte)或128比特等。像这样,若向输出部190传输未经压缩的纯粹的YUV影像信号,则输出部190即使不执行解压处理,也可通过显示器等直接执行输出。并且,输出部190可利用纯粹的YUV影像信号来容易地执行缩放等后处理,因此可以扩大适用范围。因此,在图2的实施例中,输出部190可以并不包括单独的解压处理器,压缩部140仅压缩使用于移动补偿的参照帧来存储于帧缓冲存储器150,从而可以提高视频处理效率。以下,对上述视频编码装置的压缩处理结构进行详细说明。根据本发明一实施例,压缩部140包括图片缓冲部141、数据块分割部142、压缩执行部143、封装部144、压缩数据管理部145、压缩标志生成部146、组识别标识符生成部147及初始偏移生成部148。图片缓冲部141可接收从滤波部130滤波并输出的影像信号,并按不同的帧来存储于缓冲器。数据块分割部142从图片缓冲部获得各个帧,根据预先设定的压缩单元的尺寸将所获得的帧分割成多个压缩数据块。在本发明的实施例中,可固定压缩单元的尺寸,例如,各帧可分割成横向16像素×纵向4像素的数据块。压缩执行部143确定是否对各数据块进行压缩,且对确定要压缩的数据块执行无损压缩。尤其,根据本发明的实施例,压缩执行部143可对被分割的各个数据块选择无损压缩或非压缩中的一个处理方式。例如,压缩执行部143可选择如差分脉冲编码调制熵编码方式的无损失可变长度压缩方式。并且,压缩执行部143可对可变长度压缩的数据和非压缩数据的大小进行比较,并在可变长度压缩的数据更大的情况下,选择非压缩方式。像这样,在压缩执行部143中,可分别对不同的数据块适用互不相同的压缩方式,且根据情况,可发生进行非压缩处理的情况。并且,压缩执行部143可在压缩或非压缩方式中选择带来带宽效率的方式。尤其,压缩执行部143为了改进以往的有损压缩等引起的质量减少和计算量增加所引起的带宽效率减少,可以与压缩程度无关地选择使带宽减少量最大化的方式。由此,压缩执行部143可向压缩标志生成部146传输是否对当前数据块进行压缩的信息。由此,压缩标志生成部146可生成表示对当前数据块是否进行压缩的压缩标志。例如,压缩标志可具有表示是否进行压缩的1比特的标志形态。压缩标志可与各个数据块相对应,且可向组标识符生成部传输。另一方面,封装部144将在压缩执行部143中按各数据块压缩的数据组化,并执行封装。封装部144可将压缩的数据块陈列成一个线,并以基于帧缓冲存储器150的突发长度的单位来执行组化。在本发明的封装部144中实现组化的各个压缩数据块集可被称为突发组(BURSTGROUP,BG)。例如,突发长度可为128比特。在此情况下,封装部144能够以使被压缩的数据块包含在突发长度的128比特单位组的方式进行组化来执行封装。并且,封装部144按组单位向压缩数据管理部145传输被封装的纹理数据。压缩数据管理部145可按突发组单位来执行对帧缓冲存储器150的书写。随之,可变长度压缩的带宽变化率可以减少。并且,可维持无损压缩的压缩效率,因此,封装部144可以维持系统稳定性,并维持带宽效率提高的状态(或减少所消耗的带宽的状态)。并且,随着执行封装,封装部144可生成各数据块所属的组及表示该组内的位置的封装信息,并向组标识符生成部147传输。组标识符生成部147从封装信息可生成用于在封装信息中表示当前处理的数据块所属的组的组标识符。例如,组标识符可包括8比特的突发组标识符(burstgroupID)。并且,突发组标识符可显示对帧缓冲存储器150的特定基址的各组的相对位置。另一方面,初始偏移生成部148可基于封装信息来生成表示当前数据块的组内的初始位置的初始偏移信息。例如,偏移信息可包括7比特的初始比特偏移(startbyteoffset)信息。初始比特偏移信息可表示各数据块的相对初始位置。另一方面,压缩标志生成部146,组标识符生成部147及初始偏移生成部148分别向压缩数据管理部145传输当前数据块的压缩标志、组标识符及初始偏移信息。并且,压缩数据管理部145可以结合压缩标志、组标识符及偏移信息来生成查阅表信息,且可在帧缓冲存储器150记录查阅表信息。更具体地,压缩数据管理部145可生成与各个数据块相对应的查阅表信息。压缩数据管理部145利用1比特的压缩标志、8比特的组标识符及7比特的偏移信息来生成2比特的查阅表信息。以这种方式生成的查阅表信息及被封装的数据可分别记录于帧缓冲存储器150。如上所述,可以按突发长度单位来在帧缓冲存储器150记录被封装的数据。并且,当2比特的查阅表信息按突发长度单位累积时(例如,在对64个数据块累积128比特的查阅表信息的情况),压缩数据管理部145可记录于帧缓冲存储器150。因此,查阅表信息的记录单位可以按存储器的突发长度单位来维持。由此,得到提高的带宽可以无变动而维持,并可带来系统的稳定性。即,在本发明实施例中,封装部144中的被压缩的纹理数据块的封装单位和查阅表信息的记录单位可以相同。并且,各单位可以与帧缓冲存储器150的突发长度相对应。通过上述结构,可以提高带宽效率。并且,压缩数据管理部145可以为了生成对当前数据块的查阅表信息而参照对之前数据块的查阅表信息。在此情况下,若属于相同组的数据块,则可不用反复处理相同数据,因此可减少数据处理量。并且,帧缓冲存储器150记录以这种方式构成的压缩部140所输出的数据。尤其,压缩数据管理部145可控制及管理记录于帧缓冲存储区150的数据。由此,帧缓冲存储器150按不同的帧来存储及维持被封装的压缩纹理数据块,且可单独存储及维持与各帧相对应的查阅表信息。并且,查阅表信息可在每16×4数据块包含2比特的信息。在一实施例中,查阅表信息可包含突发组识别信息和初始偏移信息,这可以表示不是从帧缓冲存储器150中的整个地址的与预先设定的各突发组相对应的基址的偏移。其中,解压部160及压缩部140可分别存储及管理与各突发组相对应的基址的信息。因此,解压部160无需为了访问帧缓冲存储器150而需要所有存储地址。由此,解压部160即使从帧缓冲存储器150仅接收查阅表信息,也可以快速访问特定数据块。并且,随着预先设定突发组标识符和与此相对应的基址,并仅发送与此相关的查阅表信息,由于收发存储地址的总值的额外开销会减少,因此可获得提高数据处理效率及减少带宽的效果。另一方面,可向解压部160传输帧缓冲存储器150所包含的查阅表信息,解压部160参照查阅表信息来访问帧缓冲存储器150的特定位置,从而可执行移动补偿部170请求的随机访问。为此,解压部160可包括向帧缓冲存储器150请求查阅表信息,并存储及管理上述查阅表信息的第一高速缓冲存储器。更加具体地,若解压部160响应于移动补偿部170的请求来识别特定帧,则可以参照查阅表信息来获得与上述帧相对应的数据块的组识别信息、初始偏移信息及压缩标志。并且,解压部160可基于组识别信息及初始偏移信息来直接访问与各数据块相对应的帧缓冲存储器150的特定地址。由此,本发明的实施例克服了以往的压缩方式在寻找特定数据块的过程中消耗很长时间的问题,可以维持带宽降低效果,并可以进行高速处理。并且,解压部160根据压缩标志来判断纹理数据块是否解除压缩,且在必要的情况下,可解除压缩。解压部160对解除压缩的数据块进行重组来生成在移动补偿部170中请求的帧数据,并向移动补偿部170传输上述帧数据。之后,移动补偿部170可基于如上所述的移动矢量信息来生成预测数据块,并向加法部180传输来依次进行通过移动补偿的影像的解码。以下,参照图4至图8说明本发明实施例的视频处理方法。图4为用于说明本发明实施例的视频处理装置的工作方法的流程图。参照图4,首先,视频处理装置100接收包含解码的影像数据的比特流,并执行熵解码(S100)。并且,视频处理装置100对进行熵解码的影像数据执行逆量化及逆变换(步骤S110)。如上所述,熵解码部110可以对从视频编码装置传输的编码比特流进行解码,并分为内部预测模式指数、移动信息、量化系数系列等。熵解码部110可向移动补偿部170提供解码的移动信息,并且,熵解码部110可向逆量化/逆变换部120提供逆量化系数序列。逆量化/逆变换部120将量化系数序列变换为二维陈列的逆量化系数,并基于当前数据块的预测模式(即,帧内预测及帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描图案中的一个,利用选自多个量化矩阵中的量化矩阵来在上述二维陈列的逆量化系数中复原量化系数。并且,逆量化/逆变换部120逆变换上述复原的量化系数来复原剩余数据块。之后,视频处理装置100利用剩余数据块和预测数据块来复原影像,并执行滤波(步骤S120)。如上所述,加法器180可对通过逆量化/逆变化部120来复原的剩余数据块和通过帧内预测部或移动补偿部170来生成的预测数据块进行计算,从而复原影像数据块,而滤波部130可对通过加法器180来生成的复原影像执行滤波处理。具体的滤波方法与上述相同。之后,视频处理装置100对滤波处理后的帧按数据块执行分割(步骤S130)。压缩部140为了在滤波部130中压缩及封装滤波处理后的影像帧纹理来记录于帧缓冲存储器150而按不同的影像帧的数据块来进行分割。并且,视频处理装置100确定是否对被分割的各数据块进行压缩并确定压缩方式(步骤S140),根据所确定的方式来对各数据块执行压缩(步骤S150),并对压缩执行后的纹理数据块执行封装(步骤S160)。之后,视频处理装置100向帧缓冲存储器存储查阅表信息及封装的数据(步骤S170)。图5为用于更为详细地说明本发明实施例的数据块分割部的图。参照图5,本发明实施例的数据块分割部142包括分割结构确定部1421、边界填充部1422及数据块分割处理部1423。分割结构确定部1421接收从图片缓冲部141输出的图片(PICTURE)的数据,并对所接收的图片的数据进行分析来确定分割结构。在本发明的实施例中,分析对象图片可以与构成一个视频帧的一个图像相对应。分析对象图片可包括构成分析对象图片的各像素的Y值、Cr值及Cb值数据。分割结构确定部1421可对图片进行分析,并识别图片的横向长度及纵向长度。并且,分割结构确定部1421可基于所识别的图片的横向长度及纵向长度来确定分割结构。尤其,分割结构确定部1421可利用预先设定的数据块单位来确定将图片的横向长度和纵向长度分为上述数据块单位的分割结构。例如,数据块单位可具有16×4的像素的大小。分割结构确定部1421将整个图片的横向长度划分为16像素单位,纵向长度划分为4像素单位,从而以分割成多个数据块的方式确定分割结构。并且,分割结构确定部142可判断图片大小是否为数据块单位大小的倍数。图像大小可根据分辨率来具有多种大小,因此,图片的大小可以不是块单位大小的倍数。其中,图像的大小不是数据块单位(16×4像素)大小的倍数的情况下,边缘分割部分的大小可小于数据块单位的大小。因此,分割结构确定部1421可确定包括其边缘部分的具有数据块单位大小的边界数据块。分割结构确定部1421可向边界填充部1422传输边界数据块的信息。另一方面,在图片大小为数据块单位大小的倍数的情况下,若分割结构确定部1421确定分割结构,则可生成分割结构信息。根据分割结构信息,数据块分割处理部1423执行对图片的分割,从而向各个压缩执行部143传输被分割的纹理数据块。然而,在图片的大小不是数据块单位大小倍数的情况下,分割结构确定部1421可向边界填充部1422传输包括以与数据块单位大小不同的方式分割的部分的边界数据块的信息。例如,在图片的横向长度为1610像素的情况下,若以左侧上端像素为基准来分割为16×4数据块单位,则横向侧边缘(横向10像素×图片的纵向长度)分割部分与数据块单位大小不符。分割结构确定部1421可将包括其边缘的边界数据块确定为分割结构,并向边界填充部1422传输对此的信息。若边界填充部1422接收边界数据块的信息,则按数据块单位执行各边界数据块的填充。其中,边界填充部1422基于对从分割结构确定部传输的边界数据块的信息来执行填充。边界数据块可包括上述所述的图片的边缘部分及非图片区域。但边界填充部1422可通过插入预先设定于非图片区域的特定像素来执行填充。尤其,边界填充部1422可将向单方向填充的像素的值设定为与边界数据块的横向(或纵向)边界相对应的与像素值相同的值。由此,可在边界数据块的非图片区域中可填充有具有与向横向(或纵向)边界数据块的横向(或纵向)边界像素值相同值的像素。根据上述边界填充部1422的工作,可获得边界数据块的数据块单元大小的纹理数据,由此,影像处理装置100可持续地对相同大小的数据块单元进行压缩及解压处理。这可减少纹理尺寸的可变幅度,且更加提高带宽效率。并且,随着将填充的像素的值设为图片的横向边界值或纵向边界值,本发明实施例使横向方向剩余信号或纵向方向剩余信号变为0,由此可提高利用DPCM编码的压缩效率。并且,若结束填充,则边界填充部1422可向数据块分割处理部1423传输填充信息,或者可向分割结构确定部1421传输填充信息。另一方面,数据块分割处理部1423可将从分割结构确定部1421或边界填充部1422边界填充的图片或原有的图片分割为多个数据块单元。并且,多个数据块单元均可具有相同大小。被分割的多个数据块可依次向压缩执行部143传输。图6为用于详细说明本发明实施例的数据块分割部的工作的流程图。首先,数据块分割部142确定分割结构,并生成分割结构信息(步骤S200)。并且,数据块分割部142判断图片的横向大小或纵向大小是否为预先设定的数据块单位大小的倍数。如上所述,分割结构确定部1421可基于从图片缓冲部接收的图片来判断图片的横向大小及纵向大小。并且,可以判断所判断的横向大小或纵向大小是否为分割数据块单位的倍数。在不是分割数据块单位的倍数的情况下,数据块分割部142确定边界数据块(步骤S203)。在不是分割数据块单位的倍数的情况下,分割结构确定部1421可将小于其图像被分割为分割数据块单元时所剩的分割数据块单位大小的部分判断为边界区域,并可将包括其边界区域的分割数据块单位区域确定为边界数据块。因此,边界数据块可一同包括图片的边界区域和非图片区域。并且,数据块分割部142在边界数据块内检测图片的边界像素(步骤S205)。边界填充部1422可从分割结构确定部1421获得边界数据块信息。边界数据块信息可包括边界数据块的位置及边界区域和对于非图片区域的识别信息。并且,边界填充部1422可基于边界数据块信息来在边界数据块内检测与图片的边界相对应的像素。其中,根据横向长度或纵向长度,边界像素可包括多个像素。之后,数据块分割部142对数据块内非图片区域执行基于上述边界像素的填充(步骤S207)。如上所述,边界填充部1422可以以与边界像素相同值填充对边界数据块内非图像区域。通过上述填充使横向剩余信号或纵向剩余信号达到0,由此可提高利用DPCM编码的压缩效率。并且,数据块分割部142根据分割结构信息来分割图像,并以数据块单位向压缩执行部143输出。图7为用于说明根据本发明实施例来分割的数据块的压缩过程的流程图。参照图7,压缩执行部143首先获得数据块(步骤S301)。在数据块分割部142分割的各个纹理数据块可向压缩执行部143依次传输。压缩执行部143可以以互不相同的方式对所接收的各个数据块执行压缩。为此,压缩执行部143首先通过水平扫描来获得第一剩余信号(步骤S303)。例如,压缩执行部143可以为了水平扫描而向缓冲器分配图片的(y,x)坐标的像素值,且根据水平扫描顺序来计算与下一个像素(y,x-1)之间的差值,从而借助计算值来更新上述缓冲器。若根据各像素来执行,则可生成水平扫描后的第一剩余信号。之后,压缩执行部143通过垂直扫描来获得第二剩余信号(步骤S305)。例如,压缩执行部143为了水平扫描而向缓冲器分配图片的(y,x)坐标的像素值,且根据垂直扫描顺序来计算与下一个像素(y-1,x)之间的差值,从而借助计算值来更新上述缓冲器。若根据各像素来执行,则可生成水平扫描后的第二剩余信号。并且,压缩执行部143确定将要适用于第二剩余信号的码字(步骤S307)。压缩执行部143为了无损压缩而执行利用多个码字中的一个的可变长度编码。多个码字可包括差数互不相同的多个指数哥伦布码(Exponentialgolombcode)。当在多个码字中适用于当前数据块时,压缩执行部143可确定带宽效率最为优秀的码字。例如,压缩执行部143可基于带宽效率来将3次指数哥伦布码确定为编码码字。之后,压缩执行部143基于确定的码字来执行编码(步骤S309)。并且,压缩执行部143判断带宽效率是否比非压缩的情况增加(步骤S311)。在可变长度编码的情况下,即使执行编码,也可增加存储器中用于读取和书写数据所需的带宽。因此,与对当前数据块进行非压缩的情况相比,可在本发明实施例中判断带宽效率是否增加。在带宽效率增加的情况下,压缩执行部143输出被压缩的数据块(步骤S313)。并且,在带宽效率未增加的情况下,压缩执行部143输出非压缩的数据块(步骤S315)。图8为用于说明本发明实施例的数据块的封装过程的流程图。封装部144可获得压缩或非压缩的数据块,并以与存储器的突发长度相匹配的方式对数据块进行封装。并且,封装部144可生成基于封装的查阅表信息,并向其他模数据块传输。封装部144获得首先压缩或非压缩的第一数据块(步骤S400)。并且,封装部144判断累积于当前数据块缓冲器中的数据块的数据量和第一数据块的数据量之和是否大于存储器的突发长度(步骤S401)。在累积于当前数据块缓冲器中的数据块的数据量和第一数据块的数据量的和大于存储器的突发长度的情况下,封装部144对累积于当前数据块缓冲器的数据实施组化(步骤S403)。并且,封装部144在组化的数据分配组标识符,并生成对组所包含的各数据块的偏移信息(步骤S405)。组标识符可以与存储器的基址相对应,偏移信息可表示组内的数据块的相对地址。上述组标识符和偏移信息可包含于查阅表中,并与封装信息单独管理。并且,封装部144将组化的数据块数据以与突发长度相匹配的方式进行封装(步骤S407)来向存储器输出,并复位当前数据块缓冲器(步骤S409)。尤其,为了带宽效率的提高,在组化的数据块数据小于突发长度的情况下,封装部144在组化的数据块数据附加虚拟(DUMMY)区域,来以达到突发长度的方式进行封装。另一方面,在复原缓冲器或当前累积的数据块缓冲器和第一数据块的数据之和小于突发长度的情况下,将第一数据块累积于数据块缓冲器中(步骤S411)。图9至图12为用于说明以这种方式分割及封装的本发明实施例的数据块结构的图。图9的(A)部分表示按不同的数据块来分割的整个帧。如图9的(A)部分所示,各帧可以被分割为预先设定的大小的数据块。预先设定的大小可发生变更,且假设本发明实施例的数据块的大小为16×4来进行说明。在图片的大小不是预先设定的大小的倍数的情况下,与边缘相对应的数据块的多余的值可设定成与边缘像素相同的值。另一方面,如图10所示,可选择性地压缩被分割的各数据块。其中,压缩方式如同上述,可基于是否减少带宽来选择利用非压缩、差分脉冲编码调制的可变长度编码压缩中的一个方式。并且,被压缩的各数据块可以根据突发长度来被封装为各个组。如图10的下端所示,在本发明的实施例中,封装部144可以指定各个突发组来对数据块进行封装。各突发组的尺寸可以与帧缓冲存储器150的突发长度相对应,各组可分配有组标识符。并且,如图11所示,封装部144可生成与各个数据块相对应的查阅表信息。查阅表信息可包含从封装的数据分割的各个数据块及是否压缩各个数据块的信息。例如,查阅表信息可包含8比特的组标识符信息、7比特的初始偏移信息及包含1比特的压缩标志的2比特的数据。上述查阅表信息可单独存储于帧缓冲存储器150。重新说明图9,图9的(B)部分说明依次记录有以这种方式封装的数据的帧缓冲存储器150的存储空间。在整个帧中,可以按不同的数据块来存储比图9的(A)部分更压缩的纹理数据。其中,左侧的0、1、2、3等可表示与各突发组相对应的基址。可根据突发组信息及偏移(OFFSET)值来识别各数据块。各个突发组内不存在纹理数据的区域可被虚拟数据(DummyData)填满。另一方面,图9的(C)部分表示单独存储于帧缓冲存储器150的查阅表信息。查阅表信息可被与各个数据块相对应的2比特值填满,且可以按构成整个帧的各个数据块的顺序来陈列。因此,解压部160只接收如图9的(C)部分的查阅表信息,并从帧缓冲存储器150识别纹理数据块,并执行压缩解除及重组来复原本来的帧。并且,如上所述,随着仅收发查阅表信息,减少收发存储地址的总值的额外开销,因此,可获得提高数据处理效率及减少带宽的效果。图9作为用于说明本发明实施例的帧缓冲存储器150的尺寸变化的图,用于说明降低带宽的帧缓冲存储器150的结构。图12的左侧表示普通的帧缓冲器,右侧表示根据本发明实施例来压缩及封装的帧缓冲存储器150。如图12所示,与以往存储被解码的Y、Cb、Cr值的帧缓冲器不同,本发明实施例的帧缓冲存储器150可包含被压缩的Y纹理数据、被压缩的C纹理数据及被压缩的Y的查阅表信息及被压缩的C的查阅表信息。像这样,本发明实施例的帧缓冲存储器150可包括用于存储查阅表信息的缓冲器。上述缓冲器的尺寸可由影像帧尺寸确定。例如,对分割成16×4图片的数据块生成2比特的查阅表信息的情况下,用于查阅表信息的缓冲器的尺寸可确定为每帧1/32*(像幅(framesize))。因此,与现有的帧缓冲器相比,本发明实施例的帧缓冲存储器150还可包括追加的缓冲器区域。并且,对分割成16×4的数据块生成2比特的查阅表信息的情况下,按不同的帧缓冲存储器150的区域,可由如下公式诱导缓冲器尺寸。压缩数据的亮度(CompresseddataforLuma):(PicX+15)/16*16*PicY压缩数据的色度(CompresseddataforChroma):(PicX/2+15)/16*16*PicY亮度的查阅表(LookuptableforLuma):(PicY+15)/16*(PicX+255)/256*128色度的查阅表(LookuptableforChroma):(PicY+15)/16*(PicX/2+255)/256*128重新说明图4。之后,视频处理装置100响应于移动补偿部170的参照帧请求,向解压部160传输查阅表信息及封装的数据(步骤S180)。并且,视频处理装置100在解压部160中利用查阅表信息来随机访问构成相对应的帧的数据块,并通过执行解压及帧的重组来获得参照帧(步骤S190)。并且,视频处理装置100向移动补偿部170传输所获得的参照帧(步骤S195)。图13至图20为表示适用本发明实施例的视频处理方法的结果的实验数据。为了测试本发明实施例的视频处理方法的带宽降低效果,使用多种HEVC测试序列,且根据图像尺寸来分为A至F。带宽被推断成在进行解码处理(执行用于移动补偿的参照帧的读取/书写)的过程中通过128比特总线接口执行存储器的读取/书写的帧数据的总量。并且,对各序列使用互不相同的4种qp值(22、27、32及37)。从图13至图20的整体结果来看,本发明实施例的视频处理方法在循环滤波模数据块中执行书写时,呈现出与纯带宽相比,可保存平均56%的带宽。并且,在移动补偿部中执行读取时,呈现出与纯带宽相比,可保存59%的带宽。图13及图14以比较的方式分类示出本发明实施例的视频处理方法的帧缓冲器的压缩引起的平均带宽和未使用压缩的纯处理带宽。图13表示本发明一实施例的在图1所示的解码装置进行视频处理时的带宽降低率,图14表示本发明另一实施例的在图2所示的解码装置进行视频处理时的带宽降低率。另一方面,图15至图18为用于以视觉性的方式表示图13至图14的各条件的比较的图表。通过图表可知,明显呈现出本发明实施例的带宽降低效果。并且,图19表示通过本发明实施例的视频处理方法,不仅具有带宽降低效果,而且具有维持带宽稳定性的效果。在图19中观察本发明实施例的帧缓冲器压缩(以FBC标记的线)的结果可知,与非压缩(Uncomp)相比,带宽减少约70%,即使非压缩影像信息急剧变动,也几乎维持规定值。以此,本发明可以维持带宽稳定性,且对高速缓冲存储器的设计带来有利的结果。并且,图20表示在进行帧缓冲器压缩时(以FBC标记的线),平均带宽与非压缩数据相比减少到小于20%。本发明实施例可通过上述带宽的减少来维持图像的质量,并可以进行高分辨率的影像处理。上述本发明的视频处理方法可以制成用于在计算机实行的程序,从而可以存储于计算机可读记录介质中,计算机可读记录介质的例可举出ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且,包括以载波(例如通过网络的传输)形态体现的记录介质。计算机可读记录介质分散于由网络连接的计算机系统,并以分散方式存储和执行计算机可读代码。而且,本发明所属
技术领域
:的程序员可以容易地推论出用于体现上述方法的功能性(fuction)程序、代码及代码序列。并且,以上对本发明的优选实施例进行了图示和说明,但本发明并不局限于上述特定的实施例,本发明所属
技术领域
:的普通技术人员可在不脱离发明要求范围中所请求的本发明的主旨的范围内进行多种变形实施,而这种变形实施不可从本发明的技术思想或前景中单独理解。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1