视频处理方法及视频处理装置与流程

文档序号:15523199发布日期:2018-09-25 20:10阅读:179来源:国知局
本发明涉及视频处理方法及视频处理装置,更详细地,涉及可提高帧缓冲存储器的内存带宽效率的视频处理方法及视频处理装置。
背景技术
::本发明根据未来创造科学部及信息通讯技术研究振兴中心的信息通讯、广播研究开发事业的环节来执行[10043450,8KUHD及4KS3D(stereoscopic3D)内容的获取/存储/Ingest及传输用视频服务器技术开发],及本发明根据产业贸易资源部产业技术革新事业(系统半导体商业化技术开发事业)的环节来执行[10049498,开发在智能设备上再生网络视频的高清(4K级)视频译码器(HEVC/VP9)SoC]。当前,随着视频处理方式的提高,视频处理装置处理着更大尺寸的影像。尤其,随着产生对UHD的需求,很难利用当前的视频压缩技术来收容存储介质的大小及传输介质的带宽,因此,需要用于压缩UHD视频的新的压缩标准技术,随之,在2013年1月结束了对HEVC的标准化。HEVC可用于通过互联网(Internet)及3G、LTE等网来进行服务的视频流,而在此时,不仅是UHD可以被压缩为HEVC,而且FHD或HD级别也可以被压缩为HEVC。如UHDTV的情况下,预计在短期内具有4K(4096×2304像素)及30fps视频流,预计需要以4K60fps/120fps、8K30fps/60fps/…等每秒钟处理的次数会继续增加。并且,预计用于双向帧的预测及滤波处理的每个帧的请求带宽会大幅度提高。为了与这种处理带宽的提高相对应,需要使系统模数据块间或向外部的传输带宽根据在应用中需要的性能、功能来一同提高。然而,随着要处理的图像分辨率和帧率的增加,与所需的处理带宽大幅度提高相比,用于传输的带宽却存在局限性问题。例如,用于在帧缓冲存储器存储图像或从帧缓冲存储器引出图像的带宽可根据内存应用的最小突发长度(BURSTLENGTH)而受到限制。为了解决此问题,虽然提出对输出输入于帧缓冲存储器的图像进行压缩的方式,但实际上并未带来令人瞩目的带宽降低效果。并且,当前的帧缓冲的压缩方式为了得到高的压缩效率而使用有损压缩方式,然而这不仅带来质量的逐渐降低,而且还存在压缩数据格式发生变更的问题。不仅如此,通过这种格式变更,用于随机访问的帧缓冲存储器探索过程变得复杂,最终存在处理量及处理时间重新增加的问题。技术实现要素:技术问题本发明根据上述必要性来提出,本发明的目的在于,涉及可以利用帧缓冲的无损压缩来以没有质量损失的方式提高带宽效率的视频处理装置及视频处理方法。并且,本发明的目的在于,涉及可以通过提供维持无损并容易接近的帧缓冲的压缩格式来进行快速处理的视频处理装置及视频处理方法。并且,本发明的另一目的在于,涉及通过将帧缓冲器的无损压缩时的压缩方式多元化来将带宽减少效果最大化的视频处理装置及视频处理方法。技术方案用于实现上述目的的本发明一实施例的视频处理装置可包括:影像接收部,接收被编码的影像;滤波部,对从编码后的上述影像中复原的影像帧进行滤波处理;数据块分割部,将滤波处理后的上述影像帧分割为多个数据块;压缩部,确定针对上述多个数据块的各个压缩方式来选择性地执行压缩,并以规定单位对被压缩或非压缩的上述多个数据块进行封装;以及帧缓冲存储器,记录被封装的上述数据。用于实现上述目的的本发明一实施例的处理视频方法作为视频处理装置的影像处理方法,包括:接收被编码的影像的步骤;对从编码后的上述影像中复原的影像帧进行滤波处理的步骤;将滤波处理后的上述影像帧分割为多个数据块的步骤;确定针对上述多个数据块的压缩方式的步骤;根据所确定的上述压缩方式来选择性地压缩上述多个数据块,并以规定单位对被压缩或非压缩的上述多个数据块进行封装的步骤;以及记录被封装的上述数据的步骤。另一方面,上述视频处理方法可通过计算机可读记录介质来体现,在上述计算机可读记录介质记录有用于在计算机执行的程序。有益效果根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法即使在每秒钟需要处理的像素数(K60fps/120fps、8K30fps/60fps/…等)较大的影像的情况下,也能在没有质量下降的状态下减少内存带宽,从而可以提高处理效率。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法由于可以容易地接近被压缩的帧缓冲存储器,因而可以提高处理性能。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法可以减少从帧缓冲存储器输入输出的信息的额外开销,且可以减少带宽的变动,从而可以容易地体现系统,并提高稳定性。并且,根据本发明的多种实施例,可提供视频处理装置及视频处理方法,上述视频处理装置及视频处理方法可按所分割的纹理数据块来选择性地适用互不相同的压缩方式,并可通过选择将带宽减少效果最大化的方式来提高影像处理性能。附图说明图1为表示本发明一实施例的视频解码装置的结构的框图。图2为表示本发明另一实施例的视频解码装置的结构的框图。图3为用于更加详细说明本发明实施例的视频解码装置的压缩部结构的框图。图4为用于说明本发明实施例的视频解码方法的流程图。图5为用于更加详细地说明本发明实施例的压缩执行部的图。图6为用于说明本发明实施例的压缩执行部的工作的流程图。图7为可在本发明实施例的压缩步骤中适用的压缩方式的例示图。图8的(A)部分、(B)部分、(C)部分为用于说明根据本发明实施例来压缩的帧缓冲存储器的图。图9为用于说明本发明实施例的压缩方法及组化的图。图10为用于说明本发明实施例的查阅表的图。图11为与以往的结构相比较来说明根据本发明实施例来存储于帧缓冲存储器的信息的图。图12至图19为用于说明适用本发明实施例的情况下的处理效率得到提高的结果的实验数据。具体实施方式以下,参照附图对本发明进行详细的说明,以使本发明所属
技术领域
:的普通技术人员可以容易地实施。但本发明可以以多种不同形态体现,本发明并不局限于在此所述的实施例。并且,为了明确地说明本发明而省略了附图中与说明无关的部分,且在本说明书全文中,对类似的部分赋予类似的附图标记。在本说明书全文中,当指出一个部分与另一部分“连接”时,这不仅包括“直接连接”的情况,而且还包括在中间设置其他元件来“间接连接”的情况。在本说明书全文中,当指出一个部件位于另一部件“上”时,这不仅包括一个部件与另一部件相接触的情况,而且还包括在两个部件之间存在其他部件的情况。在本说明书全文中,当指出一个部件“包括”一个结构要素时,只要没有特别相反的记载,就意味着并不是除去其他结构要素,而是意味着包括其他结构要素。在本说明书全文中使用的程度术语“约”、“实际上”等是在所提及的含义中提出固有的制造及物质允许误差时,以其数值或接近其数值的含义使用,并用于防止不良的侵害者以不当的方式利用为了便于理解而提及的准确或绝对的数值的公开内容。在本说明书全文中使用的程度术语“~(的)步骤”或“~步骤”并不非意味着“用于~的步骤”。在本说明书全文中,马库什形式的表达所包括的术语“它们的组合”意味着选自由马库什形式的表达所记载的结构要素组成的组中的一个以上的混合或组合,意味着包括选自由上述结构要素组成的组中的一个以上。作为对实际影像和其深度图进行编码的方法的一例,虽然可利用至今所开发的视频编码标准中的在具有最高编码效率的移动图像专家组(MPEG,MovingPictureExpertsGroup)和视频编码专家组(VCEG,VideoCodingExpertsGroup)中共同进行标准化的高效率视频编码(HEVC,HighEfficiencyVideoCoding)来执行解码,但并不局限于此,本发明实施例的解码装置可利用使用帧缓冲存储器的多种方式(MPEG2,AVC等)的编解码器来执行解码。通常,视频处理装置可包括编码装置或解码装置,编码装置包括编码过程和解码过程,解码装置包括解码过程。解码装置的解码过程可以与编码装置的解码过程相同。以下以解码装置为主进行说明。图1为表示本发明一实施例的视频解码装置的结构的框图。参照图1,本发明的视频解码装置100包括熵解码部110、逆量化/逆变换部120、加法器180、滤波部130、压缩部140、帧缓冲存储器150、解压部160、移动补偿部170及输出部190。除此之外,根据本发明的实施例,视频解码装置100还可包括帧内/帧间转换开关及帧内预测部。只是,本实施例更加具体说明用于生成预测数据块的参照帧的压缩及封装方法和利用这种方法的帧之间的预测(帧间模式)时的移动补偿过程。熵解码部110对从视频编码装置传输的编码比特流进行解码,来分为帧内预测模式指数、移动信息、量化系数序列等。熵解码部110可向移动补偿部170供给解码后的移动信息。熵解码部110可向移动补偿部170、逆量化/逆变换部120供给上述帧内预测模式指数。并且,熵解码部110可向逆量化/逆变换部120供给逆量化系数序列。逆量化/逆变换部120可将量化系数序列变换为二维陈列的逆量化系数。逆量化/逆变换部120可以为了变换而选择多个扫描图案中的一个。逆量化/逆变换部120可基于当前数据块的预测模式(即,帧内预测及帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描图案中的一个。逆量化/逆变换部120可从移动补偿部170或熵解码部110接收帧内侧模式。逆量化/逆变换部120利用选自多个量化矩阵中的量化矩阵来在上述二维陈列的逆量化系数中复原量化系数。根据所要复原的当前数据块的大小来适用不同大小量化矩阵,而对于相同大小的数据块,也可以基于上述当前数据块的预测模式及帧内预测模式中的至少一个来选择量化矩阵。并且,逆量化/逆变换部120对复原的上述量化系数进行逆变化来复原剩余数据块。加法器180对通过逆量化/逆变化部120来复原的剩余数据块和通过帧内预测部或移动补偿部170来生成的预测数据块进行计算,从而复原影像数据块。滤波部130对借助加法器180来生成的复原影像执行滤波处理。这可以带来减少源于通过滤波处理的量化过程中的影像损失的假象的效果。例如,滤波部130可执行用于去除在复原的图片中发生的屏蔽效果的解封滤波过程、用于以像素单位弥补与原影像之间的差值的适应性偏移适用过程及用于利用编码单元来弥补与原影像之间的差值的适应性循环滤波过程。帧缓冲存储器150为用于维持通过滤波部130来执行滤波处理的本机解码影像的存储器,可以存储用于移动补偿的多个帧或图片。存储及输出的帧的数据格式可通过压缩部140及解压部160来发生变形。例如,帧缓冲存储器150可包括闪存卡(flashmemorytype)、硬盘型(harddisktype)、微型多媒体卡形(multimediacardmicrotype)、卡型存储器(例如,SD或XD存储器等)、随机存取存储器、只读存储器(EEPROM等)中的至少一个类型的存储介质。压缩部140为用于根据本发明的视频处理方法来对存储于帧缓冲存储器150的帧执行压缩的模数据块,解压部160为用于从帧存储器150引出移动补偿部170所请求的随机访问对象帧,并执行解压的模数据块。尤其,在本发明的实施例中,压缩部140并行着选择性无损压缩及非压缩,从而可防止质量的下降,并可生成压缩信息,单独以查阅表方式进行管理降低带宽。例如,压缩部140可接收执行循环滤波的帧,并执行利用差分脉冲编码调制(DPCM)的适应性熵编码,从而获得无损压缩的纹理段。并且,压缩部140生成包含分别对纹理段的偏移信息的压缩信息,并以突发长度单位封装纹理段来与压缩信息一同存储于帧缓冲存储器150。帧缓冲存储器150可为通过AXI接口来连接的外部存储器。并且,通过本发明实施例的压缩部140的压缩处理及解压部160的工作,可容易地体现对移动补偿部170中的帧缓冲存储器150的随机访问。并且,通过本发明实施例的无损压缩及突发长度单位的存储方式的带宽降低效率可达到50%以下。对这种压缩部140的结构进行说明。移动补偿部170基于从熵解码部120接收的帧内预测模式指数来复原当前数据块的帧内预测模式。并且,根据所复原的帧内预测模式来生成预测数据块。尤其,移动补偿部170可基于移动矢量信息,通过解压部160来随机访问压缩存储于帧存储器150的图片。并且,可基于此来生成当前数据块的预测数据块。在适用少数精密度的移动补偿的情况下,适用所选择的内插滤波器来生成预测数据块。可向加法器180传输所生成的预测数据块。另一方面,虽然未图示,但帧内/帧间转换开关可基于编码模式向加法器180提供从帧内预测部和移动补偿部170的一个生成的预测数据块。并且,移动补偿部170为了生成用于移动补偿的预测数据块,还可包括多路复用器、移动信息编码模式判断部、归并模式移动信息编码部、先进运动矢量预测(AMVP)模式移动信息解码部、预测数据块生成部、剩余数据块解码部及复原数据块生成部。移动信息包括参照图片指数和移动矢量。参照图片指数表示之前被编码来复原的图片中的一个。在当前数据块得到单向帧内预测编码的情况下,表示属于列表0(L0)的参照图片中的一个。相反,在当前数据块得到双向预测编码的情况下,可包括表示列表0(L0)的参照图片中的一个的参照图片指数和表示列表1(L1)的参照图片中的一个的参照图片指数。并且,在当前数据块得到双向预测编码的情况下,可包括表示以结合列表0和列表1的方式生成的列表(LC)的参照图片中的一个或两个图片的指数。移动矢量表示各个参照图片指数所呈现的图片内的预测数据块的位置。移动矢量可以为像素单位(正数单位),但也可以为子像素单位。例如,可具有1/2、1/4、1/8或1/16像素的分辨率。在移动矢量并非为正数单位的情况下,从正数单位的像素中生成预测数据块。多路复用器从比特流中多路分配当前编码的移动信息和被编码的剩余信号。多路复用器向移动信息编码模式判断部传输多路分配的上述移动信息,向剩余数据块编码部传输被多路分配的剩余信号。移动信息编码模式判断部判断当前数据块的移动信息编码模式。移动信息编码模式判断部可根据所接收的比特流的跳跃标记(skip_flag)来判断当前数据块的移动信息编码模式。移动信息编码模式可包括跳跃模式、归并模式、先进运动矢量预测(AMVP,advancedmotionvectorprediction)中的至少一个,但并不局限于此。跳跃模式具有与当前数据块的移动信息具有相同的移动信息的跳跃候选单元,可在剩余信号为0的情况下适用。并且,可在当前数据块与编码单元具有相同尺寸时适用跳跃模式。可将当前数据块视为预测单元。归并模式可在具有与当前数据块的移动信息相同移动信息的归并候选单元时适用。在当前数据块编码单元与编码单元具有不同尺寸的情况下,或者在具有相同尺寸的情况下,存在具有剩余信号的情况下适用归并模式。归并候选单元和跳跃候选单元可相同。先进运动矢量预测模式可在不适用跳跃模式及归并模式时适用。可意味着将具有与当前数据块的移动矢量最为类似的移动矢量的先进运动矢量预测候选单元选为先进运动矢量预测预测单元的模式。并且,预测数据块生成部利用复原的移动信息来生成当前数据块的预测数据块。在移动矢量为正数单位的情况下,复制与参照图片指数所表示的图片内的移动矢量所表示的位置相对应的数据块来生成当前数据块的预测数据块。然而,在移动矢量并非为正数单位的情况下,可从参照图片指数所表示的图片内的正数单位像素来生成预测数据块的像素。此时,亮度像素的情况下可使用8标签的内插滤波器来生成预测像素,而在色差像素的情况下,使用4标签的内插滤波器来生成预测像素。剩余数据块解码部对剩余信号进行熵解码。并且,对熵解码的系数进行逆扫描来生成二维的被量化的系数数据块。逆扫描方式可根据熵解码方式而不同。即,基于CABAC来解码的情况和基于CAVLC来解码的情况的帧间预测剩余信号的逆扫描方式可以不同。例如,在基于CABAC来解码的情况下,可适用对角线方向的光栅逆扫描方式,而在基于CAVLC来解码的情况下,可适用Z字形逆扫描方式。并且,根据预测数据块的大小,可以以不同的方式确定逆扫描方式。剩余数据块解码部利用逆量化矩阵来对所生成的系数数据块实施逆量化。为了诱导上述量化矩阵而复原量化参数。量化步长按预先设定的大小以上的不同的编码单元来进行复原。上述预先设定的大小可以为8×8或16×16。剩余数据块解码部对上述逆量化的系数数据块实施逆变换来复原剩余数据块,且复原数据块生成部通过相加上述预测数据块生成部所生成的预测数据块和通过上述剩余数据块解码部生成的剩余数据块来生成复原数据块。利用以这种方式复原的当前数据块的预测数据块和解码的当前数据块的剩余数据块来复原当前数据块,且这重新得到滤波及压缩来存储于帧缓冲存储器150,再重新向移动补偿部170解压来传输,或者向输出部190输出。输出部190可以处理从帧缓冲存储器150输出的数据来显示或向外部传输。在输出部190中处理的影像信号、数据信号、OSD信号等可以分别变换为R、G、B信号来生成为驱动信号。并且,输出部190还可包括用于将在压缩部140中得到压缩处理的数据重组为影像信号的变频器。输出部190可包括用于显示变频的影像信号的PDP、LCD、OLED、软盘(flexibledisplay)、三维显示器(3Ddisplay)等。图2为表示本发明另一实施例的视频解码装置的结构的框图。参照图2,本发明另一实施例的视频解码装置100包括:熵解码部110、逆量化/逆变换部120、加法器180、滤波器130、压缩部140、帧缓冲存储器150、解压部160、移动补偿部170及输出部190,还可包括非压缩处理部195。在图2的情况下,除压缩部140、非压缩处理部195及输出部190之外的剩余结构要素执行与上述图1所述的动作类似的动作,因此可省略对此的详细说明。如图2所示,本发明另一实施例所具有的非压缩处理部195不经过压缩部140而直接向输出部190传输在滤波部130中滤波的影像。尤其,非压缩处理部195以按线(LINEBYLINE)书写方式向输出部190传输经过解码及滤波过程的影像帧。为此,非压缩处理部195可包括单独的缓冲存储器,且数据的突发长度可预先设定为64比特(byte)或128比特等。像这样,若向输出部190传输未经压缩的纯粹的YUV影像信号,则输出部190即使不执行解压处理,也可通过显示器等直接执行输出。并且,输出部190可利用纯粹的YUV影像信号来容易地执行缩放等后处理,因此可以扩大适用范围。因此,在图2的实施例中,输出部190可以并不包括单独的解压处理器,压缩部140仅压缩使用于移动补偿的参照帧来存储于帧缓冲存储器150,从而可以提高视频处理效率。以下,对上述视频编码装置的压缩处理结构进行详细说明。根据本发明一实施例,压缩部140包括图片缓冲部141、数据块分割部142、压缩执行部143、封装部144、压缩数据管理部145、压缩标志生成部146、组识别标识符生成部147及初始偏移生成部148。图片缓冲部141可接收从滤波部130滤波并输出的影像信号,并按不同的帧来存储于缓冲器。数据块分割部142从图片缓冲部获得各个帧,根据预先设定的压缩单元的尺寸将所获得的帧分割成多个压缩数据块。在本发明的实施例中,可固定压缩单元的尺寸,例如,各帧可分割成横向16像素×纵向4像素的数据块。压缩执行部143确定是否对各数据块进行压缩,且对通过压缩来确定的数据块执行无损压缩。尤其,根据本发明的实施例,压缩执行部143可对被分割的各个数据块选择无损压缩或非压缩中的一个处理方式。例如,压缩执行部143可选择如差分脉冲编码调制熵编码方式的无损失可变长度压缩方式。但是,压缩执行部143可对可变长度压缩的数据和非压缩数据的大小进行比较,并在可变长度压缩的数据更大的情况下,选择非压缩方式。像这样,在压缩执行部143中,可分别对不同的数据块适用互不相同的压缩方式,且根据情况,可发生进行非压缩处理的情况。并且,压缩执行部143可选择压缩或非压缩方式中带来带宽效率的方式。尤其,压缩执行部143为了改进以往的有损压缩等引起的质量减少和年产量增加所引起的带宽效率减少,可以与压缩程度无关地选择使带宽减少量最大化的方式。由此,压缩执行部143可向压缩标志生成部146传输是否对当前数据块进行压缩的信息。由此,压缩标志生成部146可生成表示对当前数据块是否进行压缩的压缩标志。例如,压缩标志可具有表示是否进行压缩的1比特的标志形态。压缩标志可与各个数据块相对应,且可向组标识符生成部传输。另一方面,封装部144将在压缩执行部143中按各数据块压缩的数据组化,并执行封装。封装部144可将压缩的数据块陈列成一个线,并以基于帧缓冲存储器150的突发长度的单位来执行组化。在本发明的封装部144中实现组化的各个数据块集可被称为突发组(BURSTGROUP,BG)。例如,突发长度可为128比特。在此情况下,封装部144能够以使被压缩的数据块包含在突发长度的128比特单位组的方式进行组化来执行封装。并且,封装部144按组单位向压缩数据管理部145传输被封装的纹理数据。压缩数据管理部145可按突发组单位来执行对帧缓冲存储器150的书写。随之,可变长度压缩的带宽变化率可以减少。并且,可维持无损压缩的压缩效率,因此,封装部144可以维持系统稳定性,并维持带宽效率提高的状态(或减少所消耗的带宽的状态)。并且,随着执行封装,封装部144可生成各数据块所属的组及表示该组内的位置的封装信息,并向组标识符生成部147传输。组标识符生成部147从封装信息可生成用于在封装信息中表示当前处理的数据块所属的组的组标识符。例如,组标识符可包括8比特的突发组标识符(burstgroupID)。并且,突发组标识符可显示对帧缓冲存储器150的特定基址的各组的相对位置。另一方面,初始偏移生成部148可基于封装信息来生成表示当前数据块的组内的初始位置的初始偏移信息。例如,偏移信息可包括7比特的初始比特偏移(startbyteoffset)信息。初始比特偏移信息可表示各数据块的相对初始位置。另一方面,压缩标志生成部146,组标识符生成部147及初始偏移生成部148分别向压缩数据管理部145传输当前数据块的压缩标志、组标识符及初始偏移信息。并且,压缩数据管理部145可以结合压缩标志、组标识符及偏移信息来生成查阅表信息,且可在帧缓冲存储器150记录查阅表信息。更具体地,压缩数据管理部145可生成与各个数据块相对应的查阅表信息。压缩数据管理部145利用1比特的压缩标志、8比特的组标识符及7比特的偏移信息来生成2比特的查阅表信息。以这种方式生成的查阅表信息及被封装的数据可分别记录于帧缓冲存储器150。如上所述,可以按突发长度单位来在帧缓冲存储器150记录被封装的数据。并且,当2比特的查阅表信息按突发长度单位累积时(例如,在对64个数据块累积128比特的查阅表信息的情况),压缩数据管理部145可记录于帧缓冲存储器150。因此,查阅表信息的记录单位可以按存储器的突发长度单位来维持。由此,得到提高的带宽可以无变动而维持,并可带来系统的稳定性。即,在本发明实施例中,封装部144中的被压缩的纹理数据块的封装单位和查阅表信息的记录单位可以相同。并且,各单位可以与帧缓冲存储器150的突发长度相对应。通过上述结构,可以提高带宽效率。并且,压缩数据管理部145可以为了生成对当前数据块的查阅表信息而参照对之前数据块的查阅表信息。在此情况下,若属于相同组的数据块,则可不用反复处理相同数据,因此可减少数据处理量。并且,帧缓冲存储器150记录以这种方式构成的压缩部140所输出的数据。尤其,压缩数据管理部145可控制及管理记录于帧缓冲存储区150的数据。由此,帧缓冲存储器150按不同的帧来存储及维持被封装的压缩纹理数据块,且可单独存储及维持与各帧相对应的查阅表信息。并且,查阅表信息可在每16×4数据块包含2比特的信息。在一实施例中,查阅表信息可包含突发组识别信息和初始偏移信息,这可以表示并非从帧缓冲存储器150中的整个地址的与预先设定的各突发组相对应的基址的偏移。其中,解压部160及压缩部140可分别存储及管理与各突发组相对应的基址的信息。因此,解压部160无需为了访问帧缓冲存储器150而需要所有存储地址。由此,解压部160即使从帧缓冲存储器150仅接收查阅表信息,也可以快速访问特定数据块。并且,随着预先设定突发组标识符和与此相对应的基址,并仅发送与此相关的查阅表信息,由于收发存储地址的总值的额外开销会减少,因此可获得提高数据处理效率及减少带宽的效果。另一方面,可向解压部160传输帧缓冲存储器150所包含的查阅表信息,解压部160参照查阅表信息来访问帧缓冲存储器150的特定位置,从而可执行移动补偿部170请求的随机访问。为此,解压部160可包括向帧缓冲存储器150请求查阅表信息,并存储及管理上述查阅表信息的第一高速缓冲存储器。更加具体地,若解压部160响应于移动补偿部170的请求来识别特定帧,则可以参照查阅表信息来获得与上述帧相对应的数据块的组识别信息、初始偏移信息及压缩标志。并且,解压部160可基于组识别信息及初始偏移信息来直接访问与各数据块相对应的帧缓冲存储器150的特定地址。由此,本发明的实施例克服了以往的压缩方式在寻找特定数据块的过程中消耗很长时间的问题,可以维持带宽降低效果,并可以进行高速处理。并且,解压部160根据压缩标志来判断纹理数据块是否解除压缩,且在必要的情况下,可解除压缩。解压部160对解除压缩的数据块进行重组来生成在移动补偿部170中请求的帧数据,并向移动补偿部170传输上述帧数据。之后,移动补偿部170可基于如上所述的移动矢量信息来生成预测数据块,并向计算部180传输来依次进行通过移动补偿的影像的解码。以下,参照图4至图8说明本发明实施例的视频处理方法。图4为用于说明本发明实施例的视频解码方法的流程图。参照图4,首先,视频处理装置100接收包含解码的影像数据的比特流,并执行熵解码(S100)。并且,视频处理装置100对进行熵解码的影像数据执行逆量化及逆变换(步骤S110)。如上所述,熵解码部110可以对从视频编码装置传输的编码比特流进行解码,并分为内部预测模式指数、移动信息、量化系数系列等。熵解码部110可向移动补偿部170提供解码的移动信息,并且,熵解码部110可向逆量化/逆变换部120提供逆量化系数序列。逆量化/逆变换部120将量化系数序列变换为二维陈列的逆量化系数,并基于当前数据块的预测模式(即,帧内预测及帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描图案中的一个,利用选自多个量化矩阵中的量化矩阵来在上述二维陈列的逆量化系数中复原量化系数。并且,逆量化/逆变换部120逆变换上述复原的量化系数来复原剩余数据块。之后,视频处理装置100利用剩余数据块和预测数据块来复原影像,并执行滤波(步骤S120)。如上所述,加法器180可对通过逆量化/逆变化部120来复原的剩余数据块和通过帧内预测部或移动补偿部170来生成的预测数据块进行计算,从而复原影像数据块,而滤波部130可对通过加法器180来生成的复原影像执行滤波处理。具体的滤波方法与上述相同。之后,视频处理装置100对滤波处理后的帧按数据块执行分割(步骤S130)。压缩部140为了在滤波部130中压缩及封装滤波处理后的影像帧纹理来记录于帧缓冲存储器150而按不同的影像帧的数据块来进行分割。并且,视频处理装置100确定是否对被分割的各数据块进行压缩并压缩方式(步骤S140),根据所确定的方式来对各数据块执行压缩(步骤S150),并对压缩执行后的纹理数据块执行封装(步骤S160)。之后,视频处理装置100向帧存储器存储查阅表信息及封装的数据(步骤S170)。图5为用于更为详细地说明本发明实施例的影像处理装置100的压缩执行部143结构的框图。参照图5,压缩执行部143可包括预压缩执行部1431、带宽比较部1432、压缩与否确定部1433、适用差数确定部1434及压缩结果输出部1435。若预压缩执行部1431接收分割的纹理数据块,则基于预先设定的多个压缩方式来预先执行各个方式的无损压缩。预压缩执行部1431可以为了执行无损压缩而利用熵编码,且可对差分脉冲编码调制方式之类的数据块内图片间的差值来执行可变长度编码并进行压缩。预压缩执行部1431可在各个方式中选择至少一个来执行无损压缩。尤其,预压缩执行部1431可选择性地执行利用多种码字的可变长度压缩。尤其,预压缩执行部1431利用与预先设定的多个差数相对应的码字来对所接收的纹理数据块按差数执行可变长度压缩。以此可以预先执行多次对纹理数据块的无损压缩。例如,可示例出利用可在预压缩执行部1431中执行的压缩方式来执行的利用指数哥伦布码(Exponentialgolombcode)的可变长度压缩方式,例如,预压缩执行部1431利用0次指数哥伦布码至N次指数哥伦布码来执行N+1次的各差数的可变长度压缩。并且,带宽比较部1432比较分析各压缩方式的带宽消耗量。带宽比较部1432可判断在预压缩执行部1431中预先执行的不同压缩方式的压缩结果在带宽占据多大位置。带宽比较部1432可向压缩与否确定部1433传输判断结果。压缩与否确定部1433基于带宽比较部1432的判断结果来确定是否进行压缩。压缩与否确定部1433对各压缩方式的压缩结果的带宽消耗量中的最小值和在直接传输所分割的纹理数据块时所消耗的带宽进行比较,而在纯带宽更小的情况下,可以确定为未进行压缩。并且,当大于纯带宽压缩的情况时,压缩与否确定部1433可确定进行压缩。压缩标志生成部146根据确定是否压缩来生成压缩标志。在确定为进行压缩的情况下,压缩方式确定部1434选择最佳压缩方式。压缩方式确定部1434可将在带宽比较部1432中分析的压缩方式的压缩结果的带宽消耗量中占据最小带宽的压缩方式确定为最佳压缩方式。例如,可预压缩执行部1431中按差数多次执行利用指数哥伦布码的适应性可变长度压缩方式。压缩方式确定部1434可将利用各指数哥伦布码的压缩结果的带宽消耗量中占据最小带宽的情况下的利用特定指数哥伦布码差数的适应性可变长度编码确定为压缩方式。压缩结果输出部1435从预压缩执行部1431接收所确定的压缩方式的结果物来向封装部144输出。压缩结果输出部1435可从预压缩执行部1431接收利用所确定的指数哥伦布差数的执行可变长度编码的压缩结果数据。并且,压缩结果输出部1435可向封装部144输出所接收的数据,或者在其数据中附加使用何种代码的压缩信息,并向封装部144输出。压缩信息可以以压缩标志的形态单独包含于查阅表信息。并且,在压缩结果输出部1435确定为不进行压缩的情况下,接收未进行压缩的原有的纹理数据块,并向封装部144输出。图6为用于说明本发明实施例的压缩执行部143的工作的流程图。参照图6,首先,压缩执行部143接收被分割的纹理数据块(步骤S200)。压缩执行部143可接收从数据块分割部142分割的纹理数据块。并且,压缩执行部143可以控制所接收的纹理数据块向预压缩执行部1431传输。之后,压缩执行部143对所接收的数据块适用不同差数的压缩(步骤S201)。压缩执行部143可通过预压缩执行部1431,并根据对不同数据块的指数哥伦布差数的码字来适用各差数的适应性长度可变编码。由此可先执行无损压缩。并且,压缩执行部143分析各差数的带宽效率(步骤S203)。压缩执行部143可通过带宽比较部1432来对各个指数哥伦布差数的带宽效率进行比较分析。带宽比较部1432可判断在预压缩执行部1431中执行的不同的指数哥伦布差数的压缩结果与原有的带宽相比具有何种程度的减少效率。带宽比较部1432可向压缩与否确定部1433传输判断结果。尤其,带宽减少效率可以与用于表示压缩后的数据所需的最大比特数相关。由此,带宽比较部1432可判断在传输压缩数据时,必要比特长度越小,带宽减少效率越高。因此,在本发明的实施例中,压缩可表示为比特率的压缩,且与实际数据总量的大小压缩无关。之后,压缩执行部143判断各差数的带宽减少效率是否大于预先设定的值(步骤S205)。预先设定的值可基于非压缩方式的带宽来确定。并且,在带宽减少效率低于带宽减少值的情况下,压缩执行部143确定为非压缩(步骤S209)。并且,在带宽减少效率大的情况下,压缩执行部143将效率最高的指数哥伦布差数确定为压缩差数(步骤S207)。压缩执行部143可通过压缩方式确定部1434来确定压缩指数。压缩与否确定部1433可将各指数哥伦布差数的压缩结果中的带宽效率最高的差数确定为最佳指数哥伦布差数。并且,压缩执行部143利用所确定的指数哥伦布差数来压缩当前所接收的纹理数据块(步骤S211),并输出压缩标志及压缩(或非压缩)的数据块(步骤S213)。压缩执行部143可通过压缩结果输出部1435从预压缩执行部1431接收预先确定的指数哥伦布差数的压缩结果数据来向封装部144输出。如上所述,压缩结果输出部1435可从预压缩执行部1431接收利用所确定的指数哥伦布差数的执行可变长度编码的压缩结果数据。并且,压缩结果输出部1435直接向封装部144传输接收到的数据,或者附加在上述数据使用何种指数哥伦布码的压缩信息来向封装部144输出。上述压缩信息可包含于压缩标志,因此,也可包含于查阅表信息。另一方面,在确定为非压缩的情况下,压缩执行部143通过传输未进行压缩的原有的纹理数据块来向封装部144传输。图7为可在本发明实施例的压缩步骤中适用的压缩方式的例示图。参照图7,压缩执行部143可根据数据块的特性来分别选择互不相同的压缩方式(EG0~EG3)来执行压缩,且可对传送各方式的压缩结果数据或记录于存储器时所消耗的带宽进行分析。此时,如图7所示,各个压缩方式可以为利用差数互不相同的的指数哥伦布码的可变长度压缩方式。并且,可预先设定压缩方式。例如,压缩执行部143可根据设定来比较EG0及EG3的情况,从而将其中的一个确定为压缩方式。并且,压缩执行部143一同比较EG0、EG1、EG2、EG3的情况来将其中的一个确定为压缩方式。并且,压缩执行部143可向横向及纵向执行各数据块的二维差分脉冲编码调制,并对各结果值执行指数哥伦布码(EG0~EG3)的可变长度压缩。根据上述本发明实施例,由于被分割的数据块的图案非常多样,因而不同压缩方式的带宽减少效率互不相同。因此,根据各数据块的图案或特性,可适用互不相同的压缩方式。由此,可选择各数据块分别具有最佳带宽效率的压缩方式,因此,可将带宽减少量最大化。图8至图11为用于说明以这种方式分割及封装的本发明实施例的数据块结构的图。图8的(A)部分表示按不同的数据块来分割的整个帧。如图8的(A)部分所示,各帧可以被分割为预先设定的大小的数据块。预先设定的大小可发生变更,且假设本发明实施例的数据块的大小为16×4来进行说明。在图片的大小并非为预先设定的大小的倍数的情况下,与边缘相对应的数据块的多余的值可设定成与边缘图片相同的值。另一方面,如图9所示,可选择性地压缩被分割的各数据块。其中,压缩方式如同上述,可基于是否减少带宽来选择利用非压缩、差分脉冲编码调制的可变长度编码压缩中的一个方式。并且,被压缩的各数据块可以根据突发长度来被封装为各个组。如图9的下端所示,在本发明的实施例中,封装部144可以指定各个突发组来对数据块进行封装。各突发组的尺寸可以与帧缓冲存储器150的突发长度相对应,各组可分配有组标示符。并且,如图10所示,封装部144可生成与各个数据块相对应的查阅表信息。查阅表信息可包含从封装的数据分割的各个数据块及是否压缩各个数据块的信息。例如,查阅表信息可包含8比特的组标识符信息、7比特的初始偏移信息及包含1比特的压缩标志2比特的数据。上述查阅表信息可单独存储于帧缓冲存储器150。重新说明图8,图8的(B)部分说明依次记录有以这种方式封装的数据的帧缓冲存储器150的存储空间。在整个帧中,可以按不同的数据块来存储比图8的(A)部分更压缩的纹理数据。其中,左侧的0、1、2、3等可表示与各突发组相对应的基址。可根据突发组信息及偏移(OFFSET)值来识别各数据块。各个突发组内不存在纹理数据的区域可被虚拟数据(DummyData)填满。另一方面,图8的(C)部分表示单独存储于帧缓冲存储器150的查阅表信息。查阅表信息可被与各个数据块相对应的2比特值填满,且可以按构成整个帧的各个数据块的顺序来排列。因此,解压部160只接收如图8的(C)部分的查阅表信息,并从帧缓冲存储器150识别纹理数据块,并执行压缩解除及重组来复原本来的帧。并且,如上所述,随着仅收发查阅表信息,减少收发存储地址的总值的额外开销,因此,可获得提高数据处理效率及减少带宽的效果。图8作为用于说明本发明实施例的帧缓冲存储器150的尺寸变化的图,用于说明降低带宽的帧缓冲存储器150的结构。图11的左侧表示普通的帧缓冲器,图11的右侧表示根据本发明实施例来压缩及封装的帧缓冲存储器150。如图11所示,与以往存储被解码的Y、Cb、Cr值的帧缓冲器不同,本发明实施例的帧缓冲存储器150可包含被压缩的Y纹理数据、被压缩的C纹理数据及被压缩的Y的查阅表信息及被压缩的C的查阅表信息。像这样,本发明实施例的帧缓冲存储器150可包括用于存储查阅表信息的缓冲器。上述缓冲器的尺寸可由影像帧尺寸确定。例如,对分割成16×4图片的数据块生成2比特的查阅表信息的情况下,用于查阅表信息的缓冲器的尺寸可确定为每帧1/32*(像幅(framesize))。因此,与现有的帧缓冲器相比,本发明实施例的帧缓冲存储器150还可包括追加的缓冲器区域。并且,对分割成16×4的数据块生成2比特的查阅表信息的情况下,按不同的帧缓冲存储器150的区域,可由如下公式诱导缓冲器尺寸。压缩数据的亮度(CompresseddataforLuma):(PicX+15)/16*16*PicY压缩数据的色度(CompresseddataforChroma):(PicX/2+15)/16*16*PicY亮度的查阅表(LookuptableforLuma):(PicY+15)/16*(PicX+255)/256*128色度的查阅表(LookuptableforChroma):(PicY+15)/16*(PicX/2+255)/256*128重新说明图4。之后,视频处理装置100响应于移动补偿部170的参照帧请求,向解压部160传输查阅表信息及封装的数据(步骤S180)。并且,视频处理装置100在解压部160中利用查阅表信息来随机访问构成相对应的帧的数据块,并通过执行解压及帧的重组来获得参照帧(步骤S190)。并且,视频处理装置100向移动补偿部170传输所获得的参照帧(步骤S195)。图12至图19为表示适用本发明实施例的视频处理方法的结果的实验数据。为了测试本发明实施例的视频处理方法的带宽降低效果,使用多种HEVC测试序列,且根据图像尺寸来分为A至F。带宽被推断成在进行解码处理(执行用于移动补偿的参照帧的读取/书写)的过程中通过128比特总线接口执行存储器的读取/书写的帧数据的总量。并且,对各序列使用互不相同的4种qp值(22、27、32及37)。从图12至图19的整体结果来看,本发明实施例的视频处理方法视频处理方法在循环滤波模数据块中执行书写时,呈现出与纯带宽相比,可保存平均56%的带宽。并且,在移动补偿部中执行读取时,呈现出与纯带宽相比,可保存59%的带宽。图12及图13以比较的方式分类示出本发明实施例的视频处理方法的帧缓冲器的压缩引起的平均带宽和未使用压缩的纯处理带宽。图12表示本发明一实施例的在图1所示的解码装置进行视频处理时的带宽降低率,图13表示本发明另一实施例的在图2所示的解码装置进行视频处理时的带宽降低率。另一方面,图14至图17为用于以视觉性的方式表示图12至图13的各条件的比较的图表。通过图表可知,明显呈现出本发明实施例的带宽降低效果。并且,图18表示通过本发明实施例的视频处理方法,不仅具有带宽降低效果,而且具有维持带宽稳定性的效果。在图18中观察本发明实施例的帧缓冲器压缩(以FBC标记的线)的结果可知,与非压缩(Uncomp)相比,带宽减少约70%,即使非压缩影像信息急剧变动,也几乎维持规定值。由此,本发明可以维持带宽稳定性,且对高速缓冲存储器的设计带来有利的结果。并且,图19表示在进行帧缓冲器压缩时(以FBC标记的线),平均带宽与非压缩数据相比减少到小于20%。本发明实施例可通过上述带宽的减少来维持图像的质量,并可以进行高分辨率的影像处理。上述本发明的视频处理方法可以制成用于在计算机实行的程序,从而可以存储于计算机可读记录介质中,计算机可读记录介质的例可举出ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且,包括以载波(例如通过网络的传输)形态体现的记录介质。计算机可读记录介质分散于由网络连接的计算机系统,并以分散方式存储和执行计算机可读代码。而且,本发明所属
技术领域
:的程序员可以容易地推论出用于体现上述方法的功能性(function)程序、代码及代码序列。并且,以上对本发明的优选实施例进行了图示和说明,但本发明并不局限于上述特定的实施例,本发明所属
技术领域
:的普通技术人员可在不脱离发明要求范围中所述的本发明的主旨的范围内进行多种变形实施,而这种变形实施不可从本发明的技术思想或前景中单独理解。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1