操作影像处理装置的方法及影像处理装置与流程

本发明是有关于一种操作影像处理装置的方法，尤其是一种能够重组高效率视频编码的操作影像处理装置的方法。

背景技术：

随着消费者对于影像质量的要求日益提高，影像制作者也致力于制作出更高画质的影像内容。然而，高画质的影像常包含了庞大的数据数据，因此为了方便传输及储存影像内容，各种的影像压缩方法也因应而生，如在2013年1月发布的高效率视频编码(highefficiencyvideocoding，hevc)标准。在高效率视频编码标准中，影像中的每一张图像可被分成多个图像区块(tile)，每一个图像区块中的每一个区域可根据压缩编码时所得出的运动向量来推算出在时序上的先前图像所对应的区域，并根据先前图像中对应区域的数据来进行解压缩。在高效率视频编码标准中，倘若某一图像区块中所有区域对应到先前图像的对应区域仍皆落入其先前图像的同一图像区块的范围内，则表示这个图像区块属于运动约束区块集合(motion-constrainedtilesets，mcts)，也就是说，每张图像之间的预测会被限制成不需参考其对应图像区块以外的其他区块。

为了能够实时地将压缩后的影像内容进行解压缩以进行播放，先前技术常针对不同的影像压缩方法和影像内容规格设计不同的硬件装置来进行解压缩。然而也因为硬设备的限制，较旧的硬设备常无法播放新的高画质影像。举例来说，仅支持4k分辨率的显示器其内部的解压缩单元即可能无法对8k分辨率的影像内容进行解压缩，因此无法显示8k分辨率的影像内容。换言之，当影像规格与硬设备之间不兼容时，就可能导致影像无法正常显示，造成使用上的不便。

技术实现要素：

本发明的一实施例提供一种操作影像处理装置的方法，影像处理装置包含解压缩单元、多个缓存器及影像缓冲存储器。操作影像处理装置的方法包含接收影像流，影像流包含根据帧间(intraframe)帧内(interframe)混合压缩标准所压缩的多张图像的压缩数据，界定第一图像的兴趣区，根据第一图像所对应的多个参数集合自第一图像所包含的多个数据片中标记出对应于第一图像的兴趣区内的多个兴趣影像数据，解压缩单元解压缩兴趣影像数据以产生多个解压缩影像数据。

第一图像被分为多个图像区块，且每一个图像区块是在无须参考该第一图像中其他图像区块的情况下独立进行解压缩。

本发明的另一实施例提供一种影像处理装置，影像处理装置包含多个缓存器、处理器及影像缓冲存储器。

处理器耦接于多个缓存器。当影像处理装置接收包含多张图像的压缩数据的影像流时，处理器界定该些图像中的第一图像的兴趣区，根据第一图像所对应的多个参数集合自第一图像所包含的多个数据片中标记出对应于第一图像的兴趣区内的多个兴趣影像数据，根据至少兴趣区更新些参数集合成为多个更新参数集合，及将该些更新参数集合分别写入该些缓存器中对应的缓存器。

解压缩单元耦接于处理器。解压缩单元解压缩该些兴趣影像数据以产生多个解压缩影像数据。该些张图像的压缩数据是根据帧间(intraframe)帧内(interframe)混合压缩标准所压缩而成。第一图像是被分为多个图像区块，且每一个图像区块是在无须参考第一图像中其他图像区块的情况下独立进行解压缩。

附图说明

图1为本发明一实施例的影像处理装置的使用情境图。

图2为本发明一实施例的影像流的多张图像的示意图。

图3为操作图1的影像处理装置的方法的流程图。

图4为图3的方法的部分细部流程图。

图5为图3的方法的部分细部流程图。

符号说明

100影像处理装置

h1主机端

m1显示端

110缓存器

120影像缓冲存储器

130解压缩单元

140处理器

vf影像流

img1至imgn图像

t1至tm图像区块

ss1至ssk数据片

roi兴趣区

200方法

s210至s270步骤

具体实施方式

图1为本发明一实施例的影像处理装置100的使用情境图。影像处理装置100包含多个缓存器110、影像缓冲存储器120、解压缩单元130及处理器140。处理器140耦接于缓存器110及解压缩单元130。在图1中，主机端h1可产生影像流vf，且为了节省传输影像流所需的带宽，影像流vf可能是经过压缩之后影像流，因此影像处理装置100必须对影像流vf做进一步的处理及解压缩，才能让显示端m1显示对应的影像内容。

然而，主机端h1所产生的影像流vf的分辨率可能超过影像处理装置100所能够解压缩的分辨率。举例来说，主机端h1所提供的影像流vf可能具有8k分辨率，而影像处理装置100的硬件规格仅能够解压缩4k分辨率的影像流。由于影像流vf的分辨率超出影像处理装置100所能够解压缩的上限，因此影像处理装置100在接收到影像流vf时，就必须先对影像流vf进行处理，例如先将影像流vf中的图像分辨率缩减至分辨率4k以下，才能让影像处理装置100顺利进行解压缩。

图2为本发明一实施例的影像流vf的多张图像img1至imgn的示意图。影像流vf包含根据帧间(intraframe)帧内(interframe)混合压缩标准所压缩的n张图像img1至imgn的压缩数据，n为正整数。每一张图像img1至imgn包含多个图像区块(tile)。举例来说，在图2中，图像img1可被区分为m个图像区块t1至tm，m为大于1的正整数。

在本发明的实施例中，帧间(intraframe)帧内(interframe)混合压缩标准可例如为高效率视频编码(highefficiencyvideocoding，hevc)标准，且每一张图像img1至imgn的图像区块皆属于高效率视频编码标准所定义的运动约束区块集合(motion-constrainedtileset，mcts)，也就是说，每一个图像区块皆可独立解压缩，而无须参考同张图像中其他图像区块的内容。

此外，根据高效率视频编码标准的规范，每一张图像img1至imgn的压缩数据包含与影像内容相关的多个数据片(slice)以及与影像规格及压缩方法相关的多个参数集合(parametersets)。数据片可包含图像中部份图像区块的内容甚至是整张图像中所有图像区块的内容。在图2中，图像img1可包含数据片ss1至ssk，每个数据片ss1至ssk可对应到图像img1中不同区域的图像内容，且每个数据片ss1至ssk所对应的区域大小也可不同。

在高效率视频编码标准中，数据片以变动长度(variablelength)的方式进行压缩，因此单凭数据片的内容，并无法理解每个数据与图像中各区域画素的对应关系。相较之下，参数集合大多是以固定长度(fixed-length)的方式压缩，其内容一般是用来记录影像的规格以及与压缩方法相关的参数，举例来说，高效率视频编码标准中的参数集合可包含影像参数集合(videoparameterset，vps)、序列参数集合(sequenceparameterset，sps)、图像参数集合(pictureparameterset，pps)及辅助增强信息(supplementalenhanceinformation，sei)。

图像参数集合的内容大致包含初始的图像区块的组态参数，例如图像如何分块、图像区块的数量及大小等信息，图像参数集合可供不同的数据片共同参考。举例来说，每个数据片的标头中即可纪录其所引用的图像参数集合，并可根据其所对应的图像参数集合，解析数据片中的数据内容。

序列参数集合的内容则大致与解压缩相关，例如其内容可为图像的长宽、分辨率、级别及大小…等参数，序列参数集合的内容亦可供不同的图像参数集合共同参考。

影像参数集合的内容大致与所使用的语法相关，其内容可例如为影像的外观等级(profilelevel)、是否支持多视点压缩…等参数，影像参数集合的内容则可供不同的序列参数集合共同参考。辅助增强信息的内容则记录了其他延伸的辅助信息，例如是否符合运动约束区块集合。

图3为本发明一实施例的操作影像处理装置100的方法200的流程图。方法200包含但不限于步骤s210至s270，且不限于图3所示的顺序。在本发明的部分实施例中，方法200可由影像处理装置100的固件及/或软件来执行实作。

s210：接收影像流vf；

s220：界定第一图像img1的兴趣区roi；

s230：根据第一图像img1所对应的多个参数集合自第一图像img1所包含的多个数据片ss1至ssk中标记出对应于第一图像img1的兴趣区roi内的多个兴趣影像数据；

s240：更新第一图像img1的参数集合成为更新参数集合；

s250：将更新参数集合写入影像处理装置100中对应的缓存器110；

s260：解压缩单元130解压缩兴趣影像数据以产生解压缩影像数据；

s270：影像处理装置100将解压缩影像数据储存于影像缓冲存储器120。

在步骤s210中，影像处理装置100可接收主机端h1所提供的影像流vf。由于影像流vf的分辨率较高，影像处理装置100无法直接进行解压缩，因此方法200会将影像流vf中每一张图像img1至imgn的部分内容省略，而只处理每一张图像img1至imgn中用户有需要或有兴趣的区域的内容，也就是兴趣区(regionofinterest)的内容。

举例来说，在图2中，用户有需要或有兴趣的区域为图像img1的中央区域，因此可将图像img1的中央区域定义为图像img1的兴趣区roi。此外，还可根据显示端m1的硬件规格来决定兴趣区roi的大小。举例来说，若原先的图像img1包含7680×4320个画素数据，然而显示端m1仅能够显示3840x2160k个画素的影像内容，在此情况下，即可将兴趣区roi的大小设定为3840x2160k个画素。如此一来，便可确保显示端m1能够正常显示兴趣区所对应的影像内容。再者，在本发明的部分实施例中，兴趣区roi的分辨率也可能大于显示端m1所能显示的分辨率，此时影像处理装置100亦可根据用户的需求，仅提供兴趣区roi中的部分影像内容供显示端m1显示。

在步骤s220中，影像处理装置100可根据预设条件或动态地根据图像img1至imgn中的重点对象的移动来调整每一张图像img1至imgn的兴趣区的位置。也就是说，影像处理装置100可选择将图像img1至imgn的中央区域或其他特定区域作为预设的兴趣区，又或是影像处理装置100可以配合图像img1至imgn中用户所关注的重点对象的运动来移动兴趣区，使得图像img1至imgn的兴趣区能够包含用户所关注的对象。举例来说，主机端h1所提供的影像流vf也可能是虚拟现实的全景影像，而兴趣区的范围则可由用户的观察角度来界定。在此情况下，当用户在虚拟现实中抬头时，兴趣区roi的范围会在第一图像img1中跟着上移，而当用户在虚拟现实中低头时，兴趣区roi1则可跟着下移，依此类推。在此情况下，每一张图像img1至imgn可为360度的全景图像，因此每一张图像img1至imgn的两侧图像内容实际上可为互相对应且相连。

由于第一图像img1的图像区块(tile)是以变动长度的方式进行压缩，而不易解析，因此在步骤s230中，影像处理装置100会先解析影像流vf的第一图像img1所对应的参数集合以及各数据片ss1至ssk的部份内容例如标头(header)。

第一图像img1所对应的参数集合包含前述高效率视频编码标准中的影像参数集合、序列参数集合、图像参数集合及辅助增强信息。由于每个数据片ss1至ssk可能会引用相异的参数集合来储存管理内部的信息，因此在步骤s230中，影像处理装置100可根据数据片ss1至ssk的标头的信息得知每个数据片ss1至ssk所引用的参数集合为何，并进一步完成解析，接着就可根据所取得的参数集合中所记录的信息，自数据片ss1至ssk中标记出对应于第一图像img1的兴趣区roi的兴趣影像数据。

图4为步骤s230的细部流程图。步骤s230可包含但不限于子步骤s232至s236

s232：解析数据片ss1至ssk的标头；

s234：根据数据片ss1至ssk的标头取得对应于数据片ss1至ssk的对应图像参数集合以取得数据片ss1至ssk所对应的图像区块组态参数；

s236：根据数据片ss1至ssk所对应的图像区块组态取得对应于图像img1的兴趣区roi的兴趣影像数据。

在步骤s232中，图像处理器100可对图像img1的数据片ss1至ssk的标头进行解析。数据片的标头纪录了其所对应的参数集合以及其影像内容的压缩起始地址…等信息，而其所对应的参数集合中则包含每个数据片ss1至ssk所对应的图像区块大小及数量…等图像区块组态参数，因此影像处理装置100可以根据数据片ss1至ssk的标头及其所对应的参数集合取出数据片ss1至ssk中，对应于图像img1的兴趣区roi的兴趣影像数据。

举例来说，表1为高效率视频编码标准的数据片标头的部分数据结构及其对应的描述子(descriptor)，而slice_pic_parameter_set_id与entry_point_offset_minus1[i]即为上述标头中所记录的参数集合以及其影像内容的压缩起始地址。

在图2中，数据片ss1包含图像区块t1至t7，然而其中只有图像区块t7是在第一图像img1的兴趣区roi中。也就是说，在据数据片ss1的影像数据中，只有对应于图像区块t7的影像数据是与第一图像img1的兴趣区roi相关的兴趣影像数据，因此在步骤s236中，影像处理装置100就会可根据数据片ss1的标头及其所对应的参数集合计算出对应于图像区块t7的影像数据的存放位置，能够取得对应于图像区块t7的影像数据，并进而能标记出对应于图像区块t7的影像数据。

然而，在本发明的部分实施例中，第一图像img1的数据片ss1至ssk可能会共享相同的标头，也就是说数据片ss2至ssk中可能并未包含标头，而是直接沿用数据片ss1的标头。在此情况下，影像处理装置100可以先储存第一图像img1的第一数据片ss1的标头，而在解析对应于兴趣区roi的第二数据片ss2时，直接利用第一数据片ss1的标头作为第二数据片ss2的标头。如此一来，就可以确保后续的步骤s240及步骤s250能够顺利执行。

由于兴趣区roi的大小与第一图像img1的大小不同，且两者所包含的图像区块的数量也可能不同，因此为了确保影像处理装置100能够将兴趣区roi的影像数据存放在影像缓冲存储器120中适当的对应位置，在利用解压缩单元130进行解压缩之前，影像处理装置100还会在步骤s240中，将第一图像img1所对应的参数集合，亦即前述高效率视频编码标准中对应于原先数据片的影像参数集合及图像参数集合中的相关参数加以更新，成为更新参数集合。接着则会在步骤s250中，将更新参数集合储存至对应的缓存器中，以利影像处理装置100的硬件操作。

图5为步骤s240的流程图。步骤s240可包含但不限于子步骤s242至s246。

s242：更新影像参数集合的外观等级参数；

s244：更新序列参数集合的图像长宽参数；

s246：更新图像参数集合的图像区块组态参数。

在步骤s242至s246中，影像处理装置100会分别对影像参数集合、序列参数集合及图像参数集合中相关的参数进行更新以符合实际上兴趣区roi所对应的数值，例如可将外观等级参数由分辨率8k调整为分辨率4k，或可将原先的图像长宽参数调整成较小的数值以配合第一图像img1的兴趣区roi的长宽大小，又或可调整图像区块组态参数使得影像处理装置100在解压缩每一个图像区块的影像数据之后，能够将其解压缩完成的影像数据储存到影像缓冲存储器120中对应的位置。在本发明的部分实施例中，影像处理装置100可根据更新参数集合调整影像缓冲存储器120的大小，使得影像缓冲存储器120能够对应地储存解压缩之后兴趣区roi的影像内容。此外，影像处理装置100还可能会根据系统实际的需求而更新其他的参数。

在透过步骤s230标记出第一图像img1的兴趣区roi的兴趣影像数据，并透过步骤s240及s250将对应的参数集合更新并储存至缓存器110之后，解压缩单元130就能够在步骤s260中，对兴趣影像数据进行解压缩以产生解压缩影像数据，而影像处理装置100则可在步骤s270中，将解压缩影像数据储存于影像缓冲存储器120。

在本发明的部分实施例中，影像处理装置100可在步骤s240中将对应于第一图像img1的兴趣区roi内的兴趣影像数据标记为须解压缩，并将对应于第一图像img1的兴趣区roi外的非兴趣影像数据标记为无须解压缩，例如，可将图像区块t7的影像数据标记为须解压缩，并将图像区块t1至t6标记为不须解压缩。在此情况下，影像处理装置100可将兴趣影像数据及非兴趣影像数据都传送至解压缩单元130，而在步骤s260中，解压缩单元130就可以根据标记将图像区块t7的影像数据进行解压缩，并忽略图像区块t1至t6的影像数据。

也就是说，影像处理装置100将不会对兴趣区roi外的非兴趣影像数据进行解压缩，也不会将其影像数据储存至影像缓冲存储器120，而影像缓冲存储器120中将仅存放对应于解压缩后兴趣区roi内的影像内容。如此一来，影像处理装置100就能够利用解压缩单元130将第一图像img1中对应于兴趣区roi内的影像数据进行解压缩，并对应地储存于影像缓冲存储器120中以供显示端m1存取显示。

在前述的实施例中，影像处理装置100可将兴趣影像数据及非兴趣影像数据都传送至解压缩单元130，并由解压缩单元130根据其标记的内容决定是否进行解压缩，然而在本发明的其他实施例中，影像处理装置100也可将标记出的兴趣影像数据依序串接，并将依序串接后的兴趣影像数据传送至解压缩单元130。也就是说，对应于第一图像img1的兴趣区roi外的非兴趣影像数据并不会被传送至解压缩单元130。在此情况下，解压缩单元130即无须另外判断标记，而可直接将接收到的影像数据进行解压缩，并对应地储存于影像缓冲存储器120中以供显示端m1存取显示。

此外，在实际操作影像处理装置100时，解压缩单元130可能会根据每一个数据片的标头中用来纪录其是否为图像终结的旗标来确认其数据片是否会对应到的整张图像的最后一个图像区块，进而确保解压缩是否执行完毕。在此情况下，倘若只是单纯地标记出原先数据片ss1至ssk中对应于兴趣区roi的兴趣影像数据，而并未对应地修正用来纪录其是否为图像终结的旗标，则可能会造成解压缩单元130无法确认解压缩的进度，进而导致解压缩单元130无法顺利地将接续的第二图像img2的影像数据进行解压缩。

为解决此一问题，影像处理装置100可以在标记出数据片ss1至ssk中的兴趣影像数据之后，将对应于第一图像img1的兴趣区roi中的最末兴趣图像区块的多个兴趣影像数据以整张第一图像img1的最末图像区块的多个影像数据取代。举例来说，影像处理装置100可利用图2中的第一图像img1的最末图像区块tm的影像数据取代对应于兴趣区roi中的最末兴趣图像区块tk的影像数据。如此一来，影像处理装置100就会读取到最末兴趣图像区块tk中原先记载的图像终结的旗标，并藉此确认解压缩的进度。在此情况下，由于最末图像区块tm的影像内容与最末兴趣图像区块tk的影像内容可能并不相同，且最末图像区块tm的影像内容与最末兴趣图像区块tk相邻的影像内容也可能不相连贯，因此可能会导致显示端m1在显示影像内容时出现缺陷。

然而在本发明的部分实施例中，影像处理装置100可能会预留较显示端m1所能显示的范围还大的影像缓冲存储器120，亦即显示端m1不会直接显示影像缓冲存储器120中的所有影像内容，因此可以避免用户观察到由最末图像区块tm取代最末兴趣图像区块tk时所造成的影像缺陷。

然而，在本发明的部分实施例中，影像处理装置100也可根据其硬件元件的操作特性，在将兴趣影像数据传送至解压缩单元130后，另外将多个冗余影像数据传送至解压缩单元130，以使解压缩单元130能够判断第一图像img1是否完成解压缩。

一般来说，当解压缩单元130将对应于第一图像img1的兴趣区roi的兴趣影像数据完成解压缩之后，影像缓冲存储器120就已经被填满了。因此当解压缩单元130接收到冗余影像数据时，会发觉影像缓冲存储器120中已没有空间能够储存新的解压缩数据，此时影像处理装置100就可判定第一图像img1的兴趣区roi的兴趣影像数据已解压缩完成。因此能够接续地处理第二图像img2的影像数据。

透过方法200，影像处理装置100就能够在接收到主机端h1所传来的影像流vf时，仅针对兴趣区内的影像数据进行解压缩，因此可以在不更动影像处理装置100及显示端m1的硬设备的情况下，接收原先无法解压缩的影像内容并且正常地解压缩并显示，因此避免了原先因为硬件匹配需求所造成的不便。

综上所述，根据本发明的实施例所提供的操作影像处理装置的方法，用户就能够在不更动影像处理装置及显示端的硬设备的情况下，接收原先无法解压缩的影像内容并且正常地解压缩并显示，因此避免了原先因为硬件匹配需求所造成的不便。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。