用于图像处理的方法和装置的制造方法_4

文档序号:8398404阅读:来源:国知局
210]在此定义下,在参考图像中一次性读出并缓存的位置范围,可以为一个矩形区域。其中:
[0211]位于该矩形区域左上角的像素的坐标为:(cur_x+Δ x_min, cur_y+ Δ y_min)。
[0212]位于该矩形区域右下角的像素的坐标为:(cur_x+Ax_max+blk_x, cur_y+ Δ y_max+blk_y)。
[0213]从而,可以将该位置范围内的各像素的信息(例如,像素值)读取并存储在内存中,以用于后续确定最优运动信息的处理。
[0214]可选地,在根据该运动信息中的候选运动信息,从该参考图像中,确定待存储的像素的位置范围之前,该方法还包括:
[0215]确定所述N个参考图像块中的至少两个参考图像块之间彼此重叠。
[0216]具体地说,在如上所述,确定各参考图像块后,可以首先判定各参考图像彼此之间是否重叠,如果重叠,则可以执行上述确定位置范围,并存储位置范围内的像素的信息的过程。
[0217]从而,能够确保相对于现有技术,降低对内存带宽的要求。
[0218]可选地,在根据该运动信息中的候选运动信息,从该参考图像中,确定待存储的像素的位置范围之前,该方法还包括:
[0219]确定所述N个参考图像块中的至少两个参考图像块之间彼此重叠,并且,发生重叠的参考图像块的数量大于等于预设的数量阈值,或重叠范围大于等于预设的范围阈值。
[0220]具体地说,在如上所述,确定各参考图像块后,可以首先判定各参考图像彼此之间是否重叠,如果重叠,则可以进一步确定发生重叠的区域的特征(例如,发生重叠的参考图像块的数量,和/或重叠范围的大小),如果上述重叠区域的特征满足预设条件,例如,发生重叠的参考图像块的数量大于等于预设的数量阈值,和/或重叠范围的大于等于预设的范围阈值),则可以执行上述确定位置范围,并存储位置范围内的像素的信息的过程。需要说明的是,上述数量阈值可以根据参考图像块的数量(或者说,运动信息的数量)来设定,例如,如果参考图像块的数量为5,则可以将该数量阈值设定为5。同样,上述范围阈值可以根据参考图像块的大小来设定。
[0221]从而,能够进一步确保相对于现有技术,降低对内存带宽的要求。
[0222]其后,可以根据所存储的位置范围(具体地说,是位置范围内的像素)从N个运动信息中,确定最优运动信息。
[0223]S卩,可选地,该候选参考图像块是该N个参考图像块中的至少两个图像块,该候选运动信息是该N个运动信息中的至少两个运动信息,以及
[0224]该根据该运动信息中的候选运动信息,读取该位置范围内的像素,并根据该位置范围内的像素,对目标码流进行解码处理,包括:
[0225]从该运动信息中,确定该候选运动信息;
[0226]根据该候选运动信息,读取该位置范围内的像素,以获取该候选参考图像块;
[0227]根据该候选参考图像块,从该候选运动信息中,确定最优运动信息;
[0228]根据该最优运动信息,对目标码流进行解码处理。
[0229]具体地说,由于如上所述确定的位置范围覆盖了全部的参考图像块,因此,能够从所存储的位置范围的像素的信息中,获取各运动信息所对应的参考图像块(具体地说,是各参考图像块的像素的信息),从而,可以根据各参考图像块,从各运动信息中,确定最优运动信息。例如,可以基于各运动信息所对应的像素的信息,应用预先定义的准则(例如,率失真准则)进行评估得到各运动信息对应的评价值,并选择评价值最小值的运动信息,作为最优运动信息,即,用于对当前图像块进行解码重构处理(例如,运动补偿处理)的运动信息。
[0230]应理解,上述预定义的准则可以根据所应用的解码技术而适当变更,本发明并未特别限定。例如,在DMVD技术中,在双向预测的情况下,对于每一个运动信息均包括前向运动信息和后向运动信息,前向运动信息用于指示前向参考图像中的参考图像块(称为,前向参考图像块),后向运动信息用于指示后向参考图像中的图像块(称为,前向参考图像块),如果使用前向参考图像块与后向参考图像块中相应位置的像素值的差值平方和值作为衡量准则,则可以将上述差值平方和最小的运动信息,作为最优运动信息。
[0231]其后,解码端可以使用该最优运动信息对来自编码端的码流进行运动补偿解码操作等处理,实现对当前图像块的重建。这里,解码端根据最优运动信息对当前图像块进行解码处理的过程和方法可以与现有技术相似,这里,为了避免赘述,省略其说明。
[0232]可选地,该从该参考图像中,确定待存储的像素的位置范围,包括:
[0233]从该目标码流中,获取第二索弓I信息,该第二索弓I信息用于指示该位置范围在该参考图像中的位置和覆盖范围;
[0234]根据该第二索引信息,从该参考图像中,确定该位置范围。
[0235]具体地说,在本发明实施例中,编码端可以在码流中携带用于指示位置范围在该参考图像中的位置和范围的信息,即,第二索引信息,从而,解码端可以码流中获取该第二索引信息,并根据该第二索引信息直接从参考图像中确定位置范围(具体地说,是需要存储在内存中的像素),从而能够降低解码端的负担,并降低解码端的功耗,提高解码端的处理效率。
[0236]根据本发明实施例的用于图像处理的方法,通过使所确定的位置范围覆盖全部参考图像,能够确保最优运动信息的获取,提高图像处理的效果,改善用户体验。
[0237]方式4
[0238]可选地,该候选参考图像块是该N个参考图像块中的部分图像块。
[0239]具体地说,受解码端设备的硬件限制,例如,内存带宽的限制,可能存在当先可用的内存带宽无法满足上述方式3中所确定的最小公共图像块(位置范围的一例)的要求的情况。
[0240]鉴于以上问题,本发明实施例提供了以下技术方案,S卩,可以使所确定位置范围仅覆盖部分参考图像块(即,候选参考图像块的一例),设所覆盖的参考图像块的数量为M,则满足I彡M < N。
[0241]从而,能够确保位置范围覆盖至少一个完整的参考图像块,即,至少一个运动信息是可用的,能够在确保通过运动信息对当前图像块进行解码重构的前提下,降低对内存带宽的要求。
[0242]此情况下,可以从参考图像中,确定一个区域(S卩,位置范围),使该区域的范围能够覆盖M个参考图像块包含的全部像素,S卩,图3b中的虚线所示区域。
[0243]可选地,该根据该运动信息中的候选运动信息,从该参考图像中,确定待存储的像素的位置范围,包括:
[0244]根据可用内存带宽和/或该当前图像块所属图像的属性信息,从该运动信息中,确定该候选运动信息,并根据该候选运动信息,从该参考图像中,确定该位置范围,其中,该属性信息用于指示以下至少一个参数:
[0245]所属图像的清晰度、所属图像的内容、所属图像的来源或所属图像的制作风格。
[0246]具体地说,在本发明实施例中,可以根据可用内存带宽和/或该当前图像块所属图像的属性信息,选择该M个候选参考图像块,或者说,选择该M个候选参考图像块所对应的运动信息。
[0247]下面,分别对上述各参数的使用方法进行说明。
[0248]A.所属图像的内容、所属图像的来源和所属图像的制作风格
[0249]对于图像,例如,按内容分类,可以分为新闻类图像、体育运动类图像和影视类图像等。同样,也可以按来源和制作风格对图像进行分类。同一类型的图像,其最优运动信息(或者说,最优运动信息所来自的邻近图像块)往往相同。因此,在本发明实施例中,可以按所属图像的内容、所属图像的来源和所属图像的制作风格等,统计出各类图像的高优先级运动信息,该高优先级运动信息成为该类图像的最优运动信息的概率最大。
[0250]从而,在确定位置范围时,可以优先确保使该位置范围覆盖上述高优先级运动信息所对应的参考图像块。
[0251 ] 可选地,该从该运动信息中,确定该候选运动信息,包括:
[0252]从该目标码流中获取第一索引信息,该第一索引信息用于指示该候选运动信息;
[0253]根据该第一索引信息,从该运动信息中,确定该候选运动信息。
[0254]具体地说,编码端可以在所生成的码流中携带用于指示该候选运动信息的信息,即,第一索引信息,解码端从码流中获取该第一索引信息,并根据该第一索引信息直接从N个运动信息中确定候选运动信息,进而确定各候选运动信息所对应的参考图像块(即,候选参考图像块),从而可以从参考图像中,确定位置范围,是位置范围的能够覆盖该候选参考图像块,从而能够降低解码端的负担,并降低解码端的功耗,提高解码端的处理效率。
[0255]B.可用内存带宽
[0256]在本发明实施例中,可以根据当前可用的内存带宽的大小,确定可以读取并存储的位置范围的大小,从而,可以根据该位置范围的大小,确定能够覆盖的参考图像块的数量及位置,从而能够确定候选图像块,以及指向该候选图像块的运动信息。
[0257]需要说明的是,如果当前可用的内存带宽足够大,则可能出现位置范围所覆盖的参考图像块具有多种组合的情况,例如,对于相同大小的位置范围,其在参考图像中的位置不同,所能够覆盖的参考图像块的数量可能不同,或者,对于相同大小的位置范围,其在参考图像中的位置不同,所能够覆盖的参考图像块所对应的运动信息不同。
[0258]此情况下,可以将能够覆盖最多参考图像块的范围作为所使用的位置范围,从而,能够提供较多的参考图像块,能够使最终确定的用于解码处理的运动信息得到优化。
[0259]或者,可以将能够覆盖如上所述确定的高优先级运动信息所对应的参考图像块的范围作为所使用的位置范围,从而,能够确保根据高优先级运动信息进行解码处理。
[0260]C.所属图像的清晰度
[0261]对于不同的图像清晰度,对解码端的硬件要求也不同,例如,对于清晰度较高的图像,为了实现对其的解码,通常需要配置性能较高的硬件,例如,较高的内存带宽,因此,根据当前图像块所属图像的清晰度,确定可以存储的位置范围的大小,即,清晰度越高,位置范围越大,从而,可以根据该位置范围的大小,确定能够覆盖的参考图像块的数量及位置,从而能够确定候选图像块,以及指向该候选图像块的运动信息。
[0262]在根据可用内存带宽和所属图像的清晰度(或者说,解码端的硬件性能)确定位置范围的情况下,该位置范围可以,可以通过以下方式确定,即:
[0263]设当前图像块在当前图像内坐标为(cur_x,cur_y),大小为(blk_x) X (blk_y)像素,不失一般性,在一个参考图像中,运动矢量的水平分量记作X,运动矢量的垂直分量分别记作I,则在该参考图像中,MV#A可以写作{MV#A_x,MV#A_y}, MV#B可以写作{MV#B_x,MV#B_y}, MV#C 可以写作{MV#C_x,MV#C_y}, MV#D 可以写作{MV#D_x,MV#D_y}, MV#T 可以写作{MV#T_x,MV#T_yh
[0264]从而,可以确定各参考图像块中,
[0265]在水平方向上相对于目标图像块的最小位移Λ x_min=min (MV#A_x,MV#B_x,MV#C_x,MV#D_x, MV#T_x)
[0266]在水平方向上相对于目标图像块的最大位移Λ x_max=max (MV#A_x,MV#B_x,MV#C_x,MV#D_x, MV#T_x)
[0267]在垂直方向上相对于目标图像块的最小位移Λ y_min=min (MV#A_y,MV#B_y,MV#C_y, MV#D_y, MV#T_y)
[0268]在垂直方向上相对于目标图像块的最大位移Δ y_max=max (MV#A_y,MV#B_y,MV#C_y, MV#D_y, MV#T_y)
[0269]在此定义下,在参考图像中一次性读出并缓存的位置范围,可以为一个矩形区域。其中:
[0270]位于该矩形区域左上角的像素的坐标为:(cur_x+max (- Ω x_min, Δ _x_min), cur_y+max(-Ωy_min, Δ_y_min))。
[0271 ] 位于该矩形区域右下角的像素的坐标为:(cur_x+blk_x+min ( Ω x_max, Δ χ_max), cur_y+blk_y+min(Ωy_max, Δy_max)。
[0272]其中,Ω x_min, Ω x_max, Ω y_min和Ω y_max的取值,可以根据可用内存带宽或解码器的硬件性能来确定。
[0273]可选地,该从该参考图像中,确定待存储的像素的位置范围,包括:
[0274]从该目标码流中,获取第二索弓I信息,该第二索弓I信息用于指示该位置范围在该参考图像中的位置和覆盖范围;
[0275]根据该第二索引信息,从该参考图像中,确定该位置范围。
[0276]具体地说,在本发明实施例中,编码端可以在所生成的码流中携带用于指示位置范围在该参考图像中的位置和范围(或者说,所覆盖的像素)的信息,即,第二索引信息,从而,解码端从码流中获取该第二索引信息,并根据该第二索引信息直接从参考图像中确定位置范围,从而能够降低解码端的负担,并降低解码端的功耗,提高解码端的处理效率。
[0277]作为示例而非限定,在本发明实施例中,该第二索引信息可以是上述Ωχ_min, Ω x_max, Qy_min和Qy_max的取值。并且,该第二索引信息可以在码流中的不同位置使用适当的语法元素标识,例如,可以在图像参数集(PPS,Picture parameter set)或条带头(slice header)中标识。由于图像参数集或条带头在码流中出现的频率较低,在这些位置上标识上述Ωχ_η?η, Ω x_max, Qy_min和Ω y_max的取值带来的额外带宽影响几乎可以忽略不计。
[0278]在如上所述,确定了位置范围后,可以将该位置范围内的各像素的信息(例如,像素值)读取并存储在内存中。
[0279]并且,当位置范围仅能够覆盖一个完整的参考图像块(B卩,候选图像块)时,可以直接使用该候选参考图像块以及该候选参考图像块所对应的运动信息,对当前块进行解码处理。
[0280]当位置范围能够覆盖两个以上的完整的参考图像块(B卩,候选图像块),可以根据所存储的位置范围(具体地说,是位置范围内的像素)从该两个以上的候选图像块所对应的运动信息中,确定最优运动信息。
[0281]S卩,可选地,该候选参考图像块是该N个参考图像块中的至少两个图像块,该候选运动信息是该N个运动信息中的至少两个运动信息,以及
[0282]该根据该运动信息中的候选运动信息,读取该位置范围内的像素,并根据该位置范围内的像素,对目标码流进行解码处理,包括:
[0283]从该运动信息中,确定该候选运动信息;
[0284]根据该候选运动信息,读取该位置范围内的像素,以获取该候选参考图像块;
[0285]根据该候选参考图像块,从该候选运动信息中,确定最优运动信息;
[0286]根据该最优运动信息,对目标码流进行解码处理。
[0287]具体地说,由于如上所述确定的位置范围覆盖了两个以上的参考图像块,因此,能够从所存储的位置范围的像素的信息中,获取各候选运动信息所对应的候选参考图像块(具体地说,是各参考图像块的像素的信息),从而,可以从候选运动信息中,确定最优运动信息。例如,可以基于候选运动信息所对应的像素的信息,应用预先定义的准则进行评估得到各候选运动信息对应的评价值,并选择评价值最小值的候选运动信息,作为最优运动信息,即,用于对当前图像块进行解码处理(例如,运动补偿处理)的运动信息。
[0288]其后,解码端可以使用该最优运动信息对码流进行运动补偿解码操作等处理,实现对当前图像块的重构。这里,解码端根据最优运动信息对当前图像块进行解码和重构的过程和方法可以与现有技术相似,这里,为了避免赘述,省略其说明。
[0289]根据本发明实施例的用于图像处理的方法,通过从参考图像中确定位置范围,使该位置范围覆盖有至少一个运动信息所对应的像素,能够在一次读入内存上述位置范围内的像素的情况下,从该至少一个运动信息中,确定最优运动信息,而不是对每一个运动信息分别读取对应像素,从而,能够降低对内存带宽的要求,减少系统要求和成本。
[0290]上文中,结合图1至图4,详细描述了根据本发明实施例的用于图像处理的方法,下面,将结合图5至图6,详细描述根据本发明实施例的用于图像处理的装置。
[0291]图5示出了根据本发明实施例的用于图像处理的装置300的示意性框图。如图5所示,该装置300包括:
[0292]获取单元310,用于从与当前图像块相邻的N个邻近图像块中,获取N个运动信息,其中,该N个邻近图像块与该N个运动信息一一对应,该N个运动信息用于指示该当前图像块的参考图像中的N个参考图像块,该N个运动信息与该N个参考图像块一一对应;
[0293]确定单元320,用于根据预设规则,从该N个运动信息中,确定候选运动信息,该候选运动
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1