图像处理设备和半导体设备的制造方法
【专利摘要】本发明涉及图像处理设备和半导体设备。在图像处理设备中，运动图像解码处理从输入流提取待解码的目标图像的特征量，并且基于所述特征量，改变从外部存储器到高速缓存存储器的高速缓存填充的读取大小。所述特征量代表例如一个图片(帧或场)中的帧内宏块比例或运动向量变化。当帧内宏块比例高时，所述高速缓存填充的读取大小减小。
【专利说明】图像处理设备和半导体设备
[0001]相关申请的交叉引用
[0002]通过引用将提交于2015年I月30日的日本专利公开号2015-016372的全部内容并入本文，包括说明书、附图和摘要。
技术领域
[0003]本发明涉及图像处理设备和半导体设备，更具体地且更优选地应用于包括暂时保持参考图像的高速缓存存储器的运动图像解码处理。
【背景技术】
[0004]在处理运动图像的系统中，诸如按照4K或超高清将画面尺寸的进行放大。为了保持解码过的图片的图像数据(对于逐行扫描的情况，指定帧的显示画面;对于隔行扫描的情况，指定场的显示画面)，处理大量信号的运动图像解码设备包括大容量存储器。在运动图像的解码处理中用于运动预测和运动补偿的处理中，在待解码的目标图片之前或之后的在前图片或在后图片的图像数据被参照为参考图像。因此，为了存取存储器，高的带宽是必需的，而功耗或高性能导致成本增加。因此，需要一项减小带宽的技术，而一项重要的技术是使用用于执行解码具有高分辨率的运动图像的处理的高速缓存存储器减小带宽。
[0005]日本未经审查专利公开号1999-215509公开了一项用于减少在通用的处理器上由软件执行的MPEG(运动图片元素组)视频扩展处理中包括的运动补偿处理中的数据高速缓存错误的技术。将与参考区域的右侧相邻的区域的地址给到数据高速缓存控制器，并且发出预载指令，所述参考区域由运动补偿处理中的运动向量在特定的宏块中指定。然后，将区域的数据从主存储器预载到数据高速缓存。应注意，所述宏块是作为解码处理的目标的包括多个像素的单位区域(例如，16像素X 16像素的区域)。一个图片包括沿着行向和列向二维布置的多个宏块。按照从图片的左上宏块到右宏块的顺序并进一步从下行中的宏块开始按照从左到右的顺序对目标宏块执行解码处理。与由特定的宏块中的运动补偿处理中的运动向量所指定的参考区域的右侧相邻的区域具有很高的可能性作为由用于下一步解码处理的目标宏块中的运动补偿处理中的运动向量所指定的参考区域。因此，通过预载所述区域的图像数据，可以减少数据高速缓存错误。
[0006]日本未经审查专利公开号2010-146205公开了一种用于提高存储图像数据的高速缓存存储器中的高速缓存命中率的技术。交错图像的顶场和底场的数据项在每个高速缓存行中不混合在一起地形成。对于具有场配置的交错图像的情况，分别对上场和下场单独执行解码处理。因此，如果两个场数据项在每个高速缓存行中混合在一起的话，那么即使在只需要其中一个场数据项时，两个场数据项也都会在高速缓存中被读取。这样减小了高速缓存率。在每个高速缓存行中，要么存储上场要么存储下场。这样不减小高速缓存率。根据处理单元中的像素区域的改变，改变高速缓存的路径数和条目数，诸如作为运动图像编码的一个标准的H.264中的MBAFF(宏块=自适应帧/场)。当图像数据的存取粒度高时，路径数减少，并且在高速缓存中保持图像的宽范围数据。当存取粒度低时，路径数增加，并且切换为窄范围图像的数据。结果是，充分使用了高速缓存存储器，并且提高了高速缓存命中率。
[0007]本发明人对日本未经审查专利公开号1999-215509和2010-146205的检验结果是，发现了下列新问题。
[0008]根据日本未经审查专利公开号1999-215509中公开的技术，为了按顺序地解码目标宏块，如果使用具有相同方向和相同大小的运动向量来执行补偿处理，那么则使减少数据高速缓存错误的效果最大化。然而，本发明人的检验结果发现，依据待解码的目标流的特征，预载到数据高速缓存存储器的数据可能未被参照。所述流可以包括每一个图片中的帧间宏块或帧内宏块。帧间宏块是使用运动补偿处理参照由包括在所述流中的运动向量所指定的参考图像对其执行解码处理的宏块。另一方面，帧内宏块是不使用运动补偿处理而参考待解码的目标图片中的解码过的图像数据对其执行解码处理的宏块。在用于生成流的编码处理中，结合每个宏块，可以通过自适应地在执行具有运动补偿的帧间预测和执行没有运动补偿的帧内预测之间切换来提高编码效率。在这种情况下，所述流包括每一个图片中的帧间宏块和帧内宏块。当待解码的目标宏块是帧间宏块时，并且在由运动向量指定的参考区域的图像数据被读取到数据高速缓存存储器之后，与所述参考区域的右侧相邻的区域的地址被给到数据高速缓存控制器，以被必然地预载。即使在这种情况下，处理下次待解码的目标宏块时不一定参照预载的图像数据。当下次待解码的目标宏块是帧内宏块时，参考区域不是必需的，因为不执行运动补偿。而且，数据高速缓存存储器未被存取，因此可能导致预载的图像数据被浪费。即使接下来待解码的宏块是帧间宏块，当其运动向量的方向或大小与之前的宏块的运动向量的方向或大小区别很大时，发现很有可能参照与之前的宏块的参考区域不同的参考区域，而预载的图像数据会被浪费。
[0009]采用日本未经审查专利公开号2010-146205中公开的技术，简单且高速缓存配置(路径数和条目数)仅基于图片单位中的固定信息改变。具体地，对隔行处理的顶行和底行或处理单元中的像素区域作改变。因此，不能对根据每个图片改变的流的特征的改变进行管理，因而不提高高速缓存效率。例如，对于包括很多帧内宏块的帧的情况，发现由高速缓存填充读入高速缓存存储器的数据未被使用，即，可复用性降低，因而高速缓存填充导致频繁地发生不必要数据读取。
[0010]因此，如果与所述流的特征独立地均匀执行所述预载，那么预载的数据可能不被参照。因此，发现由于用于数据高速缓存存储器的高速缓存填充，导致总线的频带被所述数据读取浪费地使用了。此不必要的数据读取导致功耗的增加。如日本未经审查专利公开号1999-215509中公开的通用处理器，当总线与另一个功能模块一起使用时，上述不必要的数据读取对另一个模块的频带产生压力。在这种情况下，发现存在系统的性能整体劣化的可能性。如日本未经审查专利公开号2010-146205中公开的，即使基于图片单位中的固定信息改变高速缓存配置(路径数和条目数)，也不能对根据每个图片改变的所述流的特征的改变进行管理。因此，根据所述公开，其并不足以有助于提高高速缓存效率。
【发明内容】
[0011]下面将对用于解决所述问题的技术手段进行说明。通过本说明书的说明和附图，这些以及本发明的其它目的和新颖特征将变得清晰。
[0012]根据实施例，可以应用下列设备。
[0013]S卩，提供一种图像处理设备，包括运动图像解码处理单元和高速缓存存储器，流输入到所述运动图像解码处理单元，所述高速缓存存储器可与外部存储器耦合。在所述设备中，所述运动图像解码处理单元从输入流中提取待解码的目标图像的特征量(featureamount)，并且基于所述特征量改变从所述外部存储器到所述高速缓存存储器的高速缓存填充的读取大小(read size)。
[0014]下面将对实施例获取的效果进行简要说明。
[0015]S卩，当运动图像解码处理单元通过所述高速缓存存储器读取存储在外部存储器中的参考图像时，可以减少高速缓存存储器的不必要的高速缓存填充并且提高高速缓存存储器的利用效率。
【附图说明】
[0016]图1是例示了第一实施例的运动图像解码设备的配置示例的框图。
[0017]图2是例示了当帧内宏块的比例是低时的高速缓存存储器的解释图。
[0018]图3是例示了当帧内宏块的比例是高时的高速缓存存储器的解释图。
[0019]图4是地址控制单元中的地址转换处理的解释图。
[0020]图5是例示了第二实施例的运动图像解码设备的配置示例的框图。
[0021]图6是第二实施例的地址控制单元中的地址转换处理的解释图。
[0022]图7是例示了运动向量变化计算处理的示例的解释图。
[0023]图8是例示了第三实施例的运动图像解码设备的配置示例的框图。
[0024]图9是例示了第四实施例的运动图像处理设备的配置示例的框图。
[0025]图10是例示了第五实施例的运动图像解码设备的配置示例的框图。
[0026]图11是例示了其中安装了运动图像解码设备的LSI(大规模集成电路)的配置示例的框图。
【具体实施方式】
[0027]现在将具体对本发明的实施例进行具体说明。
[0028]第一实施例
[0029]〈基于帧内宏块的比例改变高速缓存配置〉
[0030]图1是例示了第一实施例的运动图像解码设备的配置示例的框图。运动图像解码设备I被配置为包括运动图像解码处理单元4、高速缓存存储器2、高速缓存控制单元3、地址控制单元5、标签比较控制单元6、读取命令控制单元7、高速缓存行控制单元8和帧内宏块比例计算单元11。运动图像解码处理单元4读取流91，并且执行用于解码流91的运动图像的处理。那些用于在功能块之间进行耦合的例示的箭头代表由单个布线或多个布线实现的信号的流向，而不代表表示多个布线的总线。这一点也可以应用到本申请的其它模块图。
[0031]尽管没有特别限定，但是所述运动图像根据标准(诸如H.264)来编码。流91包括由编码处理生成的二进制代码和用于编码处理的编码信息92。运动图像被配置为具有时序图片(对于逐行扫描的情况，指定帧的显示画面;对于隔行扫描的情况，指定场的显示画面)。每个图片被配置为具有沿着行向和列向二维布置的多个宏块。所述宏块包括作为编码处理和解码处理的单位(例如16像素X 16像素)的区域。编码运动图像的处理采用了帧内预测和帧间预测。帧内预测包括参照其中布置了待编码的目标宏块的相同的图片中的图像数据的预测编码，而帧间预测包括参照与其中布置了待编码的目标宏块的图片不同的图片的图像数据的预测编码。对每个宏块做出使用帧内预测还是帧间预测的选择，而代表使用了哪种预测的信息93被包括在流91的编码信息92中。当使用帧间预测时，获得编码处理中的运动向量(MV)，而与获得的向量有关的运动向量信息(MV信息)94也包括在编码信息92中。用于编码运动图像的处理还可以包括量化处理或变长(variable length)编码处理。此时，编码信息92包括与量化参数或变长代码有关的变长信息。
[0032]运动图像解码处理单元4执行用于解码读取的流91的处理，并且将解码过的图像输出到外部存储器60(未示出)。当待解码的目标宏块是已使用帧间预测编码过的宏块(被称为帧间宏块)时，运动图像解码处理单元4在解码处理中从外部存储器60到高速缓存存储器2输出的解码过的图像的一部分作为参考图像95读取并参照。通过地址控制单元5，从运动图像解码处理单元4向标签比较控制单元6提供待参照的存储的参考图像95的地址作为请求地址。标签比较控制单元6包括标签存储器(未示出)，将请求地址与标签存储器中保持的标签数据进行比较，并确定发生了高速缓存命中还是高速缓存错误。确定结果被提供到读取命令控制单元7和高速缓存控制单元3。当发生了高速缓存命中时，高速缓存控制单元3从高速缓存存储器2读取与请求地址对应的数据，并将其提供到运动图像解码处理单元4。当发生了高速缓存错误时，高速缓存控制单元3对具有由读取命令控制单元7指定的读取大小的数据执行到高速缓存存储器2中的高速缓存填充。
[0033]帧内宏块比例计算单元11接收从运动图像解码处理单元4提供的帧内宏块/帧间宏块信息93ο帧内宏块/帧间宏块信息93被包括在输入流91的编码信息92中，并且代表在用于编码宏块的处理中使用了帧内预测还是帧间预测。帧内宏块比例计算单元11计算帧内宏块比例97，并将其提供到高速缓存行控制单元8。基于所述宏块比例97，高速缓存行控制单元8控制地址控制单元5中的地址，控制标签比较控制单元6中的标签存储器的配置、标签大小和条目大小，以及控制读取命令控制单元7和高速缓存控制单元3中的行大小和高速缓存填充时的读取大小。
[0034]现在将对第一实施例的运动图像解码设备I的操作进行说明。运动图像解码处理单元4将在用于解码输入流91的处理中获得的帧内宏块/帧间宏块信息93输出到帧内宏块比例计算单元11。基于帧内宏块/帧间宏块信息93，帧内宏块比例计算单元11计算一个图片中的全部宏块的帧内宏块比例97。根据从帧内宏块比例计算单元11提供的帧内宏块比例97，高速缓存行控制单元8对存储要在帧间预测时参照的参考图像的高速缓存存储器2的高速缓存行大小和条目数作改变。
[0035]图2和图3是用于解释尚速缓存存储器的配置不例的解释图。图2例不了帧内宏块比例97为低的情况，而图3例示了所述比例97为高的情况。每个图例示了高速缓存存储器2被配置有4个SRAM(静态随机存取存储器)SRAMO到SRAM3的示例。如图2所例示的，当帧内宏块比例97是低的时，SRAMO到SRAM3被配置为并行存取，高速缓存行大小增大，而条目数变小。如图3所例示的，当帧内宏块比例97是高的时，SRAMO到SRAM3被配置为独立存取，高速缓存行大小减小，而条目数变大。
[0036]根据由高速缓存行控制单元8指定的高速缓存行大小和条目数，地址控制单元5将运动图像解码处理单元4所请求的参考图像的地址转换。运动图像解码处理单元4发出例如指定要参照的存储的参考图像的读取命令。
[0037]图4是地址控制单元5中的地址转换处理的解释图。
[0038]当帧内宏块比例是低的时，如上行所示，地址转换单元5将从运动图像解码处理单元4输入的参考图像读取命令的地址按照从高位开始的顺序分为帧地址401、条目地址402和字地址403。帧地址401用于与标签进行比较。条目地址402用于选择高速缓存存储器2中的高速缓存行。字地址403用于选择高速缓存行中的数据。
[0039]当帧内宏块比例是高的时，如下行所描述的，这次由地址控制单元5将读取的地址分为404、405和406。与帧内宏块比例为低的情况相比，字地址406变窄，而条目地址405变宽。
[0040]尽管未在图1中例示，标签比较控制单元6被配置为具有标签存储器，将基于来自地址控制单元5的参考图像读取命令指定被请求的读取图像的请求地址与标签存储器中保持的标签数据进行比较，并确定发生了高速缓存命中还是高速缓存错误。此时，标签比较控制单元6根据高速缓存行控制单元8所指示的条目数改变标签存储器的配置，将从地址控制单元5输入的地址401和403与使用地址402和404选择的标签进行比较，并确定发生了高速缓存命中还是尚速缓存错误。
[0041]当标签比较控制单元6已确定发生了高速缓存错误时，读取命令控制单元7根据由高速缓存行控制单元8所指定的高速缓存行大小来确定要读取到高速缓存存储器2的数据的数据大小，并生成读取命令。
[0042]高速缓存控制单元3根据由高速缓存行控制单元8所指定的条目数控制如图2和图3所例示的高速缓存的配置，读取从标签比较控制单元6输出的条目地址和字地址所代表的数据，并将其传送到运动图像解码处理单元4。
[0043]当发生了高速缓存错误时，由读取命令控制单元7生成的读取命令被发出到外部存储器，并执行参考图像95的读取处理。
[0044]如上所述，当帧内宏块比例97是高的时，高速缓存行大小减小。这能够减小要读取的和发生高速缓存错误时不参照的不必要的参考图像的数据传送量，减少功耗，并提高系统性能。相反，当帧内宏块比例97是低的时，高速缓存行大小增大。这能够提前在高速缓存2中预载将来很可能会被参照并具有高的可复用性的图像，并提高高速缓存存储器的利用效率。
[0045]在具有高比例的用于帧内预测的宏块的图片中，由运动图像解码处理单元存取参考图像的频率是低的。通过减小高速缓存存储器的行大小，将可以抑制不必要的高速缓存的填充。即，所述不必要的高速缓存的填充很可能导致用于之后的目标宏块的解码处理中的高速缓存错误。此时，高速缓存存储器被配置为高速缓存很多条目，因而提高整个图片的命中率。相反，在具有低比例的用于帧内预测的宏块的图片中，由运动图像解码处理单元存取参考图像的频率是高的。通过增大高速缓存存储器的行大小，将可以提高用于之后的目标宏块的解码处理中的高速缓存存储器的命中率。
[0046]在第一实施例中，如上述所说明的，结合每个图片计算帧内宏块比例97。根据此计算，对包括高速缓存存储器2和标签存储器的标签比较控制单元6的配置作改变，因而改变高速缓存的配置。然而，控制单元不限于图片单位。例如，跨多个图片提取帧内宏块的比例。当提取的帧内宏块的比例之间存在显著的变化时，可以改变高速缓存的配置。这样的结果是减小了改变高速缓存的配置的频率，因而抑制敏感反应。一个图片被分为多个区域，结合所分的区域提取帧内宏块的比例，并且可以结合所述区域改变高速缓存的配置。结果是，高速缓存的配置精确地根据待解码的目标图像的区域的特征而自适应地改变，因而提高高速缓存存储器的利用效率。例如，可以对具有在固定的背景中随机移动的对象的图像执行解码。在这种情况下，所述背景具有高的图片之间的相关性，因而可以对其采用帧间预测。另一方面，具有移动的对象的区域具有低的图片之间的相关性，因而可以对其采用帧内预测。在这种情况下，优化了高速缓存的配置，因而可能经常对其采用帧内预测。在具有移动的对象的区域中，高速缓存行大小减小，因而抑制不必要的高速缓存的填充的发生。另一方面，在假设要采用帧间预测的背景区域中，高速缓存行大小增大，因而如预期地提高命中率。
[0047]参照图2和图3，在第一实施例的示例中，高速缓存存储器2被配置为具有四个SDRAM ο这仅仅是示例，而高速缓存存储器2的配置(包括SDRAM的数量)和标签比较控制单元6的配置是任意的。
[0048]第二实施例
[0049]〈基于运动向量(MV)的变化(variat1n)改变高速缓存配置〉
[0050 ]图5是例示了第二实施例的运动图像解码设备的配置示例的框图。如图1所例示的第一实施例的运动图像解码设备，第二实施例的运动图像解码设备I包括运动图像解码处理单元4、高速缓存存储器2、高速缓存控制单元3、地址控制单元5、标签比较控制单元6、读取命令控制单元7、高速缓存行控制单元8以及替代了帧内宏块比例计算单元11的MV变化计算单元12IV变化计算单元12中的术语“MV”代表运动向量，并且代表与采用帧间预测进行编码的宏块对应的一个编码信息(MV信息94)。
[0051 ] MV变化计算单元12接收从运动图像解码处理单元4提供的MV信息94 JV信息94被包括在输入流91的编码信息92中，并且当在用于宏块的编码处理中应用帧间预测时，MV信息94代表运动向量(MV)。鮮变化计算单元12计算运动向量的变化(MV变化)98，并将其提供到高速缓存行控制单元8。基于MV变化98，高速缓存行控制单元8控制地址控制单元5中的地址，控制标签比较控制单元6中的标签存储器的配置、标签大小和条目大小，以及控制读取命令控制单元7和高速缓存控制单元3中的行大小和高速缓存填充时的读取大小。除了MV变化计算单元12以外的其它配置和操作都与第一实施例的运动图像解码设备的配置和操作相同，因而不再重复地进行具体说明。
[0052]现在将对第二实施例的运动图像解码设备I的操作进行说明。运动图像解码处理单元4将解码输入流91的处理中获得的MV信息94输出到MV变化计算单元12。基于输入的MV信息94，MV变化计算单元12计算一个图片内的MV变化98。根据由MV变化计算单元12所提供的MV变化98，高速缓存行控制单元8对存储要在显示画面的预测处参照的参考图像的高速缓存的高速缓存行大小和条目数作改变。此高速缓存存储器2具有与已参照图2和图3说明的第一实施例的高速缓存存储器2的配置相同的配置并且操作相同。
[0053]图6是第二实施例的地址控制单元中的地址转换处理的解释图。
[0054]如上行所示，当MV的变化小时，地址控制单元5将从运动图像解码处理单元4输入的参考图像读取命令的地址按照从最高位开始的顺序分为帧地址601、条目地址602和字地址603。帧地址601用于与标签进行比较。条目地址602用于选择高速缓存存储器2中的高速缓存行。字地址603用于选择高速缓存行中的数据。
[0055]如下行所示，当MV的变化大时，这次将地址控制单元5的读取地址分为604、605和606。与帧内宏块的比例为低的情况相比，字地址606变窄，而条目地址605变宽。
[0056]标签比较控制单元6、读取命令控制单元7和高速缓存控制单元3根据高速缓存行控制单元8所指示的高速缓存行大小和条目数的操作与第一实施例相似。
[0057]当MV变化98是大的时，高速缓存行大小变小，因而能够减小发生高速缓存错误时要读取而不参照的不必要的参考图像95的数据传送量。这样的结果是减少功耗和提高系统性能。当M变化98是小的时，高速缓存行大小变大，因而提前将将来很可能会被参照并具有高的可复用性的参考图像95预载到高速缓存存储器2中。这样的结果是提高高速缓存存储器的效率。
[0058]现在对产生这样的效果的原理进行额外的说明。
[0059]尽管在极端情况下，假设使用具有相同方向和相同大小的运动向量对图片中的全部宏块执行运动预测。在这样的情况下，在特定的宏块的解码中读取参考图像时，如果发生了高速缓存错误，那么也用与相应的参考图像相邻的参考图像填充所述高速缓存是有效的，因为会发生高速缓存命中。这是因为在之后的宏块中也用具有相同方向和相同大小的运动向量来执行运动预测，要存取的参考图像也与之前的解码处理中存取的参考图像相同，并通过执行高速缓存填充提前被读入高速缓存存储器。因此，即使运动向量不具有相同的方向和相同的大小，只要运动向量变化小，那么在用于之后的宏块的解码处理中要存取的参考图像就存在于此刻执行的解码处理中要存取的参考图像附近。因此，通过增大高速缓存填充的读取大小来提高命中率的可能性很高。相反，如果变化大，那么在用于之后的宏块的解码处理中要存取的参考图像存在于此刻执行的解码处理中要存取的参考图像附近的可能性很低。因此，如果增大高速缓存填充的读取大小，很可能导致高速缓存错误，造成不必要的高速缓存的填充。因此，减小读取大小以抑制不必要的高速缓存的填充。
[0060]在第二实施例中，结合每个图片计算MV变化98，并根据此计算，结合图片对包括高速缓存存储器2和标签存储器的标签比较控制单元6的配置作改变，因而成功地改变高速缓存的配置。在此示例中，控制单元不限于图片单位。例如，跨多个图片提取MV变化。当变化大小显著改变时，可以改变高速缓存的配置。这样的结果是减小了改变高速缓存的配置的频率。在其它情况下，一个图片可以被分为多个区域，结合每个区域提取MV变化，并且结合每个区域可以改变高速缓存的配置。结果是，高速缓存的配置精确地根据待解码的目标图像的特征而自适应地改变，因而提高高速缓存存储器的利用效率。例如，当要解码具有由摇摄相机(转动的)拍摄的固定的背景并且其中具有随机移动的对象的图像时，背景中的MV具有基本上相同的方向和大小。在这种情况下，MV变化很难被表示。在具有移动对象的区域中，MV变化是大的。在这种情况下，如果结合每个区域优化高速缓存的配置，那么在具有大的MV变化并且具有移动对象的区域中，高速缓存的行大小减小，因而抑制不必要的高速缓存的填充的发生。在MV变化小的背景区域中，高速缓存的行大小增大，因而如预期地提高命中率。
[0061]将第二实施例和上述第一实施例结合为一个实施例是优选的。即，以多个图片为单位结合一个图片或者结合一个图片的每个区域计算帧内宏块的比例。当这个比例是低的时，即当帧间宏块的比例是高的时，MV变化被进一步参照以控制高速缓存的配置。这使得能够采用更精确地符合待解码的图像的特征的高速缓存的配置，因而可以提高高速缓存存储器的利用效率。
[0062]图7是解释了运动向量变化计算处理的示例的解释图。可以采用各种算法计算第二实施例中的MV变化计算单元12中的MV变化98。在此实施例中，现在对所述算法的一个示例进行说明。
[0063]MV是具有方向和大小的二维向量。图7中例示的是由MV指定的区域。在MV变化计算单元12中，由MV指定的参考图像的区域被分为901到908的八个区域。区域903、907、906和902分别是由具有等于或小于预设值的大小的MV所指定的象限区域(第一象限、第二象限、第三象限和第四象限)。区域904、908、905和901分别是由具有等于或大于预设值的大小的MV所指定的象限区域(第一象限、第二象限、第三象限和第四象限)。结合每个区域对指定这些区域的MV的数目进行计数，并且根据所计数的值和图片中的MV的总数推导所述变化。例如，在假设MV的总数的1/4是阈值的情况下，如果全部八个区域中的MV的数目不超过这个值，则确定MV变化是大的。
[0064]结果是，可以容易地算出运动向量的变化而不使用复杂的算术运算(诸如乘法)。
[0065]第三实施例
[0066]〈从变长编码处理的结果提取当前图片的特征量〉
[0067]图8是例示了第三实施例的运动图像解码设备的配置示例的框图。运动图像解码设备I被配置为包括运动图像解码处理单元4、高速缓存存储器2、解码信息处理单元30和高速缓存配置控制单元20。高速缓存配置控制单元20包括第一实施例的帧内宏块比例计算单元11、第二实施例的MV变化计算单元12或另一个待解码图像分析单元。运动图像解码设备I还被配置为具有高速缓存行控制单元8、地址控制单元5、标签比较控制单元6、读取命令控制单元7和高速缓存控制单元3。运动图像解码处理单元4被配置为具有对变长代码执行解码处理的变长编码处理单元41和对图像信号执行解码处理的图像信号处理单元42。解码信息处理单元30从变长编码处理单元41对变长代码的解码结果提取作为帧内宏块信息93或MV信息94的编码信息92，并将其输出到高速缓存配置控制单元20。
[0068]现在将对第三实施例的运动图像解码设备I的操作进行说明。变长编码处理单元41对以输入流的每个图片为单位的变长代码执行解码处理。图像信号处理单元42对从变长编码处理单元41输出的变长代码解码过的数据执行信号处理，并将其解码为图像。此解码处理按照从变长编码处理单元41延迟一个图片的方式来执行。即，变长编码处理单元41和图像信号处理单元42被配置为具有包括与图片处于一对一的对应关系的步骤的流水线(pipeline)。
[0069]解码信息处理单元30将与变长编码处理单元41所处理的图片相同的图片的编码信息92(诸如帧内宏块信息93或MV信息94)输出到高速缓存配置控制单元20。因此，高速缓存配置控制单元20可以接收与下一个要由图像信号处理单元42处理的图片有关的信息。在图像信号处理单元42处理下一个图片时，高速缓存配置控制单元20可以使用相同图片的编码信息92(诸如帧内宏块信息93或MV信息94)适当地改变高速缓存的配置。根据此流水线配置，可以同时准备在图像信号处理中要处理的目标图片和用于提供用于指定现在的高速缓存的配置的编码信息92(诸如帧内宏块信息93或MV信息94)的图片。因此，高速缓存的配置由图片适当地适配。
[0070]结果是，基于从图像信号处理单元所处理的图片本身提取的特征量高速缓存存储器的配置(诸如行大小或条目大小)被动态地控制，因而提高高速缓存存储器的利用效率。当用一个单元执行解码处理而不由变长编码处理单元和图像信号处理单元分别执行解码处理时，一个图片的特征量在完成相应的图片的解码处理之后被提取出。因此，最早的基于提取的特征量改变高速缓存存储器的配置的情况是在执行用于下一个图片的解码处理时发生的。在其它情况下，以一个图片单位为单位的流水线配置形成为具有变长编码处理单元和图像信号处理单元，而从变长编码的结果中提取特征量。在这种情况下，在下一个流水线阶段执行的图像信号处理中，可以基于此时要解码的目标图片本身的特征量指定高速缓存存储器的配置，因而使其能够适当地执行控制。
[0071]第四实施例
[0072]〈从与流并行地输入的编码信息提取当前图片的特征量〉
[0073]图9是例示了第四实施例的运动图像处理设备的配置示例的框图。运动图像处理设备I被配置为具有运动图像解码处理单元4、高速缓存存储器2、编码信息处理单元31和高速缓存配置控制单元20。高速缓存配置控制单元20包括第一实施例的帧内宏块比例计算单元11、第二实施例的MV变化计算单元12或另一个待解码图像分析单元。运动图像处理设备I还被配置为具有高速缓存行控制单元8、地址控制单元5、标签比较控制单元6、读取命令控制单元7和高速缓存控制单元3。运动图像处理设备I例如从外部的或内置的运动图像编码单兀70接收流91和并行输入其中的编码彳目息92。在这种情况下，编码彳目息92是运动图像编码单元70对原始图像执行编码处理时的信息，并且包括帧内宏块/帧间宏块信息93、MV信息94以及进一步的代码长度信息(诸如量化参数或变长代码)，如第一实施例中说明的。一般来讲，编码信息92包括在流91中。然而，在此实施例中，信息92与流91并行地被提供到运动图像处理设备I中的编码信息处理单元31。即，流91被输入到运动图像解码处理单元4，而相应的编码信息92与流91并行地被输入到编码信息处理单元31。
[0074]现在将对第四实施例的运动图像解码设备I的操作进行说明。
[0075]运动图像编码单元70将流91提供到运动图像解码设备I中的运动图像解码处理单元4，并且将对此流91进行编码处理而生成的编码信息92与流91并行地提供到编码信息处理单元31。编码信息处理单元31从提供的编码信息92提取高速缓存配置控制单元20所需要的信息(例如，帧内宏块/帧间宏块信息93或MV信息94)，并将其提供。如所说明的(例如，在第一实施例中)，高速缓存配置控制单元20被配置为包括帧内宏块比例计算单元11。所述单元20分析所提供的帧内宏块/帧间宏块信息93、计算帧内宏块比例97并基于此来改变高速缓存的配置。如所说明的(例如，在第二实施例中)，高速缓存配置控制单元20被配置为包括MV变化计算单元12，分析所提供的MV信息94、计算MV变化98并基于此来改变高速缓存的配置。接收流91的运动图像解码处理单元4(流91被提供到运动图像解码处理单元4)的操作与第一实施例和第二实施例的运动图像解码处理单元4的操作相同。
[0076]结果是，使用作为待由运动图像解码处理单元4解码的目标图片的编码信息的编码信息，高速缓存配置控制单元20可以适当地改变高速缓存的配置。即，可以独立地执行运动图像解码处理单元中的解码处理和待解码图像分析单元中的特征量的提取处理。因此，基于从待解码的目标图片本身提取的特征量，高速缓存存储器的配置被动态地控制，因而进一步提高高速缓存存储器的利用效率。
[0077]第五实施例
[0078]〈另一个实施例〉
[0079]因此，已经参照各种示例对第一实施例到第四实施例进行了说明，并且可以在不脱离其范围的情况下对其作出各种改变。
[0080]图10是例示了第五实施例的运动图像解码设备的配置示例的框图。运动图像解码设备I包括接收流91的运动图像解码处理单元4(流91输入到运动图像解码处理单元4)和暂时存储要存储到外部存储器60中的数据的高速缓存存储器2，从待由运动图像解码处理单元4解码的流91中的目标图像提取特征量，并基于提取的特征量96改变从外部存储器60到高速缓存存储器2的高速缓存填充的读取大小。图1O例示了具有安装于其中的高速缓存配置控制单元20的运动图像解码设备I。所述单元20包括接收编码信息92和输出特征量的待解码图像分析单元10(编码信息92输入到待解码图像分析单元10)、基于所述特征量改变高速缓存存储器2的读取大小的高速缓存配置改变控制单元9和高速缓存控制单元3。当运动图像解码处理单元4向高速缓存控制单元3请求参考图像时，高速缓存控制单元3确定发生了高速缓存命中还是高速缓存错误。当发生了高速缓存错误时，高速缓存控制单元3基于由高速缓存配置改变控制单元9所指定的读取大小对高速缓存存储器2执行高速缓存填充。[0081 ]结果是，当运动图像解码处理单元通过高速缓存存储器读取存储在外部存储器中的参考图像时，可以减少不必要的对尚速缓存存储器的尚速缓存填充，因而提尚尚速缓存存储器的利用效率。优化了待填充到高速缓存中的参考图像的量，因而减少了高速缓存错误。
[0082]在特定的宏块的解码中读取参考图像时，如果发生了高速缓存错误，在用于读取此参考图像的高速缓存填充处，基于特征量优化高速缓存填充的大小。当特征量表示下一个待解码的目标宏块要参照的参考图像与相应的参考图像相邻的可能性高时，高速缓存填充的大小增大，因而能够提高用于目标之后的宏块的解码处理中的高速缓存存储器的命中率。相反，表示为下一个待解码的目标宏块要参照的参考图像与相应的参考图像相邻的可能性低时，高速缓存填充的大小减小，因而能够抑制不必要的高速缓存填充，即，抑制用于目标之后的宏块的解码处理中的高速缓存错误的高可能性。
[0083]第一实施例采用一个图片的全部宏块的帧内宏块比例97作为特征量96。作为待解码图像分析单元10的一个示例，包括了帧内宏块比例计算单元11。帧内宏块比例计算单元11从帧内宏块/帧间宏块信息93提取帧内宏块比例97作为编码信息92的示例。在帧内宏块比例97高时，高速缓存配置改变控制单元9减小高速缓存存储器2的读取大小，在帧内宏块比例97低时，高速缓存配置改变控制单元9增大高速缓存存储器2的读取大小。图1中的高速缓存配置改变控制单元9被配置为具有高速缓存行控制单元8、地址控制单元5、标签比较控制单元6和读取命令控制单元7。
[0084]在具有高比例的用于帧内预测的宏块的图片中，由运动图像解码处理单元存取参考图像的频率是低的。因此，通过降低高速缓存存储器的行大小，可以抑制不必要的高速缓存填充，g卩，抑制了导致用于目标之后的宏块的解码处理中的高速缓存错误的高可能性。此时，高速缓存存储器被配置为能够高速缓存很多条目，因而整体提高了图片中的命中率。另一方面，在具有低比例的用于帧内预测的宏块的图片中，由运动图像解码处理单元存取参考图像的频率是高的。因而，通过增大高速缓存存储器的行大小(line size)，可以提高用于目标之后的宏块的解码处理中的高速缓存存储器的命中率。
[0085]第二实施例采用运动向量的变化(MV变化)98作为特征量96。作为待解码图像分析单元10的一个示例，包括了MV变化计算单元12 C3MV变化计算单元12从MV信息94提取MV变化98作为编码信息92的示例。在MV变化98大时，那么高速缓存配置改变控制单元9减小高速缓存存储器2的读取大小，在MV变化98小时，那么高速缓存配置改变控制单元9增大高速缓存存储器2的读取大小。在图5中，高速缓存配置改变控制单元9被配置为具有高速缓存行控制单元8、地址控制单元5、标签比较控制单元6和读取命令控制单元7。
[0086]在运动向量的变化小的图片中，高速缓存填充的读取大小增大，因而能够提高用于目标之后的宏块的解码处理中的高速缓存存储器的命中率。在运动向量的变化大的图片中，高速缓存填充的读取大小减小，因而能够抑制不必要的高速缓存填充，即，抑制导致用于目标之后的宏块的解码处理中的高速缓存错误的高可能性。
[0087]现在，如参照例如图7所说明的，MV变化计算单元12的一个配置示例基于以待解码的宏块为中心的方向和距离将与待解码的图像对应的参考图像分为多个区域，对指定这些区域的运动向量的数目计数以测量频率分布，并基于所述频率分布提取MV变化98作为特征量96 ο
[0088]结果是，运动向量的变化可以容易地算出而不使用复杂的算术运算(诸如乘法)。
[0089]第三实施例是包括变长编码处理单元41和图像信号处理单元42的运动图像解码处理单元4的示例，运动图像解码处理单元4用以一个图片为单位的流水线来操作。待解码图像分析单元10从变长编码处理单元41的解码结果提取特征量96，而图像信号处理单元42对变长编码处理单元41的解码结果执行解码处理。
[0090]可以独立执行运动图像解码处理单元中的解码处理和待解码图像分析单元中的特征量的提取处理。因此，基于从待解码的目标图片本身提取的特征量，高速缓存存储器的配置被动态地控制，因而能够提高高速缓存存储器的利用效率。
[0091]此时，如第一实施例，待解码图像分析单元10可以用作帧内宏块比例计算单元11，而帧内宏块比例97可以用作特征量96。如第二实施例，待解码图像分析单元10可以用作MV变化计算单元12，而MV变化98可以用作特征量96或任何其它特征量。
[0092]第四实施例是从额外包括的运动图像编码单元70(而不是运动图像解码处理单元4)提供与流91并行的编码信息92的示例。待解码图像分析单元10从运动图像编码单元70所提供的编码信息92提取特征量96。
[0093]结果是，如上述第三实施例的情况，可以独立地执行运动图像解码处理单元中的解码处理和待解码图像分析单元中的特征量的提取处理。因此，基于从待解码的目标图片本身提取的特征量，高速缓存存储器的配置可以被动态地控制，因而能够提高高速缓存存储器的利用效率。
[0094]此时，如第一实施例，待解码图像分析单元10可以用作帧内宏块比例计算单元11，而帧内宏块比例97可以用作特征量96。如第二实施例，待解码图像分析单元10可以用作MV变化计算单元12，而MV变化98可以用作特征量96或任何其它特征量。
[0095]特征量96不一定是以一个图片为单位定义的参数。例如，参数可以是多个图片的累积，而不是从一个图片提取的参数。在此解码处理中参照参考图像改变高速缓存配置被取代，而是基于待解码的目标图像之前的一个图片的特征量，使用累积到该图片的信息来改变高速缓存的配置。结果是，当趋势以图片为单位急剧变化时，可以抑制敏感反应。这样产生作为待解码的当前目标图片的特征量的预测值的优选值。
[0096]在一个图片中的每个划分的区域中定义特征量96。高速缓存配置可以根据特征量96来改变。
[0097]图11是例示了其中安装了运动图像解码设备的LSI的配置示例的框图。LSI50包括运动图像解码设备1、总线51、存储器界面52、CPU 53、DMAC54、R0M/RAM 55、图像接口 56、运动图像输入处理单元57以及端子58和端子59。尽管没有做出特定的限制，但是半导体LSI50使用用于熟知的CMOS(互补金属氧化物半导体场效应晶体管)的制造技术形成于单个半导体衬底(诸如硅)上。总线51使功能模块彼此耦合。CPU 53代表中央处理单元，执行从ROM/RAM 55提供的程序，因而整体控制LSI 500DMAC 54代表直接存储器存取控制器。DMAC 54的参数由CPU 53提前设置，因而在PU 53执行所述程序的情况下，传送在后台中执行的数据。R0M/RAM 55代表只读存储器/随机存取存储器。ROM将提供到CPU 53的程序代码和恒定参数保持，而RAM用作工作存储器。图像接口 56是用于传输通过端子59从外部输入到运动图像输入处理单元57的图像数据的接口。外部存储器60可以与LSI 50的端子58耦合。耦合的外部存储器60可以通过存储器接口 52存取。运动图像解码设备I包括高速缓存配置控制单元20、运动图像解码处理单元4和高速缓存存储器2。所述单元20包括待解码图像分析单元10、高速缓存配置改变控制单元9和高速缓存控制单元3。如参照图10所说明的，各种示例都可以米用运动图像解码设备I。
[0098]流91由图像接口56和运动图像输入处理单元57根据从例如端子59输入的图像数据生成。流91通过存储器接口 52存储在外部存储器60中，并且又从外部存储器60读取并提供到运动图像解码设备I中的运动图像解码处理单元4中。响应来自运动图像解码处理单元4的请求，例如通过使用CPU 53的程序处理的后台中的DMAC 54执行对来自外部存储器60的流91的读取。运动图像解码处理单元4中的解码结果的结果是，要生成的解码过的图像通过总线51和存储器接口 52写入外部存储器60，并且在用于之后的图片的解码处理中作为参考图像参照。参照图10说明了由运动图像解码处理单元4请求参考图像95到高速缓存存储器2并且在发生高速缓存错误时从外部存储器60写入(高速缓存填充)到高速缓存存储器2。
[0099]当运动图像解码处理单元4通过高速缓存存储器2读取存储在外部存储器60中的参考图像95时，可以减少不必要的对高速缓冲存储器2的高速缓存填充，并提高高速缓存存储器2的利用效率。这样的结果是减小总线51的通信量。因此，可以有效提高CPU 53执行程序的性能。
[0100]LSI 50的上述配置仅仅是示例，并且可以对其进行各种改变。例如，替代图像接口56和运动图像输入处理单元57，可以包括其中流91被包括在数据包中的通信接口。总线51可以分级地形成，或者可以包括多个CPU。运动图像编码单元可以一起安装在相同的芯片中。
[0101]因此，已经基于实施例对本发明人做出的本发明进行了详细说明。本发明不局限于这些实施例。更不必说，可以在不脱离本发明的范围的情况下对其做出各种改变。
[0102]例如，给出了功能块的名字以代表各个功能块的功能，而对所述功能块的划分和整合是任意的。
【主权项】
1.一种图像处理设备，包括: 运动图像解码处理单元，流输入到所述运动图像解码处理单元； 高速缓存存储器，暂时存储外部存储器中存储的数据； 高速缓存控制单元； 待解码图像分析单元； 地址控制单元，响应于来自所述运动图像解码处理单元的请求输出请求地址； 标签比较控制单元，具有标签存储器； 读取命令控制单元；以及 高速缓存行控制单元，并且 其中所述待解码图像分析单元从所述流提取待由所述运动图像解码处理单元解码的目标图像的特征量， 其中所述高速缓存行控制单元基于所述特征量为所述读取命令控制单元指定从所述外部存储器到所述高速缓存存储器的读取大小， 其中所述标签比较控制单元将所述请求地址与保持在所述标签存储器中的标签数据进行比较，并确定发生了高速缓存命中还是高速缓存错误， 其中，当发生了所述高速缓存命中时，所述高速缓存控制单元读取与所述请求地址对应的数据、并将该数据提供到所述运动图像解码处理单元，并且 其中，当发生了所述高速缓存错误时，所述高速缓存控制单元从所述外部存储器读取有关所述读取命令控制单元所指定的读取大小的数据、并且将该数据写到所述高速缓存存储器。2.根据权利要求1所述的图像处理设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的全部宏块的帧内宏块比例作为所述特征量，并且 其中在所述帧内宏块比例高时，所述高速缓存行控制单元减小所述读取大小，而在所述帧内宏块比例低时，所述高速缓存行控制单元增大所述读取大小。3.根据权利要求1所述的图像处理设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的运动向量变化作为所述特征量， 其中在所述运动向量变化大时，所述高速缓存行控制单元减小所述读取大小，而在所述运动向量变化小时，所述高速缓存行控制单元增大所述读取大小。4.根据权利要求3所述的图像处理设备， 其中所述待解码图像分析单元基于以待解码的目标宏块为中心的方向和距离将与所述待解码的图像对应的参考图像分为多个区域、测量指定所述区域的运动向量的频率分布并且基于所述频率分布提取所述特征量。5.根据权利要求1所述的图像处理设备， 其中所述运动图像解码处理单元包括变长编码处理单元和对所述变长编码处理单元的解码结果执行解码处理的图像信号处理单元， 其中所述变长编码处理单元和所述图像信号处理单元用以一个图片为单位的流水线来操作， 其中所述待解码图像分析单元从所述变长编码处理单元的所述解码结果提取所述特征量，并且 其中所述地址控制单元输出与来自所述图像信号处理单元的请求对应的所述请求地址。6.根据权利要求1所述的图像处理设备， 其中所述图像处理设备还包括编码信息处理单元，与所述流对应的编码信息输入到所述编码信息处理单元， 其中所述待解码图像分析单元从通过所述编码信息处理单元提供的所述编码信息提取所述特征量。7.根据权利要求6所述的图像处理设备， 其中所述图像处理设备还包括运动图像编码单元，并且 其中所述运动图像编码单元将通过对运动图像执行编码处理生成的流提供到所述运动图像解码处理单元，并且将所述编码处理中的编码信息提供到所述编码信息处理单元。8.根据权利要求5所述的图像处理设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的全部宏块的帧内宏块比例作为所述特征量，并且 其中在所述帧内宏块比例高时，所述高速缓存行控制单元减小所述读取大小，而在所述帧内宏块比例低时，所述高速缓存行控制单元增大所述读取大小。9.根据权利要求5所述的图像处理设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的运动向量变化作为所述特征量，并且 其中在所述运动向量变化大时，所述高速缓存行控制单元减小所述读取大小，而在所述运动向量变化小时，所述高速缓存行控制单元增大所述读取大小。10.一种半导体设备，包括: 运动图像解码处理单元； 高速缓存存储器；以及 高速缓存配置控制单元，而所述半导体设备能够与外部存储器耦合，并且其中所述高速缓存配置控制单元包括待解码图像分析单元、高速缓存配置改变控制单元和高速缓存控制单元， 其中所述运动图像解码处理单元从所述外部存储器读取流、对所读取的流执行解码处理并且将所述解码处理所生成的解码图像写到所述外部存储器， 其中所述待解码图像分析单元从所述流提取待由所述运动图像解码处理单元解码的目标图像的特征量，并且 其中所述高速缓存配置改变控制单元基于所述特征量为所述高速缓存控制单元指定所述高速缓存存储器发生高速缓存错误时的读取大小。11.根据权利要求10所述的半导体设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的全部宏块的帧内宏块比例作为所述特征量，并且 其中在所述帧内宏块比例高时，所述高速缓存配置改变控制单元减小所述读取大小，而在所述帧内宏块比例低时，所述高速缓存配置改变控制单元增大所述读取大小。12.根据权利要求10所述的半导体设备， 其中所述待解码图像分析单元提取所述待解码的图像中的一个图片的运动向量变化作为所述特征量， 其中在所述运动向量变化大时，所述高速缓存配置改变控制单元减小所述读取大小，而在所述运动向量变化小时，所述高速缓存配置改变控制单元增大所述读取大小。13.根据权利要求10所述的半导体设备， 其中所述运动图像解码处理单元包括变长编码处理单元和图像信号处理单元， 其中所述变长编码处理单元和所述图像信号处理单元用以一个图片为单位的流水线来操作， 其中所述待解码图像分析单元从所述变长编码处理单元的解码结果提取所述特征量，并且 其中所述图像信号处理单元对所述变长编码处理单元的所述解码结果执行解码处理。14.根据权利要求10所述的半导体设备， 其中所述半导体设备还包括编码信息处理单元，与所述流对应的编码信息输入到所述编码信息处理单元， 其中所述待解码图像分析单元从通过所述编码信息处理单元提供的所述编码信息提取所述特征量。15.根据权利要求14所述的半导体设备， 其中所述半导体设备还包括运动图像编码单元，所述运动图像编码单元编码运动图像以生成所述流和所述编码信息。16.—种图像处理设备，包括: 运动图像解码处理单元，流输入到所述运动图像解码处理单元；以及 高速缓存存储器，暂时存储外部存储器中存储的数据，并且 其中所述运动图像解码处理单元从待解码的所述流中的目标图像提取特征量，并且基于所述特征量改变从所述外部存储器到所述高速缓存存储器的高速缓存填充的读取大小。17.根据权利要求16所述的图像处理设备， 其中所述运动图像解码处理单元提取待解码的所述流中的目标图像中的一个图片的全部宏块的帧内宏块比例作为所述特征量，在所述帧内宏块比例高时，所述运动图像解码处理单元减小所述读取大小，在所述帧内宏块比例低时，所述运动图像解码处理单元增大所述读取大小。18.根据权利要求16所述的图像处理设备， 其中所述运动图像解码处理单元提取待解码的所述流中的目标图像中的一个图片的运动向量变化作为所述特征量，在所述运动向量变化大时，所述运动图像解码处理单元减小所述读取大小，而在所述运动向量变化小时，所述运动图像解码处理单元增大所述读取大小。19.根据权利要求16所述的图像处理设备， 其中所述运动图像解码处理单元包括:具有以一个图片为单位的流水线的变长编码处理单元和图像信号处理单元，其中所述图像处理设备从所述变长编码处理单元的解码结果提取所述特征量，并且其中所述图像信号处理单元对所述变长编码处理单元的所述解码结果执行解码处理。20.根据权利要求16所述的图像处理设备，其中与所述流对应的信息被提供到所述图像处理设备，并且其中所述图像处理设备从所提供的编码信息提取所述特征量。
【文档编号】H04N19/423GK105847819SQ201510969813
【公开日】2016年8月10日
【申请日】2015年12月22日
【发明人】松本圭介, 松原胜重, 望月诚二, 加谷俊之, 植田浩司
【申请人】瑞萨电子株式会社