图像处理装置和图像处理方法、程序和成像设备的制作方法
【专利摘要】本发明涉及一种图像处理装置和图像处理方法、程序和成像设备。该图像处理装置包括：分割单元，将图像数据的每个图片分割成多种布置；多个编码单元，多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，合成通过多个编码单元中的每个对每个图片进行编码而得到的布置中的流，其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，该图像数据存在于正被分割单元分割的图像数据之前，并且该图像数据的处理正在不同的编码单元中进行。
【专利说明】图像处理装置和图像处理方法、程序和成像设备
[0001]相关申请的交叉引用
[0002]本申请要求于2013年6月11日提交的日本在先专利申请JP2013-123122的优先权,其全部内容通过引用合并于此。
【技术领域】
[0003]本公开内容涉及一种图像处理装置、图像处理方法、程序和成像设备，尤其涉及一种能够抑制由于图像的编码而导致的图像质量的下降的图像处理装置、图像处理方法、程序和成像设备。
【背景技术】
[0004]在现有技术中，存在一种例如在对运动图像进行编码时使用多个编码器在图片单元中执行并行处理的方法(例如，参见日本未审专利申请公开N0.2012-253516、N0.2007-16619(对应的美国专利申请公开 N0.US 2007/0133678)、N0.10-313463 (对应的美国专利 N0.US6, 553，068)和 N0.8-265164 (对应的美国专利 N0.US 5，646，687))。
【发明内容】
[0005]但是，如果采用现有技术的方法以这样的方式并行地执行编码，则存在在作为某一编码器中的处理目标的当前图片之前的图片的处理将处于在不同编码器中正在进行编码的可能性。在这种情况下，难以使用关于其编码处理正在进行的图片的运动信息来推导出全局运动向量(GMV)，并且必须使用关于比这种图片早的图片的运动信息来推导出该GMV。由此，GMV精度降低，并且存在对GMV精度将降低并且图像质量劣化将增加的担心。
[0006]希望抑制由于图像的编码而导致的图像质量的下降。
[0007]根据本公开内容的实施例，提供一种图像处理装置，该图像处理装置包括:分割单元，将图像数据的每个图片分割成多种布置；多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而得到的布置中的流，其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0008]在图像处理装置中，如果与GMV的参考距离最接近的图片当中的与当前图片最接近的图片的处理正在不同的编码单元中进行，则编码单元可从关于正在进行处理的图片的完成了处理的部分的运动信息推导出第一 GMV。
[0009]在图像处理装置中，如果与第一 GMV相对应的图片的处理在用于开始当前图片的编码的时间点处正在进行，则编码单元可从关于完成了处理的部分的运动信息推导出第一GMV。
[0010]在图像处理装置中，编码单元可使用第一 GMV来推导出帧间预测的搜索区域偏移。
[0011]在图像处理装置中，编码单元可使用从关于图像数据中的与第一 GMV对应的图片之前的整个图片的运动信息推导出的GMV来推导出搜索区域偏移，图像数据中的与第一GMV对应的图片之前的整个图片存在于正被分割单元分割的图片之前，并且图像数据中的与第一 GMV对应的图片之前的整个图片的编码在该编码单元自身或者不同的编码单元中完成。
[0012]在图像处理装置中，编码单元使用第二 GMV和第三GMV两者作为从关于整个图片的运动信息推导出的GMV来推导出搜索区域偏移，第二 GMV是从关于与完成了编码的对应于第一 GMV的图片的完成了处理的部分对应的部分的运动信息推导出的，第三GMV是从关于与完成了编码的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的。
[0013]在图像处理装置中，编码单元可通过将第一 GMV和第二 GMV之间的差与第二 GMV和第三GMV的平均值相加来推导出搜索区域偏移。
[0014]在图像处理设备中，分割单元可将图像数据的图片分割成两种布置，S卩，偶数编号的图片布置和奇数编号的图片布置，其中，每个编码单元可在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码，其中，在进行编码时，每个编码单元可从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一 GMV，以及每个编码单元可从关于存在于正被分割单元分割的图片之前并且在编码单元自身和不同的编码单元中完成了编码的、在图像数据中的与第一 GMV对应的图片之前的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV，其中，每个编码单元可使用第一 GMV至第三GMV来推导出当前图片的搜索区域偏移，并可使用推导出的搜索区域偏移来执行帧间预测，以及其中，合成单元可合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流，并且产生输出流。
[0015]在图像处理装置中，编码单元可从关于在开始当前图片的编码时正在进行处理并且比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，以及编码单元可从关于在开始当前图片的编码时完成了处理并且比当前图片先前两个或更多个图片的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV。
[0016]在图像处理装置中，编码单元可从关于比当前图片先前三个图片的图片的上半部分的运动信息推导出第二 GMV，并且可从关于该图片的下半部分的运动信息推导出第三GMV。
[0017]在图像处理装置中，编码单元可使用第一 GMV推导出当前图片的第一开始点，该第一开始点是用于与对应于第一 GMV的图片的完成了处理的部分对应的部分的帧间预测的推测执行点的开始点。
[0018]在图像处理装置中，编码单元可将第一 GMV设置为第一开始点。
[0019]在图像处理装置中，在处理当前图片的与对应于第一 GMV的图片的完成了处理的部分对应的部分之后，使用从关于与对应于第一 GMV的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的第二 GMV，编码单元可推导出当前图片的第二开始点，该第二开始点是用于与对应于第一 GMV的图片的不同的部分对应的部分的帧间预测的推测执行点的开始点。
[0020]在图像处理装置中，编码单元可将第二 GMV设置为第二开始点。
[0021]在图像处理设备中，分割单元可将图像数据的图片分割成两种布置，S卩，偶数编号的图片布置和奇数编号的图片布置，其中，每个编码单元可在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码，其中，在对当前图片开始编码处理时，每个编码单元可从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一GMV，可使用第一 GMV推导出第一开始点，可使用第一开始点对当前图片的上半部分执行帧间预测，可在处理上半部分之后从关于对应于第一 GMV的图片的完成了处理的下半部分的运动信息推导出第二 GMV，可使用第一 GMV推导出第二开始点，并且可使用第二开始点对当前图片的下半部分执行帧间预测，以及其中，合成单元可合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流，并且可产生输出流。
[0022]在图像处理装置中，编码单元可从关于比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，并且可从关于该图片的下半部分的运动信息推导出第二GMV。
[0023]根据本公开内容的另一个实施例，提供一种图像处理方法，该图像处理方法包括:将图像数据的每个图片分割成多种布置；对从分割得到的每种布置中的图片进行编码；在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及合成通过对每个图片进行编码获得的布置中的流。
[0024]根据本公开内容的另一个实施例，提供一种程序，使得计算机执行:将图像数据的每个图片分割成多种布置；对从分割得到的每种布置中的图片进行编码；在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及合成通过对每个图片进行编码获得的布置中的流。
[0025]根据本公开内容的另一个实施例，提供一种成像设备，该成像设备包括:成像单元，对被摄体进行成像；分割单元，将通过成像单元对被摄体进行成像而获得的图像数据的每个图片分割成多种布置；多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而获得的布置中的流，其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0026]根据本公开内容的实施例，图像数据的每个图片被分成多种布置，对从分割得到的每种布置中的图片进行编码，并且在对每个图片进行编码时，使用从关于在图像数据中的当前图片之前的图片的处理完成的一部分的运动信息推导出的第一全局运动向量GMV来对当前图片执行帧间预测，并且将通过对每个图片进行编码而得到的布置中的流合成，其中，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0027]根据本公开内容的实施例，对被摄体进行成像，将通过对被摄体进行成像得到的图像数据的每个图片分割成多种布置，对从分割得到的每种布置中的图片进行编码，并且在对每个图片进行编码时，使用从关于在图像数据中的当前图片之前的图片的处理完成的一部分的运动信息推导出的第一全局运动向量(GMV)来对当前图片执行帧间预测，并且将通过对每个图片进行编码得到的布置中的流合成，其中，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0028]根据本公开内容，可以对图像进行处理。特别地，可以抑制由于图像的编码而导致的图像质量的下降。
【专利附图】
【附图说明】
[0029]图1A和图1B是示出从非参考图片推导出GMV的状态的示例的示图。
[0030]图2A和图2B是示出从参考图片推导出GMV的状态的示例的示图。
[0031]图3是描述并行编码的状态的示例的示图。
[0032]图4A和图4B是示出从参考图片推导出GMV的状态的另一示例的示图。
[0033]图5是描述并行编码的状态的另一示例的示图。
[0034]图6A和图6B是示出从非参考图片推导出GMV的状态的另一示例的示图。
[0035]图7A和图7B是示出从参考图片推导出GMV的状态的另一示例的示图。
[0036]图8是示出根据本公开内容的图像编码装置的主要配置示例的框图。
[0037]图9是示出第一编码单元的主要配置示例的框图。
[0038]图10是示出并行编码处理的流程的示例的流程图。
[0039]图11是示出上半部分的GMV推导处理的流程的示例的流程图。
[0040]图12是示出编码处理的流程的示例的流程图。
[0041]图13是示出下半部分的GMV推导处理的流程的示例的流程图。
[0042]图14是示出计算机的主要配置示例的框图。
[0043]图15是示出成像设备的主要配置示例的框图。
【具体实施方式】
[0044]下面描述根据本公开内容的实施例(在下文中被称为实施例)。提供描述的顺序如下。
[0045]1.GMV推导的状态的示例的描述
[0046]2.第一实施例(图像编码装置)
[0047]3.第二实施例(计算机)
[0048]4.第三实施例(成像设备)
[0049]1.GMV推导的状态的示例的描述
[0050]第一 GMV推导示例
[0051]在图像编码中存在当通过帧间预测(画面间预测)产生预测图像时使用全局运动向量(GMV)的方法。
[0052]GMV是指示整个图片的运动的运动向量。更具体地，例如，GMV是图片中的针对每个宏块产生的运动向量当中频率最高的运动向量。
[0053]例如，在用于在从其推导出GMV的帧、时间上晚于区段(field)被处理的帧或者该区段的运动预测中搜索对其执行运动向量的搜索的搜索区域的运动(偏移)或运动向量(用于推测执行点的开始点)的基点中也使用GMV。基本上，在用于开始运动预测的时间点处，GMV预测具有某一精度的运动向量。通过以这样的方式使用GMV，可以预见到以较高的效率执行对于运动向量的搜索。
[0054]在整个图片中将运动向量的直方图相加起来，并且例如，频率最高的运动向量被选择作为GMV。在该GMV推导处理中，对于直方图的产生、对于频率高的运动向量的搜索等等，存在重的负荷。
[0055]使用关于接近参考距离且接近作为处理目标的当前图片的整个图片的运动信息来推导出GMV。
[0056]例如，在图像数据中，如果交替地重复由下述图片参考的参考图片(Ref P)和没有参考的非参考图片(Non-Ref P)，则当作为处理目标的当前图片(CurP)是非参考图片(N)时，对GMV原样地应用关于紧邻的前一个非参考图片(N)的GMV(O)，如图1A所示。基本上，如图1B所示，使用关于整个紧邻的前一个非参考图片(N)的运动信息，推导出关于当前图片的GMV。因此，关于紧邻的前一个非参考图片(N)的GMV(O)被原样地应用于用于当前图片的推测执行点(speculative_gmv)的开始点、或者搜索区域的偏移(search_area_offset)(其是使用关于整个紧邻的前一个非参考图片(N)的运动信息推导出的)。
[0057]此外，在当前图片(CurP)是参考图片(R)时，如图2A所示，使用关于紧邻的前一个非参考图片(N)的GMV(O)来推导出GMV。基本上，如图2B所示，根据图片之间的距离来调整关于紧邻的前一个非参考图片(N)的GMV (O)。也就是说，同样，在这种情况下，使用关于整个紧邻的前一个非参考图片(N)的运动信息来推导出关于当前图片的GMV。也以相同的方式使用关于紧邻的前一个非参考图片(N)的GMV(O)(关于整个紧邻的前一个非参考图片(N)的运动信息)来推导出用于当前图片的推测执行点(speculative_gmv)的开始点、或者搜索区域的偏移(search_area_offset)。
[0058]第二 GMV推导示例
[0059]顺便说一句，如H本未审专利申请公开N0.2012-253516, N0.2007-166192 (对应的美国专利申请公开N0.US 2007/0133678)、N0.10-313463 (对应的美国专利N0.US6，553，068)和N0.8-265164(对应的美国专利N0.US 5，646，687)中所公开的，在运动图像编码中例如存在使用多个编码器在图片单元中执行并行处理的方法。
[0060]例如，如图3所示，第一编码单元和第二编码单元用于编码。也就是说，由第一编码单元对运动图像上的图像数据的偶数编号的图片(也被称为“偶数编号的图像”)进行编码，并且由第二编码单元对奇数编号的图片(也被称为“奇数编号的图像”)进行编码。然后，第一编码单元和第二编码单元被设定为在两个图片的垂直同步周期(2V)内对每个图片进行编码。
[0061]在这种情况下，如图3所示，在开始当前图片的处理的时间点处，对紧邻的前一个图片的处理(编码)正在进行。因此，难以使用关于整个紧邻的前一个图片的运动信息来推导出GMV。例如，如果第三图片(Pic3)被设定为当前图片，则因为对第二图片(Pic2)的处理正在进行，所以难以使用关于整个第二图片(Pic2)的运动信息来推导出GMV。当关于整个第二图片(Pic2)的运动信息被设定为要使用时，该处理等待直到Picl的处理完成，发生不必要的延迟，并且存在对编码处理将失败而没有赶上图像数据(帧率)的担心。
[0062]相反，因为比当前图片先前两个或更多个图片的图片的处理(编码)在开始当前图片的处理的时间点处完成了，所以可以使用关于这样的整个图片的运动信息。例如，如果第三图片(Pic3)被设定为当前图片，则因为第一图片(Picl)或第O图片(PicO)的处理完成了，所以可以使用关于这样的整个图片的信息来推导出GMV。
[0063]基本上，在当前图片(CurP)是非参考图片(N)时，可以用与图1A和图1B中示出的方式相同的方式来推导出GMV。
[0064]但是，在当前图片(CurP)是参考图片(R)时，因为如图4A和图4B所示，对关于紧邻的前一个非参考图片(N)的GMV(O)的推导未完成，所以使用关于比当前图片(CurP)先前一个图片的非参考图片(N)的GMV⑴来推导出GMV。基本上，由于其运动信息在GMV的推导中被使用的图片远离当前图片，所以存在对GMV精度将下降并且图像质量的劣化将增加的担心。
[0065]第三GMV推导示例
[0066]顺便说一句，如果通过并行处理以这样的方式执行图像编码，则使用关于正在进行处理的图片的处理完成的一部分的运动信息来推导出GMV，并且在编码中使用该GMV。例如，如图5所示，如果以与图3中示出的方式相同的方式通过并行化来执行编码，则在使用关于紧邻的前一个图片的运动信息来推导出GMV时，关于紧邻的前一个图片的在开始当前图片的处理的时间点处完成处理的一部分(例如，上半部分)的运动信息被设定为要使用。换句话说，在没有使用关于紧邻的前一个图片的在开始当前图片的处理的时间点处没有完成处理的一部分的运动信息的情况下推导出GMV。
[0067]在以这样的方式进行时，即使通过并行化执行编码，但是由于使用关于接近当前图片的图片的运动信息来推导出GMV，所以可以抑制GMV精度的下降。也就是说，可以抑制由于编码而导致的图像质量的下降。
[0068]而且，此时，不仅可以使用关于正在进行处理的图片的运动信息来推导出GMV，而且可以使用关于比当前图片先前两个或更多个图片的整个图片的运动信息来推导出GMV。当以这样的方式进行时，可以进一步抑制GMV精度的下降，并且可以进一步抑制由于编码而导致的图像质量的下降。
[0069]例如，在图像数据中，在当前图片(CurP)是非参考图片(N)时，对紧邻的前一个非参考图片(N)的处理完成。因此，如图6A所示，关于紧邻的前一个非参考图片(N)的上半部分的GMV(GMV_t(0))被原样地应用于关于当前图片的上半部分的GMV (GMV_t)(使用关于紧邻的前一个非参考图片(N)的上半部分的运动信息来推导出关于当前图片的GMV_T)。此夕卜，如图6A所示，关于紧邻的前一个非参考图片(N)的下半部分的GMV(GMV_b(0))被原样地应用于关于当前图片的下半部分的GMV(GMV_b)(使用关于紧邻的前一个非参考图片(N)的下半部分的运动信息来推导出关于当前图片的GMV_b)。
[0070]因此，如图6B所示，例如，关于紧邻的前一个非参考图片(N)的GMV_t (O)被原样地应用于用于当前图片的上半部分的推测执行点(SpeCulatiVe_gmV_t)的开始点(其是使用关于紧邻的前一个非参考图片(N)的上半部分的运动信息推导出的)。此外，如图6B所示，例如，关于紧邻的前一个非参考图片(N)的GMV_b(0)被原样地应用于用于当前图片的下半部分的推测执行点(speculative_gmv_b)的开始点(其是使用关于紧邻的前一个非参考图片(N)的下半部分的运动信息推导出的)。
[0071]然后，如图6B所示，关于紧邻的前一个非参考图片(N)的GMV_T(0)和GMV_b (O)二者的平均值被应用于搜索区域的偏移(search_area_offset)(其是使用关于整个紧邻的前一个非参考图片(N)的运动信息(关于上半部分的运动信息和关于下半部分的运动信息二者)推导出的)。
[0072]相反，在当前图片(CurP)是参考图片(R)时，由于紧邻的前一个非参考图片(N)的处理正在进行，所以难以使用关于整个紧邻的前一个非参考图片(N)的运动信息。但是，如图5所示，在开始当前图片的处理的时间点处，上半部分的处理完成了。因此，对于关于当前图片的上半部分的GMV(GMV_t)，如图7A所示，关于紧邻的前一个非参考图片(N)的上半部分的GMV(GMV_t(0))可以被原样地应用(使用关于紧邻的前一个非参考图片(N)的上半部分的运动信息来推导出关于当前图片的GMV_T)。
[0073]此外，如图5所示，在开始当前图片的下半部分的处理的时间点处，紧邻的前一个非参考图片(N)的处理完成了。因此，关于紧邻的前一个非参考图片(N)的下半部分的GMV(GMV_b(0))也可被原样地应用于关于当前图片的下半部分的GMV(GMV_b)(使用关于紧邻的前一个非参考图片(N)的下半部分的运动信息来推导出关于当前图片的GMV_b)。
[0074]因此，如图7B所示，例如，关于紧邻的前一个非参考图片(N)的GMV_t(0)可被原样地应用于用于当前图片的上半部分的推测执行点(speculative_gmv_t)的开始点(其是使用关于紧邻的前一个非参考图片(N)的上半部分的运动信息推导出的)。此外，如图7B所示，例如，关于紧邻的前一个非参考图片(N)的GMV_b(0)也可被原样地应用于用于当前图片的下半部分的推测执行点(SpeCUlative_gmv_b)的开始点(其是使用关于紧邻的前一个非参考图片(N)的下半部分的运动信息推导出的)。
[0075]相反，因为必须在开始当前图片的时间点处推导出搜索区域的偏移(search_area_0ffSet)，所以难以使用关于紧邻的前一个非参考图片(N)的下半部分的运动信息。因此，为了抑制图像质量劣化的增加，使用关于紧邻的前一个非参考图片(N)的上半部分的GMV (GMV_t (O)) (B卩，关于正在进行处理的图片的处理完成的一部分的运动信息)来推导出搜索区域的偏移。
[0076]更具体地，为了进一步提高GMV精度，如图7A所示，也使用关于比当前图片先前一个图片的整个非参考图片(N)的GMV(GMV(1))(例如，关于比当前图片先前一个图片的非参考图片(N)的上半部分的GMV(GMV_t(l))和关于比当前图片先前一个图片的非参考图片(N)的下半部分的GMV(GMV_b(l)))来推导出搜索区域的偏移。例如，获得GMV_t (I)和GMV_Ml)的平均值作为比当前图片先前一个图片的整个非参考图片(N)的GMV，并且GMV_t(l)和GMV_t(0)之间的差，即在比当前图片先前一个图片的非参考图片(N)和紧邻的前一个非参考图片(N)之间的上半部分中的运动的差被反映在整个图片中。
[0077]更具体地，如图7B所示，GMV_t (I)和GMV_t (O)之间的差与GMV_t (I)和GMV_b (I)的平均值相加。通过以这样的方式推导出搜索区域的偏移(search_area_offset),可以进一步抑制GMV精度的下降，并且可以进一步抑制由于编码而导致的图像质量的下降。
[0078]2.第一实施例
[0079]图像编码装置
[0080]接下来，描述应用上述的本技术的图像处理装置。图8是示出根据本公开内容的第一实施例的图像编码装置100的配置的一个示例的框图。图8中示出的图像编码装置100将作为运动图像的输入图像分割成用于每个图片的并行化的两种布置，并且对这两种布置中的图像进行编码。
[0081]如图8所示，图像编码装置100包括图像分割单元101、第一编码单元102、第二编码单元103和流合成单元104。
[0082]图像分割单元101将输入图像交替地分成两种布置。也就是说，图像分割单元101将输入图像的偶数编号的图片(偶数编号的图像)供应到第一编码单元102，并且将奇数编号的图片(奇数编号的图像)供应到第二编码单元103。此外，在下文中，输入图像是指在图像分割单元101进行分割之前存在的、被输入到图像编码装置100中的一种布置中的运动图像(或者图像的图片)。
[0083]第一编码单元102对作为一种布置中的运动图像的所供应的偶数编号的图像组进行编码。例如，第一编码单元102通过执行与高级视频编码(AVC)或高效视频编码(HEVC)相同的帧内预测或帧间预测来产生预测图像，并且通过对预测图像和输入的偶数编号的图像的差图像执行正交变换、量化等并且对该结果执行可逆编码来产生流(第一流)。第一编码单元102将产生的第一流(关于偶数编号的图像组的编码数据)供应到流合成单元104。
[0084]第二编码单元103对供应的奇数编号的图像组执行与第一编码单元102相同的编码，并且产生第二流。第二编码单元103将产生的第二流(关于奇数编号的图像组的编码数据)供应到流合成单元104。
[0085]流合成单元104将供应的第一流和第二流合成，并且产生一种布置中的输出流。也就是说，流合成单元104将关于包括在第一流中的每个偶数编号的图像的编码数据和关于包括在第二流中包括的每个奇数编号的图像的编码数据，按照这些图片在输入图像中布置的顺序重排为一种布置。此时，流合成单元104通过适当地组合关于第一流的头部信息和关于第二流的头部信息并且执行适当的参数转换来产生关于输出流的头部信息。基本上，通过合成第一流和第二流，流合成单元104与在没有并行化的情况下对输入图像进行编码时一样产生流。流合成单元104将产生的输出流输出到图像编码装置100的外部。
[0086]而且，第一编码单元102和第二编码单元103可以相互并行地执行处理。基本上，在第一编码单元102对作为输入图像的图片进行编码的同时，第二编码单元103可以对作为输入图像的下一图片执行编码。在以这样的方式进行时，第一编码单元102和第二编码单元103中的每个可以在对一个图片进行编码时使用两个图片的垂直同步周期。换句话说，第一编码单元102和第二编码单元103在两个图片的垂直同步周期内对一个图片执行编码，由此可以实时地(及时地)(即，以与输入图像的帧率相对应的速度)将输出流输出而没有上溢。
[0087]基本上，因为第一编码单元102和第二编码单元103可以并行地执行处理，并且由此可以确保用于编码处理的较长时间，所以即使输入图像例如可以是比如4K图像的具有大量数据(大量像素、大量比特等)的图片，图像编码装置100也可以实时地执行编码。
[0088]此外，第一编码单元102和第二编码单元103可以适当地相互交换关于编码的信息，例如，关于参考图像的信息或GMV。也就是说，第一编码单元102和第二编码单元103中的一个可以在由第一编码单元102和第二编码单元103中的一个执行编码时使用关于由另一个执行的编码的信息。例如，第一编码单元102和第二编码单元103中的一个可以使用关于在另一个编码单元中先前编码的图片的运动信息来推导出GMV，并且可以在对当前图片进行编码时使用这种GMV。
[0089]第一编码单元
[0090]图9是示出图8中的第一编码单元102的主要配置示例的框图。
[0091]图9中示出的第一编码单元102通过执行诸如AVC或HEVC的预测处理来对图像数据进行编码。
[0092]如图9所示，第一编码单元102包括A/D转换单元151、图像重排缓冲器152、算术运算单元153、正交变换单元154、量化单元155、可逆编码单元156和累积缓冲器157。此夕卜，第一编码单元102包括逆量化单元158、逆正交变换单元159、算术运算单元160、去块滤波器161、帧存储器162、选择单元163、帧内预测单元164、运动预测和补偿单元165、预测图像选择单元166和速率控制单元167。
[0093]第一编码单元102另外具有GMV推导单元171。
[0094]A/D转换单元151对输入的图像数据执行A/D转换，并且将转换后的图像数据(数字数据)供应到图像重排缓冲器152并在图像重排缓冲器152中存储转换后的图像数据(数字数据)。而且，如果输入的图像是数字图像，则不需要A/D转换单元151。根据图片组(GOP)，图像重排缓冲器152以存储的显示顺序(S卩，以用于编码的帧顺序)重排各帧中的图像，并且将以重排的帧顺序的图像供应到算术运算单元153。此外，图像重排缓冲器152将以重排的帧顺序的图像供应到帧内预测单元164，并且还供应到运动预测和补偿单元 165。
[0095]算术运算单元153从自图像重排缓冲器152读取的图像中减去通过预测图像选择单元166从帧内预测单元164或运动预测和补偿单元165供应的预测图像，并且将作为结果的差信息输出到正交变换单元154。
[0096]例如，如果对图像执行帧间编码，则算术运算单元153从自图像重排缓冲器152读取的图像中减去从运动预测和补偿单元165供应的预测图像。
[0097]正交变换单元154对从算术运算单元153供应的差信息执行正交变换，例如，离散余弦变换或Karhunen-Loeve变换。而且，这种正交变换方法是任意的。正交变换单元154将这种变换系数供应到量化单元155。
[0098]量化单元155对从正交变换单元154供应的变换系统进行量化。量化单元155基于与从速率控制单元167供应的编码量的目标值有关的信息来设定量化参数，并且对量化参数执行量化。而且，这种量化方法是任意的。量化单元155将量化变换系数供应到可逆编码单元156。
[0099]可逆编码单元156使用任意的编码方法对在量化单元155中量化的变换系数进行编码。由于在速率控制单元167的控制下对系数数据进行量化，所以这种编码量是由速率控制单元167设定的目标值(或者接近目标值)。
[0100]此外，可逆编码单元156从帧内预测单元164获得指示帧内预测模式等的信息，并且从运动预测和补偿单元165获得指示帧间预测模式的信息、运动向量信息等。另外，可逆编码单元156可以获得在去块滤波器161中使用的滤波器系数等。
[0101]可逆编码单元156使用任意的编码方法对这样的各种信息进行编码，并且将编码的结果设定(多路复用)为关于编码数据的头部信息的一部分。可逆编码单元156将编码的和获得的编码数据供应到累积缓冲器157，并将其累积在累积缓冲器157中。
[0102]例如，作为由可逆编码单元156使用的编码方法，可以列举可变长度编码、算术编码等。例如，作为可变长度编码，可以列举利用H.264/AVD方法等确定的上下文自适应可变长度编码(CAVLC)。例如，作为算术编码，可以列举上下文自适应二进制算术编码(CABAC)
坐寸ο
[0103]累积缓冲器157临时保留从可逆编码单元156供应的编码数据。累积缓冲器157在预定的定时将保留的编码数据作为比特流(第一流)输出。
[0104]此外,在量化单元155中量化的变换系数也被供应到逆量化单元158。逆量化单元158使用与量化单元155的量化相对应的方法对量化的变换系数进行逆量化。这种逆量化方法可以是与量化单元155的量化处理相对应的任何方法。逆量化单元158将获得的变换系数供应到逆正交变换单元159。
[0105]逆正交变换单元159使用与正交变换单元154的正交变换处理相对应的方法对从逆量化单元158供应的变换系数执行逆正交变换。这种逆正交变换方法可以是与正交变换单元154的正交变换处理相对应的任何方法。将经过逆正交变换的输出(恢复的差信息)供应到算术运算单元160。
[0106]算术运算单元160将通过预测图像选择单元166从帧内预测单元164或运动预测和补偿单元165供应的预测图像与从逆正交变换单元159供应的逆正交变换的结果(即，恢复的差信息)相加，并且获得局部解码的图像(解码图像)。这种解码图像被供应到去块滤波器161或帧存储器162。
[0107]去块滤波器161通过对从算术运算单元160供应的解码图像执行去块滤波处理来去除解码图像中的块畸变。如果需要的话，去块滤波器161将在滤波处理中使用的诸如滤波器系数的信息供应到可逆编码单元156，并且可以对这种信息进行编码。
[0108]去块滤波器161将滤波处理的结果(在滤波处理之后的解码图像)供应到帧存储器162。而且，如上所述，从算术运算单元160输出的解码图像可以被供应到帧存储器162，而没有通过去块滤波器161。基本上，可以省略由去块滤波器161进行的滤波处理。
[0109]帧存储器162存储供应的解码图像，并且在预定的定时将存储的解码图像作为参考图像供应到选择单元163。
[0110]选择单元163选择从帧存储器162供应的参考图像的供应目的地。例如，在帧间预测的情况下，选择单元163将从帧存储器162供应的参考图像供应到运动预测和补偿单元 165。
[0111]帧内预测单元164使用作为通过选择单元163从帧存储器162供应的参考图像的处理目标图片内的像素值，执行产生预测图像的帧内预测(图像间预测)。帧内预测单元164在预先准备的多种模式(帧内预测模式)中执行这种帧内预测。
[0112]帧内预测单元164在所有的候选的帧内预测模式中产生预测图像，使用从图像重排缓冲器152供应的输入图像来评估每个预测图像的成本函数值，并且选择最佳模式。在选择了最佳帧内预测模式时，帧内预测单元164将在这种最佳模式中产生的预测图像供应到预测图像选择单元166。
[0113]此外，如上所述，帧内预测单元164将指示所采用的帧内预测模式的帧内预测模式信息等供应到适当的可逆编码单元156，并且对这种信息进行编码。
[0114]运动预测和补偿单元165使用从图像重排缓冲器152供应的输入图像和通过选择单元163从帧存储器162供应的参考图像来执行运动预测(帧间预测)，根据检测到的运动向量执行运动补偿处理，并且产生预测图像(帧间预测图像信息)。运动预测和补偿单元165在预先准备的多种模式(帧间预测模式)中执行这种帧间预测。
[0115]运动预测和补偿单元165在所有的候选的帧间预测模式中产生预测图像，评估每个预测图像的成本函数值，并且选择最佳模式。在选择了最佳帧间预测模式时，运动预测和补偿单元165将在这种最佳模式中产生的预测图像供应到预测图像选择单元166。
[0116]此外，在对指示所采用的帧间预测模式的信息或编码数据进行解码时，运动预测和补偿单元165将用于在这种帧间预测模式中执行处理所需的信息等供应到可逆编码单元156，并且对这种信息等进行编码。
[0117]预测图像选择单元166选择被供应到算术运算单元153或算术运算单元160的预测图像的供应目的地。例如，在帧间编码的情况下，预测图像选择单元166选择运动预测和补偿单元165作为预测图像的供应目的地，并且将从运动预测和补偿单元165供应的预测图像供应到算术运算单元153或算术运算单元160。
[0118]速率控制单元167基于在累积缓冲器157中累积的编码数据的编码量，以使得不会发生上溢或下溢的方式控制由量化单元155进行的量化操作的速率。
[0119]GMV推导单元171使用关于比作为处理目标的当前图片更早编码的图片的运动信息来推导出GMV，使用这种GMV来推导出在由运动预测和补偿单元165进行的帧间预测中使用的参数，并且将推导出的参数提供给运动预测和补偿单元165。
[0120]例如，如果使用关于先前编码的偶数编号的图像的运动信息，则GMV推导单元171从第一编码单元102的运动预测和补偿单元165获得关于这种图片的运动信息，从这种运动信息推导出GMV，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或搜索区域的偏移。此外，例如，如果使用关于先前编码的奇数编号的图像的运动信息，则GMV推导单元171从第二编码单元103 (的运动预测和补偿单元165)获得关于这种图片的运动信息，从这种运动信息推导出GMV，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或搜索区域的偏移。
[0121]此时，如上面与“第三GMV推导示例”相关联地描述的，如果第二编码单元103对从其获得运动信息的奇数编号的图像的处理正在进行，则GMV推导单元171获得关于这种图片的编码完成的一部分(例如，该图片的上半部分)的运动信息，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或者搜索区域的偏移。
[0122]此外，如上面与“第三GMV推导示例”相关联地示出的，在GMV推导单元171中，如果需要的话，也可以使用关于编码完成并且接近参考距离的整个图片(即，接近参考距离的图片当中的第二或此后最接近当前图片的图片)的运动信息。例如，通过执行参照图7B示出的算术运算，GMV推导单元171可以不仅使用GMV_t (O)而且使用GMV_t(l)或GMV_b(l)来推导出搜索区域的偏移。
[0123]运动预测和补偿单元165使用由GMV推导单元171推导出的参数(用于推测执行点的开始点或者搜索区域的偏移)来执行帧间预测，并且产生预测图像。而且，运动预测和补偿单元165根据第二编码单元103的(GMV推导单元171的)请求来提供关于完成处理的图片的运动信息。
[0124]在以这样的方式进行时，第一编码单元102可以抑制GMV精度的下降，并且可以抑制由于图像编码的编码而导致的图像质量的下降。
[0125]第二编码单元
[0126]而且，除了对奇数编号的图像而不是偶数编号的图像进行编码以外，第二编码单元103是与第一编码单元102相同的处理单元，因此，第二编码单元103执行与第一编码单元102相同的处理。基本上，第二编码单元103具有与第一编码单元102相同的配置(参照图9)。因此，在描述第二编码单元103时可以参照图9。
[0127]例如，即使在第二编码单元103的情况下，GMV推导单元171也使用关于比作为处理目标的当前图片更早编码的图片的运动信息来推导出GMV，使用这种GMV来推导出在由第二编码单元103的运动预测和补偿单元165进行的帧间预测中使用的参数，并且将推导出的参数提供给第二编码单元103的运动预测和补偿单元165。
[0128]例如，如在第二编码单元103的情况下一样，如果使用关于先前编码的偶数编号的图像的运动信息，则GMV推导单元171从第一编码单元102的运动预测和补偿单元165获得关于这种图片的运动信息，从这种运动信息推导出GMV，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或搜索区域的偏移。此外，例如，如果使用关于过去编码的奇数编号的图像的运动信息，则GMV推导单元171从第二编码单元103的运动预测和补偿单元165获得关于这种图片的运动信息，从这种运动信息推导出GMV，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或搜索区域的偏移。
[0129]此时，如上面与“第三GMV推导示例”相关联地描述的，如果第一编码单元102对从其获得运动信息的偶数编号的图像的处理正在进行，则GMV推导单元171获得关于这种图片的编码完成的一部分(例如，该图片的上半部分)的运动信息，并且使用这种GMV来推导出用于帧间预测的推测执行点的开始点或者搜索区域的偏移。
[0130]此外，如上面与“第三GMV推导示例”相关联地示出的，在GMV推导单元171中，如果需要的话，也可以使用关于编码完成并且接近参考距离的整个图片(即，接近参考距离的图片当中的第二或此后最接近当前图片的图片)的运动信息。例如，通过执行参照图7B示出的算术运算，GMV推导单元171可以不仅使用GMV_t (O)而且使用GMV_t(l)或GMV_b(l)来推导出搜索区域的偏移。
[0131]第二编码单元103的运动预测和补偿单元165使用由第二编码单元103的GMV推导单元171推导出的参数(用于推测执行点的开始点或者搜索区域的偏移)来执行帧间预测，并且产生预测图像。而且，第二编码单元103的运动预测和补偿单元165根据第一编码单元102的GMV推导单元171的请求来提供关于完成处理的图片的运动信息。
[0132]在以这样的方式进行时，第二编码单元103可以抑制GMV精度的下降，并且可以抑制由于图像编码的编码而导致的图像质量的下降。因为第一编码单元102和第二编码单元103可以用这种方式来抑制GMV精度的下降，所以图像编码装置100可以抑制由于图像的编码而导致的图像质量的下降。
[0133]处理的流程
[0134]接下来，描述由图像编码装置100执行的处理的流程。
[0135]并行编码处理的流程
[0136]参照图10中的流程图来描述由图像编码装置100执行的并行编码处理的流程的示例。
[0137]在步骤SlOl中，图像编码装置100的图像分割单元101将输入图像的每个图片顺序地分割成偶数编号的图像和奇数编号的图像。对偶数编号的图像执行步骤S102至S108中的处理操作。对奇数编号的图像执行步骤S109至S115中的处理操作。对偶数编号的图像执行的步骤S102至S108中的处理操作和对奇数编号的图像执行的步骤S109至S115中的处理操作可以相互并行地执行。
[0138]在步骤S102中，第一编码单元102的A/D转换单元151对输入的偶数编号的图像执行A/D转换。在步骤S103中，第一编码单元102的图像重排缓冲器152存储执行了 A/D转换的图像，并且，如果需要的话，以使得图片被显示的顺序改变为图片被编码的顺序的方式对图片进行重排。
[0139]在步骤S104中，第一编码单元102的GMV推导单元171对当前图片的上半部分执行推导GMV的GMV推导处理。在步骤S105中，第一编码单元102对当前图片的上半部分执行编码。
[0140]在步骤S106中，第一编码单元102的GMV推导单元171对当前图片的下半部分执行推导GMV的GMV推导处理。在步骤S107中，第一编码单元102对当前图片的下半部分执行编码。
[0141]在步骤S108中，第一编码单元102确定属于偶数编号的图像组的所有图片(即，所有偶数编号的图像)是否都被处理了。如果确定存在尚未处理的图片，则处理返回到步骤S102。第一编码单元102对每个图片执行步骤S102至S108中的处理操作。然后，在步骤S108中，如果确定所有图片都被处理了，则处理前进到步骤S116。
[0142]此外，在步骤S109中，第二编码单元103的A/D转换单元151对输入的奇数编号的图像执行A/D转换。在步骤SllO中，第二编码单元103的图像重排缓冲器152存储执行了 A/D转换的图像，并且，如果需要的话，以使得图片被显示的顺序改变为图片被编码的顺序的方式对图片进行重排。
[0143]在步骤Slll中，第二编码单元103的GMV推导单元171对当前图片的上半部分执行推导GMV的GMV推导处理。在步骤S112中，第二编码单元103对当前图片的上半部分执行编码。
[0144]在步骤S113中，第二编码单元103的GMV推导单元171对当前图片的下半部分执行推导GMV的GMV推导处理。在步骤S114中，第二编码单元103对当前图片的下半部分执行编码。
[0145]在步骤S115中，第二编码单元103确定属于奇数编号的图像组的所有图片(即，所有奇数编号的图像)是否都被处理了。如果确定存在尚未处理的图片，则处理返回到步骤S109。第二编码单元103对每个图片执行步骤S109至S115中的处理操作。然后，在步骤S115中，如果确定所有的图片都被处理了，则处理前进到步骤S116。
[0146]在步骤SI 16中，流合成单元104将通过步骤S102到S108中的处理操作产生的第一流和通过步骤S109至S115中的处理操作产生的第二流合成，并且产生输出流。而且，流合成单元104可以顺序地合成所供应的每个图片的流。基本上，步骤S116中的处理可以与重复地执行的步骤S102至S108中的处理操作和步骤S109和SI 15中的处理操作并行地执行。
[0147]当第一流和第二流全部被合成并且完成了步骤S116中的处理时，并行编码处理完成了。
[0148]上半部分的GMV推导处理的流程
[0149]接下来，参照图11中的流程图来描述在图10中的步骤S104中执行的上半部分的GMV推导处理的流程的示例。如图10所示，在对当前图片开始执行编码时，执行上半部分的GMV推导处理。
[0150]当开始上半部分的GMV推导处理时，在步骤S131中，第一编码单元102的GMV推导单元171指定使用GMV(运动信息)的帧(图片)，并且确定这种图片的处理是否正在进行(由第二编码单元103进行的编码是否正在进行)。GMV推导单元171指定接近参考距离的图片当中的最接近当前图片的图片作为使用GMV(运动信息)的图片。然后，GMV推导单元171确定例如这种图片是否为紧邻的前一个图片、以及由第二编码单元103对这种图片进行的编码是否正在进行。如果确定处理正在进行，则处理前进到步骤S132。而且，图片的处理是否正在进行的确定并不限于基于指示处理实际上是否正在进行的信息，并且该确定可以通过使用关于在处理目标图片之前的图片(参考图片或非参考图片)的信息来估计处理正在进行来进行。
[0151]在步骤S132中，使用关于处理正在进行的这种图片的上半部分的运动信息(或者关于这种图片的上半部分的GMV_t (O))，GMV推导单元171执行例如图7B中示出的算术运算，并且针对当前图片的上半部分推导出用于帧间预测的推测执行点(SpeCUlative_gmv_t)的开始点。
[0152]在步骤S133中，例如，GMV推导单元171执行图7A和图7B中示出的算术运算，并且针对整个当前图片推导出巾贞间预测的搜索区域偏移(search_area_offset)。这通过如下来进行:除了关于正在进行处理的这种图片的上半部分的运动信息(或者，关于这种图片的上半部分的GMV_t(0))以外，还使用关于接近参考距离的图片当中的正在进行处理的图片之前的整个图片的运动信息(或者，关于整个图片的GMV⑴)，或者使用关于上半部分的运动信息(或者，关于上半部分的GMV_t(l))和关于下半部分的运动信息(或者，关于下半部分的 GMV_b(l))。
[0153]当步骤S133中的处理完成时，对上半部分的GMV推导处理完成了，并且该处理返回到图10中的流程图。此外，在步骤S131中，如果确定使用GMV(运动信息)的图片的处理没有正在进行，则该处理前进到步骤S134。
[0154]在步骤S134中，使用关于处理完成的这种图片的上半部分的运动信息(或者关于这种图片的上半部分的GMV_t(0))，GMV推导单元171执行例如图6B中示出的算术操作，并且针对当前图片的上半部分推导出用于帧间预测的推测执行点(SpeCUlative_gmv_t)的开始点。
[0155]在步骤S135中，GMV推导单元171执行例如图6B中示出的算术运算，并且针对整个当前图片推导出巾贞间预测的搜索区域偏移(search_area_offset)。这使用关于处理完成的整个图片的运动信息(或者关于整个图片的GMV(O))、或者使用关于上半部分的运动信息(或者关于上半部分的GMV_t(0))和关于下半部分的运动信息(或者关于下半部分的GMV_b (O))来进行。
[0156]当步骤S135中的处理完成时，对上半部分的GMV推导处理完成了，并且该处理返回到图10中的流程图。
[0157]而且，在图10中的步骤Slll中，第二编码单元103的GMV推导单元171以与图11中的流程图中的方式相同的方式来执行上半部分的GMV推测处理。
[0158]上半部分的编码处理的流程
[0159]接下来，参照图12中的流程图来描述在图10中的步骤S105中执行的当前图片的编码处理的流程的示例。
[0160]在编码处理开始时，在步骤S151中，帧内预测单元164在帧内预测模式中执行帧内预测处理。在步骤S152中，运动预测和补偿单元165在帧间预测模式中执行帧间运动预测处理，该帧间运动预测处理执行运动预测或运动补偿。在帧间预测时，运动预测和补偿单元165使用由GMV推导单元171推导出的GMV(用于帧间预测的推测执行点(speculative,gmv_t)的开始点)或巾贞间预测的搜索区域偏移(search_area_offset)。
[0161]在步骤S153中，预测图像选择单元166基于从帧内预测单元164以及运动预测和补偿单元165输出的每个成本函数值来确定最佳预测模式。基本上，预测图像选择单元166选择由帧内预测单元164产生的预测图像或者由运动预测和补偿单元165产生的预测图像中的任一个。
[0162]在步骤S154中，算术运算单元153执行算术运算以获得重排的图像和通过步骤S153中的处理选择的预测图像之间的差。与原始的图像数据相比，在数据量方面减少了差数据。因此，与原样地对图像进行编码的情况相比，可以压缩数据量。
[0163]在步骤S155中，正交变换单元154对通过步骤S154中的处理产生的差信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S156中，量化单元155对通过步骤S155中的处理获得的正交变换系数执行量化。
[0164]如下地对通过步骤S156中的处理量化的差信息进行局部解码。也就是说，在步骤S157中，逆量化单元158使用与步骤S156中的量化相对应的方法，对通过步骤S156中的处理量化的正交变换系数进行逆量化。在步骤S158中，逆正交变换单元159使用与在步骤S155中的处理相对应的方法，对通过步骤S157中的处理获得的正交变换系数执行逆正交变换。
[0165]在步骤S159中，算术运算单元160将预测图像与局部解码的差信息相加，并且产生局部解码的图像(与算术运算单元153的输入相对应的图像)。在步骤S160中，去块滤波器161对通过步骤S159中的处理产生的图像执行去块滤波处理。通过这样做，去除了块畸变。
[0166]在步骤S161中，帧存储器162存储通过步骤S160中的处理对其执行块畸变等的图像。此外，没有由去块滤波器161执行滤波处理的图像从算术运算单元160供应到帧存储器162，并被存储在帧存储器162中。存储在帧存储器162中的图像用于步骤S151中的处理或步骤S152中的处理。
[0167]在步骤S162中，可逆编码单元156对通过步骤S156中的处理量化的变换系数进行编码并且产生编码数据。也就是说，对差图像(在帧间预测的情况下，第二差图像)执行诸如可变长度编码或算术编码的可逆编码。
[0168]而且，可逆编码单元156对与通过步骤S153中的处理选择的预测图像的预测模式有关的信息进行解码，并且将其与通过对差图像进行编码而获得的编码数据相加。例如，如果选择了帧内预测模式，则可逆编码单元156对帧内预测模式信息进行编码。此外，例如，如果选择了帧间预测模式，则可逆编码单元156对帧间预测模式信息进行编码。例如，这种信息作为头部信息等与编码数据相加(多路复用)。
[0169]在步骤S163中，累积缓冲器157对通过步骤S162中的处理产生的编码数据进行累积。在累积缓冲器157中累积的编码数据被适当地读取，并且通过任意的传输路径(不仅包括通信路径而且包括存储介质等)发送到解码侧的装置。
[0170]在步骤S164中，速率控制单元167基于通过步骤S163中的处理在累积缓冲器157中累积的压缩数据，以使得不会发生上溢或下溢的方式控制由量化单元155进行的量化操作的速率。
[0171]当在步骤S164中完成处理时，编码处理完成，并且该处理返回到图10中的流程图。第一编码单元102通过执行上述的编码处理对当前图片的上半部分执行编码处理。
[0172]而且，在图10中的步骤S112中，第二编码单元103以与图12中的步骤相同的方式执行编码处理。
[0173]下半部分的GMV推导处理的流程
[0174]接下来，参照图13中的流程图来描述在图10中的步骤S106中执行的下半部分的GMV推导处理的流程的示例。如图10所示，在对当前图片的上半部分执行的编码完成之后，执行对下半部分的GMV推导处理。
[0175]当对下半部分的GMV推导处理开始时，在步骤S181中，第一编码单元102的GMV推导单元171例如执行图7B中示出的算术运算，并且针对当前图片的下半部分推导出用于中贞间预测的推测执行点(speculative_gmv_t)的开始点。这通过指定使用GMV (运动信息)的帧(图片)并且使用关于这种图片的下半部分的运动信息(或者，关于这种图片的下半部分的GMV_b(0))来进行。
[0176]当步骤S181中的处理完成时，对下半部分的GMV推导处理完成，并且该处理返回到图10中的步骤。
[0177]而且，在图10中的步骤S113中，第二编码单元103的GMV推导单元171以与图13中的步骤中的方式相同的方式来执行下半部分的GMV推测处理。
[0178]下半部分的编码处理的流程
[0179]而且，在图10中的步骤S107中，第一编码单元102以与图12中的步骤相同的方式对当前图片的下半部分执行编码处理。此外，在图10中的步骤S114中，第二编码单元103以与图12中的步骤相同的方式对当前图片的下半部分执行编码处理。
[0180]通过执行上述的每个处理，图像编码装置100可以进一步抑制图像质量的下降。
[0181]其它方面
[0182]图像分割单元101在上面被描述为将输入图像分配为两种布置，S卩，偶数编号的图像和奇数编号的图像，并且第一编码单元102和第二编码单元103分别被描述为对这两种布置中的图像进行编码。但是，图像编码装置100可以具有可相互并行地执行处理的任意数量的编码单元。基本上，图像分割单元101可以将第一布置中的输入图像分割成任意数量的布置。
[0183]此外，输入图像中的参考图片和非参考图片的配置是任意的，并且不限于图6A和图6B或者图7A和图7B中的示例。此外，正在进行处理的图片的处理完成的部分(由GMV推导单元使用关于这种部分的运动信息)是任意的，并且取决于参考图片、非参考图片或者编码单元的数量(图像分割单元101将输入图像分割成的布置的数量)等的配置。
[0184]另外，用于推导出用于帧间预测的推测执行点的开始点或者搜索区域偏移的方法不限于图6A和图6B或者图7A和图7B中的示例，并且是任意的。
[0185]3.第二实施例
[0186]计算机
[0187]上述的系列处理操作可以以硬件来执行或者可以以软件来执行。在这种情况下，例如，系列处理操作可以以在图14中示出的计算机中执行的方式来配置。
[0188]在图14中，计算机900的中央处理单元(CPU)901根据在只读存储器(R0M)902中存储的程序或者从存储单元913加载到随机存取存储器(RAM)903的程序来执行各种处理操作。CPU901为执行各种处理操作所需的数据等也被适当地存储在RAM903中。
[0189]CPU901、R0M902和RAM903通过总线904相互连接。输入/输出接口 910也连接到总线904。
[0190]输入单元911、输出单元912、存储单元913和通信单元914连接到输入/输出接口 910。输入单元911由键盘、鼠标、触摸面板和输入终端构成。输出单元912由诸如阴极射线管(CRT)、液晶显示器(LCD)或有机电致发光显示器(OLED)的显示器，诸如扬声器或输出终端的任意的输出装置等构成。存储单元913由诸如硬盘或闪存的任意的存储介质、控制这种存储介质的输入和输出的控制单元等构成。通信单元914由诸如调制解调器、LAN接口、通用串行总线(USB)和蓝牙(Bluetooth，注册商标)装置的任意的有线或无线通信装置构成。例如，通信单元914执行通过包括因特网的网络与其它通信装置通信的处理。
[0191]在需要的时候，驱动器915连接到输入/输出接口 910。诸如磁盘、光盘或磁光盘或半导体存储器的可移动介质921适当地安装在驱动器915中。例如，驱动器915在CPU901的控制下从安装在驱动器915中的可移动介质921读取计算机程序、数据等。例如，读取的数据或计算机程序被供应到RAM903。此外，如果需要的话，在存储单元913中安装从可移动介质921读取的计算机程序。
[0192]如果上述的系列处理操作以软件来执行，则从网络或记录介质安装提供这种软件的主体的程序。
[0193]如图14所示，例如，记录介质可以不仅由可移动介质921构成，还可以由在存储单元913中包括的R0M902或硬盘构成。可移动介质921由磁盘(包括软盘)、光盘(包括压缩盘-只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、半导体存储器等构成，其中的每个被分发用于将程序传送到与设备的主体分开的用户并且其上存储有程序。其上存储有程序的R0M902在被预先内置于设备的主体中的状态下被传送到用户。
[0194]而且，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列执行处理的程序，或者可以是在需要的定时(例如，在执行调用时)并行地执行处理的程序。
[0195]此外，在本说明书中，描述存储在记录介质上的程序的步骤不仅包括根据描述的顺序以时间序列执行的处理，而且包括即使不必以时间序列执行处理也并行地或各自地执行的处理。
[0196]4.第三实施例
[0197]成像设备
[0198]例如，根据实施例的上述的图像编码装置100可以被应用于各种电子设备，例如，发送器或接收器、记录设备或再现设备。发送器或接收器用在通过卫星广播、诸如有线TV的有线广播和因特网的传送中、用在通过蜂窝通信到终端的传送中等。记录装置在诸如光盘、磁盘、柔性存储器等的介质上记录图像。再现设备从记录介质再现图像。
[0199]图15示出应用上述实施例的成像设备的概略配置的一个示例。成像设备960对被摄体进行成像，产生被摄体的图像，对图像上的图像数据进行编码，并且将编码的图像数据存储在记录介质中。
[0200]成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元
964、显示单元965、外部接口(I/F)单元966、存储器967、介质驱动器968、0SD969、控制单元970、用户接口 (I/F)单元971和总线972。
[0201]光学块961与成像单元962连接。成像单元962与信号处理单元963连接。显示单元965与图像处理单元964连接。用户接口单元971与控制单元970连接。总线972提供图像处理单元964、外部接口单元966、存储器967、介质驱动器968、0SD969和控制单元970之间的连接。
[0202]光学块961具有聚焦透镜、光阑机构等。光学块961使得被摄体的光学图像被成像到成像单元962的成像表面上。成像单元962具有诸如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将在成像表面上成像的光学图像转换为作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。
[0203]信号处理单元963对从成像单元962输入的图像信号执行各种照相机信号处理操作，例如，拐点校正(KNEE correct1n)、伽马校正和颜色校正。信号处理单元963将通过照相机信号处理的图像数据输出到图像处理单元964。
[0204]图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且产生编码数据。然后，图像处理单元964将产生的编码数据输出到外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码，并且产生图像数据。然后，图像处理单元964将产生的图像数据输出到显示单元
965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965并在显示单元965上显示图像。此外，图像处理单元964可以将从0SD969获得的显示数据输出到显示单元965并将显示数据叠加到图像上。
[0205]例如，0SD969产生诸如菜单、按钮或光标的⑶I图像，并且将产生的图像输出到图像处理单元964。
[0206]例如，外部接口单元966被配置为USB输入/输出端子。例如，在打印图像时，夕卜部接口单元966与成像设备960和打印机连接。此外，在需要的时候，驱动器与外部接口单元966连接。例如，诸如磁盘或光盘的可移动介质被安装在驱动器中，并且从可移动介质读取的程序可以被安装在成像设备960中。另外，外部接口单元966可以被构造为网络接口，该网络接口与诸如LAN或因特网的网络连接。也就是说，外部接口单元966起到成像设备960中的发送单元的作用。
[0207]例如，在介质驱动器968中安装的记录介质可以是任意的可读可写的可移动介质，例如，磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以被固定地安装在介质驱动器968中。例如，非便携式存储单元可以被构造为诸如内置的硬盘驱动器或固态驱动器(SSD)。
[0208]控制单元970具有诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在启动成像设备960时，CPU读取和执行在存储器中存储的程序。例如，通过执行该程序，CPU根据从用户接口单元971输入的操作信号来控制成像设备960的操作。
[0209]用户接口单元971与控制单元970连接。例如，用户接口单元971具有用户用来操作成像设备960的按钮和开关。用户接口单元971通过这种组成元件来检测用户的操作，由此产生操作信号并将产生的操作信号输出到控制单元970。
[0210]在具有这种配置的成像设备960中，图像处理单元964具有与根据实施例的上述的图像编码装置100 (参照图8)相同的功能。因此，可以抑制成像设备960中的由于图像的编码而导致的图像质量的下降。
[0211]而且，在本说明书中，系统是指由多个装置构成的整个系统。
[0212]此外，上述的具有一个装置(或处理单元)的配置可以被改变为具有多个装置(或处理单元)的配置。相反，上述的具有多个装置(或处理单元)的配置可以被改变为具有一个装置(或处理单元)的配置。此外，当然，除了上述的配置以外的配置可以被添加到每个装置(或每个处理单元)的配置。而且，当配置和操作基本上与整个系统相同时，某一装置(或某一处理单元)的配置的一部分可以被包括在另一个装置(或另一个处理单元)的配置中。基本上，本技术的实施例不限于上述的实施例，并且可以在不脱离本技术的主旨的范围内进行各种修改。
[0213]此外，本技术也可以具有下述配置。
[0214](I) 一种图像处理装置，包括:分割单元，将图像数据的每个图片分割成多种布置；多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而得到的布置中的流，其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0215](2)根据(I)和(3)至(16)中的任何一项的图像处理装置，其中，如果与GMV的参考距离最接近的图片当中的与当前图片最接近的图片的处理正在不同的编码单元中进行，则编码单元从关于正在进行处理的图片的完成了处理的部分的运动信息推导出第一 GMV。
[0216](3)根据(I)、⑵和(4)至(16)中的任何一项的图像处理装置，其中，如果与第一 GMV相对应的图片的处理在用于开始当前图片的编码的时间点处正在进行，则编码单元从关于完成了处理的部分的运动信息推导出第一 GMV。
[0217](4)根据⑴至(3)和(5)至(16)中的任何一项的图像处理装置，其中，编码单元使用第一 GMV来推导出帧间预测的搜索区域偏移。
[0218](5)根据⑴至(4)和(6)至(16)中的任何一项的图像处理装置，其中，编码单元使用从关于图像数据中的与第一 GMV对应的图片之前的整个图片的运动信息推导出的GMV来推导出搜索区域偏移，图像数据中的与第一 GMV对应的图片之前的整个图片存在于正被分割单元分割的图片之前，并且图像数据中的与第一 GMV对应的图片之前的整个图片的编码在该编码单元自身或者不同的编码单元中完成。
[0219](6)根据⑴至(5)和(7)至(16)中的任何一项的图像处理装置，其中，编码单元使用第二 GMV和第三GMV两者作为从关于整个图片的运动信息推导出的GMV来推导出搜索区域偏移，第二 GMV是从关于与完成了编码的对应于第一 GMV的图片的完成了处理的部分对应的部分的运动信息推导出的，第三GMV是从关于与完成了编码的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的。
[0220](7)根据⑴至(6)和⑶至(16)中的任何一项的图像处理装置，其中，编码单元通过将第一 GMV和第二 GMV之间的差与第二 GMV和第三GMV的平均值相加来推导出搜索区域偏移。
[0221](8)根据⑴至(7)和(9)至(16)中的任何一项的图像处理装置，其中，分割单元将图像数据的图片分割成两种布置，即，偶数编号的图片布置和奇数编号的图片布置，其中，每个编码单元在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码，其中，在进行编码时，每个编码单元从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一 GMV，以及每个编码单元从关于存在于正被分割单元分割的图片之前并且在编码单元自身和不同的编码单元中完成了编码的、在图像数据中的与第一GMV对应的图片之前的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV，其中，每个编码单元使用第一 GMV至第三GMV来推导出当前图片的搜索区域偏移，并使用推导出的搜索区域偏移来执行帧间预测，以及其中，合成单元合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流,并且产生输出流。
[0222](9)根据⑴至⑶和(10)至(16)中的任何一项的图像处理装置，其中，编码单元从关于在开始当前图片的编码时正在进行处理并且比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，以及编码单元从关于在开始当前图片的编码时完成了处理并且比当前图片先前两个或更多个图片的图片的上半部分的运动信息推导出第二GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV。
[0223](10)根据⑴至(9)和(11)至(16)中的任何一项的图像处理装置，其中，编码单元从关于比当前图片先前三个图片的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV。
[0224](11)根据⑴至(10)和(12)至(16)中的任何一项的图像处理装置，其中，编码单元使用第一 GMV推导出当前图片的第一开始点，该第一开始点是用于与对应于第一 GMV的图片的完成了处理的部分对应的部分的帧间预测的推测执行点的开始点。
[0225](12)根据⑴至(11)和(13)至(16)中的任何一项的图像处理装置，其中，编码单元将第一 GMV设置为第一开始点。
[0226](13)根据(I)至(12)和(14)至(16)中的任何一项的图像处理装置，其中，在处理当前图片的与对应于第一 GMV的图片的完成了处理的部分对应的部分之后，使用从关于与对应于第一 GMV的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的第二 GMV，编码单元推导出当前图片的第二开始点，该第二开始点是用于与对应于第一 GMV的图片的不同的部分对应的部分的帧间预测的推测执行点的开始点。
[0227](14)根据⑴至(13)、(15)至(16)中的任何一项的图像处理装置，其中，编码单元将第二 GMV设置为第二开始点。
[0228](15)根据⑴至(14)和(16)中的任何一项的图像处理装置，其中，分割单元将图像数据的图片分割成两种布置，即，偶数编号的图片布置和奇数编号的图片布置，其中，每个编码单元在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码，其中，在对当前图片开始编码处理时，每个编码单元从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一 GMV，使用第一 GMV推导出第一开始点，使用第一开始点对当前图片的上半部分执行帧间预测，在处理上半部分之后从关于对应于第一 GMV的图片的完成了处理的下半部分的运动信息推导出第二 GMV，使用第一 GMV推导出第二开始点，并且使用第二开始点对当前图片的下半部分执行帧间预测，以及其中，合成单元合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流，并且产生输出流。
[0229](16)根据(I)至(15)中的任何一项的图像处理装置，其中，编码单元从关于比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，并且从关于该图片的下半部分的运动信息推导出第二 GMV。
[0230](17) 一种图像处理方法，包括:将图像数据的每个图片分割成多种布置；对从分割得到的每种布置中的图片进行编码；在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及合成通过对每个图片进行编码获得的布置中的流。
[0231](18) 一种程序，用于使得计算机执行:将图像数据的每个图片分割成多种布置；对从分割得到的每种布置中的图片进行编码；在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及
[0232]合成通过对每个图片进行编码获得的布置中的流。
[0233](19) 一种成像设备，包括:成像单元，对被摄体进行成像；分割单元，将通过成像单元对被摄体进行成像而得到的图像数据的每个图片分成多种布置；多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，将通过所述多个编码单元中的每个对每个图片进行编码而得到的布置中的流合成，其中，在对当前的图片进行编码时，编码单元使用在图像数据中的当前图片之前的图片的从关于其处理完成的一部分的运动信息推导出的第一全局运动向量(GMV)来执行帧间预测，该图像数据在由分割单元进行分割之前存在，并且其处理在不同的编码单元中正进行。
[0234](19) 一种成像设备，包括:成像单元，对被摄体进行成像；分割单元，将通过成像单元对被摄体进行成像而获得的图像数据的每个图片分割成多种布置；多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而获得的布置中的流，其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
[0235]本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。
【权利要求】
1.一种图像处理装置，包括: 分割单元，将图像数据的每个图片分割成多种布置； 多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及 合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而得到的布置中的流， 其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
2.根据权利要求1所述的图像处理装置， 其中，如果与GMV的参考距离最接近的图片当中的与当前图片最接近的图片的处理正在不同的编码单元中进行，则编码单元从关于正在进行处理的图片的完成了处理的部分的运动信息推导出第一 GMV。
3.根据权利要求2所述的图像处理装置， 其中，如果与第一 GMV相对应的图片的处理在用于开始当前图片的编码的时间点处正在进行，则编码单元从关于完成了处理的部分的运动信息推导出第一 GMV。
4.根据权利要求1所述的图像处理装置， 其中，编码单元使用第一 GMV来推导出帧间预测的搜索区域偏移。
5.根据权利要求4所述的图像处理装置， 其中，编码单元使用从关于图像数据中的与第一 GMV对应的图片之前的整个图片的运动信息推导出的GMV来推导出搜索区域偏移，图像数据中的与第一 GMV对应的图片之前的整个图片存在于正被分割单元分割的图片之前，并且图像数据中的与第一 GMV对应的图片之前的整个图片的编码在该编码单元自身或者不同的编码单元中完成。
6.根据权利要求5所述的图像处理装置， 其中，编码单元使用第二 GMV和第三GMV两者作为从关于整个图片的运动信息推导出的GMV来推导出搜索区域偏移，第二 GMV是从关于与完成了编码的对应于第一 GMV的图片的完成了处理的部分对应的部分的运动信息推导出的，第三GMV是从关于与完成了编码的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的。
7.根据权利要求6所述的图像处理装置， 其中，编码单元通过将第一 GMV和第二 GMV之间的差与第二 GMV和第三GMV的平均值相加来推导出搜索区域偏移。
8.根据权利要求7所述的图像处理装置， 其中，分割单元将图像数据的图片分割成两种布置，即，偶数编号的图片布置和奇数编号的图片布置， 其中，每个编码单元在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码， 其中，在进行编码时，每个编码单元从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一 GMV，以及每个编码单元从关于存在于正被分割单元分割的图片之前并且在编码单元自身和不同的编码单元中完成了编码的、在图像数据中的与第一 GMV对应的图片之前的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV， 其中，每个编码单元使用第一 GMV至第三GMV来推导出当前图片的搜索区域偏移，并使用推导出的搜索区域偏移来执行帧间预测，以及 其中，合成单元合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流，并且产生输出流。
9.根据权利要求8所述的图像处理装置， 其中，编码单元从关于在开始当前图片的编码时正在进行处理并且比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，以及编码单元从关于在开始当前图片的编码时完成了处理并且比当前图片先前两个或更多个图片的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV。
10.根据权利要求9所述的图像处理装置， 其中，编码单元从关于比当前图片先前三个图片的图片的上半部分的运动信息推导出第二 GMV，并且从关于该图片的下半部分的运动信息推导出第三GMV。
11.根据权利要求1所述的图像处理装置， 其中，编码单元使用第一 GMV推导出当前图片的第一开始点，该第一开始点是用于与对应于第一 GMV的图片的完成了处理的部分对应的部分的帧间预测的推测执行点的开始点。
12.根据权利要求11所述的图像处理装置， 其中，编码单元将第一 GMV设置为第一开始点。
13.根据权利要求11所述的图像处理装置， 其中，在处理当前图片的与对应于第一 GMV的图片的完成了处理的部分对应的部分之后，使用从关于与对应于第一 GMV的图片的完成了处理的部分对应的部分不同的部分的运动信息推导出的第二 GMV，编码单元推导出当前图片的第二开始点，该第二开始点是用于与对应于第一 GMV的图片的不同的部分对应的部分的帧间预测的推测执行点的开始点。
14.根据权利要求13所述的图像处理装置， 其中，编码单元将第二 GMV设置为第二开始点。
15.根据权利要求13所述的图像处理装置， 其中，分割单元将图像数据的图片分割成两种布置，即，偶数编号的图片布置和奇数编号的图片布置， 其中，每个编码单元在两个图片的垂直同步周期期间对与编码单元自身对应的布置中的每个图片进行编码， 其中，在对当前图片开始编码处理时，每个编码单元从关于存在于正被分割单元分割的图片之前并且正在不同的编码单元中进行处理的、在图像数据中的当前图片之前的图片的上半部分的运动信息推导出第一 GMV，使用第一 GMV推导出第一开始点，使用第一开始点对当前图片的上半部分执行帧间预测，在处理上半部分之后从关于对应于第一 GMV的图片的完成了处理的下半部分的运动信息推导出第二 GMV，使用第一 GMV推导出第二开始点，并且使用第二开始点对当前图片的下半部分执行帧间预测，以及 其中，合成单元合成由每个编码单元产生的偶数编号的图片布置中的流和奇数编号的图片布置中的流，并且产生输出流。
16.根据权利要求15所述的图像处理装置， 其中，编码单元从关于比当前图片先前一个图片的图片的上半部分的运动信息推导出第一 GMV，并且从关于该图片的下半部分的运动信息推导出第二 GMV。
17.—种图像处理方法,包括: 将图像数据的每个图片分割成多种布置； 对从分割得到的每种布置中的图片进行编码； 在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及 合成通过对每个图片进行编码获得的布置中的流。
18.—种程序，用于使得计算机执行: 将图像数据的每个图片分割成多种布置； 对从分割得到的每种布置中的图片进行编码； 在对每个图片进行编码时，使用第一全局运动向量GMV对当前图片执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行；以及 合成通过对每个图片进行编码获得的布置中的流。
19.一种成像设备，包括: 成像单元，对被摄体进行成像； 分割单元，将通过成像单元对被摄体进行成像而获得的图像数据的每个图片分割成多种布置； 多个编码单元，所述多个编码单元中的每个对从由分割单元进行的分割得到的相互不同的布置中的图片进行编码；以及 合成单元，合成通过所述多个编码单元中的每个对每个图片进行编码而获得的布置中的流， 其中，在对当前图片进行编码时，编码单元使用第一全局运动向量GMV执行帧间预测，所述第一全局运动向量GMV是从关于在图像数据中的当前图片之前的图片的完成了处理的部分的运动信息推导出的，在图像数据中的当前图片之前的图片存在于正被分割单元分割的图片之前，并且在图像数据中的当前图片之前的图片的处理正在不同的编码单元中进行。
【文档编号】H04N19/436GK104244005SQ201410242746
【公开日】2014年12月24日 申请日期:2014年6月4日 优先权日:2013年6月11日
【发明者】小鹰直彦 申请人:索尼公司