本发明涉及发送装置、发送方法、接收装置以及接收方法，并且更具体地，涉及发送高帧速率运动图像数据的发送装置等。
背景技术：
：：近年来，已知使用高速帧快门执行高帧速率拍摄的相机。例如，当正常帧速率是60fps、50fps等时，高帧速率是正常帧速率的数倍或数十倍，或者甚至数百倍。在执行高帧速率服务的情况下，可以考虑将由相机利用高速帧快门拍摄的运动图像数据转换成频率低于运动图像数据的运动图像序列，以传输运动图像序列。然而，高速帧快门的图像具有减少运动模糊并实现高清晰度图像质量的效果，而且还具有在接收和再现侧的传统帧插值技术中导致图像质量问题的因素。在使用利用高速帧快门拍摄的高清晰度图像的帧插值中，在运动矢量搜索合适的情况与运动矢量搜索不合适的情况之间的差异增大。出于这个原因，这两种情况之间的差异变成显着的图像质量劣化并显示。在帧插值中，为了提高运动矢量搜索的精度，需要高负荷算术运算，但高负荷算术运算影响接收机成本。申请人先前已经设计了一种技术，该技术对用高速帧快门拍摄的图像的材料执行转换，并且利用执行正常帧速率解码的传统接收机，以高于一定水平的图像质量进行显示(参见专利文献1)。引用列表专利文献专利文献1：wo2015/076277a技术实现要素：本发明要解决的问题本技术的目的在于满意地传输高帧速率图像数据。解决问题的方案本技术的概念是一种发送装置，包括：图像处理单元，其在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据，并且以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率增强帧图像数据；图像编码单元，其对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，以获得基本流，并且对高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，以获得增强流；以及发送单元，其发送包括基本流和增强流的预定格式容器。在本技术中，通过图像处理单元，从预定帧速率图像数据获得基本帧速率图像数据和高帧速率增强帧图像数据。在预定帧速率图像数据中以两个时间上连续的图像为单位执行混合处理，由此获得基本帧速率图像数据。以两个时间上连续的图片为单位提取一个图片的图像数据，从而获得高帧速率增强帧图像数据。通过图像编码单元，对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，获得基本流，并且对高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，获得增强流。然后，通过发送单元，发送包括基本流和增强流的预定格式容器。如上所述，在本技术中，在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，获得基本帧速率图像数据，并且发送通过对基本帧速率图像数据执行预测编码处理所获得的基本流。因此，例如，在接收侧，在具有能够处理基本帧速率图像数据的解码能力的情况下，通过处理基本流，以获得基本帧速率图像数据，可以显示平滑图像作为运动图像，并且可以避免在显示处理中由于低负荷计算的帧插值处理而导致图像质量问题。另外，在本技术中，以两个时间上连续的图片为单位提取一个图片的图像数据，获得高帧速率增强帧图像数据，对高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，获得并传输增强流。在这种情况下，通过在预定帧速率图像数据中以两个时间上连续的图像为单位执行混合处理，来获得基本帧速率图像数据，使得预测残差减少，预测效率提高，并且增强流的信息数据量可以减少。顺便提及，在本技术中，例如，当对高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，以获得增强流时，所述图像编码单元可以将基本帧速率图像数据与用于减少预测残差的预测系数相乘。在这种情况下，可以提高预测效率，并且可以进一步减少增强流的信息数据量。另外，在本技术中，还可以包括信息定义单元，其在增强流的层和/或容器的层中定义预测系数。以这种方式定义预测系数，由此，在接收侧，可以使用所定义的预测系数，适当地执行用于增强流的解码处理。另外，本技术的另一概念是一种接收装置，包括：接收单元，其接收包括基本流和增强流的预定格式容器，其中，通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获得基本流，并且通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，来获得增强流，并且所述接收装置还包括处理单元，所述处理单元仅处理所述基本流，以获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，以获得所述预定帧速率图像数据。在本技术中，通过接收单元，接收包括基本流和增强流的预定格式容器。通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获得基本流。另外，通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，来获得增强流。通过处理单元，仅处理所述基本流，获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，获得所述预定帧速率图像数据。如上所述，在本技术中，在具有能够处理基本帧速率图像数据的解码能力的情况下，仅处理基本流，获得基本帧速率图像数据。通过在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，来获得基本帧速率图像数据。因此，可以显示平滑图像作为运动图像，并且可以避免在显示处理中由于低负荷计算的帧插值处理而导致的图像质量问题。顺便提及，在本技术中，例如，可以在增强流的层和/或容器的层中定义用于减小(抑制)预测残差的预测系数，并且当获得高帧速率增强帧图像数据时，所述处理单元可以将通过处理基本流而获得的基本帧速率图像数据乘以定义的预测系数，以构成参考图像数据。利用这种设置，可以适当地执行用于增强流的解码处理。另外，本技术的另一概念是一种发送装置，包括：图像处理单元，其在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据，并且以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率帧图像数据；图像编码单元，其对基本帧速率图像数据执行编码处理，以获得基本流，并且对高帧速率增强帧图像数据执行编码处理，以获得增强流；以及发送单元，其传输包括基本流和增强流的预定格式容器。在本技术中，通过图像处理单元，从预定帧速率图像数据获得基本帧速率图像数据和高帧速率增强帧图像数据。在预定帧速率图像数据中以两个时间上连续的图像为单位执行混合处理，由此获得基本帧速率图像数据。以两个时间上连续的图片为单位提取一个图片的图像数据，从而获得高帧速率增强帧图像数据。通过图像编码单元，对基本帧速率图像数据进行编码处理，获得基本流，对高帧速率增强帧图像数据进行编码处理，获得增强流。然后，通过发送单元，传输包括基本流和增强流的预定格式容器。如上所述，在本技术中，在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，获得基本帧速率图像数据，并且对基本帧速率图像数据执行预测编码处理，获得并传输基本流。因此，例如，在接收侧，在具有能够处理基本帧速率图像数据的解码能力的情况下，通过处理基本流，以获得基本帧速率图像数据，可以显示平滑图像作为运动图像，并且可以避免在显示处理中由于低负荷计算的帧插值处理而导致的图像质量问题。另外，本技术的另一概念是一种接收装置，包括：接收单元，其接收包括基本流和增强流的预定格式容器，其中，通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行编码处理，来获得基本流，并且通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行编码处理，来获得增强流，并且所述接收装置还包括处理单元，所述处理单元仅处理所述基本流，以获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，以获得所述预定帧速率图像数据。在本技术中，通过接收单元，接收包括基本流和增强流的预定格式容器。通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行编码处理，来获得基本流。另外，通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行编码处理，来获得增强流。通过处理单元，仅处理所述基本流，获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，获得所述预定帧速率图像数据。如上所述，在本技术中，在具有能够处理基本帧速率图像数据的解码能力的情况下，仅处理基本流，获得基本帧速率图像数据。通过在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，来获得基本帧速率图像数据。因此，可以显示平滑图像作为运动图像，并且可以避免在显示处理中由于低负荷计算的帧插值处理而导致的图像质量问题。本发明的效果根据本技术，可以令人满意地传输高帧速率图像数据。顺便提及，这里描述的效果并非是限制性的，并且可以是本公开中描述的任何效果。附图说明图1是示出作为实施例的发送/接收系统的示例配置的方框图。图2是示出帧速率转换处理的示例的示图。图3是示出发送装置的示例配置的方框图。图4是示出构成发送装置的预处理器的示例配置的方框图。图5是示出构成发送装置的预处理器的输入/输出数据与构成接收装置的后处理器之间的关系的示例的示图。图6是示出编码器的编码处理单元的示例配置的方框图。图7是示出层间预测/层间补偿电路的详细示例配置的方框图。图8是示出层预测映射sei的示例结构以及示例结构中的主要信息的细节的示图。图9是示出层预测映射描述符的示例结构以及示例结构中的主要信息的细节的示图。图10是示出传输流ts的示例配置的示图。图11是示出接收装置的示例配置(适应于高帧速率)的方框图。图12是示出解码器的解码处理单元的示例配置的方框图。图13是示出层间补偿电路的详细示例配置的方框图。图14是示出构成接收装置的后处理器的示例配置的方框图。图15是示出接收装置的示例配置(适应于正常帧速率)的方框图。图16是示出(1)不进行混合处理的情况下的预测残差的示例和(2)进行混合处理的情况下的预测残差的示例的比较示图。图17是示出在执行混合处理的情况下(1)解码器侧的层间补偿的应用示例和(2)解码器后处理(逆混合处理)的示例的示图。图18是示出(1)不进行混合处理的情况下的预测残差以及(2)进行混合处理并且不乘以预测系数的情况下的预测残差(与乘以预测系数“1”的情况相同)的比较示图。图19是示出(1)在进行混合处理并且不乘以预测系数的情况下的预测残差(与乘以预测系数“1”的情况相同)以及(2)进行混合处理并且乘以预测系数的情况下的预测残差的比较示图。图20是示出在执行混合处理并且乘以预测系数的情况下(1)解码器侧的层间补偿的应用示例和(2)解码器后处理(逆混合处理)的示例的示图。具体实施方式下面是用于实施本发明的方式的描述(该方式在下文中将被称为“实施例”)。请注意，将按以下顺序进行解释。1、实施例2、修改<1、实施例>【发送/接收系统】图1示出作为实施例的发送/接收系统10的示例配置。发送/接收系统10包括发送装置100和接收装置200。发送装置100通过广播波发送作为容器的传输流ts。传输流ts包括在本实施例中通过处理作为120fps图像数据(运动图像数据)的高帧速率图像数据而获得的基本流(基本视频流)和增强流(增强视频流)。在此处，通过对在120fps图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获得基本流。基本帧速率图像数据是60fps图像数据。另外，通过对通过以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据，适应性地执行关于基本帧速率图像数据的预测编码处理或者高帧速率增强帧图像数据的预测编码处理，来获得增强流。高帧速率增强帧图像数据是60fps图像数据。在此处，假设120fps图像数据是原始图像序列，如图2的(a)所示。在这种情况下，如图2的(c)所示，通过以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据与由原始图像序列覆盖的时间具有1(100％)的快门开口率。另外，在这种情况下，如图2的(b)所示，通过以连续的两个图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据与由原始图像序列覆盖的时间具有1/2(50％)的快门开口率。在本实施例中，当对高帧速率增强帧图像数据执行关于基本帧速率图像数据的预测编码处理，并且获得增强流时，将基本帧速率图像数据乘以用于减小预测残差的预测系数。利用这种设置，可以提高预测效率，并且可以减少增强流的信息数据量。在增强流的层和/或作为容器的传输流ts的层中，定义用于减少上述预测残差的预测系数。在本实施例中，发送装置100将定义了预测系数的sei消息插入到视频流的层中。另外，发送装置100将定义了预测系数的描述符插入到传输流ts的层中。在接收侧，使用以这种方式定义的预测系数，由此可以适当地执行用于增强流的解码处理。接收装置200从发送装置100接收通过广播波传输的上述传输流ts。在存在能够处理60fps图像数据的解码能力的情况下，接收装置200仅处理传输流ts中包括的基本流，以获得基本帧速率图像数据，并且再现图像。另一方面，在存在能够处理120fps图像数据的解码能力的情况下，接收装置200处理传输流ts中包括的基本流和增强流，以获得120fps图像数据，并且再现图像。在此处，在获得增强帧图像数据时，接收装置200将通过处理基本流所获得的60fps图像数据乘以在增强流的层和传输流ts的层中定义的用于减少预测残差的预测系数，如上所述，以构成参考图像数据。利用这种设置，可以适当地执行用于增强流的解码处理。“发送装置的配置”图3示出了发送装置100的示例配置。发送装置100包括预处理器101、编码器102、多路复用器103和发送单元104。预处理器101输入120fps的图像数据p，以输出基本帧速率图像数据qb和高帧速率增强帧图像数据qe。在此处，预处理器101在120fps图像数据p中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据qb。另外，预处理器101在120fps图像数据p中以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率增强帧图像数据qe。图4是示出预处理器101的示例配置的示图。预处理器101包括引起一个帧延迟120fps的延迟电路111、算术电路112、以及以与延迟电路111同步的60hz的锁存脉冲进行锁存的锁存电路113。120fps的图像数据p由延迟电路111延迟一个帧周期，然后以增益α输入到算术电路112。顺便提及，α＝0到1。同时，延迟电路111延迟的图像数据p之后的图像数据以增益β输入到算术电路112，而不经过延迟电路111。顺便提及，β＝1-α。在算术电路112中，延迟电路111的输出和120fps图像数据p相加在一起。在此处，当图像数据p的两个时间上连续的图片是a和b时，在延迟电路111的输出是a的定时，获得混合输出“α*a+β*b”，作为算术电路112的输出。算术电路112的输出被输入到锁存电路113。在锁存电路113中，以60hz的锁存脉冲锁存算术电路112的输出，并且在图像数据p中以两个时间上连续的图片为单位执行混合处理而获得了基本帧速率图像数据qb。另外，在锁存电路113中，用60hz锁存脉冲，锁存120fps图像数据p，并且以两个时间上连续的图片为单位，获得构成高帧速率的增强帧图像数据qe。图5的(a)和图5的(b)示意性地示出预处理器101的输入数据(图像数据p)与预处理器101的输出数据(图像数据qb和qe)之间的关系的示例。对应于图像数据p、f1、f2、f3、f4、f5、f6、f7、f8、...的每个图片的图像数据，获得图像数据qb、f1'、f3'、f5'、f7'、...的每个图片的图像数据和图像数据qe、f2、f4、f6、f8、...的每个图片的图像数据。返回参考图3，编码器102对由预处理器101获得的图像数据qb和qe执行编码处理，以生成基本流和增强流。在此处，编码器102对基本帧速率图像数据qb执行基本帧速率图像数据的预测编码处理，以获得基本流。另外，编码器102对高帧速率增强帧图像数据qe自适应地执行关于基本帧速率图像数据qb的预测编码处理或高帧速率增强帧图像数据的预测编码处理，以获得增强帧。在对高帧速率增强帧图像数据qe执行关于基本帧速率图像数据qb的预测编码处理以获得增强流时，编码器102将基本帧速率图像数据qb乘以用于减小预测残差的预测系数。图6示出了编码器102的编码处理单元的示例配置。编码器102包括分块电路121、减法电路122、运动预测/运动补偿电路123、整数变换/量化电路124、逆量化/逆整数变换电路125、加法电路126、环路滤波器127、存储器128和熵编码电路129。另外，编码器102包括分块电路131、减法电路132、运动预测/运动补偿电路133、层间预测/层间补偿电路134、切换电路135和136、整数变换/量化电路137、逆量化/逆整数变换电路138、加法电路139、环路滤波器141、存储器142和熵编码电路143。基本帧速率图像数据qb输入到分块电路121。在分块电路121中，构成图像数据qb的每个图片的图像数据以编码处理的单位分成块(宏块(mb))。块依次提供给减法电路122。在运动预测/运动补偿电路123中，基于存储在存储器128中的参考图片的图像数据，针对每个块获得运动补偿预测参考块。由运动预测/运动补偿电路123获得的每个预测参考块依次提供给减法电路122。在减法电路122中，对由分块电路121获得的每个块执行与预测参考块的减法处理，获得预测误差。每个块的预测误差经受整数变换/量化电路124的整数变换(例如，dct变换)，然后，量化。由整数变换/量化电路124获得的每个块的量化数据提供给逆量化/逆整数变换电路125。在逆量化/逆整数变换电路125中，对量化数据执行逆量化，并且进一步执行逆整数变换，并获得预测残差。预测残差提供给加法电路126。在加法电路126中，将运动补偿预测参考块与预测残差相加，并且获得块。在由环路滤波器127减小量化噪声之后，将该块存储在存储器128中。另外，由整数变换/量化电路124获得的每个块的量化数据提供给熵编码电路129，以进行熵编码，并且获得作为基本帧速率图像数据qb的预测编码结果的基本流。顺便提及，每个块中的诸如运动矢量等信息添加到基本流，作为用于在接收侧进行解码的mb报头信息。另外，高帧速率增强帧图像数据qe输入到分块电路131。在分块电路131中，构成图像数据qe的每个图片的图像数据以编码处理的单位分成块(宏块(mb))。这些块依次提供给减法电路132。在运动预测/运动补偿电路133中，基于存储在存储器142中的参考图片的图像数据，获得用于层内预测的运动补偿预测参考块。在层间预测/层间补偿电路134中，获得用于层间预测的预测参考块，其基于环路滤波器127的输出或存储在存储器中的参考图片的图像数据进行运动补偿128，并且进一步乘以用于减少预测残差的预测系数。在切换电路135中，当在层间预测中参考的基本流的对象是与增强层的图片同时处理的基本流的图像时，选择环路滤波器127的输出。另一方面，在切换电路135中，当在层间预测中参考的基本流的对象是显示顺序中过去或未来的基本流的图像时，选择存储器128的输出。顺便提及，在相同的时间执行基本层的图片的处理和增强层的图片的处理。图7示出了层间预测/层间补偿电路134的进一步详细示例配置。层间预测/层间补偿电路134包括乘法单元151、减法单元152和判定逻辑单元153。在乘法单元151中，将基本层的块乘以预测系数“coef_i”。乘法单元151的输出提供给减法单元152和判定逻辑单元153。在减法单元152中，从增强层的块中减去乘以预测系数“coef_i”的基本层的块，并且获得残差数据。将残差数据提供给判定逻辑单元153。在判定逻辑单元153中，调整运动矢量“vector”和预测系数“coef_i”，使得残差功率(power，指数)最小，并且确定用于层间预测的预测参考块。顺便提及，每当调整运动矢量“vector”时，提供给乘法单元151的基本层的块用运动矢量“vector”进行运动补偿。返回参考图6，由运动预测/运动补偿电路133获得的用于层内预测的预测参考块或者由层间预测/层间补偿电路134获得的用于层间预测的预测参考块由切换电路136以块或图片为单位来选择，并提供给减法电路132。例如，在切换电路136中，执行切换，使得残差分量减少。另外，例如，在切换电路136中，根据序列是否处于边界，强制执行切换到一个块。在减法电路132中，对于由分块电路131获得的每个块，对预测参考块执行减法处理，并且获得预测误差。每个块的预测误差经受整数变换/量化电路137的整数变换(例如，dct变换)，然后，量化。由整数变换/量化电路137获得的每个块的量化数据提供给逆量化/逆整数变换电路138。在逆量化/逆整数变换电路138中，对量化数据执行逆量化，并且进一步执行逆整数变换，并获得预测残差。每个块的预测误差提供给加法电路139。向加法电路139提供由切换电路136选择的预测参考块。在加法电路139中，将运动补偿预测参考块与预测残差相加，并且获得块。在由环路滤波器141减少了量化噪声之后，将该块存储在存储器142中。另外，由整数变换/量化电路137获得的每个块的量化数据提供给熵编码电路143，以经受熵编码，并且获得作为高帧速率增强帧图像数据qe的预测编码结果的增强流。顺便提及，在增强流中，添加诸如每个块中的运动矢量、预测系数和预测参考块的切换等信息，作为用于在接收侧进行解码的mb块信息。在此处，在层间预测的预测参考块用于增强层的预定块并且执行预测编码的情况下，与预定块的编码数据相对应地添加预测系数“coef_i”。例如，在hevc或shvc的编码的情况下，与包含在片段的“slice_segment_header()”中的预测处理相关，预测系数“coef_i”由“pred_weight_table()”中的“luma_weight表”和“chrome_weight表”指定的“id”识别。在增强流的层和/或作为容器的传输流ts的层中，定义在“id”和由“id”标识的预测系数“coef_i”之间的关系。返回参考图3，编码器102在增强流的层中定义预测系数。即，定义了在“id”和由“id”标识的预测系数“coef_i”之间的关系的sei消息插入到增强流的层中。在这种情况下，编码器102将新定义的层预测映射sei(layer_prediction_mapping_sei)插入到存取单元(au)的“sei”的一部分中。图8的(a)示出了层预测映射sei的示例结构(语法)。图8的(b)示出了示例结构中的主要信息的细节(语义)。“number_of_coef”的8位字段指示在层预测中乘以预测对象的系数的数量，即，预测系数“coef_i”的数量。例如，在n的情况下，重复for循环，直到i＝0到n-1。此时，“i”对应于“id”。“prediction_coef[i]”的8位字段表示在层预测中乘以预测对象的系数，即，预测系数“coef_i”的值。例如，“0x00”表示“1.00”，“0x01”表示0.25，“0x02”表示0.50，“0x03”表示0.75，“0x04”表示2.00，“0x05”表示1.25，“0x06”表示1.50，并且“0x07”表示1.75。返回参考图3，多路复用器103将由编码器102生成的基本流和增强流封包成pes(封包基本流)包，并且进一步封包成传输包，以多路复用流，并且获得传输流ts，作为多路复用流。另外，多路复用器103在传输流ts的层中定义预测系数。即，定义了“id”和由“id”标识的预测系数“coef_i”之间的关系的描述符插入到传输流ts的层中。在这种情况下，多路复用器103在节目映射表下将新定义的层预测映射描述符(layer_prediction_mapping_descriptor)插入到对应于增强流设置的视频基本流循环中。图9的(a)示出层预测映射描述符的示例结构(语法)。图9的(b)示出了示例结构中的主要信息的细节(语义)。“layer_prediction_mapping_descriptor_tag”的8位字段指示描述符类型，并且在此处指示其是层预测映射描述符。“layer_prediction_mapping_descriptor_length”的8位字段指示描述符的长度(大小)，并且指示后续字节的数量，作为描述符的长度。“number_of_coef”的8位字段指示在层预测中乘以预测对象的系数的数量，即，预测系数“coef_i”的数量。例如，在n的情况下，重复for循环，直到i＝0到n-1。此时“i”对应于“id”。“prediction_coef[i]”的8位字段表示在层预测中乘以预测对象的系数，即，预测系数“coef_i”的值。图10示出传输流ts的示例配置。传输流ts包括两个视频流，即基本流和增强流。即，在示例配置中，存在基本流“视频pes1”的pes包，并且存在增强流“pes2”的pes包。在由pes包“视频pes2”包含的每个图片的编码图像数据中，插入层预测映射sei(见图8的(a))。另外，传输流ts包括节目映射表(pmt)作为一条节目特定信息(psi)。psi是描述传输流中包括的每个基本流属于哪个节目的信息。在pmt中，存在描述与整个节目相关的信息的节目循环(节目循环)。另外，在pmt中，存在具有与每个视频流相关的信息的基本流循环。在示例配置中，存在对应于基本流“视频es1循环”的视频基本流循环，并且存在对应于增强流“视频es2循环”的视频基本流循环。在“视频es1循环”中，设置诸如与基本流(视频pes1)对应的流类型和包标识符(pid)等信息，描述符也设置为描述与视频流相关的信息。流类型是指示基本流的“0x24”。另外，在“视频es2循环”中，设置诸如与增强流(视频pes2)对应的流类型和包标识符(pid)等信息，描述符也设置为描述与视频流相关的信息。流类型是表示增强流的“0x2x”。另外，作为一个描述符，插入层预测映射描述符(参见图9的(a))。返回参考图3，发送单元104通过例如适合于广播的调制方法(例如，qpsk/ofdm)来调制传输流ts，并且从发送天线发送rf调制信号。将简要描述图3中所示的发送装置100的操作。120fps图像数据p输入到预处理器101。然后，从预处理器101输出基本帧速率图像数据qb和高帧速率增强帧图像数据qe。在此处，在预处理器101中，在120fps图像数据p中以两个在时间上连续的图片为单位，执行混合处理，并且获得基本帧速率图像数据qb。另外，在预处理器101中，以两个时间上连续的图片为单位，提取一个图片的图像数据，并且获得高帧速率增强帧图像数据qe。由预处理器101获得的图像数据qb和qe提供给编码器102。在编码器102中，对图像数据qb和qe执行编码处理，并且生成基本流和增强流。在此处，在编码器102中，对基本帧速率图像数据qb执行基本帧速率图像数据的预测编码处理，并且获得基本流。另外，在编码器102中，对高帧速率增强帧图像数据qe自适应地执行关于基本帧速率图像数据qb的预测编码处理或高帧速率增强帧图像数据的预测编码处理，并且获得增强帧。在此处，在编码器102中，当对增强层的图像数据qe执行关于基本层的图像数据qb的预测编码处理时，将基本层的图像数据qb乘以用于减少预测残差的预测系数。在编码器102中，在增强流的层中定义预测系数。具体而言，将定义了预测系数的“id”和由“id”标识的预测系数“coef_i”之间的关系的层预测映射sei(参见图8的(a))插入增强流的层中。由编码器102生成的基本流和增强流提供给多路复用器103。在多路复用器103中，基本流和增强流封包成pes包，并进一步封包成要多路复用的传输包，获得传输流ts，作为多路复用流。另外，在多路复用器103中，在传输流ts的层中定义预测系数。具体而言，将定义了预测系数的“id”和由“id”标识的预测系数“coef_i”之间的关系的层预测映射描述符(参见图9的(a))在节目映射表下插入设置为对应于增强流的视频基本流循环中。由多路复用器103生成的传输流ts传输到发送单元104。在发送单元104中，传输流ts由例如适合于广播的调制方法(例如qpsk/ofdm)调制，并且从发送天线发送rf调制信号。“接收装置的配置”图11示出具有能够处理120fps运动图像数据的解码能力的接收装置200a的示例配置。接收装置200a包括接收单元201、多路解复用器202、解码器203、后处理器204和显示处理器205。接收单元201解调由接收天线接收的rf调制信号，以获取传输流ts。多路解复用器202通过从传输流ts中过滤pid来提取基本流和增强流，并且将这些流提供给解码器203。另外，多路解复用器202提取包括在传输流ts的层中的片段(section)信息，并且将该信息传输到控制单元(未示出)。在这种情况下，也提取层预测映射描述符(参见图9的(a))。利用这种设置，控制单元识别预测系数的“id”与由“id”标识的预测系数“coef_i”之间的关系。解码器203对基本流执行解码处理，以获得基本帧速率图像数据qb，并且对增强流执行解码处理，以获得高帧速率增强帧图像数据qe。在此处，通过在120fps图像数据p中以两个时间上连续的图片为单位执行混合处理，来获得图像数据qb，并且通过以两个时间上连续的图片为单位提取一个图片的图像数据，来获得图像数据qe(见图5的(a)和图5的(b))。另外，解码器203提取插入到构成基本流和增强流的每个存取单元中的参数集和sei，并且将参数集和sei传输到控制单元(未示出)。在这种情况下，也提取层预测映射sei(参见图8的(a))。利用这种设置，控制单元识别预测系数的“id”与由“id”标识的预测系数“coef_i”之间的关系。图12示出了解码器203的解码处理单元的示例配置。解码器203包括熵解码电路211、逆量化/逆整数变换电路212、运动补偿电路213、加法电路214、环路过滤器215和存储器216。另外，解码器203包括熵解码电路221、逆量化/逆整数变换电路222、运动补偿电路223、层间补偿电路224、切换电路225、加法电路226、切换电路227、环路滤波器228和存储器229。在熵解码电路211中，对基本流执行熵解码，并且针对基本层的每个块，获得量化数据。量化数据提供给逆量化/逆整数变换电路212。在逆量化/逆整数变换电路212中，对量化数据执行逆量化，进一步执行逆整数变换，并且获得预测残差。每个块的预测误差提供给加法电路214。在运动补偿电路213中，基于存储在存储器216中的参考图片的图像数据，获得运动补偿的补偿参考块。在此处，通过使用作为mb报头信息所包括的运动矢量，来执行运动补偿。在加法电路214中，将补偿参考块与预测残差相加，并且获得构成基本帧速率图像数据qb的块。在由环路滤波器125减少量化噪声之后，由加法电路214以这种方式获得的块存储在存储器216中。然后，通过从存储器216读取存储的数据，获得基本帧速率图像数据qb。在熵解码电路221中，对增强流执行熵解码，并且针对增强层的每个块，获得量化数据。量化数据提供给逆量化/逆整数变换电路222。在逆量化/逆整数变换电路222中，对量化数据执行逆量化，进一步执行逆整数变换，并且获得预测残差。每个块的预测误差提供给加法电路226。在运动补偿电路223中，基于存储在存储器229中的参考图片的图像数据，获得用于层内补偿的运动补偿的补偿参考块。在此处，通过使用作为mb报头信息所包括的运动矢量，来执行运动补偿。在层间补偿电路224中，获得用于层间补偿的补偿参考块，其基于环路滤波器205的输出或存储在存储器216中的参考图片的图像数据进行运动补偿，并且进一步乘以用于减少预测残差的预测系数。在此处，通过使用作为mb报头信息所包括的运动矢量，来执行运动补偿。另外，作为预测系数，使用对应于作为mb报头信息所包括的预测系数的“id”的预测系数“coef_i”。此时，对在层预测映射sei(参考图8的(a))或层预测映射描述符(参考图的9(a))中定义的预测系数的“id”与由“id”标识的预测系数“coef_i”之间的该关系进行参考。在切换电路225中，当在层间补偿中参照的基本流的对象是与增强层的图片同时处理的基本流的图像时，选择环路滤波器204的输出。另一方面，在切换电路225中，当在层间补偿中参照的基本流的对象是显示顺序中过去或未来的基本流的图像时，选择存储器216的输出。在此处，根据mb报头的信息执行切换。图13示出了层间补偿电路224的进一步详细示例配置。层间补偿电路224包括乘法单元231。在乘法单元231中，将基本层的运动补偿预测参考块乘以预测系数“coef_i”，并且获得用于层间补偿的补偿参考块。返回参考图12，由运动补偿电路223获得的用于层内补偿的补偿参考块或者由层间补偿电路224获得的用于层间补偿的补偿参考块以块为单位由切换电路227选择，并且提供给加法电路226。在此处，根据mb报头的信息进行切换。在加法电路226中，将补偿参考块与预测残差相加，并且获得构成高帧速率增强帧图像数据qe的块。在由环路滤波器228减小量化噪声之后，将由加法电路226以这种方式获得的块存储在存储器229中。然后，通过从存储器229读取存储的数据，获得高帧速率增强帧图像数据qe。返回参考图11，后处理器204对由解码器203获得的基本帧速率图像数据qb和高帧速率增强帧图像数据qe执行发送装置100中的预处理器101的处理的逆处理，以获得120fps的图像数据p'。图14示出了后处理器204的示例配置。后处理器204包括算术电路241和切换电路242。基本帧速率图像数据qb输入到算术电路241，其增益为“α的倒数(1/α)”。另外，将高帧速率增强帧图像数据qe输入到算术电路241，其增益为“(-1)*(β/α)”，并将qe的值原样输入到切换电路242的b侧的固定端。在算术电路241中，执行逆混合处理。算术电路241的输出输入到切换电路242的a侧的固定端，具有与输出原样的增益。切换电路242以120hz的周期交替切换到a侧或b侧。从切换电路242获得120fps的图像数据p'。图5的(b)和图5的(c)示意性地示出后处理器204的输入数据(图像数据qb和qe)与后处理器204的输出数据(图像数据p')之间的关系的示例。对应于图像数据qb、f1'、f3'、f5'、f7'、...的每个图片的图像数据，和图像数据qe、f2、f4、f6、f8、...的每个图片的图像数据，获得图像数据p'、f1、f2、f3、f4、f5、f6、f7、f8、...的每个图片的图像数据。返回参考图11，显示处理器205根据需要在时间方向上执行插值处理，即，对由后处理器204获得的120fps图像数据p进行帧插值处理，以获得超过120fps的更高帧速率的图像数据，并将图像数据提供给显示单元。将简要描述图11所示的接收装置200的操作。在接收单元201中，解调由接收天线接收的rf调制信号，并且获取传输流ts。传输流ts传输到多路解复用器202。在多路解复用器202中，从传输流ts中通过过滤pid来提取基本流和增强流，并将其提供给解码器203。另外，在多路解复用器202中，提取包括在传输流ts的层中的片段信息，并将其传输到控制单元(未示出)。在这种情况下，也提取层预测映射描述符(参见图9的(a))。利用这种设置，在控制单元中，识别预测系数的“id”与由“id”识别的预测系数“coef_i”之间的关系。在解码器203中，对基本流执行解码处理，获得基本帧速率图像数据qb，对增强流执行解码处理，并且获得高帧速率增强帧图像数据qe。这些图像数据qb和qe提供给后处理器204。另外，在解码器203中，提取插入到构成基本流和增强流的每个存取单元中的参数集和sei，并将其传输到控制单元(未示出)。在这种情况下，也提取层预测映射sei(参见图8的(a))。利用这种设置，在控制单元中，识别预测系数的“id”与由“id”识别的预测系数“coef_i”之间的关系。在解码器203中，当在获得增强层的图像数据qe中使用基本层的图像数据qb执行补偿时，将基本层的图像数据qb乘以用于减少预测残差的预测系数。作为这种情况下的预测系数，使用与作为mb报头信息所包括的预测系数的“id”对应的预测系数“coef_i”。此时，对上述预测系数的“id”和由“id”标识的预测系数“coef_i”之间的该关系进行参考。在后处理器204中，对由解码器203获得的基本帧速率图像数据qb和高帧速率增强帧图像数据qe执行发送装置100中的预处理器101的处理的逆处理，并且获得120fps的图像数据p。由后处理器204获得的图像数据p提供给显示处理器205。在显示处理器205中，根据需要在时间方向上执行插值处理，即，对图像数据p进行帧插值处理，并且获得高于120fps的帧速率的图像数据。将图像数据提供给显示单元，并且执行图像显示。图15示出具有能够处理60fps运动图像数据的解码能力的接收装置200b的示例配置。在图15中，与图11所示的部件等同的部件用与图11中所用的附图标记相同的附图标记表示，并且在本文不再重复对其详细说明。接收装置200b包括接收单元201、多路解复用器202b、解码器203b和显示处理器205b。在接收单元201中，解调由接收天线接收的rf调制信号，并且获取传输流ts。在多路解复用器202b中，从传输流ts中通过过滤pid来仅提取基本流，并将其提供给解码器203b。在解码器203b中，对基本流执行解码处理，并且获得基本帧速率图像数据qb。在显示处理器205b中，对60fps的图像数据qb执行时间方向上的插值处理，即，帧插值处理，并且获得具有比60fps更高的帧速率的图像数据。图像数据提供给显示单元，并且执行图像显示。如上所述，在图1所示的发送/接收系统10中，在120fps图像数据p中以两个时间上连续的图片为单位执行混合处理，获得60fps基本帧速率图像数据qb，并且传输通过对基本帧速率图像数据执行预测编码处理而获得的基本流。因此，例如，在接收侧，在具有能够处理基本帧速率图像数据的解码能力的情况下，通过处理基本流，以获得基本帧速率图像数据，可以显示平滑图像，作为运动图像，并且可以避免在显示处理中由于低负荷计算的帧插值处理而导致的图像质量问题。另外，在图1所示的发送/接收系统10中，在120fps图像数据p中，以两个时间上连续的图片为单位提取一个图片的图像数据，获得高帧速率增强帧图像数据qe，传输通过对图像数据qe执行关于基本帧速率图像数据qb的预测编码处理而获得的增强流。在这种情况下，通过以两个时间上连续的图片为单位执行混合处理来获得基本帧速率图像数据qb，从而降低预测残差，提高预测效率，并且可以减少增强流的信息数据量。图16比较地示出(1)不进行混合处理的情况下的预测残差和(2)进行混合处理的情况下的预测残差的示例，使用混合处理的系数是α＝1/2(因此，β＝1/2)的情况下的示例。在(1)和(2)中，“a”和“b”分别对应于图4的预处理器101的示例配置中所示的“a”和“b”。顺便提及，在该示例中，为了简单起见，块的处理单位是4×4块。处理单位不限于4×4块，并且可以是比4×4块更大的块。这也适用于下面的示例。如图所示，可以看出，执行混合处理的情况下的预测残差小于未执行混合处理的情况下的预测残差。图17示出在执行混合处理的情况下(1)解码器侧的层间补偿的应用示例和(2)解码器后处理(逆混合处理)的示例。在(1)和(2)中，“a”和“b”分别对应于图14的后处理器204的示例配置中所示的“a”和“b”。另外，在图1所示的发送/接收系统10中，当对高帧速率增强帧图像数据qe执行关于基本帧速率图像数据qb的预测编码处理，并且获得增强流时，将基本帧速率图像数据qb乘以用于减少预测残差的预测系数。为此，可以提高预测效率，并且可以进一步减少增强流的信息数据量。图18比较地示出(1)不进行混合处理的情况下的预测残差以及(2)进行混合处理并且不乘以预测系数的情况(与乘以预测系数“1”的情况相同)下的预测残差。在(1)和(2)中，“a”和“b”分别对应于图4的预处理器101的示例配置中所示的“a”和“b”。在(2)中，通过执行混合处理，来减少预测残差。图19比较地示出(1)在进行混合处理并且不乘以预测系数的情况(与乘以预测系数“1”的情况相同)下的预测残差以及(2)进行混合处理并且乘以预测系数的情况下的预测残差。在(1)和(2)中，“a”和“b”分别对应于图4的预处理器101的示例配置中所示的“a”和“b”。在(2)中，通过执行混合处理，来减少预测残差，并且通过乘以预测系数“2”，来减少预测残差。在解码器侧，通过使用与编码器的预测系数相同的预测系数，在层间补偿中，能够以正确的像素值进行解码。图20示出在执行混合处理并且乘以预测系数的情况下(1)解码器侧的层间补偿的应用示例和(2)解码器后处理(逆混合处理)的示例。在(1)和(2)中，“a”和“b”分别对应于图14的后处理器204的示例配置中所示的“a”和“b”。另外，在图1所示的发送/接收系统10中，在增强流的层和/或作为容器的传输流ts的层中，定义预测系数。为此，在接收侧，可以使用所定义的预测系数适当地执行用于增强流的解码处理。<2、修改>顺便提及，在上述实施例中，已经示出了整体帧速率是120fps并且基本帧速率是60fps的示例；然而，帧速率的组合不限于此。例如，类似地应用100fps和50fps的组合。另外，在上述实施例中，已经示出了包括发送装置100和接收装置200的发送/接收系统10；然而，可以应用本技术的发送/接收系统的配置不限于此。例如，接收装置200可以具有例如经由诸如高清晰度多媒体接口(hdmi)等数字接口连接在一起的机顶盒和监视器的配置。顺便提及，“hdmi”是注册商标。另外，在上述实施例中，已经示出了容器是传输流(mpeg-2ts)的示例。然而，本技术也可以类似地应用于具有使用诸如互联网等网络执行到接收终端的分发的配置的系统。在通过互联网分发时，经常用mp4或另一格式容器进行分发。即，容器包括各种格式的容器，例如，在数字广播标准中采用的mpeg媒体传输(mmt)或传输流(mpeg-2ts)以及在互联网分发中使用的isobmff(mp4)。另外，也可以在下面描述的配置中实施本技术。(1)一种发送装置，包括：图像处理单元，其在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据，并且以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率帧图像数据；图像编码单元，其对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，以获得基本流，并且对高帧速率增强帧图像数据执行关于基本帧速率图像数据的预测编码处理，以获得增强流；以及发送单元，其传输包括基本流和增强流的预定格式容器。(2)根据(1)所述的发送装置，其中，当对高帧速率增强帧图像数据执行关于基本帧速率图像数据的预测编码处理并且获得增强流时，所述图像编码单元将基本帧速率图像数据与用于减少预测残差的预测系数相乘。(3)根据(2)所述的发送装置，还包括：信息定义单元，其在增强流的层中定义预测系数。(4)根据(2)或(3)所述的发送装置，还包括：信息定义单元，其在容器的层中定义预测系数。(5)一种发送方法，包括：图像处理步骤，用于在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据，并且以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率帧图像数据；图像编码步骤，用于对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，以获得基本流，并且对高帧速率增强帧图像数据执行关于基本帧速率图像数据的预测编码处理，以获得增强流；以及传输步骤，用于由发送单元传输包括基本流和增强流的预定格式的容器。(6)一种接收装置，包括：接收单元，其接收包括基本流和增强流的预定格式的容器，其中，通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获得基本流，并且通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行关于基本帧速率图像数据的预测编码处理，来获得增强流，并且所述接收装置还包括处理单元，所述处理单元仅处理所述基本流，以获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，以获得所述预定帧速率图像数据。(7)根据(6)所述的接收装置，其中，在增强流的层和/或容器的层中定义用于减少预测残差的预测系数，并且当获得高帧速率增强帧图像数据时，所述处理单元将通过处理基本流而获得的基本帧速率图像数据乘以定义的预测系数，以构成参考图像数据。(8)一种接收方法，包括：接收步骤，用于由接收单元接收包括基本流和增强流的预定格式的容器，其中，通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获得基本流，并且通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行相对于基本帧速率图像数据的预测编码处理，来获得增强流，并且所述接收方法还包括处理步骤，用于仅处理所述基本流，以获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，以获得所述预定帧速率图像数据。(9)一种发送装置，包括：图像处理单元，其在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理，以获得基本帧速率图像数据，并且以两个时间上连续的图片为单位提取一个图片的图像数据，以获得高帧速率帧图像数据；图像编码单元，其对基本帧速率图像数据执行编码处理，以获得基本流，并且对高帧速率增强帧图像数据执行编码处理，以获得增强流；以及发送单元，其传输包括基本流和增强流的预定格式的容器。(10)一种接收装置，包括：接收单元，其接收包括基本流和增强流的预定格式的容器，其中，通过对在预定帧速率图像数据中以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据执行编码处理，来获得基本流，并且通过对以两个时间上连续的图片为单位提取一个图片的图像数据而获得的高帧速率增强帧图像数据执行编码处理，来获得增强流，并且所述接收装置还包括处理单元，所述处理单元仅处理所述基本流，以获得所述基本帧速率图像数据，或者处理所述基本流和所述增强流，以获得所述预定帧速率图像数据。(11)根据(10)所述的接收装置，其中，在处理基本流和增强流并获得预定帧速率图像数据的情况下，所述处理单元执行以下处理：对基本流执行解码处理，以获得基本帧速率图像数据，并且对增强流执行解码处理，以获得以作为高帧速率增强帧图像数据的两个时间上连续的图片为单位的一个图片的图像数据，使用高帧速率增强帧图像数据对基本帧速率图像数据执行混合处理的逆处理，以获得以两个时间上连续的图片为单位的另一图片的图像数据，以及合成以两个时间上连续的图片为单位的一个图片的图像数据和以两个时间上连续的图片为单位的另一图片的图像数据，以获得预定帧速率图像数据。本技术的主要特征在于，在120fps图像数据中以两个时间上连续的图片为单位提取一个图片的图像数据，获得高帧速率增强帧图像数据，并且传输增强流，通过对图像数据执行与以两个时间上连续的图片为单位执行混合处理而获得的基本帧速率图像数据有关预测编码处理，来获得该增强流，由此可以减少增强流的信息数据量(参见图4和图6)。附图标记列表10发送/接收系统100发送装置101预处理器102编码器103多路复用器104发送单元111延迟电路112算术电路113锁存电路121分块电路122减法电路123运动预测/运动补偿电路124整数变换/量化电路125逆量化/逆整数变换电路126加法电路127环路滤波器128存储器129熵编码电路131分块电路132减法电路133运动预测/运动补偿电路134层间预测/层间补偿电路135、136切换电路137整数变换/量化电路138逆量化/逆整数变换电路139加法电路141环路滤波器142存储器143熵编码电路151乘法单元152减法单元153决策逻辑单元200a、200b接收装置201接收单元202、202b多路解复用器203、203b解码器204后处理器205、205b显示处理器211熵解码电路212逆量化/逆整数变换电路213运动补偿电路214加法电路215环路滤波器216存储器221熵解码电路222逆量化/逆整数变换电路223运动补偿电路224层间补偿电路225切换电路226加法电路227切换电路228环路滤波器229存储器231乘法单元241算术电路242切换电路当前第1页12当前第1页12