图像接收器的制作方法

专利名称：图像接收器的制作方法
技术领域：
本发明涉及图像接收器。
背景技术：
正如以下展示的专利文献中所述的那样，已经知道了以预定周期交替地将在其间具有视差的左眼图像和右眼图像供应给显示器并且利用包括与所述预定周期同步地被驱动的液晶快门(liquid crystal shutter)的眼睛观察这些图像的方法。而且，以现行数字广播提供诸如电子节目指南和数据广播之类的服务，并且可以根据用户要求接收除普通视频和音频节目之外的服务。引用列表专利文献专利文献1 JP9-138384A专利文献2 JP2000-36969A专利文献3 JP2003-45343A

发明内容
技术问题在这些情况下，也要求普通节目通过重新向视频和音频添加值(value)来进一步充实服务。为了向视频添加值，可以考虑这样的方案除了普通视频(以下被称为普通观看动态图像或第一图像)之外，还发送已经添加了值的视频(以下被称为附加信息动态图像或第二图像)，以便在接收侧呈现具有使用普通观看动态图像的高添加值的动态图像以及附加信息动态图像。所述普通观看动态图像包括广泛使用的二维图像和非立体图像。为了发送附加信息动态图像来改进内容的添加值以及为普通观看产生的普通观看动态图像，可以分离地编码和发送并且分离地解码普通观看动态图像和附加信息动态图像以呈现动态图像，但在这情况下，需要在接收侧进行两次解码操作，并且升高安装有两个解码器的接收器的价格。另一方面，如果在单屏幕上包含普通观看动态图像和附加信息动态图像，则一起编码普通观看动态图像和附加信息动态图像，以便可以由单编码器编码这些图像，并且还可以由单解码器解码普通观看动态图像和附加信息动态图像。然而，总是将普通观看动态图像和附加信息动态图像显示为接收器的输出，以便该显示不同于发送侧原来预期的普通观看动态图像。考虑在例如将双眼立体动态图像作为与普通视频相比具有高添加值的视频发送时的情况。在这种情况下，可以将单眼动态图像考虑为普通观看动态图像，以便将另一单眼动态图像作为附加信息动态图像发送。结果，如在图观和图四中所示，在不能够显示立体视觉的常规接收器中，通过垂直或水平地进行收缩来在同一屏幕上并排同时显示普通观看动态图像和附加信息动态图像。由于双眼立体视觉中的左和右动态图像在内容上仅仅具有较小的差异，所以期望能够像在图30而不是图洲和图四中那样，在不能够显示双眼立体视觉的接收器中以正确的纵横比仅仅观看单眼动态图像(普通观看动态图像)。已经考虑到以上问题作出了本发明，并且期望提供能够处理附加信息动态图像以及普通观看动态图像的、新颖和改进了的图像接收器，同时在动态图像发送时将现行发送器/接收器的变化减少到最小。技术方案根据本发明的一个方面，为了达到上述目的，提供一种图像接收器，其包括接收单元，接收在其中在一帧中布置第一图像和第二图像的集成图像；以及获取单元，获取指示与该集成图像一起发送的第一图像的区域的区域信息，其中，包括在其中仅仅第一图像基于区域信息被显示的非立体视频显示模式和/或在其中第一图像和第二图像被显示为立体视频的立体视频显示模式。可以基于指示集成图像是立体视频的信息切换非立体视频显示模式和立体视频显示模式。第一图像可以是左眼图像，而第二图像可以是右眼图像。可以通过H264/AVC编解码器编码集成图像和区域信息，并且该区域信息可以是 Crop (剪裁)参数。该Crop参数可以被包含在序列参数集(SPQ中。发明的有益效果根据本发明，可以与普通观看动态图像一起处理附加信息动态图像，同时在动态图像发送时将现行发送器/接收器的变化减少到最小。


图1是示出在一个屏幕中显示普通观看动态图像和附加信息动态图像的状态的示意图。图2是示出将图1的布置信息表示成表格的状态的示意图。图3是示出剪裁参数和涉及要裁剪掉的区域的矩形区域的参数的示意图。图4是示出杜比AC-3音频的流信息的示意图。图5是示出在附加信息动态图像描述符被添加到PMT的流信息时的情况的示意图。图6是示出附加信息动态图像描述符的内容示例的简图。图7是示出附加信息动态图像SEI的层级的简图。图8是示出在将附加信息动态图像存在信息作为新的专用部分发送时的情况的简图。图9是示出紧接在普通观看动态图像之后布置附加信息动态图像的裁剪位置 (cutout position)时的情况的示意图。图10是示出紧接在普通观看动态图像之后布置附加信息动态图像的裁剪位置时的协议内容(agreement content)的示意图。图11是示出在右眼动态图像关于左眼图像隔开布置时的情况的示意图。
图12是示出关于图11的情况的协议内容的示意图。图13是示出同意多立体视觉的动态图像的水平布置时集成图像的布置状态的示意图。图14是示出在这样的协议下集成图像的布置状态的示意图水平地布置尽可能多的动态图像，并且如果有任何剩余动态图像，就垂直地布置这样的动态图像。图15是示出在其中在上部布置主立体视觉动态图像而在下部布置补充立体视觉动态图像的集成动态图像示例的示意图。图16是示出在将附加信息动态图像SEI重新添加到H. 264时的内容的示意图。图17是示出在其中在重新为附加信息动态图像的每一种类型建立SEI时在sei_ message中不存在必需的信息项的状态的示意图。图18是示出在附加信息动态图像描述符被添加到PMT时的内容的示意图。图19是示出在为附加信息动态图像的每一种类型准备了描述符时在描述符之内的信息的示意图。图20是示出在将发送附加信息动态图像存在信息的数据添加到MPEG2-TS的专用部分时private_data_byte的内容的示意图。图21是示出在将附加信息动态图像SEI重新添加到H. 264时的内容的示意图。图22是示出根据本实施方式的发送器的块图。图23是示出现有发送器的示意图。图M是示出根据本实施方式的接收器的示意图。图25是示出现有接收器的示意图。图沈是示出在将附加信息动态图像描述符重新添加到PMT描述符时的内容的简图。图27是示出在将发送附加信息动态图像存在信息的数据添加到MPEG2-TS的专用部分时private_data_byte的内容的简图。图28是示出在其中在垂直或水平地收缩后在同一屏幕上并排同时显示普通观看动态图像和附加信息动态图像的状态的示意图。图四是示出在其中在垂直或水平地收缩后在同一屏幕上并排同时显示普通观看动态图像和附加信息动态图像的状态的示意图。图30是示出在其中仅仅单眼动态图像(普通观看动态图像)被以正确的纵横比显示的状态的示意图。图31是示出在将普通观看动态图像布置为集成图像中的1440 X 1080的左眼动态图像而附加信息动态图像布置为480X1080的左眼动态图像时的情况的示意图。图32是示出在将普通观看动态图像布置为集成图像中的1920X810的中心动态图像而附加信息动态图像布置为960X270的两个图像(左动态图像、右动态图像)时的情况的示意图。图33是示出在将H. 264用作编码器并且使用附加信息动态图像时发送器的处理流程的示意图。图34是示出在将H. 264用作编码器并且使用附加信息动态图像描述符时发送器的处理流程的示意图。
图35是示出在将H. 264用作编码器并且使用附加信息动态图像部分时发送器的处理流程的示意图。图36是在使用要被添加到H. 264的附加信息动态图像SEI时接收器的流程图。图37是在使用要被添加到PMT描述符的附加信息动态图像描述符时接收器的流程图。图38是在使用要被添加到MPEG2-TS的附加信息动态图像部分时接收器的流程图。图39是在使用要被添加到H. 264的附加信息动态图像SEI时接收器的流程图。图40是在使用要被添加到PMT描述符的附加信息动态图像描述符时接收器的流程图。图41是在使用要被添加到MPEG2-TS的附加信息动态图像部分时接收器的流程图。图42是在使用要被添加到H. 264的附加信息动态图像SEI时接收器的流程图。图43是在使用要被添加到PMT描述符的附加信息动态图像描述符时接收器的流程图。图44是在使用要被添加到MPEG2-TS的附加信息动态图像部分时接收器的流程图。
具体实施例方式以下将参考附图详细描述本发明的优选实施方式。注意，在本说明书和附图中，具有实质上相同的功能和结构的元素用同一附图标记表示，并且省略重复的描述。其描述将以以下次序提供1.第一实施方式(发送任意多个图像的示例)2.第二实施方式(对立体视觉图像的应用)[1.第一实施方式]首先，将基于附图描述根据本实施方式的系统的概念。这里，将通过采用高尔夫球转播(golfrelay broadcasting)的内容作为示例来描述在将不用于双眼立体视觉的动态图像作为附加信息动态图像发送时的情况。高尔夫球转播的内容仅仅是一个图解说明，本发明的应用范围不限于高尔夫球转播。图1示出在其中在一个屏幕中显示普通观看动态图像和附加信息动态图像的状态，并且图1中的数字指示像素的数量。这里，考虑在本实施方式的方法用于环绕草坪的情形时的情况。普通观看动态图像是在高尔夫球转播中通常被转播的动态图像，并且对应于现行节目内容(原始版本)。另一方面，附加信息动态图像是与普通观看动态图像分离的动态图像，并且通过提供根据不同于普通观看动态图像的角度的角度创建的动态图像来充实节目内容。例如，如图1中所示，如果将草坪的视频显示为普通观看动态图像，则使得用户通过使用示出草坪草地的坡度或纹路(inclination or grain of grass of green)的动态图像或示出密切注视监视器的已经将高尔夫球击打入洞(hole out)的另一玩家的动态图像作为附加信息动态图像，能够从各个角度看见视频场景。如果普通观看动态图像是示出走在高尔夫球道上的玩家的视频，则可以考虑使用刚刚的球杆击打(driver shot)的再现图像或者示出高尔夫球赛观众(gallery)的动态图像作为附加信息动态图像。〈集成动态图像〉在本实施方式中，将普通观看动态图像和附加信息动态图像布置在一帧(或场) 中，并且作为一个动态图像(以下描述为集成动态图像)在其上进行压缩/解压处理，以最小化从现行动态图像压缩/解压单元的变化。图1示出了在将在草坪上示出球的普通观看动态图像、从上面示出整个洞的动态图像和图解草坪(green)坡度的动态图像布置在一帧中时的一帧集成动态图像。如果帧用场代替，本实施方式的有效性不会改变。图2以表格形式示出图1的布置信息。图2示出了在集成动态图像的尺寸为 1920X1080像素并且该集成图像的左上角的坐标被设置为(0，0)时每个动态图像的布置信息。因为从左上角粘贴图像，所以在左上端点的普通观看动态图像的坐标为(0，0)。普通观看动态图像是在宽度方向(水平方向)上被收缩了一半的图像，具有960X1080像素作为宽X高。由于收缩的缘故，样本纵横比变成2 1。另一方面，附加信息动态图像具有 720X480像素的图像尺寸，并且被假定为基于通过假定16 9的屏幕创建的动态图像，以便其样本纵横比变成40 33。不需要两个附加信息动态图像的区域/纵横比匹配，并且附加信息动态图像的数量不限于两个。<现行广播>将描述在通过现行数字广播系统发送以上集成动态图像的情况。在现行数字广播系统，编码并用被称为MPEG2-TS(传输流)的分组复用方法发送动态图像和音频。动态图像的主流(Mainstream)编解码器包括MPEG2 VIDEO和H.沈4 (AVC)，并且在被发送之前用这些编解码器压缩动态图像。<发送器的配置>图22是示出根据本实施方式的发送器100的块图。如图22中所示，发送器100 包括动态图像压缩单元102、普通观看动态图像区域编码单元104和附加信息动态图像存在信息编码单元106。将在使用附加信息动态图像时集成普通观看动态图像和附加信息动态图像的集成动态图像、集成动态图像中的普通观看动态图像的区域和纵横比、附加信息动态图像的类型和区域(如果在发送和接收之间事先没有任何协议)以及集成动态图像中的普通观看动态图像的区域(如果在发送和接收之间事先没有任何协议)输入到图22中的发送器100，并且将上述信息的编码数据流从那里输出。图23示出了一个现有发送器，其不同于图22中的发送器100在于现有发送器不包括编码信息动态图像存在信息编码单元 106。可以用诸如电路或中央处理器单元(CPU)之类的硬件以及使得该CPU起作用的程序 (软件)创建在图22或图23中所示的配置。这也应用于接收器。<集成动态图像的压缩以及普通观看动态图像的区域编码>在本实施方式中，在动态图像压缩单元102中用现有编解码器压缩如图1所示那样布置的集成动态图像。此外，利用现有编解码器的编码方法，通过普通观看动态图像区域编码单元104编码图2中的样本纵横比和指示布置信息的普通观看动态图像的区域的信息 (左上端点、宽度/高度)。首先，例如，如果动态图像的编解码器遵循H. 264,则使用在SPS中的VUI (视频可
7用信息)之内的aspect_ratio_idc，sar_width, sar_hight来指定普通观看动态图像的样本纵横比。在图2中存在多个样本纵横比，并且以如下方式使用普通观看动态图像的样本纵横比以正确的长宽比(length-to-width ratio)显示普通观看动态图像。在图2的情况下，普通观看动态图像的样本纵横比为2:1，因此不需要设置Sar_width和sar_hight，并且可以设置 aspect_ratio_idc = 16。将普通观看动态图像的区域的信息编码为集成动态图像中的普通观看动态图像的裁剪(cutout)区域。例如，如果动态图像的编解码器遵循H.沈4，则将区域设置为通过利用 SPS(序列参数集)中的 frame_crop_left_offset> frame_crop_right_offset> frame_ crop_top_offset禾口 frame_crop_bottom_offset从集成动态图像中裁剪普通观看动态图像的剪裁参数。剪裁参数和作为矩形区域裁剪掉的区域具有以下所示的关系。利用图3所示的 SubWidthC和SubHightC，左上端点的坐标(xs，ys)被给定为xs = SubffidthC*frame_crop_left_offsetys = SubHightC*(2-frame_mbs_only_flag)*frame_crop_top_offset右下端点的坐标(xe，ye)被给定为xe = PicffidthInSamles-(SubffidthC*frame_crop_right_offset+l)ye = 16*FrameHightInMbs-(SubHightC*(2-frame_mbs_only_flag)氺frame_crop_bottom_offset+l)chroma_format_idc 禾口 frame_mbs_only_flag 是 H. 264 的 SPS 之内的两个参数。在现行广播中，chroma_format_idc为 1，因此 SubWidthC = 2 和 SubHightC = 2。 frame_mbS_only_flag为指示是否进行按帧或场的动态图像压缩的标志。图1图解了帧中的布置，因此假定按帧压缩，并将通过设置frame_mbS_0nly_flag =1继续该描述。当按场进行压缩时，可以设置frame_mbS_only_flag = 0以便于计算，本实施方式在按场进行压缩时也有效。从以上，xs、xe、ys和ye被给定为xs = 2*frame_crop_left_offsetys = 2*frame_crop_top_offsetxe = PicffidthInSamles- (2*frame_crop_right_offset+1)ye = 16*FrameHightInMbs-(2*frame_crop_bottom_offset+l)因此，裁剪图像具有被给定为如下的宽度w和高度hw = PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_ offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_ offset将裁剪图1中的普通观看动态图像的参数从集成动态图像的宽度确定为 PicffidthInSamples = 1920 和 16*FrameHightInMbs = 1088，这是因为集成动态图像的高度为1080，它不是16的倍数。此外，根据普通观看动态图像的XS = 0、ys = 0、w = 960、h = 1080，可以作出下列设置frame_crop_left_offset = 0frame—crop—top—offset = 0frame_crop_right_offset = 480frame_crop—bottom—offset = 8如果如上所述那样通过指定普通观看动态图像的样本纵横比和布置信息来进行 H. 264中的编码处理，则普通观看动态图像从集成动态图像中被裁剪掉，并且通过解码被编码的流来以正确的长宽比显示。以上是H.沈4中的普通观看动态图像的样本纵横比和布置信息的编码，可以在 MPEG2 VIDEO中类似地进行编码。关于样本纵横比，aspect_ratio_information处于序列首标中，并且可以用样本纵横比或显示器纵横比来设置参数。样本纵横比指示刚解压之后的像素的长宽比，而显示器纵横比指示显示器中的长胃t匕。图2中的普通观看动态图像的样本纵横比为2 1，其指示像素的宽度是高度的两倍。因此，960X1080的图像在水平方向上被扩展一倍，以便以1920X1080显示图像。显示器纵横比为显示器的1920X1080的长宽比，因此得到1920 1080 = 16 9。该16 9 可以通过设置aspect_ratio_information = 3来指定。另一方面，关于区域裁剪，可以通过序列显示扩展首标中的display_VertiCal_ size和display_horizontal_size来指定要被裁剪掉的宽度/高度。可以通过画面显示扩展首标中的 frame_centre_horizontal_offset 禾口 frame_centre_vertical_offset 来指定裁剪部分的中心与原始图像的中心之间的偏差。使用这些参数，可以编码普通观看动态图像的样本纵横比和布置信息。然而，在ITU-T. Rec. H. 262的描述中，这些参数与全景扫描 (pan-scan)并行地被描述，并且可以不依赖于广播规则随便设置。关于H.沈4，可以与全景扫描分离地设置剪裁参数，并且不存在对涉及全景扫描的参数的限制。如果另一编解码器具有裁剪掉解压后的动态图像的参数，则这样的参数可以被用于指定本发明中的普通观看动态图像的样本纵横比和布置信息。接下来，将描述要由图22中所示的发送器100的附加信息动态图像存在信息编码单元106编码的附加信息动态图像存在信息。<附加信息动态图像存在信息>在图1的示例中，除了普通观看动态图像之外，还发送两个附加信息动态图像， 即，附加信息动态图像1，2。这些附加信息动态图像是作为节目的补充动态图像的有效动态图像，但可以被考虑为根据用户偏好显示的动态图像，而不是总是这样。在图1中的示例中，对于主屏幕中的草坪，通过将从同一角度示出草坪的起伏 (undulation)的动态图像和从天空拍摄整个洞的俯瞰(survey)的动态图像作为补充动态图像布置在集成动态图像中来发送这些动态图像。附加信息动态图像存在信息是指示“是否存在这些补充动态图像”、“如果存在，则宽度/高度、位置和样本纵横比是多少？ ”、“此外，当使用这些补充动态图像时，普通观看动态图像的裁剪区域怎么样？ ”的信息。在图1和图2的示例中，附加信息动态图像的宽度、高度和样本纵横比不同于普通观看动态图像的宽度、高度和样本纵横比。这里假定在发送器和接收器之间未对在使用附加信息动态图像时附加信息动态图像的宽度、高度和样本纵横比和普通观看动态图像的裁剪区域事先达成一致。<当将附加信息动态图像存在信息作为H. 264标准的SEI发送时>在H. 264标准中，定义被称为补充增强信息(SEI)的补充信息的描述方法。在SEI 中，描述诸如数据在输入/输出缓冲器用于解码的保持时间和在随机存取期间解码的点的存在之类的信息。在本实施方式中，描述了通过重新添加附加信息动态图像SEI使得本实施方式中的附加信息动态图像存在信息可发送的示例。图7示出了附加信息动态图像SEI的层级并且在使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度，附加信息动态图像的类型，附加信息动态图像的数量，各种附加信息动态图像的裁剪开始位置、宽度/高度和样本纵横比被指定为SEI的 sei—message。文法上根据H. 264的文法规则创建重新在本实施方式中添加的SEI。因此，现有发送器难以解码SEI，但可以通过跳过SEI来进行下一处理。图33示出了在使用H. 264作为编码器并且使用附加信息动态图像SEI时发送器100的处理流程图。首先，将根据集成动态图像中普通观看动态图像的位置、宽度和高度计算出来的、H. 264的剪裁参数和aspect ratio_idc(必要时也使用sar_width和sar_hight)设置到编码器(步骤S100)。接下来，将在使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度，附加信息动态图像的类型，样本纵横比，以及根据左上端点和宽度/高度确定的附加信息动态图像的裁剪开始位置、宽度和高度设置到编码器，作为附加信息动态图像 SEI (步骤S102)。此外，作出诸如集成动态图像的图像尺寸之类的编码器设置，然后编码集成动态图像(步骤S104)。对于通过数字广播系统的发送，可以通过基于MPEG2-TS复用来获得发送流(步骤S106)。在图7中，用裁剪开始位置、宽度和高度指定普通观看动态图像和附加信息动态图像的布置，但该布置也可以用诸如在H. 264中指定剪裁区域的方法之类的其他方法来指定。SEI是由H. 264标准定义的发送描述，并且可以通过添加描述来重新发送补充信息，以适应具有发送补充信息到动态图像压缩/解压处理(例如，对MPEG2视频使用USER_ DATA)的装置的任何编解码器。(市场上销售和已出售的)现有发送器难以解码重新添加的附加信息动态图像 SEI，但可以通过跳过SEI来继续处理。这里假定由现有接收器通过跳过附加信息动态图像 SEI来进行接收处理。图25是示出现有接收器400的示意图。组合普通观看动态图像和附加信息动态图像的集成动态图像的编码和普通观看动态图像的区域的编码是与现有发送器进行的处理相同的处理。因此，如图25所示，甚至现有接收器400也解码集成动态图像，并且像基于上述剪裁信息所期望的那样，普通观看动态图像被裁剪掉并且显示在动态图像输出单元 206 中。另一方面，图M是示出根据本实施方式的接收器200的示意图。根据本实施方式的接收器200包括动态图像解压单元202、普通观看动态图像区域解码单元204、附加信息动态图像存在信息解码单元208和动态图像输出单元(显示面板)206。在根据本实施方式的接收器200中，可以由附加信息动态图像存在信息解码单元208解码附加信息动态图像 SEL·因此，接收器200辨认普通观看动态图像的区域之外的附加信息动态图像的存在，并且可以获得在使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度， 附加信息动态图像的数量，以及每个附加信息动态图像的裁剪开始位置、宽度、高度和样本纵横比。<当将附加信息动态图像存在信息作为PMT的描述符发送时>在MPEG2-TS中，PMT (节目映像表)被定义为描述要发送的节目流信息的PSI (节目系统信息)。PMT的流信息包含用来选择音频或视频分组的PID (Packet ID)、stream_type和描述符，以便可以知道用于编码的视频编解码器或音频编解码器使用什么。图4示出杜比AC-3音频的流信息。AC-3的stream_type未定义在ITU-TREC. H. 222. 0中，并且在欧洲使用PES专用数据的Stream_type，而在美国使用用户专用的 stream_type。因此，难以单独从图4中的stream_type确定elementary_PID指定的PID的分组是否是音频流。因此，AC-3提供AC-3描述符作为PMT的描述符，以及是否可以通过检测这个描述符来判断AC-3流。因此，PMT通过该描述符提供关于节目的编解码器的设置信息的使用方法。同样在本实施方式中，将基于该使用方法，描述通过将该描述符添加到PMT来发送附加信息动态图像存在信息的示例。图5示出在将附加信息动态图像描述符添加到PMT 的流信息时的情况。该附加信息动态图像描述符通知集成动态图像被压缩并且附加信息动态图像以具有由elementary_PID指定的PID的分组存在，并且作出参数通知来使用附加信息动态图像。如果由H. 264压缩集成动态图像，则将OX IB设置为stream_type，而如果由 MPEG2压缩集成动态图像，则将0X2设置为Stream_type。附加信息动态图像描述符本身与编解码器无关，并且同样的附加信息动态图像描述符可以用于MPEG2和H. 2640毫无疑问，现有接收器400难以解释附加信息动态图像描述符，并且通常通过忽略描述符来操作。然而，如果通过遵循本实施方式来设置集成动态图像和普通观看动态图像的区域以及样本纵横比，则集成动态图像也可以由现有接收器400解码并且从其中裁剪掉普通观看动态图像，以便可以正确地显示普通观看动态图像。另一方面，在根据本实施方式的接收器200中，可以通过附加信息动态图像存在信息解码单元208解码并解释附加信息动态图像描述符。因此，可以辨认普通观看动态图像的区域之外的附加信息动态图像的存在。在本实施方式中，假定在发送器与接收器之间对在使用附加信息动态图像时普通观看动态图像的裁剪区域与附加信息动态图像的宽度/高度和样本纵横比事先达成一致，因此将这些参数存储在附加信息动态图像描述符中并发送。图6示出了附加信息动态图像描述符的内容示例。图34示出了使用H. 264作为编码器并且使用附加信息动态图像描述符时发送器的处理流程图。首先，将根据集成动态图像中的普通观看动态图像的位置、宽度和高度计算出来的、H. 264的剪裁参数和aspect_ ratio_idc (必要时也使用sar_width和sar_hight)设置到编码器(步骤S200)。接下来， 准备使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度，附加信息动态图像的类型，样本纵横比，以及根据左上端点和宽度/高度确定的附加信息动态图像的裁剪开始位置、宽度和高度，作为图6中的附加信息动态图像描述符(步骤S202)。此外，作出诸如集成动态图像的图像尺寸之类的编码器设置，然后编码集成动态图像(步骤 S204)。可以通过将准备好的附加信息动态图像描述符设置到用于数字广播系统的发送需要的MPEG2-TS复用的PMT，来获得发送流(步骤S206)。在图2的示例中，除了普通观看动态图像之外存在的两个附加信息动态图像是两个非立体视觉附加信息动态图像，因此附加信息动态图像的类型被设置为非立体视觉，并且在使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度之后，连续指定附加信息动态图像的类型，附加信息动态图像的数量，以及每个附加信息动态图像的裁剪开始位置、宽度，高度和样本纵横比。这里，使用开始位置和宽度/高度来指定普通观看动态图像和附加信息动态图像的区域，但其目的是指定集成动态图像之内的布置，因此可以通过类似于指定H.沈4中的剪裁参数的方法的方法或任何其他方法来指定区域。除了图6中的附加信息动态图像描述符的格式之外，还可以通过为每种类型的附加信息动态图像准备描述符作为非立体视觉附加信息动态图像描述符，来省略描述符中的附加信息动态图像的类型的字段。另外，还可以通过为附加信息动态图像1和附加信息动态图像2每一个准备描述符并在PMT的流信息中描述多个附加信息动态图像描述符，来省略附加信息动态图像的数量的字段。当将新的附加信息动态图像描述符添加到MPEG2-TS的PMT时，本发明对MPEG2-PS 等也有效，通过将存储附加信息动态图像存在信息的新的描述符添加到节目流映像(PSM) 来实现有效操作。对于可以用于描述针对视频数据的补充信息并且可以将该补充信息添加到的、非 MPEG2的任何容器(container)，可以像上述添加描述符那样应用该补充信息。<当将附加信息动态图像存在信息作为专用部分(private section)发送时>在MPEG2-TS中，可以将部分数据发送到与PMT的层相同的层。通过假定对该部分的新添加的情况来考虑专用部分，并且可以考虑将本实施方式中的附加信息动态图像存在信息作为新的专用部分发送。图8示出了将附加信息动态图像存在信息作为新的专用部分发送的情况。现有接收器400难以解码新的部分，并且与PMT的描述符一样，被现有接收器400 跳过。图8示出了在用以判断图2中的集成动态图像的分组的PID和在使用附加信息动态图像时普通观看动态图像的裁剪开始位置、宽度和高度之后，连续指定附加信息动态图像的类型以及附加信息动态图像的裁剪开始位置、宽度、高度和样本纵横比。
图35示出了在将H. 264用作解码器并且使用附加信息动态图像部分时发送器的流程图。首先，将根据集成动态图像中的普通观看动态图像的位置、宽度和高度计算出来的、H. 264的剪裁参数和aspect_ratio_idc(必要时也使用sar_width和sar_hight)设置到编码器(步骤S300)。接下来，将在使用附加信息动态图像时普通观看动态图像用以判断分组的PID、裁剪开始位置、宽度和高度，附加信息动态图像的类型，样本纵横比，以及根据左上端点和宽度/高度确定的附加信息动态图像的裁剪开始位置、宽度和高度，作为图6中的附加信息动态图像部分进行准备(步骤S302)。此外，作出诸如集成动态图像的图像尺寸之类的编码器设置，然后编码集成动态图像(步骤S304)。通过也复用用于数字广播系统发送需要的MPEG2-TS复用的、准备好的附加信息动态图像部分，获得发送流(步骤S306)。这里，指定普通观看动态图像和附加信息动态图像的区域，但其目的是确定集成动态图像之内的布置，因此该布置也可以通过诸如在H. 264中指定剪裁区域的方法之类的其他方法来指定。通过为每种类型的附加信息动态图像添加新的专用部分，可以省略掉附加信息动态图像的类型。通过利用上述附加信息动态图像存在信息的三种存储方法之一，通过本实施方式中的发送器100的附加信息动态图像存在信息编码单元106编码该附加信息动态图像存在 fn息ο从以上，可以获得编码集成动态图像、普通观看动态图像、在使用附加信息动态图像时普通观看动态图像的裁剪区域、样本纵横比和附加信息动态图像存在信息的流。当视频编解码器遵循H.沈4时，如果获得了其流，并且用满足标准(ITU-TRec. H. 264)的现有接收器400解码该流，则忽略附加信息动态图像存在信息，并且显示普通观看动态图像。这也在视频编解码器遵循MPEG2 VIDEOdTU-T Rec. H. 262)时应用。另一方面，应用本实施方式的接收器200也解码附加信息动态图像存在信息，并且用户享受比现有接收器400提供的服务更多的服务。因此，根据本实施方式，可以在保持与现有电视机的兼容性的同时添加新功能，并且与在变成需要购买新电视机用于观看或动态图像引起不舒服的感觉时的情况相比，对用户的益处变得更大了。〈与接收器的用户交互〉当本实施方式中的接收器200接收到具有附加信息动态图像的节目时，用户可以通过设置或指令接收器200从至少三种类型的显示中选择1)正常显示普通观看动态图像2)在屏幕上同时显示普通观看动态图像和附加信息动态图像3)仅仅在屏幕中显示附加信息动态图像当在屏幕上同时显示普通观看动态图像和附加信息动态图像时，可以根据用户请求来改变要显示的附加信息动态图像的数量或其布置或尺寸。这里，通过操作遥控器等来事先设置接收器200怎样显示具有附加信息动态图像的节目。指令接收器200基于用户指令立即改变具有附加信息动态图像的节目的显示方法。图36、图37和图38示出了在分别使用要添加到H. 264的附加信息动态图像SEI、要添加到PMT描述符的附加信息动态图像描述符以及要添加到MPEG2-TS的附加信息动态图像部分时接收器200的流程图。在这些流程图，解码SEI、描述符或部分的信息以确定是否存在任何附加信息动态图像，如果存在附加信息动态图像，则接收在使用附加信息动态图像时普通观看动态图像和附加信息动态图像的参数。图36、图37和图38之间的差异是通过在MPEG2-TS的分用期间解码PSI/SI来获得参数(图37和图38)，还是作为H. 264中的解码的结果来获得参数(图36)。在接收到参数之后，依赖于作出普通显示，使用附加信息动态图像显示，还是显示两者，来读取接收器的用户设置以改变动态图像的输出。如果通过用户设置设置了普通显示，则输出普通观看动态图像(步骤S410、S510、S610)。如果通过用户设置将输出普通观看动态图像和附加信息动态图像，则输出普通观看动态图像和附加信息动态图像(步骤S414、S514、S614)。如果通过用户设置不输出普通观看动态图像和附加信息动态图像，则输出附加信息动态图像(步骤S416、S516、S616)。在本实施方式中，图解了在其中附加信息动态图像相关地涉及普通观看动态图像的动态图像，但即使不特别涉及动态图像，本实施方式也有效地操作。[2.第二实施方式]将山景的多眼(Multi-eye)立体视觉内容取作示例来描述这样的情况在对于将用于多眼立体视觉的动态图像作为附加信息动态图像的发送，在发送和接收之间对下列信息达成一致。如果没有达成协议，则可以像“第一实施方式”中那样发送信息。·在使用附加信息动态图像时普通观看动态图像的裁剪区域·附加信息动态图像的位置·附加信息动态图像的宽度/高度·附加信息动态图像的样本纵横比1.双眼(Double-Eye)立体视觉动态图像这里，考虑在将多眼立体视觉的双眼立体视觉动态图像的左眼动态图像作为普通观看动态图像(第一图像)发送而将右眼动态图像作为附加信息动态图像(第二图像)发送的情况。首先，关于集成动态图像的动态图像压缩以及普通观看动态图像区域和样本纵横比的编码，可以直接应用在第一实施方式中描述的方法。关于附加信息动态图像存在信息，首先考虑在发送侧与接收侧之间达成的协议。 普通观看动态图像与附加信息动态图像是一对双眼立体视觉动态图像，并且可以考虑成具有与动态图像相同的属性，以便将普通观看动态图像的参数适合于附加信息动态图像的参数是自然协议。也就是说，在这里假定以下协议(1)普通观看动态图像和附加信息动态图像具有与图像尺寸相同的宽度和高度。(2)普通观看动态图像和附加信息动态图像具有相同的样本纵横比。在本实施方式中，当不实现双眼立体视觉时，显示左眼动态图像。假定达成协议来使显示区域和用于双眼立体视觉的左眼动态图像的区域相同。也就是说，达成以下一致(3)在使用附加信息动态图像时普通观看动态图像的裁剪区域与在不使用附加信息动态图像时普通观看动态图像的裁剪区域相同接下来，将普通观看动态图像和附加信息动态图像布置在一帧中，并且通过假定在发送与接收之间附加信息动态图像被布置在普通观看动态图像之下，来考虑根据双眼立 体视觉动态图像的图像尺寸确定附加信息动态图像的裁剪开始位置。如果在普通观看动态图像之后立即布置附加信息动态图像的裁剪位置，则该布置 看起来如图9所示，而协议内容看起来如图10所示。如果避免了同一宏块(macroblock)中的左眼动态图像的下边缘和右眼动态图像 的上边缘的编码，则可以如图11所示，将右眼动态图像布置成关于左眼动态图像隔开，并 且协议内容看起来如图12所示。虽然在图10和图12中仅仅示出了图像尺寸的一部分，但可以发送的图像的尺寸 可以如图10和图12所示那样达成一致，或者可以像如下所示的计算公式那样根据普通观 看动态图像的剪裁参数达成协议。图9中的附加信息动态图像的裁剪开始位置(xa，ya)开始于紧接普通观看动态图 像的最下边缘线之下，并且可以计算如下xa = frame_crop_left_offsetya = 16*FrameHightInMbs-2*frame_crop_bottom_offset而附加信息动态图像的图像尺寸(W，h)与普通观看动态图像的图像尺寸相同，并 且可以计算如下W = PicWidthlnSamles-2*frame_crop_left—offset-2*frame_crop_right_offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_offset另一方面，可以通过使用图9中的裁剪开始位置(xa，ya)来如下那样计算图10中 的附加信息动态图像的裁剪开始位置xb = xayb = ya+(16-ya% 16)(ya% 16表示将ya除以16之后的余数)在这些条件下，达成协议(4)集成动态图像中的附加信息动态图像的裁剪开始位置的确定方法基于例如图 12中的表格，并且如果图像尺寸不包含在该表格中，则使用其高度高于该图像尺寸的高度 并与其最接近的图像尺寸。基于上述(1)至G)中的协议，假定在发送和接收之间对下列信息达成一致 在使用附加信息动态图像时普通观看动态图像的裁剪区域 附加信息动态图像的位置 附加信息动态图像的宽度/高度 附加信息动态图像的样本纵横比可以通过在具有用于根据普通观看动态图像的剪裁参数确定附加信息动态图像 的裁剪开始位置和图像尺寸的功能和将普通观看动态图像的样本纵横比作为附加信息动态图像的样本纵横比输出的功能的接收器200中配备附加信息动态图像存在信息解码单元208，来满足这些协议。要传递的参数全部在这些协议中达成一致，并且要从发送器侧发送到接收器侧的附加信息动态图像存在信息的必要内容包括关于是否存在附加信息动态图像的信息以及指示普通观看动态图像和附加信息动态图像是一对双眼立体视觉动态图像的信息(立体视觉判断信息)。因此，如果发送了可以定义附加信息动态图像的类型的代码并且在接收侧上检测到该代码，则基于(1)至(4)获得附加信息动态图像并使用。因此，甚至传统发送信息也可以用作附加信息动态图像存在信息。以下将描述在将本实施方式应用于第一实施方式中所描述的信息时的情况，该信息诸如是· H. 264 的 SEI(如果是 MPEG2 视频则为 USER_DATA)· MPEG2-TS 的 PMT 描述符(如果是MPEG2-PS则为PSM描述符)· MPEG2-TS的专用部分图16示出在将附加信息动态图像SEI重新添加到H. 264时的内容。因为在发送与接收之间对在使用附加信息动态图像时普通观看动态图像的裁剪区域和集成动态图像中的附加信息动态图像的区域和样本纵横比事先达成一致，因此作为seijiieesage的最少必要信息仅仅是附加信息动态图像的类型与垂直双眼立体视觉达成一致。这在图16中被示出为指定的垂直双眼立体视觉。这种类型可以是指定的双眼立体视觉，但除了垂直布置的眼之外还存在水平布置的眼，并且将“垂直”添加到名称上来强调垂直布置。在将SEI的一个片段重新添加到H. 264时的情况看起来如图16所示，但如果为每种类型的附加信息动态图像添加了 SEI，则在如图17所示的seijiiessage中不存在必要的信息项，因为例如利用指定的垂直双眼立体视觉附加信息动态图像SEI的存在，可以确定集成图像具有垂直双眼立体视觉附加信息动态图像。(毫无疑问，可以包含其他信息。)接下来，图18示出了在将附加信息动态图像描述符重新添加到PMT时的内容。因为在发送与接收之间对在使用附加信息动态图像时普通观看动态图像的裁剪区域和集成动态图像中的附加信息动态图像的区域和样本纵横比事先达成一致，因此作为描述符的最少必要信息仅仅是附加信息动态图像的类型与垂直双眼立体视觉达成一致。同样关于描述符，如图19所示，如果为每种类型的附加信息动态图像准备了描述符，则在描述符中不存在本实施方式的操作需要的信息。图20示出了在将发送附加信息动态图像存在信息的数据添加到MPEG2-TS的专用部分时private_data_byte的内容。与PMT描述符一样，需要指定附加信息动态图像的类型，还需要指定具有附加信息动态图像的流的PID。同样关于专用部分，可以通过采用为每一种类型的附加信息动态图像重新添加专用部分的方法来省略附加信息动态图像的类型。从以上，与第一实施方式中一样，可以获得编码集成动态图像、普通观看动态图像的区域、在使用附加信息动态图像时普通观看动态图像的裁剪区域、样本纵横比和附加信息动态图像存在信息的流。当视频编解码器遵循H. 264时，如果获得了其流并且该流通过满足H. 264标准 (ITU-T Rec. H. 264)的现有接收器400解码，则忽略附加信息动态图像存在信息并且显示普通观看动态图像。这也应用在视频编解码器遵循MPEG2VIDE0(ITU-T Rec. H. 262)时。另一方面，应用了本实施方式的接收器200还通过附加信息动态图像存在信息解码单元208正确地解码附加信息动态图像存在信息，以便如下所示那样，用户享受比现有接收器400提供的服务更多的服务。因此，根据本实施方式，可以在保持与现有电视机的兼容性的同时添加新功能，并且与在变成需要购买新电视机用于观看或动态图像引起不舒服的感觉时的情况相比，对用户的益处更大了。接下来，将描述通过遵循本实施方式的接收器200显示图9和图11所示的图像的情况。如果该接收器不能呈现双眼立体视觉，则使用H. 264标准中的剪裁参数来从集成动态图像中裁剪调普通观看动态图像，因此基本地向用户呈现普通观看动态图像。使用本实施方式的接收器200可以确定附加信息动态图像的存在、布置和样本纵横比，以便可以通过提供用户指令附加信息动态图像的右眼动态图像而不是普通观看动态图像的左眼动态图像的显示的功能，来切换和显示左眼动态图像、右眼动态图像或者这两者ο图42、图43和图44示出了在分别使用要添加到H. 264的附加信息动态图像SEI、 要添加到PMT描述符的附加信息动态图像描述符以及要添加到MPEG2-TS的附加信息动态图像部分时接收器200的流程图。在这些流程图中，由附加信息动态图像存在信息解码单元208解码SEI的信息、描述符或部分以确定在集成动态图像中是否存在任何附加信息动态图像，如果存在附加信息动态图像，则接收在使用附加信息动态图像时普通观看动态图像和附加信息动态图像的参数。图42、图43和图44之间的差异是通过在MPEG2-TS的分用期间解码PSI/SI来获得参数(图43和图44)，还是作为H. 264中的解码的结果来获得参数 (图42)。在接收到参数之后，读取接收器的用户设置来确定作出普通显示还是使用附加信息动态图像进行显示。在本实施方式中，附加信息动态图像的类型是立体视觉，因此不能显示立体视觉的接收器难以使用普通观看动态图像/附加信息动态图像实现立体视觉。然而，如果用户不选择普通观看，则用户可以从普通观看动态图像/附加信息动态图像中选择要显示的动态图像，并且依赖于选择，从解码的集成动态图像中裁剪掉普通观看动态图像或附加信息动态图像，并且根据用户指令/设置输出动态图像。如上所述，可以切换和显示左眼动态图像、右眼动态图像或两者。如果接收器能够呈现双眼立体视觉，则可以通过使用普通观看动态图像和附加信息动态图像呈现双眼立体视觉。用户不一定总是期望双眼立体视觉，因此代替双眼立体视觉，可以根据用户指令或设置仅仅显示普通观看动态图像和仅仅显示附加信息动态图像。图39、图40和图41示出了在分别使用要添加到H. 264的附加信息动态图像SEI、 要添加到PMT描述符的附加信息动态图像描述符以及要添加到MPEG2-TS的附加信息动态图像部分时接收器的流程图。在这些流程图，解码SEI的信息、描述符或部分以确定是否存在任何附加信息动态图像，如果存在附加信息动态图像，则接收在使用附加信息动态图像时普通观看动态图像和附加信息动态图像的参数。图39、图40和图41之间的差异是通过在MPEG2-TS的分用期间解码PSI/SI来获得参数(图40和图41)，还是作为H. 264中的解码的结果来获得参数(图39)。在接收到参数之后，读取接收器的用户设置来确定作出普通显示还是使用附加信息动态图像进行显示。在使用附加信息动态图像时，如果立体动态图像被包含在附加信息动态图像中， 则根据用户指令/设置确定是否进行立体视觉(步骤S920)，而如果不进行立体视觉，则输出从普通观看动态图像/附加信息动态图像选择的动态图像(步骤S722、S724)。如果进行立体视觉，则通过根据每一个视点输出动态图像来呈现该立体视觉(步骤S730、S830、 S930)。更具体地说，如下所示那样地处理立体视觉。首先，接收器200接收从发送器100 侧发送的附加信息动态图像存在信息。附加信息动态图像存在信息包含指示附加信息动态图像是否是用于立体视觉的图像的信息(被称为立体视觉判断信息)。接下来，如果附加信息动态图像的类型是基于立体视觉判断信息的立体视觉(在步骤S712、S812、S912中的 “是”)，则接收器200输出普通观看动态图像作为左眼图像，而输出附加信息动态图像作为右眼图像。另一方面，如果附加信息动态图像的类型不是基于立体视觉判断信息的立体视觉(在步骤S712、S812、S912中的“否”)，则接收器200输出普通观看动态图像作为普通显示。如果附加信息动态图像的类型不是立体视觉，则与图36、图37和图38中的流程图所示的处理一样，也可以输出从普通观看动态图像/附加信息动态图像中选择的动态图像(不仅可能组合了一个动态图像，而且可能组合了多个动态图像)。毫无疑问，该接收器能够显示立体视觉，因此通过水平地移位所选择的动态图像输出来创建右眼动态图像和左眼动态图像，可以向前/向后移动输出的动态图像的呈现区域。在这个示例中，将普通观看动态图像设置为左眼动态图像，但其也可以被设置为右眼动态图像。如果改变了普通观看动态图像与附加信息动态图像之间的垂直关系，则可以通过改变每个动态图像的参数来应对这种变化。与这个示例一样，本发明也在将附加信息动态图像布置在普通观看动态图像的一侧时有效。2.多眼立体视觉动态图像在柱镜(lenticular)方法或视差障栅(parallax barrier)方法的立体视觉中， 可以处理多眼立体视觉的动态图像。一般地，这些方法被称为裸眼3D(维)方法或无眼镜 (glaSSleSS)3D方法。在这种情况下，例如，将第一和第二图像设置为用于左眼和右眼的图像以从第一方向允许立体视觉，并且将第三和第三图像设置为用于左眼和右眼的图像以从不同于第一方向的第二方向允许立体视觉。本实施方式也在动态图像输出单元具有这些方法的图像呈现方法并且多眼立体视觉的一个图像可以被用作普通观看动态图像而其余图像被用作附加信息动态图像时有效。作为在发送与接收之间对附加信息动态图像的布置达成一致的方法，例如，同意多眼立体视觉的动态图像的水平布置，并且根据集成动态图像的宽度和普通观看动态图像的宽度计算水平地布置的动态图像的数量。图13示出了在以上协议下布置动态图像时集成图像的布置状态。根据另一协议， 多眼立体视觉的动态图像的数量和布置(例如，水平地)达成一致，并且在水平地布置了尽可能多的动态图像之后，如果存在任何剩余动态图像，则垂直地布置这种图像。
图14示出了在以上协议下布置了动态图像时集成图像的布置状态。同样对于图 13和图14，需要同意是否应该隔开图像。毫无疑问，如果准备了两种类型的附加信息动态图像隔开的水平三眼立体视觉和非隔开的水平三眼立体视觉，并且作为附加信息动态图像存在信息发送，则可以对每段内容选择集成动态图像的其类型。3.多眼立体视觉和不同角度立体视觉动态图像此外，作为节目，如第一实施方式中所述，可以考虑从不同角度发送视频。因为主视频是立体视觉动态图像，所以来自不同角度的视频最好是按照观看的立体视觉动态图像，并且在以下假定是立体视觉动态图像。顺便说，即使不同角度的视频不是立体视觉动态图像，本实施方式也是有效的。图15示出了一个集成动态图像示例，在其中主立体视觉动态图像被布置在上部而补充立体视觉动态图像被布置在下部。从节目的视点看，期望主立体视觉动态图像的一个动态图像变成普通观看动态图像。排除了普通观看动态图像的动态图像全部是附加信息动态图像。顺便说，不特别将普通观看动态图像限制到左上角上的布置。考虑这样的情况以与图13中的相同方式在发送与接收之间达成关于主立体视觉动态图像的协议，并且不达成关于立体视觉动态图像的协议。图21示出将附加信息动态图像SEI重新添加到H. 264时的内容。SEI的内容包括作为用于指定的水平三眼视觉的附加信息动态图像的主立体视觉动态图像，以及作为用于补充水平三眼视觉的附加信息动态图像的补充立体视觉动态图像。补充水平三眼视觉指的是水平三眼视觉并且不包含普通观看动态图像，并且假定指的是不同于简单的水平三眼视觉。从实现的视点(viewpoint)来看，可以考虑通过利用具有位字段的ID作为附加信息动态图像的类型指定下列信息。·是否使用普通观看动态图像的位·是否在发送侧和接收侧之间对在使用附加信息动态图像时普通观看动态图像的裁剪区域达成一致的位·是否在发送侧和接收侧之间对附加信息动态图像达成一致的位置的位·是否在发送侧和接收侧之间对附加信息动态图像的宽度/高度达成一致的位·是否在发送侧和接收侧之间对附加信息动态图像的样本纵横比达成一致的位·是否为立体视觉的位·是否为立体视觉而水平布置的位·用于立体视觉的视点的数量在图21的seijiieesage中，可以通过为指定的水平三眼视觉指定附加信息动态图像来确定下列信息 在使用主附加信息动态图像时普通观看动态图像的裁剪区域·主附加信息动态图像的位置·主附加信息动态图像的宽度/高度·主附加信息动态图像的样本纵横比接下来，指定用于补充水平三眼视觉的附加信息动态图像来指定用于三眼的附加信息动态图像的位置、宽度/高度和样本纵横比。在三眼视觉中，将各个视点的动态图像考虑成具有相同的宽度/高度和样本纵横比，因此在图21中假定宽度/高度和样本纵横比是公用的，并且一次性作出其设置并仅仅为三眼指定裁剪开始位置。图沈示出了在将附加信息动态图像描述符添加到PMT描述符时的内容。与图21 中的SEI —样，通过为指定的水平三眼视觉指定附加信息动态图像，来确定 在使用主附加信息动态图像时普通观看动态图像的裁剪区域·主附加信息动态图像的位置·主附加信息动态图像的宽度/高度·主附加信息动态图像的样本纵横比接下来通过为补充水平三眼视觉指定附加信息动态图像，可以确定用于三眼的附加信息动态图像的位置、宽度/高度和样本纵横比。图27示出了在将发送附加信息动态图像存在信息的数据添加到MPEG2-TS的专用部分时priVate_data_byte的内容。除了指定用以呈现附加信息动态图像的流的PID之外， 指定内容与附加信息动态图像SEI的内容相同。与图21中的SEI —样，通过为指定的水平三眼视觉指定附加信息动态图像来确定下列信息 在使用主附加信息动态图像时普通观看动态图像的裁剪区域·主附加信息动态图像的位置·主附加信息动态图像的宽度/高度·主附加信息动态图像的样本纵横比接下来，可以通过为补充水平三眼视觉指定附加信息动态图像，来确定用于三眼的附加信息动态图像的位置、宽度/高度和样本纵横比。从以上，发送是可能的，当主视频是立体动态图像时，可以通过遵循本实施方式来发送来自不同视点的立体动态图像。如果甚至包括主/补充立体动态图像的流的流遵循本实施方式，则可以通过现有接收器400将主立体动态图像的单眼动态图像作为普通观看动态图像观看。此外，应用了本实施方式的接收器200允许观看来自主/补充立体动态图与主或或补充立体动态图像之间的优选的单眼动态图像。4.使用具有与普通观看动态图像的图像尺寸不同的图像尺寸的附加信息动态图像的双眼立体视觉图31示出这样的情况在集成图像中将普通观看动态图像布置为1440X 1080的左眼动态图像而将附加信息动态图像布置为480 X 1080的左眼动态图像，并且图32示出这样的情况将普通观看动态图像布置成1920X810的中心动态图像而将附加信息动态图像布置成960X270的两个图像(左动态图像、右动态图像)。当在在本实施方式中处理多眼立体视觉动态图像时，不需要在同一图像尺寸下处理全部视点，并且与图31和图32中一样，对于发送(累积)，可以增加普通观看动态图像的信息量，并减少附加信息动态图像的信息量。按照这种方式，在抑制普通观看动态图像恶化的同时，可以发送多眼立体视觉动态图像。在实际多眼视觉(例如，通过图39中的普通和附加信息输出的立体视觉)中，普通观看动态图像的放大比和附加信息动态图像的放大比不同，并且作出调整以便针对左和右眼的呈现尺寸变成相等。毫无疑问，担心再现图像由于附加信息动态图像的被减少的信息量的恶化。
然而，在双眼立体视觉中人类的正确官能是出众的，并且出现具有更多信息量的单眼图像信息补偿其他的图像信息的现象。例如，甚至在右和左眼之间具有不同视力的人也可以体验立体视觉。实际上，已经证实了即使当单眼图像有点模糊时也可以实现立体视觉，并且甚至关于图39中的不平衡的左和右动态图像，立体视觉也是可能的。图32示出了用于三眼立体视觉的动态图像，并且通过具有较大信息量的普通观看动态图像作为中心动态图像来构建集成动态图像，以便可以从右眼动态图像或左眼动态图像作出具有较大信息量的动态图像。如果将具有大信息量的动态图像用作右眼动态图像，则用作普通观看动态图像的中心动态图像被用于右眼，而附加信息动态图像的左动态图像被用于左眼。如果将具有大信息量的动态图像用作左眼动态图像，则用作普通观看动态图像的中心动态图像被用于左眼，而附加信息动态图像的右动态图像被用于右眼。这考虑允许用户依赖于左和右眼视力以及左和右眼的疲劳度，根据用户偏好选择使用哪只眼来观看具有较大量信息的普通观看动态图像。图31和图32的集成动态图像中的普通观看动态图像和附加信息动态图像的布置和图像尺寸是示例，而不限制本发明。如上所述，根据以上实施方式，甚至在现有接收器中，也可以观看普通观看动态图像。如果可以在通过利用本实施方式创建的流中正确地处理编解码器的裁剪参数，甚至现有接收器也可以从呈现的集成动态图像内裁剪掉普通观看动态图像。特别地，H. 264具有块编码单元并且通常以16的倍数的像素数量为单位编解码像素。另一方面，像素数量1920X1080的图像中的1080不是16的倍数，并且该图像一般使用1088进行编码并且其八线在显示时被丢弃。原来已经使用剪裁信息来指定要丢弃的八条线，但在本发明中重新使用作为区域信息以指定普通图像的区域(二维图像或非立体图像)作为完全不同的使用形式。本发明可以利用现有系统，因此可以很有效率地实现。同样根据本实施方式，可以在保持与现有接收器的兼容性的同时添加新的功能， 以便用户可以在期望的切换周期中接收新的服务，而不会强迫为了观看而购买新的电视机或者观看引起不舒服的感觉的动态图像。本实施方式也可以被应用于裸眼3D型电视机。因此，在混合了现有接收器和能够接收附加信息动态图像的接收器的情形下，可以将发送器改变到具有附加信息动态图像的动态图像的发送器，而在现有接收器侧上不会有障碍。而且，可以减少现有发送器/接收器的改变量，以便可以降低开发成本并削减使用本实施方式的发送器/接收器的价格。以上已经参考附图描述了本发明的优选实施方式，当然，本发明不限于以上示例。 本领域普通技术人员在附录的权利要求书的范围内可以发现各种变更和改进，并且应该理解，它们将自然归入本发明的技术范围。附图标记列表100发送器102动态图像压缩单元104普通观看动态图像区域编码单元106附加信息动态图像存在信息编码单元200接收器
202动态图像解压单元204普通观看动态图像区域解码单元206动态图像输出单元208附加信息动态图像存在信息解码单元
权利要求
1.一种图像接收器，包括接收单元，接收在其中在一帧中布置第一图像和第二图像的集成图像；以及获取单元，获取指示与该集成图像一起发送的第一图像的区域的区域信息， 其中，包括在其中仅仅第一图像基于区域信息被显示的非立体视频显示模式和/或在其中第一图像和第二图像被显示为立体视频的立体视频显示模式。
2.根据权利要求1的图像接收器，其中，基于指示集成图像是立体视频的立体视觉判断信息切换非立体视频显示模式和立体视频显示模式。
3.根据权利要求1的图像接收器，其中，第一图像是左眼图像而第二图像是右眼图像。
4.根据权利要求1的图像接收器，其中，由264/AVC编解码器编码集成图像和区域信息并且该区域信息是剪裁参数。
5.根据权利要求4的图像接收器，其中，该剪裁参数包括在序列参数集SPS中。
6.根据权利要求1的图像接收器，其中，集成图像具有进一步布置在一帧中的一个或多个图像。
全文摘要
公开了图像接收装置，提供有接收单元，其接收在其中在单帧中布置了第一图像和第二图像的组合图像；以及获取单元，其获取与该组合图像一起发送的区域信息并指示第一图像所在的该区域。图像接收装置具有在其中仅仅基于区域信息显示第一图像的非立体显示模式和/或在其中将第一图像和第二图像显示为立体图像的立体显示模式。
文档编号H04N7/26GK102273212SQ201080004186
公开日2011年12月7日 申请日期2010年11月17日 优先权日2009年11月17日
发明者永野秀敏 申请人:索尼公司