图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统的制作方法

专利名称：图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统的制作方法
技术领域：
本发明涉及一种图像发送方法、图像接收方法、图像发送设备、图像接收设备和图像发送系统。
背景技术：
过去，例如，正如下面的专利文献所述，众所周知，以预定周期向显示器交替提供其间具有视差的左眼图像和右眼图像，并且以具有以预定周期驱动的同步液晶快门的眼镜来观看该图像的技术。在当前的数字广播中，诸如电子节目表或者数字广播的服务在运营，而且根据用户的要求，开始提供普通视频或者音频节目之外的服务。引文列表专利文献专利文献1专利文献2专利文献
发明内容
技术问题在这些情况下，已经通过附加新的值到视频或者音频，来请求普通节目进一步丰富服务。为了附加新的值到视频，可以设想独立于普通视频(下面称为“普通观看运动图像”)发送具有附加的值的视频(下面称为“附加信息运动图像”)，并且在接收侧利用普通观看运动图像和附加信息运动图像，显示具有高附加值的运动图像。为了与对普通观看创建的普通观看运动图像一起发送附加信息运动图像以改善该内容的附加值，可以采用单独编码和发送普通观看运动图像和附加信息运动图像、单独解码所发送的运动图像、以及显示运动图像的技术。然而，在这种情况下，接收设备侧必须执行两次解码，并且如果安装了两个解码器，则接收设备的价格升高。同时，如果普通观看运动图像和附加信息运动图像被布置在单一屏幕上，则由于该普通观看运动图像和附加信息运动图像一起编码，所以可以由单一编码器进行编码，并且由单一解码器解码该普通观看运动图像和附加信息运动图像。然而，恒定地显示该普通观看运动图像和附加信息运动图像作为接收设备的输出，导致与发送侧初始期望的普通观看运动图像不同的显示。例如，双目立体运动图像可以被作为具有比普通视频高的附加值的视频发送。在这种情况下，可以考虑一个单目图像被看作普通观看运动图像，而另一单目图像被作为附加信息运动图像发送。因此，在不能实现双目立体视觉的现有接收设备中，如图观和图四所示，普通观
:JP 9-138384A :JP 2000-36969A :JP 2003-45343A看运动图像和附加信息运动图像在同一个屏幕上在垂直方向或者水平方向上被缩小，然后，同时并行地显示它们。由于该双目立体视觉在左运动图像和右运动图像之间的内容差别小，所以在不能实现双目立体视觉的接收设备中，希望以正确的纵横比仅观看单目运动图像(普通观看运动图像)，如图30所示，而非图观和图四所示。因此，鉴于上述问题设计了本发明，并且本发明的目的是提供新颖的和改进的图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统，其能够将现有发送/接收设备在运动图像发送上的改变最小化，并且与普通观看运动图像一起发送附加信息运动图像。技术方案根据本发明的方面，为了实现上述目的，提供了图像发送方法，包括步骤压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；编码表示普通观看运动图像的区域的区域信息；编码表示存在附加信息运动图像的存在信息；以及发送集成图像， 区域信息和存在信息。存在信息可以包括指定附加信息运动图像的类型的信息。可以包括将附加信息运动图像是否是用于多目立体视觉的运动图像指定为附加信息运动图像的类型的信息。存在信息可以包括表示附加信息运动图像的区域的或者附加信息运动图像的纵横比的区域信息。存在信息可以包括指定在使用附加信息运动图像时的普通观看运动图像的图像区域的信息。根据本发明的另一方面，为了实现上述目的，提供了图像接收方法，包括步骤解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像； 解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；基于区域信息指定并显示普通观看运动图像的区域；以及基于存在信息识别附加信息运动图像的存在，并显示附加信息运动图像。根据本发明的又一方面，为了实现上述目的，提供了图像发送设备，包括压缩单元，被配置为压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息。根据本发明的又一方面，为了实现上述目的，提供了图像接收设备，包括解压缩单元，被配置为解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息解码单元，被配置为解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于区域信息指定并输出普通观看运动图像的区域，基于存在信息识别附加信息运动图像的存在，以及输出附加信息运动图像。根据本发明的又一方面，为了实现上述目的，提供了包括图像发送设备和图像接
5收设备的图像发送系统，图像发送设备包括压缩单元，被配置为压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息；图像接收设备包括解压缩单元，被配置为解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息解码单元，被配置为解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于区域信息指定并输出普通观看运动图像的区域，基于存在信息识别附加信息运动图像的存在，以及输出附加信息运动图像。技术效果根据本发明，可以将现有发送/接收设备在运动图像发送时的改变最小化，并且与普通观看运动图像一起发送附加信息运动图像。


图1是示出普通观看运动图像和附加信息运动图像显示在一个屏幕上的状态的示意图。图2是示出图1的布置信息被表示为表的状态的示意图。图3是示出裁剪参数和与要裁剪的区域的矩形区域相关的参数。图4是示出杜比(Dolby)AC-3音频的流信息的示意图。图5是示出对PMT的流信息添加附加信息运动图像描述符的情况的示意图。图6是示出附加信息运动图像描述符的内容的示例的示意图。图7是示出一层附加信息运动图像SEI的示意图。图8是示出发送附加信息运动图像表示信息作为新专用部分的情况的示意图。图9是示出在普通观看运动图像之后直接布置附加信息运动图像的裁剪位置的情况的示意图。图10是示出在普通观看运动图像之后直接布置附加信息运动图像的裁剪位置时的协议内容的示意图。图11是示出以距离左眼运动图像一定间隔的布置右眼运动图像的情况的示意图。图12是示出图11的情况下的协议内容的示意图。图13是示出当同意在横向上布置多目立体视觉的运动图像时，集成图像的布置状态的示意图。图14是示出当通过在横向上充分布置之后在纵向上布置剩余运动图像的协议进行布置时集成图像的布置状态的示意图。图15是示出主立体运动图像布置在上部而补充立体运动图像布置在下部的集成运动图像的示例的示意图。图16是示出向H. 264新添加附加信息运动图像SEI时的内容的示意图。图17是示出当对于每种类型的附加信息运动图像新建立SEI时seijiiessage内的信息的主要项消失的状态的示意图。图18是示出当向PMT新添加附加信息运动图像描述符时的内容的示意图。图19是示出对于每种类型的附加信息运动图像准备描述符时的描述符内的信息的示意图。图20是示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的private_data_byte的内容的示意图。图21是示出当向H. 264新添加附加信息运动图像SEI时的内容的示意图。图22是示出根据本实施例的发送设备的框图。图23是示出现有发送设备的示意图。图M是示出根据本实施例的接收设备的示意图。图25是示出现有接收设备的示意图。图沈是示出当向PMT的描述符新添加附加信息运动图像描述符时的内容的示意图。图27是示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的private_data_byte的内容的图。图28是示出在垂直方向或者水平方向上在同一个屏幕上普通观看运动图像和附加信息运动图像被缩小，然后被同时并行显示的状态的示意图。图四是示出在垂直方向或者水平方向上在同一个屏幕上普通观看运动图像和附加信息运动图像被缩小，然后被同时并行显示的状态的示意图。图30是示出以正确的纵横比仅显示一眼运动图像(普通观看运动图像)的状态的示意图。图31是示出在集成图像中布置作为普通观看运动图像的1440X 1080的左眼运动图像和作为附加信息运动图像的4800X1080的右眼运动图像的情况的示意图。图32是示出在布置作为普通观看运动图像的1920X1080的中心运动图像和作为附加信息运动图像的1920X270的两个图像(左运动图像和右运动图像)的情况的示意图。图33是示出当使用附加信息运动图像SEI时使用H. 264作为编码器的发送设备的处理流程的示意图。图34是示出当使用附加信息运动图像描述符时使用H. 264作为编码器的发送设备的处理流程的示意图。图35是示出当使用附加信息运动图像部分时使用H. 264作为编码器的发送设备的处理流程的示意图。图36是当使用添加到H. 26的附加信息运动图像SEI时接收设备的流程。图37是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。图38是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。图39是当使用添加到H. 264的附加信息运动图像SEI时接收设备的流程。图40是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。
图41是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。图42是当使用添加到H. 264的附加信息运动图像SEI时接收设备的流程。图43是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。图44是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。
具体实施例方式下面，将参考附图详细描述本发明的优选实施例。请注意，在该说明书和附图中， 利用相同的附图标记表示其功能和结构基本相同的单元，并且省略重复解释。此外，以如下顺序进行描述。1.第一实施例(发送多个任意图像的示例)2.第二实施例(应用于立体图像)[1.第一实施例]首先，将参考附图描述根据本实施例的系统的概念。在此，将结合发送不用于双目立体视觉的运动图像作为附加信息运动图像的情况，描述高尔夫球转播的内容的示例。然而，高尔夫球转播(golf relay)的内容仅是示例，并且本发明的应用范围并不局限于高尔夫球转播。图1示出在普通观看运动图像和附加信息运动图像显示在一个屏幕上的状态，并且图1中的数字代表像素数。在此，作为示例，结合采用本实施例的技术的情况描述球穴区 (green)周围的情况。普通观看运动图像是通过其执行普通高尔夫球转播的运动图像，并且也是与当前节目内容(主节目)对应的运动图像。同时，附加信息运动图像是与普通观看运动图像分离的运动图像，并且通过提供在与普通观看运动图像不同的视点处创建的运动图像来丰富节目内容。例如，如图1所示，当通过普通观看运动图像示出球穴区上的视频时，利用使得球穴区倾斜或者实现公知的草纹路(grass grain)的运动图像、另一已经击球入洞、正盯着监视器的运动员的面部表情的运动图像等，附加信息运动图像允许用户能够从各角度捕捉视频的场景。此外，当普通观看运动图像是运动员在球道上行走的视频时，可以考虑紧接在先前球杆击球的再现图像或者示出高尔夫球赛的观众(gallery)的运动图像用作附加信息运动图像的配置。[集成运动图像]在本实施例中，为了减少当前运动图像压缩和解压缩设备的改变，普通观看运动图像和附加信息运动图像布置在一帧中(或者场)，并作为一个运动图像经历压缩和解压缩处理(下面称为“集成运动图像”)。图1示出在一帧中布置显示球位于球穴区上的普通观看运动图像、从上方显示整个洞的运动图像、以及关于球穴区倾斜的评论的运动图像的一帧集成运动图像。即使利用场代替帧，本实施例的有效性也不发生变化。图2示出图1的布置信息作为表。图2示出集成运动图像的尺寸是1920X1080 而该集成图像的左上坐标为(0，0)时的运动图像的布置信息。由于普通观看运动图像从左上侧添加，所以左上端点是(0，0)。普通观看运动图像是在宽度方向(水平方向)缩小到一半的图像，并且宽度X高度是960X1080像素。由于被缩小，所以样本纵横比是2 1。 同时，附加信息运动图像具有720X480像素的图像尺寸，并且在假定16 9屏幕的情况下创建的运动图像一起呈现，所以样本纵横比是40 33。该区域和样本纵横比不需要特别在两个附加信息运动图像之间匹配，并且附加信息运动图像的数量并不限于2个。<当前广播>将结合通过当前数字广播系统广播集成运动图像的情况进行描述。在该当前数字广播系统中，通过被称为MPEG-2传送流(K)的分组多路复用方案编码和发送运动图像和音频。MPEG-2视频和H. 264 (AVC)是主流运动图像编解码器，并且通过该编解码器压缩和发送运动图像。〈发送设备的配置〉图22是示出根据本实施例的发送设备的框图。如图22所示，发送设备100包括 运动图像压缩单元102、普通观看运动图像区域编码单元104以及附加信息运动图像存在信息编码单元106。到图22的发送设备100的输入包括其中集成了普通观看运动图像和附加信息运动图像的集成运动图像、该集成运动图像内的普通观看运动图像的区域和纵横比、附加信息运动图像的类型和区域(当在发送与接收之间不存在优先协议时)以及在使用附加信息运动图像时(当发送与接收之间不存在优先协议时)集成运动图像内的普通观看运动图像的区域，并且其输出包括其中已编码输入的流。图23示出现有的发送设备。该现有发送设备与图22的发送设备的不同之处在于未安装编码信息运动图像存在信息编码单元106。图22和图23的配置可以由诸如电路系统或者中央处理单元(CPU)的硬件和运行该CPU的程序(软件)实现。将在下面描述的接收设备也类似。<集成运动图像的压缩和普通观看运动图像的区域编码>在本实施例中，通过现有编解码器，通过运动图像压缩单元102对图1所示布置的集成运动图像进行运动图像压缩。此外，在图2的布置信息中，表示样本纵横比和普通观看运动图像的区域的信息(左上端点、宽度和高度)由使用现有编解码器的编码方案的普通观看运动图像区域编码单元104编码。首先，例如，当运动图像的编解码器是H.沈4时，使用序列参数集(SPS)内的视频可用性信息中呈现的“aspect_ratio_idc”、“sar_width”、“sar_height”指定普通观看运动图像的样本纵横比。图2示出多种样本纵横比，但是使用普通观看运动图像的样本纵横比，以便可以以正确的纵横比显示普通观看运动图像。在图2的情况下，由于普通观看运动图像的样本纵横比是2 1，所以不需要“Sar_width”和“Sar_height”的设置，并且希望指定“aspeCt_ ration_idc = 16，，。普通观看运动图像的区域的信息被编码为集成运动图像中的普通观看运动图像的裁剪区域(cropping area)。例如，当运动图像的编解码器是H. 264时，使用SPS中呈现的“frame_crop_left_offsetframe_crop_right_offset">"frame_crop_top_offset" 以及“ frame_Cr0p_b0tt0m_0f f set，，，将其设置为从集成运动图像裁剪普通观看运动图像的裁剪参数。裁剪参数和要裁剪的区域的矩形区域具有下面的关系。使用图3所示的 SubWidthC和SubHeightC，左上端点的坐标(xs，ys)被表示为如下
xs = SubffidthC*frame_crop_left_offsetys = SubHeightC* (2-frame_mbs_only_flag)*frame_crop_top_offset右下端点的坐标(xe，ye)被表示为如下xe = PicffidthInSamles-(SubffidthC*frame_crop_left_offset+l)ye = 16*FrameHeightInMbs_(SubHeightC*(2-frame_mbs_only_flag)*frame_ crop_bottom_offset+l)“chroma_forma_idc”和“frame_mbs_only_flag”是在 H. 264 的 SPS 中一起呈现的参数。在当前广播中，由于“chroma_format_idc”是1，所以SubWidthC是2，而 SubHeightC是2。frame_mbs_only_flag是表示是以帧为单位还是以场为单位执行运动图像压缩的标志。由于图1示出帧内的布置，所以在假定以帧为单位进行压缩并且“frame_mbS_ only_flag”是1的情况下进行描述。当以场为单位进行压缩时，可以通过设置“frame_mbs_ only_flag" = O进行计算，并且即使当以场为单位进行压缩时，本实施例仍然有效。因此，xs、xe、ys 禾口 ye 为如下xs = 2*frame_crop_left_offsetys = 2*frame_crop_top_offsetxe = PicffidthInSamles-(2*frame_crop_right_offset+l)ye = 16*FrameHeightInMbs_(2*frame_crop_bottom_offset+l)因此，要裁剪的图像的宽度w和高度h如下w = PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_ offseth = 16*FrameHeightInMb s_2氺frame_crop_top_offset_2氺frame_crop_bottom_ offset作为裁剪图1的普通观看运动图像的参数，鉴于集成运动图像的宽度 PicffidthInSamles是1920，集成运动图像的高度是1080，其不是16的整数倍，因此， 16*FrameHeightInMbs 是 1088。此外，鉴于普通观看运动图像的XS = 0, ys = 0, w = 960和h = 1080，所以可以求得下面的设置frame_crop_left_offset = 0，frame—crop—top—offset = 0，frame_crop_right_offset = 480，以及frame_crop—bottom—offset = 8当如上所述指定普通观看运动图像的样本纵横比和布置信息，并且执行以H. 164 的编码处理时，当已编码流被解码时，从集成运动图像裁剪普通观看运动图像，并且以正确纵横比显示它。已经根据H. 264编码普通观看运动图像的样本纵横比和布置信息，但是也可以以同样的方式，根据MPEG-2对它们编码。对于样本纵横比，“aspect_ratio_information”呈现在序列报头内，并且可以利用样本纵横比或者显示纵横比进行参数设置。
10
样本纵横比表示直接解压缩之后的像素的纵横比，而显示纵横比表示显示时的纵横比。图2的普通观看运动图像的样本纵横比是2 1，并且像素宽度是高度的两倍。 因此，为了正确显示，960X1080的图像在水平方向被扩大一倍，并且以1920X1080进行显示。由于显示纵横比是显示器的1920X1080的纵横比，所以1920 1080是16 9。16 9 可以通过将“aspect_ratio_information”设置为3来指定。对于一个区域裁剪，可通过序列显示扩展报头中的“display_vertical_size”和 “displayjwrizontalsize”指定要裁剪的宽度和高度。要输出的部分的中心与原始图像的中心之间的偏差可以由画面显示扩展报头内的“frame_centre_horizontal_offset”和 “frame_centre_vertical_0ffset”指定。通过该参数，可以对普通观看运动图像的相同纵横比和布置信息进行编码。然而，在ITU-T. Rec. H. 264的描述中，与全画面扫描(pan scan) 一起描述参数，并且存在不能根据广播标准自由地进行参数设置的情况。在H. 264中，可以独立于全画面扫描设置裁剪参数，并且不存在与全画面扫描相关的参数限制。即使在其他编解码器中，如果存在用于运动图像的解压缩之后直接进行裁剪的参数，则它可以用作本发明的普通观看运动图像的样本纵横比和布置信息的指定。接着，描述图22所示发送设备100的附加信息运动图像存在信息编码单元106编码的附加信息运动图像存在信息。<附加信息运动图像存在信息>在图1的示例中，发送两个附加信息运动图像，即，附加信息运动图像1和2，以及普通观看运动图像。附加信息运动图像是有效地作为关于节目的补充运动图像的运动图像，但是它们不恒定地显示，并且可被看作根据用户的口味显示的运动图像。在图1的示例中，在集成运动图像上布置表示主屏幕的球穴区从同一视点消除的运动图像和从上面看整个洞的运动图像作为补充运动图像，并且发送所述图像。附加信息运动图像存在信息指的是表示“是否存在补充运动图像”、“如果存在，宽度、高度、位置和样本纵横比是多少”以及“当使用补充运动图像时，如何处理该普通观看运动图像的裁剪区域”的信息。在图1和图2的示例中，附加信息运动图像的宽度、高度和样本纵横比与普通观看运动图像的不同。在此，假定在发射机与接收机之间，附加信息运动图像的宽度、高度和纵横比与在使用附加信息运动图像时的普通观看运动图像的裁剪区域还没有预先达成协议。<作为H. 264标准的SEI发送附加信息运动图像的情况>在H. 264标准中，存在被称为补充增强信息(SEI)的辅助信息的描述技术。在该 SEI中，描述了诸如解码时数据在输入/输出缓冲器内的保留时间和随机存取时进行解码的建议点的信息。在本实施例中，结合示例进行描述，在该示例中，新添加附加信息运动图像SEI使得能够发送本实施例的附加信息运动图像存在信息。图7示出一层附加信息运动图像SEI。作为SEI的“seijnessage”，指定使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度、附加信息运动图像的类型、附加信息运动图像的数量以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。根据H. 264的语法规则，按照语法创建本实施例新添加的SEI。因为该原因，现有接收设备不能进行解码，但是可以通过跳跃执行下一处理。图33示出在使用附加信息运动图像SEI的情况下利用H. 264作为解码器的发送设备100的处理流程。首先，对解码器设置H. 264的裁剪参数和aspect_ratio_idc (如果需要，还可以使用“sar_width”和“sar_ height”)，其是根据集成运动图像的普通观看运动图像的位置、宽度和高度计算的(步骤 S100)。接着，对该解码器设置在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为附加信息运动图像SEI (步骤S102)。此外，对集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置， 然后编码该集成运动图像(步骤S104)。当在数字广播系统中进行发送时，可以通过利用 MPEG2-TS进行多路复用获得发送流(步骤S106)。在图7的指定中，已经由裁剪开始位置、宽度和高度指定普通观看运动图像和附加信息运动图像的布置，但是该布置可以使用诸如H. 264的裁剪区域的指定方法之类的任何其他方法指定。SEI是H. 264标准的发送描述。例如，对于MPEG2视频，可以使用USER_DATA，并且通过新添加发送补充信息的描述，可以处理具有发送用于运动图像压缩/解压缩处理的补充信息的设备的编解码器。现有的接收设备(市场上正在销售或者已经销售的设备)不能解码新添加的附加信息运动图像SEI，但是可以通过跳跃继续执行处理。在此，假定现有接收设备通过跳过附加信息运动图像SEI执行接收处理。图25是示出现有接收设备400的示意图。在本实施例中，利用与现有接收设备类似的处理，执行其中普通观看运动图像和附加信息运动图像组合的集成运动图像的编码和普通观看运动图像的区域的编码。因为该原因，如图25所示，甚至在现有接收设备400中解码集成运动图像，正如所希望和显示在运动图像输出单元206上那样，通过上面描述的裁剪信息来裁剪普通观看运动图像。同时，图M是示出根据本实施例的接收设备200的示意图。根据本实施例的接收设备200包括运动图像压缩单元202、普通观看运动图像区域编码单元204、附加信息运动图像存在信息编码单元208以及运动图像输出单元(显示面板)206。在根据本实施例的接收设备200中，附加信息运动图像SEI可以由附加信息运动图像存在信息编码单元206 解码。因此，接收设备200识别附加信息运动图像的存在和普通观看运动图像的区域，并且可以获得在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度、高度、附加信息运动图像的数量、以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。<作为PMT的描述符发送附加信息运动图像存在信息的情况>在MPEG2-TS中，作为描述要发送的节目的流信息的节目系统信息，存在节目映射表(PMT).PMT的流信息包括用于选择诸如音频或者视频之类的分组的分组ID(PID)、Stream_type、描述符等，并且可以理解，视频编解码器或者音频编解码器利用哪个进行编码。图4示出杜比AC-3音频的流信息。在ITU-T REC. H.沈4中，没有定义AC-3的 stream_type，在欧洲使用PES专用数据的stream_type，而在美国使用用户专用的stream_ type。因此，仅通过图4所示的stream_type，难以说明elementary_PID指定的PID分组是否是音频流。因为该原因，在AC-3中，作为PMT的描述符，准备AC-3描述符，并且通过检测该描述符，可以判定AC-3流。如上所述，在PMT中，存在通过描述符设置与节目的编解码器相关的信息的使用方法。基于该使用方法，甚至在本实施例中，描述了向PMT添加描述符和发送附加信息运动图像存在信息的示例。图5示出附加信息运动图像描述符被添加到PMT的流信息的情况。通过该附加信息运动图像描述符，通知具有由elementary_PID指定的PID的分组包括已经经历了运动图像压缩的集成运动图像以及附加信息运动图像的存在，并且通知用于使用该附加信息运动图像的参数。如果通过H. 264执行了集成运动图像压缩，则stream_type被设置为OxlB，而如果由MPEG2执行，则Stream_type被设置为0x2。由于附加信息运动图像描述符不取决于编解码器，所以它同样可以应用于MPEG2和H. 264两者。当然，现有接收设备不能翻译附加信息运动图像描述符，并且通常操作以忽略它。然而，甚至在现有接收设备400中，如果根据本实施例，设置了集成运动图像和普通观看运动图像的区域设置或者样本纵横比，则可以解码集成运动图像，并且从其修建普通观看运动图像，因此，可以正确地显示普通观看运动图像。同时，在根据本实施例的接收设备200中，附加信息运动图像描述符可以由附加信息运动图像存在信息解码单元208解码和翻译。因为该原因，可以识别在普通观看运动图像区域外存在附加信息运动图像。在本实施例中，由于假定在发射机与接收机之间，在使用附加信息运动图像时普通观看运动图像的裁剪区域以及附加信息运动图像的宽度、高度和样本纵横比还没有预先达成协议，所以该参数被包括在该附加信息运动图像描述符中，然后发送。图6示出附加信息运动图像描述符的内容的示例。图34示出当使用附加信息运动图像描述符时，使用H. 264作为编码器的发送设备的处理流程。首先，对编码器设置根据集成运动图像的普通观看运动图像的位置、宽度和高度计算出的H. 264的裁剪参数和 aspect_ratio_idc (如果需要，还使用“sar_width”和“sar_height”)(步骤 S200)。接着， 准备在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为图6的附加信息运动图像描述符(步骤S202)。此外，关于集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置，然后编码集成运动图像(步骤S204)。在对于数字广播系统的发送需要MPEG2-TS多路复用的情况下，可以通过对PMT设置准备的附加信息运动图像描述符来获得发送流(步骤S206)。在图2的示例中，由于除了普通观看运动图像还存在的两个附加信息运动图像都是非立体附加信息运动图像，所以将附加信息运动图像类型设置为非立体视觉，并且在使
13用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度之后，依次指定附加信息运动图像的类型、附加信息运动图像的数量以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。在此，该开始位置、宽度和高度已经用于普通观看运动图像和附加信息运动图像的区域指定。然而，由于目的是指定集成运动图像内的布置，所以该指定可以以与H. 264的裁剪指定方法类似的方式进行，也可以由任何其他方法进行。除了图6的附加信息运动图像描述符的格式，可以准备描述符，作为每种类型的附加信息运动图像的非立体附加信息运动图像描述符，因此，可以省略该描述符中的附加信息运动图像类型的字段。此外，通过对于附加信息运动图像1和附加信息运动图像2中的每个准备描述符，并且在PMT的流信息内描述多个附加信息运动图像描述符，可以省略附加信息运动图像的数量的字段。本发明还对MPEG2-PS有效，并且通过新添加将附加信息运动图像存在信息存储到节目流映射(PSM)中的描述符，它与对MPEG2-TS的PMT新添加附加信息运动图像描述符的情况类似地有效地工作。甚至在MPEG2之外的容器(container)的情况下，可以关于所有视频数据描述补充信息，并且可以以与上面描述的描述符添加的方式类似的方式应用能够添加补充信息的格式。<发送附加信息运动图像存在信息作为专用选择的情况>在MPEG2-TS中，部分数据可以发送到与PMT的层相同的层。在假定执行对该部分的新添加的情况下，可以考虑专用部分，并且还可以发送本实施例的附加信息运动图像存在信息作为新专用部分。图8示出发送附加信息运动图像存在信息作为新专用部分的情况。由于在现有接收设备400中不能解码该新部分，所以与PMT的描述符类似，在现有接收设备400内跳跃。图8示出在用于识别图2的集成运动图像的分组的PID以及在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度之后，依次指定附加信息运动图像的类型以及附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比的情况。图35示出当使用附加信息运动图像部分时使用H. 264作为编码器的发送设备的流程。首先，对编码器设置根据集成运动图像的普通观看运动图像的位置、宽度和高度计算的H. 264的裁剪参数和aspect_ratio_idc (如果需要，也使用“sar_width”和“sar_ height”)(步骤S300)。接着，准备用于识别的PID，在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为图6的附加信息运动图像部分(步骤S302)。此外，关于集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置，然后编码集成运动图像(步骤S304)。在数字广播系统内的发送所需的MPEG2-TS多路复用的情况下，通过一起多路复用准备的附加信息运动图像部分，可以获得发送流(步骤S306)。此外，由于普通观看运动图像和附加信息运动图像的区域指定是规定集成运动图像内的布置，所以可以使用诸如H. 264的裁剪区域的指定方法之类的任何其他方法来指定布置。此外，如果对于每个类型的附加信息运动图像新添加专用部分，则可以省略附加信息运动图像的类型。使用存储附加信息运动图像存在信息的三种方法中的任何一种方法，由本实施例的发送设备100的附加信息运动图像存在信息编码单元106编码该附加信息运动图像存在 fn息ο因此，可以获得其中编码集成运动图像、普通观看运动图像区域、在使用附加信息运动图像时普通观看运动图像的裁剪开始区域和样本纵横比以及附加信息运动图像存在信息的流。当使用H. 264的视频编解码器已经获得该流，并且由满足H. 264 (ITU-TRec. H. 264)标准的现有接收设备400解码该流时，忽略该附加信息运动图像存在信息，并且显示该普通观看运动图像。即使当视频编解码器是MPEG2视频(ITU-T Rec. H. 262)时，它同样如此。另一方面，应用了本实施例的接收设备200甚至正确地解码附加信息运动图像存在信息，并且用户可以接收现有接收设备400的服务以外的服务。如上所述，在本实施例中，可以在与现有电视机保持兼容的同时添加新功能，并且与除非重新购买就不能观看或者运动图像具有陌生感觉的情况相比，用户价值高。〈接收设备中用户的交互〉在本实施例的接收设备200中，当接收到具有附加信息运动图像的节目时，在接收设备200上可以由用户的设置或者指令选择如下所述的至少三种显示1)与平常相同显示普通观看运动图像，2)屏幕同时显示普通观看运动图像和附加信息运动图像，以及3)屏幕仅显示附加信息运动图像。在屏幕同时显示普通观看运动图像和附加信息运动图像的情况下，可以允许根据用户的请求，改变要显示的附加信息运动图像的数量、其在屏幕上布置或者尺寸等。接收设备200的设置是指通过遥控器等的操作预先设置如何显示具有附加信息运动图像的节目。显示设备200的指令是指通过用户指令立即改变显示具有附加信息运动图像的节目的方法。图36、图37和图38是当分别使用向H. 264添加的附加信息运动图像SEI，向PMT 的描述符添加的附加信息运动图像描述符以及向MPEG2-TS添加的附加信息运动图像部分时，接收设备200的流程。在该流程中，解码SEI的信息、描述符和部分，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取使用附加信息运动图像时的普通观看运动图像和附加信息运动图像的参数。图36、图37和图38之间的差别是通过解码PSI/ SI获得参数(图37和图38)，还是在MPEG2-TS的解多路复用时作为H. 264的解码结果获得参数(图36)。获取了该参数后，读取接收设备的用户设置，且因此，根据执行普通显示还是执行使用附加信息运动图像的显示，还是根据两种显示，运动图像输出发生变化。在此，如果用户的设置代表普通显示，则输出普通观看运动图像(步骤S410、步骤S510和步骤S610)。此外，当用户的设置代表输出普通观看运动图像和附加信息运动图像，输出普通观看运动图像和附加信息运动图像(步骤S414、步骤S514和步骤S614)。此外，当用户的设置不代表输出普通观看运动图像和附加信息运动图像时，输出附加信息运动图像(步骤 S416、步骤S516和步骤S616)。在本实施例中，示出了附加信息运动图像与普通观看运动图像的内容相对有关的运动图像，但是即使不特别有关，本实施例也有效地工作。[2.第二实施例]在此，结合山地景观的多目立体内容用作示例、用于多目立体视觉的运动图像被作为附加信息运动图像发送，并且在发送与接收之间已经对下面的信息达成协议的情况进行描述。然而，在还未达成协议的情况下，与第一实施例类似，可以发送下面的信息 在使用附加信息运动图像时普通观看运动图像的裁剪区域，·附加信息运动图像的位置， 附加信息运动图像的宽度和高度，以及·附加信息运动图像的样本纵横比。1.双目立体运动图像在此，考虑使用左眼运动图像作为普通观看运动图像和使用右眼运动图像作为附加信息运动图像来发送多目立体视觉的双目立体运动图像的情况。首先，可以以与第一实施例中描述的方法完全相同的方法执行集成运动图像的运动图像压缩以及普通观看运动图像区域和样本纵横比的编码。对于附加信息运动图像存在信息，首先，考虑要在发送端和接收端之间达成的协议。普通观看运动图像和附加信息运动图像是一对双目运动图像，且因此被认为具有相同的属性。因此，将普通观看运动图像的参数转向(divert)为附加信息运动图像的参数是自然的协议。SP，在此假定达成下面的协议(1)普通观看运动图像和附加信息运动图像的图像尺寸的宽度和高度相同，以及(2)普通观看运动图像和附加信息运动图像的样本纵横比相同。此外，在该实施例中，当不执行双目立体视觉时，显示左眼运动图像。假定，假定所显示的区域和要用作双目立体视觉的左眼运动图像的区域协议相同。即，达成下面的协议 (3)在使用附加信息运动图像时普通观看运动图像的裁剪区域与不使用附加信息运动图像时普通观看运动图像的裁剪区域相同。接着，普通观看运动图像和附加信息运动图像被布置在一帧中，但是可以考虑在发送与接收之间，附加信息运动图像布置在普通观看运动图像下面，并且基于双目立体运动图像的图像尺寸规定附加信息运动图像的裁剪开始位置。当附加信息运动图像的裁剪位置被直接布置在普通观看运动图像之后时，执行图 9所示的布置，并且获得图10所示的协议内容。为了避免左眼运动图像的下部和右眼运动图像的上部在同一宏块中编码，右眼运动图像可以与左眼运动图像分开布置，如图11所示，并且获得图12所示的协议内容。图10和图12仅示出一些图像尺寸。然而，关于具有要发送的可能性的所有图像尺寸达成协议，如图10和图12所示，或者根据普通观看运动图像的裁剪参数达成协议，如在下面的计算公式中。
图9的附加信息运动图像的裁剪开始位置(Xa，ya)紧接在普通观看运动图像的最下端线以下开始，且因此如下xa = frame_crop_left_offsetya = 16*FrameHeightInMbs-2*frame_crop—bottom—offset附加信息运动图像的图像尺寸(w，h)与普通观看运动图像相同，因此如下w = PicWidthInSamles_2*frame_crop_left_offset_2*frame_crop_right_ offseth = 16*FrameHeightInMb s-2*frame_crop_top_offset-2*frame_crop—bottom— offset同时，如果使用图9的裁剪开始位置(xa，ya)，则图10的附加信息运动图像的裁剪开始位置(xb, yb)如下xb = xayb = ya+(16-ya% 16)(ya% 16表示ya被I6除时的余数)基于该条件，达成如下协议(4)规定集成运动图像中附加信息运动图像的裁剪开始位置的方法基于例如图 12的表，并且在表中未呈现的图像尺寸的情况下，使用在等于或者大于其高度的图像尺寸中具有最接近的高度的图像尺寸。在从(1)到的协议中，在发送和接收之间对下面的信息达成协议 在使用附加信息运动图像时普通观看运动图像的裁剪区域， 附加信息运动图像的位置 附加信息运动图像的宽度和高度，以及·附加信息运动图像的样本纵横比。通过向接收设备200内的附加信息运动图像存在信息的解码单元208提供基于普通观看运动图像的裁剪参数规定附加信息运动图像的裁剪开始位置和图像尺寸的功能，以及输出普通观看运动图像的样本纵横比作为附加信息运动图像的样本纵横比的功能，可以处理该协议。在该协议中，关于作为参数移交的所有事物都已达成协议。因此，必需将关于是否存在附加信息运动图像以及普通观看运动图像和附加信息运动图像是否是一对双目立体运动图像的内容从发送设备侧发送到接收设备侧，作为附加信息运动图像存在信息。因为该原因，发送能够规定附加信息运动图像的类型的代码，并且当接收侧检测到该代码时，根据(1)至G)，可以获得并使用附加信息运动图像。因此，即使现有的发送信息也可以用作附加信息运动图像存在信息。下面将结合本实施例应用于诸如以下信息的情况进行描述。· H. 264 的 SEI (MPEG2 视频情况下的 USER_DATA)，· MPEG2-TS的PMT的描述符(MPEG2-PS情况下的PSM的描述符)，或者· MPEG2-TS 的专用部分。这些已经在第一实施例中描述了。图16示出当向H. 264新添加附加信息运动图像SEI时的内容。由于在使用附加
17信息运动图像时普通观看运动图像的裁剪区域以及在集成运动图像内附加信息运动图像的区域和样本纵横比在发送与接收之间已经达成协议，所以作为seijiiessage需要的最小信息仅是附加信息运动图像的类型是协议的垂直布置双目立体视觉。在图16被示为预定垂直布置双目立体视觉。此外，可以使用“预定双目立体视觉”，但是由于不仅存在上下布置，而且存在左右布置，所以“垂直布置”因为“上下布置”的含义而包括在该名称中。当根据本实施例的SEI是在H. 264中新建立的时，获得图16所示的内容。然而， 例如，当每种类型的附加信息运动图像的SEI都是新建立的时，由于可以由预定垂直布置双目立体附加信息运动图像SEI的存在判定集成运动图像具有用于垂直布置双目立体视觉的附加信息运动图像，所以seijiiessage内的主要信息项目消失，如图17所示。(当然， 可以包括其他信息。)接着，图18示出当向PMT新添加附加信息运动图像描述符时的内容。由于在使用附加信息运动图像时普通观看运动图像的裁剪区域和在集成运动图像内附加信息运动图像的区域和样本纵横比在发送与接收之间已经预先达成协议，所以作为描述符需要的最少信息仅是附加信息运动图像的类型是预定垂直布置双目立体视觉。如果对于每种类型的附加信息运动图像准备描述符，则应用本实施例所需的描述符内的信息消失，如图19所示。图20示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时 private_data_byte的内容。与PMT的描述符类似，需要指定附加信息运动图像的类型，并且与此同时，需要指定附加信息运动图像存在信息的流的PID。甚至在专用部分上，如果使用对于每种类型的附加信息运动图像新添加专用部分的方法，则可以省略附加信息运动图像的类型。因此，与第一实施例类似，可以获得其中编码集成运动图像、普通观看运动图像、 在使用附加信息运动图像时普通观看运动图像的裁剪区域和样本纵横比以及附加信息运动图像存在信息的流。当使用H. 264的视频编解码器获得流时，当流由满足H. 264 (ITU-T Rec. H. 264)标准的现有接收设备400解码时，忽略附加信息运动图像存在信息，并且显示普通观看运动图像。甚至当视频编解码器是MPEG2视频(ITU-T Rec. H. 264)时，同样如此。另一方面，应用了本实施例的接收设备200通过附加信息运动图像存在解码单元 208甚至正确地解码附加信息运动图像存在信息，并且用户可以获得现有接收设备400的服务以外的服务，如下所述。如上所述，在本实施例中，可以在保持与现有电视机兼容的同时，添加新的功能， 并且与不新购买就不能观看或者运动图像具有陌生感觉的情况相比，用户价值高。接着，结合通过根据本实施例的接收设备200显示图9和图11所示的图像的情况进行描述。当接收设备不能显示双目立体视觉时，从集成运动图像裁剪普通观看运动图像基于H. 264标准中的裁剪参数，并且基本上对用户显示普通观看运动图像。由于使用本实施例的接收设备200可以规定附加信息运动图像的存在、布置和样本纵横比，所以通过安装允许用户指令显示附加信息运动图像的右眼运动图像代替显示普通观看运动图像的左眼运动图像的功能，可以切换和显示右眼、左眼或者它们二者。图42、图43和图44是当分别使用向H. 264添加的附加信息运动图像SEI、向PMT的描述符添加的附加信息运动图像描述符、以及向MPEG2-TS添加的附加信息运动图像部分时接收设备200的流程图。在该流程图中，SEI、该描述符和部分的信息由附加信息运动图像存在信息编码单元208解码，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取当使用附加信息运动图像时普通观看运动图像和附加信息运动图像的参数。图42、图43和图44之间的差别在于是通过解码PSI/SI (图43和图44)获得参数，还是在MPEG2-TS解多路复用时作为H. 264的解码结果获得参数。在参数获取之后，读取接收设备的用户设置，并且判定是执行普通显示还是使用附加信息运动图像的显示。在本实施例中，由于附加信息运动图像的类型是立体视觉，所以不能实现立体视觉的接收设备就不能使用普通观看运动图像和附加信息运动图像实现立体视觉。然而，当用户不选择普通观看时，用户可以选择希望根据普通观看运动图像和附加信息运动图像显示的运动图像。根据选择情况，从已解码的集成运动图像裁剪普通观看运动图像或者附加信息运动图像，并且根据用户的指令或者设置输出运动图像。如上所述，可以切换并且显示左眼、右眼或者它们二者。此外，当接收设备可以显示双目立体视觉时，可以显示使用普通观看运动图像和附加信息运动图像的双目立体视觉。由于用户不一定要求双目立体视觉，所以可以仅显示普通观看运动图像，也可以仅显示附加信息运动图像，而非双目立体视觉。图39、图40和图41是当分别使用向H. 264添加的附加信息运动图像SEI、向PMT 的描述符添加的附加信息运动图像描述符、以及向MPEG2-TS添加的附加信息运动图像部分时接收设备200的流程图。在该流程图中，SEI、描述符和部分的信息被解码，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取当使用附加信息运动图像时的普通观看运动图像和附加信息运动图像的参数。图39、图40和图41之间的差别在于是通过解码PSI/SI (图40和图41)获得参数，还是在MPEG2-TS的解多路复用时作为H. 264 的解码结果获得参数。在参数获取之后，读取接收设备的用户设置，并且判定是执行普通显示还是使用附加信息运动图像的显示。当使用附加信息运动图像，并且立体运动图像包括在附加信息中时，由用户指令或者设置判定是否执行立体视觉(步骤S920)。当不执行立体视觉时，输出从普通观看运动图像和附加信息运动图像选择的运动图像(步骤S722和步骤S7M)。当执行该立体视觉时，执行与每个视点对应的运动图像输出，以显示立体视觉(步骤S730、步骤S830和步骤 S930)。当附加信息运动图像的类型不是立体视觉时(步骤S712、步骤S812和步骤S912中的“否”)，与图36、图37和图38的流程图所示处理类似，输出从普通观看运动图像和附加信息运动图像中选择的运动图像(可以是一个运动图像，也可以是组合了多个运动图像的运动图像)。当然，由于接收设备可以支持立体视觉，所以如果通过从一侧向另一侧移位所选运动图像来创建右眼运动图像和左眼运动图像，则可以前后移动输出运动图像的显示屏眷ο在该示例中，该普通观看运动图像被描述为左眼运动图像，但是可以是右眼运动图像。此外，即使在普通观看运动图像与附加信息运动图像之间的垂直关系改变，也可以通过改变关于每个运动图像的参数来处理它。与该示例类似，即使在普通观看运动图像旁边布置附加信息运动图像时，本发明也有效。
19
2.多目立体运动图像柱镜技术(lenticulartechnique)或者视差栅障技术(parallax barrier technique)可以处理多目立体视觉的运动图像。在这种情况下，例如，使用第一和第二图像作为左眼图像和右眼图像，可以在第一方向上实现立体视觉，而使用第三和第四图像作为左眼图像和右眼图像，可以在与第一方向不同的第二方向上实现立体视觉。即使当运动图像输出设备采用这种类型的图像显示技术时，本实施例仍有效，并且多目立体视觉的一个图像可以用作普通观看运动图像，而其它图像可以被处理为附加信息运动图像。例如，作为在发送与接收之间用于附加信息运动图像的布置的执行协议的方法， 约定在横向上布置多目立体视觉的运动图像，并且基于集成运动图像的宽度和普通观看运动图像的宽度来计算横向布置的运动图像的数量。图13中示出由该协议布置的集成运动图像的布置状态。作为另一协议，决定多眼立体视觉的运动图像的数量和布置方向(例如，横向)，并且它们充分布置在横向上，且此后当运动图像有剩余时，将其布置在纵向。在图14中，示出由该协议布置的集成运动图像的布置状态。甚至在图13和图14 中，需要关于在图像之间是否留有空间达成协议。当然，如果两个类型的横向布置三目立体视觉在图像之间有空间，则准备在图像之间没有空间的横向三目立体视觉作为附加信息运动图像的类型，并且作为附加信息运动图像存在信息发送，对于全部内容可以选择该类型的集成运动图像。3.多目立体视觉和其它视点立体运动图像此外，正如第一实施例中所描述的那样，可以设想将来自另一视点的视频作为节目发送。由于主视频是立体运动图像，所以希望观看来自另一视点的图像也是立体视觉，且因此在假定来自另一视点的图像是立体运动图像的情况下进行描述。特别是，当另一视点视频不是立体运动图像时，本实施例也有效。图15示出主立体运动图像布置在上部部分，而补充立体运动图像布置在下部部分的集成运动图像的示例。在该节目中，期望普通观看运动图像是主立体运动图像之一。除了普通观看运动图像，所有运动图像都是附加信息运动图像。特别是，普通观看运动图像并不限于左上布置。与图13类似，认为已经关于发送与接收之间的主立体运动图像达成协议，但是没有关于补充立体运动图像达成协议。图21示出当向H. 264新添加附加信息运动图像SEI 时的内容。该SEI的内容包括用于作为主立体运动图像的预定水平布置三目视觉的附加信息运动图像；以及用于作为补充立体运动图像的补充水平布置三目视觉的附加信息运动图像。假定补充水平布置三目视觉是水平布置三目视觉，这意味着不包括普通观看运动图像，并且仅与水平布置三目视觉不同。从实现的观点，可以设想在位字段中，使用包括下列信息的ID来指定附加信息运动图像的类型 关于是否使用普通观看运动图像的位， 关于在使用附加信息运动图像时普通观看运动图像的裁剪区域在发送侧与接收侧之间是否已经达成协议的位， 关于附加信息运动图像的位置在发送侧与接收侧之间是否已经达成协议的位，
关于附加信息运动图像的宽度和高度在发送侧与接收侧之间是否已经达成协议的位， 关于附加信息运动图像的样本纵横比在发送侧与接收侧之间是否已经达成协议的位， 关于其是否是立体视觉的位， 表示当其是立体视觉时是否是水平布置的位，以及 当其是立体视觉时视点的数量。在图21的seijiiessage中，通过指定用于预定水平布置三目立体视觉的附加信息运动图像，可以规定下面的信息 在使用主附加信息运动图像时普通观看运动图像的裁剪区域， 主附加信息运动图像的位置， 主附加信息运动图像的宽度和高度，以及 主附加信息运动图像的样本纵横比。接着，指定补充水平布置三目视觉的附加信息运动图像，并且指定三目附加信息运动图像的位置、宽度、高度和样本纵横比。在三目视觉的情况下，可以认为各个视点的运动图像在宽度、高度和样本纵横比方面相同。因此，在图21中，一旦公共地设置了宽度、高度和样本纵横比，则仅在裁剪开始位置进行三眼的指定。图沈示出当向PMT的描述符新添加附加信息运动图像描述符时的内容。与图21 的SEI类似，通过添加用于预定水平布置三目立体视觉的附加信息运动图像，可以规定下面的信息 在使用主附加信息运动图像时普通观看运动图像的裁剪区域， 主附加信息运动图像的位置， 主附加信息运动图像的宽度和高度，以及 主附加信息运动图像的样本纵横比。接着，通过指定用于补充水平布置三目视觉的附加信息运动图像，可以规定三眼的附加信息运动图像的位置、宽度、高度和样本纵横比。图27示出向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的 priVate_data_byte的内容。除了其中存在附加信息运动图像的流的PID的指定以外，与附加信息运动图像SEI的指定内容相同。与图21的SEI类似，通过指定用于预定水平布置三目视觉的附加信息运动图像， 规定下面的信息 在使用主附加信息运动图像时普通观看运动图像的裁剪区域， 主附加信息运动图像的位置，·主附加信息运动图像的宽度和高度， 主附加信息运动图像的样本纵横比。接着，通过指定用于补充水平布置三目视觉的附加信息运动图像，可以规定用于三眼的附加信息运动图像的位置、宽度、高度和样本纵横比。上面已经描述了主视频是立体运动图像，并且根据本实施例，可以发送作为其补充添加的来自另一视点的立体运动图像。如果主/补充立体运动图像的流变成根据本实施例的流，则通过现有接收设备400，可以将一个主眼看作普通观看运动图像。此外，根据对其应用了本实施例的接收设备200，可以观看感兴趣的单目运动图像，也可以从主/补充立体运动图像观看主立体运动图像或者补充立体运动图像。4.使用具有不同于普通观看运动图像的图像尺寸的附加信息运动图像的双目立体视觉图31示出作为普通观看运动图像的1440X 1080的左眼运动图像和作为附加信息运动图像的480X1080的右眼运动图像布置在集成图像中的情况。图32示出布置作为普通观看运动图像的1920X810的中心运动图像和作为附加信息运动图像的960X270的两个图像(左运动图像和右运动图像)的情况。在本实施例中，当使用多目立体运动图像时，所有视点不需要处理相同的图像尺寸，并且如图31和图32所示，通过增加普通观看运动图像的信息量并减少附加信息运动图像的信息量，可以进行发送(累加)。因此，可以在防止普通观看运动图像恶化的同时发送多目立体运动图像。例如，当在由图39的normal+additional (普通+附加)信息输出的立体视觉中实际实现多目视觉时，普通观看运动图像的放大倍数和附加信息运动图像的放大倍数不同， 且因此调整它们，以使左眼和右眼的显示尺寸相同。当然，存在与附加信息运动图像的信息量的减少对应的再现图像发生恶化的风险。然而，在人类的双目立体视觉中，校正功能良好，并且存在具有大信息量的一个图像信息补偿另一图像信息的现象。例如，即使左眼视力和右眼视力不同的人可以以立体视觉观看。实际上，已经确认甚至在单目图像稍许模糊的情况下也可以实现立体视觉，并且甚至以图39的左运动图像和右运动图像不平衡也可以实现立体视觉。图32是三目立体视觉的运动图像，但是由于具有大信息量的普通观看运动图像用作集成运动图像中的中心运动图像，所以可以处理其而与具有大信息量的运动图像是用作右眼运动图像还是左眼运动图像无关。当具有大信息量的运动图像用作右眼运动图像时，作为普通观看运动图像的中心运动图像用于右眼，而附加信息运动图像的左眼运动图像用于左眼。此外，当具有大信息量的运动图像用作左眼运动图像时，作为普通观看运动图像的中心运动图像用于左眼，而附加信息运动图像的右眼运动图像用于右眼。例如，这允许看到具有大信息量的普通观看运动图像的眼睛可以根据用户的口味是可选择的，这是因为左眼视力和右眼视力或者左眼疲劳和右眼疲劳取决于用户。在图31和图32的集成运动图像中普通观看运动图像和附加信息运动图像的布置和图像尺寸是示例，并且本发明并不局限于此。如上所述，根据上面描述的实施例，即使通过现有接收设备可以观看普通观看运动图像。在使用本实施例创建的流中，如果编解码器的裁剪参数被正确地处理，则甚至通过现有接收设备，可以从集成运动图像裁剪普通观看运动图像，并且显示普通观看运动图像。此外，根据本实施例，由于在与现有接收设备保持兼容的同时添加新的功能，所以不会发生如果不新购买就不能观看，或者运动图像具有陌生的感觉的情况，并且在要求的切换时间，用户可以接收新服务。因此，在现有接收设备和可以接收附加信息运动图像的接收设备混合的环境下，可以对具有附加信息运动图像的运动图像的发送设备进行变更，而不在现有接收设备引起任何麻烦。此外，由于对现有接收设备和发送设备的改变小，所以可以降低开发成本，并且可以降低采用本实施例的发送设备和接收设备的价格。
上面已经参考附图描述了本发明的优选实施例，当然，本发明并不局限于上述示例。本领域技术人员可以发现各种变型和修改，而不脱离所附权利要求书的范围，并且应该明白，它们自然落入本发明的技术范围内。附图标记列表
100发送设备
102运动图像压缩单元
104普通观看运动图像区域编码单元
106附加信息运动图像存在信息编码单元
200接收设备
202运动图像解压缩单元
204普通观看运动图像解码单元
206运动图像输出单元
208附加信息运动图像存在信息解码单元。
权利要求
1.一种图像发送方法，包括步骤压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像； 编码表示所述普通观看运动图像的区域的区域信息； 编码表示存在所述附加信息运动图像的存在信息；以及发送所述集成图像，所述区域信息和所述存在信息。
2.根据权利要求1所述的图像发送方法，其中，所述存在信息包括指定所述附加信息运动图像的类型的信息。
3.根据权利要求2所述的图像发送方法，其中，包括将所述附加信息运动图像是否是用于多目立体视觉的运动图像指定为所述附加信息运动图像的类型的信息。
4.根据权利要求1所述的图像发送方法，其中，所述存在信息包括表示所述附加信息运动图像的区域的区域信息或者所述附加信息运动图像的纵横比。
5.根据权利要求1所述的图像发送方法，其中，所述存在信息包括指定在使用所述附加信息运动图像时所述普通观看运动图像的图像区域的信息。
6.一种图像接收方法，包括步骤解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送侧发送所述集成图像；解码表示与所述集成图像一起从发送侧发送的所述普通观看运动图像的区域的区域 fn息；解码表示存在与所述集成图像一起从发送侧发送的附加信息的存在信息；基于所述区域信息指定并且显示所述普通观看运动图像的区域；以及基于所述存在信息识别所述附加信息运动图像的存在，并且显示所述附加信息运动图像。
7.一种图像发送设备，包括压缩单元，被配置为压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示所述普通观看运动图像的区域的区域信息； 存在信息编码单元，被配置为编码表示存在所述附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息。
8.一种图像接收设备，包括解压缩单元，被配置为解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送侧发送所述集成图像；区域信息解码单元，被配置为解码表示与所述集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与所述集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于所述区域信息指定并且输出所述普通观看运动图像的区域，基于所述存在信息识别所述附加信息运动图像的存在，并输出所述附加信息运动图像。
9.一种图像发送系统，包括图像发送设备，包括压缩单元，被配置为压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示所述普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在所述附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息；以及图像接收设备，包括解压缩单元，被配置为解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送端发送所述集成图像；区域信息解码单元，被配置为解码表示与所述集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与所述集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于所述区域信息指定并且输出所述普通观看运动图像的区域，基于所述存在信息识别所述附加信息运动图像的存在，并输出所述附加信息运动图像。
全文摘要
公开了一种图像发送设备。该图像发送设备提供有运动图像压缩单元(102)，用于编码在一帧中布置了常规运动图像和附加信息运动图像的合成图像；常规运动图像区域编码单元(104)，用于编码指示常规图像的区域的区域信息；附加信息运动图像存在信息编码单元(106)，用于编码指示附加信息运动图像存在的存在信息；以及发送单元，用于发送已编码的合成图像，区域信息和存在信息。
文档编号H04N7/26GK102273211SQ201080004130
公开日2011年12月7日 申请日期2010年10月18日 优先权日2009年11月17日
发明者永野秀敏 申请人:索尼公司