接收器、发送器、通信系统、显示控制方法、程序和数据结构的制作方法

专利名称：接收器、发送器、通信系统、显示控制方法、程序和数据结构的制作方法
技术领域：
本发明涉及接收器、发送器、通信系统、显示控制方法、程序和数据结构。
背景技术：
在相关领域中，已知了显示立体视频的各种系统。例如，如专利文献1到3中描述的，已知了交替地供应在其间具有视差的左眼图像和右眼图像来在预定周期中显示并通过使用包括与预定周期同步地驱动液晶快门的眼镜来观察这些图像的方法。引用列表专利文献专利文献1 JP9-138384A专利文献2 JP2000-36969A专利文献3 JP2003-45343A专利文献4 美国专利申请公开No. 2009/092335专利文献5 美国专利申请公开No. 2009/09686
发明内容
当假设从广播站向用户的TV机发送诸如TV节目的内容时，可以考虑通过切换3D 视频和2D视频作为视频数据来进行发送。例如，可以考虑当节目的主要部分被发送作为3D 视频且商业广告被发送作为2D视频时的情况。已知诸如并排模式、上下模式和场顺序模式的各种模式作为3D视频模式。因此， 假设适应于视频内容动态地在各种方法之间切换之后发送从广播站侧发送的视频数据。在这种情况下，假设，在用户侧上的TV机可能不能在切换之后立即适当地显示图像。这是因为在切换之前和之后，关于视频的各种参数(诸如图像尺寸和频率)改变，且因此，变得需要切换在TV机侧上的显示处理。为了在切换之后立即适当地显示图像，需要包括切换到接收器的格式的时刻的通信细节，但在专利文献4和5中的现有技术中的技术不假设这种机制。已经鉴于上述问题做出了本发明，且期望提供一种能够实现当切换包括立体视频的视频信号时在切换之后立即适当地显示的接收器、发送器、通信系统、显示控制方法、程序和数据结构。问题的解决方案根据要解决上述问题的本发明的方面，提供接收器，包括解码从外部接收的视频信号的解码处理单元；标识信息获取单元，从对应于视频信号的每个帧的层获取包括关于 2D或3D视频的格式的标识信息；以及处理单元，基于标识信号来提供视频信号进行用于图像显示的处理。所述处理单元可以包括缩放单元，其基于标识信息来通过视频数据进行视频数据的空间或时间缩放，且当切换视频的格式时，适应于切换时刻而切换用于缩放的参数。
4
标识信息可以包含指示何时发生视频的3D格式的切换的时刻或何时发生3D视频和2D视频的切换的时刻的偏移量信息，以及所述缩放单元可以基于偏移量信息来在发生切换的时刻之前开始切换参数的处理。标识信息可以包含指示何时发生视频的3D格式的切换的时刻或何时发生3D视频和2D视频的切换的时刻的偏移量信息，以及所述缩放单元可以基于偏移量信息来在发生切换的时刻之前开始切换保存解码的视频信号的临时缓冲器的设置的处理。所述标识信息可以包含表示并排模式、上下模式、和帧顺序模式中的至少之一的信息作为3D格式。所述标识信息可以包含根据3D格式具有相同相位或不同相位来指示左眼和右眼的两个视图的空间还是时间相位的信息。所述缩放单元可以进行在屏幕垂直方向或屏幕水平方向上扩张由解码处理单元解码的视频的处理，作为空间缩放。所述缩放单元可以进行按时间排列的视频帧的复制或内插处理，作为时间缩放。所述标识信息可以包含禁止视频的格式的转换的信息。根据解决上述问题的本发明的另一方面，提供一种发送器，包括编码视频信号的编码处理单元；标识信息插入单元，向对应于视频信号的每个帧的层中插入包括关于2D或 3D视频的至少一个格式的标识信息；以及发送单元，发送其中插入了标识信息的视频信号。根据要解决上述问题的本发明的另一方面，提供一种通信系统，包括发送器，具有编码处理单元，编码视频信号；标识信息插入单元，向对应于视频信号的每帧的层中插入包括关于2D或3D视频的格式的标识信息；以及发送单元，发送其中插入了标识信息的视频信号，解码处理单元，解码从发送器接收的视频信号；以及接收器，具有标识信息获取单元，从对应于视频信号的每帧的层获取包括关于2D或3D视频的格式的标识信息；以及处理单元， 基于标识信号来进行处理用于由视频信号的图像显示。根据要解决上述问题的本发明的另一方面，提供一种图像显示方法，包括解码从外部接收的视频信号；从对应于视频信号的每帧的层获取包括关于2D或3D视频的格式的标识信息；以及基于标识信号来通过视频信号进行用于图像显示的处理。根据要解决上述问题的本发明的另一方面，提供一种使得计算机用作如下单元的程序解码从外部接收的视频信号；从对应于视频信号的每帧的层获取包括关于2D或3D 视频的格式的标识信息；以及基于标识信号来通过视频信号进行用于图像显示的处理。根据要解决上述问题的本发明的另一方面，提供包含关于要广播的内容的视频信号的数字广播信号的数据结构，其中，向对应于视频信号的每帧的层中插入包括关于2D或 3D视频的格式的标识信息，以及使得接收器用作通过视频信号进行用于图像显示的处理的单元。本发明的优势根据本发明，当切换包括立体视频的视频信号时，可以在切换之后立即实现适当的显示。


图1是示出根据本发明的实施例的配置例子的示意图。图2是示出其中发生3D类型的切换的例子的示意图。图3是提供添加到每帧的编解码器层的流句法的信息的概述的示意图。图4是提供添加到每帧的编解码器层的流句法的信息的详细的示意图。图5是图示3D类型的详细的示意图。图6是图示3D类型的详细的示意图。图7是图示添加到句法的其他信息的示意图。图8是示出其中当视频从3D切换到2D时的情况的示意图。图9是示出其中当视频从3D切换到2D，然后视频从2D切换到3D时的情况的示意图。图10是示出在后端处理器中切换之前和之后的参数的示意图。图11是图示视图复制的概念的示意图。图12是图示存储器设置的改变的示意图。图13是示出根据本实施例的发送器的配置的示意图。图14是示出当3D数据是基于帧的场顺序方法的隔行类型时对应于3D类型的帧的示意图。图15是示出当3D数据是场顺序方法的隔行类型的时对应于3D类型的帧的示意图。图16是示出当3D数据是并排模式时对应于3D类型的帧的示意图。图17是示出当3D数据是上下模式时对应于3D类型的帧的示意图。图18是示出基于转换禁止标记的接收器的操作的示意图。图19是示出基于转换禁止标记的接收器的操作的示意图。图20是示出基于转换禁止标记的接收器的操作的示意图。
具体实施例方式此后，将参考附图详细描述本发明的优选实施例。注意，在本说明书和所附附图中，用相同附图标记来标示具有实质上相同功能和结构的结构元素，且省略了重复说明。说明将按以下顺序提供(1)接收器的配置例子(2)从3D类型的切换的例子(3)添加到编解码器层的信息(4) 3D类型切换(5)在后端处理器中切换之前和之后的参数(6)视图复制的概念(7)存储器设置的改变(8)发送器的配置例子[(1)接收器的配置例子]首先，将基于附图描述根据本实施例的接收器100的概述配置。图1是示出接收器100的配置例子的示意图。作为例子，接收器100是接收数字地面广播等，且接收例如由左眼视频和右眼视频构成的立体视频(3D视频)的位流，并在使得显示面板显示位流之前解码位流的TV机。接收器100还接收普通二维视频(2D视频)的位流，并在使得显示面板显示位流之前组合位流。根据本实施例的发送器通过根据视频源适当地切换3D和2D视频来传输。例如， 节目的主要部分被发送作为3D视频，且其间插入的商业广告被发送作为2D视频。当发送 3D视频时，发送器可以通过适当地切换不同格式(模式)的3D视频来发送。3D视频模式包括例如并排模式、上下模式和帧顺序模式。因此，接收器100侧变得需要根据来自发送器的视频切换来静态或动态地切换接收处理。因此，在本实施例中，当在3D格式之间或在3D和2D之间动态地切换时，向编解码器的层的流句法中插入切换格式，且也插入在切换之前的时间偏移量的参数。因此，可以保证足够的时间准备用于在发送器100侧上的图像处理器的处理系统，用于切换的目标时序。如果例如在3D和2D之间动态地切换，需要额外的存储器。但是，当发生切换时， 可能变得需要释放存储器。如稍后描述的，其可能花费以秒为单位的时间来释放或初始化存储器。在这种情况下，如果使用诸如时间戳(TS)的容器层来输入在切换之前的时间信息，时间信息取决于时间戳，且因此，难以直接将直接时间关系与视频的V同步相关联。另外，可以将时间戳附接到所有图片，且因此，难以控制与视频帧同步的精度的切换。因此，根据本实施例，在切换之前的时间偏移量的参数基本上被插入到对应于在编解码器的层中的图片头标的位置中。因此，参数被插入到视频信号的每帧中，以便可以以帧为单位处理视频信号的时序。左眼图像L和右眼图像R的时序和位置被插入作为其他参数。此后，可以以正确的顺序来显示解码的图片。在以下的描述中，假设SEI(补充增强信息用户数据)被定义在MPEG-4AVC(H. 264/MPEG-4AVC)标准，且被插入到图片单元等同的位置中。因此，标识信息被插入到每帧中，且维持与3D视频格式的直接关系，以便可以容易地管理在视频周期中的切换时序。上述信息被插入到位流的图片头标中，但在例如 MPEG-4AVC的情况下，可以另外将信息插入到序列参数(序列头标)、GOP单元等同的图片参数等。因此，可以获取类似于时间偏移量的参数，而没有在更高层中的观看信息。上述内容也应用于当编解码器不仅是MPEG4AVC、还是MPEG2视频、VC-1、或MPEG4视觉时。如稍后将描述的，在本实施例中，在一个流中混合2D内容和3D内容，且当在被转换到3D格式之后发送2D时，提供标记，以便显示侧可以标识在转换是2D还是3D之前的差别。如图1所示，接收器100包括头标解析器102、基本解码器 (elementaryencoderUCM、后端处理器106、和系统控制器110。可以由电路(硬件)或 CPU(中央处理单元)和程序(软件)设置图1所示的配置来使得电路或CPU运作。在该情况下，可以在接收器100或外部存储介质中包括的存储器中存储程序。在图1中，头标解析器I02检测3D被包含在从发送器接收的流中，并通知系统控制器110有关该检测。基本解码器104解码从发送器接收的流的视频数据，并向后端处理器106输出解码的视频数据。基本解码器104还检测在视频流中的3D_类型的信息，并通知系统控制器110有关图像尺寸、帧结构和帧频率以及图片_类型信息。如果视频数据具有时间戳，基本解码器104在对系统控制器110进行通知之前向上述信息添加时间戳。系统控制器110指定以时间戳的顺序或根据图片_类型从解码器的输出缓冲器显示的图片，并对后端处理器106进行其通知。根据来自系统控制器110的通知，后端处理器106设置从缓冲器取出的每个图片的输出顺序，其中，累积了解码的数据，且后端处理器 106向随后的阶段输出该输出顺序。如果例如解码了 MPEG-4AVC的B图片，发生重新排序， 且后端处理器106在系统控制器110的指令之下指定每帧的输出顺序。此时，系统控制器110通知后端处理器106有关视频数据的3D_类型、图像尺寸、 和帧结构的信息，且也指定诸如解隔行的必要空间缩放或时间处理。然后，在通过帧向下数 (Frame Count Down)的向下计数，系统控制器110根据其值和新切换的3D_类型来指定在切换之前的时间(帧的数量)。在后端处理器106内部作出准备，以便可以在当发生30_类型切换时的时刻平滑地切换该处理，且与切换点同步地切换处理系统。如稍后详细描述的，后端处理器106主要根据3D_类型和20_类型来进行空间和时间缩放处理，且准备存储器配置，以便可以平滑地切换该处理。作为3D视频专用的处理，后端处理器106在时间方向上被解码之后交织 (interleave)左眼图像L和右眼图像R的图像数据，以制作适用于3D显示系统的图像数据。替换地，后端处理器106在垂直于每条线的屏幕的方向上交织(interleave)左眼图像 L和右眼图像R，来制作适用于3D显示系统的图像数据。两个显示方法需要3D眼镜，但如公共地已知的，已经存在用裸眼的显示设备。[ (2)从3D类型的切换的例子]图2是示出其中发生3D_类型的切换的例子且示出当30_类型从上下模式改变为帧顺序模式时的情况的示意图。图2示出帧如何在时间上从#1到#7改变。每帧具有帧向下计数的值(帧向下数)、3D类型复位标记(3D_type_复位_标记)、3Dtype(3D_类型)、和在添加到解码的层的流句法的切换(Next_3D_type_after_reset)之后的下一 3D类型的信息。因此，接收器100从每帧获取这些信息。帧向下计数值是指示在切换之前的帧的数量的值。在图2中的例子中，不为帧#1 指定切换，且帧#1的帧向下计数值被设置为OxFF。因此，当接收#1的数据时，不识别切换。 下一帧#2具有向下计数值2。这示出当在帧#2之后经过两帧时，将发生切换。该帧向下计数值在随后的帧#3和M中递减1，且在切换之前立即在帧M中变为0。该3D类型复位标记是指示3D类型被复位的标记。如果3D类型复位标记被设置为0，这指示3D类型不被复位，且在下一帧中设置相同的3D。另一方面，如果3D类型复位标记被设置为1，在该帧中，3D类型被复位来结束3D类型，到当前帧，且在下一帧中设置不同的3D类型。该3D类型是指示当前帧的3D类型的信息。在帧#1中，3D类型是000100，且该3D 类型指示如稍后将描述的，当前帧的3D模式是上下模式。在3D类型被切换之后，在帧#5 中，3D类型是000000，且该3D类型指示当前帧的3D模式是现有技术中的2D模式。该下一帧类型是指示在复位之后的帧类型的信息。如果3D类型被复位，则在下一帧类型中示出在切换之后的3D类型。如果例如在帧#2中向下计数值被设置为2，则在两帧之后复位该帧，且指定指示在相关技术中的2D的000000作为下一帧类型。在帧#1的阶段
8中，帧向下计数值是0x00，且不指示是否将切换3D类型，且因此，指示下一帧类型为xxxx。因此，在图2中的例子中，在帧#1中在上下模式中发送数据，而不指示将切换3D 类型。在帧#2中，帧向下计数的值被设置为2，这指示当前3D类型(上下模式)在两个帧之后复位，且被切换到帧顺序模式，这是下一帧类型。在帧#3中，帧向下计数的值被设置为 1，这指示当前3D类型在下一帧之后复位，且被切换到现有技术中的2D，这是下一帧类型。 在帧#4中，帧向下计数的值被设置为0，且3D类型复位标记被设置为1，这指示当前3D类型在当前帧中复位，且从下一帧开始，3D类型被切换到现有技术中的2D，这是下一帧类型。在帧#5中，3D类型被设置为000000，这指示当前帧的3D数据处于相关技术中的 2D模式中。另外，帧向下计数值被设置为OxFF，且3D类型复位标记被设置为0，且因此，不指示是否将切换3D类型。因为指示不出现切换，因此下一帧类型被指示为XXXXXX。在图2中的例子中，如上所述，帧向下计数值、3D类型复位标记、3D类型和下一 3D 类型的信息被添加到编解码器层的流句法(streamsyntax)。因此，接收器100可以获得当前帧的3D类型，以及接下来是否发生3D类型的切换，且可以预先获得直到3D类型的切换的定时。因此，可以预先进行对转换器(scaler)根据切换的处理的准备以及用于存储器配置的准备。[ (3)添加到编解码器层的标识信息]图3是提供添加到每帧的编解码器层的流句法的标识信息的概述的示意图。如图 3所示，8位的3D格式信令ID以及3D类型复位标记(1位)、转换禁止标记(1位)、保留位(6 位)、帧向下计数值(Frame_Countdown_to_reset、8位)、3D类型(6位)、视图复制(View_ copy、1 位)、L_First_flag(l 位)、下一 3D 类型(6 位)以及 Reference_Dependency (2 位) 被添加到流句法作为用户数据。3D格式信令ID通常是用户数据，且在MPEG4-AVC中对应于SEI的用户定义。上述数据的每个可以以与缓冲周期SEI和在MPEG中定义的图片定时SEI相同的方式来添加，且被添加到所有帧的每个。以下将详细描述该信息。图4、5、6、和7是示出添加到每个帧的编解码器层的流句法的信息的详细的示意图。如果如图4所示，3D类型复位标记为1，在当前帧中复位当前3D类型。如果该3D类型复位标记是0，则维持当前3D类型。帧向下计数值包括直到3D类型复位的时间偏移量值， 且当其值变为0x00时，3D类型复位标记被设置为1。如果该帧在将来不立即复位，且不使用帧向下计数值，则其值被设置为OxFF。图5和6是图示3D类型的细节的示意图。如图5和6所示，除了并排模式和帧顺序模式以外，如图2中示出，各种模式可以被指定为3D类型信息。如以下将描述的，100000 和100001指示当3D数据是在场顺序模式中的逐行数据(progressive data)时的情况。 100000指示第一视图，且100001指示第二视图。基本上，第一视图和第二视图之一是左眼图像L，且另一个是右眼图像R。由L_FirSt_Flag来指定第一视图和第二视图中的哪个对应于左眼图像L或右眼图像R。110000、110001、110010、和110011指示当3D数据是在基于帧的场顺序模式中的隔行数据时的情况。11000指示顶部场是帧对的第一场的第一视图，且底部场是第一场的第二视图。110000对应于图14A。110001指示顶部场是帧对的第二场的第一视图，且底部场是第二场的第二视图。110001对应于图14B。110010指示顶部场是帧对的第一场的第一视图，且底部场是第二场的第二视图。110010对应于图14C。110011指示顶部场是帧对的第二场的第一视图，且底部场是第一场的第二视图。110011对应于图14D。010000和010001指示当3D数据在场顺序模式中且010000指示第一场的第一视图时的情况。010001指示第一场的第二视图。010000和010001指示当3D数据在场顺序模式中且010000指示第二场的第一视图时的情况。010001指示第二场的第二视图。010000、010001、010010、和010011分别对应于图 15A、15B、15C、和 15D。因此，在分配第一视图/第二视图到在场顺序模式中的顶部场/底部场的方法中， 可指定是采用第一视图/第二视图的两个视图的各个源图像的相同定时的场还是不同定时的场。这使能根据源图像的视察的适应性配置。在此，存在当第一视图采用源图像的顶部视图，且第二视图也采用源图像的顶部场的情况且当时第一视图采用源图像的顶部视图且第二视图采用源图像的底部场时的情况。001000和001001指示并排模式且也指示左侧是第一视图，且右侧是第二视图。这些中，001000指示左侧和右侧具有相同的采样位置，且采样位置在偶数像素中。001001指示左侧和右侧都具有相同的采样位置，且采样位置在奇数像素中。001000和001001分别对应于图16A和16B。001010和001011指示并排模式且也指示左侧是第一视图，且右侧是第二视图。这些中，001010指示左侧和右侧具有替换的采样位置和第一视图在偶数像素中和第二视图在奇数像素中。001011指示左侧和右侧具有替换的采样位置和第一视图在奇数像素中和第二视图在偶数像素中。001000和001001分别对应于图16C和16D。001000和001001指示上下模式且也指示上侧是第一视图，且下侧是第二视图。这些中，000100指示上侧和下侧都具有相同的采样位置，且第一视图和第二视图都在偶数线中被采样。000101指示上侧和下侧具有替换的采样位置，且第一视图在偶数线中被采样，且第二视图在奇数线中被采样。000100和000101分别对应于图17A和17B。000110和000111指示上下模式且也指示上侧是第一视图，且下侧是第二视图。这些中，000110指示上侧和下侧具有替换的采样位置，且第一视图在奇数线中被采样，且第二视图在偶数线中被采样。000111指示上侧和下侧具有替换的采样位置，且第一视图和第二视图都在奇数线中被采样。000110和000111分别对应于17C和17D。通过如上述决定3D类型，当第一视图和第二视图被交织(interleave)时，可以明确地视察是分配相同的时间相位还是不同相位给两个视图。通过采用不同的时间相位，根据视差的质量的时间精度当在帧顺序或场顺序模式中按时间交织时可以通过不同的相位来改进。另外，在空间相位中，具体地，在水平方向中的子采样中，可以明确示出是分配相同的采样相位还是不同的相位。因此，例如，当空间地交织并排模式中的两个视图时，可以通过采用不同的空间相位，来改进具有较少视差的部分的水平空间分辨率。而且，在垂直方向中的子采样中，可以明确示出是分配相同的采样相位还是不同的相位，因此，当空间地交织上下模式中的两个视图时，通过采用不同的空间相位，在具有较少视差的部分中的垂直空间分辨率可以被改进。根据如上述的3D类型设置，当传输每个格式时，可以通过选择性地指定并编码3D类型来实现质量改进效果。如果3D类型是000000，不指定3D格式，指示视频数据是2D。如果图4中示出的3D类型(6位)的信息不被添加，则接收器100处理数据作为2D数据。根据如上述的3D类型信息，在设置了 6位中的第一个1的情况下，可以通过检查位来判断是帧顺序、场顺序、并排、顶部和底部、还是2D作为3D格式。顺带提及，接收侧可以拒绝除了上述类型以外的任何其他3D类型。图4中示出的视图副本的信息是指示是否已经通过复制来建立了 3D帧对(第一视图、第二视图)的信息。如果视图复制是1，这指示第二视图第一视图的一个副本。在这种情况下，第一视图和第二视图是相同的，且3D帧对被处理作为接收器100上的2D数据。 如果视图复制是0，这指示第一视图和第二视图是独立数据，且在这种情况下，接收器侧可以识别3D帧对是3D数据。图7是示出添加到句法的其他信息的示意图。L_FirSt_Flag是指示第一视图和第二视图中的哪个对应于左眼图像L或右眼图像R的标记。如果L_FirSt_Flag是1，这指示第一视图是左眼图像L。如果L_First_Flag是0，这指示第一视图是右眼图像R。下一 3D 类型是，如上述，指示在切换之后的3D类型且可以以与3D类型相同的方式被指定的信息。Reference_Dependency是数据指示MPEG等的运动补偿的参考数据是否在帧上延伸。如果ReferendDiipendency是10，第一视图的帧仅使用其他第一视图的帧作为参考数据，且第一视图的帧不使用第二视图的任意帧作为参考数据。在这种情况下，不对第二视图施加限制，且第二视图的帧可以使用第一视图或其他第二视图的帧作为参考数据。如果Referenc^Diipendency是01，第二视图的帧仅使用其他第二视图的帧作为参考数据，且第二视图的帧不使用第一视图的任意帧作为参考数据。在这种情况下，不对第一视图施加限制，且第一视图的帧可以使用其他第一视图或第二视图的帧作为参考数据.如果Reference_D^endency是11，第一视图的帧仅使用其他第一视图的帧作为参考数据，且第二视图的帧仅使用其他第二视图的帧作为参考数据。如果Reference Dependency是00，不存在任何视图的参考数据的限制。通过如上述布置处理可以通过，例如，仅当通过仅由第一视图的左眼图像L参考左眼图像来用接收的左和右图像的左眼图像L显示2D图像时解码第一视图变得更有效。在本实施例中，图3到7中的信息被插入到MPEG4AVC的SEI中。换句话说，在其他编解码器标准中，信息可以被插入到在视频信号的每个帧中的对应位置。例如，在MPEG2 视频、VC1、或MPEG4视觉中，可以通过将该插入插入到视频信号的层中的每个帧中来实现与视频信号同步的切换。对于MPEG2视频(H. 262 IS0/IEC是运动图像的13818. 2信息技术类编码和相关的音频信息视频)，例如，该插入可以被插入到对格式定义的图像头标部的用户数据区域。 也在这种情况下，数据可以进一步被插入到序列头标、片头标或宏块头标。[(4) 3D 类型切换]接下来，将详细描述3D类型切换。图8是示出当视频从3D切换到2D时的情况的示意图。图8的较高部分示意性地示出由接收器接收的每个帧的数据，且在100000和 100001被交替指定为3D类型之后，帧#lto#6以60 [Hz]的频率传输作为帧顺序模式中的逐行数据。然后在数据被切换到帧#7中的2D数据之后，2D数据以30Hz传输。3D类型被设置为帧#7和后续帧的000000 (非-3D格式)。
图8的较低部分示意性地示出从解码器104输出的每个帧的数据(解码的帧)和从后端处理器106输出的帧的数据(后端处理输出)。图8的较低部分示意性地示出当从上述帧看去时的状态。以60[Hz]的频率的每个帧的数据从解码器104输出到帧#6，且帧 #7和后续帧的数据以30[Hz]的频率输出。后端处理器106接收解码器104的输出，且以120[Hz]的频率输出帧#1到#6到显示面板。后端处理器108在时间上缩放(scale)帧#7和后续帧以转换为120[Hz]数据并输出数据到显示面板。更具体地，后端处理器106进行在例如，帧#7和帧#8之间的内插处理以生成帧#7-8，且也通过在帧#8和帧#9之间的内插处理来生成帧#8-9。作为另一方法，帧#7可以被复制为帧#7-8，且帧#8可以被复制为帧#8-9。如果通过视图复制预先在发送器100侧上生成帧#7-8和#8-9，接收器100可以照原样显示所接收的2D数据。在视图复制的情况下，2D数据以120 [Hz]的频率传输。在图8的例子中，接收器100可以基于添加到每个帧的帧向下计数值获取从3D到 2D的切换定时。因此，后端处理器108可以预先识别帧#7的切换定时，且可以进行用于缩放2D数据所必要的准备。因此，当视频从3D切换到2D时，可以使得连续显示而不导致时间迟延(time lag)。图9是示出当视频从3D切换到2D且然后视频从2D切换到3D时的情况的示意图。如图9的上部所示，帧#1到#4具有60[Hz]的隔行(60i)数据，具有1920X 1080像素，且每个帧的3D标记指示"3D"。然后当在帧#5中3D数据切换到2D数据时，接收具有 1920X1080像素的60Hz的隔行(60i)数据。然后，在帧#11中2D数据再次切换到3D数据以获得具有1920X1080像素的60Hz的隔行(60i)数据。图9的下部示意性地示出从解码器106输出的每个帧的数据(解码的帧)和从后端处理器106输出的帧的数据(后端处理输出)。图9的下部示意性地示出当从上述帧看去时的状态，且3D数据处于并排模式，且因此，L、R数据在屏幕的.水平方向上并排排列。 在并排模式中以60 [Hz]的频率的每个帧的数据从解码器104被输出到帧#4，且帧#5到#10 的2D数据以60[Hz]的频率输出。对于帧#11和后续帧，在并排模式中以60[Hz]的频率的每个帧的数据被输出。后端处理器106接收解码器104的输出，并通过在屏幕水平方向上对其进行过滤 (互补处理)到1920 X 1080像素的数据来扩展帧#1到4、#10到14的每个的在并排模式中的L、R数据(每个具有960X1080像素)，且在向显示面板发送以120[Hz]的数据来在基于时间的方向上缩放数据。后端处理器108在基于时间的方向上缩放(内插处理)2D帧 #5到10以转换为120[Hz]数据，并发送数据到显示面板。也在图9的例子中，接收器100可以从添加到每个帧的帧向下计数值获取 3D^2D的切换定时。因此，后端处理器108可以预先识别帧#4的切换定时，且可以进行用于2D数据的内插处理所必要的准备。而且，后端处理器108可以预先识别帧#10的切换定时，且可以进行用于3D处理所必要的准备。因此，当视频从3D切换到2D时，可以使得连续显示而不导致时间迟延。在图8中，在帧顺序模式中的左眼图像L、右眼图像R、或2D图像数据在被解码之后被存储在存储器的不同区域。类似地，在图9中，在并排模式中的左眼图像L、右眼图像 R、或2D图像数据在被解码之后被存储在存储器的不同区域。因此，存储器区域在切换之前和之后是不同的，且需要取决于切换定时而预先初始化。在本实施例中，从时间偏移量值预先得知在切换之前的时间偏移量，且可以在切换之前进行存储器初始化的准备。在图9中的例子中，内插处理的算法在后端处理器106的处理中在3D和2D之间是不同的。而且，在这种情况下，从时间偏移量值预先得知在切换之前的时间偏移量，且可以在切换之前进行算法切换的准备。[(5)在后端处理器中切换之前和之后的参数]图10是示意图示出当发生上述切换时在后端处理器108中在切换之前和之后的参数。图10中的第一列示出了示出在接收场顺序(FS)模式中的视频数据之后当视频在3D 和2D之间切换时的参数改变。在该例子中，假设3D数据具有1280X720像素，且左/右视频的频率是30X2 = 60[Hz]。也就是说，L、R数据每个从解码器104以30[Hz]的频率输出，且左/右视频的频率是30 X 2 = 60 [Hz]。换句话说，2D数据也具有1280 X 720像素，但从解码器104以30 [Hz]的频率输出。因此，当发生从3D到2D的切换时，后端处理器108 在时间方向上进行缩放以进行2D数据的互补处理用于以60[Hz]的频率输出。因此，当视频在3D和2D之间切换时，视频在切换之前和之后可以被使得具有相同的频率，且可以以相同的方式进行显示面板的处理，且在切换期间由用户感觉到的不舒适的感觉也可以被减小到最小。在图10中的第二列示出在接收了在并排(SBS)模式中的3D数据之后当视频在3D 和2D之间切换时的参数改变。在该例子中，假设3D数据L、R的每个具有960X540像素， 且其中L和R在屏幕水平方向上排列的一帧从解码器104以60[Hz]的频率输出。换句话说，2D数据具有1920 X 540像素且从解码器104以60 [Hz]的频率输出。因此，后端处理器 108在空间方向上进行3D视频的L、R的每个的缩放以输出1920X540像素的数据。更具体地，进行过滤(互补处理)以增加帧在屏幕水平方向上的像素的数量到960X2 = 1920。换句话说，3D和2D两者都具有从解码器104的60 [Hz]的输出频率，且因此，不进行缩放。因此，当视频在3D和2D之间切换时，可以使得视频在切换之前和之后具有相同数量的像素。在图10中的第三列示出在接收了上下(TAB)模式中的3D数据之后当视频在3D 和2D之间切换时的参数改变。在该例子中，假设3D数据L、R的每个具有1920X270像素， 且其中L和R在屏幕水平方向上排列的一帧从解码器104以60[Hz]的频率输出。换句话说，2D数据具有1920 X 540像素且从解码器104以60 [Hz]的频率输出。因此，后端处理器 108在空间方向上进行3D视频的L、R的每个的缩放以输出1920X540像素的数据。更具体地，进行互补处理以增加帧在屏幕垂直方向上的像素的数量到270X2 = 540。换句话说， 3D和2D两者都具有从解码器104的60 [Hz]的输出帧频率，且因此，不进行缩放。因此，当视频在3D和2D之间切换时，可以使得视频在切换之前和之后具有相同数量的像素。在如上述的图像数据的空间和时间缩放中，如果预先不知道在转换之后的参数， 难以在切换之后立即显示缩放的适当图像。在本实施例中，可以在转换之前获取帧向下计数值和在转换之后的下一 3D类型，且因此，可以在切换定时之前进行空间和时间缩放的切换准备。因此，适当缩放的图像可以在切换之后立即被显示。图11是图示视图复制的概念的示意图。视图复制被用于彼此复制3D视频的L、R 的一个以在发送器侧上建立L、R的相同的视频数据且向接收侧传输数据作为2D数据。如图11所示，在上下模式中，原始帧数据(原始帧)被垂直压缩(垂直压缩)，且相同的压缩数据在顶部和底部的L、R区域的每个中垂直排列。如果例如，原始帧是左眼图像L且通过视图复制仅用左眼图像L来进行2D显示，垂直压缩的左眼图像的数据在上下的左眼图像L 的区域中被排列，且左眼图像L被复制到右眼图像R的区域(较低区域)。在并排模式中，原始帧数据被水平压缩(水平缩放)，且相同的压缩数据在并排的 L、R区域的每个中被垂直排列。如果例如，原始帧是左眼图像L且通过视图复制仅用左眼图像L来进行2D显示，水平压缩的左眼图像L的数据在并排的左眼图像L的区域中被排列， 且左眼图像L被复制到右眼图像R的区域(右边区域)。在帧顺序模式中，对原始帧数据进行预定缩放(压缩)，然后对作为左眼图像L的帧N的数据到在基于时间的方向上的下一帧N+1进行预定缩放(压缩)。因此，虽然3D的原始帧N+1具有右眼图像R，左和右视频通过复制左眼图像L变得相同，且可以仅用左眼图像显示2D视频。如果在图4中描述的视图_Copy是1，第二视图是第一视图的副本，且进行如图11 所示的视图复制。因此，当接收到2D数据时，接收器100可以通过参考视图_Copy的数据来识别2D数据是原始的3D数据且通过彼此复制原始数据的L、R来生成。[(7)存储器设置的改变]图12是图示存储器设置的改变的示意图。如图12的上部所示，解隔行器106a、缩放器106b、和帧交织器106c被布置在解码器104的后续阶段中，且功能块主要由后端处理器106配置。图12的下部示出从解码器104的输出，且示出当视频数据具有隔行帧和逐行帧时的每个情况。对于隔行帧，第(N-I)帧和第N帧由偶数场和奇数场的帧对构成，且一帧的L、R数据由帧对构成。对于逐行帧，换句话说，帧的数量是隔行帧的两倍，且通过在一帧中排列L、R数据来配置第2*N帧和第(2*N+1)帧。由系统控制器110向存储器空间分配保持这些数据所需要的存储器。必要的存储器配置取决于3D类型而改变，且控制器当切换3D类型时初始化存储器分配。取决于操作系统在定时时频繁初始化存储器，且初始化所需的定时可以在IOms到几十ms的范围中。换句话说，在临时停止正常之后，进行由解隔行器106a或缩放器106b进行的滤波器切换。鉴于这些，3D类型切换的从多个视频帧或多个视频垂直周期到几秒的切换准备周期是必要的。因此，需要从发送侧向接收侧传输关于直到3D类型的切换定时的时间差的信息，以使得显示面板在从初始视频帧向前切换之后显示新的3D类型。在本实施例中，如果如上述切换发生，在切换定时之前，由帧向下计数值预先指示切换定时。因此，通过预先对初始化存储器进行准备，接收器100可以使得显示面板在向前切换之后立即从视频帧切换之后显示新的3D类型。[⑶基于转换禁止标记的转换禁止的操作]接下来，将描述基于转换禁止标记的转换禁止的操作。如图3所示，添加到每个帧的编解码器层的流句法的标识信息包含转换禁止标记(Prohibit Convert flag)。转换禁止标记被设置为"1"当从发送侧传输的内容应该被禁止根据发送器的意图而转换时。换句话说，根据发送器的意图允许转换，转换禁止标记被设置为"0"。类似于当例如，传输的内容是优先(premium) 3D视频时的情况，可以传递不假设在发送侧上被显示作为2D视频的内容。在这种情况下，通过在发送侧上设置转换禁止标记为"1"，禁止由接收器100转换到2D。类似地，如果传输的内容是2D视频且不假设在发
14送侧转换到3D视频，通过在发送侧上设置转换禁止标记为"1"，禁止由接收器100转换到 3D。图18、19、和20是示出基于转换禁止标记的接收器100的操作的示意图。图18和 19示出当从发送侧传输的内容是3D视频时的情况，图18示出帧顺序模式的情况，和图19 是并排模式的情况。图20使得当传输的内容是2D视频时的情况。在图18所示的场顺序模式中，类似于图8中，左眼图像L的帧和右眼图像R的帧从解码器106被帧顺序地交替输出。如果如图18所示，转换禁止标记是"0" ([i]Prohibit_ Convert_flag = 0)，转换被许可，且接收器100可以正常3D-回放接收的内容(正常3D回放)。如果转换禁止标记是"0"，接收器100也可以转换3D视频为2D视频以回放2D转换的视频(2D转换回放)。对于正常3D回放，后端处理器106对从解码器104输出的数据 (如图18所示的解码的帧)进行预定3D处理，且输出作为如10所示的3D处理处理输出的数据。在这种情况下，后端处理器106可以输出而不在空间方向上或时间方向上进行缩放。对于2D转换回放，仅左眼图像L从从解码器104输出的数据(如图18所示的解码的帧)提取，且由后端处理器106输出。因此，3D视频可以仅用左眼图像L被转换为2D视频和，然后被回放。顺带提及，对于2D转换回放，仅右眼图像的R帧可以被提取以仅用右眼图像R转换3D视频为2D视频用于回放。换句话说，如果在图18中转换禁止标记是〃 1〃 ([ii]Prohibit_Convert_f 1 ag = 1)，转换被禁止，且接收器100可以正常地3D-回放所接收的内容(正常3D回放)，但不被允许转换3D视频到2D视频。因此，从3D视频到2D视频的转换不在接收器100中运行。3D 回放当转换禁止标记是"0"时是相同的。在如图19示出的在并排模式中，其中左眼图像L和右眼图像R被一起放到一帧中的图像数据从解码器104输出。如果如图19所示，转换禁止标记是〃 0〃([i]Prohibit_ Convert_flag = 0)，转换被许可，且接收器100可以正常3D-回放接收的内容(正常3D回放)。如果转换禁止标记是” 0”，接收器100也可以转换3D视频为2D视频以回放2D转换的视频(2D转换回放)。对于正常3D回放，对从解码器104由后端处理器106输出的数据 (解码的帧，如图19所示)的左和右图像水平进行缩放处理(内插处理)，且左眼图像L和右眼图像R按时间顺序交替输出用于每个帧作为3D处理输出数据，如图19所示。对于2D 转换回放，对从解码器104由后端处理器106输出的数据(解码的帧，如图19所示)的仅左眼图像L进行缩放处理，且在每个帧仅输出左眼图像L。因此，3D视频可以仅用左眼图像 L被转换为2D视频和，然后被回放。顺带提及，对于2D转换回放，可以仅对右眼图像的R进行缩放处理，以仅用右眼图像转换3D视频为2D视频用于回放。换句话说，如果在图19中转换禁止标记是〃 1〃 ([ii]Prohibit_Convert_f 1 ag = 1)，转换被禁止，且接收器100可以正常地3D-回放所接收的内容(正常3D回放)，但不被允许转换3D视频到2D视频。因此，从3D视频到2D视频的转换不在接收器100中运行。3D 回放当转换禁止标记是"0"时是相同的。如果如图20所示，传输的内容是2D视频，且转换禁止标记是"0" ([i] Prohibit_Convert_flag = 0)，转换被许可，且接收器100可以正常2D-回放接收的内容 (正常2D回放)。如果转换禁止标记是”0”，接收器100也可以转换2D视频为3D视频以回放3D转换的视频(3D转换回放)。对于正常2D回放，不对从解码器104由后端处理器106输出的左眼图像L(解码的帧，如图20中所示)的数据进行3D处理，且数据被输出作为2D 数据帧。因此，具有左眼图像L的2D视频可以被显示。如果具有右眼图像R的数据的2D 视频从发送侧传输，具有右眼图像R的D视频可以被显示。当在图20中进行转换回放，对从解码器104由后端处理器106输出的左眼图像L 的数据(解码的帧，如图20所示)进行通过视差偏移视频的处理。通过该处理，生成与原始左眼图像L成对的右眼图像R，以便左眼图像L和右眼图像R被交替输出。当进行通过视差偏移左眼图像L的处理时，可以进行在左眼图像L中包含的由于不同对象而不同的视察的量来生成更理想的3D视频。在这种情况下，各种方法可以用于检测对象，诸如检测轮廓边缘的方法以及检测亮度或对比度的差的方法。换句话说，如果在图20中转换禁止标记是〃 1〃 ([ii]Prohibit_Convert_f 1 ag = 1)，转换被禁止，且接收器100可以正常地2D-回放所接收的内容(正常2D回放)，但不被允许转换2D视频到3D视频。因此，从2D视频到3D视频的转换不在接收器100中运行。2D 回放当转换禁止标记是"0"时是相同的。[(8)发送器的配置例子]图13是示出根据本实施例的发送器200的配置的示意图。发送器200被用于编码和经由有线或无线传输路径来传输3D视频或2D视频到接收器100。如图13所示，发送器200包括CPU 202、计数器204、开关206、和视频编码器208。 数据库210和数据库212被连接到开关206。数据库210和数据库212可以与发送器200 集成地或分离地被配置。如图13所示的配置可以由电路(硬件)或CPU(中央处理单元) 和程序(软件)设置以使得电路或CPU运行。在这种情况下，程序可以被存储在接收器100 中包括的存储器或外部存储介质。数据库210具有在其中存储的3D视频A的数据。数据库212具有在其中存储的 2D视频B的数据。在数据库210中存储的视频的数据A和在数据库212中存储的的视频B 的数据被传输到开关206。开关206选择视频A和视频B之一并将所选视频发送到视频编码器208。开关206根据由计数器204对帧的计数值发送视频A和视频B之一到视频编码器 208。计数器204基于来自CPU 202的指令，计数传输到视频编码器208的视频数据的帧的数量，并发送直到切换的计数值到开关206。如果例如，3D视频A是节目的主要部分的数据且2D视频B是商业数据，CPU 202发送对应于直到从节目的主要部分的视频A切换到商业的视频B的时间偏移量的帧的计数值，到开关206.基于从计数器204发送的计数值，在其中切换发生的时刻，开关206切换发送到视频编码器208的视频。因此，视频可以在节目的主要部分的视频A和商业的视频B之间相互地切换。视频编码器208编码从开关206发送的视频A或视频B的数据作为MPEG-4AVC、 MPEG-2视频、VC-1、MPEG4视觉等的位流以传输数据到接收器100。计数器204发送直到切换的计数器数到视频编码器208。视频编码器208向每个编码的帧的编解码器层的流句法增加从计数器204发送的计数值，作为帧向下计数值。基于来自CPU 202的指令，视频编码器208向视频A或视频B的数据增加参考图3到7描述的各种数据。由视频编码器208编码的位流从发送单元214被传输到接收器100。
根据以上配置，发送器200可以基于CPU 202的指令切换3D视频A和2D视频B。 发送器200可以基于CPU 202的指令，向视频数据增加指示直到切换的帧的数量的向下计数值。发送器200还可以向视频数据增加图3懂啊7中的各种信息。因此，基于由发送器 200增加的这些信息，接收器100侧可以在切换之前和之后进行处理，且预先对关于切换的各种处理进行准备。已经参考附图描述了本发明的优选实施例，同时，当然本发明不限制于上述例子。 本领域技术任意可以找到所附权利要求的范围内的各种替换和修改，且应该理解，它们将自然落入本发明的技术范围内。参考标记列表
100接收器
104解码器
106后端处理器
200发送器
202CPU
208视频编码器
206分帧单元
权利要求
1.一种接收器，包括解码处理单元，解码从外部接收的视频信号；标识信息获取单元，从对应于视频信号的每帧的层获取包括关于2D或3D视频的格式的标识信息；以及处理单元，基于标识信息来通过视频信号进行用于图像显示的处理。
2.根据权利要求1的接收器，其中，所述处理单元包括缩放单元，其基于标识信息来通过视频数据进行视频数据的空间或时间缩放，且当切换视频的格式时，适应于切换时刻而切换用于缩放的参数。
3.根据权利要求2的接收器，其中，标识信息包含指示何时发生视频的3D格式的切换的时刻或何时发生3D视频和 2D视频的切换的时刻的偏移量信息，以及所述缩放单元基于偏移量信息来在发生切换的时刻之前开始所述处理来切换所述参数。
4.根据权利要求2的接收器，其中，标识信息包含指示何时发生视频的3D格式的切换的时刻或何时发生3D视频和 2D视频的切换的时刻的偏移量信息，以及所述缩放单元基于偏移量信息来在发生切换的时刻之前开始所述处理来切换临时缓冲器的设置以保存解码的视频信号。
5.根据权利要求2的接收器，其中，所述标识信息包含表示并排模式、上下模式、和帧顺序模式中的至少之一的信息作为3D格式。
6.根据权利要求2的接收器，其中，所述标识信息包含指示根据3D格式用于左眼和右眼的两个视图的空间或时间相位具有相同相位或不同相位的信息。
7.根据权利要求2的接收器，其中，所述标识信息包含指示视频信号通过将3D左右视频之一复制到另一个而被改变为2D视频的信号。
8.根据权利要求2的接收器，其中，所述缩放单元进行作为空间缩放的处理，以便沿屏幕垂直方向或屏幕水平方向扩张由解码处理单元解码的视频。
9.根据权利要求2的接收器，其中，所述缩放单元进行按时间排列的视频帧的复制或内插处理，作为时间缩放。
10.根据权利要求1的接收器，其中，所述标识信息包含禁止视频的格式的转换的信息。
11.一种发送器，包括编码处理单元，编码视频信号；标识信息插入单元，向对应于视频信号的每帧的层中插入包括关于2D或3D视频的至少一个格式的标识信息；以及发送单元，发送其中插入了标识信息的视频信号。
12.一种通信系统，包括发送器，包括编码视频信号的编码处理单元；标识信息插入单元，向对应于视频信号的每帧的层中插入包括关于2D或3D视频的格式的标识信息；以及发送单元，发送其中插入了标识信息的视频信号；解码处理单元，解码从发送器接收的视频信号；以及接收器，包括标识信息获取单元，从对应于视频信号的每帧的层中获取包括关于2D 或3D视频的格式的标识信息；以及处理单元，基于标识信息通过视频信号来进行用于图像显示的处理。
13.一种图像显示方法，包括 解码从外部接收的视频信号；从对应于视频信号的每帧的层获取包括关于2D或3D视频的格式的标识信息；以及基于标识信号来通过视频信号进行用于图像显示的处理。
14.一种用于使得计算机用作如下单元的程序 解码从外部接收的视频信号；从对应于视频信号的每帧的层获取包括关于2D或3D视频的格式的标识信息；以及基于标识信号来通过视频信号进行用于图像显示的处理。
15.一种包含关于要被广播的内容的视频信号的数字广播信号的数据结构，其中，包括关于2D或3D视频的格式的标识信息被插入对应于视频信号的每帧的层中，以及使得接收器用作通过视频信号进行用于图像显示的处理的单元。
全文摘要
接收器(100)包括解码器(104)，解码从外部接收的图像信号，并从对应于图像信号的帧的层获取包括关于图像的二维或三维的格式的ID信息；以及后端处理器(106)，其基于ID信号来对图像信号表示的图像数据进行空间或时间缩放，且如果切换图像的格式，根据格式的切换的定时，切换用于缩放的参数。
文档编号H04N13/00GK102308588SQ201080006739
公开日2012年1月4日 申请日期2010年10月28日 优先权日2009年11月5日
发明者塚越郁夫 申请人:索尼公司