视频合成设备及程序的制作方法

专利名称：视频合成设备及程序的制作方法
技术领域：
本发明涉及在输入第一和第二视频时通过将第二视频与第一视频组合来显示合成视频的视频合成设备和程序。
背景技术：
随着高速网络基础设施的发展和大容量记录介质的发展，用户或用户视频设备可以一次性处理的视频数据的绝对数量已大幅度增加。对于这种趋势，新兴出现了使用多组视频数据获得的多种功能和基于这些功能的高性能应用程序。这些功能之一是称作"画中画"的功能。"画中画"是通过将较小的子帧叠加在屏幕(父帧)上以同时显示两个视频的功能。例如，该功能用于"多角度表征"，以在子帧中显示从与父帧视频的角度不同的角度提取的视频，或者该功能用于"评注显示"，以评注形式显示关于父帧视频的附加信息(例如，在子帧中显示针对电影拍摄期间未讲述的故事而记录的导演的评注视频等)。
例如，如图17所示，通过在两个不同层上解码两组视频数据并叠加这些解码视频来实现画中画。在这种情况下，调整子帧视频的显示尺寸和显示位置，以将其放置在父帧上。此外，画中画时的子帧可以具有任意形状的视频，而不是图17所示的矩形视频。例如，专利文献1中描述了画中画功能及实现该功能的方法。
专利文献1 :日本专利申请公开2005-12377
发明内容
本发明要解决的问题 在传统画中画中，子帧的显示位置可能是预先确定的，子帧显示在该位置处。
在画中画中，子帧中的视频是交叠并显示在父帧中的视频上的。因此，当显示子帧时，部分父帧视频将被子帧视频隐藏。因此，优选的是可以根据父帧视频的变化的内容来切换子帧在父帧中的显示位置。 此外，作为使用画中画的一种应用，可以存在如下配置在特定时间段内的任意时间点上，能够自由地开始播放、暂停和重新开始子帧视频。子帧仅在播放视频时才显示。例如，上述配置用于当子帧视频作为特许视频添加至父帧视频，从而子帧视频不必与父帧精确同步，而应该允许仅在特定持续时间上在父帧视频中播放该子帧视频(特许视频)时。此外，在这种情况下，优选的是根据每次显示子帧时的父帧视频的内容来适当地给定子帧应该在父帧上显示的显示位置。 然而，虽然存在这种需求，但是还没有如上所述的根据父帧视频的改变来给定子帧的可改变显示位置的传统方法。因此，不可能使上述应用可行。 鉴于上述问题，设计了本发明，目的是提供在画中画回放期间对关于子帧的显示 位置的可显示时间段、每个时刻要显示区域或可显示区域进行指定的显示用数据。此外，目 的是提供一种视频合成设备和程序，即使在如上所述地自由改变子帧视频的回放时间和停 止时间时，也能够基于显示用数据来提供适当的子帧显示位置。
解决问题的手段 为了解决上述问题，第一发明是一种视频合成设备，用于接收第一视频和第二视 频，并输出与第二视频合成的第一视频，该装置包括指定装置，用于接收包括时间信息和 显示区域信息的显示用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内 的显示位置，所述时间信息表示第一视频中可以显示第二视频的时间，所述显示区域信息 表示对应于所述时间而给予的、第二视频的显示区域；以及合成装置，用于在由指定装置指 定的第一视频内的显示位置上放置并合成第二视频。 第二发明是第一发明的视频合成设备，其特征在于所述显示用数据包括第二显示 区域信息，第二显示区域信息表示对应于第二视频中的时间而给予的、第二视频的显示区 域；在显示第二视频时，指定装置执行如下过程根据所述显示用数据中包括的显示区域 信息和/或第二显示区域信息来指定显示位置。 第三发明是第一发明的视频合成设备，其特征在于所述显示用数据包括可显示区 域信息，可显示区域信息表示对应于第二视频中的时间而给予的、第二视频的可显示区域； 在显示第二视频时，指定装置执行如下过程根据所述显示用数据中包括的显示区域信息 和/或可显示区域信息来指定显示位置。 第四发明是一种视频合成设备，用于接收第一视频和第二视频，并输出与第二视 频合成的第一视频，该装置包括指定装置，用于接收包括时间信息和可显示区域信息的显 示用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，所述时 间信息表示第一视频中可以显示第二视频的时间，所述可显示区域信息表示对应于所述时 间而给予的、第二视频的可显示区域；以及合成装置，用于在由指定装置指定的第一视频内 的显示位置上放置并合成第二视频。 第五发明是第四发明的视频合成设备，其特征在于所述显示用数据包括显示区域 信息，显示区域信息表示对应于第二视频中的时间而给予的、第二视频的显示区域；在显示 第二视频时，指定装置执行如下过程根据所述显示用数据中包括的可显示区域信息和/ 或显示区域信息来指定显示位置。 第六发明是第四发明的视频合成设备，其特征在于所述显示用数据包括第二可显 示区域信息，第二可显示区域信息表示对应于第二视频中的时间而给予的、第二视频的可 显示区域；在显示第二视频时，指定装置执行如下过程根据所述显示用数据中包括的可 显示区域信息和/或第二可显示区域信息来指定显示位置。 第七发明是一种视频合成设备，用于接收第一视频和第二视频，并输出与第二视 频合成的第一视频，该装置包括指定装置，用于接收包括时间信息和显示区域信息的显示 用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，所述时间 信息表示与第一视频中的时间不同的第二视频中的时间，所述显示区域信息表示对应于第 二视频中的时间而给予的、第二视频的显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。 第八发明是一种视频合成设备，用于接收第一视频和第二视频，并输出与第二视频合成的第一视频，该装置包括指定装置，用于接收包括时间信息和可显示区域信息的显示用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，以使第二视频包括在可显示区域信息中，所述时间信息表示与第一视频中的时间不同的第二视频中的时间，所述可显示区域信息表示对应于第二视频中的时间而给予的、第二视频的可显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。 第九发明是第一到第八发明之一的视频合成设备，其特征在于合成的输出视频是画中画格式的视频，第一视频对应于要在父帧上显示的视频，第二视频对应于要在子帧上显示的视频。 第十发明的特征在于，使计算机能够接收第一视频和第二视频，并对输出与第二
视频合成的第一视频进行控制，以实现指定功能，用于通过接收包括时间信息和显示区域
信息的显示用数据，来执行如下控制基于所述显示用数据，指定在显示第二视频时第一视
频内的显示位置，其中所述时间信息表示第一视频中可以显示第二视频的时间，所述显示
区域信息表示对应于所述时间而给予的、第二视频的显示区域；以及合成功能，用于执行如
下控制在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。 第十一发明是第一或第七发明的视频合成设备，其特征在于所述显示区域信息包
括用于显示第二视频的矩形区域的左上顶点的坐标集。 第十二发明是第四或第八发明的视频合成设备，其特征在于所述可显示区域信息
包括其中显示第二视频的矩形区域的左上顶点的坐标集。 本发明有益效果 本发明提供了与画中画回放期间子帧的显示位置有关的显示用数据，给出了可显示时间和显示区域或可显示区域。该显示用数据可以包括在子帧视频或父帧视频的视频数据中，或者可以存储在独立于视频数据并在视频传输或分发期间与视频数据一并处理的管理数据中。在该视频显示设备和方法中，显示用数据用于在每次读出父(子)帧视频时与父(子)帧视频的回放时间相对应地确定子帧的显示位置。当合成子帧视频以采用画中画形式将其显示在父帧视频上时，这些配置能够通过在适当显示位置显示子帧视频，来进行回放显示。由此，可以在可显示时间的范围内对子帧视频自由地进行显示和不显示之间的切换。此外，每次对子帧视频自由地进行显示和不显示之间的切换时，可以合成子帧视频，以在适当位置进行显示。因此，可以按照分发者的意图执行画中画期间的回放。


图1是示出了根据本发明第一、第二和第三实施例的视频显示设备的示意性配置的功能框图。 图2是示出了在根据本发明第一实施例的视频显示设备中使用的显示用数据的示例的图。 图3是示出了在根据本发明第一实施例的视频显示设备中使用的显示用数据的另一示例的图。
图4是示出了在根据本发明第一实施例的视频显示设备中使用的显示用数据的变体的图。 图5是示出了在根据本发明第一实施例的视频显示设备中使用的显示用数据的另一示例的图。 图6是示出了在根据本发明第一、第二和第三实施例的视频显示设备上显示视频时的处理的流程图。 图7是示出了当在根据本发明第一实施例的视频显示设备上显示视频时的第一显示状态的示例图。 图8是示出了当在根据本发明第一实施例的视频显示设备上显示视频时的第二显示状态的示例图。 图9是示出了当在根据本发明第一实施例的视频显示设备上显示视频时的第三显示状态的示例图。 图10是示出了当在根据本发明第一实施例的视频显示设备上显示视频时的第四显示状态的示例图。 图11是示出了在根据本发明第二实施例的视频显示设备中使用的显示用数据的示例的图。 图12是示出了当在根据本发明第二实施例的视频显示设备上显示视频时的第一显示状态的示例图。 图13是示出了当在根据本发明第二实施例的视频显示设备上显示视频时的第二显示状态的示例图。 图14是示出了当在根据本发明第二实施例的视频显示设备上显示视频时的第三显示状态的示例图。 图15是示出了当在根据本发明第二实施例的视频显示设备上显示视频时的第四显示状态的示例图。 图16是示出了在根据本发明第三实施例的视频显示设备上显示视频时的过程的图。 图17是示出了用于实现传统画中画功能的方法的示例图。 附图标记说明 1，2，3视频显示设备 101,103解码器 102,104缓冲单元 105合成器 106调整器 107显示单元 108输入单元 109处理控制器 110， 210， 310位置指定器
具体实施例方式
下面，参照附图，详细描述在根据本发明的视频合成设备应用于显示合成视频的
视频显示设备时的视频合成设备。(第一实施例) 参照图1到10描述根据本发明第一实施例的视频显示设备、方法和显示用数据。
图1是根据本发明第一实施例的视频显示设备1的示意性配置的功能框图。视频显示设备1接收两个视频数据集(编码视频流)，对其进行解码和组合，以按照所谓的"画中画表征"状态进行显示。在如下说明书部分中，画中画表征中显示在父帧中的视频和显示在子帧中的视频分别称为"主视频"和"子视频"，以彼此区别。 视频显示设备1包括解码器101和缓冲单元102，用于解码主视频的视频数据和控制其输出；解码器103和缓冲单元104，用于解码子视频的视频数据和控制其输出；合成器105，其中结合有调整器106，用于将子视频与主视频组合；以及显示单元107，用于显示输出视频。此外，该装置还包括输入单元108，用于接收子视频(子帧)的显示/不显示之间的用户切换指令；处理控制器109，用于根据该切换来控制解码器103和/缓冲单元104的处理；以及位置指定器IIO，用于根据分别输入的有关子视频的显示用数据和回放期间的时间信息，指定子视频(子帧)的显示位置。在本说明书中，用于指定子视频(子帧)的显示位置的显示用数据称作与视频数据相对的"元数据"。 这里，视频显示设备1描述为包括解码器101和103，但是这不是必不可少的。例如，如果输入视频数据是尚未编码的视频数据，则视频显示设备1无需包括解码器101和103。此外，图1中的视频显示设备1仅由关于视频数据(与视频信号有关的数据)处理的功能块构成。但是，除了涉及视频信号的数据之外，实际的视频数据还包括音频数据和管理数据(对编码数据进行解码所必需的信息，例如编码系统等；以及播放视频所必需的信息，例如指定视频剪辑和联结等播放列表等)，实际的视频显示设备的构造还包括对音频数据和管理数据进行处理的功能块。在这种情况下，图1中的配置是作为实际视频显示设备的内部结构而安装的。 首先，描述无子视频(子帧)显示时视频显示设备1中的处理。在这种情况下，没
有子视频的视频数据输入，或者即使输入，也对该视频数据进行不显示处理。 输入的主视频的视频数据由解码器101解码，由缓冲单元102对解码视频进行有
关定时的调整，输出解码视频。因为不显示子视频，所以从缓冲单元102输出的解码视频通
过合成器105而并不在其中受到任何处理，并提供至显示单元107。由此，按照原样显示主视频。 接下来，描述显示子视频(子帧)时视频显示设备1中的处理。
在解码器103中解码输入子视频的视频数据，由缓冲单元104对解码视频进行有关定时的调整，输出解码视频。子视频的解码画面输入至合成器105内的调整器106。
作为合成子视频和主视频的预处理，调制器106转换并调整图像大小、以及子视频的解码画面在屏幕上的显示位置。在这种情况下，调整子视频(子帧)，以将其合成在主视频(父帧)内由稍后所述的位置指定器110指定的显示位置上。此后，将调整后的子视频与输入主视频的解码画面合成，以通过显示单元107输出和显示合成视频。此外，也可以设定合成时的透光率，以通过合成的子视频看到主视频。
8
视频显示设备1包括输入单元108，用于从用户接收子视频(子帧)的显示/不显示的切换指令。然后，输入单元108基于输入的切换指令，产生显示状态信息并将其传送至处理控制器109和位置指定器IIO，显示状态信息指示了在当前时间点应该显示还是不显示子视频(子帧)。 处理控制器109接收来自输入单元108的显示状态信息，并基于该信息控制解码器103和/缓冲单元104的处理。例如，当显示状态信息是"不显示状态"时，控制器停止解码器103中的解码处理和/或从缓冲单元104的输出，并在显示状态信息变为"显示状态"时重新开始这些处理，从而在不显示时间段中暂停子视频。 位置指定器110接收来自输入单元108的显示状态信息，当子视频(子帧)处于显示状态时，使用上述元数据确定要在主视频(父帧)中显示的子视频(子帧)的显示位置，并将结果通知给调整器106。 当主视频在时间上变化时，主视频中要显示或可以显示子视频的显示位置随着主
视频的变化而在时间上变化。因此，如果在上述处理控制器109和由处理控制器109控制
的解码器103和/或缓冲单元104停止显示子视频并将其设定为暂停之后，经过一些时间
时重新开始子视频的回放和显示，并不总是希望与之前停止子视频显示时的位置相同的位
置上显示该子视频。在本发明中给出的子视频的显示用数据(即，元数据)是具有在主视
频中的每个时间位置应该或可以在主视频中的哪个位置显示子视频的有关信息的数据。位
置指定器110使用与子视频的视频数据一并输入的元数据，输出与回放期间的时间信息所
指示的时间位置相对应的、子视频(子帧)的显示位置。 参照图2到5，具体描述在本实施例中处理的视频显示用的元数据。 图2和3示出了根据本发明中给出的子视频显示的元数据示例。视频数据中包含
的视频流(子视频流)包括首部和视频数据部分。首部包括关于该流的多种信息，该首部
包括元数据。 图2和3各自均示出了元数据的具体结构(图2(a)，图3(a))以及由元数据指定的显示区域或可显示区域(图2(b)，图3(b))。此外，添加了示意性地示出一维的显示区域或可显示区域的图(图2(c)，图3(c))，以便容易理解显示区域或可显示区域的时间变化。即，图2(c)和图3(c)中的纵轴表示屏幕上的二维位置，所示带状垂直宽度对应于显示区域或可显示区域的大小。 图2(a)示出了元数据结构的示例。元数据包括子视频的总播放时间200 ;可显示时间信息201 ，其表示基于主视频中的回放时间(基于"OO: 00: OO"的回放时间，回放开始位置)而允许显示子视频的主视频时间范围；以及显示区域信息202，示出了在可显示时间范围中的每个时刻，子视频在主视频中的显示位置。这里，假设子视频(子帧)具有预定的固定显示尺寸，图2的显示区域信息202给出了该子帧的左上顶点。例如，从时间"00:00:10"开始显示子视频，并且其左上顶点定位在(xl，yl)。当然，应该理解顶点坐标并不限于左上点的坐标，而可以使用例如子视频中心的坐标。 图2(b)示出了在主视频的各个时间段显示子视频时显示区域的二维表征。例如，从时间"00:00:15"到时间"00:00:30"，在主视频中左上顶点设定为坐标(x2， y2)的区域
中合成和显示子视频。 图2(c)示出了其中显示子视频的显示区域的一维表征。垂直方向示出了主视频中的空间位置(区域)，水平方向示出了时间(主视频的时间位置)。例如，在时间"00:00:15"，子视频的左上顶点从坐标(xl， yl)转移到(x2， y2)。在图2(c)中，由在时间"00:00:15"和"00:00:30"改变位置的带状区域给定子视频在主视频中的显示区域。
图3(a)也示出了元数据结构的示例。图3(a)所示的元数据包括子视频的总播放时间300 ;可显示时间信息301，其表示基于主视频中的回放时间允许显示子视频的主视频时间范围；以及可显示区域信息302，示出了在可显示时间范围中的每个时刻主视频中可以显示(允许显示)子视频的区域。这里，图3所示的可显示区域信息302给出了两个点的坐标，即其中可以显示子帧的区域的左上和右下顶点。例如，参照图3(b)，示出了从时间"00:00:10"开始，可以在坐标为(xl， yl)的左上顶点和坐标为(xl'， yl')的右下顶点的矩形区域中显示子视频(子帧)。如果子视频(子帧)具有预定的固定显示尺寸，当图3中可显示区域信息302所指定的可显示区域大于子帧的显示尺寸时，则在显示子视频时，能够在可显示区域内的任意位置显示子视频。此外，可以在可显示区域范围内移动或放大正在显示的子视频(子帧)。例如，在图3(c)中，主视频中可以显示子视频的区域由在时间"00:00:15 "和"00:00:30 "改变位置的带状区域指定。 虽然图2和3示出了两个示例中由元数据指定的显示(可显示)区域是基于子视频(子帧)具有固定尺寸而描述的，但是子视频尺寸不限于此；调整显示区域信息，以给出子视频本身的显示尺寸。即，类似于图3，显示区域由左上和右下顶点这两个点的坐标指定，并可以显示子视频，从而放大或縮小子视频以满足显示区域的尺寸。 图4中的表相对于本发明所给的元数据，示出了对其中指定显示(可显示)区域的时间范围进行设定的变化形式以及显示(可显示)区域的描述格式的变化形式。这里，图4示出了显示(可显示)区域仅限于矩形的情况。 存在不同方式来设定时间范围；一种方式是指定任意区间，另一种方式是向每个固定单位的区间给定显示(可显示)区域。这里，当指定任意区间时，如果假设连续期间内没有时间间隙或交叠，则可以省略区间的开始和结束时间之一。此外，在图4的表中，使用通用时间记法"小时分钟秒"来作为示例。但是，时间记法不限于此；例如，可以采用"秒"或"毫秒"格式来给出总时间。另一方面，当向每个固定单位的区间给定显示(可显示)区域时，向每任意时间单位给定一个显示(可显示)区域，例如，每秒、每250毫秒、每分钟等，而不一定是图4中的示例每5秒。此外，也可以使用时间之外的、视频编码期间的单位，诸如帧单位和GOP(画面组)单位。依据所存视频的性质来适当设定单位区间的长度。
可以采用多种方式指定显示(可显示)区域的描述格式，包括多个坐标集、两个坐标集以及具有尺寸的坐标集。其中，可以用单个坐标集确定区域的情况是子视频的显示尺寸已预先确定的情况。当用两个坐标集或具有给定尺寸的坐标集指定区域时，则存在两种情况子视频的显示尺寸小于指定的区域，或者指定了所谓的可显示区域；以及将子视频的尺寸调整(放大或縮小尺寸)为指定的区域或显示区域。也可以指定主视频中从上到下或从左到右的带状区域(例如，屏幕上半部分或下半部分区域)作为可显示区域。虽然图4中显示(可显示)区域的示例指定为矩形区域，但是除此之外，可以给定显示(可显示)区域其他形状，例如多边形和椭圆形，或者显示(可显示)区域可以形成为任意形状。例如，可以使用任意形状的屏蔽图像来形成该形状的区域。这里，省略了对任意形状的具体描述格式的说明。
此外，也可以指定如图5所示的随时间持续移动的显示(可显示)区域，而不是图 2和3所示的显示(可显示)区域的位置在离散的特定时间点改变的情况。在这种情况下， 如图5所示，例如，可以通过时间区间、该时间区间开始时间位置处的显示(可显示)区域 位置、以及该时间区间结束时间位置处的显示(可显示)区域位置的组合，给定元数据(图 5(a))中包括的显示(可显示)区域信息502。作为示例，图5(b)示出了子帧的显示区域。 这里，在时间"00:00:10"，子帧显示在左上顶点坐标为(xl，yl)的显示区域中。然后，显示 区域持续移动，从而在时间"00:00:20"，子帧显示在左上顶点坐标为(x2， y2)的显示区域 中。此外，显示区域还持续移动，从而在时间"00:00:40"，子帧显示在左上顶点坐标为(x3， y3)的显示区域中。图5(c)示意性地示出了上述情况，其中以一维形式表示出显示区域或 可显示区域。 应该注意，用于指定持续改变的区域的方法不限于此。也可以通过给定开始时间 位置的位置连同单位变化量(移动矢量)来指定显示(可显示)区域。 此外，在本发明中，将元数据指定的区域作为显示区域(其中进行显示的区域)或 可显示区域(其中允许显示的区域)进行处理。相反，也可以将除了上述指定区域之外的 其他区域理解为禁止显示区域(其中不允许显示的区域)。即，本发明可以类似地应用于对 可显示时间和禁止显示区域进行指定的元数据。 下面参照图6到IO，描述使用上述显示用元数据来回放和显示与主视频合成的子 视频时的具体操作。 图6是示出了显示子视频时的处理的流程图，其中包括子视频(子帧)的显示/ 不显示之间的切换。该流程图主要示出了图l所示视频显示设备的设备组件中位置指定器 110、处理控制器109和合成器105的操作。图7到10示出了根据图6流程图，当在图1的 视频显示设备上合成并显示子视频时的操作结果的示例。在图7到10中，黑色填充部分指 示子视频的显示时间和此时的显示位置。 在以下描述中，以图2所示的元数据为例，描述回放和显示处理，其中显示区域的 尺寸等于子视频的显示尺寸。但是，即使使用对所谓的可显示区域进行描述的元数据，即， 显示区域的尺寸大于子视频的显示尺寸的情况，基本操作也未改变，除了由指定器110从 可显示区域中选择适当的显示位置并将其输出。 位置指定器110读取元数据(步骤S1)，接着基于元数据中包括的可显示时间信息 (图2中201)确定主视频的当前回放时间是否落入可显示时间内(步骤S2和S3)。如果该时 间在可显示时间的开始时间之前，则不显示子视频，并等待可显示时间的开始(步骤S2 :否)。
如果主视频中的当前回放时间在可显示时间内(步骤S2 :是一步骤S3 :否)，则位 置指定器110从输入单元108获取子视频显示和不显示状态之间的切换指令。这里，当接 收到显示子视频的指令，从而子视频处于显示状态时(步骤S4 :是)，则执行子视频解码过 程，以输出解码画面(步骤S5)。此外，位置指定器110基于元数据，获取与主视频中的当前 回放时间位置有关的时间信息(步骤S6)，并确定与当前回放时间位置相对应的子视频显 示位置(步骤S7)。然后，合成器105在主视频中指定的显示位置处合成并显示子视频(步 骤S8)。当子视频的数据未结束时(步骤S9 :否)，操作转向步骤S3，继续该过程。
另一方面，当用户使用子视频显示和不显示状态之间的切换指令来命令将子视频 设定到不显示状态时(S4 :否)，则停止子视频的解码和输出处理(步骤S10)，以使子视频的显示本身暂时停止。 当完成子视频回放时(S9 :是)或主视频的回放时间已超过子视频可显示时间的 结束时间时(S3:是)，子视频显示处理结束。 图7到10是示意性地示出了主视频与子视频之间的位置关系的图。垂直方向示 出了主视频中的空间位置，水平方向示出了时间。现在，在时间"00:00:00 "开始输出主视 频。这些图也示出了在使用图2(a)中的元数据结构时子视频的显示状态。
首先，图7是示出了直到时间"00:00:13"的状况。参照图2(a)中的元数据结构， 子视频可显示时间从时间"00:00:10"开始。接着，当用户在时间"00:00:13"做出显示子 视频的控制时(图6中，步骤S2 :是一步骤S3 :否一步骤S4 :是)，解码子视频(步骤S5)。 将子视频与主视频合成，并在由元数据指定的对应于时间"00:00:13"的显示位置上开始子 视频显示(图7中的黑色填充部分)。 图8是示出了直到时间"00:00:20"的状况的图。参照图2(a)中的元数据结构， 描述在时间"00:00:15"时的子视频显示区域改变的过程。相应地，位置指定器110根据元 数据中的显示区域信息202改变子视频显示区域(步骤S7)。然后，当在时间"00:00:20" 通过输入单元108输入将子视频状态设定为不显示状态的信号时(步骤S4 :否)，从位置指 定器IIO向合成器105输出用于停止子视频输出的信号。由此，合成器105停止子视频输 出(步骤S10)。 接下来，图9是示出了直到时间"00:00:28"的状况的图，其中显示再次切换到子 视频(子帧)显示状态。在这种情况下，子视频从暂停状态返回到回放状态，并播放在时间 "00:00:20"播放的子视频的继续部分。此时，在元数据指定的对应于时间"OO: 00:28"的显 示位置上显示子视频(子帧)。 接下来，图10是示出了直到时间"00:00:36"的状况的图，其中完成了总回放时 间为"15秒"的子视频回放。首先参照图2(a)中所示的元数据，子视频显示区域在时间 "00:00:30"改变(步骤S7)。然后，在时间"OO: 00:36"，已经过了总回放时间"15秒"，子视 频的输出停止(步骤S9:是)。 如上所述，在根据本发明第一实施例的视频显示设备1中，当利用给定了子视频 显示区域或可显示区域的元数据来合成和显示子视频和主视频时，可以适当地指定主视频 内部与显示时间相对应的子视频显示位置。由此，可以在可显示时间的范围内自由地将子 视频在显示与不显示状态之间切换。此外，即使自由地进行显示与不显示状态之间的切换， 也可以避免在对主视频不利的位置上合成和显示子视频。 在本实施例的图1中，上述元数据是例如独立于每个视频数据集而输入的。例如， 当用于管理视频数据的管理数据(诸如解码系统等对编码数据进行解码所需的信息；以及 播放视频所需的信息，例如指定视频剪辑和联结的播放列表)给定为独立于视频数据的流 时，可以将元数据存储到管理数据中，以给予视频显示设备1。备选地，如图2(a)或图3(a) 所示，可以将上述元数据存储在包括子视频的视频数据的视频流中，以提供该元数据。在这 种情况下，必需提供在视频流输入视频显示设备1之前将元数据与子视频的视频流相分离 的处理。 此外，因为上述元数据是在回放子视频时消耗的，所以一般认为元数据与子视频 是一一对应的。但是，例如，也可以考虑一种使用方法，以使主视频具有共同应用于多个子视频集的元数据集。在这种情况下，元数据可以存储在主视频的视频数据(视频数据流)
中。此外，虽然图2(a)和3(a)中前述元数据存储在视频流的首部位置，但是存储位置不限
于此。例如，当将视频数据划分成多个分组以进行传输时，元数据可以作为新的分组嵌入在
一个视频分组与下一个之间，或者存储到每个视频分组的分组首部中。 通过以上述方式提供元数据连同视频数据，视频分发者能够在希望的显示位置上
以画中画模式显示子视频。 此外，虽然图1所示视频显示设备1的合成器105只调整子视频，而不调整主视 频(即，主视频是全屏显示的)，但是可以在主视频的解码视频的输入侧使用包括调整器 106a(与子视频的调整器106相分离的附加调整器)的合成器105a，以通过调整主和子视 频来产生输出(未具体示出合成器105a和调整器106a)。然而，在这种情况下，因为元数据 表示主视频上合成和显示子视频的显示(可显示)区域，所以当前述调整器106a调整主视 频时，必需与该调整相符合地调整由元数据给定的子视频显示(可显示)区域。例如，如果 将主视频在垂直和水平方向上縮小一半，以进行显示，则与主视频合成和显示的子视频显 示(可显示)区域也在垂直和水平方向上压縮一半。虽然在其他实施例中并未具体提及该 内容，但是该内容应该类似地应用于其他实施例。
(第二实施例) 接下来，使用图1、6和11到15，描述根据本发明第二实施例的视频显示设备、方法 和显示用数据。 类似于第一实施例，根据本发明第二实施例的视频显示设备2的示意性配置可以 由图l功能框图给出。但是，在第二实施例中，所处理的元数据不同于第一实施例的元数 据。至于显示装置的操作，视频显示设备1(位置指定器110)和视频显示设备2(位置指定 器210)之间只有位置指定器的操作不同。因此，以下对第二实施例的视频显示设备2中使 用的元数据和使用该元数据的回放期间的具体操作的描述主要集中在与第一实施例的不 同之处。 图11示出了第二实施例中处理的元数据的示例。第一实施例中举例的元数据(图 2和3)给定在可显示时间内显示子视频时对主视频有利的主视频中的子视频(子帧)显示 区域。因此，在图2和3示出的元数据中，子视频显示区域是基于主视频的有关回放时间轴 而与主视频的每个回放时间点相对应而给出的。相反，根据图ll所示的第二实施例的元数 据给出了优选的显示区域，其中在显示子视频时，可以依据子视频的内容和创意，以优选的 方式显示子视频本身。因此，在根据第二实施例的元数据中，子视频显示区域是基于子视频 的有关回放时间轴而与子视频中的每个回放时间点相对应地给出的。 这里，将依据子视频内容的优选显示位置应用于如下使用情况例如，当IO秒的 子视频包括人物A在前4秒面向右的场景以及人物B在剩余5秒面向左的另一场景时，在 前5秒将子视频画面显示在屏幕左手侧，而在剩余5秒将子视频画面显示在屏幕右手侧，以 使人物A和B都面向屏幕中心。当然，这只是示例，而并不总是希望两个人都面向中心，而 是显示子视频画面的位置依据视频导演的指示性意图。总之，要理解根据图ll所示第二实 施例的元数据是附加信息，用于指示子视频自身的回放过程中子视频导演的创意。
类似于针对第一实施例的图2，图ll(a)示出了具体元数据结构，图ll(b)示出了 由该元数据指定的显示区域，图ll(c)示意性地示出了采用一维表征的显示区域的时间改
13变，以便于理解。如上所述，图11(b)和图11(c)中的横轴表示子视频的回放时间位置。图 11(c)的纵轴表示屏幕上的二维空间位置，所示带状的垂直宽度对应于显示区域的尺寸。
图11(a)所示的元数据包括可显示时间信息1101，表示允许显示子视频的主视 频时间范围；以及显示区域信息1102，示出了基于子视频的回放时间轴，在子视频的每个 回放时间点应该显示子视频的主视频中的位置。但是，可显示时间信息1101不是必不可少 的，而可以省略。如果将其省略，则将主视频的整个部分理解为子视频的可显示时间。
图11中，假设子视频(子帧)的显示尺寸具有预定的固定尺寸，描述了简单地用 子帧的左上顶点(或子帧的中心)坐标指定显示区域的情况，作为显示区域信息1102的示 例。但是，显示区域信息不限于此。类似于第一实施例，可以给定两个坐标集来指定可显示 区域(见图3)，或者可以给定两个坐标集来指定将子视频放大或縮小显示的显示区域。在 图ll(c)中，其中应该显示子视频的显示区域表示为在子视频回放时间"00:00:05"(艮卩， 总共在子视频回放开始之后5秒)和"00:00:10"(即，总共在子视频回放开始之后10秒) 改变位置的带状区域。 接着参照图6、 12到15，描述使用图11所示的元数据将子视频与主视频合成、回放 和显示时的具体操作。 类似于第一实施例，图6中的流程图示出了当根据本实施例的视频显示设备2执 行包括有子视频(子帧)的显示/不显示切换的子视频显示时的处理。该流程图示出了图 1所示的视频显示设备2的设备组件中位置指定器210、处理控制器109和合成器105的操 作。 类似于第一实施例中的描述，在以下描述中，将说明使用给定了显示区域的元数
据的回放和显示处理。但是，即使使用描述了可显示区域的元数据，基本操作也不改变，除
了由位置指定器210从可显示区域中选择合适的显示位置以输出之外。 位置指定器210读取输入的元数据(步骤Sl)，然后基于该元数据中包括的可显示
时间信息1101，确定主视频中的当前回放时间是否落在可显示时间内(步骤S2和S3)。如
果当前回放时间在可显示时间的开始时间之前，则不显示子视频，并等待可显示时间的开
始(步骤S2 :否)。 如果主视频中的当前回放时间在可显示时间内(步骤S2 :是一步骤S3 :否)，则位 置指定器210从输入单元108获取子视频显示和不显示状态之间的切换指令。这里，当接 收到显示子视频的指令，并且子视频处于显示状态时(步骤S4 :是)，则执行子视频解码过 程，以输出解码画面(步骤S5)。此外，位置指定器210基于元数据，获取与子视频中的当前 回放时间位置有关的时间信息(步骤S6)，并确定与子视频中的当前回放时间位置相对应 的显示位置(步骤S7)。然后，合成器105在主视频中指定的显示位置处合成并显示子视 频(步骤S8)。采用上述方式，有两点与第一实施例不同在步骤S6，获取子视频本身的总 回放时间位置作为时间信息；以及在步骤S7，使用元数据确定与子视频的回放时间位置相 对应的显示位置。 图12到15是示意性地示出了在视频显示设备2上合成和显示子视频时的操作结 果示例。这里，在本实施例的视频显示设备2中，与主视频回放时间相分离地基于子视频回 放时间来控制元数据，该子视频回放时间表示已再现和显示了子视频的位置。因此，图12 到15的各幅图中，(a)示出了如何基于子视频回放时间来由元数据指定显示区域，(b)示出
14了如何基于主视频回放时间将子视频与主视频合成并显示。在图12到15的图(b)中，黑 色填充部分指示子视频的显示时间段和此时的显示位置。 首先，图12是示出了直到时间"00:00:13"的状况。参照图11(a)中的元数据结 构，子视频可显示时间从时间"00:00:10 "开始。接着，当用户在时间"00:00:13 "做出显示 子视频的控制时(图6中，步骤S2 :是一步骤S3 :否一步骤S4 :是)，解码子视频(步骤S5)。 将子视频与主视频合成，并在由元数据指定的对应于时间"00:00:13"的显示位置上开始子 视频显示。这里，图12(a)示出了从子视频回放时间中的"OO:OO:OO"开始输出视频时的状 态。图12(b)示出了在主视频回放时间为"00:00:13"时开始输出子视频的状态。
其次，图13是示出了直到时间"00:00:20"的状况的图。参照图ll(a)中的元数 据结构的显示区域信息1102，在子视频回放时间"00:00:05"改变子视频显示区域。相应 地，如图13(a)所示，显示区域在子视频回放时间"00:00:05"时改变。结果，在合成的视频 上，显示位置在时间"00:00:18"改变，如图13(b)所示，该时间与子视频回放(显示)开始 之后5秒时的时间点相对应。然后，当在主视频回放时间"00:00:20"将予视频设定到不显 示状态时，停止在主视频中显示子视频。在这种条件下，子视频已播放到"00:00:07"。
接下来，图14是示出了直到时间"00:00:28"的状况的图，其中显示再次切换到子 视频(子帧)显示状态。在这种情况下，子视频从暂停状态返回到回放状态，并播放在主视 频时间"00:00:20"播放的子视频的继续部分，换言之，开始从子视频时间"00:00:07"(对 应于总回放时间7秒的时间位置)播放子视频。由元数据给定子视频(子帧)的显示位 置，以便在对应于子视频时间位置"00:00:07"(对应于总回放时间7秒的时间位置)的显 示位置上显示子视频。 接下来，图15是示出了直到主视频时间"00:00:36"的状况的图，其中完成了总 回放时间为"15秒"的子视频回放。参照图ll(a)中所示的元数据中包括的显示区域信息 1102，子视频显示区域在子视频时间"00:00:30"(在对应于总回放时间10秒的时间位置) 改变。因此，在子视频时间"00:00:10"或在主视频时间"00:00:31 "，子视频的显示位置改 变。 如上所述，在根据本实施例的视频显示设备2中，当使用给定了子视频显示区域 (或可显示区域)的元数据将子视频与主视频合成并显示时，可以通过指定应该显示子视 频的位置将子视频与主视频合成并显示，该位置是依据子视频内容和/或创意而预先确定 的。由此，子视频可以在显示和不显示状态之间自由切换。此外，如果在显示和不显示状态 之间自由切换，则可以在符合子视频内容和/或创意的显示位置上合成和显示子视频。
此外，对于本实施例的元数据而言，可以通过类似于第一实施例的、将元数据存储 在独立于视频数据的管理数据的数据流中的形式来提供元数据，或者如图ll(a)所示，通 过将元数据存储在包括有子视频的视频数据的视频流中的形式来提供元数据。当存储在视 频流中时，有必要提供在子视频的视频流输入视频显示设备2之前将元数据与其分离的处 理。应该注意，因为根据第二实施例的元数据是与子视频一一对应地给出的，所以通常将元 数据添加到子视频的视频数据中或添加到关于子视频的管理数据中。此外，虽然图ll(a) 中元数据存储在视频流的首部位置，但是存储位置不限于此。例如，当将视频数据划分成多 个分组以进行传输时，元数据可以作为新的分组嵌入在一个视频分组与下一个之间，或者 存储到每个视频分组的分组首部中。
(第三实施例) 接下来，使用图1、6和16，描述根据本发明第三实施例的视频显示设备、方法和显 示用数据。 类似于第一和第二实施例，根据本发明第三实施例的视频显示设备3的示意性配 置可以由图1功能框图给出。但是，因为只有位置指定器110的操作不同，所以在本实施例 中位置指定器指定为310。类似于第一和第二实施例，在根据第三实施例的视频显示设备3 上执行子视频显示的过程也可以由图6所示的流程图给出。以下对根据第三实施例的视频 显示设备3的操作的描述主要集中在与第一实施例的视频显示设备1的不同之处。
在本实施例的视频显示设备3中，输入第一和第二实施例中描述的两种元数据作 为用于显示子视频的元数据，以便基于这两个元数据集的组合来确定子视频的显示区域。 相应地，视频显示设备3的位置指定器310接收两种元数据和两个时间信息集(主视频的 回放时间位置信息和子视频的回放时间位置信息)(流程图中步骤S6)，并确定子视频的适 当显示区域(流程图中步骤S7)。 图16是示意性地示出了主和子视频的状态的图。图16(a)示出了相对于主视频而 指定的子视频可显示区域，该区域由第一实施例中描述的元数据给定，而图16(b)示出了 相对于子视频本身而指定的显示区域，该区域由第二实施例中描述的元数据指定。图16(c) 是示出了图16(b)的元数据如何指定回放期间的子视频显示区域。图16(d)是示出了通过 图16(a)和16(b)的元数据将主视频和子视频合成并显示的状况的图。
类似于第一和第二实施例，图16(c)和16(d)示出了使用前述两种元数据的子视 频的显示位置，其中子视频在时间"00:00:13"开始显示，在时间"00:00:20"停止显示，在 时间"00:00:28"重新开始显示，并在时间"00:00:36"结束显示。此外，在图16(c)中给出 了对应于(b)中所示子视频的显示区域16B，在图16(d)中示出了 (a)中所示的主视频中的 子视频的可显示区域16A。图16(d)中的阴影区域或黑色填充区域示出了子视频的显示时 间段和这些时间段上的显示位置。 通常将子视频作为增值附加内容给予主视频。因此，一般希望在执行子视频回放 时尽可能地保持主视频不受到破坏。因此，当给出前述两种元数据时，通过优先考虑相对于 主视频而给定的子视频可显示区域16A，而不是相对于子视频本身而给定的显示区域16B， 确定显示区域。在图16(d)中，在时间范围1601 ( "00:00:13"到"00:00:15")中，可显示区域16A
和显示区域16B彼此精确交叠，从而基于两个元数据集来确定子视频的显示区域。在时间范围1602 ( "00:00:15"到"00:00:20"以及"00:00:28"到"00:00:30")
中，显示区域16B完全包括在可显示区域16A中。因此，在范围1602中，基于与第二实施例 中所示的元数据类似的元数据，在相对于子视频本身而给定的显示区域中显示子视频。
在时间范围1603( "00:00:30"到"00:00:36")中，相对于主视频而给定的子视 频可显示区域16A与符合子视频内容本身而指定的子视频显示区域16B分离在不同区域 中。在这种情况下，优先考虑相对于主视频而给定的子视频可显示区域16A。 S卩，在时间范 围1603中，基于与第一实施例中所示的元数据类似的元数据，在相对于主视频而给定的子 视频可显示区域中显示子视频。 虽然未示出，但是当用于指定子视频显示位置的图16(a)所示的可显示区域和图16(b)所示的显示区域位于不同区域时，以及当图16(a)所示的可显示区域大于子视频(子 帧)的显示尺寸时，可以添加如下处理通过确定包括在图16(a)可显示区域中并靠近图 16(b)显示区域的区域，设定子视频显示区域。当然，如果情况相反，子视频的创意非常重 要，则可以通过优选考虑图16(b)的显示区域，基于图16(b)的显示区域来强制设定子视频 的显示位置。 这里，在本发明的上述每个实施例中，输入至视频显示设备的视频数据(和管理 数据)和元数据可以是通过广播和/或通信之类的传输路径提供的，或者可以是已预先存 储记录在记录介质上，从而可以相继读出该记录介质上记录的视频数据(和管理数据)和 元数据以对其进行回放显示。对于通过传输路径在记录介质上记录一次数据并随后读出记 录的视频数据(和管理数据)和元数据以进行回放的情况而言，上述状况也是相同的。艮卩， 本发明的视频显示设备、方法和显示用数据可以应用为广播视频接收机、视频通信接收机、 以及具有记录介质的记录和再现装置的一个组件，也可以应用于记录有上述每个实施例中 描述的元数据的记录介质。 还可以与视频数据(和管理)相分离地控制本发明每个实施例中示出的元数据。 根据这一特征，当在再现端产生元数据时，也可以在以画中画形式回放视频时，在再现端与 通过广播、通信或记录介质独立输入的视频数据相组合地使用所产生的视频数据。在这种 情况下，例如，元数据可以通过针对区域的用户偏好设定之类的处理来形成，这些区域是在 显示子视频期间，主视频中用户不在乎将其隐藏的区域以及不希望隐藏的区域。当在记录 介质上记录通过广播、通信等传输路径输入的视频数据(和管理数据)时，或者紧接在从记 录介质中读出视频数据(和管理数据)后回放视频数据(和管理数据)之前，在再现端执 行元数据的产生。该产生过程可以通过用户的直接输入来进行，或者可以使用J肌a(注册 商标)等程序来动态地进行。即，无论元数据最终是在哪里设定的，本发明均可以应用于使 用每个实施例中描述的元数据的视频显示设备和方法。 这里，所公开的实施例从各个方面而言均是示例性而非限制性的。本发明的范围 由权利要求的范围限定，而不是前述内容限定，落入权利要求范围的等同含义和范围中的 所有改变都应理解为由所附权利要求所涵盖。
权利要求
一种视频合成设备，用于接收第一视频和第二视频，并输出与第二视频合成的第一视频，所述视频合成设备包括指定装置，用于接收包括时间信息和显示区域信息的显示用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，所述时间信息表示可以显示第二视频的第一视频中的时间，所述显示区域信息表示对应于所述时间而给予的、第二视频的显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。
2. 根据权利要求l所述的视频合成设备，其中所述显示用数据包括第二显示区域信息，第二显示区域信息表示对应于第二视频中的 时间而给予的、第二视频的显示区域；以及在显示第二视频时，指定装置执行如下处理根据所述显示用数据中包括的显示区域 信息和/或第二显示区域信息来指定显示位置。
3. 根据权利要求l所述的视频合成设备，其中所述显示用数据包括可显示区域信息，可显示区域信息表示对应于第二视频中的时间 而给予的、第二视频的可显示区域；以及在显示第二视频时，指定装置执行如下处理根据所述显示用数据中包括的显示区域 信息和/或可显示区域信息来指定显示位置。
4. 一种视频合成设备，用于接收第一视频和第二视频，并输出与第二视频合成的第一 视频，所述视频合成设备包括指定装置，用于接收包括时间信息和可显示区域信息的显示用数据，并基于所述显示 用数据，指定在显示第二视频时第一视频内的显示位置，所述时间信息表示可以显示第二 视频的第一视频中的时间，所述可显示区域信息表示对应于所述时间而给予的、第二视频 的可显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。
5. 根据权利要求4所述的视频合成设备，其中所述显示用数据包括显示区域信息，显示区域信息表示对应于第二视频中的时间而给 予的、第二视频的显示区域；以及在显示第二视频时，指定装置执行如下处理根据所述显示用数据中包括的可显示区 域信息和/或显示区域信息来指定显示位置。
6. 根据权利要求4所述的视频合成设备，其中所述显示用数据包括第二可显示区域信息，第二可显示区域信息表示对应于第二视频 中的时间而给予的、第二视频的可显示区域；以及在显示第二视频时，指定装置执行如下处理根据所述显示用数据中包括的可显示区 域信息和/或第二可显示区域信息来指定显示位置。
7. —种视频合成设备，用于接收第一视频和第二视频，并输出与第二视频合成的第一 视频，所述视频合成设备包括指定装置，用于接收包括时间信息和显示区域信息的显示用数据，并基于所述显示用 数据，指定在显示第二视频时第一视频内的显示位置，所述时间信息表示与第一视频中的 时间不同的第二视频中的时间，所述显示区域信息表示对应于第二视频中的时间而给予的、第二视频的显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。
8. —种视频合成设备，用于接收第一视频和第二视频，并输出与第二视频合成的第一视频，所述视频合成设备包括指定装置，用于接收包括时间信息和可显示区域信息的显示用数据，并基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，以使第二视频包括在可显示区域信息中，所述时间信息表示与第一视频中的时间不同的第二视频中的时间，所述可显示区域信息表示对应于第二视频中的时间而给予的、第二视频的可显示区域；以及合成装置，用于在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。
9. 根据权利要求1到8之一所述的视频合成设备，其中合成的输出视频是画中画格式的视频，第一视频对应于要在父帧上显示的视频，第二视频对应于要在子帧上显示的视频。
10. —种程序，使计算机能够接收第一视频和第二视频，并对输出与第二视频合成的第一视频进行控制，以实现指定功能，用于通过接收包括时间信息和显示区域信息的显示用数据，来执行如下控制基于所述显示用数据，指定在显示第二视频时第一视频内的显示位置，其中所述时间信息表示可以显示第二视频的第一视频中的时间，所述显示区域信息表示对应于所述时间而给予的、第二视频的显示区域；以及合成功能，用于执行如下控制在由指定装置指定的第一视频内的显示位置上放置并合成第二视频。
11. 根据权利要求1或7所述的视频合成设备，其中所述显示区域信息包括用于显示第二视频的矩形区域的左上顶点的坐标集。
12. 根据权利要求4或8所述的视频合成设备，其中所述可显示区域信息包括其中显示第二视频的矩形区域的左上顶点的坐标集。
全文摘要
本发明提供了当在画中画回放中将子帧与父帧合成并显示时关于子帧显示区域的显示用数据，以给定与父帧中的视频内容符合的子帧显示区域，本发明还提供了一种视频显示设备，用于使用显示用数据在适当的显示位置显示子帧。视频显示设备1包括解码器101和103，用于解码两个视频数据集；合成器105，用于合成解码视频以输出；输入单元108，用于命令子帧的显示/不显示；处理控制器109，用于根据该命令控制解码器101和103操作；以及位置指定器110，用于接收命令、显示用数据和时间信息，并向合成器105指定子帧的显示位置。位置指定器110根据显示用数据中包括的子帧视频的可显示时间信息和依据时间的显示区域或可显示区域的有关信息，确定子帧的显示位置。
文档编号H04N7/173GK101789232SQ20101014494
公开日2010年7月28日 申请日期2006年7月19日 优先权日2005年7月27日
发明者山口孝好, 木山次郎, 渡部秀一 申请人:夏普株式会社