视频输出设备和视频输出方法

专利名称：视频输出设备和视频输出方法
技术领域：
本发明涉及视频输出设备和视频输出方法，用于响应于输入视频的显示大小的比 例因子而改变补充信息的显示形式。
背景技术：
通常，用于接收电视广播台、有线电视台等所提供的广播节目的设备处理接收信 号并输出视频。在下文中，该设备将被称为“视频输出设备”。视频输出目的地是安装在视 频输出设备中的显示器、或通过线缆等的通信部件而连接至视频输出设备的外部显示器。 此时，例如，为了满足想要同时观看多于一个节目的用户的要求，广泛已知在两个划分的屏 幕上显示两个输入视频图像的“双屏模式”。图1(a)至(c)是示出一般的双屏模式的显示型式的图。图1(a)示出以相同的比 率并行显示输入视频A和输入视频B的示例。图1(b)示出以不同的大小显示输入视频A和 输入视频B的示例。图1 (c)示出将小屏的输入视频B叠加在全屏上显示的输入视频A上 的示例。图2(a)至(c)示出将视频分配至图1(a)至(c)中所示的双屏模式的每个显示型 式的显示示例。当以双屏模式在显示器上显示视频时，通常，用户执行预定操作，从而以固定比率 切换分屏型式。然而，近来，用于以由用户指定的任何期望比率来划分屏幕的视频输出设备 也已经出现。另一方面，在最近的视频输出设备中，屏幕变得更大，并且提供了更高的功能。例 如，安装多个调谐器的模型、安装多个可连接至游戏机等的多个外部输入端子的模型、播放 通过因特网接收的运动图像的模型、在用于存储的记录介质上记录所接收的节目的模型等 等是可获得的。因此，起居室中的一个大屏幕可以被划分为三个部分，并且家人可以观看三 个视频图像。例如，假设下面的用途母亲和女儿在第一划分屏幕上欣赏记录的戏剧，父亲 在第二划分屏幕上欣赏转播的棒球，而儿子在第三屏幕上享受游戏。如果多个视频图像被缩小、并以固定比率或任意期望比率显示在具有上述分屏功 能的视频输出设备的显示器上，则缩小的视频中的字符串或符号会被挤压，如图2(a)至 (c)所示。此时，所显示的信息难以被用户阅读，并且无法被用户辨认；这是个问题。在专利文献1中揭示了解决此问题的一种方法。根据该文献中的方法，当通过分 屏而缩小涉及数据广播的节目用以显示时，用户通过遥控操作，基于布局信息，将由节目发 送方指定的数据广播的菜单屏幕叠加在缩小的屏幕之外。然而，此方法假设预定字符串和图像数据与布局信息一起被包含在作为数据广播 的节目中。用户必须连续操作遥控器来显示要检查的信息。因为信息被叠加在不同的划分 屏幕上，所以该不同的划分屏幕被叠加屏幕遮蔽，并且信息丢失。在专利文献2中揭示了另一种解决该问题的方法。在该文献中的方法中，对于两 个或更多个输入视频图像，第一输入视频被显示在全屏上，而从第二输入视频中提取包含 字符串的字幕区域，并且，所提取的字符串被叠加在第一输入视频的任何期望位置上。
图3至图5是示出根据专利文献2中揭示的方法的处理的概要的图。在专利文献 2中的方法中，在图3(a)中所示的两个输入视频图像A和B中，字符串B’从输入视频B中 被提取(如图3(b)中所示)，并且被叠加在输入视频A上(如图3(c)中所示)。图4示出 当视频被分配至每个屏幕时的显示示例。在图4中所示的示例中，与对应于输入视频B的 棒球转播中的字符串区域B对应的计分显示部分被叠加在输入视频A上。相关技术文献专利文献专利文献1 JP-A-2002-171457专利文献2 JP-A-8-31730
发明内容
本发明要解决的问题在上述专利文献2中揭示的方法中，输入视频中要被用户知道的信息需要是字符 串。因此，不是字符串的信息(例如，职业棒球对的logo标记等)不包含在字符串区域B’ 中。因此，如果要被用户知道的信息包含不是字符串的信息，则信息丢失(被剪切)；这是 个问题。例如，如果无法被提取的符号或标记被用在图4中所示的输入视频B的计分显示 部分中(如图5(a)中所示)，则仅提取字符串部分，如图5(b)中所示。因此，符号和标记未 被叠加在输入视频A上，如图5(c)中所示。虽然字符串区域B’可以被叠加在输入视频A的任何期望位置上，但是，因为输入 视频A是全屏显示，所以，字符串区域B’被叠加在输入视频A的任何位置上。因此，输入视 频A的部分信息丢失。例如，如图4(c)和5(c)中所示，字符串区域B’被叠加在输入视频 A的telop (字幕)的一部分上，因此叠加部分中的telop的信息丢失。本发明的目的是提供视频输出设备和视频输出方法，用于响应于输入视频的显示 大小的比例因子而改变补充信息的显示形式。解决问题的手段本发明提供了一种视频输出设备，包括屏幕构成管理部分，其管理用于显示至少 一个视频的屏幕的布置或缩放比例；区域确定部分，其确定输入视频中的字符区域；补充 信息存储部分，其剪切出包括由区域确定部分确定的至少一个字符区域的补充信息区域上 的视频，并且将补充信息区域上的视频存储作为补充信息；补充信息显示确定部分，其基于 由屏幕构成管理部分管理的屏幕构成，确定是否除了输入视频之外还显示由补充信息存储 部分存储的补充信息；以及输出部分，其根据来自屏幕构成管理部分和补充信息显示确定 部分的命令，输出输入视频和补充信息。补充信息显示确定部分基于响应于由屏幕构成管 理部分管理的缩放比例而改变的输入视频中的字符区域中包括的字符的大小，确定是否显 示补充信息。本发明提供了一种视频输出设备，包括屏幕构成管理部分，其管理用于显示至少 一个视频的屏幕的布置或缩放比例；区域确定部分，其确定输入视频中的字符区域；通信 部分，其从外部服务器获取由区域确定部分确定的至少一个字符区域中包括的字符串作为 补充信息；补充信息显示确定部分，其基于由屏幕构成管理部分管理的屏幕构成，确定是否 除了输入视频之外还显示由通信部分获取的补充信息；以及输出部分，其根据来自屏幕构成管理部分和补充信息显示确定部分的命令，输出输入视频和补充信息。当由区域确定部 分确定的至少一个字符区域中包括的字符的大小小于阈值时，补充信息显示确定部分显示 补充信息。本发明提供了一种视频输出方法，包括确定输入视频中的字符区域；剪切出包 括至少一个字符区域的补充信息区域上的视频，并且将补充信息区域上的视频存储作为补 充信息；基于用于定义用以显示至少一个视频的屏幕的布置或缩放比例的屏幕构成，确定 是否除了输入视频之外还显示补充信息；以及根据屏幕构成和确定结果，输出输入视频和 补充信息。基于输入视频中的字符区域中包括的字符的大小，确定显示补充信息。本发明提供了一种视频输出方法，包括确定输入视频中的字符区域；从外部服 务器获取至少一个字符区域中包括的字符串作为补充信息；基于用于定义用以显示至少一 个视频的屏幕的布置或缩放比例的屏幕构成，确定是否除了输入视频之外还显示从外部服 务器获取的补充信息；以及根据屏幕构成和确定结果，输出输入视频和补充信息。当至少一 个字符区域中包括的字符大小小于阈值时，确定显示补充信息。本发明的优点根据本发明的视频输出设备和视频输出方法，可以响应于输入视频的显示大小的 比例因子而改变补充信息的显示形式。因此，如果执行对多个输入视频图像的分屏，则发生 输入视频中的字符或符号的挤压的部分可以由补充信息来补足，并且可以防止用户想要的 信息的丢失。


图1(a)至(C)是示出一般的双屏模式的显示型式的图。图2(a)至(c)是示出将视频分配至图1 (a)至(c)中所示的双屏模式下的每个显 示型式的显示示例的图。图3是示出根据专利文献2中揭示的方法、剪切出并叠加输入视频B的一部分的 显示示例的图。图4是示出将视频分配至图3中所示的每个屏幕的显示示例的图。图5是示出其中输入视频B包括字符串和符号的显示示例的图。图6是示出第一实施例的视频输出设备和其相关设备的框图。图7(a)至(f)是示出根据第一实施例的全屏显示和双屏显示的型式的图。图8是示出由屏幕构成管理部分103保存的屏幕构成管理表的示例的图。图9 (a)至(f)是示出由屏幕构成管理部分103保存的屏幕构成管理表的数据构 成示例的图。图10是示出图7(e)中所示的双屏显示状态C下的补充信息屏幕的显示示例的 图。图11是描述图10中所示的屏幕元素的图。图12是示出响应于屏幕定义请求、在显示补充信息屏幕时由图像输出设备100执 行的处理的流程图。图13是示出补充信息提取处理的流程图。图14是示出输入视频2中的字符区域和对象区域的图。
图15是示出由补充信息存储部分113保存的字符区域表的图。图16是示出由补充信息存储部分113保存的对象区域表的图。图17是示出在图13的流程图中的步骤213所示的字符区域组定义处理的流程 图。图18是示出输入视频2中的字符区域和对象区域的叠加状态的图。图19是示出由补充信息存储部分113保存的字符区域组表的图。图20是示出叠加状态检测型式的图。图21是示出在内部处理中使用的边缘宽度的示例的图。图22是示出在图13的流程图中的步骤S214所示的补充信息定义处理的流程图。图23是示出输入视频2中的字符区域组区域和补充信息区域的定义的图。图24是示出由补充信息存储部分113保存的补充信息表的图。图25是示出响应于输入视频的比例因子和分屏模式的补充信息显示确定标准的 图。图26是示出用于确定补充信息的显示位置的因素的示例的图。图27是示出图7(e)中所示的“双屏显示状态C”的屏幕布局构成的图。图28是示出第二实施例的视频输出设备和其相关设备的框图。图29是示出由补充信息提供设备提供的屏幕构成数据的图。图30是示出基于屏幕构成数据的补充信息的显示示例的图。
具体实施例方式下面将参考附图来讨论根据本发明的视频输出设备和视频输出方法的实施例。下 面描述的每个实施例的视频输出设备是这样的设备，其用于接收通过广播台的发送台发送 的节目、广告等的内容并且在该设备内部或外部的显示器上显示所述内容。(第一实施例)图6是示出第一实施例的视频输出设备和其相关设备的框图。首先，将讨论直到 视频输出设备在显示器上显示输入视频为止的处理概要。如图6中所示，图像输出设备100包括输入部分101、终端控制部分102、屏幕构成 管理部分103、视频输入部分104、应用处理部分105、屏幕生成部分106、合成部分107、输出 部分108、区域确定部分112、补充信息存储部分113、以及补充信息显示确定部分115。输入部分101从附连至图像输出设备100或外部连接设备等的遥控设备(简称为 “遥控器”)接收控制指令信号，并且将该信号传送至终端控制部分102。终端控制部分102 响应于从输入部分101传送的控制指令信号而将屏幕构成的查询发送至屏幕构成管理部 分103。例如，屏幕构成是根据关于图像输出设备100的开机指令的而在全屏上显示上次观 看的频道的构成、根据节目指南显示指令而缩小用于显示的当前广播并且在全屏上显示节 目指南的构成，等等。屏幕构成管理部分103管理在显示器上显示的屏幕的构成。屏幕构 成管理部分103存储稍后描述的屏幕构成管理表。当节目指南显示指令信号被输入至输入部分101时，终端控制部分102将节目指 南显示指令传送至应用处理部分105。应用处理部分105可以执行用于除了节目指南显示 功能之外还实现各种功能的应用。应用处理部分105响应于从终端控制部分102输入的指令，返回对于终端控制部分102所需的处理(例如，缩小用于显示的当前频道，等等)。应用 处理部分105为屏幕生成部分106提供用于生成屏幕所需的信息，该屏幕是用以响应于来 自终端控制部分102的指令而进行设置所需的。例如，可以由应用处理部分105执行的应用 所实现的功能不仅是节目指南显示功能，而且还是广播接收设置功能、图像质量调节功能、 警报设置功能、日历显示功能、网络连接设置功能等。屏幕生成部分106基于从应用处理部分105提供的信息，执行被合成为屏幕的基 本部分(字符串、图像、背景色等)的绘图处理。视频输入部分104管理可以由图像输出设备100输入的视频源中的至少一个，并 且将响应于来自终端控制部分102的命令而获得的输入视频传送至合成部分107。例如， 在本实施例中，视频输入部分104具有第一调谐器109a、第二调谐器109b、外部输入部分 109c、通信部分109d、解码器IlOa至110d、以及处理部分Illa至llld。第一调谐器109a和第二调谐器109b通过天线200接收由广播台300通过发送台 400发送的节目、广告等的内容。外部输入部分109c获取从具有记录介质的记录器的视频 提供设备500或任何其它视频设备等输出的内容。此外，通信部分109d通过网络600接收 从视频提供设备700传送的内容。解码器IlOa至IlOd分别解码来自第一调谐器109a、第 二调谐器109b、外部输入部分109c和通信部分109d的信号。处理部分Illa至Illd响应 于来自终端控制部分102的命令，使用来自对应的解码器IlOa至IlOd的视频数据来执行 改变视频的投射、比例因子等的处理，并且传送至合成部分107。合成部分107基于屏幕构成管理部分103的设置而合成从视频输入部分104传送 的视频，并且将所合成的视频(在下文中，其将被称为“作为结果的视频”)输出至输出部分 108。具体地，合成部分107基于来自应用处理部分105的为屏幕构成管理部分103指定的 布局，在屏幕构成中合成被处理部分Illa至Illd以从终端控制部分102需要的比例因子 而缩小的每个输入视频。如果图像输出设备100包括显示器，则输出部分108在显示器上显示作为结果的 视频；如果图像输出设备100不包括显示器，则输出部分108将作为结果的视频传送至外部
显不器。将基于补充信息的提取处理和显示处理的特定示例，详细讨论包括在图像输出设 备100中的区域确定部分112、补充信息存储部分113和补充信息显示确定部分115。图 7(a)至(f)是示出根据第一实施例的全屏和双屏显示的型式的图。图8是示出由屏幕构成 管理部分103保存的屏幕构成管理表的示例的图。图7(a)示出了在显示器的全屏上显示由第一调谐器109a接收的输入视频1的状 态，作为初始状态(仅戏剧节目的全屏显示状态)。图7 (b)示出了这样的状态当用户使用 遥控器给出频道改变命令时、通过频道改变而在显示器的全屏上显示通过第一调谐器109a 的频道改变而接收的输入视频1 (仅棒球转播的全屏显示状态)。图7(c)示出这样的状态当用户使用遥控器给出双屏显示命令时，以一比三的屏 幕比率显示作为输入视频1的先前选择的频道(戏剧)和作为输入视频2的当前选择的频 道(棒球转播)(双屏显示状态A)。图7(d)示出这样的显示示例当用户可以通过操作遥控器的左右按钮而根据期 望改变左右屏幕比率时，用户增加左屏幕的比率，并且将左屏幕和右屏幕的屏幕比率设置为相同的比率。在该显示屏幕中，确定出用户不能确定划分屏幕中的右屏幕(输入视频2) 的棒球转播的击球手计分(字符串和符号)。因此，在该显示示例中，指示右屏幕(输入视 频2)的击球手计分的区域的屏幕作为补充信息而以实际大小被显示在右屏幕(输入视频 2)的附近(双屏显示状态B)。图7(e)示出将左屏幕的比率设置为大的显示示例。在该显示示例中，确定出用 户不能确定划分屏幕中的右屏幕(输入视频2)的棒球转播的进展信息(在屏幕的右下部 分中显示的字符串和符号)。因此，在该显示示例中，除了指示击球手计分的区域的屏幕之 外，还将指示右屏幕(输入视频2)的进展信息的屏幕作为补充信息而以实际大小显示在右 屏幕(输入视频2)附近(双屏显示状态C)。图7(f)示出使左屏幕的比率最大化的显示示例。在该显示示例中，将右屏幕(输 入视频2)的棒球转播最小化为这样的水平以使得可以确定击球手挥臂的一般情形。然而， 在指示击球手计分和进展信息的区域的屏幕被作为补充信息而叠加在左屏幕(输入视频 1)的一部分上的同时，它们被以实际大小显示(双屏显示状态D)。在该描述中，先前选择的频道是输入视频1，而当前选择的频道是输入视频2。然 而，对于该频道的输入视频的选择，当前选择的频道可以是由第一调谐器109a接收的输入 视频1，而在第二调谐器109b中由用户选择的上个频道可以是输入视频2。用户可以选择 左屏幕或右屏幕用以改变。当给出双屏显示命令时的屏幕比率不限于一比三，并且可以被设置为任何比率。 在描述中，左和右屏幕比率可以通过操作遥控器的左右按钮而根据期望改变，但是，可以使 用安装在遥控器中的任何输入部件，如另一个按钮、或触摸传感器、或加速度传感器。此外， 图7(f)示出将指示补充信息的击球手计分和进展信息的区域的屏幕叠加在左屏幕(输入 视频1)的一部分上的示例。然而，可以控制左屏幕的放大，使得指示补充信息的屏幕不被 叠加在左屏幕上。当指示补充信息的屏幕被叠加在左屏幕上时，可以降低指示补充信息的 屏幕的透明度。此时，用户还可以检查指示补充信息的屏幕的重叠部分的输入视频1。图8示出在图7(a)中所示的状态下由屏幕构成管理部分103保存的屏幕构成管 理表的数据构成示例。如图8中所示，对于每个输入视频，在屏幕构成管理表中设置输入 源、输出标志、指示屏幕的绘图区域的宽度(W)和高度(H)、横轴(X)的绘图位置、竖轴(Y) 的绘图位置、指示表示视频图像的重叠的叠加层的深度(Z)、在0至255的范围中指示的屏 幕的透明度(α)、以及相对于全大小的比例因子(R)。透明度(α)越接近0，则透明度越 尚ο图7(a)中所示的状态是仅显示由第一调谐器109a接收的输入视频1的状态。因 此，此时，在屏幕构成管理表中，仅输入视频1的输出标志为“真”，而任何其它输入视频的 输出标志为“假”。作为输入视频1的绘图区域，宽度(W)是1920，高度(H)是1080，横轴(X) 的绘图位置是0、而竖轴(Y)的绘图位置是0。此外，作为指示输入视频1和任何其它视频 的重叠的参数，深度⑵是0，输入视频1的透明度(α)是255，而比例因子(R)是100%。 当设置这样的参数时，输入视频1被显示在显示器的全屏上。图9(a)至9(f)示出对应于图7 (a)至7 (f)中的显示状态的屏幕构成管理表的数 据构成示例。如图9(a)至9(f)中所示，对于屏幕构成管理表的参数，如果屏幕构成不同， 则输出标志、屏幕构成比率和缩放比例的改变不同。
接下来，将参考图10至图12来讨论用于在显示器上显示指示补充信息的屏幕的 过程。图10是示出图7(e)中所示的双屏显示状态C中的补充信息屏幕的显示示例的图。 图11是描述图10中所示的屏幕元素的图。显示屏幕(1000/1100)由两个系统的输入视频图像组成。左屏幕(1001)是用于 显示输入视频1的屏幕1 (1101)，而右屏幕(1002)是用于显示输入视频2的屏幕2 (1102)。 当输入视频2被缩小时，将指示输入视频2 (棒球转播)的击球手计分的区域(1003)显示 在屏幕2(1102)上，因此确定出该区域是对于用户难辨认的区域，并且将该区域设置为补 充信息目标区域SA1。同样，确定出指示输入视频2 (棒球转播)的进展信息的区域(1004) 是对于用户难辨认的区域，并且将该区域设置为补充信息目标区域SA2。在图10和11中，通过剪切并显示补充信息目标区域SAl而提供的部分是补充 信息屏幕1 (1005/1105)，而通过剪切并显示补充信息目标区域SA2而提供的部分是补充 信息屏幕2(1006/1106)。此外，显示在补充信息屏幕2(1006)的外框上的阴影、或显示 在补充信息屏幕2(1006)左侧的诸如星号的符号作为指示补充信息屏幕的“增强表示部 分”(1007/1107)。在图10和11中，从补充信息目标区域SAl到补充信息屏幕1、以及从补 充信息目标区域SA2到补充信息屏幕2显示虚线。该虚线被示为用以为用户指示“在放大 的比例上将信息显示在哪个区域中”的指引线。通过示例示出作为指引线的虚线；如果可 以确定指示哪个区域，则其可以是箭头、实线、颜色、明亮和阴影等。接下来，将详细讨论由图像输出设备100执行的用于在显示器上显示图10和11 中的屏幕的处理，分别作为“分屏模式处理”、“补充信息提取处理”、“字符区域组定义处理” 和“补充信息定义处理”。图12是示出响应于屏幕定义请求、在显示补充信息屏幕时由图像输出设备100执 行的处理的流程图。首先，当用户按下遥控器的“分屏模式按钮”时，输入部分101从遥控器 接收“分屏模式请求”的指令信号，并且通过终端控制部分102将该指令传送至屏幕构成管 理部分103。屏幕构成管理部分103将分屏数目(N)设置为“2”，并且确定在显示时的屏幕 比率(例如，作为初始值的固定比例因子1 3)，作为分屏模式处理的初始化处理。此外， 屏幕构成管理部分103通过终端控制部分102指示视频输入部分104从第一调谐器109a 和第二调谐器109b输出输入视频1和输入视频2。屏幕构成管理部分103通过终端控制部 分102指示处理部分Illa和Illb缩小每个输入视频，以变成固定比例因子(1 3)(步骤 S101)。在描述中，分屏的屏幕比率的初始值被设置为固定比例因子(1 3)，但是可以被 设置为固定比例因子(1 1)，或者用户可以先前指定任何期望的比例因子。此外，在描述 中，分屏数目(N)被设置为“2”，但是可以被设置为大于2，并且可以按期望设置屏幕比率。如果在步骤SlOl的处理期间、用户再次按下“分屏模式按钮”而未等待显示，则屏 幕构成管理部分103结束分屏模式处理(在步骤S102的“是”)。另一方面，如果继续分屏 模式，则屏幕构成管理部分103继续处理(在步骤S102的“否”)。接下来，将讨论到“补充信息提取处理”的流程。在步骤S101，分屏数目(N)被设置 为“2”，因此在表示为N = 2的输入图像2开始补充信息提取处理。首先，由视频输入部分 104的第二调谐器109b通过天线200接收的信号被解码器IlOb解码。然后，解码器IlOb 将通过解码而提供的输入视频传送至区域确定部分112。区域确定部分112对于从解码器IlOb传送的输入视频执行补充信息提取处理(步骤S103)。稍后将讨论该处理的细节。如果存在要被设置为补充信息的字符区域，并且作为补充信息提取处理的结果提 取了补充信息，则区域确定部分112将所提取的补充信息存储在补充信息存储部分113中。 如果输入视频包含补充信息(在步骤S104的“是”)，并且满足预定确定条件(在步骤S105 的“是”)，则补充信息显示确定部分115指示屏幕构成管理部分103将补充信息叠加在输 入视频的指定位置上(最高层)(步骤S106)。根据该指令，在显示器上显示图10中示出的 补充信息屏幕1(1005)和补充信息屏幕2 (1006)。在步骤S105使用的确定条件是“补充信 息的出现频率等于或多于预定出现频率阈值(例如50% ) ”、“所提取的补充信息的字符大 小X当前输入视频比例因子等于或小于预定字符大小阈值(例如12个点)”等等。接下来，如果在作为补充信息的历史而存储在补充信息存储部分113中的先前保 存的补充信息和当前提取的补充信息中发生改变，则补充信息显示确定部分115将改变标 志改变为状态“真”。如果改变标志为“真”(在步骤S107的“是”)，则补充信息显示确定部 分115附加地显示对于所显示的补充信息的增强表示(步骤S108)。也就是，作为补充信息 显示确定部分115的增强表示，显示图10中所示的补充信息屏幕2 (1006)的外框阴影、或 星型等的符号(1007)。另一方面，如果改变标志是“假”，则补充信息显示确定部分115转 到下个步骤，而不显示增强表示(在步骤S107的“否”)。此外，补充信息显示确定部分115管理“指引线显示模式”，作为可以由用户改变 的设置。如果设置指引线显示模式(在步骤S109的“是”)，则补充信息显示确定部分115 用虚线显示连接输入视频的补充信息目标区域和补充信息屏幕的指引线(步骤S110)。另 一方面，如果未设置指引线显示模式，则补充信息显示确定部分115不显示指引线，并且转 到下个步骤(在步骤S109的“否”)。在本实施例中，已经描述了对补充信息1和补充信息2的提取、在补充信息屏幕2 中涉及的增强表示、以及指引线显示的构成要素的确定处理。为了简化描述，同时描述补充 信息1和补充信息2的显示确定处理；然而，如在图12的流程图的步骤Slll和S112所示， 顺序地执行对于补充信息1和补充信息2的显示确定处理。此外，在输入视频2的显示确 定处理之后，执行输入视频1的显示确定处理，如在步骤S113和S114所示。显示确定处理 的顺序取决于实施方式。例如，在步骤S114，如果不执行输入视频1的显示确定处理(在 步骤S114的“否”)，则对于输入视频1，处理返回至步骤S103。因为在图10中的输入视频 1中不存在作为补充信息的适当的字符区域，所以，如果执行了步骤S103，则不提取补充信 息，因此在步骤S104确定出不存在补充信息(在步骤S104的“否”)。如果输入视频1和输 入视频2的显示确定处理完成(在步骤S114的“是”)，则在预定等待时间(Tw秒)期间， 在显示器上显示图10中所示的包含补充信息的屏幕1000 (步骤S115)。在步骤S115的等待处理结束之后，如果分屏模式继续(在步骤S102的“否”)，则 视频输出设备100重复步骤S103至S115以更新补充信息。另一方面，如果分屏模式结束 (在步骤S102的“是”)，则屏幕构成管理部分103在全屏上显示任何输入视频(例如，输入 视频1)。因此，屏幕构成管理部分103通过终端控制部分102，指示视频输入部分104的处 理部分Illa改变比例因子，并指示合成部分107改变屏幕构成。因此，在显示器上显示在 图7 (a)中所示的屏幕(步骤S116)。接下来，将参考图13至15和图18来详细讨论在图12中的步骤S103所示的区域确定部分112的“补充信息提取处理”。图13是示出补充信息提取处理的流程图。图14是 示出输入视频2中的字符区域和对象区域的图。图15是示出由补充信息存储部分113保 存的字符区域表的图。图16是示出由补充信息存储部分113保存的对象区域表的图。图 18是示出输入视频2中的字符区域和对象区域的叠加状态的图。将参考图13的流程图来讨论在图12中的步骤S103所示的补充信息提取处理的 预处理。区域确定部分112检测通过解码器IlOb解码由视频输入部分104的第二调谐器 109b接收的信号而提供的输入视频2中的字符区域的存在或不存在(步骤S201)。为了通 过区域确定部分112检测字符区域，使用广泛已知的传统技术，诸如使用亮度差提取字符 部分的方法。如果区域确定部分112检测到字符部分(在步骤S202的“是”)，则其确定“字符 区域存在”，并且在内部保持该状态(步骤S203)。另一方面，如果区域确定部分112未检测 到字符部分(在步骤S202的“否”)，则区域确定部分112确定“字符区域不存在”，并且结 束该处理(步骤S204)。如果字符部分存在(在步骤S202的“是”)，则区域确定部分112向补充信息存储 部分113查询是否存在输入视频的字符区域表(步骤S205)。如果来自补充信息存储部分 113的响应是“不存在字符区域表”(在步骤S205的“否”)，则区域确定部分112请求补充 信息存储部分113创建新的字符区域表(步骤S206)。另一方面，如果来自补充信息存储 部分113的响应是“存在字符区域表”(在步骤S205的“是”)，则区域确定部分112在所提 取的字符串与先前的字符串之间进行比较，并且更新补充信息存储部分113的字符区域表 (S207)。对于图14中所示的输入视频2，区域确定部分112确定并提取下面的部分作为字 符区域。例如，所提取的字符区域是屏幕(1400)的左上角所示的“32(1401)”、“83(1402)” 和“02(1403)”、屏幕(1400)的右下部分所示的“9th (1404) ”和“2_3 (1405) ”、以及屏幕 (1400)的右上角所示的“142Km/h”。如图15中所示，区域确定部分112将关于字符区域的 信息存储在补充信息存储部分113的字符区域表中(步骤S208)。在字符区域表中记录诸 如每个字符区域中所提取的字符串、字符大小(点)、宽度(W)、高度(H)以及指示在屏幕中 的位置的横轴(X)和竖轴(Y)之类的信息。此外，区域确定部分112检测诸如在图14中的屏幕(1400)和图18中的屏 幕(1800)上显示的符号或标记之类的不是字符的对象作为对象区域。例如，所检测到 的对象区域是屏幕(1400/1800)的左上部分中表示棒球的球场的符号(1407/1807)、屏 幕(1400/1800)的右下部分中表示棒球的队的logo (1408/1808和1409/1809)、屏幕 (1400/1800)的左下部分中站在投球区土墩上的投手(1410/1810)、屏幕(1400/1800)的右 上部分的裁判员和击球手(1411/1811和1412/1812)，等等。如果区域确定部分112检测到对象区域(在步骤S209的“是”)，则其向补充信息 存储部分113查询是否存在用于输入视频的对象区域表(步骤S209)。如果来自补充信息 存储部分113的响应是“不存在对象区域表”(在步骤S209的“否”)，则区域确定部分112 请求补充信息存储部分113创建新的对象区域表(步骤S210)。另一方面，如果来自补充信 息存储部分113的响应是“存在对象区域表”(在步骤S209的“是”)，则区域确定部分112 比较所提取的对象与先前的对象，并且更新补充信息存储部分113的对象区域表(S211)。
例如，如图16中所示，区域确定部分112将对象区域表记录在补充信息存储部分 113中(S212)。对象ID、每个对象区域的宽度(W)和高度(H)、以及指示屏幕中的位置的横 轴(X)和竖轴(Y)被记录在对象区域表中。稍后将参考图17至21来描述在图13中的步骤S213所示的“字符区域组定义处 理”以及在步骤S214所示的“补充信息定义处理”。图17是示出图13的流程图中的步骤 S213所示的字符区域组定义处理的流程图。图18是将图14中所示的屏幕的字符区域和对 象区域在与由补充信息存储部分113保存的字符区域表和对象区域表中管理的ID(T.*和 Oj.*)相关联的图。图19是示出由补充信息存储部分113保存的字符区域组表的图。图20 是示出叠加状态检测型式的图。图21是示出在内部处理中使用的边缘宽度的示例的图。“字符区域组”意味着作为一个信息单位操纵多个提取的字符区域的重叠的组。在 第一实施例中，确定“τ. 1/T. 2/T. 3”和“Τ. 4/T. 5”重叠，而“T. 6”不与任何其它字符区域重 叠。下面将讨论对三个字符区域组的定义首先，区域确定部分112向补充信息存储部分113查询是否存在输入视频的字符 区域组表。如果来自补充信息存储部分113的响应是“不存在字符区域组表”(在步骤S301 的“否”)，则区域确定部分112请求补充信息存储部分113创建新的字符区域组表(步骤 S302)。另一方面，如果来自补充信息存储部分113的响应是“存在字符区域组表”(在步 骤S301的“是”)，则区域确定部分112引用由补充信息存储部分113保存的字符区域组表 (图 19)。区域确定部分112引用由补充信息存储部分113保存的图15中所示的字符区域 表，并且将叠加检测边缘添加至所有字符区域(τ. *)以检测叠加状态(步骤S303)。在本实 施例中，例如，预设如图21中所示的响应于输入视频的比例因子而改变的边缘宽度(像素 单位)。例如，假设当输入视频的比例因子是25%时，边缘宽度是10个像素，根据下面的计 算式计算叠加检测边缘宽度(W)=宽度(W) +左边缘(10) +右边缘(10)高度(H)=高度(H)+上边缘(10)+下边缘(10)横轴⑴=横轴(X)-左边缘(10)竖轴⑴=竖轴(Y)-上边缘(10)图20是示出当检测到区域η和区域n+1的叠加状态时的型式的图。“a”至“d”四边 在区域η中存在，并且需要对于全部四边检查与要被检查的区域n+1的叠加状态。然而，在 下面的描述中，为了简化描述，将仅讨论从图14中所示的输入视频2中提取的“S2(1401)，， 和“B3(1402)”的“Τ. 1(1801)的下边和Τ. 2(1802)的上边的重叠”，即，图18中的屏幕 (1800)中所示的“Τ. 1 (1801) ”和“Τ. 2(1802) ”。将仅讨论图20中的Τ. 1 (区域η)顶点T. Ic 和顶点Τ. Id与Τ. 2 (区域n+1)的顶点T. 2a和顶点T. 2d重叠的部分，而将不讨论其它重叠 部分。用于检测二维平面上的分散对象的重叠的算法不限于第一实施例中的算法，且可以 使用任何其它方法。在将边缘添加至当前要被检查的T. 1的下边和T. 2的上边中的每一个之后，区域 确定部分112对于字符区域而使用下列计算式来检测叠加Τ. η (Xe) = Τ. η (X) +Τ. η (W)Τ. η (Xd) = Τ. η (X)
Δ τ. η (Y) = {Τ. η (Y) +Τ. η (H)}-Τ. m (Y)在所述式子中，假设m = n+l，以及Τ.η表示Τ.1而T.m表示Τ.2。假设“Xe”是在 T. 1的顶点C处的横轴(X)的数值分配，“Xd”是在T. 1的顶点d处的横轴(X)的数值分配， 而“T.m(Y)”是在T.2的顶点a(或b)处的竖轴⑴的数值分配(步骤S304)。接下来，区域确定部分112使用下列确定式来确定T. 1的下边和T. 2的上边的重 叠{T. m (X) ^T. η (Xe)彡 Τ· m (X) +Τ. m (W)或者 Τ. m (X)彡 Τ· η (Xd)彡 Τ· m (X) +Τ. m (W)} 且0彡Δ Τ. η (Y)彡边缘宽度阈值(10)所述式子意味着“Τ. 1的顶点c存在于Τ. 2的顶点a和b之间”和“T. 1的顶点d 存在于T. 2的顶点a和b之间”中的任一种、且“由ΔΤ. η⑴表示的Τ. 1的下边与Τ. 2的 上边位置之间的差等于或大于0、且等于或小于预定边缘宽度阈值”。如果满足所述式子，则 区域确定部分112确定Τ. 1的下边与Τ. 2的上边重叠(步骤S305)。如果确定要被检查的字符重叠(在步骤305的“是”)，则区域确定部分112引用补 充信息存储部分113的字符区域组表。如果区域确定部分112确定“字符区域ID(T. η)存 在于先前的叠加ID中”或者“字符区域ID(Τ. η)存在于最新近的叠加ID中”(在步骤S306 的“是”)，则区域确定部分112引用现有的字符区域组并且将字符区域ID (Τ.η和T.m)记 录在最新近的叠加ID中(步骤S307)。如果区域确定部分112确定“字符区域ID (Τ. η)不 存在于所述叠加ID的任一个中”(步骤S306的“否”)，则区域确定部分112定义新的字符 区域组，并且将字符区域ID (Τ. η和Τ. m)记录在最新近的叠加ID中(步骤S308)。如果区域确定部分112确定不满足确定式(在步骤S305的“否”)，则区域确定部 分112确定T. 1的下边和T. 2的上边不重叠，并且引用由补充信息存储部分113保存的字符 区域组表。如果区域确定部分112确定“字符区域ID(T. η)被记录在先前的叠加ID中”(步 骤S309的“是”)，则区域确定部分112引用现有的字符区域组，并且仅将字符区域ID (Τ. η) 记录在最新近的叠加ID中(步骤S310)。另一方面，如果区域确定部分112确定“字符区 域ID(T. η)未被记录在先前的叠加ID中”(在步骤S309的“否”)，则区域确定部分112定 义新的字符区域组，并且仅将字符区域ID (Τ.η)记录在最新近的叠加ID中(步骤S311)。因此，区域确定部分112对于要被检查的字符区域(Τ.η)而根据计算式(m = m+1) 等来改变要在叠加状态中计算的字符区域(T.m)(步骤S312)。如果计算目标保持，则处理 返回至步骤S304(在步骤S313的“否”)。在对于全部计算目标(T.m)而确认叠加状态(在 步骤S313的“是”)之后，区域确定部分112为下个要被检查的字符区域(T.n+1)确认叠 加状态(步骤S314和在S315的“否”)。最后，区域确定部分112确认输入视频的所有字 符区域的叠加状态(在步骤S315的“是”)。然后，区域确定部分112计算最小的字符大小 (Pt 点单位)，并将其记录在由补充信息存储部分113保存的字符区域组表的每个字符区 域组(Tx.*)所引用的最新近的叠加ID(T.*)中(步骤S316)。此外，区域确定部分112计 算包括由每个字符区域组(Tx. *)引用的最新近的叠加ID(T. *)中的每个字符区域的矩形， 并且记录在字符区域组表中(步骤S317)。因此，完成如图19中所示的字符区域组表。接下来，将参考图22至24来详细讨论图13中的步骤S214所示的“补充信息定义 处理”。图22是示出图13的流程图中的步骤S214所示的补充信息定义处理的流程图。图23示出输入视频2中的字符区域组区域和补充信息区域的定义。图23是将图14和18中 所示的屏幕的字符区域组、对象区域和补充信息与在由补充信息存储部分113保存的字符 区域组表和对象区域表中管理的ID (T. *、Oj. *和SA-*)相关联的图。图24是示出由补充 信息存储部分113保存的补充信息表的图。将讨论图13中的步骤S214所示的补充信息定义处理。“补充信息”是具有作 为基础的提取的字符区域组的信息单位，并且可以作为一个信息单位共同地操纵重叠对 象区域的信息。在图23中所示的示例中，屏幕(2300)的“Tx. 1 (2301)”被确定为重叠 "0j. 1(2304) ” 的补充信息 1 (SA-1 :2310)，而“Tx. 2 (2302) ” 被确定为重叠“0j. 5 (2308) ”和 “0j. 6(2309) ”的补充信息2(SA-2 2311)。"Tx. 3(2303) ”被确定为不重叠任何其它对象区 域的补充信息3(SA-3 2312)。下面将讨论对三条补充信息的定义首先，区域确定部分112向补充信息存储部分113查询是否存在对于输入视频 的补充信息表。如果来自补充信息存储部分113的响应是“不存在补充信息表”(在步骤 S401的“否”)，则区域确定部分112请求补充信息存储部分113创建新的补充信息表(步 骤S402)。另一方面，如果来自补充信息存储部分113的响应是“存在字符区域组表”(在 步骤S401的“是”)，则区域确定部分112引用由补充信息存储部分113保存的补充信息表 (图 24)。区域确定部分112引用由补充信息存储部分113保存的字符区域组表和对象区域 表，并且将叠加检测边缘添加至所有对象区域组(Oj.*)来创建叠加状态(步骤S403)。例 如，预设如图21中所示的响应于输入视频的比例因子而改变的边缘宽度(像素单位)。例 如，假设当输入视频的比例因子是25%时，边缘宽度是10个像素，根据下面的计算式计算 叠加检测边缘宽度(W)=宽度(W) +左边缘(10) +右边缘(10)高度(H)=高度(H) +上边缘(10) +下边缘(10)横轴(X)=横轴(X)-左边缘(10)竖轴(Y)=竖轴(Y)-上边缘(10)在下面的描述中，为了简化描述，将仅讨论图23中所示的“Tx. 1 (2301)”和 “0j. 1(2304) ”的“Tx. 1的右边和Oj. 1的左边的重叠”，如上述字符区域组提取处理一样。 也就是说，将仅讨论图20中的Tx. 1 (区域η)的右边Tx. Ib和Tx. Ic与Oj. 1 (区域n+1)的 左边0j. Ia和0j. Id重叠的部分，而将不讨论其它重叠部分。在将边缘添加至当前要被检查的Tx. 1的右边和Oj. 1的左边中的每一个之后，区 域确定部分112对于对象区域而使用下列计算式来检测叠加Tx. η (Yb) = Tx. η (Y) Tx. η (Yc) = Tx. η (Y) +Tx. η (N)Δ Tx. η (X) = {Tx. η(Χ) +Tx. η (W)}-0j. m (X)在所述式子中，假设m= 1，以及Τχ.η表示Τχ.1而Oj.m表示Oj.l。假设“Yb”是 在Tx. 1的顶点b处的竖轴⑴的数值分配，“Yc”是在Tx. 1的顶点c处的竖轴⑴的数值 分配，而“0j.m(X)”是在0j. 1的顶点a(或d)处的横轴(X)的数值分配(步骤S404)。接下来，区域确定部分112使用下列确定式来确定Tx. 1的右边和0j. 1的左边的
重叠
{Oj.m(Y)彡 Tx. η (Yb)彡 Oj. m(Y) +Oj. m(H)或者 Oj. m(Y)彡 Tx. η (Yc)彡 Oj. m(Y)+Oj.m(H)}且O彡Δ Tx. η (X)彡边缘宽度阈值(10)所述式子意味着“Τχ. 1的顶点b存在于Oj. 1的顶点a和d之间”和“Tx. 1的顶 点c存在于Oj. 1的顶点a和d之间”中的任一种、且“由ΔΤχ. n(X)表示的Tx. 1的右边与 Oj. 1的左边位置之间的差等于或大于0、且等于或小于预定边缘宽度阈值”。如果满足所述 式子，则区域确定部分112确定Tx. 1的右边与Oj. 1的左边重叠(步骤S405)。如果确定要被检查的字符区域组和对象区域重叠(在步骤405的“是”)，则区域 确定部分112引用由补充信息存储部分113保存的补充信息表。如果区域确定部分112确 定“对应的字符区域组(Tx. η)被记录在父ID中”(在步骤S406的“是”)，则区域确定部分 112引用现有的补充信息，记录对象区域ID (0j. m)，并且将将叠加标志设置为“真”(步骤 S407)。如果“对应的字符区域组(Tx. η)未被记录在父ID中”(步骤S406的“否”)，则区域 确定部分112定义新的补充信息，记录对象区域ID (0j. m)，并且将叠加标志设置为“真”(步 骤 S408)。如果区域确定部分112确定不满足确定式(在步骤S405的“否”)，则区域确定部 分112确定Tx. 1的右边和Oj. 1的左边不重叠，并且引用由补充信息存储部分113保存的补 充信息表。如果区域确定部分112确定“对应的字符区域组(Tx. η)被记录在父ID中”(步 骤S409的“是”)，则区域确定部分112引用现有的补充信息，记录对象区域ID (0j. m)，并且 将叠加标志设置为“假”(步骤S410)。另一方面，如果区域确定部分112确定“对应的字符 区域组(Tx.n)未被记录在父ID中”(在步骤S409的“否”)，则区域确定部分112定义新 的补充信息，记录对象区域ID (0j. m)，并且将叠加标志设置为“假”(步骤S411)。因此，区域确定部分112对于要被检查的字符区域组(Τ. η)而根据计算式(m = m+1)等来改变要在叠加状态中计算的对象区域(Oj.m)(步骤S412)。如果计算目标保持， 则处理返回至步骤S404(在步骤S413的“否”)。在对于全部计算目标(Oj.m)而确认叠加 状态(在步骤S413的“是”)之后，区域确定部分112基于从补充信息表的第一创建时间起 的累积总和来计算补充信息(SA-n)的出现频率(％)，并且将该出现频率记录在补充信息 表中(步骤S414)。然后，区域确定部分112为要被检查的下个字符区域组(Tx. n+1)顺序 地确认叠加状态(步骤S415和在S416的“否”)。最后，区域确定部分112为输入视频确认 所有字符区域组的叠加状态(在步骤S416的“是”)。然后，区域确定部分112计算包括由 补充信息存储部分113保存的每个字符区域组(Tx. *)与叠加的对象区域(0j. *)的重叠的 矩形，并且记录在补充信息表中(步骤S417)。因此，完成如图24中所示的字符区域组表。如上所述，区域确定部分112根据图12、13、17和22中所示的流程图而执行处理， 由此图24中所示的补充信息表被创建或更新，并且被保存在补充信息存储部分113中。区 域确定部分112每次等待时间(Tw秒)重复该处理，由此遵循输入视频的改变而更新补充 信息的描述，使得在显示器上继续显示如图10中所示的屏幕。下面将参考图25来详细讨论补充信息的绘图定时。图25是示出响应于输入视频 的比例因子和分屏模式的补充信息显示确定标准的图。在补充信息显示确定标准中，仅在 图12的流程图中所示的步骤S105满足预定确定调节的情况下才显示补充信息。预定确定 调节是“由补充信息存储部分113保存的补充信息表中记录的出现频率(％ ) ”等于或大于“出现频率的阈值(例如，50%)”；以及记录在字符区域组表中的“字符大小” X “当前 输入视频比例因子”等于或小于“字符阈值(例如，12个点)，，；等等。补充信息显示确定标准中的在前条件是用于确定在输入视频的一个给定时段中 显示的字符串是广播台等的节目提供公司预期的补充信息的条件。提供该条件，由此，例 如，可以防止将当划分屏幕时不一定需要的信息(诸如突然地并在如电视广告的单镜头中 显示的字符串、或在棒球转播中提供的信息)显示为补充信息。在第一实施例中，补充信息 3(SA-3 棒球转播中的投手所投的球的速度)的出现频率是“12%”，因此，补充信息显示确 定部分115确定补充信息3不满足作为补充信息的条件。补充信息显示确定标准中的在后条件是用于确定当为显示而缩小输入视频时、仅 在确定所显示的字符串对于用户难辨认的情况下才将其显示为补充信息的条件。例如，为 了显示补充信息，对于在图7(c)至7(f)中所示的“双屏显示状态A至D”、如图25中所示 的当100%显示输入视频作为初始状态时的字符大小为如下字符区域组l(Tx. 1)的字符 大小是“18个点”，而字符区域组2(Τχ. 2)的字符大小是“26个点”。在“双屏显示状态Α” 中，输入视频2的比例因子是“75%”，字符区域组1(Τχ. 1)的字符大小是“约14点”，字符 区域组2(Τχ.2)的字符大小是“约19个点”并且超过阈值(12个点)，因此，确定信息对于 用户是清楚可辨的，并且不显示补充信息(图7(c))。接下来，在达到“双屏显示状态B”之前，字符区域组1(Τχ. 1)的字符大小下降到阈 值(12个点)之下，补充信息显示确定部分115开始显示补充信息。在“双屏显示状态B” 中，字符区域组2 (Τχ. 2)的字符大小超过阈值(12个点)少许，因此仅显示补充信息1(图 7(d))。此外，刚好在经过“双屏显示状态B”之后，在达到“双屏显示状态C”之前，字符区域 组2(Τχ.2)的字符大小下降到阈值(12个点)之下，因此，在“双屏显示状态C”中，也显示 补充信息2 (图7 (e))。然后，在“双屏显示状态D”时以及之后，字符区域组1和2两者的 字符大小均下降到阈值(12个点)之下，因此继续显示补充信息1和补充信息2(图7(f))。在所述描述中，“显示出现频率为‘50%’或更多的补充信息”，但是此确定标准能 够由用户按期望改变。在所述描述中，通过举例，用于确定显示的字符大小的阈值是“12个 点”，但是能够由用户按期望改变，这是因为，对于用户难辨认的字符大小从一个人到另一 个人而不同。可以与用于显示字符串的应用中设置的大小(诸如，由终端系统管理的菜单 屏幕等的字体大小设置、终端中安装的浏览器的字体大小设置、或终端中安装的EPG的字 体大小设置)(上次的设置大小)相关联地，确定用于确定显示的字符大小的阈值。下面将参考图26和27而详细讨论补充信息的绘图位置。图26是示出用于确定 补充信息的显示位置的因素的示例的图。图27是示出显示屏幕的布局构成的示例的图。如图26中所示，为输入视频屏幕(2600)定义补充信息1 (SA-1 :2601)、补充信息 2 (SA-2 :2602)、以及补充信息3(SA-3 :2603)。在第一实施例中，定义通过将屏幕划分为四 个而提供的第一象限到第四象限的区域，并且补充信息显示确定部分115确定每个补充信 息属于哪个象限，由此确定补充信息的粗略的显示位置。例如，补充信息I(SA-I)属于第二 象限，补充信息2(SA-2)属于第四象限，而补充信息3 (SA-3)属于第一象限。图27示出图7(e)中所示的“双屏显示状态C”的屏幕布局构成。补充信息显示 确定部分115在图12的流程图中所示的步骤S106确定补充信息的显示位置，并且传送至 屏幕构成管理部分103作为屏幕布局构成。这里，例如，如图26中所示，在屏幕2上显示的输入视频2中包含的补充信息I(SA-I)被定位在第二象限中。因此，在图27中，减去屏幕 1和2之间的边界线的预定显示边缘，并且信息被左对齐在屏幕2的上部分中，并且以实际 大小显示。此外，如图26中所示，在屏幕2上显示的输入视频2中包含的补充信息2(SA-2) 被定位在第四象限中。因此，在图27中，减去对于显示帧的右端的显示边缘、而非屏幕1和 2之间的边界线的显示边缘，并且信息被右对齐在屏幕2的下部分，并且以实际大小显示。在该示例中，分屏的构成比率是3 1，并且关于作为界线的屏幕1和2之间的边 界线而进行定中心，但是显示方法不限于其。例如，在该显示方法中，可以在屏幕之间提供 显示边缘，或者可以将帧给予每个屏幕。在本实施例中，以实际大小(即，剪切输入图像的 100%显示的部分的格式)显示补充信息，但是能够由用户按期望选择放大或缩小。可以与 屏幕的布局构成关联地自动改变补充信息的缩放比例。当屏幕构成管理部分103交叉引用 与输入视频关联的且保存的补充信息的区域，并且显示输入视频2中的补充信息时，屏幕 构成管理部分103可以考虑输入视频1中的字符区域组的位置而执行处理。具体地，该处 理是改变补充信息的位置或显示大小以使得输入视频2的补充信息不叠加输入视频1的字 符区域组的处理、或不显示补充信息的处理。在本实施例中，以从广播台广播的节目(例如，戏剧或棒球转播)作为输入视频的 示例。然而，其不是广播节目，并且可以是任何频道或任何格式，诸如由另一设备通过记录 等存储的存储节目、由个人拍摄的视频、由第三方创建的视频剪辑、或通过网络发布的运动 图像。通过举例，由补充信息显示确定部分115通过图12中所示的条件确定(步骤 S105)来确定是否显示本实施例的补充信息存储部分113保存的补充信息。然而，补充信息 显示确定部分115可以以这样的方式添加条件确定，该方式即其与伴随广播的节目概要 等的文本数据进行比较，并且仅在其匹配内容的情况下才显示补充信息。如上所述，本实施例的视频输出设备100动态地管理至少一个输入视频的绘图位 置和绘图大小，并且执行这样的处理自动地放大其中在缩小的输入图像中确定字符串的 挤压的出现的区域作为补充信息。因此，在本实施例中，放大显示所需的用户的操作次数减 少，并且以清楚可辨的字符大小提供易于理解的信息，由此可以防止用户的信息辨认的偶 尔丢失。在缩小的输入视频中，除了确定字符串的挤压的出现的区域之外，不是字符串的 附近的logo标记等的符号也被自动放大用以作为补充信息而显示。因此，在本实施例中， 防止通过简单的文本放大的诸如logo标记的符号的信息丢失，并且可以为用户提供准确 的补充信息。当缩小至少一个输入图像用以显示时，补充信息被显示在未使用的区域中，而非 缩小的显示屏幕中(例如，在双屏划分时的黑带的部分)。因此，在本实施例中，未扰乱主要 观看的视频，并且可以有效地利用空区域。当缩小至少一个输入图像用以显示时，在接近于变为缩小的显示屏幕上的补充信 息的引用源的字符区域的位置显示补充信息。因此，在本实施例中，用户可以通过直观确定 在缩小的屏幕上放大哪个信息用以显示，并且可以提供易于理解的信息。当缩小至少一个输入图像用以显示时，变为补充信息的引用源的区域以及放大的 补充信息区域通过缩小显示屏幕上的指引线而在视觉上彼此关联。因此，用户可以通过直观确定放大哪个信息用以在缩小的屏幕上显示，并且可以提供易于理解的信息。为了以叠加视频的格式显示补充信息，考虑在视频的什么位置存在字符区域而确 定补充信息的显示位置。因此，补充信息或任何其它视频不被叠加在视频上的字符区域上， 并且可以防止遮蔽视频上的字符区域显示。如果输入视频中存在多个字符区域，则自动地优先显示包括所述多个字符区域的 字符区域组中被确定为最小的字符区域的补充信息。因此，在本实施例中，不需要用户的额 外操作，并且可以提供通过缩小视频而挤压的字符信息中的最难看见的字符串信息而作为 补充信息。在本实施例中，仅显示在提取的字符区域中对于给定时间显示的信息而作为补充 信息。因此，在本实施例中，可以防止对瞬间显示的副标题、视频上偶然显示的广告标记、或 突然地并在广告中的单镜头中显示的字符串等的过多的补充信息显示，并且可以抑制可能 的屏幕闪烁的出现。在本实施例中，确定提取的字符串中的改变，并且将补充信息的改变报告为屏幕 上的增强表示。因此，在本实施例中，用户不需要总是考虑补充信息的改变，并且可以通过 自动提供的可视增强显示，通过直观辨认缩小的屏幕中的状态改变。在本实施例中，优先显示从视频提取的补充信息中的匹配伴随视频的副主题 (subsidiary)的补充信息。因此，在本实施例中，可以防止显示不直接涉及在视频的内容中 的字符区域，如在视频上偶然显示的广告标记的字符串等。(第二实施例)第一实施例示出这样的情况从输入视频中提取每个字符区域和每个对象区域， 并且如果每个字符区域重叠对象区域，则剪切区域作为一个补充信息，并且叠加补充信息， 用以在由屏幕构成管理部分103响应于输入视频的比例因子而管理的屏幕布局构成的空 区域上显示。在第二实施例中，将讨论这样的情况除了由视频输出输出设备100的区域确 定部分112提取的补充信息之外，视频输出设备100通过网络600获取并显示来自外部服 务器的补充信息。在本实施例中，将参考图28至30来讨论获取并显示来自外部服务器的补充信息 的处理。图28是示出第二实施例的视频输出设备以及其相关设备的框图。在图28中，未 示出视频输出设备100的视频输入部分104的内部构成。图29是示出由补充信息提供设 备提供的屏幕构成数据的图。图30是示出基于屏幕构成数据的补充信息的显示示例的图。本实施例的视频输出设备100具有与第一实施例的视频输出设备100的构成类似 的构成。图28中的第二实施例不同于图6中所示的第一实施例，主要在于连接至网络600 的通信部分109d连接至屏幕构成管理部分103 ；以及补充信息提供设备800被添加作为连 接至网络600的外部服务器。除了上述之外的构成与图6中的构成相同，因此在图28中， 与图6中的部分相同的部分被标注以相同的附图标记，并且将不再讨论。本实施例的屏幕构成管理部分103请求与通过合成部分107而在输出部分108上 显示的输入视频关联的补充信息提供设备800 按需要通过通信部分109d获取屏幕构成数 据。补充信息提供设备800返回如图29中所示的屏幕构成数据，其描述响应于来自视频输 出设备100的请求而在视频输出设备100中观看的输入视频的屏幕构成中的补充信息的显 示位置等。屏幕构成管理部分103分析通过通信部分109d获取的屏幕构成数据，并且为输入视频确定在哪个区域中显示补充信息。例如，对于在第一实施例的描述中使用的输入视频2 (棒球转播)，如图29中所示， 定义了三条补充信息1至3。作为第二实施例中的补充信息1至3，存在击球手计分(RP-I)、 进展信息(RP-2)和投球速度(RP-3)，并且将宽度(W)、高度(H)、横轴⑴和竖轴⑴的信 息描述作为每个补充信息的显示位置。此外，作为一个实施例，添加日语版本和英语版本的 补充信息URL(统一资源定位器)。对于补充信息URL，除了关于补充信息的显示位置的信 息之外，补充信息提供设备800还提供补充信息，并且该信息可以通过网络600获取。将讨论这样的情况将语言设置选择为日语，作为可以按操作视频输出设备100 的用户的期望而选择的简档(profile)之一。包含语言设置的简档被记录在本实施例的屏 幕构成管理部分103或视频输出设备具有的记录介质中。例如，假设用英语表示进展信息 (RP-2)和投球速度(RP-3)。屏幕构成管理部分103根据语言设置，使用补充信息URL来获 取由补充信息提供设备800提供的“日语版本的补充信息”，并且将其作为补充信息而叠加 在输入视频上用以显示。例如，如图30中所示，可以根据屏幕构成数据而在屏幕(3000)中 确定由广播台预期的补充信息1至3的显示区域(3001至3003)。屏幕构成管理部分103 根据使用补充信息URL获取的图像，将在本来的输入视频2中显示为“9th”的部分显示为 “9回”，而将显示为“142Km/h”的部分显示为“时速142Km”。在第二实施例中，使用补充信息URL获取图像，但是可以获取以流方式分发的运 动图像或文本。在第二实施例中，通过举例，通过网络600而从补充信息提供设备800获取的图像 构成数据包含由广播台等的节目提供方指示的补充信息的概要、显示区域的位置信息、以 及对于由补充信息提供设备800提供的补充信息的补充信息URL。然而，所包含的信息不限 于它们，并且可以包含相关信息、用于访问相关信息的URL、可以通过网络600获取的第二 音频节目频道等等。用户可以通过视频输出设备100的应用处理部分105、或个人计算机的 浏览器等中之一来改变补充信息提供设备800的设置。为了改变设置，可以改变补充信息 相对于输入视频的显示位置、或当缩小输入屏幕(或者执行输入视频的分屏)时的补充信 息对于屏幕(3000)的相对显示位置，作为补充信息显示指定区域。如上所述，在本实施例中，从不同类型的补充信息中，根据用户的简档选择并显示 补充信息。因此，在将日语设置为语言设置的视频输出设备中，显示日语版本的补充信息。 屏幕构成管理部分103可以将补充信息翻译为不同的语言。例如，屏幕构成管理部分103 根据英日词典将提取为应用的文本翻译为日语用以显示。因此，在本实施例中，可以响应于 由用户选择的语言设置而显示补充信息。视频输出设备可以使用从视频输出设备外部获取的补充信息区域型式数据中包 含的补充信息区域，提取并显示变为补充信息的视频。补充信息区域型式数据是指示输入 视频中的补充信息区域的位置的数据。在此情况下，减轻了计算补充信息区域所需的视频 输出设备上的处理负荷，并且视频输出设备可以可靠地确定由视频制作方预期的补充信息 区域。视频输出设备可以根据从视频输出设备外部获取的屏幕构成数据中包含的补充 信息显示指定区域来显示补充信息。在此情况下，减轻了计算补充信息的显示位置和大小 所需的视频输出设备上的处理负荷，并且视频输出设备可以可靠地在由用户预期的指定区
本发明不限于上述第一或第二实施例。下列情况也包括在本发明中(1)具体地，上述每个设备是由微处理器、ROM、RAM、硬盘部分、显示器部分、键盘、 鼠标等组成的计算机系统。计算机程序被存储在RAM或硬盘单元中。微处理器根据计算机 程序而操作，由此每个设备实现功能。计算机程序由指示用于计算机实现预定功能的命令 的指令代码。(2)组成上述每个设备的组件中的一些或全部可以被实施为一个系统LSI (大规 模集成)。系统LSI是通过将多个组件集成在一个芯片上而制造的超多功能LSI，具体地是 由微处理器、ROM、RAM等组成的计算机系统。计算机程序被存储在RAM中。微处理器根据 计算机程序而操作，由此系统LSI实现功能。(3)组成上述每个设备的组件中的一些或全部可以被实施为可以附连至每个设备 或从每个设备解除附连的IC卡或单个模块。IC卡或模块是由微处理器、R0M、RAM等组成的 计算机系统。IC卡或模块可以包含上面提及的超多功能LSI。微处理器根据计算机程序而 操作，由此IC卡或模块实现功能。(4)本发明可以是上述方法。所述方法可以是由计算机执行的计算机程序。本发明可以被记录在计算机程序或数字信号的计算机可读记录介质中，例如，软 盘、硬盘、光盘、半导体存储器等。本发明可以经由电信线路、无线或有线通信线路、以因特网为代表的网络、数据广 播等来传送计算机程序。本发明可以是包括微处理器和存储器的计算机系统，并且存储器可以存储计算机 程序，而微处理器可以根据计算机程序操作。程序或数字信号被记录在记录介质中，并且记录介质是移动的，或者程序或数字 信号经由网络等移动，由此可以通过另一个独立的计算机系统来执行程序或信号。(5)可以结合所述实施例和修改的示例。虽然已经参考具体实施例而详细描述了本发明，但是对于本领域中的技术人员将 是显而易见的是，在不违背本发明的精神和范畴的情况下，可以进行各种改变和修改。此申请基于2008年10月10日提交的日本专利申请(No. 2008-264004)，通过引用 将其合并在此。工业适用性根据本发明的视频输出设备可以被应用于数字电视接收机、数字视频光盘记录 器、机顶盒、投影仪、外部监控器、用于将视频输出到外部的个人计算机、具有视频显示输出 功能的移动设备等。附图标记说明100视频输出设备101输入部分102终端控制部分103屏幕构成管理部分104视频输入部分105应用处理部分
106屏幕生成部分
107合成部分
108输出部分
109a第一调谐器
109b第二调谐器
109c外部输入部分
109d通信部分
110解码器
111处理部分
112区域确定部分
113补充信息存储部分
115补充信息显示确定部分
200天线
300广播台
400发送台
500视频提供设备A
600网络
700视频提供设备B
800补充信息提供设备
权利要求
一种视频输出设备，包括屏幕构成管理部分，其管理用于显示至少一个视频的屏幕的布置或缩放比例；区域确定部分，其确定输入视频中的字符区域；补充信息存储部分，其剪切出包括由所述区域确定部分确定的至少一个字符区域的补充信息区域上的视频，并且将所述补充信息区域上的视频存储作为补充信息；补充信息显示确定部分，其基于由所述屏幕构成管理部分管理的屏幕构成，确定是否除了输入视频之外还显示由所述补充信息存储部分存储的补充信息；以及输出部分，其根据来自所述屏幕构成管理部分和所述补充信息显示确定部分的命令，输出所述输入视频和所述补充信息，其中，所述补充信息显示确定部分基于在响应于由所述屏幕构成管理部分管理的缩放比例而改变的输入视频中的字符区域中包括的字符的大小，确定是否显示所述补充信息。
2.如权利要求1所述的视频输出设备，其中，当在所述输入视频中确定存在所述字符 区域时，所述区域确定部分确定在所述字符区域的附近是否存在对象区域，以及其中，所述补充信息区域包括由所述区域确定部分确定的至少一个字符区域和对象区域。
3.如权利要求1所述的视频输出设备，其中，所述补充信息显示确定部分确定与用于 显示所述至少一个视频的区域不同的区域是所述补充信息的显示位置。
4.如权利要求1所述的视频输出设备，其中，所述补充信息显示确定部分根据包括所 述补充信息的输入视频中的补充信息区域的位置、与另一屏幕的相对位置、以及预定边缘 宽度，确定所述补充信息的显示位置和显示大小。
5.如权利要求1所述的视频输出设备，其中，当显示所述补充信息时，所述补充信息显 示确定部分执行处理，以便在所述输入视频中显示指示包括所述补充信息的输入视频中的 补充信息区域的帧，并且显示指示所述补充信息与所述帧之间的关系的指引。
6.如权利要求1所述的视频输出设备，其中，所述补充信息显示确定部分确定所述补 充信息的显示位置和显示大小，以便不重叠通过剪切出包括由所述区域确定部分提取的另 一字符区域的补充信息区域上的视频而获得的其它补充信息。
7.如权利要求1所述的视频输出设备，其中，所述补充信息显示确定部分优先显示通 过剪切出补充信息区域上的视频而得到的补充信息，其中，所述补充信息区域包括在由所 述区域确定部分提取的至少一个字符区域之中的、字符大小被确定为最小的字符区域。
8.如权利要求1所述的视频输出设备，其中，所述补充信息显示确定部分将所述区域 确定部分的确定结果存储到所述补充信息存储部分中，并确定优先显示在包括由所述区域 确定部分提取的至少一个字符区域或对象区域的补充信息区域之中的、在所述输入视频中 存在预定时间或更长的补充信息区域。
9.如权利要求1所述的视频输出设备，其中，所述补充信息存储部分存储从所述补充 信息中的字符区域提取的字符串；以及其中，当存储在所述补充信息存储部分中的字符串不同于从同一字符区域最新近提取 的字符串时，所述补充信息显示确定部分执行处理，以强调所述补充信息用以显示。
10.如权利要求1所述的视频输出设备，其中，所述补充信息存储部分除了所述补充信 息之外还存储从所述补充信息中的字符区域提取的字符串；以及其中，所述补充信息显示确定部分执行处理，以便根据所述视频输出设备的用户简档 来转换所述字符串，并且显示经转换的字符串。
11.如权利要求1所述的视频输出设备，包括通信部分，其从外部服务器接收屏幕构成数据，所述屏幕构成数据指示用于显示至少 一个视频的屏幕的布置和大小，其中，所述屏幕构成管理部分根据通过所述通信部分从所述外部服务器获取的屏幕构 成数据，管理所述屏幕构成；以及其中，所述补充信息显示确定部分执行处理，以便在由所述屏幕构成数据指定的区域 中显示所述补充信息。
12.如权利要求11所述的视频输出设备，其中，所述补充信息显示确定部分执行处理， 以便基于在响应于由所述屏幕构成管理部分管理的缩放比例而改变的输入视频中的字符 区域中包括的字符的大小，在由所述屏幕构成数据指定的区域中显示所述补充信息。
13.如权利要求1所述的视频输出设备，包括通信部分，其从外部服务器接收指示输入视频中的补充信息区域的位置的信息， 其中，通过使用在通过所述通信部分从所述外部服务器获取的信息中包含的补充信息 区域，提取并显示充当补充信息的视频。
14.一种视频输出设备，包括屏幕构成管理部分，其管理用于显示至少一个视频的屏幕的布置或缩放比例； 区域确定部分，其确定输入视频中的字符区域；通信部分，其从外部服务器获取在由所述区域确定部分确定的至少一个字符区域中包 括的字符串作为补充信息；补充信息显示确定部分，其基于由所述屏幕构成管理部分管理的屏幕构成，确定是否 除了输入视频之外还显示通过所述通信部分获取的补充信息；以及输出部分，其根据来自所述屏幕构成管理部分和所述补充信息显示确定部分的命令， 输出所述输入视频和所述补充信息，其中，当在由所述区域确定部分确定的至少一个字符区域中包括的字符的大小小于阈 值时，所述补充信息显示确定部分显示所述补充信息。
15.如权利要求14所述的视频输出设备，其中，所述通信部分从外部服务器接收指示 用于显示至少一个视频的屏幕的布置和大小的屏幕构成数据，其中，所述屏幕构成管理部分根据通过所述通信部分从所述外部服务器获取的屏幕构 成数据，管理所述屏幕构成；以及其中，所述补充信息显示确定部分执行处理，以便在由所述屏幕构成数据指定的区域 中显示所述补充信息。
16.一种视频输出方法，包括 确定输入视频中的字符区域；剪切出包括至少一个字符区域的补充信息区域上的视频，并且将所述补充信息区域上 的视频存储作为补充信息；基于用于定义用于显示至少一个视频的屏幕的布置或缩放比例的屏幕构成，确定是否 除了输入视频之外还显示所述补充信息；以及根据所述屏幕构成和确定结果，输出所述输入视频和所述补充信息， 其中基于在所述输入视频中的字符区域中包括的字符的大小，确定显示所述补充信息。
17. —种视频输出方法，包括 确定输入视频中的字符区域；从外部服务器获取在至少一个字符区域中包括的字符串作为补充信息； 基于用于定义用以显示至少一个视频的屏幕的布置或缩放比例的屏幕构成，确定是否 除了输入视频之外还显示从所述外部服务器获取的补充信息；以及根据所述屏幕构成和确定结果，输出所述输入视频和所述补充信息， 其中，当在所述至少一个字符区域中包括的字符大小小于阈值时，确定显示所述补充 fn息ο
全文摘要
提供了一种视频输出设备，包括屏幕构成管理部分，其管理显示至少一个视频的屏幕的布置或缩放比例；区域确定部分，其确定来自输入视频的字符区域；补充信息存储部分，其剪切出包括由所述区域确定部分确定的至少一个字符区域的补充信息区域上的视频作为补充信息；补充信息显示确定部分，其基于由所述屏幕构成管理部分管理的屏幕构成，确定是否除了输入视频之外还显示由所述补充信息存储部分存储的补充信息；以及输出部分，其根据来自所述屏幕构成管理部分和所述补充信息显示确定部分的命令，输出所述输入视频和所述补充信息。所述补充信息显示确定部分基于输入视频中的字符区域中包括的字符的大小，确定是否将显示所述补充信息，其中所述大小根据由所述屏幕构成管理部分管理的缩放比例而改变。因此，可以根据输入视频的显示大小的缩放比例而改变显示补充信息的格式。
文档编号H04N7/16GK101897178SQ20098010132
公开日2010年11月24日 申请日期2009年10月8日 优先权日2008年10月10日
发明者幸裕弘 申请人:松下电器产业株式会社