专利名称：内容显示处理设备和内容显示处理方法
技术领域：
本发明涉及内容显示处理设备和内容显示处理方法，其在内容被叠加到视频图像 上的同时，显示所述视频图像。
背景技术：
诸如电视机的显示视频图像的设备可以在从广播或通过外部输入端子获取的视 频图像上同时显示指示所述设备状态的内容、数据广播、通过因特网获取的内容等等。例 如，为了在显示数据广播的电视屏幕上叠加内容，可以以缩小的方式显示视频图像。在这种 情况下，高优先级被提供给在电视屏幕上显示的内容，而视频图像被过分地缩小。这可能使 得用户难以在电视屏幕上观看视频图像。因此，使诸如关于接收频道的信息和用于使能显示屏幕的颜色控制的性能的设置 屏幕的内容成为透明的，并以叠加的方式在电视屏幕出现的视频图像上显示所述内容。然 而，因为所述电视屏幕中的用于显示内容的位置是固定的，所以，内容经常覆盖视频图像的 重要部分。由于这个原因，当以叠加的方式在视频图像上显示内容时，根据关于专利文件1 描述的方法，从使能内容的显示的多个预设的区域中选择含有背景颜色的最少变化量的区 域。构成内容的字符串等的颜色根据所选择的区域的颜色分布而变化，且在被叠加到视频 图像上的同时，在所述视频图像上显示内容。相关领域文件专利文件专利文件1 JP-A-10-247135专利文件2 :JP-A-2001-;357407专利文件3 JP-A-5-16559
发明内容
本发明将解决的问题然而，按照关于专利文件1描述的内容显示处理方法，当以叠加的方式在视频图 像上显示内容时，必须预先设置用于安置内容的多个候选位置。因此，即使在关于专利文件 1描述的内容显示处理方法被应用到涉及频繁出现视频图像随着时间的变化的一般广播等 等时，也很难防止用于安排内容的预设的位置覆盖视频图像的重要部分。本发明的一个目标是，提供可以在不妨碍视频图像的重要部分的情况下、以叠加 的方式在视频图像上显示内容的内容显示处理设备和内容显示处理方法。解决所述问题的方法本发明提供了内容显示处理设备，其包括视频图像获取部件，其获取由多个静止 图像构成的视频图像；内容获取部件，其获取要在所述视频图像上显示的内容，以便将所述 内容叠加在所述视频图像上；图像处理部件，其从所述视频图像提取静止图像；图像识别部件，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括所述静止图像 的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；内容布局部 件，其根据所述图像识别部件检测出的区域，来确定指示所述内容的布局和大小的内容显 示信息；以及显示处理部件，其执行处理，以便根据由所述内容布局部件确定的内容显示信 息，在所述内容被叠加到所述视频图像上的同时显示所述内容。本发明还提供了内容显示处理方法，其包括获取由多个静止图像构成的视频图 像；获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上；从所 述视频图像提取静止图像；从所提取的静止图像中检测区域，该区域包括所述静止图像的 外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；根据所检测的 区域，来确定指示所述内容的布局和大小的内容显示信息；以及根据所确定的内容显示信 息，在所述内容被叠加到所述视频图像上的同时，在所述视频图像上显示所述内容。本发明的优势本发明的内容显示处理设备和内容显示处理方法可以执行处理，使得在不妨碍视 频图像的重要部分的情况下，在所述内容被叠加到所述视频图像的同时，显示所述内容。
图1是显示具有本发明的实施例1的内容显示处理设备的内容显示系统的配置的 图；图2是显示本发明的实施例1的内容显示处理设备的处理操作的流程图；图3是描述本发明的实施例1的内容显示处理设备的内容布局方法的图，其中，图 3(a)是显示所提取的图像的示例边界以及要以叠加的方式显示的内容示例的图，图3(b) 是显示使能图3(a)中所示的内容的安置的三个候选区域的图，图3(c)显示了从图3(b)所 示的三个候选区域中选择的区域中的内容显示区域，以及图3(d)显示了在图3(c)所示的 内容显示区域中显示的内容。图4是描述用于改变在本发明的实施例1的内容显示处理设备中的内容大小的方 法的图，其中，图4(a)是显示在重新计算之前实现的静止图像301的图，图4(b)是显示其 边界覆盖内容的所述静止图像301的图，图4(c)是显示内容被逐步缩小的所述静止图像 301的图，以及图4(d)是显示在重新计算之后、内容图像被叠加到所述静止图像301上的 图；图5是显示本发明的实施例1的内容显示处理设备的内容布局的变化的图，其中， 图5(a)是显示示例显示(1)的图，图5(b)是显示示例显示O)的图，图5(c)是显示示例 显示(3)的图，以及图5(d)是显示示例显示的图；图6是显示用于本发明的实施例1的内容显示处理设备的内容显示方法的类型的 图，其中，图6(a)是显示示例显示(5)的图，图6(b)是显示示例显示(6)的图，图6(c)是 显示示例显示(7)的图，以及图6(d)是显示示例显示(8)的图；图7是描述在本发明的实施例1的内容显示处理设备中用于重新计算内容显示信 息的方法的图。
具体实施例方式下面参考这些附图描述本发明的实施例。(实施例1)图1是显示具有本发明的实施例1的内容显示处理设备的内容显示系统的配置的图。图1所示的内容显示系统包括内容显示处理设备100，其为数字电视接收器；由 因特网或专线构成的网络110;提供内容的内容服务器111 ；广播站112，其广播由视频图像 和音频构成的节目；以及显示单元113。术语“视频图像”在这里指的是以下两种情况静止图像在每帧的基础上变化；以 及静止图像以多帧的组的方式变化。所述网络110由移动通信网络、公共电话网络、局域网、因特网等等组成。所述网 络的类型和协议的类型都不受限制。诸如FTTH(光纤到户)、HFC(混合光纤同轴光纤同轴 线缆)、ADSL(非对称数字用户线)等大容量线路都可以被利用作为所述网络110的接入线路。所述内容服务器111向内容显示处理设备100提供例如，包括关于所述广播站 112正在通过网络110广播的节目的信息的内容。所述内容服务器111是从控制部件构建 的，所述控制部件包括用于控制整个内容显示处理设备的计算机；通信接口，其连接到所 述网络110，并传送和接收针对诸如因特网上的URL而访问的数据等；以及存储所传送/接 收的数据的数据库。所述广播站112广播节目。所述内容显示处理设备100接收由广播站112广播的 节目。所述显示单元113显示由内容显示处理设备100接收的节目。所述内容显示处理设备100具有内容获取部件101、视频图像获取部件102、图像 处理部件103、图像识别部件104、内容布局部件105、显示处理部件106、以及显示信息存储 部件107。虽然没有图示，但是用于接受由用户、外部记录器以及互连不同的设备的接口执 行的输入操作的输入设备被提供在所述内容显示处理设备100中。而且，虽然没有图示，但 是所述内容显示处理设备100可以执行应用，以进行所述处理器本身的不同设置。所述内容获取部件101通过网络110获取由静止图像、视频图像或文本表示的内 容。所述内容包括正在从广播站112接收的节目信息、关于不同频道上同一时段内的节目 的信息，等等。另外，该内容还可包括有关内容显示处理设备的设置信息(例如，时间信 息)。为了加速内容获取处理，所述内容获取部件101也可以在仅当所述内容中有变化时才 获取内容。而且，所述内容获取部件101也可以根据用户通过使用输入设备执行的输入操 作来获取内容。所述视频图像获取部件102获取由广播站112分发的视频图像数据。所述视频图 像数据包括属于构成帧的静止图像的数据。除了获取由广播站112分发的视频图像数据之 外，所述视频图像获取部件102还可以获取有线电视等等提供的有线广播、通过所述网络 110分发的流、以及利用诸如DVD、BD和HDD (硬盘驱动器)的各种记录介质或来自诸如摄 像机的图像设备的视频图像数据。所述图像处理部件103从由视频图像获取部件102获取的视频图像数据中提取 帧，并取出构成一帧的静止图像。
所述图像识别部件104在由图像处理部件103取出的静止图像中检测空闲区域。 术语“空闲区域”意味着这样的区域，其包括所述静止图像的内部和所述静止图像的边界的 至少一部分，且从其消除了所述静止图像的主要显示对象。所述图像识别部件104首先通过亮度、色彩饱和度和色调中的任意一个或组合， 将静止图像的像素转换为数值。接下来，所述图像识别部件104平滑所述像素值，由此消除 噪声。所述图像识别部件104确定相邻像素之间的像素值差异。所述图像识别部件104检 测像素值的差异大于阈值的像素区域，作为所述静止图像中主要显示对象的边界。所述图像识别部件104检测在由所检测的边界包围的静止图像中除去所述主要 显示对象的区域中的、包括静止图像的外边界的至少一个区域，作为用于安置内容的“空闲 区域”。其原因是作为视频图像的重要部分的所述静止图像中的主要显示对象通常被显示 在静止图像中心区域的附近，而不是沿着静止图像的外边界被显示。所述图像识别部件104还检测这样的区域作为用于安置内容的“空闲区域”，所述 区域不具有任何边界，或只有少量边界，且在该区域中，主要显示对象图像只出现很小的变 化。所述图像识别部件104还可以通过亮度、色彩饱和度和色调中的任意一个或组 合、且在不提取所述静止图像中的主要显示对象的边界的情况下，检测用于安置内容的空 闲区域。例如，当使用亮度时，所述图像识别部件104检测这样的区域作为安置内容的空 闲区域，所述区域至少包括亮度低于预定值的区域的静止图像的外边界。具有低亮度级别 的区域(即，暗区域)将很有可能不包括有关视频图像的重要信息。当使用色彩饱和度时，所述图像识别部件104检测这样的区域作为放置内容的空 闲区域，所述区域至少包括色彩饱和度低于预定值的区域的静止图像的外边界。其原因是 看起来较不明亮且暗淡的具有低色彩饱和度的区域将非常有可能不包括关于视频图像的 重要信息。因此，当使用色调时，所述图像识别部件104确定所划分的区域的平均色调值， 并针对每个色彩相似的区域而对所述区域分组。所述图像识别部件104在毗邻的区域之间的色调差异小于阈值时，将每个色彩相 似的毗邻区域连接。所述图像识别部件104检测这样的区域作为放置内容的空闲区域，所 述区域至少包括根据相似的色彩所一体化的区域的静止图像的外边界。所述内容布局部件105根据图像识别部件104所检测的空闲区域，来确定内容的 布局和大小。所述图像识别部件104所检测的用于放置内容的空闲区域是至少包括静止图像 的外边界、且通过除去静止图像的主要显示对象而确定的区域。在实施例1中，所述静止图 像假定为矩形。当所述静止图像的形状为矩形时，所述静止图像的外边界包括静止图像的 四个角中的至少一个、或静止图像的四条边中的至少一点。而且，所述静止图像的外边界也 可以是条形区域，其被形成为距所述静止图像的相应四条边的预设宽度。所述内容布局部件105将静止图像划分成NXM的矩形区域矩阵(N和M是自然 数)。在划分的矩形区域中，确定由图像识别部件104检测出的空闲区域的集合，由此作为 用于放置内容的候选区域。接下来，所述内容布局部件105从内容布局区域的各个候选中选择内容显示区域。确定放大或缩小的内容的形状是否能够在维持内容的宽高比的同时被安排在内容布局 区域的各个候选中，并且，选择要放置内容的区域。当存在多个能够放置内容的候选区域时，所述内容布局部件105选择候选区域之 中的具有最大面积的区域，作为内容显示区域。而且，当存在多个内容时，也可以根据内容类型、内容生成时间、内容大小、或内容 的语义分类，将所述内容分类成组，并为同一个组内的每个内容分类布局区域。所述内容布 局部件105根据所选择的区域生成示出内容布局和大小的内容显示信息。在实施例1的内容显示处理设备100中，所述图像处理部件103、图像识别部件 104和内容布局部件105由CPU等组成。除了由所述图像处理部件103、图像识别部件104 和内容布局部件105执行的控制功能之外，所述CPU还控制整个内容显示处理设备。所述 CPU具有ROM、RAM、作为电可重写非易失性存储器的EEPR0M(电擦除可编程只读存储器)、 快闪ROM等等。存储器存储各种数据集，如程序、通信控制数据以及终端的识别码等。所述显示信息存储部件107是存储由内容布局部件105生成的内容显示信息的存 储器。所述显示处理部件106根据由内容布局部件105生成的内容显示信息，在视频图 像上叠加内容，从而，将具有覆盖的内容的所述视频图像传送到显示单元113。所述显示单元113显示从所述显示处理部件106传送的视频图像。在实施例1中， 所述显示单元113是外部设备，而本发明不限于外部设备。所述显示单元113也可以被提 供在内容显示处理设备100中。如上面提到的，当以叠加的方式在显示细节频繁变化的视频图像上显示内容时， 即使内容布局没有被预先确定，实施例1的所述内容显示处理设备也不会妨碍视频图像的 重要部分。实施例1的所述内容显示处理设备也可以执行处理，以在所述内容被叠加到视 频图像上的同时显示内容。现在，通过参考图2来描述如上所述配置的所述内容显示处理设备100的操作。图 2是显示本发明的实施例1的内容显示处理设备100的处理操作的流程图。在步骤S11，所述视频图像获取部件102接收从广播站112传送的信号，并获取视 频图像。在步骤S12，所述内容获取部件101通过网络110，从所述内容服务器111获取内容。在步骤S13，所述图像处理部件103从视频图像获取部件102获取的视频图像中提 取帧，取出多个静止图像，并存储由此提取的图像。在步骤S14，所述图像识别部件104在从所述图像处理部件103存储的多个静止图 像中提取静止图像的主要显示对象图像的边界(下文中被称为“图像边界”)。在步骤S15，确认所述内容显示信息是否被记录在所述显示信息存储部件107中。当所述内容显示信息未被记录时，处理前进到步骤S16。当内容显示信息被记录 时，处理前进到步骤S18。在步骤S16，所述图像识别部件104在已除去了所述主要显示对象的静止图像内， 从不包括任意图像边界的区域中选择空闲区域。在步骤S17，所述内容布局部件105按照在步骤S16中选择的空闲区域，重新计算示出内容布局和内容大小的内容显示信息。虽然之后会提供细节，但当所述显示信息存储 部件107计算内容显示信息时，有两种可用方法；即，用于首先计算内容布局的方法和用于 首先计算内容大小的方法。在步骤S18，所述显示处理部件106显示视频图像。在步骤S19，所述内容布局部件105确定重新计算的内容显示信息是否合适。这 里，所谓合适指的是内容被安置在静止图像的空闲区域、或内容大小大于预定的阈值的情 况。当所述内容显示信息是合适的时，处理前进到步骤S20。相反，当所述内容显示信息不合适时，处理前进到步骤S22。在步骤S20，所述内容显示信息被存储在显示信息存储部件107中。在步骤S21，所述显示处理部件106执行处理，以按照所述内容显示信息，以叠加 的方式在视频图像上显示内容。在步骤S23，作为外部设备的所述显示单元113显示带有叠 加的内容的视频图像。接着，处理返回步骤S11。在步骤S22，所述显示信息存储部件107中的内容显示信息被删除。接着，处理返 回到步骤Sll。现在参考图3到6描述所述内容显示处理设备100执行的内容布局。在图3到6 中，静止图像、内容布局区域的候选、以及所述内容区域的全部都假定为矩形，但也可以假 定为圆形或其他形状。图3是描述本发明的实施例1的内容显示处理设备的内容布局方法的图。图3(a) 显示了所提取的图像的示例边界以及要以叠加的方式显示的内容示例。图3(b)显示了使 能图3(a)中所示的内容的安置的三个候选区域。图3(c)显示了从图3(b)所示的三个候 选区域中选择的区域中的内容显示区域。图3(d)显示了在图3(c)所示的内容显示区域显 示的内容；当图3(a)中所示的内容205和206被显示在包括边界202的静止图像201上时， 所述内容布局部件105检测图3(b)中所示的三个候选区域204A、204B和204C。矩形区域 203显示了内容205和206被显示的区域的大小。这三个候选区域204A、204B和204C与矩 形区域203的宽高比是相同的。每个候选区域包括所述静止图像201的四个角中的至少一 个，且不覆盖由边界202包围的主要显示对象。所述内容布局部件105在三个候选区域204A、204B和204C之中选择具有最大面 积的候选区域204A。另外，所述内容布局部件105按照预设的内容显示大小的上限值，在所 选择的候选区域204A中确定图3(c)所示的区域204A’作为内容显示区域。当所述候选区 域的大小小于原始的内容大小时，所述内容布局部件105可以在缩小的大小不变为小于预 设的内容显示大小的下限值的范围内，缩小所述内容。当选择的候选区域的大小小于预设 的阈值时，不在选择的区域内显示所述内容。当确定了所述内容显示区域204A’的布局和大小时，所述内容布局部件105将所 述布局和大小存储在显示信息存储部件107中作为内容显示信息。按照在所述显示信息存 储部件107中存储的内容显示信息，所述显示处理部件106执行处理，以在所述内容被叠加 到视频图像上的同时显示所述内容205和206，如图3(d)所示。在图3(d)所示的示例中，所述两个内容205和206都被显示在内容显示区域204A’中。因此，当存在多个要显示的内容时，也可以在逐个内容的基础上执行前面的处理， 也可以执行处理，以在每个不同的内容显示区域中显示内容。现在，描述一种方法，其用于当作为在放置所述内容之后在视频图像中已出现变 化的结果、所述主要显示对象的边界覆盖所述内容时，重新计算内容显示信息。首先，参考图4来描述用于在将优先级赋予当前内容布局的同时重新计算内容显 示信息方法。图4是描述在本发明的实施例1的内容显示处理设备中用于改变内容大小的 方法的图。图4(a)是显示在重新计算之前实现的静止图像301的图。图4(b)是显示边界 覆盖内容的静止图像301的图。图4(c)是显示内容被逐步缩小的静止图像301的图。图 4(d)是显示在重新计算之后、内容图像被叠加到所述静止图像301上的图。图4(a)显示了在重新计算之前实现的静止图像301的图。两个内容305和306在 所述静止图像301的右上角被取作基准的同时被显示。当所述静止图像301从图4(a)变 为图4(b)时，所述内容布局部件105重新计算所述内容显示信息，同时将优先级赋予所述 内容布局。首先，由于所述内容305和306覆盖了所述图像的边界302，所以，所述内容布局 部件105确定内容显示的区域是否能够逐步缩小到预设的阈值。如图4(c)所示，当内容被缩小时，所述内容布局部件105逐步缩小内容显示候选 区域304，直到所述内容305、306与所述图像的边界302之间的重叠消失。按照逐步缩小的 候选区域304的大小，所述内容布局部件105重新计算内容显示信息。如图4(d)所示，按照由所述内容布局部件105重新计算的内容显示信息，所述显 示处理部件106执行处理，用于以叠加的方式在内容显示候选区域304上显示所述内容 305、306。所述显示处理部件106将内容305和306叠加到所述视频图像上。所述显示处 理部件106将覆盖了内容305和306的视频图像传送到作为外部设备的所述显示单元113。 所述显示单元113显示从所述显示处理部件106传送的覆盖了内容305和306的视频图像。虽然图4显示了所述静止图像301的右上角被用作缩小处理的基准点，但也可以 使用内容的四个角中的至少一个或内容的中心作为缩小处理的基准。而且，当在内容305、 306与所述图像的边界302之间不存在重叠时，确认所述内容是否能逐步放大到预设的阈 值，且所述内容305、306可以被放大到内容可以被放大的大小。如在缩小处理的情况中那 样，内容的四个角中的至少一个或内容的中心都可以用作放大处理的基准。如上面提到的，存在这样的情况，其中，即使当所述内容布局部件105已在将优先 级赋予当前的内容布局的同时重新计算了所述内容显示信息时，所述静止图像中的主要显 示对象图像的边界仍覆盖所述内容。在这种情况下，考虑为了重新计算所述内容显示信息， 所述内容布局部件105将改变(1)内容显示方法或O)内容布局。下面通过参考图5对内容显示方法被改变的情况(1)提供说明。图5是显示本发 明的实施例1的内容显示处理设备的示例内容显示的图。具体地，将对即使当所述内容被 逐步缩小到预设的阈值时、图像边界仍覆盖内容的情况提供说明。在图5(a)所示的示例显示(1)中，所述内容布局部件105将所述内容405的透明 度改变这样的程度，即，边界与静止图像401内的所述内容405重叠。在这种情况下，所述 内容布局部件105将示出所述内容405的透明度的信息增加到示出所述内容405的布局和 大小的内容显示信息中。随着与所述内容405重叠的边界量的增加，所述内容布局部件105 增加所述内容405的透明度，由此使得所述内容405更透明。
当所述图像的边界402与内容405重叠到等于或大于所述阈值的程度时，所述内 容布局部件105丢弃内容显示信息。可替换地，所述内容布局部件105也可以沿着所述图 像的边界402来划分所述内容405，并将所述内容405放置在最大的区域内。在图5(b)所示的示例显示O)中，所述内容布局部件105将静止图像401内的所 述内容405沿着不存在图像的边界402的方向移动。当所述内容405与图像的边界402的 不重叠在不超过移动的预设量的上限值的程度内时，所述内容布局部件105重新计算内容 显示信息。按照所述重新计算的内容显示信息，所述显示处理部件106执行处理，在所述内 容被叠加到视频图像的同时，显示所述内容405。当所述重叠超过移动的预设量的上限值 时，所述内容布局部件105丢弃关于正在被处理的静止图像401的内容显示信息。在图5(c)所示的示例显示(3)中，当所述内容405的大小大于预设的阈值时，所 述内容布局部件105将所述内容405放置在静止图像401中，同时，所述内容与图像的边 界402的重叠被限幅，且所述内容显示信息被重新计算。按照所述重新计算的内容显示信 息，所述显示处理部件106执行处理，以在所述内容被叠加到视频图像的同时显示所述内 容405。当内容405’变为小于预设的阈值时，所述内容布局部件105丢弃所述内容显示信 息，如图5(d)所示的示例显示(4)的情况那样。下面参考图6(a)到6(d)描述对内容布局进行改变的情况。图6显示了表示在本 发明的实施例1的内容显示处理设备中使用的内容显示方法的类型的图。图6提供了关于这种情况的描述当内容504被缩小到所述内容不与图像的边界 502重叠时，所述内容504的大小变得小于预设的阈值。在图6中，通过将所述静止图像501 的四个角作为基准，提供了关于这种情况的描述对所述内容的布局进行改变。然而，所述 基准不限于四个角。也可以分别取所述静止图像501的四条边上的任意点作为基准。在图6(a)所示的示例显示(5)中，所述静止图像501中的内容504的大小小于预 设的阈值。相应地，如图6(b)中所示的示例显示(6)的情况那样，通过取所述静止图像501 的四个角作为基准，所述内容布局部件105生成具有与内容504相同的宽高比、且意欲用于 显示所述内容504的候选区域504A、504B、504C和504D。各个候选区域的大小被设置为不 与静止图像中的图像的边界502重叠。如图6(c)所示的示例显示(7)的情况那样，所述内容布局部件105从显示所述内 容504的候选区域504A、504B、504C和504D中选择具有最大面积的候选区域504D，作为实 际显示内容的区域。按照所述候选区域504D的大小和位置，所述内容布局部件105重新计 算内容显示信息，并确定内容显示信息。如图6(d)所示的示例显示(8)的情况，所述显示处理部件106执行处理，以按照 所述重新计算的内容显示信息，在所述内容被叠加到视频图像的同时显示内容505。所述显 示单元113显示从所述显示处理部件106传送的视频图像。如前面提到的，所述内容布局部件105重新计算内容显示信息，同时将优先级赋 予当前的内容布局。即使当所述图像边界与所述内容重叠时，所述内容布局部件105仍通 过改变(1)所述内容显示方法或( 所述内容布局来重新计算所述内容显示信息。按照所 述重新计算的内容显示信息，所述显示处理部件106执行处理，以在所述内容被叠加到视 频图像上的同时显示内容。因此，即使当能够显示内容的区域依照视频图像的变化而变化 时，实施例1的所述内容显示处理设备仍可以执行处理，以在不妨碍视频图像的重要部分的情况下显示有关视频图像的内容。接下来参考图7，提供了关于这种情况的描述通过将优先级赋予当前的内容大 小，来重新计算内容显示信息。图7是描述本发明的实施例1的内容显示处理设备中的用 于重新计算内容显示信息的方法的图。图7(a)是显示在重新计算之前实现的静止图像601 的图。图7(b)是显示内容和图像边界相互重叠的所述静止图像601的图。图7(c)是显示 内容和图像边界不相互重叠的所述静止图像601的图。图7(d)是在重新计算之后、内容图 像被叠加到所述静止图像601上的图。图7(a)显示了在重新计算之前实现的静止图像601。在取所述静止图像601的四 个角中的右上角作为基准的同时，显示两个内容605和606。在图7中，所述静止图像601 的右上角被用作缩小处理的基准点。现在描述这样的方法，通过该方法，当所述静止图像601由于视频图像中发生变 化而从图7(a)变为图7(b)时，所述内容布局部件105在将优先级赋予内容大小的同时重 新计算内容显示信息。当所述静止图像701没有变化时，所述内容布局部件105根据当前 内容显示信息重新计算所述内容显示信息。如图7(b)所示，当图像的边界602与内容605和606重叠时，所述内容布局部件 105移动内容605和606，以便防止图像的边界602与所述内容重叠，并重新计算所述内容 显示信息，如图7(c)所示。当所述内容的移动量超过预设的上限值时，所述内容布局部件 105在维持内容605和606的宽高比的同时，逐步缩小内容605和606，而不移动其。所述内容布局部件105确认所述内容606和606是否能逐步缩小到预设的阈值。 如图7(d)所示，所述内容布局部件105以图像的边界602不与内容605和606重叠的方式 缩小所述内容605和606，由此重新计算所述内容显示信息。按照所述重新计算的内容显示 信息，所述显示处理部件106执行处理，以便以叠加的方式在视频图像上显示所述内容605 和 606。即使当可显示内容的区域根据视频图像的变化而发生变化时，重新计算操作使能 处理的执行，该处理用于在所述内容被叠加到视频图像的同时显示内容，且不妨碍所述视 频图像的主要显示对象。在图7中，所述静止图像601的右上角被用作为缩小处理的基准 点。然而，所述内容605或606的四个角中的任意一个、或所述内容605或606的中心也都 可以用作为缩小处理的基准。如上面提到的，即使当在将优先级赋予当前的内容大小的同时重新计算内容显示 信息时，图像边界有时也会与内容重叠。在这种情况下，为了计算所述内容显示方法，诸如 下面提供的方法是可行的。例如，在即使在内容已经被缩小到预设的阈值之后仍包括图像边界的情况下，所 述内容布局部件105也改变内容布局。当即使在对所述内容布局做了改变之后、所述图像 边界仍与内容重叠时，所述内容布局部件105丢弃当前的内容显示信息，且所述显示处理 部件106执行处理，以便不在视频图像中显示内容。而且，例如，所述内容布局部件105也可以通过按照内容与边界之间重叠的面积 来改变内容的透明度，在静止图像上显示半透明的内容。当所述图像边界与内容重叠到等 于或大于阈值的程度时，所述内容布局部件105丢弃内容显示信息。或者，所述内容布局部 件105也可以沿着所述边界划分所述内容显示区域，并取最大的区域作为显示区域。
在实施例1中，当放大或缩小内容时、以及当在预定的范围内移动内容时，所述内 容布局部件105也可以对存储在显示信息存储部件107中的内容显示信息、以及由所述内 容布局部件105重新计算的内容显示信息进行插值。在这种情况下，所述内容布局部件105从补充数据来准备内容显示信息。所述显 示处理部件106执行处理，通过基于插值后的数据的内容显示信息，连续地显示的内容。当 所述显示单元113按照基于插值后的数据的内容显示信息显示图片时，在所述图像边界和 所述内容之间可能存在重叠。然而，这产生一个优势用户变得更容易追踪内容。如上面详细描述的，实施例1的所述内容显示处理设备检测这样的区域作为用于 显示内容的空闲区域，所述区域包括从其除去构成视频图像的所述静止图像中的主要显示 对象的区域中的静止图像的外边界。实施例1的所述内容显示处理设备执行处理，该处理 用于按照所检测的空闲区域确定由内容布局和内容大小构成的内容显示信息，并按照所 述内容显示信息，以叠加的方式在视频图像上显示内容。结果，即使当可显示内容的区域根 据视频图像的变化而出现变化时，也可以执行操作，以在不妨碍所述视频图像的重要部分 的情况下，在视频图像上显示内容。虽然实施例1已经通过将所述内容显示处理设备的示例应用用于能够接收数字 广播无线电波的电视接收机来描述了本发明，但本发明不限于所述示例。本发明的所述 内容显示处理设备也可以被应用到便携式游戏机、以及光盘播放器、硬盘播放器、便携式电 话、PHS(个人手持电话系统)、PDA(个人数字助理)和个人计算机、以及成像设备，如数码 相机和数字摄像机等。通过典型为集成电路的LSI，来实现用于描述实施例的各个功能块。所述功能块也 可被单独封装到单个芯片中或作为单个芯片实施，以便包括所述功能块的一些或全部。尽 管将芯片实施为LSI，但根据集成度，芯片也被称为IC、系统LSI、super LSI、或ultra LSI。用于实现集成电路的技术不限于LSI。所述集成电路也可以通过定制的电路或通 用处理器实现。也可以利用可在LSI的制造之后被编程的FPGA(现场可编程门阵列)、或者 使能LSI中的电路单元的连接和设置的重配置的可重配置处理器。如果利用由于半导体技术的进步或衍生而产生的另一种技术、而出现集成被LSI 所替代的电路的技术，则可通过使用所述技术而自然地集成所述功能块。生物学技术的应 用等等也是可行的。虽然本发明已经通过参考特定实施例被详细介绍，本领域的技术人员应该理解， 在不脱离本发明的精神和范围的情况下，可以对本发明进行不同的变更和修改。本申请基于2008年9月2日提交的日本专利申请(日本专利申请2008-2M590)， 通过引用将其合并于此。工业适用性本发明可以被应用到内容显示处理设备和内容显示处理方法，其使得在不妨碍视 频图像的重要部分的情况下，在内容被叠加到视频图像的同时显示所述内容。附图标号和符号的描述100 内容显示处理设备101内容获取部件102视频图像获取部件0121]103图像处理部件0122]104图像识别部件0123]105内容布局部件0124]106显示处理部件0125]110网络0126]111内容服务器0127]112广播站0128]113显示单元0129]201、301、401、501、601静止图像0130]202、302、402、502、602图像的边界0131]203矩形区域0132]204A、204B、204C、304A、504A、504B、504C、504D0133]204A’内容显示区域0134]205、206、305、405、504、505,605,606 内容
权利要求
1.一种内容显示处理设备，包括视频图像获取部件，其获取由多个静止图像构成的视频图像；内容获取部件，其获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述 视频图像上；图像处理部件，其从所述视频图像提取静止图像；图像识别部件，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括 所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部 分；内容布局部件，其根据所述图像识别部件检测出的区域，来确定指示所述内容的布局 和大小的内容显示信息；以及显示处理部件，其执行处理，以便根据由所述内容布局部件确定的内容显示信息，在所 述内容被叠加到所述视频图像上的同时显示所述内容。
2.如权利要求1所述的内容显示处理设备，还包括显示信息存储部件，其存储所述内容显示信息；其中，所述内容布局部件根据主要显示对象的位置或大小的改变，重新确定内容显示 信息，同时维持由在显示信息存储部件中存储的内容显示信息指示的所述内容的布局或大
3.如权利要求1或2所述的内容显示处理设备，其中，所述图像处理部件对静止图像执 行图像处理，以提取所述主要显示对象的边界。
4.如权利要求1所述的内容显示处理设备，还包括显示信息存储部件，其存储所述内容显示信息；其中，所述内容显示信息包括关于所述内容的透明度的信息；以及其中，所述内容布局部件根据主要显示对象的位置或大小的改变，来确定所述内容的 透明度，同时维持由在所述显示信息存储部件中存储的内容显示信息指示的内容的布局和 大小。
5.如权利要求1所述的内容显示处理设备，其中，当作为根据所述内容显示信息而将 所述内容叠加到视频图像上的结果、所述主要显示对象与所述内容重叠时，所述显示处理 部件执行处理，该处理用于显示不与所述主要显示对象重叠的内容的部分，以便叠加到所 述视频图像上。
6.如权利要求2所述的内容显示处理设备，其中，所述内容布局部件基于在所述显示 信息存储部件中存储的第一内容显示信息、以及由所述内容布局部件确定的第二内容显示 信息之间的差异，来确定对第一内容显示信息和第二内容显示信息进行插值的第三内容显 示信息；以及其中，所述内容布局部件确定第三内容显示信息作为内容显示信息。
7.如权利要求1到6中的任一个所述的内容显示处理设备，其中，所述静止图像的形状 是矩形；以及其中，所述静止图像的外边界包括所述静止图像的四个角中的至少一个、或所述静止 图像的四条边上的至少一点。
8.一种内容显示处理方法，包括获取由多个静止图像构成的视频图像；获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上； 从所述视频图像提取静止图像；从所提取的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、 以及除了所述静止图像的主要显示对象之外的部分；根据所检测的区域，来确定指示所述内容的布局和大小的内容显示信息；以及 根据所确定的内容显示信息，在所述内容被叠加到所述视频图像上的同时，在所述视 频图像上显示所述内容。全文摘要
执行处理以便在不妨碍视频图像的重要部分的情况下显示叠加在所述视频图像之上的内容。内容显示处理设备装备有视频图像获取单元，其获取包含多个静止图像的视频图像；内容获取单元，其获取将被显示的叠加在所述视频图像之上的内容；图像处理单元，其从所述视频图像中提取静止图像；图像识别单元，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；内容放置单元，其根据图像识别单元检测出的区域确定能指示所述内容的放置和大小的内容显示信息；以及显示处理单元，其执行处理以基于内容放置单元确定的内容显示信息来显示叠加在视频图像上的内容。
文档编号H04N5/445GK102047654SQ20098010090
公开日2011年5月4日 申请日期2009年9月2日 优先权日2008年9月2日
发明者神户信裕 申请人:松下电器产业株式会社