专利名称：从视频内容进行的图像提取的制作方法
技术领域：
本发明通常被指向从所接收的电视广播中提取所选内容，更具体而言被指向使用模板，其用于对要记录的所接收内容的基于图像内容的选择。
背景技术：
当代电视广播接收器(例如电视、卫星、地面或线缆接收器单元，置顶盒，甚至盒式磁带录像机等)常常向用户提供自动记录所接收内容的能力，所述记录是记录到内部存储设备，如磁盘，或记录到由接收器控制的外部记录设备，如盒式磁带录像机(VCR)。除了在指定周期内记录在指定通道上接收的内容以外，许多接收器还允许对记录的基于内容的控制。
常规的基于内容的记录典型地依赖于有关内容的外围信息，如描述内容的控制编码或文本描述，其被嵌入于内容中或结合内容而被发送。这样，例如，用户可能对接收器编程以记录由与内容一起发送的预定控制编码来识别或者基于与内容关联的文本描述内的关键词的存在而识别的内容。
然而，这样的机理受限于与内容在一起的精确控制编码或描述的可用性。与内容关联的描述可包含足够详细的描述以允许用户分析将在识别相关匹配的过程中成功的关键词搜索。例如，与本地新闻节目关联的描述常常仅陈述“新闻”，而广告基本上从不被描述。而且，描述典型地过于一般以至于不允许待记录的节目的特定部分。
因此，在本领域中需要对记录的内容的严格的基于内容的识别，而无需单独依赖于与该内容关联的外围信息。
发明内容
针对现有技术的以上所讨论的不足，本发明的主要目的是为在视频记录器中使用而提供图像模板，其限定想要记录的视频内容的特征，包括待在确定相似性水平的过程中比较的区域和在比较中被忽略的预期可变性的白区域的空间分布和颜色特征。连续地或在预定周期内，每个图像模板被比较于用于关联通道的场。具有相似性的至少阈值水平的在关联通道上接收的场与关联的音频一起被保存。
以上已相当广泛地概括了本发明的特点和技术优点，从而使本领域的技术人员可较好地理解以下的本发明的详述。本发明的附加特点和优点将在以下被描述，其形成本发明权利要求的主题。本领域的技术人员将理解，他们可容易地将所公开的概念和特定实施例用作修改或设计用于实施本发明的相同目的的其它结构的基础。本领域的技术人员亦将认识到，这样的等效构造并不背离处于其最广形式的本发明的精神和范围。
在进行以下的本发明的详述之前，有利的是提出贯穿本专利文档而使用的某些词或短语的定义术语“包括”和“包含”以及其派生词指的是没有限制的包括；术语“或”是包括的，意味着和/或；短语“与...关联”和“与之关联”以及其派生词可指的是包括、被包括在...内、与...互连、包含、被包含在…内、连接于或与...连接、耦合于或与...耦合、可与...通信、与...合作、交错、并列、最接近于、被结合于或与...结合、具有、具有...的特性等；而术语“控制器”指的是控制至少一个工作的任何设备、系统或其部分，不管这样的设备被实施于硬件、固件、软件或至少两个相同事物的某种组合中。应指出，与任何特定控制器关联的功能性可被集中或分布，不管是在本地或远程。用于某些词或短语的定义被贯穿本专利文档而提供，而本领域的普通技术人员将理解，如果不是在大多数实例中，则这样的定义在许多实例中适用于这样定义的词或短语的先前或将来的使用。
为了较完整地理解本发明及其优点，现在参照结合附图而进行的以下描述，其中相同的数字表示相同的对象，并且在其中图1描述依照本发明一个实施例包括图像检测和任选的提取的视频接收器；图2A-2C是依照本发明的一个实施例用于在对视频信息记录的基于视频内容的控制中使用的样品图像和对应的模板；并且图3是依照本发明的一个实施例用于从广播流中提取和/或图像检测的过程的高级流程图。
具体实施例方式
以下讨论的图1到3以及在本专利文档中被用于描述本发明原理的各种实施例仅仅是为了说明，而不应以任何方式被理解成限制本发明的范围。本领域的技术人员将理解，本发明的原理可被实施于任何适当安排的设备中。
图1描述了用于依照本发明一个实施例包括图像检测和任选的提取的视频接收器的方块图。视频接收器100包括电视、置顶盒或数字视频线缆、卫星或地面广播接收器，其包括能解调所接收的广播节目播放的调谐器(未示出)。本领域的技术人员将认识到，视频接收器的整个构造和工作在此不被描述或说明。然而，本发明可结合常规的视频接收器而被使用，并且仅这种程度上的理解本发明所必要的或对本发明唯一的视频接收器构造和工作在此被描述和说明。
视频接收器100包括固件101，限定视频接收器100的工作和控制的硬件和软件的组合。在本发明中，固件101包括图像处理器102，其被用于对要记录的内容的基于内容的识别。具体而言，图像处理器102包括图像比较能力，优选为算法，其可精确地识别图像匹配，即使是在图像之一包含颜色或锐度上的失真或者相对于其它图像而被倾斜或有偏差时。在图像匹配中使用图像特点的空间分布和颜色直方图已基本上被研究，并且提供极佳性能的算法已被开发。具有这种能力的软件视频处理程序是商业上可用的。
示例实施例中的接收器100亦包括用于从广播源接收视频信息的连接103和被包含在视频接收器100内或被耦合于其的非易失性存储器107(例如闪存或磁盘)。非易失性存储器104包含由图像处理器102执行的程序105以便于识别匹配用户指定的一个或多个模板106的所接收视频信息内的视频内容。
图2A-2C是依照本发明的一个实施例用于在对视频信息记录的基于视频内容的控制中使用的样品图像和对应的模板。图2A和2B是用于用户希望记录的视频信息的样品视频图像，在该实例中是来自新闻天气预报的用于呈现天气状况的图形。不能观看包括天气预报的新闻节目或不喜欢观看整个预报或快速向前搜索经过整个新闻预报的记录的用户，仍然可能希望察看天气预报。
图2A和2B中的图像200、201大部分是相似的，并且可被用于取得对应的图像模板203。图像模板203内的白区域204a-204e是可出现不同信息或内容的可变性的区域，并且在为了识别匹配的与所接收的视频信息的比较期间被忽略。尽管在示例实施例中被描述为矩形，诸如那些所示的204a-204e的白空间或区域可以是任何任意的形状。
匹配是通过比较图像模板203的剩余部分(而不是白空间)与所接收的视频场或帧来识别的。当检测到所接收的场或帧和图像模板之间的相似性的预定程度时，匹配被认为已确定。
特定的图像模板203可使用图形程序(未示出)从一个或多个所捕获的图像来生成，或通过运行模板提取过程的图像处理器102来生成，所述模板提取过程比较两个或多个所捕获的图像以识别共同的特征。在察看节目或多个节目时，用户可指定用于捕获的节目内的帧并在取得图像模板的过程中使用。
具有图2C中的图像模板203所示的形式的图像模板106限定针对相似性程度而被比较的区域的空间分布和颜色特征。尽管在图2C的实例中被示出为具有相对小的白区域的全场图像，图像模板106可仅包括场的小且特定的部分(即白区域覆盖场的大部分)。例如，图像模板可被限定以捕获场底部上的条，该条提供运动记分、股票价格或新闻集锦的运行的“信息装置(ticker)”。
图像模板106可由用户生成或通过接收视频信息的输入连接103而发送给视频接收器100。就是说，模板106可在远距离被产生，或利用与待解调并显示的视频节目播放相同的广播介质(例如线缆、卫星或地面广播或互联网流动)或者通过不同的连接发送给视频接收器100。
大多数当代广播介质包括成百的通道，这使得比较图像模板106与所有所接收的内容是不实际的。因此，程序105优选地包括与每个模板106关联的用于识别待记录内容的附加信息，如通道、时间周期、节目名称或描述、和/或相近标题(closed-caption)关键词。这样的附加信息被图像处理器102用来最初选择被与对应模板106比较的所接收的视频信息。从外部源提供的模板106可被与这种关联的附加信息捆绑在一起，所述信息可由察看者使用或修改。
与特定模板106关联的附加信息优选地包括通道和节目名称，包括待记录的内容，其可从电子节目向导中被捕获。附加信息亦可包括一段标准的高级电视系统委员会(ATSC)相近标题文本(close-caption text)或来自所述文本的关键词，所述文本来自节目播放的相关部分或相邻部分。例如，在图2A到2C的实例中，术语“天气”和“预报”可被用于搜索相近标题文本。在用户指定用于提取图像模板的一个或多个所看节目的部分的情况下，对相近标题文本的后处理可以是手动的，同时有最小的用户界面要求，或者是自动的，通过消除停止词并针对几个实例来寻找相近标题文本的交叉部分来进行。
与模板108关联的附加信息被程序105用来控制通道或由视频接收器100解调的广播内容的选择和时序以便于与对应的模板比较。相近标题信息可进一步缩小在检测相近标题文本内的关键词之后被与对应模板比较至预定周期的广播内容的部分的范围。
如以上所指出的，模板106可被生成于视频接收器100内，通过广播传输或物理介质(例如CD-ROM)分配给订户或从各种源通过互联网来下载。例如，广告商可生成允许用户捕获由该广告商产生的商业广告的模板。在视频接收器100以外产生的模板在最终内容上是相似的，但可从较大的训练集得到或载有被嵌入的视频“键”或“水印”(用于快速识别匹配的唯一图像型式)，并因此更有可能具有较好的精度。
从外部视频接收器100接收的模板106和关联的附加信息以及在视频接收器100内产生的那些可由订户改变或删除。图像模板106和关联的附加信息两者均可由订户变更。
视频接收器100优选地具有足够的资源(非易失性存储、处理器、存储器等)以维持模板106的存储库(repository)并将模板比较于至少所选的输入广播内容，然后存储从所接收的广播内容中提取的匹配图像。当视频接收器100空闲时，图像处理器102扫描一个或多个指定通道；当视频接收器100处于运转中(被用于察看广播内容)时，图像处理器102扫描至少所察看的通道。如果视频接收器100内的调谐器能力允许对多个通道的同时解调，则图像处理器102可利用分离的图像比较过程同时扫描多个通道。
如果视频接收器100内的非易失性存储器104是硬盘驱动器或具有足够容量的其它介质，则包含匹配图像的所接收的广播节目播放被存储在所记录的内容107内。否则，视频接收器100内的诸如通用串行总线(USB)的连接可允许匹配内容被输出给外部设备，如盒式磁带录像机、读写数字通用盘(R-W DVD)单元或个人计算机。
所保存的图像或图像序列(有或没有相关音频和/或相近标题文本)可由订户从所记录的内容107中检索以便于察看。这样的图像亦可被用作用于形成模板的实例(正的和负的)。用户亦可被允许管理图像存储库107的内容，根据需要保存或删除所选图像。另外，或者在可替换的情况下，自动管理功能性可被提供以使所保存的图像被保留直到针对对应的模板而发现了新的匹配，或者N个最近期的图像被保留，其中N是由用户选择的正的非零整数。
在可替换的实施例中，广播服务供应商可在广播服务器侧为订户来执行图像提取，通过广播流或诸如互联网的其它分布连接将结果匹配递送给视频接收器100。
图3是依照本发明的一个实施例用于从广播流中提取和/或图像检测的过程的高级流程图。可在视频接收器100内或发送广播节目播放给视频接收器100的服务器内被执行的过程300从以下开始例如通过用户为记录程序而设置参数来启动对要记录的内容的基于图像的选择(步骤301)。
所述过程可首先转到确定是否已到达所选开始时间的工作步骤(步骤302)。对用于记录的内容的基于图像的选择可与对用于记录的内容的常规的基于时间的选择相结合而使用，或者可替换的是，可被单独使用，而一个或多个通道被连续监视。
在对用于记录的所接收的广播节目播放的基于内容的选择被启动之后，为所选通道所接收的第一场(或帧)被解调(步骤303)并被比较于对应的模板(步骤304)。如果经解调的场和模板之间的相似性超过预定的阈值从而使匹配被识别(步骤305)，则经解调的场被保存或相反被记录以便于用户以后检索和察看。过程然后为所选通道解调接下来的场，并且所述过程(步骤303-306)被重复。被发现匹配模板的多个相继的场与关联的音频和任选的相近标题文本一起被保存为视频剪辑，同样以便于用户以后检索和察看。
如果同时解调多个通道的能力是可用的，则所述过程(步骤303-306)的多个例子并行地执行。任选地，可进行确定而不管是否已到达用户指定的结束时间(步骤307)，并且如果这样，则过程被暂停(步骤308)。
除了对内容的常规的基于时间和通道的和/或基于外围文本的选择以外，或者取代这些选择，本发明亦允许基于视频内容来选择广播节目播放内的内容。用于这种基于视频的内容选择的图像模板可从实例中被得到，并且由用户产生，或者由借助广播节目播放或通过对视频接收器的可替换连接来发送模板的外部源而产生。匹配的节目播放被存储以便于用户随后检索和察看。订户可能不另外专门选择的广播节目播放的特定部分，如节目的子部分(例如天气预报)或广告，可被识别于所接收的内容中并被记录。
重要的是指出尽管已在全功能视频接收器的情况下描述了本发明，本领域的技术人员将理解，至少本发明机理的部分能以包含各种形式的指令的机器可使用的介质的形式而被分配，并且本发明等同地适用，而不管被用于实际实现所述分配的信号承载介质的特定类型。机器可使用的介质的实例包括非易失性、硬编码类型的介质，如只读存储器(ROM)或可擦除、电可编程只读存储器(EEPROM)，可记录型介质，如软盘、硬盘驱动器和光盘只读存储器(CD-ROM)或数字通用盘(DVD)，以及传输型介质，如数字和模拟通信链路。
尽管已详述了本发明，本领域的技术人员将理解，可在处于其最广形式的本发明的精神和范围内做出对在此所公开的本发明的各种改变、替换、变化、增强、细微差别、等级、较小形式、变更、修订、改进和削减。
权利要求
1.一种系统(100)，用于对用于记录的节目播放的基于视频内容的选择，包括连接(103)，用于接收广播节目播放；以及图像处理器(102)，其将来自所接收的广播节目播放的经解调的场比较于限定想要记录的视频内容的特征的模板(106)，并且响应于确定所述场和所述模板(106)之间的相似性的至少阈值水平而保存所述场。
2.权利要求1的系统(100)，其中模板(106)限定要被比较于经解调的场以便于确定相似性水平的区域的空间分布和颜色特征。
3.权利要求2的系统(100)，其中模板(106)包括在将模板(106)比较于经解调的场的过程中被忽略的预期可变性的白区域(204a-204e)。
4.权利要求1的系统(100)，其中图像处理器(102)连续比较用于所选通道的经解调的场与模板(106)。
5.权利要求1的系统(100)，其中图像处理器(102)在预定周期内比较用于所选通道的经解调的场与模板(106)。
6.权利要求1的系统(100)，其中图像处理器(102)比较相继的经解调的场与模板(106)，并且保存具有与模板(106)的相似性的至少阈值水平的所有经解调的场以及关联的音频。
7.权利要求1的系统(100)，其中图像处理器将用于多个通道的每个的经解调的场比较于来自一个或多个模板(106)中的指定模板(106)。
8.一种视频接收器100，包括调谐器，其解调来自所接收的广播节目播放的场；非易失性存储器104，其包含限定想要记录的视频内容的特征的一个或多个模板106；以及依照权利要求1的系统。
9.一种对用于记录的节目播放的基于视频内容的选择的方法，包括从广播节目播放中获得场；将来自广播节目播放的场比较于限定想要记录的视频内容的特征的模板(106)；以及响应于确定所述场和所述模板(106)之间的相似性的至少阈值水平而保存所述场。
10.一种用于与视频接收器(101)一起使用的数据流，包括广播节目播放，其包括所选广播节目播放；以及限定想要记录的视频内容的特征的至少一个模板(106)，其中所述至少一个模板(106)适合于被视频接收器(100)用来基于广播节目播放流的所选部分内的场与所述至少一个模板(106)的相似性而选择用于记录的广播节目播放流的一部分。
全文摘要
图像模板限定想要记录的视频内容的特征，包括待在确定相似性水平的过程中比较的区域和在比较中被忽略的预期可变性的白区域的空间分布和颜色特征。连续地或在预定周期内，每个图像模板被比较于用于关联通道的场。具有相似性的至少阈值水平的在关联通道上接收的场与关联的音频一起被保存。
文档编号H04N5/782GK1568615SQ02820323
公开日2005年1月19日 申请日期2002年9月23日 优先权日2001年10月15日
发明者A·贾内斯基 申请人:皇家飞利浦电子股份有限公司