专利名称：个性化视频分类与获取系统的制作方法
背景技术：
1.发明领域本项发明涉及通信和信息处理领域，特别是视频分类和获取领域。
2.相关技术描述用户面对的是不断增长的信息和娱乐选择。通过广播、电缆和卫星通信系统，用户可以收看数百个电视频道。由于这不断增长的信息供应，对于用户来说，要高效地选择信息来源，以提供满足特别或指定兴趣的信息就变得越来越困难。试想，例如，用户随意地在数打电视频道(频道冲浪(surf))中搜寻他感兴趣的主题。如果用户某方面兴趣的主题并不是大众化的，仅仅一两个广播公司可能播放与该主题有关的报道，而且只在一个短暂的时段中。除非用户被事先通知，对此感兴趣的用户不太可能在播放该主题报道时收看这特定广播公司的频道。相反，如果感兴趣的主题非常大众化，许多广播公司会播放与该主题相关的情节，频道冲浪的用户会被冗余的信息所淹没。
通常在无线电广播中可以使用自动的扫描，而对电视广播，通常不那么适用。传统上，这些扫描提供每个广播频道的一段短时样本。如果用户选择该频道，调谐器就保持收听该频道；否则，扫描器前进到下一个找到的频道。然而，这种扫描，既不是有指导的，也不是选择性的。例如，没有为用户提供任何帮助来特别扫描无线电广播中的一个新电台，或是电视上的一个体育节目。每个找到的频道会被取样并呈献给用户，而与用户当前的兴趣无关。
计算机与电视的不断融合为用户提供了这样的良机，可以提供有关他们特别兴趣的信息。例如，许多网络站点提供新闻摘要，链接到与当前新闻报道相关的视频音频和多媒体部分。这些新闻摘要的排序和显示可以为每个用户定制。例如，某用户可能想首先看到天气预报，接下来是国际新闻，然后本地新闻，而另一位用户可能只想看到体育报道和投资报道。该系统的优点在于可定制展示给用户的新闻；而缺点是需要人来准备摘要，而接下来用户需要阅读摘要以决定是否值得查看这一报道。
报道自动分割和识别领域在持续发展，如MITRE公司的BNE(广播新闻编辑器)和BNN(广播新闻浏览器)(见Andrew Merlino,DarylMorey,和Mark Maybury,MITRE公司，Bedford MA使用报道分割的广播新闻浏览，ACM多媒体会议论文集，1997,381-389页)。使用BNE，新闻广播被自动分割成单独的报道部分，与该部分相关的字幕的第一行文本被作为每段报道的摘要。从字幕文本或声音中指定该报道部分的关键字。BNN允许用户输入搜索词，BNN将报道部分按与搜索词匹配的关键字的数目排序。基于与关键字匹配的出现频率，用户可选择感兴趣的报道。类似的搜索和获取方法在该技术领域中正变得常见。例如，常规的文本搜索技术可以被用于基于计算机的电视导视，由此用户可以搜索一特定的节目名称，特定的演员，特定类型的节目，等等。
传统的搜索和获取技术的一个缺点是需要明确的搜索任务，相应所做的选择是基于明确搜索的。然而，经常，用户在脑中并没有明确的搜索主题。在典型的频道冲浪的情况下，用户并没有明确的搜索主题。频道冲浪的用户随意选取一些频道，这些频道是关于他可能感兴趣的许多主题中的一个，而不是特别搜索某一个主题。即，例如，用户可能从脑中没有任何特定主题开始随意地抽样，从许多频道中选取一个，根据是抽样时该频道正在上演的主题。在另一种情况下，用户可能用一种“背景”形式监控着电视，同时进行其它的工作，例如阅读或烹饪。如果出现感兴趣的主题，用户将他的注意力重新集中在电视上，继而当上演不怎么感兴趣的主题时，再将注意力转向其它工作。
发明概述本项发明的一个目的是提供一个新闻获取系统，允许用户快速、轻易地选择和收看感兴趣的报道。本项发明进一步的目的是识别出用户潜在有兴趣的广播，并向用户提供这些广播随机或系统的抽样以便进行后续的选择。
这些目的以及其它的是通过提供一个系统来实现，该系统将新闻报道分类，并将选中的符合用户当前偏爱的新闻报道的样本发送给用户。用户偏爱的可能包括特定的广播网络、选定的人物、报道主题、关键字，等等。每个选中的新闻报道的关键帧被顺序显示；当用户看到感兴趣的帧时，用户可以选择与该关键帧相关的新闻报道来查看详细内容。在优选实施方案中，存储新闻报道，而选中一新闻报道查看详细内容的要求导致选中报道的重放。
尽管本发明特别适用于目标新闻获取，本发明的原理同样允许用户实现其它类型广播的有指导的搜索。例如，用户可以实行自动扫描，并显示遵从用户当前偏好的广播样本，类似于有指导的频道冲浪。
附图简述
图1示出遵照本发明的一个个性化视频搜索系统的示意方框图。
图2A示出新闻广播的视频流200示例。
图2B示出按照本发明，从视频流报道部分中关键帧的抽取。
图3示出遵照本发明的视频获取系统的用户接口示例。
图4示出遵照本发明的客户产品的示意方框图。
发明详述图1所示为遵照本发明的一个个性化视频搜索系统的模块图示例。该视频获取系统包含分类系统100，对视频流每部分进行分类，以及获取系统150，选取并显示符合一位或多位用户偏好的部分。该视频获取系统从广播频道选择器105，例如电视调谐器或卫星接收器，接收到视频流101。视频流可能是数字或模拟格式，广播可以是任何格式或用于视频流通信的媒体，包括点到点通信。为了理解的明白和简便，这里展示的视频搜索系统示例会基于一个按照一组用户偏好的新闻报道系统的上下文来介绍，尽管这里介绍的原理扩展到其它视频搜索应用对于本领域的一般技术人员都是显而易见的。
图1中示例的分类系统100包括报道部分识别器110，分类器120，以及图像特征提取器130。报道部分识别器110处理视频流101，识别出视频流101的分立片断。在本例的情况下，视频流101对应于新闻广播，包括中间嵌有广告的多种新闻报道。报道频道识别器110将视频流101分割成新闻报道片断111，或者通过从视频流101中将每个分立的报道片断111复制到存储设备115，或者通过产生一组位置参数，识别视频流101的一份复件中每个分立的报道片断111的开始和结束位置来实现。如虚线106所示，在优选实施方案中，视频流101存储于存储设备115上，允许根据片断111在存储介质，例如磁带录像机、光盘、DVD，DVR,CR-R/W，计算机文件系统等等上的位置来重播片断111。为便于理解，本发明的介绍中认为报道片断存储于存储设备115上。正如对该领域普通技术人员会是显而易见的，这等效于录制整个视频流101并检索相对视频流101的每个报道片断111。
通过许多技术来识别报道片断111。典型的新闻广播遵循一种适于报道分割的通用格式。图2A所示为一新闻广播视频流示例200。在简介201之后，播音员或主持人出现并介绍第一个新闻报道部分221。第一个新闻报道片断221结束后，主持人再度出现212并介绍下一个报道部分222。在报道片断222结束后，切换218到商业广告228。广告228后，主持人再次出现213介绍下一报道片断223。这一主持人-报道，并内嵌广告的序列，重复出现直到新闻广播结束。
主持人的重复出现211-214，典型情况下是出现在同样的位置，可用于清晰地辨别每段新闻片断的开始和前一新闻片断或广告的结尾。通常可有技术识别视频流中的广告，例如当播放广告时关闭声音的装置。广告228也可能在一报道片断222内部出现。至广告228的切换218也可能包含主持人的重复出现，但广告228的出现用于识别切换218的出现，而不是新的报道片断介绍。主持人可能在报道片断221-224广播中出现，但大多数广播公司使用同一舞台位置来作报道介绍，不同的舞台位置来作对话镜头或广告后的重复出现。例如，播音员坐在新闻桌前介绍一篇报道，接下来播音员的画面被关闭，画面中不出现新闻桌。或者，播音员在报道简介时被全屏显示，而在与实地记者对话时显示在分裂的小窗口内。或者，报道简介时播音员的镜头是正面的，而在报道中是侧面的。一旦报道简介的特征画面被识别，本领域中通常的图像匹配技术可以被用于报道自动分割过程。在没有可用于报道自动分割的报道片断间隙的情况下，手工或半自动的技术一样可以应用。而且，就像为可定制的视频创作和拼接所规划的标准MPEG，可以期待视频流中会含有明确的标记，标明视频流中独立片断的开始和结束。
与视频流同样相关的还有音频流230，和在很多情况下，相应于音频流230的秘密标题文本流240。图2A中每个报道片断221-224有一相应音频流231-234，以及可能的秘密标题文本241-244。音频片断231-234与视频片断是同步的，可能包含在每个报道片断221-224中。由于音频与文本的传输时间差异，秘密标题文本片断不需要消耗与音频片断231-234相同的时间间距。报道片断识别器110还可能包括语音识别设备，为每个音频片断231-234生成相应的文本片断241-244。
除了音频片断的文本以外，文本片断241-244也包含从其它来源得到的文本。例如，在非新闻广播中，可能有一电视导视，提供每个报道的大纲，角色列表，评论家的评述，等等。在新闻广播中，可能可以实现一在线向导，提供标题的列表，新闻广播员列表，广播中包含的公司或人员的列表等等。与每个广播和每个报道片断相关的还有注明广播频道正被广播频道选择器105监控的文本注解，例如“ABC”，“NBC”,“CNN”等等，还有介绍报道的播音员的姓名。播音员的姓名可以由图像识别技术自动确定，或者通过人工确定。其它的注解可能包括广播的时间、每篇报道的发生地点，等等。在本发明的优选实施方案中，所有这些格式化文本信息片断都与它们相应的报道片断相联。格式化文本电视广播数据也可被包含在文本片断241-244中。
图2A中的报道片断221-224，音频片断231-234，以及文本片断241-244对应于图1中报道片断识别器110得到的报道片断111，音频片断112和文本片断113。
图2B所示为按照本发明的一个方面，从视频流报道部分中的关键帧抽取。报道片断221包括许多场景251-253。例如，报道片断221的第一个场景251对应于播音员介绍报道片断221的画面211。下一场景252可能来自于报导这一报道的远程摄像机的画面，等等。每一场景251,252,253的第一帧261,271,281形成了一组与报道片断221相关的关键帧291,292,293,关键帧构成了报道片断221的图示摘要。图2B中的关键帧291,292,293对应于图1中从报道片断识别器110中得到的关键帧114。
每一场景的第一帧可基于帧间的差异来识别。例如当播音员在介绍报道过程中移动，可以注意到从帧到帧只有细微差别。画面上对应于新闻桌的区域，或者播音室的背景，不会在帧和帧之间有显著变化。当场景变化，例如切换到远程摄像机，整个画面出现相当大的变化。许多图像压缩和传输方案提供了存储和传输如不同帧序列这样一系列图像的能力。如果有显著差异，代表性的做法是直接将新帧编码作为参考帧；接下来的帧按其与参考帧的差异进行编码。图2B中显示了按照这样一种方案，每种场景252-253下每一帧F的相对大小。每一场景251,252,253的第一帧261,262,263按照参照帧编码,包含多个的信息，或者按照差异帧编码，包含多个与前面帧的差异。在场景变换后，接下来的帧会比较小，反映出整体相同的场景，只有画面内物体的运动或镜头角度或放大引起的细小变化。每一帧中包含的信息与一帧和下一帧的差别直接相关。例如，在MPEG压缩方案中，通过离散余弦变换(DCT)对图像进行变换，生成的每一帧编码的大小和帧与帧之间变化的数量紧密相关。即，例如，帧262,263,264明显比帧261要小得多，因为它们包含的信息比帧261要少，而帧261对应于场景的改变。这样，在本发明的优选实施方案中，关键帧291,292,293对应于报道片断221中所含信息最多的帧261,271,281。其它选取关键帧的方法对于本领域的一般技术人员来说都是显而易见的。例如，可以从每个场景的中心选取一帧，或选取该场景中与其它帧差异最少的帧，使用例如最小平方决策等等。在场景分割的问题中，常用手工和半自动的方法来选取关键帧，由此组合成每一报道片断的图画摘要。同样在场景分割的问题中，未来的编码标准可能包括在每一报道片断中直接标明这样的关键帧。
分类器120描绘图1中报道片断111的特征。在优选实施方案中，分类器120自动实现特征描述，尽管也可能用到手工和半自动的方法。在优选实施方案中的特征描述的基本方法是基于由报道片断识别器110得到的文本片断113。如果文本片断113包含有注解例如广播频道及播音员姓名，这些注解将被用于相应于广播公司和播音员类别的片断识别。如果文本片断113是报道片断的描述或摘要，关键字如“受害人”、“警方”、“罪行”、“被告”等可将该新闻报道归到“犯罪”的主题下。而关键字如“民主”、“共和”、“议院”、“参议院”、“首相”等等可将新闻报道归于“政治”主题。也可以定义子类，例如“本垒打”将一篇报道归于“体育”类下的“棒球”子类，“达阵”将一篇报道归于“体育”类下的“橄榄球”子类。类似的，特定的姓名，比如“克林顿”、“比尔盖茨”、“约翰维恩”可分别将报道划分到“政治”、“计算机”、“娱乐”类。一个报道片断可能有多种分类，例如“比尔盖茨”可能将报道同时归入“计算机”和“金融”类。类似的，在同一篇报道中出现“被告”和“民主”会使报道同时被归入“犯罪”和“政治”类。采用类似的方式，音频片断112也可用于分类。在间接方式中，音频片断112被转成文本，对文本进行分类。在直接方式中，分析音频片断112得到笑声、爆炸声、枪声、欢呼声等等，用于确定适当的分类，例如“喜剧”、“暴力”、“庆典”。
可选地，一个图像特征提取器130根据视频内容对报道片段111进行提取。图像特征提取器130可以利用图像识别技术来标识在此报道片段中出现的人物，或对图像的背景信息进行分析以标识其主题。例如，图像特征提取器130可以具有一个包含值得注意的人物的图像库。图像特征提取器130标识出那些具有单一的或占据主要位置的图像，并与图像库中的图像进行比较。图像特征提取器130还可以具有一个包含上下文场景和关联的主题分类的库。例如，一幅包含一个人站在等压线图旁的图像可以特征性地被标识为主题“天气”，类似地，可以使用图像处理技术来提取和标识“室内”或“室外”的图像，或是地点“城市”，“国家”和“海”，等等。图像特征131被提供给分类器120，用以增加修改或补充从文本113、音频112以及相关的报道片段111建立的特征。例如，在报道片段111中出现的烟雾可以用于确定在音频片段112中的警报声是表示“火警”，而不是“警察”。
图像特征提取器130还可以用于抽取关键帧。基于每个新场景的选择，一个新闻广播可能包含数十或数百的关键帧。在优选的实施方案中，关键帧的数目可以通过选择那些包含了相对较多信息的帧来进行缩减。某些图像表示了显著的内容，如，当一个人在新闻中被初次介绍时，此人的名字经常被显示在人像的下方。这种人像和文本的合成通常输送了关于报道片段111的显著信息。类似地，一个人的特写，或是一小组人物通常比一个远景，或是一大群人的图像提供更关键的信息。多个的图像分析技术可以用于识别人形，肤色，文本和其他存在于图像中的独特特征。在优选的实施方案中，关键帧被使用这种图像内容分析方法挑选出来，同时还有其它线索，如场景的年代。通常，在报道片段111中，重要的场景会比不重要的场景出现得早。关键帧的挑选方法，经过指定按优先级顺序排列的帧数目，还可以被用于产生一个有关报道片段111的是视频内容表，以及一个有关视频流101的视频内容表。
分类系统100从分类器120提供报道片段111的特征集或分类121，以及从报道片段标识器110提供报道片段111的关键帧集114，到获取系统150。分类121可以通过各种形式提供。在优选的实施方案中提供预定义的类别如“播音员”，“主持人”，“时间”，“地点”，和“主题”等。某些类别，如“地点”和“主题”可以允许多个项目。另一个用于和预定义的类别组合使用的分类方法是统计在报道片段111中的特定的关键字或人物，组织的出现次数的直方图。在分类系统100中使用的分类121应当与获取系统150中使用的过滤器160中的过滤系统一致或兼容，尽管不要求完全一样。可以在分类系统100和获取系统150之后可以添加一个分类翻译器，来转换分类121或是其中的一部分到与过滤器160中使用的过滤系统相兼容的形式。这种翻译可以是自动的，手动的，或半自动的。为了便于理解，在此假定分类系统100对报道片段111的分类121与获取系统150中的过滤器160是兼容的。
在获取系统150中的过滤器160基于每一报道片段的分类121，标识出符合一组用户偏好的报道片段111。在本发明的优选实施方案中，为用户提供配置记录器190，将用户的一组输入编码成为与过滤器160的过滤系统兼容并与分类121兼容的用户偏好191。例如，如果分类121包含广播频道和主持人的标识，配置记录器190允许用户通过过滤器160指定包含或排除特定的频道或主持人的选择。在优选实施方案中，配置记录器190同时包含“恒定的”和“暂时的”用户偏好，允许用户简便地修改那些基于用户当前希望的偏好，同时保持一组一般的偏好。例如在临时集合中，可能选择了例如“体育”，“天气”的主题。例如在固定的集合中，可能选择一组被拒绝的主持人列表，无论该主持人是否在主持符合当前兴趣的主题。类似地，固定的集合中可能包含例如“棒球”和“股票市场”的主题，不管临时选择如何，它们都将被包含进来。与通用的搜索技术一致，配置记录器190允许通过如连接、拆分等来组合判据。例如，用户可以指定在所有的“股票市场”报道中固定地关注那些含有一个或多个与指定的公司名称列表相匹配的词语的报道。
过滤器160对每个报道片段111标识符合用户偏好191的分类121。符合的程度，或过滤器的紧密度，是可由用户控制的。在一种极端情况下，用户可以要求得到所有符合任一用户偏好191的报道片段111；在另一种极端情况下，用户可以要求得到所有符合用户全部偏好191的报道片段111。用户可以要求得到所有满足3个主题范围中至少2个，同时包含一组关键字中至少一个等要求的报道片段111。用户还可以给出否定偏好191，例如那些用户不想要的主题或关键字，比如不含“曲棍球”的“体育”。过滤器160将每个符合用户偏好191的报道片段111标识为过滤后片段161。在优选实施方案中，过滤器160包含排序器，将每一报道按照与分类121和用户偏好191的一致程度进行排名。为便于理解，这里的排名表示为一个一维的标量。尽管多维排名或矢量排名的技术在本领域是很常见的。在多家广播频道报导同一报道时，排名162可由用户喜爱的主持人或喜爱的广播频道给出加大的权值；排名162还可以根据每一新闻广播的时间进行加权，对最近的报道给出最大权重。在优选实施方案中，用户可以选择调整权重系数。例如，用户可以使一否定选择绝对化，只要该报道包含有否定的主题或关键字，就被指定为最低的排名。而不管与其他的偏好的符合程度。许多通用技术可被用于实现这一优先程度的排序。包括使用例如基于知识的系统，模糊逻辑系统，专家系统，学习系统等等的人工智能技术。过滤器160根据这一排名162选择报道片段111，并为获取系统150的展示器170提供每一选中的或过滤后的片段161的排名162。
在本发明的另一实施方案中，过滤器160在多个报道片段中标识报道的出现，用以识别常见的报道，通常叫做“要闻报道”。该识别是通过报道片段111的分类121的相似度决定的，独立于用户偏好191。相似度量可以基于赋予不同报道片段111的相同的主题分类，基于关键字直方图的相关度，等等。根据类似报道的出现次数，过滤器160标识在报道片段111中的最常见的当前报道，独立于用户偏好191。另一方面，过滤器160根据用户偏好191标识至少具有某些通常性的最常见当前报道。在这些最常见当前报道中，过滤器根据用户偏好191的广播频道，主持人等信息选择一个或多个报道片段111，用于展示器170的展示。
根据本发明，展示器170将过滤后的报道片段161的关键帧114展示在显示器175上。如上所述，与每个报道片段111相关联的关键帧集为每个报道片段111提供了图示概要。因此，根据本发明，展示器170展示符合用户偏好191的报道片段161的图示概要171。在优选的实施方案中，为每个报道片段161显示的关键帧的数目由以上讨论的基于图像内容，年代，与文本等的相关的优先方案来确定。可选地，对图示概要的展示可由播放与报道片段111相关联的部分音频片段来完成。例如，部分的音频片段可以是每个报道片段的第一段音频片段，对应于作者对报道片段的介绍。用相似的方法，文本片段的概要也可以与图示概要171同时显示。当某个特别过滤的报道片段的图示概要171引起用户的兴趣时，用户选择过滤的报道片段用以在获取系统150的播放器180上进行全程播放。通常，用户可以通过指出感兴趣的报道的关键帧来影响选择，例如使用鼠标，语音命令，手势，键盘输入等等。在收到用户选择176后，播放器180在显示器175上显示被选中的报道片段181。
图3所示为一个获取系统150的用户界面的例子。显示器175包含窗口310，用以显示报道片段关键帧171。如图3所示，显示器175包含了4个窗口310a,310b,310c，和310d，并可以通过展示控制350选择增加或减少窗口。展示器顺序地在窗口310上展示每个关键帧171。在优选的实施方案中，对应与一个报道片段161的每个关键帧171在窗口310a,310b,310c，和310d之一上顺序展示。这意味着，在图3中，四个报道片段161的关键帧是同时显示的，每个窗口提供每个报道片段161的图示概要。用户可以决定每个关键帧171的时长，以及当其他的报道片段161的关键帧171在一个窗口播放之前，目前的报道片段161的关键帧171是否在此窗口上重复一段给定的时间。在所有的过滤后的报道片段161的所有关键帧114被展示之后，该循环被重复，从而为符合用户偏好的报道片段的关键帧提供连续的幻灯播放。还有替代的显示方法。例如，一个报道片段161的4个片段可以同时在窗口310a-310d上播放。类似地，一个窗口可以被定义为基本窗口，配置用于包含报道片段161的最高优先级的场景，而其他窗口顺序播放较低优先级的场景。这些和其他的视频展示技术是本领域的常规手段。在优选的实施方案中，展示控制350用于简化对展示和关键帧171的选择进行的定制。
如果过滤器160提供的与每个过滤后的报道片段161相关联的排名162，展示器170可以使用排名162来判定每个关键帧171的集合的频率和时长。譬如，展示器170可以用与过滤后的片段161和用户偏好191的相关度成正比的重复速率来展示过滤后的片段161的关键帧114。类似地，如果过滤器160提供了多个的过滤后片段161，展示器170可以展示与用户偏好191相关度较高的片段161的关键帧114，每个循环播放一次，而对于相关度较低的片段的关键帧114，则少于此频率。
展示控制350还允许用户控制展示器170和播放器180之间的交互。在优选的实施方案中，用户可以在一个窗口310中观看选择的报道片段181，同时其他窗口显示其他报道片段的关键帧171。另外，选中的报道片段181可以在显示器175上整屏显示。这和其他视频显示技术是该领域的常用手段。播放控制350还为用户提供常规的回放功能，如音量控制，重复，快进，反转等。由于报道片段111被分为报道片段标识中的场景，回放功能350可以包含诸如下一场景，前一场景等的选项。
通过显示器175还提供了用户配置记录190的用户界面。在图3的界面的例子中，按钮320用于允许用户在选中的类别中设置偏好191。“媒体”按钮320a提供用户选择广播频道，主持人等。“时间”按钮320b提供用户选择时间设置，如过滤器160应考虑多长的时间作为报道片段。“主题”按钮320c允许用户选择主题，如体育，艺术，财经，犯罪等。“地点”按钮320d允许用户指定感兴趣的地理区域。“要闻报道”按钮320e允许用户指定前述的标识常见报道片段的过滤器参数。“关键字”按钮320f允许用户指定感兴趣的关键字。还可以提供其他种类和选项，对这个领域的一般技术人员是显而易见的。
图3的用户界面还允许选择展示330和播放器340的模式。展示器170可被设置展示由用户偏好选出的报道片段的关键帧，或“要闻”报道片段的关键帧。播放器180可设置操作在浏览模式，对应于上面讨论的操作，用户浏览关键帧并选择感兴趣的报道片段；或是在全部播放模式，此时播放器180顺序展示每个过滤后的报道片段161；或是在扫描模式，顺序展示每个过滤后的报道片段161的第一个场景。
还可以提供其他的展示关键帧和相关材料的方式。展示可以是多维的，例如，片段111和用户偏好191的相关度表示深度，关键帧按照多维的透视视角展示，使用此深度决定关键帧与用户的距离。类似地，用户偏好的不同的类别320可以与不同的视图平面相关联，每个片段的与每类的用户偏好相关度大的关键帧在对应的平面中显示。从本发明的角度，各种展示技术对这个领域的一般技术人员是显而易见的。
尽管以上主要基于新闻获取系统介绍本发明，本领域的一般技术人员可以发现这里介绍的原理也可以适用于其它的获取作业。例如，这里介绍的发明的原理可以用于有指导的频道冲浪。传统上，频道冲浪用户搜索感兴趣的节目是通过随机或系统地对多个广播频道采样，直到其中一个广播节目引起用户的兴趣。通过在线模式使用分类系统100和获取系统150，可以实现对感兴趣节目更高效的搜索，虽然这会带来一些处理延迟。在线模式中，报道片断识别器110提供对应于广播频道当前非广告部分的文本片断113、音频片断112和关键帧114。分类器120使用前面所述的技术对这些部分进行分类。过滤器160标识出那些符合用户偏好的部分，展示器170展示每一过滤后的部分161的关键帧集合。当用户选中特定的关键帧171集合，广播频道选择器150被调谐到选中的关键帧171对应的广播频道，报道片断识别器110、存储设备115和播放器180被设成旁路模式，在显示器175上展示选中频道的视频流101。
对本领域的一般技术人员是显而易见的，在本发明中介绍的原理和技术可以包含许多实施方案。图4所示为根据本发明的一例用户产品400。产品400可以是家庭计算机或电视机；可以是视频录制设备，如VCR,CD-R/W，或DVR设备；等等。产品示例400录制那些潜在的有趣报道片断111，以便用户选择和为用户展示。如前面参照图1所讨论的，报道片断111被分类系统100从视频流101中抽取或做了索引。视频流101是从多频道输入401，如电缆或天线输入中，通过选择器420和调谐器410选出的。
在图4的一种实施方案中，选择器420是可编程的多事件频道选择器，如在通常的VCR设备中可以找到的。用户对选择器420安排节目表，在每个特定的事件时刻，将调谐器410调到特定的感兴趣的频道持续指定的一段时间。例如，用户可以安排节目表一个频道的早新闻的时刻和持续时间，另一频道的晚新闻，以及在其它频道的午夜新闻。当每一频道被选择器420顺序选中，报道111通过分类系统100被分割和存储在记录器430上，分类系统还如上所述，将每一片断分类，并提取相应的关键帧171，显示在输入输出设备440上。在优选实施方案中，记录器430是一连续循环记录器，或连续环形缓冲记录器，不断清除最旧的片断，同时记录每一最新片断111，这样始终提供其存储介质允许的最多最近片断。用户通过输入输出设备440访问系统，符合用户偏好的最近片断的关键帧被展示给用户；此后，用户根据展示的关键帧171选中片断181要求显示。
图4中还显示了许多可选的兼容性。为了优化可用记录介质的使用，可以定制获取系统150以提供通过451的有选择的清除，取代上面所述的清除最旧记录的方案。当新片断111要求分配记录介质时，获取系统识别记录介质上与用户偏好联系最少的片断111。对用户来说潜在兴趣最低的片断被最新的片断取代，而不是用最新的片断取代最旧的片断。获取系统150还会在它基于分类系统100对最新片断的分类，根据用户偏好发现最新片断不会引起用户兴趣时中止新片断的记录。
还有如虚线191和402所示，产品400还可提供通过预过滤器425的选择器进行频道选择。预过滤器425通过控制经选择器420和调谐器410的频道选择实现对片断111的过滤。如前面提到的，通常可以得到描述多频道输入401中每一频道将要上演的节目的辅助文本信息。如虚线所示，这些辅助信息，或节目导视，可以作为多频道输入401的一部分，或者通过单独的节目导视连接402。使用相似于上述的过滤器160的技术，预过滤器从节目导视中识别出于用户偏好191紧密相关的节目，对选择器420安排节目表，以选择如上所述的记录、分类和获取这些节目。
对本领域的一般技术人员会是显而易见的，本发明的兼容性和参数可以基于每一具体实施方案来调整。例如，产品400可以是一针对那些没有多少时间收看实况新闻广播，经常往返于途中的用户的便携掌上阅读设备。用户在前夜将产品400与一多频道输入401源连接，录取可能感兴趣的频道111；然后，当往返于途中(作为乘客时)时，可以试图产品400从录制的片断111中获取感兴趣的片断181。在这一实施方案中，来源是有限的，每一部分的参数可以相应地调整。例如，与每一片断111相关的关键帧的数目可以大大地减少，预过滤器425和过滤器160可以更加精挑细选，等等。类似的，图1中的分类器100和获取系统150可以作为单机设备，根据它们连上的部分动态地调整其参数。例如，分类系统100可能是非常庞大而通用的系统，用于为许多用户进行报道片断分类，不同模型的获取系统150对应不同水平的复杂性和费用，提供给用户以获取选中的报道片断。
以上仅仅介绍了本发明的原理。可以理解本领域的熟练技术人员能够设计哪怕不是显然如上所述，但体现了本发明的原理，在它的精神和范围之内的不同改编版本。例如，关键帧114在此是作为单张图片展示的，尽管关键帧通样可以是图片的序列，如短的视频摘录，关键帧的展示就是展示所有这些视频摘录。分类系统100的组成部分和获取系统150可以用硬件、软件或二者结合来实现。组成部分可能包括分类和获取技术中通用的工具和技术，包括专家系统、基于知识的系统，等等。模糊逻辑、神经网络、多元回归分析、非单调推理、语义处理以及该领域中通用的其它工具和技术可被用于实现本发明中介绍的函数和组成部分。展示器170和过滤器160可能包括随机选择因素，更多地展示与用户偏好191高度相关的片断161的关键帧114以及不管是否于用户偏好相关，随机选中的片断的关键帧114。视频流101的的来源可能是数字或模拟的，报道片断可以被存储为数字或模拟的格式，与视频流101的来源无关。尽管本发明在此是基于电视广播的上下文介绍的，这里介绍的技术也可以用于来自如公众或私人网络，包含国际互联网和万维网等等的视频信息的分类、获取和展示。例如，关键帧114集合和报道片断111之间可以通过内嵌包含网络站点地址的HTML命令行建立联系，通过选中相应网络站点获取选中的报道片断181。
对本领域中的一般技术人员会是显然的，这里介绍的功能的分类只是为了阐明的目的。例如，广播频道选择器105可以是报道片断识别器110内部的一部分，或者如果分类和获取系统用于从单一来源的视频流，或预先录制的视频流101中获取报道片断时也可以不要。类似的，报道片断识别器可使用并行处理器来同时识别多个广播频道。过滤器160和配置记录器190可以被集成为一个选择器设备。关键帧114可以被存储在记录器115上，或做索引，记录器115和展示器170，由播放器180提供功能性。通过类似的方法，从报道片断111中抽取关键帧114可以在报道片断识别器110或展示器170中实现。这些以及其它的分类和优化技术对本领域的一般技术人员是显然的，包括在本发明的精神和范围之内。
权利要求
1．一种视频分类系统(100)包含报道片断识别器(110)，处理视频流(101)，将视频流(101)分割成多个报道片断(111)，并生成与多个报道片断中每一报道片断相关的一个或多个关键帧；以及分类器(120)，与报道片断识别器(110)相连，将一个或多个分类(121)与多个报道片断中的每个报道片断相联系，完成基于一个或多个分类(121)从多个报道片断(111)的选择。
2．如权利要求1中的视频分类系统(100)，其中视频流(101)包含相关的文本流(240)，报道片断识别器(110)将文本流(240)分割成至少相应于多个报道片断(111)中至少一个的每个报道片断(221-224)的一个文本片断(241-244)，以及分类器(120)根据至少一个文本片断(241-244)将一个或多个分类(121)与至少一个的每个报道片断(221-224)建立联系。
3．如权利要求1中的视频分类系统(100)，其中视频流(101)包含相关的音频流(230)，报道片断识别器(110)将音频流(240)分割成至少相应于多个报道片断(111)中至少一个的每个报道片断(221-224)的一个音频片断(231-234)，以及分类器(120)根据至少一个音频片断(241-244)将一个或多个分类(121)与至少一个的每个报道片断(221-224)建立联系。
4．如权利要求3中的视频分类系统(100)，其中分类器(120)包含转换器，将至少一个音频片断(231-234)转换成至少一个文本片断(241-244)，分类器(120)根据至少一个文本片断(241-244)将一个或多个分类(121)与至少一个的每个报道片断(221-224)建立联系。
5．如权利要求1中的视频分类系统(100)，其中报道片断识别器(110)基于至少一个识别出的人物、识别出的场景、视频剪切、以及探测到的广告对视频流(101)进行分割。
6．如权利要求1中的视频分类系统(100)，其中一个或多个的关键帧(114)是基于多个报道片断(111)中每一报道片断编码的变换确定的。
7．如权利要求1中的视频分类系统(100)，还包含存储多个报道片断(111)的存储设备(115)。
8．一种基于与多个报道片断(111)中每一报道片断相关的一个或多个分类(121)，从多个报道片断(111)中获取报道片断的获取系统(150)，该获取系统(150)包含过滤器(160)，基于与每一报道片断相关的一个或多个分类(121)，识别出多个报道片断中一个或多个过滤后的报道片断(161)，展示器(170)，可与过滤器(160)相连，顺序地将与一个或多个过滤后的报道片断(161)相关的一个或单个关键帧(114)展示在显示器(175)上。
9．一种视频装置，包含分类设备(100)，基于与多个片断(111)中每一片断相关的文本、音频和视频信息至少一个生成分类(121)，对视频流(101)中多个片断分类，以及获取设备(150)，通过将多个片断(111)中至少一个片断(181)的分类(121)与用户至少一个偏好(191)匹配，并将多个片断(111)中至少一个片断(181)的至少一个关键帧(171)展示在显示器(175)上，从多个片断(111)中选中至少一个片断(181)。
10．一种用于从视频流(101)的多个片断(111)中获取一个选中片断(181)的用户接口，包含一个用于提取(170)与多个片断(111)中的一个和多个片断相关的一个和多个关键帧的装置，以及一个基于一个或多个关键帧(114)的提取而选择(178)选中的片断(181)的装置。
全文摘要
介绍了一种视频获取系统,允许用户快速、简便地从视频流中选取和收看感兴趣的报道。视频获取系统对报道进行分类,并发送选中地符合每一用户当前偏好的报道的样本。用户的偏好可能包括特定的广播网、人物、报道主题、关键字,等等。选中报道的关键帧被依次显示;当用户看到感兴趣的帧,用户选择与该关键帧相关的报道以查看更详细的信息。本发明特别适用于目标新闻检索。在优选实施方案中,新闻报道被存储下来,基于相关关键帧选中一新闻报道要求详细查看,就会回放选中的新闻报道。本发明的原理还允许用户实现其它类型广播的有指导的搜索。例如,用户可以启动自动扫描,为用户展示符合用户当前偏好的广播样本,类似于有指导的频道冲浪。
文档编号H04N7/16GK1298522SQ99805318
公开日2001年6月6日 申请日期1999年12月15日 优先权日1998年12月23日
发明者J·H·埃伦巴尔斯, N·迪米特罗瓦, T·麦吉, M·辛普森, J·A·马蒂诺, M·阿布德尔－莫塔勒布, M·加雷特, C·拉姆齐, R·德赛 申请人:皇家菲利浦电子有限公司