专利名称：用于检索涉及目标主题的信息的系统和方法
技术领域：
本发明涉及一种从多信息源检索涉及目标主题的信息的交互式信息检索系统和方法。特别地，本发明涉及内容分析器，该内容分析器以通信方式连接到多个信息源，并能够从用户接收要求从所述信息源提取相关素材的隐式或者显式请求。
背景技术：
由于拥有500多个可看的电视内容频道以及通过Internet可访问的无数内容流，似乎人们总能访问想要的内容。但是，与之相反，观众常常不能找到他们想寻找的内容类型。这可导致令人灰心的经历。
现在，有线和卫星电视服务等提供收视指南，旨在帮助观众找到感兴趣的节目。在一种这样的系统中，观众翻看指南频道并观看在特定时间段(典型地为2-3小时)内正在播放(或者将要播放)的层叠式节目流。该节目列表仅按照频道的次序滚动。因此，观众不能控制，在找到想要的节目之前通常必须坐着收看几百个频道。在另一种系统中，用户可以在他们的电视屏幕上访问收视指南。该收视指南在某种程度上是互动的，因为用户可以选择他们感兴趣的特定时间，日，和频道。可是，这些服务不允许用户搜索特定内容。另外，这些收视指南不能提供一种用来检索涉及目标主题如男女演员，特定时间或特定话题的信息的方法。
在Internet上，寻找内容的用户可以将搜索请求键入搜索引擎中。可是，这些搜索引擎常常不管成功与否，使用起来效率很低。另外，当前的搜索引擎不能连续地访问相关内容，以便随时间更新结果。也有专门的网站和新闻组(如体育网站，电影网站等等)供用户访问。可是，这些网站需要用户在每次需要信息时都要登录并查询特定话题。
另外，没有一种系统可以集成在不同媒介类型如电视和Internet中检索信息的能力，也不能从多个频道和网站提取人物或者素材。没有这样一种系统，在该系统中具有共同兴趣的用户可以分享他们的知识，并将其和他们的电视观看经验集成起来。
因此，需要一种允许用户创建有目的的信息请求的系统和方法，该请求由有权访问多个信息源的处理设备处理，以便检索涉及请求主题的信息。
发明概述本发明克服了现有技术的缺点。概括地说，信息跟踪器包含内容分析器，该内容分析器包含用来存储从信息源接收到的内容数据的存储器和用来执行一套根据查询标准分析该内容数据的机器可读指令的处理器。该信息跟踪器进一步包含以通信方式连接到该内容分析器的输入设备，以便允许用户和该内容分析器交互作用，和以通信方式连接到内容分析器的显示设备，以便显示由该内容分析器执行的内容数据分析的结果。根据该套机器可读指令，该内容分析器的处理器分析内容数据，以提取和索引涉及该查询标准的一个或多个素材。
更具体地，在一个示例中，该内容分析器的处理器使用该查询标准来定位内容数据中的主题，从该内容数据中提取一个或多个素材，解析和推断该提取的一个或多个素材中的姓名，并在该显示设备上显示该提取的一个或多个素材的链接。假如超过一个素材被提取，则该处理器根据不同标准索引并排序这些素材，该标准包括但不限于姓名，话题，关键词，时间关系，因果关系。
该内容分析器进一步包含用户简档和知识库，该用户简档包括有关用户兴趣的信息，该知识库具有包括已知脸和声音与姓名之间的对应关系在内的多个已知关系和其它相关信息。该查询标准优选地将用户简档和知识库中的信息加入到内容数据的分析中。
概括地说，根据该机器可读指令，该处理器执行几个步骤以进行与用户请求或者兴趣最相关的匹配，包括但不限于人物定位，素材提取，推理和姓名解析，索引，结果显示，以及用户简档管理。更具体地，根据一个示例，该机器可读指令的人物定位函数从内容数据中提取脸，语音和文本，进行已知脸和提取的脸的第一匹配，进行已知声音和提取的声音的第二匹配，扫描该提取的文本以便和已知姓名进行第三匹配，并基于该第一，第二和第三匹配计算特定人物在该内容数据中存在的概率。另外，优选地，素材提取函数分割该内容数据的音频，视频和副本信息，进行信息结合，内部素材分割/注解，以及推理和姓名解析，以便提取相关素材。
通过阅读以下对本发明的详细描述及其附图，本发明的上述和其它特征和优点将变得容易理解。
该附图仅仅是说明性的，其中在几个视图中类似的参考数字描述类似的元件。
图1是根据本发明的信息检索系统的一个示例的概括示意图；图2是根据本发明的信息检索系统的一个可选实施例的示意图；图3是根据本发明的信息检索方法的流程图；图4是根据本发明的人物定位和识别方法的流程图；图5是素材提取方法的流程图；图6是索引该提取的素材的方法的流程图；和图7是根据本发明的存在论知识树的示例图。
具体实施例方式
本发明针对一种用来根据该系统用户的简档或请求，从多个媒介源检索信息的交互式系统和方法。
特别地，信息检索和跟踪系统以通信方式连接到多个信息源。优选地，该信息检索和跟踪系统从该信息源接收媒介内容作为恒定数据流。响应用户的请求(或者由用户简档激发)，该系统分析该内容数据并检索与该请求或者简档最相关的数据。该检索到的数据或者显示在显示设备上，或者存储起来供以后显示。
系统结构参考图1，示出根据本发明的信息检索系统10的第一实施例的概括示意图。集中内容分析系统20和多个信息源50相互连接。作为非限制的例子，信息源50可包括有线或卫星电视，Internet或无线电。内容分析系统20也以通信方式连接到多个远程用户站点100，以下将进一步阐述。
在图1所示的第一实施例中，集中内容分析系统20包含内容分析器25和一个或多个数据存储设备30。优选地，该内容分析器25和存储设备30经由局域或者广域网相互连接。该内容分析器25包含处理器27和存储器29，其能接收和分析来自信息源50的信息。该处理器27可以是微处理器和相关运算存储器(RAM和ROM)，并包括用来预处理该数据输入的视频，音频和文本内容的第二处理器。该处理器27可以是例如IntelPentium芯片或者其它更强大的多处理器，如下所述，该处理器优选地足够强大，可以逐帧进行内容分析。以下将结合图3-5进一步详细阐述内容分析器25的功能。
存储设备30可以是磁盘阵列或者可以包含分级存储系统，该分级存储系统具有1012，1015和1018字节的存储设备，光存储设备，每一个优选地拥有几百或者几千个千兆字节的存储能力以存储媒介内容。本领域的技术人员将认识到任意数量的不同存储设备30可以用来支持信息检索系统10的集中内容分析系统20的数据存储请求，在任意给定时间，该信息检索系统访问几个信息源50并可支持多个用户。
如上所述，集中内容分析系统20优选地经由网络200以通信方式连接到多个远程用户站点100(例如，用户家里或者办公室)。网络200是任意全球通信网络，包括但不限于Internet，无线/卫星网络，有线网络等。优选地，网络200能够以相对较高的数据传递速度传送数据到远程用户站点100，以便支持媒体丰富内容检索，如实况或录像电视。
如图1所示，每个远程站点100包括机顶盒110或者其它信息接收设备。优选为机顶盒，因为大多数机顶盒如TiVo，WebTB，或者UtimateTV都能够接收几种不同类型的内容。例如，Microsoft的UtimateTV机顶盒可以接收来自数字电缆服务和Internet的内容数据。可选地，卫星电视接收器可以连接到一个计算设备，如家用个人计算机140，该设备可以经由家用局域网接收和处理网络内容。在另一例子中，所有信息接收设备都优选地连接到显示设备115，如电视机或者CRT/LCD显示器。
在远程用户站点100的用户通常使用各种输入设备120如键盘，多功能远程控制器，声音激活设备或麦克风，或者个人数字助理访问机顶盒110或其它信息接收设备并与之通信。使用这种输入设备120，用户可以输入个人简档或者做出要求检索特定类型信息的特定请求，正如以下将进一步阐述的那样。
在图2所示的可选实施例中，内容分析器25位于每个远程站点100，并以通信方式连接到信息源50。在该可选实施例中，该内容分析器25可以和高容量存储设备集成在一起或者可以使用中央存储设备(未示出)。在任一情况下，在该实施例中都不需要集中分析系统20。内容分析器25也可集成到任何其它类型的处理设备140中，该处理设备140能接收并分析来自信息源50的信息，如作为非限制的例子，个人计算机，手持处理设备，具有加强的处理和通信能力的游戏控制台，有线机顶盒等等。第二处理器如TriMediaTMTricodec卡可用于所述处理设备140，以便预处理视频信号。可是，在图2中为避免混淆，分别描述内容分析器25，存储设备130，和机顶盒110。
内容分析器的功能信息检索系统10的功能对于基于电视/视频的内容和基于网络的内容具有相同的适用性，通过以下讨论，这一点将变得明显。优选地使用固件和软件包对内容分析器25进行编程，以便提供这里所描述的功能。将该内容分析器25连接到合适的设备如电视机，家用计算机，有线网络等等之后，用户将优选地使用输入设备120输入个人简档，该个人简档将存储在内容分析器25的存储器29中。该个人简档可包括信息如，用户个人兴趣(如运动，新闻，历史，闲谈等等)，感兴趣的人物(如名人，政治家等等)，或者感兴趣的地方(如外国城市，著名景点等等)，等等。同样，如下所述，该内容分析器25优选地存储知识库，从该知识库可以得到已知数据关系，如G.W.Bush是美国总统。
参考图3，将结合视频信号的分析描述该内容分析器的功能。在步骤302，内容分析器25使用视听和副本处理进行视频内容分析，以便使用用户简档和/或指示基础以及外部数据源中的名人或政治家姓名，声音或者图像进行人物定位和识别，如以下结合图4描述的那样。在实时应用中，在内容分析阶段，输入内容流(如实况有线电视)在中心站点20的存储设备30或者远程站点100的本地存储设备130中进行缓冲。在另一非实时应用中，在接收到请求或者其它预定事件(以下所述)之后，内容分析器25访问存储设备30或130，如果可适用，则进行内容分析。
由于大多数有线和卫星电视信号携带几百个频道，因此优选地仅仅将那些最可能得到有关素材的频道定为目标。因此，可以使用知识库450或者领域数据库来对内容分析器25进行编程，以便帮助处理器27确定用户请求的“领域类型”。例如，在领域数据库中姓名Dan Marino可以对应领域“运动”。类似地，术语“恐怖主义”可以对应领域“新闻”。在另一例子中，在确定了领域类型之后，内容分析器将只扫描那些和该领域有关的频道(如领域“新闻”对应新闻频道)。当对于该内容分析程序运算来说不需要这些分类时，使用用户请求来确定领域类型更加有效，并且将导致更快的素材提取。另外，应当注意，特定术语和领域之间的对应是设计选择的问题，可以用多种方法实现。
接下来，在步骤304，进一步分析视频信号，以便从输入视频中提取素材。以下再次结合图5说明了优选程序。应当注意，作为一种可选实施，人物定位和识别也可和素材提取并行完成。
现在将描述对视频信号如电视NTSC信号进行内容分析的示例方法，这是人物定位和素材提取功能的基础。一旦该视频信号被缓冲，如下所述，内容分析器25的处理器27优选地使用Bayesian或者结合软件引擎来分析该视频信号。例如，该视频信号的每一帧都可被分析，以允许视频数据分割。
参考图4，将对进行人物定位和识别的优选程序进行描述。在410层，基本上如上所述进行脸部检测，语音检测，和副本提取。接下来，在420层，内容分析器25通过将提取的脸和语音与存储在知识库中的已知脸和声音模型进行匹配，进行脸部模型和声音模型的提取。对提取的副本也进行扫描，以便和存储在知识库中的已知姓名进行匹配。在430层，使用模型提取和姓名匹配，由该内容分析器定位和识别人物。然后，如图5中所示，该信息和素材提取功能一起使用。
仅通过举例，用户可能对中东的政治事件感兴趣，但是他将在东南亚一个遥远的岛屿上度假，因此不能接收到新闻更新。使用输入设备120，该用户可以输入和该请求有关的关键词。例如，该用户可以输入以色列，巴勒斯坦，伊拉克，伊朗，Ariel Sharon，Saddam Hussein等等。这些关键条款将存储在内容分析器25的存储器29上的用户简档中。如上所述，经常使用的条款或者人物的数据库存储在内容分析器25的知识库中。内容分析器25查找该输入的关键条款，并将其与存储在数据库中的条款进行匹配。例如，姓名Ariel Sharon和以色列首相匹配，以色列和中东匹配等等。在这一步骤中，这些条款可以链接到新闻领域类型，在另一例子中，体育人物的姓名可返回运动领域结果。
使用该领域结果，内容分析器25访问信息源的最可能区域，以寻找相关内容。例如，该信息检索系统可能访问新闻频道或者有关新闻的网站，以便寻找和该请求项有关的信息。
现在参考图5，将阐述并示出一种素材提取的示例方法。首先，如下所述，在步骤502，504，和506中，优选地分析视频/音频源，以便将该内容分割成视频，音频和文本部分。接着，在步骤508，510中，内容分析器25进行信息融合和内部分割及注释。最后，在步骤512，使用人物识别结果，推理该分割的素材并使用定位的主题解析姓名。
这种视频分割方法包括但不限于剪辑检测，脸部检测，文本检测，运动估计/分割/检测，照相机移动等等。另外，可以分析该视频信号的音频部分。例如，音频分割包括但不限于语音到文本的转换，音频效应和事件检测，说话者识别，节目识别，音乐分类和基于说话者识别的对话检测。概括地说，音频分割包含使用低级音频特性如音频数据输入的带宽，能量和音调。然后，该音频数据输入可进一步分成不同的部分，如音乐和语音。但是，视频信号可伴随着副本数据(用于闭路字幕系统)，这也可由处理器27进行分析。如以下将进一步阐述的那样，在操作中，接收到用户的检索请求之后，处理器27基于该请求的简明语言计算视频信号中素材出现的概率，并可提取该请求的素材。
在进行分割之前，当该视频信号在内容分析器25的存储器29中缓冲并且该内容分析器访问该视频信号时，处理器27接收该视频信号。处理器27分解该视频信号，以便将该信号分成视频和音频部分，在某种情况下还有文本部分。可选地，处理器27试图检测该音频流是否包含语音。以下将描述检测音频流中语音的方法。假如检测到语音，那么处理器27将该语音转换成文本，以创建以时间为标记的该视频信号副本。然后处理器27加入该文本副本作为额外的信息流，以便分析。
无论是否检测到语音，处理器27都会接着试图确定片断边界，即可分类事件的开始或者结束。在一个优选实施例中，当处理器27检测到一组图象的连续I帧之间的显著变化时，处理器27首先通过提取新的关键帧进行重大场景变化检测。如上所述，帧抓取和关键帧提取也可按预定时间间隔进行。优选地，处理器27使用累积宏模块差别检测实现基于DCT的帧辨别。使用一个字节的帧信号过滤那些与先前提取的关键帧看上去类似的单色关键帧或帧。处理器27使用连续I帧之间的差别，使该概率以阈值以上的相对量为基础。
授予Dimitrova等人的美国专利号6,125,229中描述了帧过滤方法，该专利的全部内容在此引作参考，并简述如下。概括地说，处理器接收内容并将该视频信号格式化成表示像素数据的帧(帧抓取)。应当注意，抓取并分析帧的过程优选地按每种录制设备的预定时间间隔进行。例如，当该处理器开始分析该视频信号时，可以每30秒钟抓取关键帧。
一旦这些帧被抓取，对每个被选的关键帧进行分析。视频分割在本领域是已知的，并在SPIE Conference on Image and Video Databases，San Jose，2000上发表的N.Dimitrova，T.McGee，L.Agnihotri，S.Dagtas，和R.Jasinschi的名为“On Selective Video ContentAnalysis and Filtering”和AAAI Fall 1995 Symposium onComputational Models for Integrating Language and Vision 1995上A.Hauptmann和M.Smith的“Text，Speech，and Vision For VideoSegmentationThe Informedia Project”出版物中进行了概述，该出版物的全部内容在此引作参考。包括和该录制设备捕获的人物有关的视觉(例如脸)和/或文本信息的录制数据的视频部分的任意片断将说明该数据涉及特定个人，并因此可根据该片断来进行索引。如本领域中所熟知的，视频分割包括，但不限于重大场景变化检测其中比较连续视频帧，以识别突然的场景变化(硬剪辑)或者软过渡(渐隐，淡入和淡出)。在N.Dimitrova，T.McGee，H.Elenbaas的名为“VideoKeyframe Extraction and FilteringAKeyframe is Not a Keyframe to Everyone”，Proc.ACM Conf.onKnowledge and Information Management，pp.113-120，1997的出版物中提供了对重大场景变化检测的描述，该出版物的全部内容在此引作参考。
脸部检测其中识别每一视频帧的区域哪一个包含肤色，哪一个对应椭圆形。在该优选实施例中，一旦脸部图像被识别，就将该图像和存储在存储器中的已知脸部图像数据库相比较，以便确定该视频帧中显示的脸部图像是否对应用户的观看选择。在Gang Wei和Ishwar K.Sethi的名为“Face Detection for Image Annotation”，PatternRecognition Letters，Vol.20，No.11，November 1999的出版物中提供了对脸部检测的描述，该出版物的全部内容在此引作参考。
运动估计/分割/检测其中在视频序列中确定运动物体并分析该运动对象的轨迹。为了确定视频序列中物体的运动，优选地使用已知运算如光流量估计，运动补偿和运动分割。在Patrick Bouthemy和Francois Edouard的名为“Motion Segmentation and QualitativeDynamic Scene Analysis from an Image Sequence”，InternationalJournal of Computer Vision，Vol.10，No.2，pp.157-182，April 1993的出版物中提供了对运动估计/分割/检测的描述，该出版物的全部内容在此引作参考。
也可分析和监控该视频信号的音频分量，以便发现和用户请求有关的话语/声音的存在。音频分割包括对视频节目的以下类型的分析语音到文本的转换，音频效应和事件检测，说话者识别，节目识别，音乐分类，和基于说话者识别的对话检测。
音频分割和分类包括将该音频信号分成语音和非语音部分。音频分割的第一步骤包括使用低级音频特征如带宽，能量和音调的片断分类。使用频道分离将同时发生的音频部分互相分开(如音乐和语音)，使得每一种都可以进行单独分析。此后，以不同的方式如语音到文本的转换，音频效应和事件检测和说话者识别，处理该视频(或音频)输入的音频部分。音频分割和分类在本领域是已知的，并且在D.Li，I.K.Sethi，N.Dimitrova和T.Mcgee的“Classification of general audio datafor content-based retrieval，”Pattern Recognition Letters，pp.533-544，Vol.22，No.5，April 2001的出版物中进行了概述，该出版物的全部内容在此引作参考。
一旦从背景噪声或者音乐中识别或者分离出该视频信号音频部分的语音部分，就可以使用语音到文本的转换(在本领域中是已知的，参看如P.Beyerlein，X.Aubert，R.Haeb-Umbach，D.Klakow，M.Ulrich，A.Wendemuth和P.Wilcox的名为“Automatic Transcription ofEnglish Broadcast News”，DARPA Broadcast News Transcription andUnderstanding Workshop，VA，Feb.8-11，1998的出版物，该出版物的全部内容在此引作参考)。该语音到文本的转换可用于应用如关于事件检索的关键词定位。
音频效果可用来检测事件(在本领域中是已知的，参看如T.Blum，D.Keislar，J.Wheaton和E.Wold的名为“Audio Databases withContent-Based Retrieval”，Intelligent Multimedia InformationRetrieval，AAAI Press，Menlo Park，California，pp.113-135，1997的出版物，该出版物全部内容在此引作参考)。通过识别可能和特定人物或者特定类型素材有关的声音，可检测素材。例如，可以检测狮吼，然后可以将该片断的特征定为有关动物的素材。
说话者识别(在本领域是已知的，参看如Nilesh V.Patel和IshwarK.Sethi的名为“Video Classification Using SpeakerIdentification”，IS & T SPIE ProceedingsStorage and Retrievalfor Image and Video Databases V，pp.218-225，San Jose，CA，February1997的出版物，该出版物全部内容在此引作参考)包括分析该音频信号中存在的语音声音信号，以便确定说话人物的身份。说话者识别可以用来例如搜寻特定的名人或者政治家。
音乐分类包括分析该音频信号的非语音部分，以便确定存在的音乐类型(古典，摇滚，爵士等)。这一点通过分析例如该音频信号的非语音部分的频率，音调，音色，声音和旋律，并将分析结果和特定音乐类型的已知特性相比较来实现。音乐分类在本领域中是已知的，并且在EricD.Scheirer的“Towards Music Understanding Without SeparationSegmenting Music WithCorrelogram Comodulation”，1999 IEEEWorkshop on Applications of Signal Processing to Audio andAcoustics，New Paltz，NY October 17-20，1999的出版物中进行了概述。
优选地，使用Bayesian多模式积分或者融合方法来进行该视频/文本/音频的多模式处理。仅通过举例，在一个示意性实施例中，该多模式处理的参数包括但不限于视觉特征如色彩，边缘和形状；音频参数如平均能量，带宽，音调，唛频率cepstral系数，线性预测编码系数和零交叉。使用这些参数，处理器27创建中级特征，该中级特征与低级参数不同，中级特征和全部帧或者帧集合有关，而低级参数和像素或者短时间间隔有关。关键帧(连续镜头的第一帧，或者被认为是重要的一帧)，脸，和视频文本是中级视觉特征的例子；无声，噪音，语音，音乐，语音加噪音，语音加语音，和语音加音乐是中级音频特征的例子；而副本的关键词和相关类别构成了中级副本特征。高级特征描述了从不同领域的中级特征集成中获得的语义视频内容。换句话说，该高级特征表示根据用户或制造商所定义的简档的片断分类，在Nevenka Dimitrova，Thomas McGee，Herman Elenbaas，Lalitha Agnihotri，RaduJasinschi，Serhan Dagtas，AaronMendelsohn于1999年11月18日提交的Serial No.09/442,960，Method and Apparatus forAudio/Data/Visual Information Selection中有所阐述，该申请的全部内容在此引作参考。
然后根据不同素材类型已知线索的高级简表分析该视频，音频和副本文本的不同内容。每种类型的素材优选地具有知识树，该知识树是关键词和种类的关系表。这些提示可以由用户在用户简档中设置或者由制造商预定。例如，“Minnesota Vikings”树可包括关键词如运动，足球，NFL等等。在另一个例子中，“总统”素材可与图像段如总统印，GeorgeW.Buch的预存脸数据，音频段如欢呼，和文本段如单词“总统”和“Bush”。统计处理之后，处理器27使用类别投票柱状图进行分类，该统计处理将在以下作进一步描述。为了示例，假如在文本文件中的一个单词和知识库关键词匹配，那么相应的类别得到一票。对于每种类别，概率等于关键词的总票数和文本段的总票数之比。
在一种优选实施例中，该分割的音频，视频和文本段的各个部分集成起来，以便从该视频信号中提取素材或者定位脸。该分割的音频，视频和文本信号优选用于复杂的提取。例如，假如用户希望检索前任总统所作的演讲，则不仅仅需要脸部识别(以辨认行动者)，还需要说话者识别(以保证屏幕上的行动者在说话)，语音到文本的转换(以保证行动者说适合的话)和运动估计-分割-检测(以辨认行动者的特定运动)。因此，集成的索引方法是优选的并可取得较好的结果。
至于Internet，可以作为主要的内容源或者补充的次要源进行访问，该内容分析器25扫描网站寻找匹配的素材。假如找到匹配的素材，则该匹配的素材存储在内容分析器25的存储器29中。该内容分析器25也可从该请求中提取条款，并向主要的搜索引擎提出搜索查询，以便找到额外的匹配素材。为提高正确性，可以匹配该检索出的素材，以便找到“交集”素材。交集素材是那些检索到的同时作为网站扫描和搜索查询的结果的素材。在“UniversityIEInformation Extraction FromUniversity Web Pages”by Angel Janevski，University of Kentucky，June 28，2000，UKY-COCS-2000-D-003中提供了从网站中寻找指定信息以便找到交集的方法的描述，该文献的全部内容在此引作参考。
在从信息源50接收电视的例子中，内容分析器25将最可能拥有相关内容的频道如已知新闻或者运动频道定为目标。然后将该指定频道的输入视频信号在内容分析器25的存储器中缓冲，以便内容分析器25进行视频内容分析和副本处理，从而从该视频信号中提取相关素材，如上面详细描述的那样。
再参考图3，在步骤306中，内容分析器25在该提取的素材上进行“推理和姓名解析”。例如，如“Toward Principles for the Design ofOnotogies Used for KnowledgeSharing”by Thomas R.Gruber，August23，1993中描述的，内容分析器25编程可使用各种存在论以便利用已知关系，该文献的全部内容在此引作参考。换句话说，G.W.Bush为“美国总统”和“Laura Bush的丈夫”。因此，假如在一种情况下，G.W.Bush的名字出现在用户简档中，那么该事实也得到延伸，因此当指向上述人物时，可以找到所有上述参考并可解析该姓名/角色。作为另一个例子，如图7中所示的知识树或者系统可以存储在知识库中。
一旦在电视的例子中提取了足够量的相关素材，和在Internet的例子中找到足够量的相关素材，在步骤308中，该素材优选地根据不同关系排序。参考图6，优选地根据姓名，话题和关键词(603)以及根据因果关系提取(604)索引该素材。因果关系的一个例子是，一个人首先被指控为凶手，然后可能有审讯的新闻项。然后，时间关系(606)如较近的素材排在较远的素材之前，被用来排序该素材，组织和评级该素材。接下来，优选地，根据被提取素材的各种特性，如该素材中出现的脸和姓名，素材的持续时间，在主要新闻频道上该素材的重复次数(即一个素材播出多数次对应其重要性/紧迫性)，得到并计算素材等级(608)。使用这些关系来区分该素材的优先次序(610)。接下来，根据用户简档的信息并通过用户的有关反馈(612)，存储超链接信息的索引和结构。最后，该信息检索系统进行管理和垃圾清除(614)。例如，该系统将删除相同素材的多个拷贝，超过七天或者其它预定时间间隔的老素材。低等级的素材或者等级低于预定阈值的素材也可被去除。
内容分析器25也可支持提示显示和交互功能(步骤310)，该功能允许用户给予内容分析器25关于该提取的关联性和正确性的反馈。内容分析器25的简档管理功能(312)利用该反馈来更新用户简档并保证根据用户进化的口味做出合适的推理。
用户可存储有关该信息检索系统多久访问信息源一次以便更新存储设备30，130中索引的素材的选择。作为示例，可以设置该系统，以便每小时，每天，每周，甚至每月访问并提取有关素材。
根据另一示例，信息检索系统10可以用作定购服务。可以以两种优选方式中的一种来实现这一点。在图1所示的是实施例中，用户可以通过他们的电视网络提供者即他们的电缆或卫星提供者，或者第三方提供者定购，该提供者安置并操作中央存储系统30和内容分析器25。在用户站点100，用户将使用输入设备120输入请求信息，以便和连接到他们的显示设备115的机顶盒110通信。然后该信息将传送到集中检索系统20并由内容分析器25进行处理。然后，如上所述，内容分析器25将访问中央存储数据库30，以便检索和提取和用户请求有关的素材。
一旦素材被提取并进行适当索引，有关用户将如何访问该提取的素材的信息就被传送到位于用户远程站点的机顶盒110。然后，该用户可以使用输入设备120选择他或她希望从集中内容分析系统20中回放哪一些素材。该信息可以以具有超链接的HTML网页的形式或者在当今的许多有线和卫星电视系统上普遍存在的菜单系统的形式进行通信。一旦选择某一特定素材，那么该素材将传送到用户的机顶盒110并在显示设备115上显示。该用户也可选择将该被选素材转寄给任意数量的具有接收这种素材的类似兴趣的朋友，亲戚或者其他人。
可选地，本发明的信息检索系统10可以包含在如数字记录装置的产品中。该数字记录装置可包括内容分析器25处理以及足够存储必要内容的存储容量。当然，本领域的技术人员将认识到存储设备30，130可位于该数字记录设备和内容分析器25外部。另外，也不需要将数字记录系统和内容分析器25置于一个包装内，内容分析器25也可单独包装。在该例子中，用户将使用输入设备120输入请求项到内容分析器25中。内容分析器25将直接连接到一个或多个信息源50。在电视机的例子中，当该视频信号在该内容分析器的存储器中缓冲时，如上所述，可以对该视频信号进行内容分析，以便提取有关素材。
在服务环境中，不同用户简档可以和请求项数据集成起来，用来指定给用户的信息。该信息可以是该服务提供者根据用户简档和先前请求认为是用户所感兴趣的广告，促销，或者指定素材的形式。在另一市场方案中，该集成信息可卖给以用户为目标的广告或促销商务中的合作方。
作为用于图1和2的任一实施例的额外特征，为用户提供使用信息跟踪系统以便购买和该检索的信息有关的产品的功能。该产品的可获得性可以以指定的方式推给用户，如前所述，或者由用户通过系统10发出请求并由内容分析器通过例如从Internet提取相关匹配进行检索，该举例仅为了示例。例如，用户可请求购买和纪念性事件(如二百年纪念)有关的产品，该内容分析器，如以上详细论述的那样，将制定搜索请求，以试图定位有这种东西卖的匹配素材。
尽管结合优选实施例对本发明进行了论述，但是应当理解，那些本领域的技术人员应明白在上述原理范围内的修改，本发明不限于该优选实施例，而应包含该修改。
权利要求
1.一种信息跟踪器(10)，包含内容分析器(25)，该内容分析器包含用来存储从信息源(50)接收到的内容数据的存储器(29)和用来执行一套根据查询标准分析该内容数据的机器可读指令的处理器(27)；输入设备(120)，该输入设备以通信方式连接到内容分析器(25)，以便允许用户和内容分析器交互作用；显示设备(115)，该显示设备以通信方式连接到内容分析器(25)，以便显示由内容分析器(25)执行的内容数据分析结果；其中，根据该套机器可读指令，内容分析器(25)的处理器(27)分析所述内容数据，以提取和索引涉及该查询标准的一个或多个素材。
2.权利要求1的信息跟踪器，其中该内容分析器的处理器使用该查询标准来定位该内容数据中的主题，从该内容数据中提取一个或多个素材，解析和推断该提取的一个或多个素材中的姓名，并在该显示设备上显示该提取的一个或多个素材的链接。
3.权利要求2的信息跟踪器，其中除了显示该提取的一个或多个素材的链接之外，还分析有关该主题的内容信息，以便显示至购物网站的一个或多个链接，使得用户可以购买有关该主题的物品。
4.权利要求2的信息跟踪器，其中使用存在论来解析和推理该提取的素材中的姓名。
5.权利要求2的信息跟踪器，其中，假如超过一个素材被提取，则该处理器根据姓名和/或话题和/或关键词索引该素材。
6.权利要求5的信息跟踪器，其中进一步根据因果关系排序该素材。
7.权利要求5的信息跟踪器，其中进一步根据时间关系排序该素材。
8.权利要求1的信息跟踪器，其中该查询标准包括由用户通过输入设备输入的请求，并且所述处理器(27)根据该请求分析该内容数据。
9.权利要求8的信息跟踪器，其中所述内容分析器(25)进一步包含用户简档，该用户简档包括有关用户兴趣的信息，而该查询标准包括该用户简档。
10.权利要求9的信息跟踪器，其中通过将该请求中的信息和该用户简档中的已有信息相结合来更新该用户简档。
11.权利要求8的信息跟踪器，其中所述内容分析器(25)进一步包含知识库，该知识库包括多种已知关系，并且该处理器根据该知识库分析该内容数据。
12.权利要求11的信息跟踪器，其中一种类型的所述已知关系是已知的脸到姓名的映射。
13.权利要求11的信息跟踪器，其中一种类型的所述已知关系是已知的声音到姓名的映射。
14.权利要求11的信息跟踪器，其中一种类型的所述已知关系是姓名到各种相关信息的映射。
15.权利要求1的信息跟踪器，其中所述内容分析器(25)以通信方式连接到第二信息源(50)，以便能够访问额外的内容数据，对该额外的内容数据进行分析以便得到相关素材。
16.权利要求15的信息跟踪器，其中根据第一方法和第二方法来分析该额外内容数据，在该第一方法中，从该查询标准中提取条款并用来构成该第二信息源的搜索请求，而在该第二方法中，对第二信息源提供的一个或多个站点进行扫描，以便匹配素材。
17.权利要求16的信息跟踪器，其中交集素材是那些作为该第一方法和第二方法的结果检索到的匹配素材。
18.权利要求15的信息跟踪器，其中对在该额外内容数据中找到的相关素材进行比较，以寻找所有交集素材。
19.一种检索有关目标主题的信息的方法，该方法包含从信息源接收视频源到内容分析器的存储器中；使用查询标准分析该视频，以便从该视频源中识别人物和提取素材，该查询标准包含存储在该内容分析器中的用户简档和知识库；根据时间和因果关系索引该提取的素材；和显示该视频源的分析结果。
20.权利要求19的方法，其中分析该视频源以识别人物的步骤包含从该视频源提取脸，语音和文本，进行已知脸和提取的脸的第一匹配，进行已知声音和提取的声音的第二匹配，扫描该提取的文本以便和已知姓名进行第三匹配，并基于该第一，第二和第三匹配计算特定人物在该内容数据中存在的概率。
21.权利要求19的方法，其中该提取的素材的索引包含根据预定标准索引该提取的素材，提取因果关系，和提取时间关系，根据该提取的素材的一个或多个特性计算该提取的每一个素材的等级，并区分该提取的素材的优先次序。
22.权利要求21的方法，进一步包含创建至该提取的素材的超链接索引并存储该超链接索引。
23.一种信息跟踪检索系统10，包含位于中心的与存储设备(30)通信的内容分析器(25)，通过通信网络(200)，该内容分析器(25)可访问多个用户和信息源(50)，并且使用一套机器可读指令对该内容分析器(25)进行编程，以便接收第一内容数据到内容分析器(25)中；接收来自至少一个用户的请求；对接收请求做出响应，分析该第一内容数据以提取与该请求相关的一个或多个素材；和能够访问该一个或多个素材。
全文摘要
信息跟踪设备接收来自一个或多个信息源的内容数据，如视频或电视信号，并根据查询标准分析该内容数据以提取相关素材。该查询标准利用各种信息，例如但不限于用户请求，用户简档和已知关系的知识库。使用该查询标准，该信息跟踪设备计算人物或事件在该内容数据中发生的概率，从而定位和提取素材。该结果被索引，排序，然后显示在显示设备上。
文档编号H04N7/16GK1596406SQ02823583
公开日2005年3月16日 申请日期2002年11月5日 优先权日2001年11月28日
发明者N·迪米特罗瓦, 李东舸, L·阿格尼霍特里 申请人:皇家飞利浦电子股份有限公司