用于视频流和其他内容的基于关键字的非线性导航的方法和设备的制作方法
【专利摘要】在一个示例实施例中，一种节目导航系统包括电视（TV）机（或其他音频/视频呈示装置）和移动装置。在电视机播放音频/视频节目的同时，关键字识别模块可以从与节目关联的文本数据提取关键字。文字数据可以包括匹配节目中发音的词汇的文本词汇。还可以保存关键字的时间标记。时间标记可以指示对应关键字在节目内的播放时间。电视机可以自动地将关键字传送到移动装置，以及移动装置可以自动地在用户界面中显示关键字。用户然后可以选择关键字的其中之一，作为响应，移动装置可以自动地使电视机跳到包含所选关键字的节目部分。描述了其他实施例并且对这些其他实施例要求权利。
【专利说明】用于视频流和其他内容的基于关键字的非线性导航的方法和设备
【技术领域】
[0001]本公开一般涉及数据处理。更具体地来说，本公开涉及用于能够实现视频流和其他内容的基于关键字的非线性导航的技术。
【背景技术】
[0002]电影、电视(TV)表演和其他音频/视频(A/V)节目可以采用多种格式来分发。例如，如果某人要观看电影《Casablanca》，他或她可能足够幸运找到正在模拟或数字TV频道上通过空中或经由电缆或光缆广播的该电影。或者，某人可能购买或租借存储在磁介质(如录像带)上或光介质(例如数字多功能光盘(DVD))的电影。电影还可供从远程服务器经如因特网的广域网(WAN)下载到电视机。
[0003]此外，此人(或“观看者”)可能特别感兴趣节目的特定部分或片段。例如，观看者可能期望观看《Casablanca》中 Humphrey Bogart 对 Ingrid Bergman 说 “Here，s lookingat you, kid”的镜头。但是，在上文论述的任何节目格式和常规节目播放设备的情况中，可难以找到节目内感兴趣的特定部分。
[0004]具体来说，可需要节目的线性导航。例如，在录像带的情况中，观看者可能需要播放、快进或回退磁带，直到他或她找到感兴趣的部分为止。在DVD或下载的节目的情况中，节目可能被分成章节，并且观看者可以使用遥控器跳到节目的选定章节。但是，观看者可能不知道哪个章节包含感兴趣的特定部分，即使他或她知道哪个章节包含感兴趣的内容，观看者可仍将需要播放或快进通过该章节的至少一部分，然后才找到感兴趣的特定内容。
【专利附图】
【附图说明】
[0005]从所附权利要求，一个或多个示例实施例的下文详细描述和对应附图将显见到本发明的特征和优点，其中:
图1是表征节目导航系统的示例实施例的计算环境的示例实施例的框图；
图2是用于节目导航系统的移动装置上的用户界面的示例实施例的示意图；
图3是说明用于或多或少从电视机角度提供节目导航服务的过程的示例实施例的流程图；以及
图4A和4B给出用于或多或少从移动装置角度提供节目导航服务的过程的示例实施例的流程图。
【具体实施方式】
[0006]本公开描述一种用于视频流和其他内容的基于关键字的非线性导航的方法的一个或多个实施例。相似地，本公开描述一种提供视频流和其他内容的基于关键字的非线性导航的节目导航系统的一个或多个实施例。根据一个示例实施例，节目导航系统包括电视机(或其他A/V呈示系统)和移动装置。在电视机播放音频/视频节目的同时，关键字识别模块可以从与节目关联的文本数据提取关键字。文本数据可以包括匹配节目中发音的词汇的文本词汇。还可以保存关键字的时间标记。时间标记可以指示对应关键字在节目内的播放时间。电视机可以自动地将关键字传送到移动装置，以及移动装置可以自动地在用户界面中显示关键字。用户然后可以选择其中一个关键字。作为响应，移动装置可以自动地使电视机跳到包含所选关键字的节目部分。描述其他实施例并要求其权利，包括节目导航系统的备选实施例以及方法和节目产品实施例。
[0007]传统上，只能按时间以线性方式导航视频节目:播放，快进或回退。最近的格式(例如，DVD)还提供预定义章节，并允许用户跳到选定章节的开始。但是，如果某人正在观看视频节目，并期望移到节目中介绍特定话题或概念的点，则由于上文阐述的原因，将难以做到如此。音频节目典型地面对类似的状况。例如，正在家庭立体声从压缩光盘(CD)播放音乐时，用户可能使用遥控器在歌曲中快进或回退，或跳到下一首歌曲、当前歌曲或上一首歌曲的开始。
[0008]TiVo有限公司提供一种用于使得平板电脑能够用作数字视频录像机(DVR)的遥控器的平板电脑的应用。此外，SYZYGY Group (一家图形设计室)在因特网上发布标题位“G0AB.我们未来将如何看电视的TV体验概念？ ”的视频。该视频可在如下网址访问:http: ==lab氺syzygy氺de=en=approaeh 以及 http: ==vimeo氺com=21386019o (但是，因为它是U.S.P.T.0.策略以避免无意地进入链接，已将这些统一资源定位符(URL)中的句号和斜杠分别替换为星号和等号。)该视频以文本“假使…将会怎么样”开始。后来，该视频显示出看上去像平板电脑的，具有包含与遥控器装置所提供、电子节目指南所提供的、节目选择过滤器(如Netflix提供的节目选择过滤器)所提供的、零售应用(如亚马逊所提供的应用)所提供的以及社交应用(如Facebook)所提供的类似的功能特征的屏幕。例如，该视频显示出文本“与你的心情相衬”，然后显示用户从词汇云选择属性“惊悚”和“实时”。该视频还显示平板电脑上含有冰球游戏图形的屏幕，连同有小黑圆内小白三角形的物体，旁边是文本“18:19/ 3RD - SHOT”。在用户轻敲此物体之后，视频像是显示TV在播放冰球比赛中选手射门得分的部分。该视频的另一个部分像是表示用户在平板电脑上查看先前TV上出现的商品的在线目录项。该视频还像是显示用户利用平板电脑(a)与其他在线好友分享该目录项，(b)接收这些好友的反 馈以及(c)购买商品。但是，该视频还留有很大想象空间，并且对于清晰展现的创意，该视频未说明任何人实际已实现了这些创意的其中任何一个。
[0009]在另一个领域中，如新闻广播的商业节目制作者可以使用非线性编辑系统，其允许将视频片段组合成完整的线性视频。但是，此类编辑系统是针对编辑人员设计的，而非针对普通大众。相应地，此类编辑系统可能仅包含单个屏幕，而没有遥控器。并且虽然此类系统可使编辑人员能够选择多种标识的视频片段并将其拼接在一起，但是如果编辑人员期望定位视频片段中特定短语或关键字，则他或她仍将需要以线性方式擦扫过每个个体视频片段。对比之下，下文描述的至少一个实施例包含电视机和用于基于电视机正在播放的A/V节目内检测到的或与之关联的关键字来控制电视机的分离的移动计算装置。
[0010] 申请人:未发现任何常规系统为用户提供基于节目部分中使用的关键字以容易的方式跳到节目内感兴趣的特定部分的方法。
[0011]根据本公开，一种非线性节目导航系统允许辅助装置(例如，平板电脑、智能电话、上网本等)来用作比常规遥控器更具有智能的导航装置。具体来说，所公开的节目导航系统使用户能够以直接与用户感兴趣的特定内容直接相关的启发式方式，不仅在A/V节目之间导航，而且能够在A/V节目内导航。为此此公开的目的，术语“音频/视频节目”和“A/V节目”用于表示包含音频内容、视频内容或兼有音频和视频内容的节目。
[0012]图1是表征根据本公开的非线性节目导航系统的示例实施例的计算环境的示例实施例的框图。此实施例包括电视机10和移动装置40。如下文更详细描述的，移动装置40包含本文中称为节目导航系统72的软件应用。电视机10包含不同但是对应的节目导航系统32。节目导航系统32和72可以协同工作以执行本文描述的节目导航功能。相应地，节目导航系统32和72可以统称为单个节目导航系统。
[0013]在图1的实施例中，电视机10包括耦合到解码系统20的显示装置60。许多不同类型的解码系统可以在多个不同类型的实施例中使用。例如，适合的解码系统可以包括且不限于用于将A/V信号解码且内置到与显示装置相同的机箱这的组件(例如，TV调谐器)、电视机机顶盒(例如，电缆盒和数字视频录像机(DVR))、光盘播放器、视频游戏控制器和配置成在家庭娱乐中心中使用的通用计算机。由此，对此公开的目的，如“电视机”的术语不限于表征为封装在相同机箱中的显示装置和TV调谐器的装置，而是包括表征为显示装置与解码系统通信(解码系统能够基于解码系统中存储或接收的A/V节目向显示装置发送视频信号(和/或向一个或多个扬声器发送音频信号))的任何音频/视频呈示系统。
[0014]在图1的实施例中，解码系统20是具有执行节目导航系统32所需或适于执行节目导航系统32的多种硬件组件的数据处理系统(例如，个人计算机)。可以直接或间接地耦合到一起的这些组件包括至少一个处理器22，随机存取存储器(RAM)24、多种网络或输入/输出(I/O)端口 26和至少一个非易失性存储装置(例如，磁盘启动器30)。I/O端口可以包括(a)有线和/或无线网络接口，(b)使用如红外线或蓝牙的短距离无线接口，(c) A/V接口(例如，电缆TV端口或模拟或数字TV天线端口)和(d)任何其他适合的通信接口。
[0015]节目导航系统32可以驻留在磁盘驱动器30上，以及解码系统20可以将节目导航系统32的其中一些或全部复制到存储器24中，并在处理器22上执行节目导航系统32。下文更详细地描述节目导航系统 32。
[0016]解码系统20还可以执行解码器38以将A/V节目的编码版本转化成视频和音频流以在显示装置60上显示以及通过一个或多个扬声器62播放。例如，运动画面专家组(MPEG)已开发一种用于运动画面和关联的音频信息的通用编码的流行标准，并且该标准称为MPEG-2。解码系统20可以使用解码器39将已经以MPEG-2格式交付(或正在交付)到电视机10的节目(例如电影)解码。在一些实施例中，可以使用由处理器22执行的或与处理器22相对独立工作的不同类型的解码器来将使用MPEG-2格式或其他格式的节目解码。
[0017]图1还说明移动装置40内用于执行节目导航系统72的多种资源或组件。在一个实施例中，移动装置40是具有可直接或间接地耦合到一起的多个组件的平板电脑，这些组件包括至少一个处理器42，RAM 44、多种网络或输入/输出(I/O)端口 46和至少一个非易失性存储装置070 (例如，磁盘驱动器、闪存存储器等)和显示装置50。在一个实施例中，显示装置50是触摸屏，并且还用作输入装置。其他实施例中可能使用其他类型的显示和输入装直。
[0018]解码系统20和移动装置40的I/O端口可以包括有线和/或无线网络接口、使用如红外线或蓝牙的短距离无线接口和/或任何其他适合的通信接口。例如，如下文更详细描述的，移动装置40和电视机10可以通过一个或多个无线路由器84提供的局域网(LAN)彼此通信。作为备选，移动装置40或任何其他装置可以使用蜂窝技术来与因特网和/或彼此通信。在其他实施例中，可以使用红外线通信、蓝牙通信、包括但不限于WiFi和WiMax的宽带通信和任何其他适合的通信技术或通信技术的组合。
[0019]在一些备选实施例中，可以使用智能电话作为用于节目导航系统的移动装置。在其他实施例中，移动装置可以主要用作根据本文描述的原理控制关联的电视机的遥控器。在其他实施例中，其他类型的处理系统可以用作该移动装置。在图1的实施例中，节目导航系统72包括用户界面模块78，用户界面模块78用于向用户呈示信息和选项并从用户接收输入。
[0020]图2是移动装置40的用户界面模块78呈示的用户界面100的示例实施例的示意图。用户界面100可以包括帮助用户导航到A/V节目内感兴趣的特定部分的多种对象。这些对象可以包括显示电视机10当前显示的节目的标题连同可能的有关该节目的其他一般信息的标题框110。节目导航系统72可以从该节目的电子节目指南(EPG)数据和/或从任何其他适合的源获取此信息。节目导航系统32可以从A/V节目提取此类型的信息，并且然后可以在例如电视机10首次开始播放该节目时将此信息发送到节目导航系统72。
[0021]用户界面100还可以包括滚动条120，来自节目的关键字122出现在滚动条120内。通过从该条选择关键字，用户可以使电视机10跳到节目出现关键字的部分。参考图3，下文提供有关用户界面100的使用的附加细节。
[0022]再有，为此公开的目的，当将电视机描述为跳到或移到节目的特定部分时，或当使用类似的短语时，这些短语表示电视机跳到节目内不同的播放时间，与此相对地，电视机正在呈示内容。换言之，当电视机跳到或移到新播放时间时，电视在房间中的物理位置通常不会改变，而是电视正在播放的节目的部分改变。
[0023]再次参考图1，附加数据处理系统还可以与电视机10和移动装置40协作以提供本文描述的功能。例如，电视机10可以从远程数据处理系统90上的A/V节目98的收集或数据库下载电影或其他A/V节目。电视机10还可以从远程系统90中的词汇数据库92下载重要词汇的多种收集。正如下文更详细描述的，当确定应该将A/V节目的哪些文本词汇标识为关键字时，节目导航系统32可以使用一个或多个重要词汇的收集。再有，如下文更详细描述的，移动装置40可以从远程系统90上的购物应用94、百科全书应用96和/或其他信息源获取信息。在其他实施例中，可以使用多个远程系统。例如，每个远程系统可以提供不同类型的信息。电视机10和移动装置40可以经由广域网(WAN) 82 (例如因特网)与远程系统通信。远程数据处理系统90可以包括与移动装置40相似的组件，包括且不限于一个或多个处理器、存储器、磁盘驱动器和/或其他非易失性存储装置以及存储在存储装置中的软件。在一些实施例中，作为备选，可以将附图在远程系统90中示出的一些或全部信息和/或组件整体地或部分地存储在移动装置40和/或电视机10中。
[0024]在电视机10内，节目导航系统32包括通信接口 34。相似地，移动装置40中的节目导航系统72包括通信接口 74。电视机10在播放节目时，节目导航系统32使用通信接口34将关键字传送到移动装置40。移动装置40使用通信接口 74从电视机10接收关键字，并向电视机10传送节目控制命令。在一个实施例中，这些通信接口基于可扩展消息传送和在场协议(XMPP)标准，并且它们使节目导航系统32和72能够彼此通信。例如，电视机10和移动装置40可以使用通信接口 34和74来注册到XMPP服务器中，XMPP服务器提供这两个注册的应用之间的双向通信。再者，节目导航系统一般可以允许电视机与多个移动装置之间的通信。在此情况中，可以将从电视机发送的消息广播到所有注册的移动装置。可以使用任何适合的处理系统作为XMPP服务器，包括解码系统20、移动装置40或另一个数据处理系统。
[0025]图3是说明用于或多或少从电视机10的角度提供节目导航服务的过程的示例实施例的流程图。该过程可以开始于电视机10开始播放A/V节目时，如框210所示。正如上文描述的，节目导航系统可以支持具有不同类型的格式的A/V节目，包括且不限于广播TV、流传输节目、存储在磁介质或光介质上的节目等。在至少一个实施例中，如果电视机10可还没有在机器可访问介质上存储的节目中的一些或所有，则电视机10可以在节目播放时保存一些或全部的节目以有利于基于关键词的导航。再有，如框212所示，当电视机10开始播放节目时，节目导航系统32然后可以从节目提取或捕获EPG数据。为此公开的目的，术语EPG数据是指有关节目的一般信息，包括且不限于如下项:”
节目频道(例如，PBS)，
演出标题(例如，Michael Palin的新欧洲)，
剧集标题(例如，多瑙河到第聂伯河)，
类别(例如，旅游)
剧情(例如，Michael访问匈牙利、乌克兰、黑海、雅尔塔、布达佩斯的“恐怖博物馆(House of Terror)”、霍尔托巴吉的国家公园、匈奴王阿提拉征服过的地区以及利兹。他还访问娶了乌克兰总理的市场交易商)。
[0026]再有，可以从EPG频道、从A/V节目本身或从其他源获取EPG数据。
[0027]再次参考图1，在一个实施例中，节目导航系统32包括文本精灵37，文本精灵37随着节目播放从节目中自动捕获文本数据，连同对应的播放时间信息。在一个实施例中，文本精灵37以Javescript编写，并相对于解码系统20上的操作系统(OS)实现为在视频/音频堆栈中工作的插件。在备选实施例中，可以对于文本精灵使用其他类型的实现，包括且不限于 Java 和 C/C++。
[0028]在框212处捕获EPG数据的操作可以通过文本精灵37或节目导航系统32的另一个部分来执行。因为电视机10遵循来自移动装置40的节目导航命令，所以移动装置40可以称为主机，以及电视机10可以称为从机。相应地，如框214所示，在从机提取了 EPG数据之后，节目导航系统32可以经由通信接口 34和74将提取的EPG数据发送到主机。
[0029]如框216所示，节目导航系统32然后可以(例如，从重要词汇数据库92)检索关键字引用数据以便在确定来应该将来自节目的哪些词汇视为关键字的时使用。
[0030]如框216所示，文本精灵37然后可以启动自动分析来自节目的文本数据以从节目的音频部分中捕获每个发音的词汇的文本版本，连同那些词汇中的每个的时间戳或时间标记。在广播信号的情况中，例如，随着电视机10动态地接收到节目的隐藏式字幕文本馈给，文本精灵37可以从馈给中提取文本数据。典型地，隐藏式字幕文本馈给包括节目的音频部分的转录，其中该文本提供与节目的音频和视频部分同步供给。
[0031]在使用超文本标记语言版本5 (HTML5)的因特网协议TV (IPTV)的情况中，电视机10可以接收包含文本注解的节目，以及本文精灵37可以从这些注解中提取词汇，同时捕获对应的节目播放时间。对于其他格式(例如，DVD或蓝光上的电影、本地存储的电影或流传输电影等)，文本精灵可以使用其他技术来获取(a)与节目音频中发音的词汇对应的文本数据以及(b)这些词汇的关联的播放时间。
[0032]正如上文提到的，在提取文本数据时，文本精灵37还可以保存标识文本数据中每个词汇或短语在节目内的播放时间的时间标记。此时间标记可以称为词汇的“视频时间码”、词汇的“播放时间”或词汇的“切入点(in-point)”。换言之，文本精灵37可以从隐藏式字幕文本馈给中捕获每个词汇，连同这些词汇的每一个开始的对应节目播放时间。在一个实施例中，如播放时间、时间标记、切入时间等全部遵循HH:丽:SS:FF的运动图片和电视工程师协会(SMPTE )格式，其中HH:丽:SS测量从节目开始的录制时间(“实时”)或时间量(磁带时间)，并且FF标识该秒内的当前帧的数量。在其他实施例中，可以对一个或多个时间属性使用不同的格式。
[0033]此外，如框220所示，在文本精灵37分析来自节目的文本数据并保存对应的时间标记时，关键字识别模块38可以自动地确定应该将分析的词汇中哪些作为关键字来处理。在一个实施例中，关键字识别模块38作为节目导航系统32的一部分来实现。
[0034]关键字识别模块38可以使用任何适合的技术或技术的组合来识别关键字。一些技术可以包括搜索、建立索引和以其他方式分析节目的文本数据以找出要视为关键字的某种类型的词汇或短语。例如，如果词汇或短语被使用多于某个次数，则关键字识别模块38可以将该词汇或短语视为关键字。又如，可以将文本数据中以及EPG中都出现的词汇视为关键字。又如，关键字识别模块38可以搜索节目的文本数据以获取专有名词，将所有专有名词作为关键字来处理。但是，关键字识别模块38在两个或更多个专有名词连续出现或仅相隔介词时，可以将这些词汇串联或组合以形成单个关键字(例如，第二次世界大战(WorldWar II)或威斯特伐利亚合约(Peace of Westphalia))。在一个实施例中，关键字识别模块38分析节目的文本数据以标识语音的包含名词短语的不同部分。在另一个实施例中，关键字识别模块38分析文本数据中词汇的大写以标识专有名词。在其他实施例中，可以使用这些技术和其他技术的任何组合来标识专有名词。
[0035]用于标识关键字的一些技术可以包括将节目的文本数据与重要词条的一个或多个现有数据库，如图1的词汇数据库92交叉引用。此类数据库可以包括且不限于地名清单、名人清单和书籍的目录和/或索引。不同的数据库还可以侧重于不同的主题或类型。例如，一个数据库可以包含运动员的姓名和重要体育术语，而另一个数据库包含重要商业术语。
[0036]在不同的实施例中，可以使用上文技术和/或其他技术的任何组合。
[0037]如框222所示，随着节目导航系统32标识每个关键字，它可以将该关键字和对应的时间标记发送到主机。这些关键字和对应的时间标记可以统称为“关键字数据”。节目导航系统32然后可以确定是否已从主机接收到节目控制命令，如框230所示。如果尚未接收到此类命令，则过程可以返回到框218，其中文本精灵37继续分析文本数据，并保存对应的时间标记等，如上文描述。
[0038]但是，当节目导航系统32从节目导航系统72接收到节目控制命令时，节目导航系统中的节目控制模块36促使电视机10从节目的当前位置跳到节目控制命令中指定的位置，如框图232所指示的。例如，当用户利用移动装置40选择用户感兴趣的特定关键字时，节目控制模块36通过促使电视机10跳到所选的关键字被用到所在的节目播放时间来响应结果的节目控制命令。例如，如果用户选择“匈牙利”的关键字122，电视机10可以跳回到A/V节目中与第一次利用词汇“匈牙利”关联的视频切入时间。以及如果用户接着选择“埃斯泰尔戈姆(Esztergon)”的关键字122，电视机10可以向前跳到A/V节目中与第一次利用词汇“埃斯泰尔戈姆”关联的视频切入时间。
[0039]如框240所示，节目导航系统32然后可以确定是否已达到节目的结尾。如果这样，则过程可以结束。否则，过程可以返回到框218，其中处理按上文描述的继续。
[0040]图4A和图4B给出用于或多或少从移动装置40的角度提供节目导航服务的过程的示例实施例的流程图。如框300所示，该过程可以开始于节目导航系统72从节目导航系统32接收EPG数据。用户界面模块78然后可以在用户界面100的标题框110中显示EPG数据的其中一些或全部，如框310所指示以及图2所示出。如框312所示，随着节目在电视机10上显示以及节目导航系统32在标识关键字，节目导航系统72还可以实时地从节目导航系统32接收关键字数据。以及如框314所述指示和图2所示出，用户界面模块78可以可能地通过将较旧的关键字翻出屏幕，按需为较新的关键字留出空间，以向栏120添加每个新关键字122。但是，用户界面模块78可以允许用户调整哪些关键字出现在屏幕上，例如通过识别用户在栏区域中的抛掷，并对此响应，沿着抛掷方向翻动关键字。
[0041]再者，用户界面模块78可以基于关键字的特性以及其至时间标记的映射和/或基于用户指定的设置提供多种其他导航机制。例如，如果发现了相同关键字的多次出现，则用户界面模块78可以对该关键字显示一个按钮(或其他对象)连同发现多少次出现的指示。用户然后可以一次选择该关键字以跳到关键字在节目中的第一次出现，以及再次选择该关键字则顺序地行进到节目中使用相同关键字的不同片段。例如，如果电视机10正在播放BobNewhart Show，则关键字识别模块38可以确定“Bob”是关键字，并且用户可以重复地选择用户界面100中的“Bob”以查看说出词汇“Bob”所在的每个节目部分。
[0042]对于另一个选项，用户界面模块可以设为自动地跳到关键字的最近出现处，或为用户提供跳到最最近出现处的选项。对于另一种选项，用户界面模块78可以采用列表格式呈示出现处，从而使用户能够选择要跳往的关键字的任何出现处。用户界面模块78还可以提供节目中的某个剧情背景以帮助用户了解列表中的每个关键字位于节目内哪里。例如，节目导航系统32可以将来自每个关键字的时间的视频轨的快照发送到节目导航系统32，并且用户界面模块78可以将这些快照连同关键字一起显示。对于另一个选项，节目导航系统32可以将来自文本数据的某个相邻文本发送到节目导航系统72，并且用户界面模块78可以将这些文本连同关键字一起显示。对于另一个选项，节目导航系统32可以将包含关键字的音频剪辑发送到节目导航系统72，并且用户界面模块78可以在用户与该关键字交互时播放该音频。
[0043]对于另一个选项，用户界面模块可以设为自动地跳到关键字的最重要出现处，或为用户提供跳到最最重要出现处的选项。可以使用任何适合的技术来对不同关键字的重要性评级。例如，节目导航系统32可以基于确定该关键字出现在与文本数据的先前片段有最多文本重复的文本数据的片段中而确定该关键字是最重要的。
[0044]在其他实施例中，可以使用其他方法来显示关键字。例如，用户界面模块78可以将关键字分类成不同主题，其中每个主题链接到两个或更多个关键字。对于另一个选项，用户界面模块78可以配置成将这些关键字显示为标签云。[0045]如框320所示，节目导航系统72还可以确定是否已启用补充信息源。例如，用户界面100可以包括启用按钮112 (或其他类型的对象)，用户可以操作启用按钮112来启用或禁用特定的补充信息源。在图2的实施例中，启用按钮112可以用于启用或禁用在线百科(例如，维基)和在线供应商(例如，亚马逊)。如果启用了任何补充信息源，则该过程可以随页面连接点A延续到图4B，其中节目导航系统72的数据检索模块77使用最新的关键字来从每个启用的源检索信息，如框400所示。用户界面模块78然后可以在用户界面100中显示检索到的信息的其中一些或全部，如框410所指示，其中较新的关键字的信息可能替代较旧的关键字的信息。例如，在图2中，用户界面100显示两个关键字122连同两个补充信息栏。第一栏130包括来自第一补充源(例如，维基)的信息，其具有一个框包含有关条120中的最新关键字(例如，埃斯泰尔戈姆)的信息，其出现在包含有关前一个关键字(例如，匈牙利)的信息的框之上。第二栏132包含来自第二补充源(例如，亚马逊)的信息，其在该栏中具有不同的框显示不同的关键字的信息，如上文描述的。用户界面模块78还可以使用户能够操控这些栏，例如通过响应来自用户抛掷或任何其他适合的用户输入技术以调整哪些框被显示。
[0046]如图4B的框420和422所指示的，用户界面模块还使用户能够与补充信息进行附加交互。例如，如果栏132显示有关匈牙利的由亚马逊销售的书籍，则用户界面模块78可以让用户能够购买该书。以及如果栏130显示有关匈牙利的维基词条，则用户界面模块78可以让用户能够通过选择该维基词条内的超链接从维基词条跳到不同的Web页面。
[0047]如框420所示，用户界面模块78检测到与补充数据没有用户交互，则过程可以经由页面连接点B返回到图4A。
[0048]用户界面模块78然后可以确定用户是否选择了所显示的关键字之一，如框330所示。如果没有关键字被选，则过程可以返回到框312。但是，如果用户选择了关键字，节目控制模块76可以向电视机10发送节目控制命令，指令电视机10跳到节目中包含所选关键字的部分，如框332所指示。例如，节目控制命令可以包含所选关键字的时间标记。因此，节目控制命令可以促使电视机10将视频“擦扫”到所选关键字以其视频时间标记标识的切入点。
[0049]在另一个实施例中，这些时间戳存储在电视机10中，并且无需随节目控制命令发送。相反，节目控制命令可以标识所选关键字，或所选关键字的实例，以及电视机中的节目控制模块可以使用该信息来确定适合的切入点。在任何情况中，节目导航系统都让用户能够容易地导航到引入关键字所在的精确帧。此进入点可以由用户预设为精确位置或配置成关键字实例之前任何秒数。
[0050]如框340所示，节目导航系统72然后可以确定电视机10是否开始播放新AV节目。如果新节目已经开始，则过程可以返回到框300，其中节目导航系统接收新节目的EPG数据等。如果没有新节目已经开始，则过程可以返回到框312，其中节目导航系统继续从节目导航系统32接收现有节目的新关键字等。
[0051]正如已描述的，根据本公开的节目导航系统从A/V节目捕获关键字，并且允许最终用户利用这些关键字来直接到导航到节目中感兴趣的特定部分。该节目导航系统能够使用户简单地单击捕获的关键字以容易地来回操控视频流，并定位感兴趣的片段。
[0052]对于(例如具有DVR的)电视机10录制的节目，该节目导航系统可以生成对于特定录像是唯一的关键字和时间戳，由于录像的特定属性，如与节目一起录制的该录像的精确开始时间和结束时间，商业广告内容或其他节目的部分(例如，赛前体育表演和/或赛后评论)等。
[0053]再者，电视机10和/或移动装置40可以存储节目的关键字数据(包括标识的关键字和对应的时间标记的列表)(例如，存储在DVR上)。当随后播放节目时，该节目导航系统可以使用保存的关键字数据来使用户能够(向前或向后)直接跳到任何期望的关键字的片段。此外，可以将保存的关键字数据发送到另一个用户的装置，以使该另一个用户能够在观看同一个节目时利用基于关键字的导航。
[0054]除了普通消费市场中使用外，该节目导航系统还可以应用于例如培训和教育市场中。例如，学生可以使用节目导航系统来观看培训视频，并且所得到的关键字让学生能够容易地找到感兴趣视频片段(例如，为了重看节目中有关感兴趣的某些主题的部分)。
[0055]本教导还可以结合具有匹配正在呈示的内容的文本数据的其他类型的节目来使用。例如，该节目导航系统可以用于通过扬声器播放音频节目(例如，歌曲或歌曲集)，并且该节目导航系统可以从歌词的转录中提取关键字。作为备选，该节目导航系统可以用于显示电子书籍(“ebook”)，以及该节目导航系统可以从ebook中提取关键字，以便在导航ebook时使用。
[0056]此外，可以捕获来自视频的词条并在ebook中将其高亮显示。例如，医学学生可以在观看外科医生执行手术时使用移动装置来查看电子解剖学书籍。外科医生可以在进行手术中解说手术，并且解说可以同时被转录。该节目导航系统可以从转录自动地识别关键字，其中这些关键字也出现在移动装置上。学生然后可以单击关键字以跳到解剖学书籍的对应部分。例如，如果外科医生说“肾脏”，则该节目导航系统可以识别该词汇为关键字，并且当学生单击该关键字时，学生的移动装置可以跳到解剖学书籍中有关肾脏的章节。再者，在一个实施例中，随着每个新关键字到来，移动装置可以配置成自动地跳到ebook的对应章节或页面。
[0057]此外，可以将一个移动装置配置成控制其他移动装置。例如，在有班长的一组学生中，当班长电极他或她的移动装置上的关键字时，所有的移动装置可以跳到ebook的对应小节。
[0058]按照本文描述和图示的原理和示例实施例，将认识到在不背离此类原理的前提下能够在布置和细节上修改图示的实施例。再有，前文的论述着重于特定实施例，但是可设想其他配置。再有，即使本文使用诸如“在一个实施例中”、“在另一个实施例中”等的表述，但是这些短语仍意味着普遍地引述实施例的可能性，且不应将本发明限于特定的实施例配置。正如本文使用的，这些术语可以弓I述组合成其他实施例的相同或不同实施例。
[0059]再有，除非另行明确地指出，否则描述为处于彼此通信或彼此响应的组件或装置无需处于连续地彼此通信。此外，描述为彼此耦合或处于通信或描述为彼此响应的装置可以直接或经由一个或多个中间件间接地通信或耦合。
[0060]还应该理解，本文说明的硬件和软件组件表示合理自含的以便各能够彼此基本独立地被设计、构造或更新的功能元件。在备选实施例中，可以将许多组件作为硬件、软件或硬件和软件的组合来实现以便用于提供本文描述和图示的功能性。例如，备选实施例包括将用于执行本发明操作的指令或控制逻辑编码的机器可访问介质。此类实施例也可以称为程序产品。此类机器可访问介质可以包括且不限于如磁盘、光盘、RAM、只读存储器(ROM)、闪存存储器等的有形存储介质。作为备选，可以在硬件逻辑中实现用于实现所描述的操作的控制逻辑的其中一些或全部(例如，作为集成电路芯片、可编程门阵列(PGA)、专用集成电路(ASIC)等的一部分)。还可以在分布式环境中使用指令，并且可以将这些指令本地和/或远程存储以供单处理器或多处理器机器访问。
[0061]相似地，虽然示例过程是结合特定顺序执行的特定操作来描述的，但是可以对这些过程应用多种修改以推导出本发明的多种备选实施例。例如，备选实施例可以包括使用比全部所描述的操作更少的过程、使用附加操作的过程、以及其中将本文公开的个体操作组合、拆分、重组或以其他方式改变的过程。
[0062]鉴于从本文描述的示例实施例可容易推导的范围广泛的多种有用置换，本文详细描述理应仅是说明性的，并不应视为限制本发明的范围。因此，作为本发明要求权利的是落在所附权利要求范围内的所有实现以及此类实现的所有等效物。
【权利要求】
1.一种用于音频/视频节目导航的方法，所述方法包括: 在移动计算装置处，从音频/视频呈示系统无线地接收所述音频/视频呈示系统当前正在播放的音频/视频节目的关键字数据流，其中所述关键字数据流包含匹配来自所述音频/视频节目的音频内容中发音的词汇的文本关键字； 在所述移动计算装置处，在用户界面中自动地显示来自所述音频/视频呈示系统的所述关键字的其中两个或更多个关键字； 在所述移动计算装置处，接收指示用户选择了所显示的关键字之一的用户输入；以及响应在所述移动计算装置处接收到所述用户输入，自动地促使所述音频/视频呈示系统跳到所述音频/视频节目中包含所选关键字的部分。
2.如权利要求1所述的方法，其中所述关键字数据包含所述音频/视频呈示系统从所述音频/视频节目的隐藏式字幕数据中提取的关键字。
3.如权利要求1所述的方法，其中所述音频/视频呈示系统包括与来自如下组成的集合中的至少一个解码装置通信的显示装置: 电视调谐器； 光盘播放器；以及 数字视频记录器。
4.如权利要求1所述的方法，其中: 所述关键字数据还包括与对应的关键字关联的时间标记；以及自动地促使所述音频/视频呈示系统跳到所述音频/视频节目中包含所选关键字的部分的操作包括: 基于所选关键字和对应的时间标记，生成节目控制命令，所述节目控制命令指令所述音频/视频呈示系统跳到所述音频/视频节目的所选部分；以及 经由无线通信接口将所述节目控制命令发送到所述音频/视频呈示系统。
5.如权利要求1所述的方法，还包括: 在所述移动计算装置与所述音频/视频呈示系统之间建立无线通信信道； 使用所述无线通信信道从所述音频/视频呈示系统接收所述音频/视频节目的所述关键字数据；以及 使用所述无线通信信道促使所述音频/视频呈示系统跳到所述音频/视频节目中包含所选关键字的部分。
6.如权利要求1所述的方法，其中: 在所述用户界面中自动地显示所述关键字的其中两个或更多个关键字的操作包括:随着移动计算装置从所述音频/视频呈示系统接收新关键字，将新关键字翻上所述用户界面，以及将旧关键字翻出所述用户界面；以及 响应用户输入 ，将旧关键字翻回到所述用户界面上，以让用户能够利用这些旧关键字之一来选择要由所述音频/视频呈示系统播放的所述音频/视频节目的对应部分。
7.如权利要求1所述的方法，还包括: 在从所述音频/视频呈示系统接收所述音频/视频节目的至少一个关键字之后: 在所述移动计算装置处，从公众广域网自动地检索与所述至少一个关键字相关的信息；以及在所述移动计算装置处，自动地显示来自公众广域网的与所述至少一个关键字相关的信息的至少一些信息。
8.如权利要求7所述的方法，其中: 自动地检索与所述至少一个关键字相关的信息的操作包括: 从在线百科自动地检索有关所述至少一个关键字的含义的参考信息；以及从通过公众广域网提供产品销售的供应商的网站，自动地检索有关与所述至少一个关键字相关的所述产品的购买信息；以及 自动地显示来自公众广域网的与至少一个关键字相关的信息的至少一些信息的操作包括:在所述移动计算装置处，同时地显示所述参考信息的至少其中一些和所述购买信息的至少其中一些。
9.如权利要求8所述的方法，还包括: 接收请求将公众广域网上的特定信息源去激活的用户输入；以及 仅从公众广域网上未对其请求去激活的信息源自动地检索信息。
10.一种制造品，该制品包括: 有形机器可访问介质；以及 所述机器可访问介质 中的指令，所述指令被移动装置执行时，使所述移动装置能够执行如权利要求1至9中任一项所述的操作。
11.一种移动计算装置，其包括: 处理器； 响应所述处理器的至少一个本地存储装置；以及 所述本地存储装置中的指令，所述指令被移动计算装置执行时，使所述移动计算装置能够执行如权利要求1至9中任一项所述的操作。
12.—种移动计算装置，其包括: 无线通信接口，所述无线通信接口可工作以从从音频/视频呈示系统接收所述音频/视频呈示系统当前正在播放的音频/视频节目的关键字数据流，其中所述关键字数据流包含匹配来自所述音频/视频节目的音频内容中发音的词汇的文本关键字； 用户界面模块，所述用户界面模块配置成自动地在用户界面中显示所述关键字的其中两个或更多个，并接收指示用户选择了所述关键字的其中之一的用户输入；以及 节目控制模块，所述节目控制模块配置成响应所述用户输入选择所述关键字，自动地促使所述音频/视频呈示系统跳到所述音频/视频节目中包含所选关键字的部分。
13.如权利要求12所述的移动计算装置，其中所述关键字数据包含所述音频/视频呈示系统从所述音频/视频节目的隐藏式字幕数据中提取的关键字。
14.如权利要求12或权利要求13所述的移动计算装置，其中: 所述关键字数据还包括与对应的关键字关联的时间标记；以及 所述节目控制模块还配置成执行包括如下的操作: 基于所选关键字和对应的时间标记，生成节目控制命令，所述节目控制命令指令所述音频/视频呈示系统跳到所述音频/视频节目的所选部分；以及 经由所述无线通信接口将所述节目控制命令发送到所述音频/视频呈示系统。
15.如权利要求12或权利要求13所述的移动计算装置，所述用户界面模块配置成执行包括如下的操作: 随着移动计算装置从所述音频/视频呈示系统接收新关键字，将新关键字翻上所述用户界面，以及将旧关键字翻出所述用户界面；以及 响应用户输入，将旧关键字翻回到所述用户界面上，以让用户能够利用这些旧关键字之一来选择要由所述音频/视频呈示系统播放的所述音频/视频节目的对应部分。
16.如权利要求12或权利要求13所述的移动计算装置，还包括: 数据检索模块，所述数据检索模块可工作以从公众广域网自动地检索与至少一个关键字相关的信息；以及 其中所述用户界面模块可工作以自动地显示来自公众广域网的与至少一个关键字相关的信息的至少一些信息。
17.如权利要求16所述的移动计算装置，其中: 所述数据检索模块可工作以从在线百科自动地检索有关所述至少一个关键字的含义的参考信息； 所述数据检索模块可工作以从通过公众广域网提供产品销售的供应商的网站，自动地检索有关与所述至少一个关键字相关的所述产品的购买信息；以及 所述用户界面模块可工作以同时显示所述参考信息的至少其中一些和所述购买信息的至少其中一些。
18.一种音频/视频呈示装置，其包括: 显示装置； 与所述显示装置通信的解码器，所述解码器配置成在所述显示装置上显示音频/视频节目的视频内容； 关键字识别模块，所述关键字识别模块配置成在所述音频/视频呈示装置正在播放所述音频/视频节目的同时，从所述音频/视频呈示装置接收的所述音频/视频节目的文本数据内自动地标识关键字，其中所述关键字包含匹配来自所述音频/视频节目的音频内容中发音的词汇的文本词汇； 无线通信接口，所述无线通信接口可工作以执行包括如下的操作: 在所述音频/视频呈示装置正在播放所述音频/视频节目时，向移动装置发送所述音频/视频节目的关键字数据流，其中所述关键字数据流包含所述关键字识别模块标识的关键字的至少其中一些；以及 在将所述音频/视频节目的至少一些关键字数据发送到所述移动装置之后，从所述移动装置接收有关所述移动装置的用户从发送到所述移动装置的所述关键字数据流中选择的关键字的节目控制命令；以及 节目控制模块，所述节目控制模块配置成基于来自所述移动装置的所述节目控制命令，自动地促使所述音频/视频呈示装置将所述音频/视频节目从所述音频/视频节目的当前播放时间移到所述音频/视频节目的不同播放时间。
19.如权利要求18所述的音频/视频呈示装置，其中所述解码器包括如下组成的集合中的至少一个组件: 电视调谐器； 光盘播放器；以及数字视频记录器。
20.如权利要求18所述的音频/视频呈示装置，其中所述解码器包括如下组成的集合中的至少一个组件: 电视调谐器； 光盘播放器； 数字视频记录器；以及 要在所述音频/视频呈示装置中的微处理器上执行的解码器应用。
21.如权利要求18或权利要求20所述的音频/视频呈示装置，其中所述关键字识别模块可工作以通过执行包括如下的操作来自动地标识关键字: 将所述音频/视频呈示装置接收的所述音频/视频节目的所述文本数据与重要词条的现有数据库自动地交叉引用；以及 将所述音频/视频节目的所述文本数据中以及所述重要词条数据库中均出现的词汇自动地标识为关键字词汇。
22.如权利要求18或权利要求20所述的音频/视频呈示装置，其中所述关键字识别模块可工作以通过执行包括如下的操作来自动地标识关键字: 自动地确定所述文本数据内的哪些词汇是专有名词；以及 将所述专有名词的至少其中一些自动地标识为关键字。
23.如权利要求18或权利要求20所述的音频/视频呈示装置，其中: 来自所述移动装置的所述节目控制命令指定所述用户选择的所述关键字的播放时间；以及 所述节目控制模块可工作以自动地促使所述音频/视频呈示装置从所述音频/视频节目的当前播放时间跳到所述节目控制命令指定的播放时间。
24.如权利要求18或权利要求20所述的音频/视频呈示装置，还包括如下组成的集合中的至少一个项: 网络接口，所述网络接口可工作以从外部源接收所述音频/视频节目的编码的版本；以及 与所述解码器通信的存储介质，所述存储介质可工作以存储所述音频/视频节目的编码的版本的至少其中部分。
【文档编号】H04N5/93GK103765910SQ201180073417
【公开日】2014年4月30日 申请日期:2011年9月12日 优先权日:2011年9月12日
【发明者】S.莫, C.J.奥乔亚, V.兹拉格伊, E.史密斯 申请人:英特尔公司