专利名称：增强音频播放的自适应显示器的制作方法
增强音频播放的自适应显示器相关申请本申请要求2008年7月18日提交的美国临时专利申请61/081821以及2008年9 月12日提交的美国实用新型申请12，209，300的优先权，此处通过引用将上述申请的内容 并入。
背景技术：
本发明总体上涉及用于增强音频播放的方法和装置，尤其涉及一种在音频播放设 备显示器上选择和显示图像以增强音频播放的方法和装置。数字电子技术的发展导致了便携式音频设备的快速增长。特别是，诸如音频CD播 放器、数字音频播放器、FM/AM收音机、电视机、DVD播放机之类的便携式音频设备由于大小 和重量小得足以使用户容易携带而已经在消费者中越来越流行。也正是由于移动电话、个 人数字助理(PDAs)以及其他无线设备与音频播放功能的相融合越来越普遍，才使得消费 者可以使用他们的移动电话或者其他无线设备作为便携式音频播放器。许多便携式音频设备都包括一个能够显示诸如图像和视频之类的视觉内容的显 示器。显示器可以被用来显示与正在播放的音频文件有关的视觉内容，比如专辑封面和演 唱会视频。通常，用户下载与用户的音频文件有关的视觉内容(例如，图像和/或视频)，将 音频文件与视觉内容相关联，并且将视觉内容储存在存储器中。当音频文件正在播放时，可 以从存储中检索到与之相关的视觉内容并且输出在显示器上。不幸的是，视觉内容局限于 用户的下载内容以及存储在用户设备的存储器中的内容或者局限于音频内容供应商所供 应的内容。
发明内容
本发明提供了一种响应于对音频文件的选择或播放而从网络服务器下载或显示 视觉内容的方法和装置。当用户选择或播放一音频文件时，演唱者姓名、歌曲名、专辑名，或 者其他与该音频文件有关的文字信息被用于搜索包含相关图像的可公开访问的网页。相关 图像，举例来说，可以包括专辑封面，演唱者表演图像、演唱会视频等。在本发明的实施方案 中，用户的设备利用例如演唱者姓名来制定一个查询，把此查询发送到网络搜索引擎，并且 在可公开访问的网页中针对相关图像发起网络搜索。当通过网络搜索引擎返回搜索结果 时，用户的设备过滤该搜索结果，下载所选择的网页，从网页中提取图像并且在显示器上输 出这些图像。这些图像可以被全屏显示或转换成显示在背景中的壁纸。示范实施方式包括一种在连网设备的显示器上显示与音频文件相关的图像的方 法。该方法包括以下步骤播放音频文件；识别与该音频文件有关的文本信息；访问公共网 络搜索引擎；向所述网络搜索引擎提供基于所述文本信息的搜索标准并发起针对包含相关 图像的公共网页的搜索；从所述网络搜索引擎接收包含相关图像的网页列表；以及在该音 频文件被播放的同时在该连网设备的显示器上显示这些网页中的一个或更多个相关图像。在一种示范方法中，识别与音频文件相关的文本信息的步骤包括从音频文件中捕捉音频样本并且基于所捕捉的音频样本来识别与音频文件相关的文本信息。在一种示范方法中，识别与音频文件相关的文本信息的步骤包括提取编码在该 音频文件中的文本信息。在一种示范方法中，所述文本信息包括演唱者、歌曲名以及专辑(collective work)名中的至少一个。这种示范方法还可以包括以下步骤基于存储在存储器中的一个或更多个过滤列 表对所述网络搜索引擎返回的所述网页列表进行过滤，并且基于所述过滤来选择要显示的 图像。在一种示范方法中，对所述网络搜索引擎返回的所述网页列表进行过滤的步骤包 括基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网页列表进行过滤。这种示范方法还可以包括以下步骤下载过滤之后留下的一个或更多个网页，并 且从所下载的网页中提取图像。这种示范方法还可以包括以下步骤对所述网络搜索引擎返回的所述网页列表进 行排序，并且基于所述排序来选择要显示的图像。示范实施方式还包括一种音频播放设备，该音频播放设备包括用于播放音频文 件的媒体播放器；显示器；以及连接至所述媒体播放器和扬声器的控制处理器，该控制处 理器被配置为识别与正在播放的音频文件有关的文本信息；连接到公共网络搜索引擎； 向所述网络搜索引擎提供基于所述文本信息的搜索标准以及发起由该网络搜索引擎进行 的针对包含相关图像的公共网页的搜索；从所述网络搜索引擎接收包含相关图像的网页列 表；并且在播放所述音频文件的同时向所述音频播放设备的显示器输出由该网络搜索引擎 返回的网页中的一个或更多个相关图像。在一种示范音频播放设备中，所述控制处理器被配置为通过从音频文件中捕捉音 频样本并基于所捕捉的音频样本识别与所述音频文件有关的文本信息，来识别与所述音频 文件有关的文本信息。在一种示范音频播放设备中，所述控制处理器被配置为通过提取以所述音频文件 编码的文本信息来识别与所述音频文件相关的文本信息。在一种示范音频播放设备中，所述文本信息包括演唱者、歌曲名以及专辑名中的 至少一个。在一种示范音频播放设备中，所述控制处理器还被配置为基于存储在存储器中的 一个或更多个过滤列表对所述网络搜索引擎返回的所述网页列表作进一步的过滤，并基于 所述过滤来选择要显示的图像。在一种示范音频播放设备中，所述控制处理器还被配置为基于允许列表、阻止列 表以及偏好列表中的至少一个来对所述网络搜索引擎返回的所述网页列表进行过滤。在一种示范音频播放设备中，所述控制处理器还被配置为下载过滤之后留下的一 个或更多个网页，并且从所下载的网页中提取图像。在一种示范音频播放设备中，所述控制处理器还被配置为对所述网络搜索引擎返 回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。
图1示出了根据本发明一个示范实施方式的示范通信网络。图2示出了通过显示在因特网搜索中获得的相关图像来增强音频播放的示范方 法。图3示出了通过显示在因特网搜索中获得的相关图像来增强音频播放的示范用 户设备。图4示出了由用户设备实现的通过显示在因特网搜索中获得的相关图像来增强 音频播放的示范方法。
具体实施例方式现在参照附图，图1示出了可以采用本发明的示范通信网络10。通信网络10包括 具有一个或更多个与用户设备100进行通信的基站22的无线网络20。无线网络20例如可 以包括，诸如全球移动通信系统(GSM)网络、宽带码分多址(WCDMA)网络，或者其他现在已 知或以后开发的蜂窝通信网络的便捷蜂窝通信网络。用户设备100例如可以包括，移动电 话、个人数字助理(PDA)、膝上型计算机，或者其他无线通信设备。下面将详细描述，用户设 备100并入有用于向用户播放音频文件的音频播放器和用于向用户显示视觉内容的显示
ο无线网络20连接到分组数据网络(PDN)30。PDN 30优选地包含公共的广域网 (WAN)比如因特网。然而本领域的技术人员可理解的是，本发明可以在专用网或局域网 (LAN)中实施。多个网络服务器50连接到PDN 30。网络服务器50包括可通过PDN 30访问以托 管(host)可从远程计算机访问的站点的计算机。由网络服务器50托管的站点通常包括网 页、图像、视频及其他数字内容的集合。远程用户可以使用网络浏览器或安装在用户设备 100上的类似程序来访问由网络服务器50托管的站点的资源。用户设备100中的网络浏览 器以及网络服务器50通常使用某个协议，比如超文本传输协议(HTTP)在网络服务器50和 用户设备100之间传输信息。网络搜索引擎60也连接到PDN 30。网络搜索引擎60是一个被特别设计为在与PDN 30相连接的网络服务器50上搜索信息的搜索引擎。网络搜索引擎通常提供一个可由网络浏 览器访问的与其他任何网页方式相同的网络界面。网络搜索引擎60接受用户通过网络界面 而输入的查询内容并且以HTML页面方式返回满足该查询的搜索结果。该领域所公知的典型 搜索引擎包括谷歌搜索引擎、MSN搜索引擎、雅虎搜索引擎和AltaVista搜索引擎。在一些实施方式中，音乐识别服务器70也可连接到PDN 30。音乐识别服务器70 通过将从音频文件中采集的样本与数据库进行比较而能够识别音频文件。因此，当音乐识 别服务器70被提供一个音频样本时，它可以返回关于该音频文件的信息，比如演唱者、歌 曲名、专车耳名等ο根据本发明的实施方式，用户设备100响应于用户对音频文件的选择或播放而从 网络服务器50下载或播放视觉内容。当用户选择或播放音频文件时，其演唱者的姓名、歌 曲名、专辑名，或者其他与该音频文件有关的文字信息被用于发起经由网络搜索引擎60对 包含相关图像的可公开访问网页的搜索。相关图像例如可以包括专辑封面、演唱者表演图
6像、演唱会视频等。当网络搜索引擎60返回搜索结果时，用户的设备过滤该搜索结果，从一 个或更多个网络服务器50下载所选择的网页，从这些网页中提取图像并且将图像输出在 显示器上。图像可以被全屏显示或被转换为显示在背景中的壁纸。举一个例子，用户可以选择要播放的歌曲。如果该歌曲的曲名或者演唱者是已知 的，那么用户设备100可以连接到网络搜索引擎60并且向网络搜索引擎发起针对该演唱者 的图像或视频的搜索。此外，如果该歌曲是现场表演的记录，那么用户设备可以基于该演唱 会的日期和/或地点发起一个针对演唱了此歌曲的特定演唱会的图像或视频的搜索。除此 之外，如果巡回演唱会是已知的，那么用户设备也可以发起针对该巡回演唱会的图像或视 频的搜索。图2示出了根据本发明一个实施方式的动态下载并显示与正在播放的音频文件 有关的图像的示范方法。用户设备100，将在下面详细描述，包括媒体播放器120、控制处 理器102以及显示器110。媒体播放器120可以播放储存在存储器中的音频文件和/或来 自远程服务器的流音频。当用户选择要播放或流传送的音频文件时，媒体播放器120生成 由控制处理器102接收的触发信号。响应于该触发信号，控制处理器102激活网络浏览器 105。网络浏览器105反过来向网络搜索引擎60发送查询以发起针对包含相关图像的网页 的搜索。网络浏览器105可使用关于所选音频文件的描述信息，比如歌名、演唱者、专辑名， 或者其他可以制定查询的文本信息。在本发明的一些实施例中，这些描述信息可能包括可 以被提交到通过分组数据网络30访问的音乐识别服务器70上的音频文件的样本以获得之 后被用来制定一个查询的识别信息。网络搜索引擎60优选为可公共访问的网络搜索引擎，比如谷歌搜索引擎、MSN搜 索引擎、雅虎搜索引擎、AltaVista搜索引擎或者类似的搜索引擎。网络搜索引擎60返回 与用户设备100中的网络浏览器105的搜索标准相匹配的网页列表。在从网络服务器60 接收到网页列表之后，浏览器105可以应用过滤器来缩减由搜索引擎60返回的网页列表。 举例来说，过滤器可以被设计为排除“阻止”列表中的网页和/或包含“允许”列表中的网 页。在一些实施方式中，用户可以制定“偏好”网站列表。在这种情况下，过滤器可排除那 些“偏好”网站以外的所有网页。在某些情况下，网络搜索引擎60可允许搜索指定域。在 这种情况下，“偏好”列表可被用于制定一个仅从指定域返回结果的查询从而不需要在用户 设备100处的单独的过滤步骤，因为锅炉仅由网络搜索引擎来完成。在过滤了由网络搜索引擎60返回的网页列表之后，浏览器105根据一些预定标准 来对这些网页进行排序并且选择一个或更多个网页。例如，可以基于诸如相关性，通俗性， 内容分级等因素来对这些网页进行排序。在排序中，排序算法可以考虑多重标准。一旦网 页被排序，网络浏览器105就按照排列顺序来选择一个或更多个网页并且以传统的方式从 相应的网络服务器50下载网页。更具体来讲，网络浏览器105可向网络服务器50发送资 源请求，例如网络服务器50的统一资源定位符(URL)，以请求网络服务器50的资源。响应 于该资源请求，网络服务器50返回所请求的资源。网络浏览器105发送的资源请求可以包括对包含一个或更多个图像的网页的请 求。在这种情况下，网络浏览器105下载该网页并且从该网页中提取图像。在其他实施方 式中，资源请求可包括对特定图像的请求。在某些情况下，网络浏览器105可能需要发出多 重请求。举例来说，网络浏览器105接收的网页可能包括指向图像的链接。在这种情况下，网络浏览器105可以解析该网页的HTML以识别这些图像，并且发送额外的资源请求来下载 这些图像。在浏览器105下载了这些图像和/或从这些网页中提取了这些图像之后，控制 处理器102将这些图像输出到显示器106上。如果下载了多于一个图像，则可以按照顺序 以类似于幻灯片的方式将每个图像显示预定的时间。这些图像可以在用户桌面顶部的浏览 器窗口中全屏显示。如果选择了多于一个图像，则这些图像可以像幻灯片一样被显示。另 外，控制处理器102可以把这些图像转换成在背景中显示的壁纸。图3更详细地示出了用于下载和显示图像的示范用户设备。用户设备100包括控 制处理器102、存储器104、通信电路106以及用户接口 108。控制处理器102根据储存在存 储器104中的指示来控制用户设备100的整体运行。控制处理器102可包括一个或更多个 微处理器、微控制器、硬件电路，或它们的任意组合。存储器104包括用于存储控制处理器 102所需要的指令和数据的易失性和非易失性存储器。存储器104可包括一个或更多个存 储设备，可以是内部存储设备或外部存储设备。通信电路106使用户设备100能够与无线网络20进行通信。通信电路106可包 括，举例来说，根据任何已知或以后开发的标准来工作的全功能蜂窝收发器。示范收发器包 括执行GSM和WCDMA标准的收发器。通信电路106还可包括执行802. 11系列标准的无线 LAN收发器。用户接口 108使用户能够与用户设备100交互并控制用户设备100。用户接口 108包括显示器110、用户输入装置112、麦克风114以及一个或更多个扬声器116。显示器 110例如可以包括液晶显示器。用户输入装置112包括任何传统的输入装置，比如键盘、小 键盘、定点装置(如鼠标、触摸板等)、操纵杆或其他用户控件。在一些实施方式中，显示器 110可包括也起到用户输入装置112作用的触摸屏显示器。处理器102经由一个或更多个 用户输入装置112接收用户输入并且向显示器110输出供用户浏览的信息。麦克风114和扬声器116向用户设备100提供音频输入和输出的功能。麦克风 114检测可听声音并且将这些可听声音转换为可以被控制处理器102处理的音频信号。扬 声器116把从控制处理器102输出的音频信号转换为用户可听到的可听声音。举例来说， 扬声器116可以被用来播放存储在用户设备100中的或流传送的音频文件。图4示出了由用户设备100中的控制处理器102实施的增强用户音频播放体验的 示范方法。音乐增强特征可以由用户手动或者基于用户的选择由控制处理器102自动激 活。当用户选择一首歌曲进行播放或者当音频播放开始(块15 时该方法150发起。假 设音乐增强功能被激活。响应于用户选择或者音频播放的开始，控制处理器102确定相关 信息如歌曲名、演唱者、专辑名等(块154)。这样的信息可编码在正播放的音频文件中、存 储在用户设备100的数据库中，或基于所提供的音频样本从音乐识别服务器70中获取。控 制处理器102随后构建一个查询，连接到网络搜索引擎60，并且发起针对包含相关图像的 网页的网络搜索(块156)。作为响应，控制处理器102从包含一个或更多个图像的网络服 务器60接收网页列表(块158)。在某些实施方式中，控制处理器102过滤由网络服务器 60返回的网页(块160)。如上所述，过滤可基于预定的过滤列表，比如“阻止”列表、“允许” 列表，或“偏好”列表来进行。在其他实施方式中，可以使用“偏好”列表来构建原始列表， 从而无需在控制处理器102处过滤网页列表。控制处理器102基于预定标准，比如相关性、 通俗性、内容分级或它们的组合，对过滤之后留下的所有网页进行排序(块16 。一旦网页被排序，控制处理器102就按照排列顺序选择一个或更多个网页并且从所选择的网页中获 取图像(块164)。控制处理器102随后把所选择的网页输出到显示器上(块166)。在某 些实施方式中，图像可被显示在交叠的浏览器窗口中。如果选择了多于一个图像，则这些图 像可以像幻灯片一样被显示。在其他实施方式中，处理器可将图像转换为可以在背景中显 示的壁纸。以上被描述用来获取并且显示视觉内容的处理器也可被应用于音频被麦克风114 拾取的场合。举例来说，如果用户处于音乐正在播放的公共场合，则用户可以手动激活一种 音乐增强模式。在这种情况下，被麦克风114拾取的音乐可以被采样并且该采样被发送到 音乐识别服务器70。当音乐识别服务器70返回与正在播放的音乐有关的文本信息时，控制 处理器102可使用户设备100中的网络浏览器105发起如先前描述的图像搜索。当然，本发明可以这里阐述的未偏离本发明的范围和本质特征的那些其他特定方 式而被实施。因此，本发明的实施方式被认为是说明性的而非限制性的，并且是在附加的那 些权利要求所包含的等同范围和意义上的所有改变。
权利要求
1.一种在连网设备(100)的显示器(110)上显示与音频文件相关的图像的方法，该方 法包括以下步骤播放音频文件；识别与所述音频文件有关的文本信息； 访问公共网络搜索引擎(60)；向所述网络搜索引擎(60)提供基于所述文本信息的搜索标准并发起针对包含相关图 像的公共网页的搜索；从所述网络搜索引擎(60)接收包含相关图像的网页列表；以及 在所述音频文件被播放的同时在所述连网设备(100)的所述显示器(110)上显示这些 网页中的一个或更多个相关图像。
2.根据权利要求1所述的方法，其中，识别与所述音频文件相关的文本信息的步骤包 括从所述音频文件中捕捉音频样本并且基于所捕捉的音频样本来识别与所述音频文件相 关的文本信息。
3.根据权利要求1所述的方法，其中，识别与所述音频文件相关的文本信息的步骤包 括提取编码在所述音频文件中的文本信息。
4.根据权利要求1所述的方法，其中，所述文本信息包括演唱者、歌曲名以及专辑名中 的至少一个。
5.根据权利要求1所述的方法，该方法还包括以下步骤基于存储在存储器(104)中 的一个或更多个过滤列表对所述网络搜索引擎(60)返回的所述网页列表进行过滤，并且 基于所述过滤来选择要显示的图像。
6.根据权利要求5所述的方法，其中，对所述网络搜索引擎(60)返回的所述网页列表 进行过滤的步骤包括基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网页 列表进行过滤。
7.根据权利要求5所述的方法，该方法还包括以下步骤下载过滤之后留下的一个或 更多个网页，并且从所下载的网页中提取图像。
8.根据权利要求1所述的方法，该方法还包括以下步骤对所述网络搜索引擎(60)返 回的所述网页列表进行排序，并且基于所述排序来选择要显示的图像。
9.一种音频播放设备(100)，该音频播放设备包括 用于播放音频文件的媒体播放器(120)；显示器(110)；以及连接至所述媒体播放器(120)和扬声器(116)的控制处理器(102)，该控制处理器被配 置为识别与正在播放的音频文件有关的文本信息； 连接到公共网络搜索引擎(60)；向所述网络搜索引擎(60)提供基于所述文本信息的搜索标准并发起由所述网络搜索 引擎(60)进行的针对包含相关图像的公共网页的搜索；从所述网络搜索引擎(60)接收包含相关图像的网页列表；以及 在所述音频文件被播放的同时向所述音频播放设备(100)的所述显示器(110)输出所 述网络搜索引擎(60)返回的网页中的一个或更多个相关图像。
10.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(102)被配置 为通过从所述音频文件中捕捉音频样本并基于所捕捉的音频样本识别与所述音频文件有 关的文本信息，来识别与所述音频文件有关的文本信息。
11.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(10 被配置 为通过提取编码在所述音频文件中的文本信息来识别与所述音频文件相关的文本信息。
12.根据权利要求9所述的音频播放设备(100)，其中，所述文本信息包括演唱者、歌曲 名以及专辑名中的至少一个。
13.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(10 还被配 置为基于存储在存储器(104)中的一个或更多个过滤列表对所述网络搜索引擎(60)返回 的所述网页列表作进一步的过滤，并基于所述过滤来选择要显示的图像。
14.根据权利要求13所述的音频播放设备(100)，其中，所述控制处理器(10 还被配 置为基于允许列表、阻止列表以及偏好列表中的至少一个来对所述网络搜索引擎(60)返 回的所述网页列表进行过滤。
15.根据权利要求13所述的音频播放设备(100)，其中，所述控制处理器(10 还被配 置为下载过滤之后留下的一个或更多个网页，并且从所下载的网页中提取图像。
16.根据权利要求9所述的音频播放设备(100)，其中，所述控制处理器(10 还被配 置为对所述网络搜索引擎(60)返回的所述网页列表进行排序，并且基于所述排序来选择 要显示的图像。
全文摘要
一种音频播放设备(100)和方法搜索发起针对与正在播放的音乐或其他音频文件相关的图像的网络搜索，从搜索引擎(60)返回的选定网页下载图像，并且在显示器(110)上输出所选网页中的一个或多个图像以增强用户的听觉体验。
文档编号G06F17/30GK102099804SQ200880130419
公开日2011年6月15日 申请日期2008年10月14日 优先权日2008年7月18日
发明者威廉姆·坎普, 斯滕·米诺尔, 本特·斯塔韦诺, 比约恩·马丁·贡纳尔·林德奎斯特, 罗纳德·路克斯, 雅各布·科内利斯·哈特森 申请人:索尼爱立信移动通讯有限公司