使用用户反馈来改善搜索结果的制作方法

专利名称：使用用户反馈来改善搜索结果的制作方法
使用用户反馈来改善搜索结果
扭旦 冃尔
各种产品和服务通过公众的评论、建议、以及反馈随着时间不断发展和改 善。因为是公众定期地使用这些产品和服务，并且公众能够注意到产品或服务 中可能需要改正的大多数缺陷，所以公众可以是一良好的反馈源。
有许多对于公众可用的、能够为一作出请求的用户搜索大范围的信息的搜 索服务。许多这些搜索服务都是基于被用来针对用户的搜索请求找出最相关的 搜索结果的各种不同的算法。然而，这些算法并不总是完美的，并且可能并不 总是提供针对用户搜索请求的最好的搜索结果。另外，因为每个人的需求和喜 好是不相同的，所以针对一特定搜索查询的一搜索结果集对于一个人来说可能 足够了，然而，针对同一搜索査询的相同搜索结果对于另一个人来说就可能不 够。搜索服务因此可以是能够从接受用户评论和反馈中获益的另一种服务。因 为公众自己的反馈可用来提供对公众想要什么的更好的理解而不是只是依靠 算法来提供结果，所以将用户反馈纳入提供搜索结果的搜索服务的方法可导致 更好以及更多的相关搜索结果。
概要
提出了一种用于管理将要被用来排列搜索结果的反馈数据的系统和方法。 该系统和方法公开了从多个用户汇集反馈数据的元素，其中，该反馈数据可采 用未结构化的或结构化的格式。此外，该系统和方法公开了将反馈数据与一个 或多个文档相关联。另外，该系统和方法能够基于反馈数据排列一个或多个文 档。而且，该系统和方法能够提供经排列的一个或多个文档作为对搜索请求的 搜索结果。
提供本概要以便用简化的形式介绍将在以下详细描述中进一步描述的一 些概念。本概要并不旨在标识出所要求保护的主题的关键特征或必要特征，也 不旨在用于帮助确定所要求保护的主题的范围。
附图简述


图1示出了用于实现本发明的一个系统的实施例；
图2示出了用于管理能够被用来排列搜索结果的反馈数据的一种方法的实 施例；
图3示出了用于提供对于一个或多个文档的反馈的一种方法的实施例
详细描述
图l示出了用于实现本发明的一个系统的实施例。客户机102可以是执行 包括web浏览、搜索、电子邮件(email)以及其他任务、应用程序以及功能 在内的各种任务的台式或膝上型计算机、启用网络的蜂窝电话(具有或没有媒 体捕捉/回放能力)、无线电子邮件客户机、或其他客户机、机器、设备、或其 组合。客户机102还可以是任何便携式媒体设备，诸如数字照相机设备、数字 摄像机(具有或没有静止图像捕捉功能)、诸如个人音乐播放器以及个人视频 播放器等的媒体播放器、以及任何其他便携式媒体设备。
服务器104可以是或可以包括运行Microsoft Windows 、 MacOSTM、 Unix、 Linux 、 Xenix 、 IBM AIXTM、 Hewlett-Packard UXTM、 Novell Netware 、 Sun Microsystems Solaris 、 OS/2 、 BeOSTM、 Mach、 Apache、 OpenSt印TM或其他 操作系统或平台的工作站。在一实施例中，客户机102也可以是服务器。
客户机102可包括通信接口。该通信接口可以是允许客户机102直接连接 到任何其他客户机或设备或允许客户机102通过网络106连接到客户机、服务 器、或设备的接口。网络108可包括，例如，局域网(LAN)、广域网(WAN)、 或因特网。在一实施例中，客户机102可通过无线接口连接到另一客户机、服 务器、或设备。
图2示出了用于管理能够被用来排列搜索结果的反馈数据的一种方法的实 施例。在一实施例中，搜索引擎可被用作能够管理这些反馈数据的服务器。该 搜索引擎可包括可以是例如倒排索引的索引。在步骤202，搜索引擎能够从一 个或多个用户汇集一个或多个反馈数据元素。该反馈数据可以是与一文档相关 联的、从用户接收到的任何类型的信息。在一实施例中，该反馈数据可用于根
据与相应的搜索查询的相关度来对一文档进行评级，其中，该搜索査询可包括 至少一个搜索项。在另一实施例中，该反馈数据可大体描述用户对于一特定文 档的感受。在这样的实施例中，该反馈数据能够描述用户有多么满意或有多么 不满意该文档。文档可以是，例如，网页、任何类型的多媒体内容、或能够被 搜索引擎索引的任何类型的内容。在一实施例中，文档能够作为搜索结果来呈 现给用户。
在步骤204，所汇集的反馈数据能够与一个或多个文档相关联。在一实施 例中，用户能够以一结构化的格式将反馈数据发送到搜索引擎。在创建一结构 化的格式时，搜索引擎能够向用户呈现一用户界面(UI)，该搜索引擎可在其 中定义它想从该用户收到什么类型的信息。例如，搜索引擎能够创建一 UI， 该搜索引擎可在其中请求用户通过以数值范围1-5来对文档进行评级来提供关 于一特定文档的反馈数据，其中5可以是对于该文档最喜欢的等级，而l可以 是最不喜欢的等级。另一个示例可向用户呈现一 UI，用户可在其中从对应于 文档的预定文本描述的任何数量的按钮中进行选择。该文本描述能够描述该用 户有多么满意或有多么不满意该文档。例如，该UI可包含用户可选择作为关 于一特定文档的反馈数据的项，诸如"可能是最好的"、"好"、"一般"、 "差"、"可能是最差的"。在又一个示例中，搜索引擎可向用户呈现一 UI 并且要求该用户通过对搜索结果中的文档重新排序来显示该用户相信哪些文 档比其他文档与其搜索请求更相关来提供反馈数据。本发明能够使用可提供允 许用户对文档重新排序的传统手段的客户侧脚本语言。例如，用户可点击和拖 拽表示文档的图标、图像、或链接到其他文档的其他图标、图像或链接上方或 下方，来创建根据相关度的升序或降序重新排序的文档列表。
在用于以预定方式接收反馈数据的任何类型的结构化格式中，因为搜索已 经知道它会从用户接收到什么类型的信息，所以该搜索引擎能够将反馈数据与 特定文档相关联。另外，如果反馈数据是对被包括在由搜索引擎提供的搜索结 果列表中的文档的响应，则该搜索引擎能够将对应于搜索结果的搜索査询、反 馈数据、以及文档彼此关联起来。
在另一实施例中，用户能够以一未结构化的格式将反馈数据发送到搜索引 擎。在为该用户创建未结构化的格式以便发送反馈数据时，搜索引擎能够向该
用户呈现一 UI，该用户可在其中自由地输入能够揭示用户关于一特定文档的
感受的任何类型的信息。例如，搜索引擎能够呈现一 UI，包括用户可在其中
输入作为关于一特定文档的反馈数据的他/她所具有的任何评论的文本框。
在一实施例中，因为反馈数据是响应于搜索引擎在接收到搜索査询后提供 的从搜索引擎接收到的搜索结果而提供的，所以反馈数据可直接与搜索查询相 关。例如，反馈数据可被链接到搜索体验，其中，用户能够提供可与搜索引擎 作为对于该用户的搜索查询的搜索结果而提供的网页相关联的反馈数据。因为 反馈数据被链接到搜索引擎为其提供搜索结果的搜索査询，所以搜索引擎能够 将反馈数据与特定文档和搜索査询相关联。
在另一实施例中，反馈数据可以不直接与搜索查询相关，并且搜索引擎可 能不能够将反馈数据直接链接到文档或搜索查询。事实上，用户能够提供不是 直接与搜索体验有关的反馈数据。更具体而言，用户能够通过联系搜索引擎、 连接到搜索引擎的独立服务器，或通过联系管理搜索引擎的实体来提供反馈数 据。例如，用户可将能够描述其关于当进行一搜索请求时接收到的一特定搜索 结果的感受的电子邮件作为反馈数据发送给搜索引擎或独立服务器，或者该反 馈数据能够大体描述该用户关于一特定文档的感受。在另一个示例中，用户可 呼叫管理搜索引擎的实体，并能口头地提供能够描述其对于当进行搜索请求时 接收到的一特定搜索结果的感受的的反馈数据，或者该反馈数据同样能够大体 描述该用户对于一特定文档的感受。该实体然后可以使用常规的语音一文本软 件来将语音转换成文本。在又一个示例中，搜索引擎或独立服务器能够检索可 在因特网上的博客上找到的反馈数据。在每个示例中，搜索引擎或独立服务器 可使用常规的解析算法来解析该文本以将反馈数据与一特定文档以及也可能 一搜索査询相关联。
在步骤206，搜索引擎可在其索引中存储汇集的反馈数据。该索引也可以 是例如倒排索引。在一实施例中，在步骤204处彼此相关联的反馈数据、 一个 或多个文档、以及搜索查询可以一起被存储在索引中。在另一实施例中，反馈 数据可被存储在与被搜索引擎从网络上索引的其他内容分开的索引中。
在步骤208，搜索引擎可基于其接收到的反馈数据来排列存储在其索引中 的一个或多个文档。反馈数据可以是被用来为与该反馈数据相关联的类似搜索
査询提供更好的搜索结果的多个特征中的一个特征。例如，从因特网上找到的 文档中索引的文本可以是用来确定对特定搜索查询的搜索结果的排序的一个 特征。另一个特征可以是从该用户反馈数据中接收到的文本。又一个特征可以 是从一文档的标题中特别发现的文本。此外，再一个特征可以是文档的大小与 在该文档中发现一特定单词的次数的比值。应当注意，任何类型的特征可用来 确定怎样排列一个或多个文档。上述的特征只是可用来确定怎样排列某些文档 的各种类型的特征的子集，因此，本发明不应仅限于那些示例。
当为一特定搜索查询排列多个文档时，搜索引擎可被配置成强调在反馈数 据中发现的单词比在任何其他特征的上下文中发现的单词要来得重要。例如， 搜索引擎可强调包含一特定单词的反馈数据比在其中包含该相同单词十次的
文档重要三倍。为了帮助其本身确定一单词相对于其从中发现的特征的重要 性，搜索引擎可对搜索査询的特定单词附加不同的标识符，该标识符可在单词 在搜索引擎中被索引后通知搜索引擎该单词来自于哪里。例如，搜索引擎可使 用表明该单词来自于文档标题的标识符、表明该单词来自于文档正文的标识
符、或表明其来自于反馈数据的标识符。
在其他实施例中，包括文档的搜索结果可基于一特定特征中的单词的上下 文的比较来排列。例如，朝着反馈数据的一特定项目的顶部发现的单词比在相 同的反馈数据元素中发现该单词的次数更重要。相同的示例可被应用于文档， 其中，在该文档中发现一个单词的次数比在该文档中何处发现该单词更重要。 配置搜索引擎来强调某些特征的方法可确定搜索引擎随后将如何鉴于所接收 到的反馈数据来排列并为类似的搜索查询提供搜索结果。 一旦一个或多个文档
已被排列，在步骤210，搜索引擎能够为类似的搜索査询提供对应于该已经与 特定反馈数据相关联的搜索查询的经排列的文档。
存储在搜索引擎的索引中的反馈数据可具有一生命期或折旧速率。例如， 在一实施例中，本发明可被配置为相比于旧的反馈数据更强调在更接近于从用 户接收到搜索请求的时候的时刻所接收到的反馈数据。在另一实施例中，反馈 数据的折旧速率可根据该反馈数据所对应的文档的爬寻(crawl)率而改变。例 如，如果例如文档、网页具有一高爬寻率，意味着在该网页上发现的数据经常 被搜索引擎索引(例如每小时)，则与那个网页相关联的反馈数据能够以与该
网页被索引相同的速率变陈旧和不重要。反馈数据的折旧度则可成为用于确定 如何鉴于反馈数据来排列一个或多个文档的另一个特征。然而，在另一实施例 中，具有一高爬寻率的文档可被认为比具有更低爬寻率的其他文档重要得多。 在这一实施例中，与具有高爬寻率的文档相关联的所接收到的任何类型的反馈 数据也可被认为是重要的并且能够成为用于确定如何鉴于该反馈数据来排列 一个或多个文档的另 一个特征。
图3示出了用于为一个或多个文档提供反馈的方法的一实施例。在步骤
302，可将对应于用户最初提交的搜索査询的搜索结果的第一文档列表呈现给 该用户。在步骤304，该用户可启动发送与搜索结果中的一个或多个文档相关 联的反馈数据的响应。如前所述，可将用于输入对于一个或多个文档的反馈数 据的UI呈现给用户。该用户能够以如以上详述的结构化或未结构化的格式来 输入该数据。可能有用于启动发送反馈数据的响应的许多不同的方法。在一个 实施例中，用户可点击表示文档的图像、图标、或链接以触发UI呈现给该用 户来输入反馈数据。在另一实施例中，用户可将其鼠标光标悬停在能够触发 UI呈现给用户以输入反馈数据的图像、图标、或链接上。在又一实施例中， 当检测到会触发显示UI的事件时，该UI能够在可被定位于包含搜索结果的文 档的窗口的侧面的侧窗格中显示。
在一实施例中，在步骤306处搜索引擎可接收反馈数据。在另一实施例中， 在步骤306处可提供一客户端应用程序来接收反馈数据。在这两个实施例中， 搜索引擎和客户端应用程序能够立即基于所接收到的反馈数据来创建数据项。
数据项可以是包括一个或多个不同文档或第一文档列表的经重新排序的版本 的第二搜索结果列表。另外，数据项可以是能够确认搜索引擎或客户端应用程 序接收到反馈数据的通告。当数据项是第二搜索结果列表时，在步骤308处客 户端应用程序或搜索引擎能够在其从用户接收到反馈数据时立即显示该第二 列表。客户端应用程序可包括能够提供允许用户对第一搜索结果列表中包括的 文档进行重新排序或重新排列的常规手段的脚本语言。例如，用户能够点击和 拖拽表示文档的图标、图像、或链接到其他文档的其他图像、图标、或链接上 方或下方，来创建根据相关度的升序或降序重新排序的文档列表。 一旦用户重 新排序或重新排列了文档，客户端应用程序能够立即显示第二搜索结果列表。
或者，搜索引擎能够接收反馈数据，完成如图2中所讨论的步骤204-208，并 且能够鉴于所接收到的反馈数据来显示第二搜索结果列表。
在一实施例中，客户端应用程序能够允许用户在客户机上存储能够与反馈 数据一起使用的偏好以允许搜索引擎提供对应于该用户的偏好和反馈数据的 搜索结果。例如，用户能够定制其机器来通知搜索引擎他/她希望新闻内容、体 育内容、视频内容、或图像内容比任何其他类型的内容具有更高的排名。另外， 客户端应用程序能够向搜索引擎通知能够与反馈数据一起使用来提供相关搜 索结果的该用户机器的特定物理特性。例如，客户端应用程序能够通知搜索引 擎该用户的机器是一移动设备。该搜索引擎可能具有某些经索引的文档，该文 档是为移动设备更好地格式化的并且该搜索引擎能够鉴于该用户的反馈数据 将其作为搜索结果发送到该用户。
虽然已在此详细示出并描述了本发明的具体实施例，但应该理解，也可对 本发明做出各种改变和修改而不背离本发明的范围和意图。此处所描述的实施 例在所有方面都旨在说明性而非限制性的。没有背离本发明范围情况下的本发 明的各替换实施例对本领域技术人员将变得显而易见。
从前述内容可知，本发明很好地适用于实现前述的所有目的和目标，并且 具有对于该系统和方式是显而易见的和固有的其他优点。也可理解特定的特征 和子组合是有用的并且可以加以利用而无需参考其他特征和子组合。这是可预 期的并且是在所附权利要求的范围中的。
权利要求
1.一种用于管理将被用来排列搜索结果的反馈数据的方法，所述方法包括从多个用户汇集一个或多个反馈数据元素；将所述一个或多个反馈数据元素与一个或多个文档相关联；基于所述一个或多个反馈数据元素来排列所述一个或多个文档；以及提供所述经排列的一个或多个文档。
2. 如权利要求1所述的方法，其特征在于，还包括将一搜索査询与所述 一个或多个反馈数据元素以及所述一个或多个文档相关联。
3. 如权利要求1所述的方法，其特征在于，所述一个或多个反馈数据元 素是以未结构化的格式接收的。
4. 如权利要求l所述的方法，其特征在于，还包括接收搜索请求，其中， 在排列所述一个或多个文档时，相比于较旧的反馈数据，更多地强调在更接近 于接收到所述搜索请求的时候的时刻所接收到的反馈数据。
5. 如权利要求4所述的方法，其特征在于，还包括基于所述一个或多个 文档被索引的频率来强调所述反馈数据，其中，当所述反馈数据对应于比其他 文档更频繁地被索引的文档时，所述反馈数据被更多地强调。
6. 如权利要求1所述的方法，其特征在于，还包括通过标识所述反馈数 据中的一个或多个单词的位置来排列所述文档。
7. 如权利要求1所述的方法，其特征在于，所述反馈数据被存储在一倒 排索引中。
8. 如权利要求1所述的方法，其特征在于，所述反馈数据不与搜索请求相关联。
9. 如权利要求1所述的方法，其特征在于，所述文档是基于所述反馈数 据以及作出请求的设备的物理特性来排列的。
10. —种管理将被用来排列搜索结果的反馈数据的方法，所述方法包括 接收一个或多个反馈数据元素，所述一个或多个反馈数据元素是未结构化的格式；将所述一个或多个反馈数据元素与一个或多个文档相关联； 基于所述一个或多个反馈数据元素来排列所述一个或多个文档；以及 提供所述经排列的一个或多个文档。
11. 如权利要求10所述的方法，其特征在于，还包括将一搜索查询与所 述一个或多个反馈数据元素以及所述一个或多个文档相关联。
12. 如权利要求IO所述的方法，其特征在于，还包括通过标识所述反馈 数据中的一个或多个单词的位置来排列所述文档。
13. 如权利要求10所述的方法，其特征在于，所述反馈数据不与搜索请 求相关联。
14. 一种用于管理将被用来排列搜索结果的反馈数据的方法，所述方法包括接收搜索査询；基于所述搜索査询以及至少一个反馈数据元素来排列多个文档，所述反馈 数据与至少一个文档相关联；提供所述多个经排列的文档。
15. 如权利要求14所述的方法，其特征在于，所述一个或多个反馈数据元素是以结构化的格式接收的。
16. 如权利要求14所述的方法，其特征在于，所述一个或多个反馈数据 元素是以未结构化的格式接收的。
17. 如权利要求14所述的方法，其特征在于，所述反馈数据不与搜索请 求相关联。
18. 如权利要求14所述的方法，其特征在于，还包括通过标识所述反馈 数据中的一个或多个单词的位置来排列所述文档。
19. 如权利要求14所述的方法，其特征在于，还包括提供关于所述至少 一个反馈数据元素的折旧速率。
20. 如权利要求19所述的方法，其特征在于，所述折旧速率是根据所述 多个文档中的至少一个的爬寻率而改变的。
全文摘要
本发明公开了用于管理将用来排列搜索结果的反馈数据的系统和方法。本发明能够将来自多于一个用户的多个用户反馈数据汇集到搜索索引中。用户反馈数据能够与索引中的一个或多个文档相关联以使得该一个或多个文档能够基于所汇集的反馈数据的类型来排列。一旦文档已被排列，就能够向请求者提供该经排列的文档。
文档编号G06F17/30GK101375281SQ200780003872
公开日2009年2月25日 申请日期2007年1月10日 优先权日2006年1月31日
发明者H·J·威廉姆斯, J·H·法拉歌, J·戴, N·J·梅内赛斯, R·纳姆, S·萨特 申请人:微软公司