专利名称：分布式搜索方法、体系结构、系统及软件的制作方法
技术领域：
本发明的各种实施例涉及信息检索系统和知识管理系统，更具体地涉及 这类系统中的分布式搜索功能。
背景技术：
现代计算机联机信息提供商通常需要搜索大量数据的能力。例如，美国 法律体系以及全球的一些其它法律体系极大地依靠书面司法意见、法官的书
面判决来表达或解释控制争端解决的法律。因此，我们的法律体系中的法官 和律师一直在搜索不断扩充的大量过往意见或判例法，以便获取与新争端的
解决或预防最相关的意见或判例法。找到的案例经过关联性研究，最终在文 档中引述和论述，称作工作成果，例如，它为法庭诉讼辩护、对相似的法庭 诉讼向客户进行建议或者在特定权限中关于法律状况指导客户和律师。
另外，知识管理系统、文档管理系统和其它联机数据提供商通常需要来 变化的数据集的信息。太拉字节范围的数据集不再罕
见。例如， 一些系统可利用包含大约1.2太拉字节的唯一数据的公开记录以 及包括大约20千兆字节(GB)的唯一数据的税务和会计(TA)数据。在先前系统 中，由于系统通常仅可存储唯一公开记录数据的百分之五而出现问题。此外， 系统对于唯一 TA数据过大，它通常与其它数据提供商共享服务器空间。 数据集和系统大小的这类差异对搜索引擎性能、尤其对于与企业服务器
实现相关的搜索引擎性能有影响(包括固有可用性问题)。例如，如果在系统 的CPU中发生存储器故障，则系统在排除故障之前通常无法运行搜索服务， 以及故障转移机制是有问题的。由于搜索服务通常是存储器密集的，并且没 有束縛于CPU，因此，解决这些故障问题浪费资源。
此外，有时，如果数据页面在文件系统高速緩存中不可用，查询处理迫 使搜索引擎访问盘以找到数据页面。虽然在一些情况下，如果数据集小到足 以完全保存在RAM中，则通常可在文件系统高速緩存中找到数据，但情况 往往是，数据集很大，使得查询处理往往在盘级而不是在文件系统高速緩存 级发生。此外，当前体系结构通常没有确保同一个搜索引擎会一致地处理相 同的数据，这消除了搜索引擎高速緩存的优势。
因此，本发明人已经认识到，需要提供联机传送平台中的搜索功能的更 好的系统、工具及方法。
发明内容
为了满足这个和/或其它需求，本发明人设计了为律师事务所和其它企业 中使用的联机传送平台提供分布式搜索功能的新颖系统、方法和软件。例如， 系统、方法及软件的一个方面提供多个数据集。数据集可包含对其它数据集 的索引。至少一个搜索引擎与各数据集关联。接收搜索请求的系统根据搜索 请求中涉及的数据集来确定哪些搜索引擎被用来处理搜索请求。然后，搜索 请求被转发给所识别的搜索引擎。
值得注意的是，示范实施例提供一种搜索功能，它分布在多个搜索引擎 之中，其方式是，搜索数据很可能被高速緩存在可用RAM中，从而避免代 价高的盘搜索。
图1是与本发明的一个或多个实施例对应的示范分布式搜索系统100的框图。
图2是框图，提供对于与本发明的一个或多个实施例对应的示范分布式 搜索系统200的更详细i兌明。
图3是与操作实施本发明的示范分布式搜索系统及关联组件的一个或多 个示范方法对应的流程图。
具体实施例方式
以下结合附图和所附权利要求的描述描述和/或说明 一个或多个发明的 一个或多个示范实施例。足够详细地表示和描述了这些实施例，以便使本领 域的技术人员能够实施和使用本发明，提供这些实施例只是为了举例说明和 讲授本发明而非限定。因此，在需要避免使一个或多个发明难以理解的情况 下，描述可能省略相关领域的技术人员已知的某些信息。
示范信息系统
图1说明结合本发明的一个或多个理论的示范分布式搜索系统100。系 统100包括搜索控制器102、消息交换机104、搜索引擎106、网络连接存储 器(NAS)llO以及可通信地把搜索引擎106耦合到NAS 110的网络108。上述 組件可分布在一个或多个服务器计算机之中。在一些实施例中，服务器计算 机包括Sun Microsystems, Inc.制造的基于刀片的服务计算机。但是，在备选 实施例中，可采用基于Intel处理器体系结构的服务器。
搜索控制器102 "收听"搜索请求。利用"分割-合并"引擎，搜索控制 器接收请求，并将它们分为成分请求(由搜索引擎106提供服务)。从搜索引 擎106接收到响应时，搜索控制器合并响应，并将其发送给请求方。可对于 组成数据收集或收集集合或者从其中产生的各种数据集进行在程序设计上称 作"搜索引擎请求，，的分割请求。在一些实施例中，数据集包括对数据收集 或收集集合的索引的一部分(称作"索引集")。
消息交换机104用于把消息从搜索控制器102路由到一个或多个搜索引 擎106。消息可包含将由一个或多个搜索引擎106执行的搜索请求。在本发 明的一些实施例中，消息交换机104提供Java消息服务(JMS)接口。此外，
在一些实施例中，可采用诸如可向IBM Corp.购买的MQ消息传输系统之类 的消息排队软件来路由消息。但是，本发明没有任何实施例浮皮认为局限于特 定的消息路由系统，在备选实施例中，可采用Sonic Software Corporation的 SonicMQ消息排队软件。
在一些实施例中，搜索引擎106包括Java "包装机"，它对于服务器搜 索和解决的数据进行预处理和后处理。在一些实施例中，这个处理可通过Java 本地接口来执行。搜索引擎106接收"搜索引擎请求"成分和特定"索引集"， 并使得对于请求指定的"索引集"执行搜索。
要搜索的数据集可能驻留于可通信地通过网络108耦合到搜索引擎106 的网络连接存储器110。网络连接存储器可以是通过网络可访问的任何类型 的存储装置。这种网络连接存储器的实例是本领域已知的，并且包括文件服 务器、存储服务器和其它网络连接存储^某体。
网络108可以是能够支持数据通信的任何类型的有线或无线网络。在本 发明的一些实施例中，网络108包括专用千兆位以太网网络。但是，本发明 没有任何实施例^皮认为局限于特定的网络类型。
搜索引擎106可在安装了 Linux OS的普通Intel系统中运行。在一些实 施例中，可通过网络文件系统(NFS)协议从网络连接存储器(NAS)服务器110 来访问"索引集，，的数据。当初始查询进入搜索引擎时，对搜索引擎提供满 足搜索查询所需的"索引集"名称和文件名。
搜索引擎106可向NAS服务器110进行NFS调用，并请求那些文件的 数据。这个数据通常是静态的，并且被高速緩存在NFS客户机系统中。随后， 当搜索引擎访问它的已分配"索引集"的数据时，它可为文件信息向NFS服 务器进行元目录调用。搜索引擎1-6从本地RAM高速緩存中读取数据页面， 这允许查询条件的RAM速度搜索。
图2提供结合本发明的一个或多个理论的示范分布式搜索系统200的更 详细说明。系统200包括以上参照图1所述的组件，另外还包括产品/客户机 202、资源管理器206和联机传送平台代理208。
产品/客户机202可以是任何客户机软件模块，它采用根据本发明的实施 例的理论所提供的分布式搜索功能性。这类软件包括浏览器、文档管理系统、 知识管理系统、文档检索系统、判例法检索系统等。产品/客户机202向消息
交换机104发出一个或多个搜索请求，消息交换机104根据搜索请求中的数 据把请求路由到服务控制器。
联机传送平台(ODP)代理进程208在服务器、如搜索控制器102和搜索 引擎106中启动进程，并监测和管理这些进程。在一些实施例中，ODP代理 进程208还跟踪各个进程，并向公告板数据库才良告其处理状态。此外，在一 些实施例中，ODP代理进程208当存在故障或者"长事务处理"条件时重新 启动搜索控制器或搜索引擎。ODP代理208 4支看作是运行ODP环境的宿主 代理进程。
当系统启动时，服务器上的ODP代理208启动和查询把ODP代理208 分配给代理管理器(未示出)的引擎的(预先配置的)资源管理器206。代理管理 器包含有关域中的代理和搜索引擎的信息，并且可对查询它的ODP代理208 动态分配工作负荷。在一些实施例中，代理管理器包括LDAP(轻型目录访问 协议)代理。在一些实施例中，对搜索引擎分配具有与搜索引擎106关联的"索 引集"的名称对应的名称的消息队列。
在一些实施例中，如果搜索引擎106出故障，则其代理将检测出故障引 擎并使它重新启动。在搜索引擎出故障时所处理的查询可能丟失，以及控制 器请求"出错"。(一些实施例可能把出故障查询的副本传递到对主题索引集 操作的另一个搜索引擎。)但是，出故障搜索引擎106可重新启动，使得新的 查询可无延迟地纟皮处理。
在一些实施例中，如果搜索引擎系统遇到CPU、 RAM或其它硬件故障， 则消息交换机代理检测"索引集"队列没有为它提供服务的进程。代理立即 警告代理管理器重新分配搜索引擎，以便为那个"索引集"队列提供服务。
各种实施例的示范系统设计结合部署普通系统以及在引导过程期间"学 习"它在分布式搜索体系结构中的角色的固定OS影像。系统的弹性包容进 程或硬件故障，以及它的灵活性允许对出故障组件的附加资源的分配。
此外，在一些实施例中，为故障转移分配的附加资源不是"空闲"(等待 故障转移)。如果检测到处理瓶颈，它们可作为"工作负荷处理机"来部署， 从而提供附加处理。这种工作负荷可通过消息交换机104或ODP代理208 来4企测，它可对每个"索引集"队列的工作负荷冲莫式进行4企测和才良告。
另外，各种实施例的示范体系结构有助于"懒监测"方案。组件故障不
需要立即被检测及修复。当灾难性事件发生时，可出现检测和通知，但修复 组件可在任何时间发生，只要存在可用于承担其工作负荷的附加资源。 示范操作方法
图3说明操作信息管理系统、如系统100的一个或多个示范方法的流程 图300。流程图300包括框310-340，它们在示范实施例中以顺次执行序列来 排列及描述。但是，其它实施例可采用多个处理器或类似处理器的装置或者 组织成两个或两个以上虚拟机或子处理器的单一处理器来并行执行两个或两 个以上框。其它实施例还改变过程序列或者提供不同的功能划分来得到类似 结果。此外，又一些实施例把这些框实现为两个或两个以上互连的硬件模块， 其中的相关控制和数据信号在模块之间或者通过模块传递。因此，示范过程 流适用于软件、硬件和固件实现。
在框310,示范方法以提供一个或多个数据集开始。在一些实施例中， 数据集包括对数据收集或数据收集集合的索引的一些部分。索引可根据数据 库索引的范围来划分，其中每个范围包含一个数据集。然后，数据集存储在 存储装置、如NAS 110中。
框320需要接收搜索请求。在框330，搜索请求经过分析以确定要求哪 些数据集。
在框340,搜索请求则^皮转发到与框330中识别的数据集对应的搜索引 擎。在本发明的一些实施例中，搜索请求通过消息队列转发给搜索引擎。此 外，在一些实施例中，向与特定搜索引擎关联的消息队列提供与配置用于搜 索引擎的"索引集"相同的名称。
结论
上述实施例只是用于说明和讲授实施和使用本发明的一种或多种方式， 而不是限制其广度或范围。包舍实施或实现本发明的理论的全部方式的本发 明的实际范围仅由一个或多个已发布专利权利要求及其等效物来定义。
权利要求
1. 一种包括多个数据集和多个搜索引擎的联机搜索系统，其中，每个数据集具有分配给所述数据集的所述多个搜索引擎中的至少一个。
2. 如权利要求l所述的系统，其特征在于，还包括多个服务器，其中，各月良务器容纳所述搜索引擎中的至少 一个。
3. 如权利要求2所述的系统，其特征在于，各服务器包括一个或多个处 理器以及关联的Linux操作系统。
4. 如权利要求1所述的系统，其特征在于，还包括可用于向所述多个搜 索引擎分配搜索请求的多个搜索控制器。
5. 如权利要求4所述的系统，其特征在于，还包括可用于在所述多个搜 索控制器与所述多个搜索引擎之间路由搜索请求的消息服务器。
6. 如权利要求5所述的系统，其特征在于，所述消息服务包括JAVA消 息服务。
7. 如权利要求5所述的系统，其特征在于，搜索请求^L路由到消息队列。
8. 如权利要求7所述的系统，其特征在于，所述消息队列由IBM/MQ消 息队列软件的 一种版本来提供。
9. 如权利要求1所述的系统，其特征在于，所述数据集中的每一个包含 对数据收集的索引的一部分。
10. —种用于执行搜索的方法，包括 提供多个数据集； 接收搜索请求；响应所述搜索请求而识别要搜索的所述多个数据集中的至少一个数据 集；以及把所述搜索请求发送给多个搜索引擎中的至少一个搜索引擎，所述搜索 引擎具有与所述至少一个数据集的关联。
11. 如权利要求10所述的方法，其特征在于，所述数据集包^^对数据收 集的索引的一部分。
12. 如权利要求IO所述的方法，其特征在于，发送所述搜索请求包括把 所述搜索请求放入消息队列。
13. 如权利要求12所述的方法，其特征在于，与所述消息队列关联的标 识符和与所述数据集关联的标识符相同。
14. 如权利要求IO所述的方法，其特征在于，还包括分割所述搜索请求 以便发送给多个所述搜索引擎。
15. —种机器可读媒体，其中具有用于运行执行搜索的方法的指令，所 述方法包括提供多个数据集； 接收搜索请求；响应所述搜索请求而识别要搜索的所迷多个数据集中的至少一个数据 集；以及把所述搜索请求发送给多个搜索引擎中的至少一个搜索引擎，所述搜索 引擎具有与所述至少一个数据集的关联。
16. 如权利要求15所述的机器可读纟某体，其特征在于，所迷数据集包含 对数据收集的索引的一部分。
17. 如权利要求15所述的机器可读纟某体，其特征在于，发送所述搜索请 求包括把所述搜索请求放入消息队列。
18. 如权利要求17所述的机器可读媒体，其特征在于，与所述消息队列 关联的标识符和与所述数据集关联的标识符相同。
19. 如权利要求15所述的机器可读媒体，其特征在于，还包括分割所述 搜索请求以便发送给多个所述搜索引擎。
20. —种用于执行搜索的系统，所述系统包括 用于提供多个数据集的部件； 用于接收搜索请求的部件；用于响应所述搜索请求而识别要搜索的所述多个数据集中的至少一个 数据集的部件；以及用于把所述搜索请求发送给多个搜索引擎中的至少一个搜索引擎的部 件，所述搜索引擎具有与所述至少一个数据集的关联。
21. 如权利要求20所述的系统，其特征在于，所述数据集包含对数据收 集的索引的一部分。
22. 如权利要求20所述的系统，其特征在于，用于发送所述搜索请求的部件包括把所述搜索请求放入消息队列。
23. 如权利要求22所述的系统，其特征在于，与所述消息队列关联的标 识符和与所述数据集关联的标识符相同。
24. 如权利要求20所述的系统，其特征在于，还包括用于分割所述搜索 请求以便发送给多个所述搜索引擎的部件。
全文摘要
描述了用于为律师事务所及其它企业中使用的联机传送平台提供分布式搜索功能的系统、方法及软件。例如，系统、方法及软件的一个方面提供多个数据集。数据集可包含对其它数据集的索引。至少一个搜索引擎与各数据集关联。接收搜索请求的系统根据搜索请求中涉及的数据集来确定哪些搜索引擎被用来处理搜索请求。然后，搜索请求被转发给所识别的搜索引擎。
文档编号G06F17/30GK101388031SQ200810149850
公开日2009年3月18日 申请日期2004年4月26日 优先权日2003年4月25日
发明者M·布卢姆 申请人:汤姆森环球资源公司