一种标准服务平台分布式并行计算数据库及其检索方法
【专利摘要】本发明公开了一种标准服务平台分布式并行计算数据库，包括节点数据库服务器集群，包含若干节点数据库服务器，每个节点数据库服务器负责所分配节点数据的查询管理；调度中心实现外部标准化数据至所述节点数据库服务器集群的引导存储，将缓存中心发送的查询检索命令并行转发给节点数据库服务器，然后将节点数据库服务器查询检索结果进行二次加工筛选后输送至一级缓存中心；一级缓存中心提供调度中心所输送查询检索结果的临时存储，并提供与数据库前端的查询交互；监控中心实现节点数据库服务器集群、调度中心和一级缓存中心的性能指标的实时监控预警。本发明通过分布式结构设计和并行计算，简单、快速、精准的挖掘用户所需标准，提高了检索精度。
【专利说明】一种标准服务平台分布式并行计算数据库及其检索方法
【技术领域】
[0001] 本发明涉及数据库【技术领域】，尤其涉及一种标准服务平台分布式并行计算数据 库。
【背景技术】
[0002] 并行计算（Parallel Computing)是指同时使用多种计算资源解决计算问题的过 程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理 器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处 理机来并行计算。并行计算是一台计算机，配备有多处理机，多处理机之间进行合同协作计 算，最终结果由一台计算机处理。并行计算可分为时间上的并行和空间上的并行。时间上 的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。
[0003] -个分布式系统是由一组由网络联结的具有独立功能的计算机，在符合某些特定 规则的管理支配下，整个系统在用户面前呈现为一个透明的整体，可以实现资源共享。分布 式计算是多台联网的计算机，有各自的主机和处理器，通过网络分配共享计算任务和计算 信息。分布式计算是利用互联网上的计算机的CPU的闲置处理能力来解决大型计算问题的 一种计算科学。
[0004] 随着信息化建设的飞速发展，国家对标准工作的重视，各种结构化数据和非结构 化数据飞速增长，标准数量已经达到千万级别的、甚至更高的海量级别。如何有效的挖掘或 检索标准服务平台产生的海量数据中相关的知识或者数据成为一个难题。目前，提高标准 服务水平，积极探索标准工作的新思路、新方法，创造性的开展标准信息化工作，做好标准 信息化管理与服务，为企业服务、为消费者服务、为我国经济建设的发展服务。
[0005] 本发明针对标准数量众多、用户对标准不熟悉，查询所需标准精度低等问题，引入 分布式和并行计算，提出解决检索到精确标准数据问题的分布式并行内存数据库方法，简 单、快速、精准的挖掘用户所需标准，有效提高了检索精度。
【发明内容】
[0006] 为了克服现有技术中存在的不足，本发明提供一种标准服务平台分布式并行计算 数据库，通过分布式结构设计和并行计算，简单、快速、精准的挖掘用户所需标准，有效提高 了检索精度。
[0007] 为实现上述目的，本发明采取如下技术方案： 一种标准服务平台分布式并行计算数据库，包括： 节点数据库服务器集群，包含若干节点数据库服务器，每个节点数据库服务器负责所 分配节点数据的查询管理； 调度中心，用于实现外部标准化数据至所述节点数据库服务器集群的引导存储，并将 一级缓存中心发送的查询检索命令并行转发给所有节点数据库服务器，然后将所有节点数 据库服务器查询检索结果进行二次加工筛选后输送至一级缓存中心； 一级缓存中心，用于提供调度中心所输送查询检索结果的临时存储，并提供与数据库 前端的查询交互； 监控中心，用于实现节点数据库服务器集群、调度中心和一级缓存中心的性能指标的 实时监控、预警。
[0008] 更进一步的，所述调度中心包括数据引导服务模块、数据汇聚服务模块、分布式调 度中心和注册中心； 所述分布式调度中心用于对接受到的一级缓存中心发送的查询检索命令利用多主机 多核多线程的并行技术转发给所有节点数据库服务器； 所述数据汇聚服务模块用于将所有节点数据库服务器检索到的符合查询检索要求的 检索结果抽取汇集到数据汇聚服务模块，然后按照排序规则进行排序，截取符合排序要求 的数据，对查询检索结果进行二次加工筛选后输送至缓存中心； 所述注册中心用于维护节点数据库服务器相关元数据，并通过心跳、主动通知、人工巡 检机制实现节点数据库服务器的监控管理； 所述数据引导服务模块，用于实现外部标准化数据至所述节点数据库服务器集群的存 储，并联合注册中心、监控中心实现节点数据库服务器的自动漂移和容灾功能。
[0009] 更进一步的，所述自动漂移功能，是当节点数据库服务器存储的标准数据容量超 出其阈值时，自动溢出转移到其他重新分配的节点数据库服务器中； 所述容灾功能，是每个节点数据库服务器下含有多个附属节点数据库服务器与之相 连，所述附属节点数据库服务器为其映射服务器，内部标准数据完全相同，在当前节点数据 库服务器不能正常工作时，附属节点数据库服务器自动接替当前模块完成工作。
[0010] 更进一步的，所述元数据包括节点数据库服务器IP、端口号、包含的标准组织及组 织下的标准数据量。
[0011] 更进一步的，所述一级缓存中心包括缓存中心、查询模块和缓存调度中心； 所述缓存中心用于提供调度中心所输送查询检索结果的临时存储； 所述缓存调度中心用于对缓存中心存储的标准数据存储提取方式、顺序进行管理； 所述查询模块用于提供查询端口，并在接收到检索命令后，首选去缓存中心进行查询 检索，若存在，直接在数据库前端输出查询结果，否则，将查询检索命令通过缓存调度中心 输送至分布式调度中心进行各个节点数据库服务器的查询检索。
[0012] 更进一步的，所述一级缓存中心存放于操作系统缓存中，所述操作系统缓存为硬 盘控制器内存芯片。
[0013] 本发明还提供一种标准服务平台分布式并行计算数据库的查询检索方法，包括如 下步骤： Stepl:输入检索要素，构建检索命令； Step2:对缓存中心存储的标准数据进行检索匹配，若缓存中心存在满足检索命令的 标准数据，则执行步骤3,否则执行st印4 ; Step3:直接向数据库前端反馈满足检索命令的检索结果； Step4:将检索命令转发给所有节点数据库服务器，每个节点数据库服务器负责其管 理的标准数据的检索； Step5:在每个节点数据库服务器中，提取出满足检索命令的标准数据，并按照节点数 据库服务器排序规则输出检索结果； Step6:将所有节点数据库服务器的检索结果进行汇聚，并按照数据汇聚服务模块排序 规则再对汇聚后的检索结果进行排序，然后根据数据库前端设置的阈值，截取阈值范围内 的符合条件的结果； Step7:将截取得到的数据存入缓存中心，便于下次查询检索； StepS:将截取得到的数据按照数据库前端展现页面设定的分页规则逐页显示。
[0014] 更进一步的，所述Step5中节点数据库服务器对内部管理的标准数据进行检索 时，首先提取符合查询检索命令的元数据，然后根据元数据获取匹配检索命令的标准数据。 有益效果：（1)本发明引入分布式和并行计算，提出解决检索到精确标准数据问题的分布 式并行内存数据库方法，简单、快速、精准的挖掘用户所需标准，有效提高了检索精度。（2) 本发明设置缓存中心，在检索时首选检索缓冲中心，而检索结束时，查询数据放入缓存中， 以备下次同样条件的查询，直接取缓存数据，提高查询速度。（3)本发明数据库设有自动引 导和手工引导功能，保证标准数据与标准组织机构的同步。（4)本发明数据库还设有自动溢 出和容灾功能，保证数据库在异常情况下仍能正常工作。
【专利附图】
【附图说明】
[0015] 图1为本发明提供的一种标准服务平台分布式并行计算数据库结构示意图。
[0016] 图2为本发明提供的标准服务平台分布式并行计算数据库查询检索流程图。
[0017] 图3为本发明缓冲中心不存在符合检索要求时的查询检索流程图。
【具体实施方式】
[0018] 下面结合附图对本发明作更进一步的说明。
[0019] 如图1所示，本发明提供的一种标准服务平台分布式并行计算数据库，包括一级 缓存中心、调度中心、监控中心和节点数据库服务器集群，一级缓存中心包括缓存中心和缓 存调度中心，调度中心包括数据引导服务模块、数据汇聚服务模块、分布式调度中心和注册 中心。
[0020] (1)节点数据库服务器集群 节点数据库服务器集群包含若干节点数据库服务器，本发明提供的标准服务平台数据 库将存储的标准数据按标准数据总量和每个节点数据库服务器容量进行节点划分，节点数 目=标准数据总量/每个节点数据库服务器容量，划分后的节点数据采用近似算法中的首 次适宜法分配至每一节点数据库服务器：首先对节点数据库服务器进行初始化，然后依次 将节点数据放入到第一个能容纳该节点数据大小的节点数据库服务器中，实现每个节点数 据存储至一个节点数据库服务器中，每个节点数据库服务器负责分配的对应节点数据的管 理，节点数据库服务器作为服务长驻操作系统便于实时提供查询服务。节点数据库服务器 集群中所有节点数据库服务器独立并行操作负责对应节点数据的管理，独立实现对应节点 数据的加载、更新和查询等。
[0021] (2)调度中心 调度中心是综合调度的控制中心，包括数据引导服务模块、数据汇聚服务模块、分布式 调度中心和注册中心。
[0022] 注册中心用于维护节点数据库服务器相关的元数据（IP、端口号、包含的标准组织 及组织下的标准数据量）；并通过心跳、主动通知、人工巡检等机制实现节点数据库服务器 的监控管理。
[0023] 数据引导服务模块提供对数据库海量标准数据的布局管理、切分加载及同步管理 等服务，从而实现数据的自动引导和手工引导。本数据库与标准化管理组织或机构数据库 相连，手工引导一般用于本数据库标准数据初始化，手工将标准化管理组织或机构数据库 中的标准数据切分加载至本数据库中，比如从标准化管理组织数据库中每次加载5000条 标准数据，直到全部加载完；自动引导主要用于本数据库与标准化管理组织或机构数据库 的同步管理，数据引导服务模块监控、加载标准组织数据库标准数据的实时变化(增、删、 改)。数据引导服务模块还通过联合注册中心、监控中心，可实现节点数据库服务器的自动 漂移和容灾功能。自动漂移即当节点数据库服务器存储的标准数据容量超出其阈值时，自 动溢出转移到其他节点数据库服务器中。容灾功能是指在一个节点数据库服务器下含有多 个附属节点数据库服务器与之相连，附属节点数据库服务器为其映射服务器，内部标准数 据完全相同，在当前节点数据库服务器不能正常工作时，附属节点数据库服务器自动接替 当前模块完成工作，从而确保数据库的正常运转。
[0024] 分布式调度中心用于对接受到的查询检索命令利用多主机多核多线程的并行技 术，将查询检索命令转发给所有节点数据库服务器，每个节点数据库服务器负责其管理的 标准数据的查询检索。
[0025] 数据汇聚服务模块用于对各个节点数据库服务器的检索结果进行评定和汇总，对 每个节点数据库服务器进行查询，将每个节点数据库服务器检索到的符合查询检索要求的 检索结果抽取到数据汇聚服务模块，然后把抽取的所有节点数据库服务器的标准数据聚集 起来，按照排序规则进行排序，截取符合排序要求的数据，实现对节点数据库服务器查询检 索结果进行二次加工筛选后输送至缓存中心。
[0026] (3)-级缓存中心 一级缓存中心包括缓存中心、查询模块和缓存调度中心，一级缓存中心存放于操作系 统缓存中，缓存是硬盘控制器上的一块内存芯片，具有极快的存取速率，它是硬盘内部存储 和外界接口之间的缓冲器，缓存是指临时文件交换区，可以进行高速数据交换的存储器，它 先于内存与CPU交换数据，因此速率很快，但是缓存中的数据只是内存中少部分数据的复 制品。
[0027] 查询模块负责本数据库标准数据查询，查询模块在接收到检索命令后，首选去缓 存中心进行查询检索，若存在，直接在数据库前端输出查询结果，否则，将查询检索命令通 过缓存调度中心输送至分布式调度中心进行各个节点数据库服务器的查询检索。
[0028] 缓存中心和缓存调度中心完成对数据库标准数据的临时存放和获取方式和顺序 等。缓存中心功能相对简单，实现对标准数据进行临时存放，便于直接获取，存储数据汇聚 服务模块二次加工筛选后输送的查询数据。缓存调度中心用于对缓存中心存储的标准数据 存储提取方式、顺序等进行管理，可支持session级别的缓存、应用级别的缓存和基于时间 级别的缓存。支持先进先出、访问次数最少、超期时间等策略。
[0029] (4)监控中心 对以上的节点数据库服务器集群、调度中心、一级缓存中心3个构成组件进行监控，实 现时刻监控数据库的关键性能和全局把控。记录当前数据库系统正在进行哪些访问，根据 历史记录判断哪些数据是热点数据，同时实时监控各个节点数据库服务器的内存、CPU、磁 盘10等关键性能指标。可以设置全局预警、局部预警，从而实现早发现、早预防、早管理、早 优化的良性循环。
[0030] 本发明还提供一种标准服务平台分布式并行计算数据库检索方法，为了提高标准 检索的效率和精度，利用分布式并行计算原理，本发明设置监控中心、缓存中心、调度中心、 节点数据库服务器等组件进行对标准数据的检索、提取、排序、汇聚、分页、显示等各个功能 模块的分析处理和控制。通过以上四个组件的协同工作，将被动响应的工作模式转变为主 动管理、主动升级、主动优化的工作模式。
[0031] (1)数据检索机制及流程 通过标准服务平台检索标准数据，根据输入条件检索出想要获取的符合条件的标准数 据。每次检索时首先去缓存中心提取，如有符合条件的，则直接反馈检索结果；反之，则去所 有节点数据库服务器中都去检索、提取、汇聚、排序、截取、缓存、分页、显示，同时将结果存 入缓存中心。标准数据检索整个流程如图2所示，具体步骤如下： Step 1:访问标准服务平台，输入检索要素，构建检索命令。
[0032] Step2:对缓存中心存储的标准数据进行检索匹配，若缓存中心存在满足检索命 令的标准数据，则执行步骤3,否则执行st印4 ; Step3:直接反馈满足检索命令的检索结果； Step4:将检索命令转发给所有节点数据库服务器，每个节点数据库服务器负责其管 理的标准数据的检索； Step5:在每个节点数据库服务器中，提取出满足检索命令的标准数据，并按照节点数 据库服务器排序规则输出检索结果； Step6:将所有节点数据库服务器的检索结果进行汇聚，并按照数据汇聚服务模块排序 规则再对汇聚后的检索结果进行排序，然后根据数据库前端设置的阈值，截取阈值范围内 的符合条件的结果； Step7:将截取得到的数据存入缓存中心，便于下次查询检索； StepS:将截取得到的数据依据展现页面分页规则进行逐页显示。
[0033] 在分布式并行计算数据库中，利用注册中心维护节点数据库服务器的元数据，并 通过心跳、主动通知机制、人工巡检等机制实现节点数据库服务器的监控管理。数据引导服 务实现数据的引导，联合注册中心、监控中心，实现节点数据库服务器的自动漂移和容灾功 能。分布式并行调度服务对接收到的命令利用多主机多核多线程的并行技术，将命令转发 给节点数据库服务器。节点数据库服务器排序规则和数据汇聚服务模块排序规则由数据汇 聚服务模块进行设置，排序规则按标准数据排序方法设置。在stepl-4中节点数据库服务 器负责对节点的数据进行管理，并实现节点自身的数据加载，查询和更新功能，作为服务长 驻操作系统。在step5_8中，数据汇聚服务模块对各个节点数据库服务器的返回结果进行 评定和汇总，并根据对应汇聚调度算法，对结果进行二次加工筛选，并返回给缓存中心。检 索结束时，查询数据放入缓存中心中，以备下次同样条件的查询，直接取缓存数据，提高查 询速度。
[0034] ( 2 )数据库查询规则 在标准化服务数据库查询过程中，根据输入的检索条件对节点数据库服务器扫描时， 数据引导服务模块对节点数据库服务器组成的数据库集群，进行数据的检索、加载等管理。 分布式调度中心分别对各个功能模块进行整体的控制和调度，协调好每个模块的并行执 行。
[0035] 缓冲中心不存在符合检索要求时的检索过程如图3所示，具体内容如下： Stepl:首先提取符合查询检索命令的元数据，然后根据元数据查询匹配查询检索命令 的标准数据，并将每个节点数据库服务器提取出的数据执行内部排序； Step2:其次将这些所有的排序之后的数据利用数据汇聚服务进行汇聚组合成一个整 体，再针对这个整体的数据进行排序； Step3:然后截取其中符合需求的数据放入缓存中心，并将按照展现页面设定的分页规 贝1J，分页显示用户查询的信息。
[0036] 通过分布式并行计算数据库组件协调各个功能模块协同工作，实现标准服务平台 标准数据检索、汇聚、排序、缓存等，最终显示用户查询标准信息。
[0037] 以上所述仅是本发明的优选实施方式，应当指出：对于本【技术领域】的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。
【权利要求】
1. 一种标准服务平台分布式并行计算数据库，其特征在于包括： 节点数据库服务器集群，包含若干节点数据库服务器，每个节点数据库服务器负责所 分配节点数据的查询管理； 调度中心，用于实现外部标准化数据至所述节点数据库服务器集群的引导存储，并将 一级缓存中心发送的查询检索命令并行转发给所有节点数据库服务器，然后将所有节点数 据库服务器查询检索结果进行二次加工筛选后输送至一级缓存中心； 一级缓存中心，用于提供调度中心所输送查询检索结果的临时存储，并提供与数据库 前端的查询交互； 监控中心，用于实现节点数据库服务器集群、调度中心和一级缓存中心的性能指标的 实时监控、预警。
2. 根据权利要求1所述的一种标准服务平台分布式并行计算数据库，其特征在于：所 述调度中心包括数据引导服务模块、数据汇聚服务模块、分布式调度中心和注册中心； 所述分布式调度中心用于对接收到的一级缓存中心发送的查询检索命令利用多主机 多核多线程的并行技术转发给所有节点数据库服务器； 所述数据汇聚服务模块用于将所有节点数据库服务器检索到的符合查询检索要求的 检索结果抽取汇集到数据汇聚服务模块，然后按照排序规则进行排序，截取符合排序要求 的数据，对查询检索结果进行二次加工筛选后输送至缓存中心； 所述注册中心用于维护节点数据库服务器相关元数据，并通过心跳、主动通知、人工巡 检机制实现节点数据库服务器的监控管理； 所述数据引导服务模块，用于实现外部标准化数据至所述节点数据库服务器集群的存 储，并联合注册中心、监控中心实现节点数据库服务器的自动漂移和容灾机制。
3. 根据权利要求2所述的一种标准服务平台分布式并行计算数据库，其特征在于：所 述自动漂移机制，是当节点数据库服务器存储的标准数据容量超出其阈值时，自动溢出转 移到其他重新分配的节点数据库服务器中； 所述容灾机制，是每个节点数据库服务器下含有多个附属节点数据库服务器与之相 连，所述附属节点数据库服务器为其映射服务器，内部标准数据完全相同，在当前节点数据 库服务器不能正常工作时，附属节点数据库服务器自动接替当前模块完成工作。
4. 根据权利要求2所述的一种标准服务平台分布式并行计算数据库，其特征在于：所 述元数据包括节点数据库服务器IP、端口号、包含的标准组织及组织下的标准数据量。
5. 根据权利要求1所述的一种标准服务平台分布式并行计算数据库，其特征在于：所 述一级缓存中心包括缓存中心、查询模块和缓存调度中心； 所述缓存中心用于提供调度中心所输送查询检索结果的临时存储； 所述缓存调度中心用于对缓存中心存储的标准数据存储提取方式、顺序进行管理； 所述查询模块用于提供查询端口，并在接收到检索命令后，首选去缓存中心进行查询 检索，若存在，直接在数据库前端输出查询结果，否则，将查询检索命令通过缓存调度中心 输送至分布式调度中心进行各个节点数据库服务器的查询检索。
6. 根据权利要求5所述的一种标准服务平台分布式并行计算数据库，其特征在于：所 述一级缓存中心存放于操作系统缓存中，所述操作系统缓存为硬盘控制器内存芯片。
7. -种权利要求1所述标准服务平台分布式并行计算数据库的检索方法，其特征在于 包括如下步骤： Stepl:输入检索要素，构建检索命令； Step2:对缓存中心存储的标准数据进行检索匹配，若缓存中心存在满足检索命令的 标准数据，则执行步骤3,否则执行st印4 ; Step3:直接向数据库前端反馈满足检索命令的检索结果； Step4:将检索命令转发给所有节点数据库服务器，每个节点数据库服务器负责其管 理的标准数据的检索； Step5:在每个节点数据库服务器中，提取出满足检索命令的标准数据，并按照节点数 据库服务器排序规则输出检索结果； Step6:将所有节点数据库服务器的检索结果进行汇聚，并按照数据汇聚服务模块排序 规则再对汇聚后的检索结果进行排序，然后根据数据库前端设置的阈值，截取阈值范围内 的符合条件的结果； Step7:将截取得到的数据存入缓存中心，便于下次查询检索； StepS:将截取得到的数据按照数据库前端展现页面设定的分页规则逐页显示。
8. -种权利要求7所述标准服务平台分布式并行计算数据库的检索方法，其特征在 于：所述Step5中节点数据库服务器对内部管理的标准数据进行检索时，首先提取符合查 询检索命令的元数据，然后根据元数据获取匹配检索命令的标准数据。
【文档编号】G06F17/30GK104090934SQ201410291595
【公开日】2014年10月8日 申请日期:2014年6月26日 优先权日:2014年6月26日
【发明者】李凤龙, 刘丽梅, 张建凯, 杨福萍, 王秀芹 申请人:山东金质信息技术有限公司