一种云平台数据检索方法
【技术领域】
[0001] 本发明涉及金融数据处理，特别涉及一种云平台数据检索方法。
【背景技术】
[0002] 金融数据是投资者进行投资决策、券商投研部门进行研究的重要依据，为公司客 户和投研部门提供及时、准确、易用的金融数据一直是相关部门所面临的一项长期而艰巨 的挑战。随着网络富信息化和大数据时代的到来，目前金融数据中已包含大量的结构化和 非结构化信息，且增量巨大。在云计算网络科技技术水平飞跃发展的同时，为了避免有用的 数据信息流失，就需要建立相应的数据库作为载体来存储这些数据。但由于数据库时间与 空间的复杂性过高，使数据查询产生了困难，除了要考虑网络传播时的安全性外，还要考虑 数据的查询延时，导致检索和查询效率较低。
【发明内容】
[0003] 为解决上述现有技术所存在的问题，本发明提出了一种云平台数据检索方法，在 基于云计算的金融数据检索系统中进行数据检索和查询，其特征在于，包括：
[0004] 在云计算环境下数据库并行查询过程中，将模糊因子代入到查询优化计算中获取 模糊特征；
[0005] 基于查询时间序列和所述模糊特征，通过计算事务优先级矩阵中每个数据的输出 与输入关系，建立并行查询的事务组，进行事务的并行查询。
[0006] 优选地，所述在云计算环境下数据库并行查询过程中，将模糊因子代入到查询优 化计算中获取模糊特征，进一步包括：
[0007] 待分配的事务以并行方式收集负载信息，将模糊因子代入到查询优化计算中获取 模糊特征，利用模糊特征的均匀遍历特性和差分特性进行运算；
[0008] 并且所述基于查询时间序列和所述模糊特征，通过计算事务优先级矩阵中每个数 据的输出与输入关系，建立并行查询的事务组，进行事务的并行查询，进一步包括：
[0009] 根据事务间具有的相互依赖关系，组建事务优先级矩阵；按照顺序将各事务组映 射到每个查询事务上，建立并行查询的事务组，比较每个事务组的执行开销，进行事务的动 态组合。
[0010] 优选地，所述获取模糊特征进一步包括：
[0011] 1)以采集的数据库查询时间序列为基础，组成可调节稳定控制集合W1*,公式表达 为 Wi* = WfQi-Wi+Σ (w.j-q.j);
[0012] 其中，示节点i的事务数量，Q示节点i与其父节点之间的交换事务的 数量，Σ (%-?)表示节点i与其子节点之间的交换事务的数量；
[0013] 判断节点处于一般负载，轻量负载或过载的情况之一；
[0014] 2)将模糊因子与并行技术相融合，代入到查询优化计算中，求取模糊的多样性特 征，定义查询时间序列适应值的方差m，具体的表达公式如下：
[0015]
[0016] 其中，NP表示时间序列规模，f (X1)代表第i个查询时间序列的适应值，表示 平均适应度的值；
[0017] 3)将数据库模糊特征的表达式为xn+1= V xn (I-Xn)
[0018] 其中，η = 1，2,3, · · · · x e [0, 1]，v e [0,4];
[0019] 并且，其中所述进行事务的并行查询进一步包括：
[0020] 1)遍历每个节点，编号表示0,1，2，…，n-1，N。，整个系统的节点总数为Σ = Wl-Wi;
[0021] 其中，^表示节点i的事务数，W。是整个系统的事务总数，每个节点保存一个W1, 具体公式如下表述：
[0022]
[0023] 2)选择一部分节点，建立最优查询顺序，且将数据库服务器的开销降到最小化，使 模糊数据查询时间为最短；
[0024] 3)通过方程z1+1= Vz Jl-W1进行多次迭代，得到模糊序列是 z广> Cm=I, 2,将上述方程逆映射回原解空间，产生模糊变量可解序列，计算经历 模糊处理的可行解的适应值，然后保留最优解对应的矢量P。
[0025] 优选地，所述金融数据检索系统包括业务服务器、应用服务器、数据服务器、整合 服务器及各数据库；其中，业务服务器通过调用应用服务器进行信息检索，使用数据信息进 行推送服务；应用服务器对数据进行统一的索引与维护；整合服务器对结构化、非结构化 数据进行整合，采用查重机制及数据推送技术实现数据的分类汇总和规整，并通过协议接 口和前端页面展示为用户及业务服务器提供信息服务；
[0026] 整合服务器整合分散在各数据库系统、文件系统以及互联网的金融数据，对数据 进行采集和清洗，并通过基于业务主体域的数据整合策略将不同来源主体的数据整合形成 数据服务器；数据整合服务的主要过程包括：首先将查询请求以XMLSchema形式传递到数 据抽取模块，数据抽取模块将XML转换成SQL查询语句，然后根据查询结果进行数据抽取， 最后把抽取出来的结果集转换成XML的格式传递给集成处理模块，非结构化数据也需转化 成XML格式，再由集成处理模块对XML文档做集成处理并最终生成统一的数据服务器；运用 全文检索来解决对非结构化信息的处理，基于开源的Lucene开发框架，通过对Lucene核心 层与相关接口的定制开发来构建全文检索系统，从功能上分为索引、搜索与维护三部分；索 引部分对数据库存储的数据进行处理，建立索引结构；搜索部分接收前端系统递交的检索 请求，对索引进行查找；维护部分则对索引进行增加、修改、删除工作。
[0027] 本发明相比现有技术，具有以下优点：
[0028] 本发明提出了一种云平台金融数据检索方法，防止数据库负载过大的出现，完成 了在云计算环境下的金融数据库的并行查询，提高了数据查询的效率。
【附图说明】
[0029] 图1是根据本发明实施例的云平台数据检索方法的流程图。
【具体实施方式】
[0030] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描 述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权 利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节 以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中 的一些或者所有细节也可以根据权利要求书实现本发明。
[0031] 图1是根据本发明实施例的云平台数据检索方法流程图。本发明基于云计算的金 融数据检索系统主要包括以下部分：业务服务器、应用服务器、数据服务器、整合服务器及 各数据库。其中，业务服务器通过调用应用服务器进行信息检索，使用数据信息进行推送服 务。应用服务器具有检索与索引能力，负责对数据进行统一的索引与维护。整合服务器具 备对结构化、非结构化数据进行整合的能力，采用查重机制及数据推送技术实现数据的分 类汇总和规整，并通过协议接口和前端页面展示为用户及业务服务器提供信息服务。
[0032] 其中，整合服务器整合分散在各数据库系统、文件系统以及互联网的金融数据，对 数据进行采集和清洗，并通过基于业务主体域的数据整合策略将不同来源主体的数据整合 形成数据服务器。数据整合服务的主要过程包括：首先将查询请求以XMLSchema形式传递 到数据抽取模块，数据抽取模块将XML转换成SQL查询语句，然后根据查询结果进行数据抽 取，最后把抽取出来的结果集转换成XML的格式传递给集成处理模块，同样，非结构化数据 也需转化成XML格式，再由集成处理模块对XML文档做集成处理并最终生成统一的数据服 务器。
[0033] 金融行业系统数据量很大，对数据的安全性要求也很高。Hadoop框架使用分布式 文件系统（HDFS)作为低层存储支持，HDFS提供了一种高容错性和高吞吐量的海量数据存 储解决方案，其不停机