基于数据抽取、数据可视化的查询分析方法及系统的制作方法
【专利摘要】本发明提供了一种基于数据抽取、数据可视化的查询分析方法及系统，在查询分析方法中包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上。本发明的有益效果是：本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
【专利说明】
基于数据抽取、数据可视化的查询分析方法及系统
技术领域
[0001]本发明涉及数据处理技术领域，尤其涉及基于数据抽取、数据可视化的查询分析方法及系统。
【背景技术】
[0002]传统的分析与查询不能简单快捷的进行分析，不能有效的整合异构数据。
[0003]在大数据和云计算的模式下，传统的分析系统，无法跨异构数据来进行分析，无法将数据的价值更有效的释放出来，虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作，但是其带来的工作是繁琐复杂的，并且工作量巨大，同时人员的精力与时间的消耗也是相当巨大的。
[0004]目前的查询系统对于异构数据库无法进行查询分析以及挖掘。这种方式只能针对一种数据库进行分析查询与挖掘，不能够对异构的数据库进行分析。同时，只能在字段来罗列数据。想要得到想要的数据结论，可能需要大费周章的去梳理与整合数据。
【发明内容】
[0005]本发明提供了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤:
[0006]数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；
[0007]处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
[0008]数据分析设备内置基于ODBC的融合数据库VizQL。
[0009]作为本发明的进一步改进，在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
[0010]在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；
[0011]在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
[0012]在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
[0013]在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
[0014]作为本发明的进一步改进，在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
[0015]作为本发明的进一步改进，在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
[0016]作为本发明的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；
[0017]当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
[0018]当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
[0019]本发明还公开了一种基于数据抽取、数据可视化的查询分析系统，包括:
[0020]数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；
[0021 ]处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
[0022]数据分析设备内置基于ODBC的融合数据库VizQL。
[0023]作为本发明的进一步改进，
[0024]在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
[0025]在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；
[0026]在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
[0027]在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
[0028]在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
[0029]作为本发明的进一步改进，在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
[0030]作为本发明的进一步改进，在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
[0031]作为本发明的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；
[0032]当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
[0033]当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
[0034]本发明的有益效果是:本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
【附图说明】
[0035]图1是本发明的DAS支持的数据分析模块方框图；
[0036]图2是本发明的DAS数据抽取的流程示意图；
[0037]图3是本发明的DAS可视化数据格式转换的工作原理示意图；
[0038]图4是本发明基于数据查询分析的数据流向的框架流程图；
[0039]图5是本发明基于数据可视化的数据查询的工作原理；
[0040]图6是本发明基于数据可视化的数据流向的框架流程图；
[0041]图7是本发明的DAS、DVS以及数据可视化的工作原理图；
[0042]图8是本发明基于数据抽取、可视化处理以及数据查询分析的原理图。
【具体实施方式】
[0043]如图6所示，本发明公开了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤:
[0044]数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；
[0045]处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
[0046]数据分析设备内置基于ODBC的融合数据库VizQL。
[0047]在本发明中包括:
[0048]数据分析设备，DataAnalysis Server，简称DAS;
[0049]数据可视化设备，DataVisualizat1n Server简称DVS;
[0050]公共资源设备，PublicServer，简称Pub Server0
[°°511 DAS通过开放的API接口技术抽取源端服务器(Data Sources Server)的数据(此过程中数据不加密，不压缩)。通过加密通道将抽取过来的数据传输至DAS，由DAS对数据进行标准化处理。
[0052]数据可视化的实现方式:
[0053]1.DAS利用开放的API接口(ODBC)，通过IP或者光纤网络与Data sources Server相连。
[0054]2.DAS内置基于ODBC的融合数据库VizQL，将绝大多数异构数据以及数据文件库能够融合在一起，并以新的方式呈现数据。支持各类操作系统的模块，包含微软操作系统客户端模块，Linux操作系统模块，IBM小型机AIX系统，虚拟层模块如Vmware ESX模块，Hyper-V模块，Xenserver模块;各类数据库系统的模块，包含Oracle模块，MS-SQL模块，PostgreSQL模块等；以及对SAP等CRM，ERP业务系统的模块，和针对大数据的DFS/HDFS，NoSQL模块等;如图1所示，DAS支持的数据分析模块方框图。ODBC是开放数据库连接(Open DatabaseConnecti Vi ty，ODBC)是微软公司开放服务结构(WOSA，Windows Open ServicesArchitecture)中有关数据库的一个组成部分，它建立了一组规范，并提供了一组对数据库访问的标准API (应用程序编程接口)。这些API利用SQL来完成其大部分任务。ODBC本身也提供了对SQL语言的支持，用户可以直接将SQL语句送给ODBC。开放数据库互连(ODBC)是Mi crosof t提出的数据库访问接口标准。开放数据库互连定义了访问数据库API的一个规范，这些API独立于不同厂商的DBMS，也独立于具体的编程语言(但是Microsoft的ODBC文档是用C语言描述的，许多实际的ODBC驱动程序也是用C语言写的。)0DBC规范后来被X/0PEN和IS0/IEC采纳，作为SQL标准的一部分，具体内容可以参看《IS0/IEC 9075-3:1995(E)Call-Level Interface(SQL/CLI)》等相关的标准文件。
[0055]3.DAS将通过IP地址和源端服务器的授权用户账号，连接源端服务器，在验证通过后，抽取待分析的数据内容。对数据进行统一规范化处理后，形成可视化呈现的新的数据文件，并做成仪表盘保存在本地或者发布到DVS以及PUB server上。如图2所示是DAS数据抽取的流程示意图。
[0056]4.源端服务器(Data Sources Server)接收到DAS抽取数据请求后，在DataSources Server的缓存中整理数据，并对DAS开放权限，供其抽取。整个过程对数据不加密、不压缩。在抽取数据的同时，会在数据上做标识，来区分该数据是否已经被抽取，并在DAS的数据库中添加索引。由于源端数据(源端数据也就是源端服务器中的数据)的结构存在不同，故DAS发出抽取指令也不相同，利用的分析处理的模块也不相同。
[0057]5.DAS将所抽取的源端数据写至本地缓存或内存，按照缓存FIFO方式，将处于缓存/内存底端字节存储的数据移至本地。该磁盘将包含SSD，SAS，SATA等标准。
[0058]6.抽取后的数据在DAS的缓存(cache)中进行数据标准化转换，形成可呈现的图形数据文件，并将该数据文件根据情况存放在适当的位置(可以发布到DVS，也可以发布到PUBServer，同时也可以在本地进行保存)。如图3所示是DA S可视化数据格式转换的工作原理示意图。
[0059]7.DVS将缓存中接收到的数据按照FIFO方式写入后端外置存储(Data Storage)以供查询分析使用，支持绝大多数的主流存储。
[0060]以上的过程是对源端数据反向抽取以及对数据进行可视化处理，并保存发布可视化数据的方式。整个过程中，每次抽取，传输对数据均不加密，不压缩。但是，数据是在一个加密的通道中进行传输的。所以，在数据安全性上有绝对的保障。
[0061]本发明中还包括数据查询分析部分，图4是基于数据查询分析的数据流向的框架流程图:
[0062]查询设备既可以通过DVS来进行查询分析，也可以通过PUB Server来进行查询分析。
[0063](一)通过DVS来进行数据查询与分析:
[0064]1.DVS接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置；
[0065]2.如果仪表盘在DVS的Data Storage中，发送请求，从Data Storage中获取数据；[ΟΟ??] 3.将Data Storage中的数据处理过后反馈给查询设备。
[0067](二)通过PUB Server来进行数据查询与分析
[0068]1.DAS发布仪表盘信息到PUB Server时，通过数据索引管理器，形成新的索引
[0069]2.PUB Server接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选
[0070]3.通过筛选索引，检查缓存，来过滤是否有符合条件的仪表盘信息，
[0071]如果有，直接以图形、图表的方式反馈给查询设备
[0072]如果缓存中没有符合条件的仪表盘，告知查询设备到DVS中进行查询。
[0073]基于数据可视化的数据查询的工作原理如图5所示，数据查询分析的实现方式:
[0074]1.当查询设备既可以连接DVS进行数据查询，也可以连接PUB Server进行数据查询。不管是DVS还是PUB Server在接收到查询设备的查询分析请求时，首先检查自己的缓存，看所要查询的数据是否在缓存中还有保留，有保留时，直接以数据库视图的方式将查询内容反馈给查询设备。
[0075]2.连接DVS进行数据查询时，当缓存中没有保留时，会自动把查询分析请求发给Data Storage。
[0076]2.1.Data Storage接收到数据调取请求时，根据索引对数据进行筛选，当有符合条件的仪表盘信息时，会将仪表盘数据反馈给DVS。经过筛选，发现没有符合条件的仪表盘信息时，告知DVS没有所要的仪表盘信息。
[0077]2.2.DVS在接收到Data Storage发来的反馈事件后，有3个可能操作:
[0078]A.在接收到反馈的图形、图表仪表盘时，直接将仪表盘反馈给查询设备。
[0079]B.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会将该信息直接提交到查询设备，告知查询设备没有所需要的数据。
[0080]C.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会向DAS发送发布请求，请求DAS将仪表盘发布到DVS中:
[0081]①.DAS在接收到DVS的发布请求时，检查缓存，缓存中如果有所需要的数据时，直接将仪表盘发布给DVS。
[0082]②.如果DAS的缓存中没有所要数据时，向DAS的DataStorage提出调取数据请求。
[0083]③.DAS的DataStorage根据索引检查Storage的所有内容，如果有所需要的数据，将直接写入DAS的缓存中，由DAS发布给DVS;如果没有所需内容时，告知DAS没有所需要数据，由DAS告知DVS没有所需要的数据，同时DVS将告知查询设备，无查询结果。
[0084]3.连接PUB Server进行数据查询时，当缓存中没有保留时，会自动把查询分析请求发给Data Storage。
[0085]3.1.Data Storage接收到数据调取请求时，根据索引对数据进行筛选，当有符合条件的仪表盘信息时，会将仪表盘数据反馈给PUB Server。经过筛选，发现没有符合条件的仪表盘信息时，告知PUB Server没有所要的仪表盘信息。
[0086]3.2.PUB Server在接收到Data Storage发来的反馈事件后，有3个可能操作:
[0087]A.在接收到反馈的图形、图表仪表盘时，直接将仪表盘反馈给查询设备。
[0088]B.在接收到的反馈信息是没有所要的仪表盘信息时，DVS会将该信息直接提交到查询设备，告知查询设备没有所需要的数据。
[0089]C.在接收到的反馈信息是没有所要的仪表盘信息时，PUB Server会向DAS发送发布请求，请求DAS将仪表盘发布到PUB Server中:
[0090]①.DAS在接收到PUBServer的发布请求时，检查缓存，缓存中如果有所需要的数据时，直接将仪表盘发布给PUB Server。
[0091 ]②.如果DAS的缓存中没有所要数据时，向DAS的Data Storage提出调取数据请求。
[0092]③.DAS的DataStorage根据索引检查Storage的所有内容，如果有所需要的数据，将直接写入DAS的缓存中，由DAS发布给PUB Server;如果没有所需内容时，告知DAS没有所需要数据，由DAS告知PUB Server没有所需要的数据，同时DVS将告知查询设备，无查询结果O
[0093]本发明还公开了一种基于数据抽取、数据可视化的查询分析系统，包括:
[0094]数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；
[0095]处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；
[0096]数据分析设备内置基于ODBC的融合数据库VizQL。
[0097]在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；
[0098]在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；
[0099]在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；
[0100]在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；
[0101 ]在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。
[0102]在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。
[0103]在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。
[0104]查询设备通过数据可视化设备或者公共资源设备进行查询分析；
[0105]当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；
[0106]当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
[0107]本发明解决了数据分析繁琐复杂的问题，而传统的分析与查询不能简单快捷的进行分析，不能有效的整合异构数据，文本数据进行分析与查询，本发明采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化模块，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘。
[0108]本发明的另外一个特点是，通过本技术规范手段可以轻松解决异构数据的之间关联的问题。在大数据和云计算的模式下，传统的分析系统，无法跨异构数据来进行分析，无法将数据的价值更有效的释放出来，虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作，但是其带来的工作是繁琐复杂的，并且工作量巨大，同时人员的精力与时间的消耗也是相当巨大的。由于大数据异构性特点本质，本发明，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
[0109]在整个的过程中，无论是抽取数据的过程，还是查询分析的过程，都是建立在开放的API接口上，并且，DAS、DVS以及PUB Server至少要有以下功能:
[0110]1.数据索引管理器:负责从DAS、DVS以及PUB Server更新索引信息。同时提供其他查询服务器所索要的索引信息。
[0111]2.数据共享访问接口:负责接管所有共享请求，实施授权监管，统一规范查验及其他访问规则实施。最后反馈所要的查询数据.
[0112]3.数据查询系统引擎:搜寻何处可取的所要的数据。根据请求和数据共享服务的整体构架，其查询可能会转发至其他数据分析服务器或中央集成服务器。
[0113]4.数据提起器:基于查询引擎的查询结果获得所需数据的信息源描述，解析出数据的逻辑路径，据此连接到相应的应用系统，通过API接口以获得相应原始数据。若有必要，最后提起所要数据片断。
[0114]5.数据转换器:所要数据提起完成后，如果其格式不是所要的，即讲数据转换成可视化的标准格式。
[0115]以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
【主权项】
1.一种基于数据抽取、数据可视化的查询分析方法，其特征在于，包括如下步骤: 数据抽取步骤，抽取源端服务器的数据传输至数据分析设备； 处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上； 数据分析设备内置基于ODBC的融合数据库VizQL。2.根据权利要求1所述的查询分析方法，其特征在于，在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件； 在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据； 在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中； 在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性； 在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。3.根据权利要求1所述的查询分析方法，其特征在于:在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。4.根据权利要求1所述的查询分析方法，其特征在于:在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。5.根据权利要求1至4任一项所述的查询分析方法，其特征在于:查询设备通过数据可视化设备或者公共资源设备进行查询分析； 当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备； 当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。6.一种基于数据抽取、数据可视化的查询分析系统，其特征在于，包括: 数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备； 处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上； 数据分析设备内置基于ODBC的融合数据库VizQL。7.根据权利要求6所述的查询分析系统，其特征在于，在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件； 在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据； 在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中； 在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性； 在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。8.根据权利要求6所述的查询分析系统，其特征在于，在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。9.根据权利要求6所述的查询分析系统，其特征在于，在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。10.根据权利要求6至9任一项所述的查询分析系统，其特征在于，查询设备通过数据可视化设备或者公共资源设备进行查询分析； 当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备； 当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。
【文档编号】G06F17/30GK106021378SQ201610311208
【公开日】2016年10月12日
【申请日】2016年5月11日
【发明人】吕骏
【申请人】吕骏