一种大数据分析展示方法及系统与流程
本发明涉及软件领域，尤其是一种大数据分析展示方法及系统。
背景技术：
大数据是全新的产业形态，具有前向依赖效应低、而后向拉动效应高的重要特点。一方面，发展大数据产业不像传统产业那样需要大量配套产业体系和基础设施作为先决条件。另一方面，大数据正在影响和改变传统生产方式和经济运行机制，促进社会分工协作和生产组织方式的集约和创新。
传统的数据监测、分析、统计方式面对海量增长的各种数据，呈现出滞后、缺失等问题，在一定程度上与用户的期望存在差距，严重制约个人、政府部门、企事业单位对宏观经济运行情况、企业运营情况等数据的及时精准地监测分析。
技术实现要素：
针对现有技术中的缺陷，本发明提供一种大数据分析展示方法及系统，克服了现有技术的不足，通过对数据进行处理分析得到可视化的信息并进行展示为用户决策提供参考。
为了实现上述目的，第一方面，本发明提供的一种大数据分析展示方法，包括如下步骤：
获取用户的待处理数据；
对所述待处理数据进行分析处理得到可视化信息；
将所述可视化信息进行可视化展现给用户。
第二方面，本发明提供的一种大数据分析展示方法，包括如下步骤：
从各个数据源获取数据，对所述数据进行清洗后存储；
获取用户的数据查询请求，根据所述数据请求得到查询文本，对所述查询文本进行预处理，对查询文本的预处理结果进行分词得到受控词库，根据所述受控词库构建空间向量，依据所述空间向量实施聚类以及完成聚类评估获得数据查询请求的关键词；
根据所述关键词与预设的处理规则进行解析，查询所要进行可视化呈现的数据，将查询的结果集转为用于表示计算机图形的数据结构，以及通过图形渲染引擎对所述数据结构进行渲染，将渲染后的结果进行可视化展示。
最为本申请一种优选的实施方式，对所述查询文本进行预处理得到预处理后的查询文本具体包括：
对所述查询文本进行无关词去噪，获取与所述查询文本所对应的所属领域的领域词库。
最为本申请一种优选的实施方式，根据所述受控词库构建空间向量具体包括：
根据查询文本的所属领域词库进行分词；
利用分词后的查询文本进行训练，得到训练模型；
将每个查询文本中的每个所属的备选关键词代入目标领域的训练模型中，得到每个查询文本中所属的备选关键词的若干维的词向量。
最为本申请一种优选的实施方式，依据所述空间向量实施聚类以及完成聚类评估获得数据查询请求的关键词具体包括：
从n个备选关键词中任意选择k个备选关键词作为初始聚类中心；
根据每个聚类备选关键词的均值得到中心关键词，计算每个备选关键词与这些中心关键词的距离，并且根据最小距离，重新对相应关键词进行再次划分；
获取每个聚类关键词的均值；
取出离质心距离最近的词语，将该词语作为据查询请求的最终关键词。
最为本申请一种优选的实施方式，将查询的结果集转为用于表示计算机图形的数据结构具体包括：
确定数据中的每个点在三维空间中的坐标和坐标空间的等分数；
截取数据在单位范围内所有的点的集合；
判断单位范围内点的缩减程度，计算的点的透明度和大小。
最为本申请一种优选的实施方式，将查询的结果集转为用于表示计算机图形的数据结构还包括生成三维坐标空间。
最为本申请一种优选的实施方式，所述生成三维坐标空间具体为：
设定三维空间的标准长度；
判断数据中x、y和z三轴中min和max绝对值最大的三个数即[x1，y1，z1]，给三轴分别设置一个长度权重[xw，yw，zw]；
根据标准长度计算三轴的长度权重[xw，yw，zw]，然后根据权重分别对三轴缩放，生成坐标系中的x轴，y轴，z轴进而生成网格面。
第三方面，本发明提供的一种大数据分析展示系统，包括数据存储模块、数据处理模块和数据展示模块；
所述数据存储模块从各个数据源获取数据，对所述数据进行清洗后存储；
所述数据处理模块获取用户的数据查询请求，根据所述数据请求得到查询文本，对所述查询文本进行预处理，对查询文本的预处理结果进行分词得到受控词库，根据所述受控词库构建空间向量，依据所述空间向量实施聚类以及完成聚类评估获得数据查询请求的关键词；
所述数据处理模块根据所述关键词与预设的处理规则进行解析，查询所要进行可视化呈现的数据，将查询的结果集转为用于表示计算机图形的数据结构，以及通过图形渲染引擎对所述数据结构进行渲染，将渲染后的结果在数据展示模块进行可视化展示。
本发明的有益效果是：本发明围绕数据转化为信息、信息转化为知识的全过程，以产品的易用性、实用性、成熟性、安全性、高效性为目标，持续地提炼数据的核心价值。在将其运用至企业管理等领域时，可以为企业发展提供决策支撑，帮助企业形成新方向、新模式，制定新策略，提升企业的核心竞争力和创造力。在将其运用至政府事物管理领域时能够为宏观经济情况、人民生活水平等数据的监管与预测提供可视化的数据支持。
附图说明
图1为本发明的第一实施例大数据分析展示方法的流程图；
图2为本发明的第二实施例大数据分析展示方法的流程图；
图3为本发明的第三实施例大数据分析系统的框图。
具体实施方式
下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。
在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。
如图1所示，本发明的第一实施例中所示出的大数据分析展示方法包括如下步骤：
s101,获取用户的待处理数据。
s102,对所述待处理数据进行分析处理得到可视化信息。
s103,将所述可视化信息进行可视化展现给用户。
本实施例的步骤简单，通过数据挖掘、分析及可视化展现，采用大数据融合分析技术，对数据进行抽取、清洗、转换、封装、集成，通过数据挖掘、建模、分析，形成有效的、可视化的数据展示。围绕数据转化为信息、信息转化为知识的全过程，以产品的易用性、实用性、成熟性、安全性、高效性为目标，持续地提炼软件的核心价值。
如图2所示，本发明的第二实施例中所示出的大数据分析展示方法包括如下步骤：
s201，从各个数据源获取数据，对所述数据进行清洗后存储。
在实际的应用过程中，所述数据源可是多种类型的数据源，例如将本发明运用至企业管理领域时，其所述包括但不限于管理数据、产品数据、销售数据等；又如将本发明运用至政府事物管理领域时，所述数据包括但不限于国民经济数据、人口增长数据等。
s202，获取用户的数据查询请求，根据所述数据请求得到查询文本，对所述查询文本进行预处理，对查询文本的预处理结果进行分词得到受控词库，根据所述受控词库构建空间向量，依据所述空间向量实施聚类以及完成聚类评估获得数据查询请求的关键词；
其中若用户是输入的数据查询请求为文字则直接将文字作为查询文本，若用户输入的数据查询请求为语音，则通过语音转化为文字后作为查询文本。然后对所述查询文本进行预处理，所述预处理包括：准备被分析的文本、该文本对应的所属领域的领域词库；无关词去噪，根据所属领域词库对文本进行分词处理，找出文本实体，分词后的文本结合领域词库，进行过滤剔除无关和词语，构建出受控词库。
根据所述受控词库构建空间向量，维度应保持在10维度以下，以提升后续步骤中算法的性能，具体包括以下子步骤：
对所述文档中的每个文档，根据文档所属领域词库进行分词；
利用分词后的文档训练word2vec模型，得到所属领域词库的word2vec模型；
将每个文档中的每个所属的备选关键词代入所述目标领域的word2vec模型，得到每个文档中所属的备选关键词的若干维的词向量，具体方法如下：
由于每个词都对应一个词向量，v为维度，假设：
两个词的相似度正比于对应词向量的乘积，即：sin(v1，v2)＝v1·v2；
多个词v1～vn组成的一个所属领域词库用c来表示，其中
在所属领域词库中出现备选关键词a，a的概率正比于能量因子e-e(a,c),wheree＝-a·c，因此：
本发明中的聚类，是利用算法对多维空间词语聚类，当有指定关键词数目时，则在算法中使用该数目作为聚类数目；若没有指定关键词数目，则默认关键词数目为5个，所述算法描述如下：
关键词词库数目k以及包含n个备选关键词的数据集合；输出：满足目标函数值最小的k个聚类算法流程：
从n个备选关键词中任意选择k个备选关键词作为初始聚类中心；
根据每个聚类备选关键词的均值得到中心关键词，计算每个备选关键词与这些中心关键词的距离，并且根据最小距离，重新对相应关键词进行再次划分；
重新计算每个聚类关键词的均值，即中心关键词的均值，重复该步骤直至目标函数不再变化。
本发明中的所述的聚类评估，包括以下步骤：
剔除模糊词，处理过程中会剔除对多个质心距离均衡的词语点；
在每个聚类中，根据算法公式：
取出离质心距离最近的词语，该词语作为最终关键词。
由于聚类算法会受到单位刻度的影响，首先会对该点的维度值进行标准化，即标准化后的值＝(标准化前的值－分量的均值)/分量的标准差，另外选择聚类算法测量的好处是，此算法不会受量纲的影响，两点之间的距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的距离相同，同时此方法测量距离还可以排除变量之间的相关性的干扰。
更进一步地，聚类评估具体算法如下：
对选定的关键词数目为k，首先随机的将文档内容进行初步划分，然后采用迭代方法通过将聚类中心不断移动来尝试改进划分：
设备选关键词集合x＝{x1,x2,…,xn}，k个中心关键词分别是z1,z2,…,zk，用w(iz＝1,2,…,k)表示词语聚类的k个类别，有如下定义：
定义1两个备选关键词之间的欧式距离为：
定义2属于同一领域的备选关键词的算术平均为：；
定义3目标函数为：
由定义1.2.3得出质心距公式为：
取出离质心距离最近的词语，即l值最小的词语作为最终关键词；
将此词语在领域词库中的权重进行提升，对词库进行优化。
s203，根据所述关键词与预设的处理规则进行解析，查询所要进行可视化呈现的数据，将查询的结果集转为用于表示计算机图形的数据结构，以及通过图形渲染引擎对所述数据结构进行渲染，将渲染后的结果进行可视化展示。
其中，在将渲染后的结果进行可视化展示前还包括生成三维坐标空间，进一步地，生成三维坐标空间包括设置三维空间背景颜色和坐标系参数(坐标轴和网格面)。由于在三维空间中没有长度的标准，先设定一个标准长度l＝200，根据这个标准以及数据生成三维坐标空间：
判断数据是否提供整个三维空间背景颜色数据，是则采用数据提供的颜色，否则使用系统默认颜色，所述默认颜色可以根据实际需要进行设定，在此不做限定。
获取数据中x[min,max,number],y[min,max,number],z[min,max,number]坐标轴信息：分别判断获取x、y和z三轴中min和max绝对值最大的三个数[x1,y1,z1],给三轴分别设置一个长度权重[xw，yw，zw]。
根据标准长度l计算三轴的长度权重[xw，yw，zw]，然后根据权重分别对三轴缩放，生成坐标系中的x轴，y轴，z轴；根据三轴的数据中的number生成网格面，如x[number](表示在[0,x1]分段)：在xy轴表示的平面画出平行于y轴的按number等分的在区间[-x1,x1]内的线，与平行于x轴的等分线相交为xy网格面。
其中，权重wk＝k1/l。(k＝x、y、z)
根据上述步骤，生成一个x、y和z三轴＝标准长度l，但分别表示[-x1，x1],[-y1,y1],[-z1，z1]的坐标系，以及根据分段数number生成的xy，xz，yz网格面(其中xz，yz面默认不显示)，最终生成三维坐标空间。
将接收到的数据进行一系列处理：
根据权重[xw，yw，zw]换算数据中每个点的坐标(pi＝[xi，yi，zi])在三维空间中的坐标ewp：
坐标ewp＝[xwxi，ywyi，zwzi]，(i＝1,2,3,…,n)。其中n为数据点的个数。
判断数据点的个数n初始化点的参数。如果n小于默认值1000,则采用系统默认的大小(默认为边长为5的立方体)和透明度(默认为1)、颜色(数据提供则采用数据提供的颜色)；如果n大于1000，则根据单位范围内的密度删减点数：
确定坐标空间等分数e，三维空间e等分后，每份为范围ri(i＝1,2,3,..,e)，确定每个范围ri内点的基数b。等分数e可取值为8、64、512。本实例中等分数e取默认值为512，基数b取默认值为10。
截取数据在单位范围ri内所有的点的集合datai，点集datai内点的个数为dli，计算单位范围ri内点的密度di。
密度di＝dli/b,(i＝1,2,3,…,e)。
根据范围ri内点密度di判断范围内的点的缩减程度：
当点的密度di大于1时，范围ri内的点缩减到8；当密度di小于1且大于0.6时，范围ri内的点缩减到6；密度di小于0.6则不缩减点的个数。缩减点是将ri内的点集datai删除多余的点，而只余8个或6个。具体是将点集datai8或6等分，取每等分的第一个点数据。
计算范围ri内的点的透明度oi和大小si：
其中s为点的默认大小。
根据上述步骤将数据点处理成为最多4096个点的不同透明度和大小(点越密集的部位点的大小越小且透明度越低)的新的数据集。
将经过上述处理好后的数据在初始化好的三维坐标系中显示，最后将整个场景在给定的容器中渲染。其中渲染是以“帧”为单位，每一秒渲染最高60帧，每一帧的渲染都会获取上一帧渲染的时间，使得视图能平滑的过渡，从而实现所述三维散点图的展示。
与用户交互控制时只需要鼠标滚轮前滚，缩小整个视图场景，当场景缩小到一定的位置时不再缩小；鼠标滚轮后滚，放大整个视图场景，同样当放大到一定的位置时不再放大；按住鼠标左键并移动，可以左右360度，上下180度旋转整个场景；按住鼠标右键并移动，可以平移整个场景；当用户控制操作时每一帧同样会获取上一帧渲染时间，使得整个视图的缩放、旋转、平移等操作能平滑的过渡，最终实现对视图场景的控制操作。
如图3所示，本发明的第三实施例中所示出的大数据分析展示系统，包括数据存储模块、数据处理模块和数据展示模块；
所述数据存储模块从各个数据源获取数据，对所述数据进行清洗后存储；所述数据处理模块可包括缓存(cache)、高速随机存取存储器(ram)，例如常见的双倍数据率同步动态随机存取内存(ddrsdram)，并且还可包括非易失性存储器(nvram)，诸如一个或多个只读存储器(rom)、磁盘存储设备、闪存(flash)存储器设备、或其他非易失性固态存储器设备例如光盘(cd-rom，dvd-rom)，软盘或数据磁带等。所述数据源可是多种类型的数据源，例如将本发明运用至企业管理领域时，其所述包括但不限于管理数据、产品数据、销售数据等；又如将本发明运用至政府事物管理领域时，所述数据包括但不限于国民经济数据、人口增长数据等。
所述数据处理模块获取用户的数据查询请求，根据所述数据请求得到查询文本，对所述查询文本进行预处理，对查询文本的预处理结果进行分词得到受控词库，根据所述受控词库构建空间向量，依据所述空间向量实施聚类以及完成聚类评估获得数据查询请求的关键词。
所述数据处理模块用于运行或执行被存储在内部数据存储模块中的操作系统，各种软件程序，以及自身的指令集，并用于处理来自于触摸式输入装置或自其它外部输入途径接收到的数据和指令，以实现各种功能。数据处理模块可以包括但不限于中央处理器(cpu)、通用图像处理器(gpu)、微处理器(mcu)、数字信号处理器(dsp)、现场可编程逻辑门阵列(fpga)，应用专用集成电路(asic)中的一种或多种。
具体的，若用户是输入的数据查询请求为文字则直接将文字作为查询文本，若用户输入的数据查询请求为语音，则通过语音转化为文字后作为查询文本。然后对所述查询文本进行预处理，所述预处理包括：准备被分析的文本、该文本对应的所属领域的领域词库；无关词去噪，根据所属领域词库对文本进行分词处理，找出文本实体，分词后的文本结合领域词库，进行过滤剔除无关和词语，构建出受控词库。
根据所述受控词库构建空间向量，维度应保持在10维度以下，以提升后续步骤中算法的性能，具体包括以下子步骤：
对所述文档中的每个文档，根据文档所属领域词库进行分词；
利用分词后的文档训练word2vec模型，得到所属领域词库的word2vec模型；
将每个文档中的每个所属的备选关键词代入所述目标领域的word2vec模型，得到每个文档中所属的备选关键词的若干维的词向量，具体方法如下：
由于每个词都对应一个词向量，v为维度，假设：
两个词的相似度正比于对应词向量的乘积，即：sin(v1，v2)＝v1·v2；
多个词v1～vn组成的一个所属领域词库用c来表示，其中
在所属领域词库中出现备选关键词a，a的概率正比于能量因子e-e(a,c),wheree＝-a·c，因此：
本发明中的聚类，是利用算法对多维空间词语聚类，当有指定关键词数目时，则在算法中使用该数目作为聚类数目；若没有指定关键词数目，则默认关键词数目为5个，所述算法描述如下：
关键词词库数目k以及包含n个备选关键词的数据集合；输出：满足目标函数值最小的k个聚类算法流程：
从n个备选关键词中任意选择k个备选关键词作为初始聚类中心；
根据每个聚类备选关键词的均值得到中心关键词，计算每个备选关键词与这些中心关键词的距离，并且根据最小距离，重新对相应关键词进行再次划分；
重新计算每个聚类关键词的均值，即中心关键词的均值，重复该步骤直至目标函数不再变化。
本发明中的所述的聚类评估，包括以下步骤：
剔除模糊词，处理过程中会剔除对多个质心距离均衡的词语点；
在每个聚类中，根据算法公式：
取出离质心距离最近的词语，该词语作为最终关键词。
由于聚类算法会受到单位刻度的影响，首先会对该点的维度值进行标准化，即标准化后的值＝(标准化前的值－分量的均值)/分量的标准差，另外选择聚类算法测量的好处是，此算法不会受量纲的影响，两点之间的距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差)计算出的二点之间的距离相同，同时此方法测量距离还可以排除变量之间的相关性的干扰。
更进一步地，聚类评估具体算法如下：
对选定的关键词数目为k，首先随机的将文档内容进行初步划分，然后采用迭代方法通过将聚类中心不断移动来尝试改进划分：
设备选关键词集合x＝{x1,x2,…,xn}，k个中心关键词分别是z1,z2,…,zk，用w(iz＝1,2,…,k)表示词语聚类的k个类别，有如下定义：
定义1两个备选关键词之间的欧式距离为：
定义2属于同一领域的备选关键词的算术平均为：；
定义3目标函数为：
由定义1.2.3得出质心距公式为：
取出离质心距离最近的词语，即l值最小的词语作为最终关键词；
将此词语在领域词库中的权重进行提升，对词库进行优化。
所述数据处理模块根据所述关键词与预设的处理规则进行解析，查询所要进行可视化呈现的数据，将查询的结果集转为用于表示计算机图形的数据结构，以及通过图形渲染引擎对所述数据结构进行渲染，将渲染后的结果在数据展示模块进行可视化展示。
其中，在将渲染后的结果进行可视化展示前还包括生成三维坐标空间，进一步地，生成三维坐标空间包括设置三维空间背景颜色和坐标系参数(坐标轴和网格面)。由于在三维空间中没有长度的标准，先设定一个标准长度l＝200，根据这个标准以及数据生成三维坐标空间：
判断数据是否提供整个三维空间背景颜色数据，是则采用数据提供的颜色，否则使用系统默认颜色，所述默认颜色可以根据实际需要进行设定，在此不做限定。
获取数据中x[min,max,number],y[min,max,number],z[min,max,number]坐标轴信息：分别判断获取x、y和z三轴中min和max绝对值最大的三个数[x1,y1,z1],给三轴分别设置一个长度权重[xw，yw，zw]。
根据标准长度l计算三轴的长度权重[xw，yw，zw]，然后根据权重分别对三轴缩放，生成坐标系中的x轴，y轴，z轴；根据三轴的数据中的number生成网格面，如x[number](表示在[0,x1]分段)：在xy轴表示的平面画出平行于y轴的按number等分的在区间[-x1,x1]内的线，与平行于x轴的等分线相交为xy网格面。
其中，权重wk＝k1/l。(k＝x、y、z)
根据上述步骤，生成一个x、y和z三轴＝标准长度l，但分别表示[-x1，x1],[-y1,y1],[-z1，z1]的坐标系，以及根据分段数number生成的xy，xz，yz网格面(其中xz，yz面默认不显示)，最终生成三维坐标空间。
将接收到的数据进行一系列处理：
根据权重[xw，yw，zw]换算数据中每个点的坐标(pi＝[xi，yi，zi])在三维空间中的坐标ewp：
坐标ewp＝[xwxi，ywyi，zwzi]，(i＝1,2,3,…,n)。其中n为数据点的个数。
判断数据点的个数n初始化点的参数。如果n小于默认值1000,则采用系统默认的大小(默认为边长为5的立方体)和透明度(默认为1)、颜色(数据提供则采用数据提供的颜色)；如果n大于1000，则根据单位范围内的密度删减点数：
确定坐标空间等分数e，三维空间e等分后，每份为范围ri(i＝1,2,3,..,e)，确定每个范围ri内点的基数b。等分数e可取值为8、64、512。本实例中等分数e取默认值为512，基数b取默认值为10。
截取数据在单位范围ri内所有的点的集合datai，点集datai内点的个数为dli，计算单位范围ri内点的密度di。
密度di＝dli/b,(i＝1,2,3,…,e)。
根据范围ri内点密度di判断范围内的点的缩减程度：
当点的密度di大于1时，范围ri内的点缩减到8；当密度di小于1且大于0.6时，范围ri内的点缩减到6；密度di小于0.6则不缩减点的个数。缩减点是将ri内的点集datai删除多余的点，而只余8个或6个。具体是将点集datai8或6等分，取每等分的第一个点数据。
计算范围ri内的点的透明度oi和大小si：
其中s为点的默认大小。
根据上述步骤将数据点处理成为最多4096个点的不同透明度和大小(点越密集的部位点的大小越小且透明度越低)的新的数据集。
基于webgl技术将经过上述处理好后的数据在初始化好的三维坐标系中显示，最后将整个场景在给定的容器中渲染。其中渲染是以“帧”为单位，每一秒渲染最高60帧，每一帧的渲染都会获取上一帧渲染的时间，使得视图能平滑的过渡，从而实现所述三维散点图的展示。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
- 还没有人留言评论。精彩留言会获得点赞！