一种基于可视化分析图的UI数据处理方法及系统与流程

本发明涉及数据处理领域，具体来说，涉及一种基于可视化分析图的ui数据处理方法及系统。

背景技术：

1、近年来，信息技术在各领域的飞速发展使得数据量呈现“爆炸式”的增长，这有赖于科技的进步使得数据的采集和存储变得比以往更加简单。但这却导致了数据分析难度的提升，如果能够对这些数据加以分析和利用，就能够挖掘出数据中的潜藏价值，从而帮助企业做出更明智的决策和支持政府制定出更合理的政策，而可视化分析就是其中的一种分析方式。

2、当前，可视化分析是分析和理解种类繁多、结构各异的数据集的一种有效途径。通常人脑对图形具有比数字更加敏锐的洞察能力，透过图形能够更轻易的得到常规统计数字难以洞察的信息。相比于表格中的数字而言，视觉空间中的图形，更有助于人脑认知和发现其中潜藏的模式。近些年来，无论是传统媒体还是网络媒体，都更加倾向于使用图形报表、信息图和可视化应用等方式来向公众报道新闻和传达重要的信息图。

3、可视化分析是信息可视化、人机交互、认知科学、数据挖掘、信息论、决策理论等众多研究领域交叉融合所产生的全新的研究方向7。传统的可视化研究工作主要集中于可视化的布局算法、数据挖掘与可视化分析的融合、面向小规模数据集的可视化分析系统的设计与实现等几个方面。绝大部分的传统可视化分析系统，受限于单一设备的处理能力，无法实现数据的自动导入，并且分析的数据集也非常有限。在大数据时代，可视化分析系统的构建正面临着前所未有的挑战。

4、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、针对相关技术中的问题，本发明提出一种基于可视化分析图的ui数据处理方法及系统，以克服现有相关技术所存在的上述技术问题。

2、为此，本发明采用的具体技术方案如下：

3、根据本发明的一个方面，提供了一种基于可视化分析图的ui数据处理方法，该ui数据处理方法包括以下步骤：

4、s1、基于node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务；

5、s2、搭建hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据；

6、s3、搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取；

7、s4、基于mapreduce实现对图结构数据进行预处理。

8、进一步的，所述基于node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务包括以下步骤：

9、s11、在前端模块与后端模块之间增加一个中间层作为网关；

10、s12、将前端模块中的虚线框作为中间网关层，并提供数据的模型代理服务；

11、s13、并利用后端模块提供数据服务，由前端负责获取读取本地数据库，并将获取的数据渲染到页面中。

12、进一步的，所述搭建hadoop集群包括以下步骤：

13、安装java软件，创建hadoop用户，下载并安装hadoop的发行包；

14、登录hadoop，利用ssh执行hadoop集群的操作；

15、将主机器和工作机器采用同一配置文件，针对不同的分析场景以及不同大小的数据集规模构建不同的hadoop集群。

16、进一步的，所述搭建hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据包括以下步骤：

17、s21、利用hadoop集群，将本地数据库的数据场景进行搭建，并将数据在移动端进行可视化展示；

18、s22、根据管理员的分配权限，为用户端提供操作界面与展示界面；

19、s23、采用字母窗口模式设计，分别安排预览和信息输入操作的呈现本地数据库的数据；

20、s24、观察界面则采用主窗口设计模式，屏幕区域用于显示可视化的视觉图形，并在符合用户操作行为习惯的一侧安排按钮功能区；

21、s25、用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据；

22、其中，所述交互的方式包括手势交互、语音交互及动作交互；

23、所述手势交互，通过检测触摸并使用绝对坐标系统定位，对操作者给予直观的视觉反馈，增强用户对交互控制的感受，使人机交互变得更加简单方便自然；

24、所述语音交互，移动设备的话筒和音响为语音交互提供了硬件基础，结合语音识别、合成和理解的多种技术，使用语音交互方便用户的信息输入和输出操作，解放传统键盘输入和界面阅读所必须的人手和人眼；

25、所述动作交互，通过重力感应器、三轴陀螺仪的检测用户行为，实现了动作交互功能。

26、进一步的，所述用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据包括以下步骤：

27、s251、用户端打开系统操作界面，进入数据读取界面；

28、s252、点击显示数据读取及读取历史，通过本地数据库快速获取曾经处理的数据；

29、s253、将各种格式的数据统一处理为结构化数据进行预览展示；

30、s254、在预览展示的基础上，选择视觉图形的类型以及确定抽象数据到视觉图形属性的映射关系；

31、s255、根据系统设置信息、视觉图形配置信息将数据转换为对应的视觉图形，进行视觉图形的展示和交互。

32、进一步的，所述搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取包括以下步骤：

33、s31、搭建分布式存储集群，创建一个主节点与若干备份节点，并为节点的设备提供数据管理；

34、s31、为服务器创建图结构数据目录，并选择服务器端口给设备添加名称；

35、s32、在设备中创建文档型数据库，提供数据分片规则，定位图结构数据的位置，并对数据进行处理；

36、s33、通过副本集对图结构数据进行存放与读取。

37、进一步的，所述基于mapreduce实现对图结构数据进行预处理包括以下步骤：

38、s41、使用mapreduce对图结构数据进行图结构数据的过滤、清洗操作和特定的数据挖掘算法；

39、s42、经过map阶段实现图结构数据的过滤和清洗；

40、s43、在reduce阶段完成了用户访问序列的还原；

41、其中，所述清洗的公式为：

42、

43、式中，为第个图结构数据的权重，与为图结构数据中的数据；为第个图结构数据中实例变量的值；为第个图结构数据中相似变量的值。

44、进一步的，所述经过map阶段实现图结构数据的过滤和清洗包括以下步骤：

45、s421、map开始，输入日志文件中的一行记录；

46、s422、判断session是否有效，例如判断是否为爬虫记录，否则返回步骤s431，可用则继续运行；

47、s423、获取sessionid作为key，使用其余字段作为value，输出key/value。

48、进一步的，所述在reduce阶段完成了用户访问序列的还原包括以下步骤：

49、s421、reduce开始，以单个会话作为输入；

50、s422、将该会话中的所有记录按照时间进行排序，并按时间次序加入到集合中；

51、s423、对集合进行遍历，判断每一个记录的有效性；

52、s424、识别会话的起始节点，并加入到路径序列队列的首部，依次识别会话的后续节点，并加入到路径序列队列中；

53、s425、以sessionid作为key，以路径序列队列作为value，输出key/value。

54、根据本发明的另一个方面，还提供了一种基于可视化分析图的ui数据处理系统，该系统包括：数据读取模块、人机交互模块、图结构数据优化模块及图结构数据处理模块；

55、其中，所述数据读取模块通过所述人机交互模块与所述图结构数据优化模块连接，所述图结构数据优化模块与所述图结构数据处理模块连接；

56、所述数据读取模块，基于node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务；

57、所述人机交互模块，搭建hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据；

58、所述图结构数据优化模块，搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取；

59、所述图结构数据处理模块，基于mapreduce实现对图结构数据进行预处理。

60、本发明的有益效果为：

61、1、本发明使用了前后端分离的策略，这使得在多终端执行可视化分析任务成为可能，这需要可视化系统的表现层能够适应在具备不同尺寸屏幕的设备上执行可视化分析任务。因此，未来的工作将会进一步的优化系统的前后端分离架构，允许系统能够对多源异构的服务端进行整合，为多终端界面提供统一的数据访问接口，并提升可视化分析系统的展现层的多终端适配能力。

62、2、本发明面向不同的分析领域，提供更易于实现的布局方案定制能力。由于目前系统只内置了四种常用的可视化布局方法，在不同的分析领域，例如社交网络分析、生物网络分析等领域，所分析的侧重点有所不同，未来的优化目标是增加面向更多分析领域的可视化布局方法，并提供统一的编程接口，供用户定义更加符合需求的布局组件。

63、3、本发明进一步丰富系统的交互方式，对于可视化分析系统而言，交互是可视化和数据分析的衔接点，系统的交互能力直接影响着可视化分析系统的数据分析与探索的能力，未来的优化目标是提供更为丰富的交互手段，允许用户进行更简单的实施更高级的交互方法。