一种基于人工智能的数据分析方法与流程

本公开涉及智能数据处理，尤其涉及一种基于人工智能的数据分析方法、系统和电子设备。

背景技术：

1、智能数据分析，它是指运用统计学、模式识别、机器学习、数据抽象等数据分析工具从数据中发现知识的分析方法。智能数据分析的目的是直接或间接地提高工作效率，在实际使用中充当智能化助手的角色，使工作人员在恰当的时间拥有恰当的信息，帮助他们在有限的时间内作出正确的决定。智能数据分析的目的是直接或间接地提高工作效率，在实际使用中充当智能化助手的角色，使工作人员在恰当的时间拥有恰当的信息，帮助他们在有限的时间内作出正确的决定。

2、在传统的智能数据分析方式中，人工神经网络(比如cnn或者rnn算法)这种数据分析方法，具有自学习功能,在此基础上还具有联想存储的功能。因此，利用算法模型对数据进行智能分析，也是当前数据处理中的一种潮流。人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。该模型由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。

3、传统的人工神经网络对数据智能分析的流程大致为：

4、l.数据收集:通过各种渠道和方式，收集相关的数据，包括结构化数据(如数据库中的表格数据)和非结构化数据(如文本、图片、音频、视频等)。

5、2.数据清洗:对收集到的数据进行清洗和预处理，去除重复数据、缺失数据和异常数据，确保数据的质量和准确性。

6、3.数据存储:将清洗后的数据存储到相应的数据库或数据仓库中，以便后续的分析和挖掘。

7、4.数据分析:利用各种数据分析算法和模型，对数据进行统计分析、关联分析聚类分析、预测分析等，以发现数据中的规律和潜在的关联。

8、5.数据可视化:将分析得到的结果以可视化的方式展示出来，如图表、报表仪表盘等，以便用户更直观地理解和利用分析结果。

9、6.数据挖掘:通过数据挖掘技术，发现隐藏在数据中的模式、规律和趋势，提供对未来的预测和决策支持。

10、7.结果解释:对分析和挖掘得到的结果进行解释和解读，帮助用户理解数据背后的意义和价值。

11、上述传统的人工神经网络对数据智能分析的流程，虽然可以利用各种数据分析算法和模型，对数据进行统计分析、关联分析聚类分析、预测分析等，以发现数据中的规律和潜在的关联，但是也只能只用于一种数据的分析，无法用于多种类型的数据同时分析，因为其数据处理方式只能适应单一数据类型的报表数据。

12、此外，传统的人工神经网络对数据智能分析的流程，对数据进行统计分析方式，旨在一对一的分析，只能对数据的特征进行识别，不能够对多个数据进行关联特征聚类，缺乏数据之间的关联分析特征。

13、因此，需要提高数据分析和处理的适配类型和效率。

技术实现思路

1、为了解决上述问题，本技术提出一种基于人工智能的数据分析方法、系统和电子设备。

2、本技术一方面，提出一种基于人工智能的数据分析方法，包括如下步骤：

3、将数据集s上传至后台服务器，由所述台服务器对所述数据集s进行类型识别并标记，并将各个类型的数据包：s1、s2、s3......，保存至分布式文件系统hdfs；

4、向所述后台服务器输入数据分析需求，由所述后台服务器对所述数据分析需求进行解析，得到待分析的数据类型，并将所述数据类型发送至所述分布式文件系统hdfs；

5、所述分布式文件系统hdfs根据所述数据类型，从相应存储节点调取出对应的所述数据包，并将所述数据包发送至预先部署于所述后台服务器上的数据智能分析模型m中；

6、通过所述数据智能分析模型m，提取得到所述数据包的数据关联关系，并推荐至前端。

7、作为本技术的一可选实施方案，可选地，将数据集s上传至后台服务器，由所述台服务器对所述数据集s进行类型识别并标记，包括：

8、采集数据集s：

9、s＝{s1、s2、s3......}，

10、s1，s2，s3......分别为各个类型的数据包；

11、由所述后台服务器对各个所述数据包的数据源进行识别，并将所述数据源的数据源id，标记在对应的所述数据包上；

12、标记完毕，通知所述分布式文件系统hdfs，准备相应的存储环境；其中，通知中包含所述数据集s中各个数据包的数量和容量大小。

13、作为本技术的一可选实施方案，可选地，将各个类型的数据包：s1、s2、s3......，保存至分布式文件系统hdfs，包括：

14、通过所述分布式文件系统hdfs的客户端：client，接收所述后台服务器发出的通知，并将通知同步至管理节点：namenode，由管理节点：namenode创建相应的存储任务；

15、所述管理节点：namenode，根据所述数据集s中各个数据包的数量，激活相应数量的存储节点：datanode，并根据各个数据包的容量大小，分别为各个所述存储节点：datanode配置相应的存储空间；

16、准备完毕，由客户端：client向所述后台服务器发出反馈；

17、所述后台服务器将各个类型的数据包：s1、s2、s3......，发送至客户端：client；

18、客户端：client，对各个类型的数据包进行切分，并转交至所述管理节点：namenode；

19、所述管理节点：namenode，根据各个数据包的容量大小，分别将对应的所述数据包，写入并保存至相应的所述存储节点：datanode之下；同时将各个数据包的存储位置，上报至客户端：client。

20、作为本技术的一可选实施方案，可选地，向所述后台服务器输入数据分析需求，由所述后台服务器对所述数据分析需求进行解析，得到待分析的数据类型，并将所述数据类型发送至所述分布式文件系统hdfs，包括：

21、用户通过前端，将所述数据分析需求发送至所述后台服务器；

22、所述后台服务器对所述数据分析需求进行解析，得到待分析的数据类型，并将所述数据类型发送至所述分布式文件系统hdfs的客户端：client。

23、作为本技术的一可选实施方案，可选地，所述分布式文件系统hdfs根据所述数据类型，从相应存储节点调取出对应的所述数据包，并将所述数据包发送至预先部署于所述后台服务器上的数据智能分析模型m中，包括：

24、客户端：client，根据所述数据类型，检索对应所述数据类型的所述数据包的存储位置，并根据所述存储位置，向管理节点：namenode发出检索请求；

25、所述管理节点：namenode，根据所述存储位置，向对应的所述存储节点：datanode进行数据调取，获得相应的所述数据包，并将所述数据包反馈至客户端：client；

26、客户端：client将所述数据包发送至预先部署于所述后台服务器上的数据智能分析模型m中。

27、作为本技术的一可选实施方案，可选地，通过所述数据智能分析模型m，提取得到所述数据包的数据关联关系，并推荐至前端，包括：

28、通过所述数据智能分析模型m，基于卷积神经网络对所述数据包进特征提取，提取得到数据包特征集合t：

29、t＝{t1，t2，t3......}，

30、其中，t1，t2，t3......分别为所述数据包中各个数据的数据特征；

31、基于kmeans聚类算法，对所述数据包特征集合t中各个数据的数据特征进行聚类，并输出各个数据的数据特征之间的数据关联关系；

32、根据所述数据关联关系，从数据库中匹配相应的数据应用场景，并将所述数据关联关系融入所述数据应用场景，得到所述数据分析场景；

33、将所述数据分析场景，通过所述后台服务器推荐至前端，供用户分析使用。

34、本技术另一方面，提出一种实现所述基于人工智能的数据分析方法的系统，包括：

35、前端应用模块，用于将数据集s上传至后台服务器；

36、后台服务器，用于对所述数据集s进行类型识别并标记，并将各个类型的数据包：s1、s2、s3......，保存至分布式文件系统hdfs；

37、前端应用模块，用于向所述后台服务器输入数据分析需求；

38、后台服务器，还用于对所述数据分析需求进行解析，得到待分析的数据类型，并将所述数据类型发送至所述分布式文件系统hdfs；

39、分布式文件系统hdfs，用于根据所述数据类型，从相应存储节点调取出对应的所述数据包，并将所述数据包发送至预先部署于所述后台服务器上的数据智能分析模型m中；

40、后台服务器，还用于通过所述数据智能分析模型m，提取得到所述数据包的数据关联关系，并推荐至前端。

41、本技术另一方面，还提出一种电子设备，包括：

42、处理器；

43、用于存储处理器可执行指令的存储器；

44、其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于人工智能的数据分析方法。

45、本发明的技术效果：

46、本技术通过本利用分布式文件系统hdfs，对前端发起的数据分析请求中的数据集s，进行存储，通过对数据集s中各个类型的数据包进行分布式存储，后续再进行前端请求响应，从相应存储节点调取出对应的所述数据包，并将所述数据包发送至预先部署于所述后台服务器上的数据智能分析模型m中；通过所述数据智能分析模型m，提取得到所述数据包的数据关联关系，并推荐至前端。数据智能分析模型m能够利用基于kmeans聚类算法，对所述数据包特征集合t中各个数据的数据特征进行聚类，并输出各个数据的数据特征之间的数据关联关系；根据所述数据关联关系，从数据库中匹配相应的数据应用场景，并将所述数据关联关系融入所述数据应用场景，得到所述数据分析场景；将所述数据分析场景，通过所述后台服务器推荐至前端，供用户分析使用。因此，能够对不同类型的数据集进行智能识别和分析，并通过聚类，对数据包特征集合t中各个数据的数据特征进行聚类，并输出各个数据的数据特征之间的数据关联关系，以此实现多数据之间的关联分析，让用户能够从关联分析所用的应用场景中，直观找到数据之间的联系，为用户节省分析时间。因此，本方案能够适用于多类型数据集的数据分析，提高对数据分析的应用处理效率。

47、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。