一种大数据处理技术在盐化工生产中的应用方法及系统与流程

本发明属于数据处理技术领域，尤其涉及一种大数据处理技术在盐化工生产中的应用方法及系统。

背景技术：

目前，大数据已成为学术界和产业界共同关注的研究主题，并已渗透到每一个行业和业务职能领域，具有广阔的应用前景。从长远来看，大数据时代，国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。

大数据研究的动力主要是企业经济效益，国外ibm、oracle、microsoft、google等跨国巨头是发展大数据处理技术的主要推动者。(1)自2005年以来，ibm投资160亿美元进行了30次与大数据有关的收购，促使其业绩稳定高速增长。(2)华尔街早就开始招聘精通数据分析的天文学家和理论数学家来设计金融产品。(3)ebay通过数据挖掘可精确计算出广告中的每一个关键字为公司带来的回报。目前国内以大数据技术实现的项目已经层出不穷，特别是大型互联网企业，都开始对大数据存储、处理和应用进行战略布局。(1)支付宝利用“pc服务器集群+开源软件”等手段可以对300亿条用户交易数据进行查询，大数据影响了公司的决策和业务运作。(2)国家电网、电信业务也将大数据技术应用于部门业务中，带来了可观的收益。大数据具有体量大、速度快、模态多、难辨识和价值大、密度低的特点。但大数据处理的难点并仅仅是在数据存储，而在于数据的多样性和不确定性，同时因劣质数据的存在带来数据辨识难度大，因此如何提取有效数据并反馈应用于其所处的业务领域是其关键问题。自贡是我国千年盐都，钻井采卤制盐已有一千六百多年的历史。其制盐经济效益主要受生产成本、能耗和污染等影响。因此不断采用新工艺、新技术、新材料、新设备始终是降低资源消耗、提高经济效益的有效途径。

综上所述，现有技术存在的问题是：现有大盐化工产业中，对盐化工生产中涉及到的生产工艺参数、投入成本、节能节水、环境影响等海量大数据未进行统计，没有建立数据分析综合平台，未从大数据处理的角度对有效信息进行提取融合，因此不能对其生产工艺涉及的各种环节进行科学合理的矫正，不能促进井盐资源优势向经济优势的转化，更好服务于地方经济发展；同时现有的数据处理因数据规模大、分析处理时间长不能满足实时性，不能及时在线处理盐业工艺中的生产问题，导致产量低，经济效益低。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种大数据处理技术在盐化工生产中的应用方法及系统。

本发明是这样实现的，一种大数据处理技术在盐化工生产中的应用方法，所述大数据处理技术在盐化工生产中的应用方法包括：

将差压变送器、流量计、液位传感器、温度变送器、rfid感知设备和若干个无线接收器采集的信息，通过rdf算法部署异构节点组成的局部无线局域网传输至internet网络层；最后将采集的信息数据发送至数据中心；在应用层通过数据挖掘的大数据分析技术对数据分析处理并存储，同时采用支持3g/4g或5g的智能移动设备与数据中心和用户进行交互。

进一步，采集的信息包括盐化工产业中的ph值、电导率、溶解氧、氧化还原电位、生化需氧量及氨氮。

进一步，通过rdf算法构成的无线传感器网络，可减少网络能量消耗增加网络寿命。在其随机分布网络中，假定所有传感节点和sink节点是符合参数为λ0和λ1的齐次泊松分布，λ0＞＞λ1；对于一个已选定的异构节点的位置，其网络寿命表示为：

ei为关键节点的初始能量；p代表关键节点在一次数据采集过程中消耗的能量；εt表示传感节点发送一个数据包所消耗的能量；εr表示传感节点接收一个数据包所消耗的能量；ns为关键节点的个数；εi节点在发第一个包和第二个包之间空闲监听信道所消耗的能量；通过上面公式用于计算网络消耗能量。

本发明的另一目的在于提供一种大数据处理技术在盐化工生产中的应用系统，包括:从下到上依次通过无线连接的感知层、网络层、应用层；所述感知层通过rdf算法部署异构节点组成一个局部无线局域网；所述应用层借助数据仓库、高性能云计算技术对网络层获取的感知层的各类参数进行处理、统计和查询；同时采用支持3g/4g或未来5g的智能移动设备与数据中心和用户进行交互。

进一步，感知层包括：差压变送器、流量计、液位传感器、温度变送器、rfid感知设备和若干个无线接收器，均部署盐矿及其化工产业设备中；

无线接收器自动接收感知设备数据并通过物联网网关连接至internet网络层；最后数据发送至数据中心；

应用层包括数据中心，所述数据中心包括：大数据存储系统，借助数据仓库、高性能云计算等技术对网络层获取的感知层的各类参数进行存储；

分析和共享服务系统，借助数据仓库、高性能云计算技术对网络层获取的各类参数进行处理、统计和查询；利用神经网络和模式识别分析于数据挖掘中，完成对信息的高效处理；同时采用支持3g/4g或未来5g的智能移动设备与数据中心和用户进行交互。

本发明将大数据技术应用于盐化工产业当中，对盐化工生产中涉及到的生产工艺参数、投入成本、节能节水、环境影响等海量大数据进行分析，并建立数据分析综合平台，最终促进了井盐资源优势向经济优势的转化，更好服务于地方经济发展。

本发明首次系统化地提出了大数据时代物联网、云计算等技术在盐化工产业领域的融合性技术框架。初次提出了基于大数据的盐化工物联网的框架体系、物理部署，重点展开探讨了数据挖掘技术在大数据处理系统平台的实现。采用区域密度优先(rdf)算法于无线传感器网络异构节点部署中，解决了网络覆盖广出现的能量空洞问题，延长了网络寿命。针对盐化工信息模糊性和不确定性等特点，采用神经网络和d-s证据理论的两层数据融合技术，提取有效数据并去除冗余数据，提高了输出数据的准确度，同时提高了整个系统的运行效率。采用一站式应用方案实现大数据可视化性能。采用ria技术使各类客户端(pc/phone/pda等)通过internet连接到信息分析平台，客户端无需关心后台数据的处理和存储方式，达到跨平台、跨语言、跨数据库的虚拟化数据集成和共享平台。

附图说明

图1是本发明实施例提供的大数据处理技术在盐化工生产中的应用方法流程图。

图2是本发明实施例提供的大数据处理技术在盐化工生产中的应用系统示意图。

图3是本发明实施例提供的神经网络和d-s证据理论两级融合算法相结合的方法流程图。

图4是本发明实施例提供的大数据处理技术在盐化工生产中的应用系统实物(盐化工大数据分析处理平台)图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

图1是本发明实施例提供的大数据处理技术在盐化工生产中的应用方法，包括：

s101:数据采集部分将差压变送器、流量计、液位传感器、温度变送器、rfid感知设备和若干个无线接收器部署盐矿及其化工产业设备中，通过rdf算法部署异构节点组成一个局部无线局域网作为系统的感知层；

s102:无线接收器自动接收感知设备数据并通过物联网网关连接至internet网络层；最后数据发送至数据中心，在应用层通过数据挖掘等大数据分析技术对数据分析处理并存储，同时采用支持3g/4g或未来5g的智能移动设备与数据中心和用户进行交互。

感知层主要是数据采集部分，对所采集的数据分析进行统计分析反馈，主要将各类传感器和rfid、摄像头等感知设备部署在井盐地质勘测和开采、制盐系统、两碱基础化工以及精细化工产业设备体系中，从而获得海量数据。由于存在感知设备多、分布范围广等特点，拟采用异步节构点算法组建局部局域网。采用的rfid异步结构点算法能够解决因节点多导致网络寿命短、采集数据冗余信息多等缺点，采集的信息主要包括盐化工产业中的ph值、电导率、溶解氧、氧化还原电位、生化需氧量及氨氮等。

该rdf算法在随机分布网络中，假定所有传感节点和sink节点是符合参数为λ0和λ1的齐次泊松分布，通常λ0＞＞λ1。对于一个已选定的异构节点的位置，其网络寿命可表示为：

ei为关键节点的初始能量；p代表关键节点在一次数据采集过程中消耗的能量；εt表示传感节点发送一个数据包所消耗的能量；εr表示传感节点接收一个数据包所消耗的能量；ns为关键节点的个数；εi节点在发第一个包和第二个包之间空闲监听信道所消耗的能量。通过公式(1)可以计算网络消耗能量。

基于hadoop的数据存储处理平台：

云平台是大数据存储的理想载体。云计算技术是大数据存储与处理技术的重要组成部分，其核心是海量数据存储和数据并行处理技术，即分布式文件系统dfs(distributedfilesystem)和mapreduce技术。hadoop提供了一种开源的hdfs技术，不仅继承了dfs高容错性和部署在低廉硬件上的优点，同时具有高可靠性、高扩展性以及负载均衡等能力。而且hadoop包含了并行编程模型mapreduce的开源实现，

基于以上，本发明利用hadoop去构建数据存储处理平台，同时为了满足制盐过程中的实时性要求，从以下四方面来设计存储系统：①根据性能和分析要求进行分类存储；②对性能要求非常高的实时数据采用实时数据库系统；③对核心业务数据使用传统的并行数据仓库系统；④对大量的历史和非结构化数据采用分布式文件系统。

本发明提出为盐化工信息中的大数据构建基于hadoop的多级存储系统。即本发明实施例提供的大数据处理技术在盐化工生产中的应用系统，如图2所示。

同时，为了解决大数据因数据规模大、分析处理时间长不能满足实时性的问题，本发明拟采用内存数据库(mmdb:mainmemorydatabase)技术，即把数据放在内存中直接操作的数据库。

图2所示，本发明实施例提供的大数据处理技术在盐化工生产中的应用系统，为基于大数据的盐化工信息分析平台，包括：

感知层1、网络层2(无线传感器网络及通信)、应用层3(数据仓库及云计算)等构成。

感知层1包括：差压变送器、流量计、液位传感器、温度变送器、rfid感知设备和若干个无线接收器，均部署盐矿及其化工产业设备中。

通过rdf算法部署异构节点组成一个局部无线局域网作为系统的感知层。无线接收器自动接收感知设备数据并通过物联网网关连接至internet等网络层2，最后数据发送至数据中心，在应用层通过数据挖掘等大数据分析技术对数据分析处理并存储，同时采用支持3g/4g或未来5g的智能移动设备与数据中心和用户进行交互；

应用层3包括数据中心，数据中心包括：

大数据存储系统，借助数据仓库、高性能云计算等技术对网络层获取的各类参数进行存储；

分析和共享服务系统，借助数据仓库、高性能云计算等技术对网络层获取的各类参数进行处理、统计和查询；利用神经网络和模式识别分析于数据挖掘中，完成对信息的高效处理。

本发明实施例提供的大数据处理技术在盐化工生产中的应用系统从大数据的采集、传输、存储、实时数据处理、异构多数据源融合以及大数据可视化几个关键技术方面来构建。

下面结合大数据分析对本发明作进一步描述。

大数据分析：

本发明的重点是分析盐化工产业中获得海量数据，从而寻找最优制盐工艺、最小成本投入，最小环境影响以达到最大化经济效益和社会效益。盐化工生产涉及的参数繁杂，涉及到厂址地理位置、技术方案、设备方案和工程方案、主要原辅材料、燃料供应、环境影响评价、劳动安全、工业卫生与消防、组织机构与人力资源配置等因素。这些因素从经济、生态环境、社会效益角度看都存在着相互联系、相互制约的关系，且这些信息的分类本身就是一个模糊概念。鉴于大数据的不确定性、冗余性和模糊性本发明采用bp神经网络和d-s证据理论两级融合算法相结合的方法来优化输出数据。两级融合算法设计的流程如图3。

bp神经网络具有自组织和自学习的功能，具有较好的容错性和鲁棒性。将bp神经网络算法应用到d-s证据理论中，既可以通过d-s证据理论处理盐工业数据中的不确定信息和模糊信息，又可利用bp神经网络算法的自适应特性，提高数据处理的效率和准确率。

bp神经网络算法的基本步骤可描述为：

选定学习的数据，p＝1，...，p，随机确定初始权矩阵w(0)

用学习数据计算网络输出

反下式向修正，直到用完所有学习数据。l＝1，...，l，

由于bp神经网络算法应用梯度下降算法，具有很强的学习和识别能力，但存在收敛速度慢的缺陷，为此本发明采用levenberg-marquart优化算法，

lm算法为：

w(k+1)＝w(k)-[j^t(w(k))j(w(k))+uii]-¹×j^t(w(k))e(w(k))(2)

当^μi幅值较大的时，公式(2)将变为步长很小的梯度下降法，从而使学习时间更短，改善了bp神经网络算法的收敛速度。

d-s证据理论其数学模型可描述为：

设m1，m2，……，mn是识别框架上的基本概率分配，多概率分配函数的正交和由下式表示

式中

该公式是d-s证据理论的重要部分，其中k称为冲突权值。当k＝∞时，意味着这多组证据是完全矛盾的，此时，不能用d-s证据理论进行组合。当k＜∞时，表示这多组证据一致或部分一致，这时可以给出证据的组合结果。

由图3所示，在数据采集检测中，各个传感器获得的数据作为经网络传输至存储系统后，每个传感器获得数据可看成不同的具有n个特征参数构成的特征向量，经过改进的bp神经网络算法的自适应学习后，将得到m个归一化的数[0～1]，运用d-s证据合成规则进行数据融合，由公式(4)可知，利用前k次数据的测量，当进行k+1次测量时产生的证据时，重复运用(4)式进行融合推断，即可进行最终有效数据的决策输出。此处的有效数据包括最佳生产工艺所需的最低成本，原料，温湿度的保持等。

下面结合大数据可视化技术的实现对本发明作进一步描述。

大数据可视化技术的实现

数据从采集、存储到分析统计最后的结果是服务于工作人员，所以为了使盐化工的大数据分析能够满足操作、阅读的简易性，课题组拟采用采用ria(richinternetapplication)技术实现在客户端上的可视化特性。操作者无需关心数据如何在后台进行繁杂的数据挖掘等运算，只需要在pc或其他手持设备上简单的操作即可。ria具有桌面应用程序的特点(互动用户界面、快捷的界面响应时间、拖放特性、在线和离线操作)和web应用程序特点(立即部署、跨平台等)。其通信特点包括实时互动的声音和图像，数据能够被缓存在客户端，从而可以实现一个比基于html的响应速度更快且数据往返于服务器的次数更少的用户界面。

客户端系统采用一站式门户技术与设计理，利用微软的为主浏览器可提供高视音频、低成本传递的silverlight技术实现资源消费服务的门户。前端ui通过http、soap等协议与“云端”计算服务与数据服务进行通信、交互，服务中心通过tcp(wcf)、http、soap等协议与其他服务进行交互，将结果返回前端。客户端对服务调用返回的结果进行处理与格式化，并将结果以常见的文本、表格、图片等形式显示。

图4是本发明实施例提供的大数据处理技术在盐化工生产中的应用系统实物(盐化工大数据分析处理平台)图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。