一种数据采集和可视化监控智能系统的制作方法

本发明涉及一种数据采集方法和可视化监控智能系统。

背景技术：

工业信息化时代，各种智能监控技术不仅能提高企业信息化管理和生产的自动化水平，还能有效提升生产效率。原始的简单系统仅仅具备了数据采集或者是数据显示的功能，并且每个数据采集网关采集的数据量也是有限的，一旦数据量较大时，上层的数据处理的难度也随即增大。本发明设计出一种数据采集和可视化监控智能系统，能有效满足新一代智能监控系统和信息集成的功能要求，不仅能进行大规模的数据采集和数据处理，同时能够进行有效合理的数据展示。

技术实现要素：

本发明目针对现有工业化智能系统的不足，提出并设计出一种数据采集和可视化监控智能系统，能有效满足新一代智能监控系统和信息集成的功能要求，不仅能进行大规模的数据采集和数据处理，同时还能进行数据可视化服务。

一种数据采集和可视化监控智能系统，包括：用于采集工业生产各传感器的工作参数和运行状态的数据采集子系统，用于数据上传、备份及恢复功能的数据处理子系统，可选的应用大数据处理方法面向处理大规模数据的大数据处理子系统，用于用户服务的应用子系统；其中，数据处理子系统将数据采集子系统的数据提交给应用子系统存储分析和服务，如果所采集的数据规模较大，需要通过大数据处理子系统进行处理，再进行应用子系统存储和服务；

其中，所述的数据采集子系统包括：

OPC服务端模块，用于通过本地数据接口采集不同设备的工作参数，所述工作参数包括温度、压力、湿度和电压等工业现场参数，并根据所述的工作参数判断工作现场运行状态是否正常；

OPC客户端模块，用于经由数据处理模块和上层管理系统进行数据采集，根据上层管理系统的控制指令对不同的OPC服务端口数据进行采集；

数据处理模块，用于OPC客户端模块和上层管理系统的数据交换服务，如参数格式转换、数据包组合拆分、数据异常值现场处理判定等功能；

底层告警模块，用于连接本地数据处理模块，进行本地参数异常的报警提示，提醒传输数据的正确性和安全性；

所述的数据处理子系统包括：

数据上传模块，用于将OPC采集经由初步处理的的参数数据上传给应用子系统进行分布式存储，接收应用子系统的上传指令；

数据备份恢复模块，用于本地数据的保存、备份和恢复，控制上传数据过程中意外状态的恢复和数据安全性保障；

所述的大数据处理子系统包括：

数据实时流处理模块，用于面向工业大数据低时延、可扩展和容错性高要求的并行性处理，以实时或接近实时的处理大数据流，采用Spark和Storm技术实现；

数据离线计算模块，用于针对工业大数据量大、复杂批量计算等特点采用Hdfs、MapReduce、Hive技术实现；

所述的应用子系统包括：

数据分布式存储模块，用于所上传数据的云化存储，进行后继的数据管理、挖掘等功能；

数据展示模块，用于工业现场数据基于B/S模式的实时数据、历史数据、统计数据等的可视化展示；

统计查询模块，用于根据不同数据模型进行统计分析后的结果查询和检索；

权限管理模块，用于基于B/S模式用户的不同权限管理，包括数据的可访问、可修改，权限的可指派、可收回等；

告警查询模块，用于现场数据告警次数、告警值、处理情况等的统计和查询管理。

数据采集子系统中，OPC服务端通过OPC通讯协议和TCP通讯协议，通过本地数据接口连接到不同工厂的设备中，用于实时采集每个工厂中的不同设备的装置参数信息；

OPC客户端将采集到的数据通过web service通讯协议连接到数据处理模块，进行数据的预处理，一旦数据有异常和缺失，告警模块会做出相对应的告警信息，方便进行数据检测和恢复；

数据处理子系统中，数据上传模块一方面连接到数据处理模块，一方面连接到应用子系统中的数据分布式存储模块；

数据在往应用子系统上传前，会通过数据恢复和备份模块对数据进行有效的备份，一旦遇到数据丢失等现象，方便高层对数据再次请求时数据的及时恢复和完整性。

大数据处理子系统，通过hadoop技术可以应对数据量大时的数据处理，通过HDFS和MapReduce为海量的数据提供离线计算；

通过storm技术可以应对数据量大时的数据实时计算处理，保障应用子系统对数据的秒级响应和展示。

所述的应用子系统能对数据进行有效的数据展示，实时数据可视化模块，能对当前某一段时间的设备指标进行可视化展示；历史统计查询模块，能对历史某一段时间的设备指标进行统计和展示；告警监控模块，能对出现告警信息的设备做出及时的监控提醒，保障系统的安全性；权限管理模块，能针对不同的管理人员设定不同的管理等级，实现不同等级不同操作功能的界面展示。

应用子系统中的权限管理模块，针对不同工厂、不同层级人员的不同请求响应，设计出不同的权限管理界面，方便整个工厂对数据请求和设备监控的合理性和有效性，保障数据信息化管理的需求；

应用子系统中的数据展示模块，对不同工厂的不同需求，方便对需要查询监控的设备进行数据查询和展示，也可以对某个区域的不同设备进行监控和数据查询；

应用子系统中的统计查询模块，针对不同时段的数据请求需求，提供了查询人员对不同设备、不同历史时段的历史数据查询功能，能有效观测不同时间段的设备数据对比和区域分析功能；

应用子系统中的告警查询模块，针对设备可能出现的参数超标等现象，通过告警模块对出现异常的设备做出及时的告示，方便管理人员做出合理的措施，防止不必要的损失。

本发明的优点是：

1)实现对各个工厂现场设备参数的统一数据采集和处理，基于OPC可以使本系统从底层开始就独立于制造商，满足平台独立、可伸缩性强、高可用等优点；

2)充分考虑工业大数据特征，通过大数据处理子系统满足大数据的实时性、离线计算等需求；

3)系统结构明晰，子系统功能明确，操作友好，实现对工业大数据采集和可视化监控的可定制化、灵活性和智能化。

附图说明

图1本发明的功能模块设计图。

图2本发明的应用子系统权限管理界面。

图3本发明的应用子系统统计查询界面。

图4本发明的应用子系统告警查询界面。

具体实施方式

下面结合附图，对本发明的实施进行详细描述。

如图1所示，本发明，即一种数据采集和可视化监控智能系统，包括：部署在数据采集子系统100的设备源1、OPC服务端2、OPC客户端3、数据处理模块4、告警模块5；部署在数据处理子系统200的数据上传模块6、数据备份恢复模块7；部署在应用子系统300的数据分布式存储8、告警查询模块9、数据展示模块10、权限模块11和统计查询模块12；以及部署在大数据处理子系统400的数据实时流处理13和数据离线处理14。

OPC服务端2通过本地数据端口采集设备源1的数据信息，包括温度、气压、压强等。OPC客户端批量从OPC服务端中得到实时数据，整合后通过以太网传输给数据处理模块4。数据处理模块4对数据进行初步处理，检测到异常处理时通知告警模块5向用户告警，并将数据交给数据处理层200的数据上传模块6。告警模块5通过短信和邮件向指定用户发送告警信息。

在数据处理子系统200中，数据上传模块6首先会将数据通过以太网发送给数据备份恢复模块7。数据备份恢复模块7会对数据进行本地和异地备份，并在数据丢失时对数据进行还原。然后，数据上传模块6将数据传输到应用子系统300的数据分布式存储8。

在应用子系统300中，数据分布式存储8有两种选择方案，当数据量小，不需要进行大数据处理时，直接选用MySQL作为后端数据库，同时做好主从复制及读写分离架构。当数据量规模庞大并且需要进行大数据处理时，选用HBase分布式数据库，结合大数据处理子系统400做在线流处理及离线计算任务。告警查询模块9按照时间顺序展示最近出现的异常信息，直观地呈现了当前各设备的运行状况。数据展示模块10根据设备进行分类，展示采集到的实时数据。

权限模块11处理各个工厂之间用户权限，主要分为三级：最高权限用户admin，各工厂的管理员以及各工厂的普通用户。admin具有最高权限能够添加各工厂的管理员，各工厂的管理员只能管理本厂的用户。各厂之间的数据隔离，用户只能看到自己工厂的数据。

统计查询模块12主要通过历史曲线的形式展示历史数据，各工厂管理员可以自定制需展示的设备。

大数据处理子系统400，使用hadoop技术可以应对数据量大时的数据处理，通过MapReduce框架为海量的数据提供了离线计算。使用Storm技术对数据做实时计算处理，保障应用层对数据的秒级响应和展示。

综上所述，本发明首先通过OPC服务端的本地端口获得实时的设备数据，在数据采集子系统和处理子系统对数据进行初步处理并做相应的备份。在应用子系统，通过对异常数据、实时数据、历史曲线的展示，能够直观地描述各设备的运行状况。在大数据处理子系统，特别针对采集到的大规模数据进行处理，进一步进行大数据挖掘分析。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。