本发明涉及通讯业务技术领域，具体地涉及基于工业大数据的远程采集监视系统及方法。
背景技术：
云计算、物联网、大量社交网络的兴起使我们各行各业每时每刻都在产生和处理海量的数据，大数据时代已经到来。大数据应用具有数量巨大，数据种类繁多，数据有待快速处理，以及数据价值不明确等特点。
工业大数据是制造业在生产过程中产生的大数据。工业大数据以海量、多来源、异构(结构化、半结构化和非结构化数据并存)、增长速度快等为主要特点。与传统互联网大数据相比，具有更强的专业性、关联性、流程性、时序性和解析性。
工业大数据的采集，主要是运用工业互联网技术进行远程数据采集或可视化采集，通过采集软件在工业互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。工业大数据采集监视，主要包括以下三个方面：监视采集网络状态、采集程序运行状态及收集故障信息等；评价采集系统的可靠性和高效性；在发生事故时能快速地找到和分析事故的原因，找到恢复采集的最佳方法。
传统的数据采集监视方式，主要包括以下三个方面：写日志文件，定期拷贝到服务器；从采集程序向服务器上传时间、事件/内容这类半结构化数据，当采集链路长、网络状况不确定等情况时，需要进行数据压缩、数据加密等处理，之后再传输这些数据；或者采集程序将这些监视信息结构化写入本地关系数据库，再由服务器自行读取。传统数据采集监视方法，已经不适合工业大数据瞬息万变的要求。其主要问题是需要为网络监视单独进行处理，包括日志的存储、备份、解析等，网络层级越多，日志的收集和传输尤为不方便，很难在短时间内解析和查询到远程节点的日志信息。
工业大数据的采集监视方式面临的主要问题是，广域分布的工业控制系统数据源复杂多变，数据传输网络链路较长，网络情况复杂，很容易出现传输问题。对运维人员来说，要保证大量数据的实时性、安全性和可靠性，需要及时监视各采集节点的性能、运行情况，监视网络传输情况，必须考虑当网络发生故障时如何快速定位排查的问题。
技术实现要素：
本发明的目的是提供一种基于工业大数据的远程采集监视系统及方法，其不仅可以使运维人员实时了解各采集过程的情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障，保障了工业大数据平台的安全、高效运行。
为了实现上述目的，本发明一方面提供一种基于工业大数据的远程采集监视系统，该远程采集监视系统包括：数据采集接口，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，该远程采集监视系统还包括：数据汇聚接口，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传，所述数据接收接口用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，所述远程采集监视系统还包括：显示界面，用于显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口的各个数据处理过程所对应的特征值。
可选的，该远程采集监视系统还包括：报警装置，用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。
可选的，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括：监测资源指标，该资源指标包括cpu平均利用率、内存使用率、网络带宽、端口状态及接口状态；以及监测系统指标，该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
相应的，本发明另一方面还提供一种基于工业大数据的远程采集监视方法，该远程采集监视方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及在数据接收接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，所述接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括：在数据汇聚接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，所述远程采集监视方法还包括：显示所述数据采集接口、所述数据汇聚接口及所述数据接收接口处的各个数据处理过程所对应的特征值。
可选的，该远程采集监视方法还包括：当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。
可选的，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括：监测资源指标，该资源指标包括cpu平均利用率、内存使用率、网络带宽、端口状态及接口状态；以及监测系统指标，该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
通过上述技术方案，本发明可同时实现工业大数据的远程采集和远程采集监视过程，即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障；还可以方便的计算从数据采集接口到数据接收接口数据传输的效率，极大地提高了数据采集过程中数据的安全性能和可靠程度，减少了维护人员的数量和工作量。
附图说明
图1是本发明一种实施方式提供的基于工业大数据的远程采集监视系统的流程图；
图2是本发明一种实施方式提供的基于工业大数据的远程采集监视系统的结构图；
图3是本发明一种实施方式提供的数据采集接口的监视测点的结构图；
图4是本发明一种实施方式提供的数据汇聚接口的监视测点的结构图；
图5是本发明一种实施方式提供的数据接收接口的监视测点的结构图；以及
图6是本发明一种实施方式提供的基于工业大数据的远程采集监视方法的流程图。
附图标记说明
1数据采集接口2数据接收接口
3数据库4工业控制系统
5智能传感器6数据汇聚接口
7网络隔离装置8网络隔离装置
9显示界面10报警装置
11数据采集接口33内部数据源
40数据源41数据源
42数据源44内部数据源
55内部数据源66数据汇聚接口
100采集程序200接收程序
600汇聚程序
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图1是本发明一实施例提供的基于工业大数据的远程采集监视系统的流程图。如图1所示，本发明提供的远程采集监视系统可包括：数据采集接口1，用于通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及数据接收接口2，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库3，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库3。其中，所述工业大数据可包括来自于工业控制系统4的数据及智能传感器5的数据；所述数据采集接口1可采集多个来自所述工业控制系统4和/或所述智能传感器5的数据源，例如数据源40、数据源41、数据源42……等等，如图3所示。所述远程采集监视系统可同时实现工业大数据的远程采集和远程采集监视过程，即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障；还可以方便的计算从数据采集接口到数据接收接口数据传输的效率，极大地提高了数据采集过程中数据的安全性能和可靠程度，减少了维护人员的数量和工作量。
如图2所示，本发明提供的基于工业大数据的远程采集监视系统还可包括：数据汇聚接口6，用于接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值、所述第二特征值及所述工业大数据一起进行二次封包上传，所述数据接收接口2用于接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库3，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值、所述第三特征值及所述工业大数据一起写入所述数据库3。所述数据汇聚接口6可接收一个或多个数据采集接口(如图4所示的多个数据采集接口可包括数据采集接口1、数据采集接口11、……等等)发送的数据。
如图2所示，所述数据采集接口1主要通过工控网(或数据传输协议)采集工业控制系统4或智能传感器5的实时变化的数据，然后通过工厂内网将所述数据上传到所述数据汇聚接口6。为了不影响原有数据源(工业控制系统4或智能传感器5)的网络系统，需要在所述数据采集接口1和所述数据汇聚接口6之间设置网络隔离装置7，以及在所述数据汇聚接口6和所述数据接收接口2之间设置网络隔离装置8，如图2所示。其中，所述网络隔离装置7及所述网络隔离装置8一般采用防火墙或单向隔离器。
其中，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则可包括：监测资源指标，该资源指标可包括cpu平均利用率、内存使用率、网络带宽、端口状态及接口状态等；以及监测系统指标，该系统指标可包括并发用户数、平均响应时间、事务成功率及超时出错率等。通过监视所述资源指标及所述系统指标，可以方便、直接地监视各接口处的物理机的性能和网络的运行情况。本发明中的资源指标及系统指标并不限于本实施例中的情况，只要是相关程序可以获取到的运行参数或系统参数即可。
如图3所示，所述数据采集接口1可按照第一预设监测规则在各个数据处理过程中的第一特征值作为内部数据源33，随同所述工业控制系统4或所述智能传感器5产生的外部数据源一起采集、处理与上传。所述数据采集接口1可通过采集软件提取第一特征值的过程如下：首先，定义监视测点，也就是说，可将数据采集、数据协议转换及数据首次封包上传分别定义为监视测点；然后，初始化所述监视测点；以及根据设定的采集周期分别提取所述监视测点所对应的第一特征值。如图4-5所示，所述数据汇聚接口6提取第二特征值及所述数据接收接口2提取第三特征值的过程也是如此，于此不再赘述。
本发明提供的基于工业大数据的远程采集监视系统还包括：显示界面9，用于将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2的各个数据处理过程所对应的特征值。所述显示界面9可包括工业组态软件，该工业组态软件可以将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2的各个数据处理过程作为监测测点进行图形化绘制，然后把所述监视测点所对应的特征值关联到各个图符，最后，利用所述工业组态软件运行后的监控画面将所述数据采集接口1、所述数据汇聚接口6及所述数据接收接口2处的各个物理机的性能和网络运行情况进行实时展示。通过所述工业组态软件的展示可以实时了解各接口处的物理机的使用状态，预测各接口的运行情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障；可以方便的计算从采集端到接收端进行数据传输的效率，极大提高了数据采集过程中数据的安全性能和可靠程度，减少了维护人员的数量和工作量。本发明中对监视测点进行图形化绘制并不限于上述的工业组态软件，还可以开发个性化定制的组态软件。
本发明提供的基于工业大数据的远程采集监视系统还包括：该远程采集监视系统还包括：报警装置10，用于当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。该报警装置10可通过所述工业组态软件控制发出报警提示，运维人员可通过各个特征值就可以简单准确地预测整个数据采集系统的故障，即利用工业组态流程图的预警技术，将周期性运维变为预测性运维。
具体而言，现以来自所述工业控制系统4的某个数据s的传输时间t为例来解释本发明提供的远程采集监视系统对工业大数据的采集监视过程。本实施例中的数据s采用如下数据结构体进行存储：
name：测点名称4字节；
flags：测点质量4字节；
pointtype：测点类型4字节；
state：测点状态4字节；
time：测点时间8字节；
value：测点值同100字节。
对于所述数据采集接口1，所述数据采集接口1通过数据传输协议采集数据s，然后对该数据s进行协议转换及首次封包上传。同时，通过采集程序100根据设定的采集周期分别提取所述数据采集、所述数据协议转换及所述数据首次封包上传三个监视测点所对应的第一特征值，即，数据采集时间t00、数据协议转换时间t01及首次封包上传时间t02；然后将所述第一特征值(t00、t01及t02)及所述数据s一起进行首次封包上传至所述数据汇聚接口6。
对于所述数据汇聚接口6，所述数据汇聚接口6接收所述第一特征值(t00、t01及t02)及所述数据s，然后对所述第一特征值及所述数据s进行数据汇总、数据压缩、数据加密及二次封包上传。同时，通过汇聚程序600根据设定的采集周期分别提取所述数据接收、所述数据压缩、所述数据加密及所述数据二次封包上传五个监视测点所对应的第二特征值，即所述数据接收t10、所述数据汇总t11、所述数据压缩t12、所述数据加密t13及所述数据二次封包上传t14；然后将所述第一特征值(t00、t01及t02)、所述第二特征值(t10、t11、t12、t12及t14)及所述数据s一起进行二次封包上传至所述数据接收接口2。
对于所述数据接收接口2，所述数据接收接口2接收所述第一特征值(t00、t01及t02)、所述第二特征值(t10、t11、t12、t12及t14)及所述数据s，然后对所述第一特征值(t00、t01及t02)、所述第二特征值(t10、t11、t12、t13及t14)及所述数据s进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值(t00、t01及t02)、所述第二特征值(t10、t11、t12、t13及t14)及所述数据s写入数据库3。同时通过接收程序200根据设定的采集周期分别提取所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩及所述数据写入数据库六个监视测点所对应的第三特征值，即所述数据接收t20、所述数据解密t21、所述数据解压缩t22、所述数据解析t23、所述数据压缩t24及所述数据写入数据库t25；然后将所述第一特征值(t00、t01及t02)、所述第二特征值(t10、t11、t12、t13及t14)、所述第三特征值(t20、t21、t22、t23、t24及t25)及所述数据s一起写入所述数据库3。
所述远程采集监视系统可同时实现工业大数据的远程采集和远程采集监视过程，即按照预设监测规则将数据采集过程的特征值作为内部数据源与所采集的工业大数据一起处理及传输到数据库，不需要设置额外的服务器等监视设备，节省了服务器监视的资源和时间成本。
所述数据s在整个远程采集监视系统的传输时间t＝t00.value+t01.value+t02.value++t10.value+t11.value+t12.value+t13.value+t14.value+t20.value+t21.value+t22.value+t23.value+t24.value+t25.value。通过t在各个数据处理过程中的数值，可以轻易查出所述数据s在传输过程中的故障点和改善点。当t在各个数据处理过程中的数值(例如t00.value、t01.value、t02.value、……等等)出现异常数据时，如为0或无穷大，报警装置10就立即进行警告提示，运维人员通过各个时间值就可以简单且准确地预测整个远程采集监视系统的故障点和改善点。
此外，所述显示界面9可通过工业组态软件将上述监视测点进行图形化绘制，实现对各接口处的物理机的性能和网络的运行情况进行实时监视，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障。
本发明中的数据采集过程还可根据实际网络情况和安全状况等进行调整，比如，若使用较短的专线网络链路可省掉数据汇聚接口；若使用链路很长的广域网络，需要增加数据汇聚接口的汇聚层级，和/或采用压缩比更高的数据压缩算法及更安全的数据加密算法。
综上所述，本发明可同时实现工业大数据的远程采集和远程采集监视过程，即按照预设监测规则将数据采集过程的特征值与所采集的工业大数据一起处理及传输到数据库。这样不仅可以使运维人员实时了解各采集过程的情况，便于及时采取相应办法减轻采集服务器和网络传输的压力，快速解决网络故障；还可以方便的计算从数据采集接口到数据接收接口数据传输的效率，极大地提高了数据采集过程中数据的安全性能和可靠程度，减少了维护人员的数量和工作量。
本发明还提供一种基于工业大数据的远程采集监视方法，该远程采集监视方法包括：在数据采集接口处，通过多进程并发形式采集所述工业大数据，对所述工业大数据进行协议转换及首次封包上传，同时按照第一预设监测规则对所述数据采集、所述数据协议转换和/或所述数据首次封包上传进行监测并提取第一特征值，并将所述第一特征值及所述工业大数据一起进行首次封包上传；以及在数据接收接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，所述接收首次封包上传的所述第一特征值及所述工业大数据，对所述第一特征值及所述工业大数据进行数据解析及数值压缩的处理，并将处理后的所述第一特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第三特征值及所述工业大数据一起写入所述数据库包括：在数据汇聚接口处，接收首次封包上传的所述第一特征值及所述工业大数据，对所述首次封包上传的所述第一特征值及所述工业大数据进行数据汇总、数据压缩、数据加密及二次封包上传，同时按照第二预设监测规则对所述数据接收、所述数据汇总、所述数据压缩、所述数据加密和/或所述数据二次封包上传进行监测并提取第二特征值，并将所述第一特征值及所述第二特征值及所述工业大数据一起进行二次封包上传；以及在所述数据接收接口处，接收二次封包上传的所述第一特征值、所述第二特征值及所述工业大数据，对所述第一特征值、所述第二特征值及所述该工业大数据进行数据解密、数据解压缩、数据解析及数值压缩的处理，并将处理后的所述第一特征值、所述第二特征值及所述工业大数据写入数据库，同时按照第三预设监测规则对所述数据接收、所述数据解密、所述数据解压缩、所述数据解析、所述数据压缩和/或所述数据写入数据库进行监测并提取第三特征值，并将所述第一特征值、所述第二特征值及所述第三特征值及所述工业大数据一起写入所述数据库。
可选的，所述远程采集监视方法还包括：在所述数据接收接口处，将所述数据采集接口、所述数据汇聚接口及所述数据接收接口处的各个数据处理过程所对应的特征值。
可选的，该远程采集监视方法还包括：当所述第一特征值、所述第二特征值及所述第三特征值中的任一者超出预设范围时，发出报警提示。
可选的，所述第一预设监测规则、所述第二预设监测规则及所述第三预设监测规则包括：监测资源指标，该资源指标包括cpu平均利用率、内存使用率、网络带宽、端口状态及接口状态；以及监测系统指标，该系统指标包括并发用户数、平均响应时间、事务成功率及超时出错率。
有关本发明提供的基于工业大数据的远程采集监视方法的具体细节及益处可参阅上述针对基于工业大数据的远程采集监视系统的描述，于此不再赘述。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。