基于现场多源数据采集的全流程工程管理方法与系统与流程

本发明属于工程数据管理技术领域，尤其涉及一种基于现场多源数据采集的全流程工程管理方法与系统。

背景技术：

随着网络技术的发展,海量的数据通过internet通信信道进行传输已经成为常态，随之产生的数据信息传输的安全隐患也越来越严峻，针对网络信息的犯罪行为日趋严重。尤其是对于涉密信息而言，如何确保数据从产生、处理到传输的各个环节的安全性越来越受到人们的关注。

现有技术中，对于网上交易电子支付、商业数据交换等平台中数据信息传输和交换过程中的保密、安全传输的问题研究较多，这类数据大部分是抽象性商业数据，并不必然与具体的实体相关联，因此，相关的研究主要着眼于网络传输的途径本身，例如图像加密、数字加密等，无需从数据源端考虑。

但是，还存在另外一种与现场实体相关联的数据，例如现场物联网多终端连接下产生的需要保密传输的数据，尤其是涉及军工设备、独有产品生产线的生产状态参数、或者现场保密工程设备的测试参数、工作参数等。一方面，这些数据本身具备独有价值，不能被非授权用户获取；另一方面，这些数据本身在正常情况下符合预定的标准和规范，不需要特别去关注，但是一旦异常，就必须进行分析处理(哪怕事后处理)，否则就会导致数据产生异常累计，导致数据失去其应用价值。最典型的数据来自于现场数据采集终端针对现场各种保密设备监测到的多源工程数据。

申请号为cn201510690862的中国发明专利提出一种电力工程设计数据传输与安全防护方法，将电力工程设计数据按工程领域分类，设置查询权限；对需要上传的电力工程设计数据进行数据清洗；整合出需要进行传输的数据包；对电力工程设计数据压缩包进行完整性校验并产生校验码α1；将电力工程设计数据压缩包与校验码α1上传至公共数据库；获得完整性校验码α2；α1等于α2时，提取出电力工程设计数据；电力工程设计数据进行同步更新；获得完整性校验码β1、β2；β1不等于β2时，则用备用数据库中的电力工程设计数据覆盖公共数据库中的电力工程设计数据，进行数据自愈还原。能够保证公共数据库中电力工程设计数据的完整性、可用性与保密性。

中国专利公开文本cn105391551涉及一种智能电表嵌入式工程文件的加密和解密方法，包括对智能电表嵌入式工程文件的预处理，通过转化嵌入式工程文件为数字符号，再利用椭圆曲线加密预处理的基础上对智能电表软件工程文件进行加密和解密的操作，从而保证了送检单位智能电表嵌入式工程文件的保密性，提高智能电表送检公司的知识产权安全性，降低了互联网带来的智能电表嵌入式软件传输及存储风险，该发明减小了密钥的数据长度，从而降低了加密的时间消耗和资源消耗，减小了加密计算量，提高了智能电表软件工程文件的加密速度。

然而，发明人发现，对于现场远程终端采集的数据如何在保证安全传输的同时，及时识别出异常以采取必要措施，现有技术并未给出有效的技术方案。尤其是对于现场物联网多终端连接下产生的需要保密传输的数据，例如企业生产线的基础数据库产生的涉及私密性和安全性的商业秘密数据；或者，企业生产过程中产生的涉及产品设计关键参数的需要保密的数据的情况时，如何降低安全风险同时提高数据处理效率，仍然是一个亟待解决的技术问题。

技术实现要素：

为解决上述技术问题，本发明提出一种基于现场多源数据采集的全流程工程管理方法与系统，包括用户反馈子系统、工程数据采集层、工程数据关联层、工程数据分组层以及流程可视化层。工程数据采集层包括多种移动终端；工程数据关联层包括数据输入端，通过可拆卸的数据传输实体接口，所述移动终端通过实体数据线与所述数据输入端连接；所述工程数据分组层与所述工程数据关联层通信，从所述工程数据关联层获取多流程关联工程数据作为所述流程可视化层的输入；所述流程可视化层将所述多流程关联工程数据通过可视化方法，在人机交互界面上展示。所述用户反馈子系统提供用户反馈参数。本发明的技术方案在保证数据传输安全的同时，能够识别出数据异常并进行可视化展示。

在本发明的第一个方面，提供一种基于现场多源数据采集的全流程工程管理系统，所述全流程工程管理系统包括工程数据采集层、工程数据关联层、工程数据分组层以及流程可视化层。

其中，所述工程数据采集层包括本地数据处理单元、多种移动终端与现场工程数据采集端，所述现场工程数据采集端包括本地数据存储库，所述移动终端与所述现场工程数据采集端通过近场通信交换数据；

所述工程数据关联层包括数据输入端，所述输入端包括可拆卸的数据传输实体接口，通过所述可拆卸的数据传输实体接口，所述移动终端通过实体数据线与所述数据输入端连接；

所述工程数据分组层与所述工程数据关联层通信，从所述工程数据关联层获取多流程关联工程数据作为所述流程可视化层的输入；

所述流程可视化层将所述多流程关联工程数据通过可视化方法，在人机交互界面上展示。

所述本地数据处理单元对所述现场工程数据采集端获取的现场工程数据进行本地趋势分析后，基于分析结果，将所述分析结果和/或该分析结果对应的现场工程数据存储到所述本地数据存储库中。

所述移动终端通过双模蓝牙通信模块向所述现场工程数据采集端发送数据交互请求；

基于所述数据交互请求，所述现场工程数据采集端与所述移动终端进行数据交换。

所述工程数据分组层从所述工程数据关联层获取多流程关联工程数据，对所述多流程关联工程数据按照用户反馈参数进行分组，将分组后的多流程关联工程数据作为所述流程可视化层的输入。

在本发明的第二个方面，提供一种基于现场多源数据采集的全流程工程管理方法，所述方法对移动终端获取的现场多源工程数据进行全流程可视化管理，所述现场多源工程数据通过现场工程数据采集端获取，所述方法包括：

s800：现场工程数据采集端采集现场多源工程数据，将所述现场多源工程数据定期发送给现场工程数据采集端对应的本地数据处理单元；

s801：所述本地数据处理单元对所述现场多源工程数据进行本地趋势分析；

s802：基于所述本地趋势分析，判断所述现场多源工程数据是否存在异常；

如果是，则进入步骤s803；

如果否，则进入步骤s804；

s803：将所述现场多源工程数据以及其对应的采集属性保存到所述现场工程数据采集端的本地数据存储库；返回步骤s800；

s804：将所述现场多源工程数据对应的采集属性保存到所述现场工程数据采集端的本地数据存储库；返回步骤s800。

在执行所述步骤s800至s804至满足预定条件之后，所述方法继续如下步骤：

s901：所述现场工程数据采集端判断是否接收到所述移动终端发送的数据交互请求；

如果是，则所述现场工程数据采集端与所述移动终端进行数据交换；

s902:所述移动终端将获取的现场多源工程数据通过有线传输方式发送至工程数据可视化平台；

s903：所述工程数据可视化平台通过可视化技术实现所述现场多源工程数据的可视化。

其中，所述现场多源工程数据的可视化包括存在异常的现场多源工程数据的采集属性趋势变化。

本发明的上述方法可以基于计算机程序指令的形式，通过计算机系统执行。因此，本发明还提供一种可读存储介质，其上存储有计算机可执行程序指令，通过处理器和存储器执行所述可执行指令，用于实现前述的各个方法的不同步骤。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种基于现场多源数据采集的全流程工程管理系统的整体示意图

图2是图1所述实施例的具体细节连接结构示意图

图3是图1所述实施例中数据存储的原理示意图

图4是图1所述实施例中移动终端与现场数据采集端的交互示意图

图5是基于图1所述系统实现的一种全流程工程管理方法的第一实施例

图6是基于图1所述系统实现的全流程工程管理方法的第二实施例

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参见图1，是本发明一个实施例的一种基于现场多源数据采集的全流程工程管理系统的整体示意图。

在图1中，所述基于现场多源数据采集的全流程工程管理系统，包括用户反馈子系统、工程数据采集层、工程数据关联层、工程数据分组层以及流程可视化层。

其中，用户反馈子系统用于提供用户反馈参数，所述用户反馈参数可以用于调节所述工程数据分组层的分组操作，也可以用于调节所述流程可视化层的可视化参数，从而改变可视化效果。

所述工程数据分组层与所述工程数据关联层通信，从所述工程数据关联层获取多流程关联工程数据作为所述流程可视化层的输入；

所述流程可视化层将所述多流程关联工程数据通过可视化方法，在人机交互界面上展示。

为了保证数据安全，在本发明的各个实施例中，后续数据传输采用单向的有线传输形式。

因此，所述工程数据关联层包括数据输入端，所述输入端包括可拆卸的数据传输实体接口，通过所述可拆卸的数据传输实体接口，所述移动终端通过实体数据线与所述数据输入端连接；

在图1基础上，参见图2。

所述工程数据采集层包括本地数据处理单元、多种移动终端与现场工程数据采集端，所述现场工程数据采集端包括本地数据存储库，所述移动终端与所述现场工程数据采集端通过近场通信交换数据。

在本实施例中，所述本地数据处理单元为具备本地边缘计算能力的边缘计算单元。

边缘计算也称为边缘处理，是一种将服务器或者处理器放置在本地设备附近网络技术,这有助于降低系统的处理负载，解决数据传输的延迟问题。这样的处理是在传感器附近或设备产生数据的位置进行的，因此称之为边缘。

更特殊的，在本发明的各个实施例中采用的边缘计算单元，无需与云端或者开放式服务器进行通信，保证数据安全。本发明中的边缘计算单元仅仅利用其边缘计算能力，进行本地数据趋势分析，向外发送的也只是数据分析结果，而不涉及数据本身。

作为一般性的例子，所述工程数据采集层可包括n个现场工程数据采集端，所述n个现场工程数据采集端与m个边缘计算单元通信。

优选的，n>m,并且其中，表示向下取整。

在图2基础上，参见图3，图3示意性的给出了如何有针对性的存储数据，而不是存储全部数据。

在图3中，现场工程数据采集端采集现场多源工程数据，将所述现场多源工程数据定期发送给现场工程数据采集端对应的本地数据处理单元；

所述本地数据处理单元对所述现场工程数据采集端获取的现场工程数据进行本地趋势分析后，基于分析结果，将所述分析结果和/或该分析结果对应的现场工程数据存储到所述本地数据存储库中。

更具体的，基于所述本地趋势分析，判断所述现场多源工程数据是否存在异常；

如果存在异常，将所述现场多源工程数据以及其对应的采集属性保存到所述现场工程数据采集端的本地数据存储库；

如果不存在异常，则仅将所述现场多源工程数据对应的采集属性保存到所述现场工程数据采集端的本地数据存储库。

在本实施例中，只针对识别出的异常数据进行重点关注和存储，对于正常数据则只需要保存其采集属性，所述采集属性包括采集时间、采集终端位置等。

在经过预定时间段或者预定的采集次数或者预定的趋势分析次数之后，本地数据存储库存储的数据满足可视化条件，因此，需要利用移动终端获取对应的数据。

需要指出的是，在本发明的各个实施例中，为了保证数据安全，数据采集终端并不像现有技术那样，通过开放式的无线网络直接向外传输数据，而是基于近场通信技术通过移动终端进行数据转移。开放式的无线网络存在明显的安全缺陷，容易被外界攻击。而近场通信技术必须要求数据获取设备位于特定的位置才能进行数据通信，因此，进一步加强了数据安全性。

具体而言，参见图4。

在图4中，所述移动终端与所述现场工程数据采集端均配置有双模蓝牙通信模块，所述移动终端通过所述双模蓝牙通信模块向所述现场工程数据采集端发送数据交互请求；基于所述数据交互请求，所述现场工程数据采集端与所述移动终端进行数据交换。

需要注意的是，本实施例并不是采用普通的经典蓝牙模式。

发明人发现，经典蓝牙(classicbluetooth)模块仅支持蓝牙协议3.0及以下版本的模块，功耗高、传输数据量大、传输距离只有10米；而低功耗蓝牙模块(bluetoothlowenergy，ble)支持蓝牙协议4.0及以上版本的模块，具有低功耗，数据量小，传输速率快，距离50米左右的特点，低功耗蓝牙的直线通信距离约50米，比wifi、4g等大数据量的通信协议更实用。此外，经典蓝牙只能进行数据传输，而无法实现指令交互。

在本实施例中，不仅需要完成数据传输，还需要进行指令交互，因此，本发明首次使用双模蓝牙通信模块。

更具体的，所述现场工程数据采集端基于所述数据交互请求中包含的授权码，判断所述移动终端是否为授权设备；

如果是，则所述现场工程数据采集端接收所述移动终端的数据标注指令，所述数据标注指令包括数据采集时间、数据采集人员id、数据采集设备位置；

所述现场工程数据采集端将所述本地数据存储库中存储的分析结果和/或该分析结果对应的现场工程数据与所述数据标注指令进行关联后，发送至所述移动终端。

当然，作为更进一步的安全措施，即使从移动终端中获取数据，本发明也是采用有线的安全传输方式。

具体来说，所述移动终端通过实体数据线与所述数据输入端连接后，将移动终端获取的多个分析结果和/或该多个分析结果对应的多个现场工程数据发送至所述工程数据关联层；

所述数据关联层基于所述多个分析结果和/或该多个分析结果对应的多个现场工程数据关联的所述数据标注指令，对所述多个分析结果和/或该多个分析结果对应的多个现场工程数据进行组合和映射，得到分析结果-现场数据映射组，多个所述分析结果-现场数据映射组构成所述多流程关联工程数据。

所述工程数据分组层从所述工程数据关联层获取多流程关联工程数据，对所述多流程关联工程数据按照用户反馈参数进行分组，将分组后的多流程关联工程数据作为所述流程可视化层的输入。

需要指出的是，工程数据的标注和可视化技术本身属于现有技术，将标注后的工程数据进行映射关联操作并执行可视化，在本领域也有多种常见的方法。可视化平台可以基于用户提供的可视化调节参数，进行不同采集属性的可视化展现，例如发生异常的工程数据的时间变化趋势、位置变化趋势等。

一种可能的实现方式包括，将不同用户id标注的属于同一个采集终端的数据(及其分析结果)进行关联并映射到同一个分析结果-现场数据映射组；

另一种可能的方式包括，将同一个用户id标注的属于不同采集时间的相同位置的采集终端的数据(及其分析结果)进行关联并映射到同一个分析结果-现场数据映射组。

当然，还可以有其他关联与可视化技术，本发明对此不做展开，具体可参见如下现有技术：

朱应飞,肖炳甲,罗家融.east工程数据可视化系统[j].微计算机信息,2011.

李兴峰.工程数据可视化系统研究[d].武汉理工大学.

周斌.基于hadoop的海量工程数据关联规划挖掘方法研究[d].

占荣辉,张军.特征辅助数据关联研究综述[j].系统工程与电子技术,2011,33(001):35-41.

基于图1-图4的实施例，参见图5。

图5给出了一种基于现场多源数据采集的全流程工程管理方法，所述方法对移动终端获取的现场多源工程数据进行全流程可视化管理，所述现场多源工程数据通过现场工程数据采集端获取。所述方法包括图5所述的步骤s800-s804，各个步骤实现如下：

s800：现场工程数据采集端采集现场多源工程数据，将所述现场多源工程数据定期发送给现场工程数据采集端对应的本地数据处理单元；

s801：所述本地数据处理单元对所述现场多源工程数据进行本地趋势分析；

s802：基于所述本地趋势分析，判断所述现场多源工程数据是否存在异常；

如果是，则进入步骤s803；

如果否，则进入步骤s804；

s803：将所述现场多源工程数据以及其对应的采集属性保存到所述现场工程数据采集端的本地数据存储库；返回步骤s800；

s804：将所述现场多源工程数据对应的采集属性保存到所述现场工程数据采集端的本地数据存储库；返回步骤s800。

在图5基础上，如果经过预定时间段或者预定的采集次数或者预定的趋势分析次数，即判断满足可视化条件，继续如下操作：

s901：所述现场工程数据采集端判断是否接收到所述移动终端发送的数据交互请求；

如果是，则所述现场工程数据采集端与所述移动终端进行数据交换；

s902:所述移动终端将获取的现场多源工程数据通过有线传输方式发送至工程数据可视化平台；

s903：所述工程数据可视化平台通过可视化技术实现所述现场多源工程数据的可视化。

所述工程数据可视化平台包括前述的工程数据关联层、工程数据分组层以及流程可视化层。

所述现场多源工程数据的可视化包括存在异常的现场多源工程数据的采集属性趋势变化。

由于采集属性可以包括采集时间，采集属性趋势变化可以表征发生异常的工程数据的时间变化趋势、位置变化趋势等，本发明对此不做限制，可视化平台可以基于用户提供的可视化调节参数，进行不同采集属性的可视化展现。

实践证明，本发明的技术方案能够充分及时的采集到发生异常的现场工程数据，并保证数据传输的安全性；同时，仅对异常数据进行可视化，降低了存储成本。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。