一种铁前皮带运输海量数据实时感知存储的方法与系统与流程

1.本发明涉及领域为钢铁行业。本发明提出了一种铁前皮带运输海量数据实时感知存储的方法。


背景技术：

2.随着工业4.0革命的到来，许多钢厂顺应时代趋势进行生产的数字化转型。目前，虽然取得了不少智能化的突破，但从整体而言，钢铁行业数字化转型仍处于初级阶段。就现实生产运营而言，铁前数据的数字化存在着量多、结构纷繁，关系复杂的问题，要更好地实现生产数字化的转型，对铁前数据的梳理存储工作是必然要解决的重要问题。而作为铁前供料重要途径的皮带运输，相关数据管理的数字化存储则显得尤为重要。但是，就目前而言，皮带信息的数字化，很少有钢厂关注，即使有些钢厂关注了却没将其数据信息做为智能化发展中数据价值进行挖掘利用。同时，由于皮带输送数据是瞬时变化的，中小型的钢厂很少会对这种日积月累的海量数据进行梳理存储，一定程度上造成了数据资产的流失。


技术实现要素：

3.为克服上述缺陷，本发明的目的在于设计实现了一种铁前皮带运输海量数据实时感知存储的方法。
4.为达到上述目的，本发明一种铁前皮带运输海量数据实时感知存储的方法，包括：通过皮带秤重量传感器数据、图像识别数据和/或作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法压缩后，将压缩感知后的数据传输到数据分布式集群存储模块中。
5.进一步的，所述的方法还包括利用数据采集器模块采集铁前皮带基础数据信息的步骤，并将采集铁前皮带基础数据信息经数据标签和初步分类后存储到模块中。
6.进一步的，所述的压缩感知算法步骤：
7.(1)输入源数据参数：开始时间、结束时间、压缩比率、原视频数据流；
8.(2)执行压缩感知方法函数：
9.executorcompressedsensoring(starttime,endtime,compressed,videostre am),通过starttime和endtime对videostream进行截取，接着对这个流稀疏化，然后按照一定的压缩比率compressed进行压缩，得到压缩后的视频流。
10.进一步的，所述的基础数据信息包括但不限于皮带自身的数据信息、各类 plc数据。
11.本发明方法的应用，可以解决铁前海量皮带数据感知存储的问题，并为对皮带传输过程中掺杂异物进行智能识别提供源数据。本专利方法的提出，能够有效解决铁前海量皮带数据的实时存储问题，有助于保存数据资产，为数据价值的提升提供基础，是实现铁前皮带健康度检测以及带料智能识别的重要一环。
附图说明
12.图1：一种铁前皮带运输海量数据实时感知存储的方法主体流程图
13.图2：数据分布式集群存储模块c架构
14.图3：铁前单条皮带数据实时感知存储作业示意图
具体实施方式
15.如图1所示，即为本发明针对铁前皮带海量数据实时感知存储的方法主体，主要包括数据采集器模块a、数据压缩感知模块b及数据分布式集群存储模块c。需要说明的是，铁前皮带数据主要包括三种类型：皮带本身的数据(包括皮带长度、皮带宽度、皮带负荷、皮带健康状态、皮带材质、动力装置等)、皮带带料的信息(料种名称、来源、密度、质量、料种批次等)、皮带作业视频流数据 (感知皮带是否有料)。
16.具体步骤如下：
17.数据采集器模块a：负责采集铁前皮带相关的基础数据信息(不包括视频流数据的采集)包括但不限于皮带自身的数据信息、各类plc数据的汇聚等，是各类传感器的数据中转站。所有收集过来的数据会经过该模块中的子模块进行数据标签，将数据进行初步分类，最终根据不同的标签存储到模块c相应的数据库中去。
18.数据压缩感知模块b：负责视频流数据的采集、处理与传输。该模块集成了压缩感知算法，同时结合皮带秤重量传感器数据、图像识别数据和作业调度计划执行信息实时感知皮带带料情况。首先，通过皮带秤重量传感器数据、图像识别数据和作业调度计划执行信息综合判断皮带是否带料，如果皮带没有带料，处于空跑的状态，那么这段时间的视频数据会经过压缩感知算法，对同样画面的数据进行感知压缩，过滤掉一部分相同的画面流数据，节省数据传输及存储空间，将压缩感知后的数据传输到数据分布式集群存储模块c中。
19.具体压缩感知算法步骤：
20.(1)输入源数据参数：开始时间、结束时间、压缩比率、原视频数据流；
21.(2)执行压缩感知方法函数：
22.executorcompressedsensoring(starttime,endtime,compressed,videostre am),通过starttime和endtime对videostream进行截取，接着对这个流稀疏化，然后按照一定的压缩比率compressed进行压缩，得到压缩后的视频流。
23.数据分布式集群存储模块c：从模块a、模块b中收集过来的数据最终存储到模块c中。考虑到瞬时数据结构复杂和数据的体量，该模块主要是基于分布式集群框架搭分布式数据库来实现数据的分布式存储，数据库类型包括关系型数据库以及大数据文件存储数据库。如图2所示，即为本发明中模块c的架构，采用hadoop分布式集群框架搭建分布式数据库主要是为了提高海量数据的存储吞吐的同时保证整个系统的高并发下高可用。数据从模块a、模块b中传输过来之后，带有标签的数据会根据不同的标签分类存储到mysql集群中去，而视频流大文件则会根据hadoop设定的存储规则存储到分布式hdfs中。
24.同时铁前皮带运输的过程涉及到的数据是海量的，对这些海量数据的感知压缩高效存储，能够保证数据安全存储的前提下提高数据空间的利用率，提高读写的吞吐量，会进一步实现皮带带料异物智能识别做好铺垫。
25.实施例，
26.以单条皮带为例进行描述，图3：铁前单条皮带数据实时感知存储作业示意图。如图3所示，即为本方法应用到的具体钢铁厂的铁前单条皮带数据实时感知存储作业流程大致结构，具体过程如下：
27.1、数据的采集，包括两个部分数据采集分类模块a以及数据压缩感知模块 b。模块a首先是初始化。其次，采集各类传感器中的数据并对数据进行标签分类。最后，利用自带的网络模块将数据传输存储到模块c中。对于数据压缩感知模块b，为了提高数据的准确性，本专利中在每个皮带上会配置三个模块b，这三者会自动组建一个局域网，进行信息的交互。信息的交互会用到压缩感知的算法，只有当三个节点都检测到皮带没有料时，才会识别为空跑的状态，这段时间的视频数据会自动经过压缩感知算法处理后才上传，对于有料的状况，则会实时传输视频数据到模块c中。
28.2、数据的实时存储，模块a与模块b处理后的数据最终会汇集到模块c中，而模块c初始化的时候使用了三个节点实现分布式集群数据库，对于模块a过来的数据会经过数据负载均衡算法最终根据既定的策略存储到某个节点上；对于模块b过来的数据，由于是大文件数据，所以使用了hdfs进行存储。为了保证数据在高并发下的高可用，在模块c中还集成了哨兵机制。
29.3、皮带数据经过以上两步即可实现实时感知存储，为进一步带料异物智能识别做基础。
30.上述只是举了一个本专利方法实现的单皮带部署实时感知存储的例子，在整个铁前作业的数据中还有其他复杂的场景应用，需要这几个模块的水平扩展的全权参与，最终实现铁前皮带实时感知存储。