基于AIOT和企业安全指数的实时预警方法及装置与流程

本发明涉及人工智能物联网领域，具体涉及基于aiot和企业安全指数的实时预警方法及装置。

背景技术：

随着社会经济的发展，企业安全至关重要；比如，企业内部管理系统、企业内部仓储货架等等的安全，以企业内部仓储货架安全性为例，货架承载货物的重量超过设计载荷，或货架发生倾斜，或货架收到其它移动作业设备、货物或作业车辆的碰撞冲击产生晃动，都将对存储在其上的货物或仓储作业人员的安全造成威胁。因此，需要对企业内部的仓储货架的安全进行预警，提醒仓储作业人员做出应对措施，提高企业仓储安全性。

现有的物流仓储领域应用了一些安全监测技术，不过现有的技术是针对环境安全监测，目前，并没有针对仓储货架以及货架上的货物、作业车辆等进行安全预警，也没有对仓储货架、货物以及作业车辆的数据进行采集作出评估的方法。

因此，现有技术考虑的因素单一，预警结果不准确，对重大事故的预警能力不强。

技术实现要素：

本发明的目的在于提供一种基于aiot和企业安全指数的实时预警方法及装置，用以解决现有技术中无法准备、精细地进行企业内部仓储安全性的安全预警的问题。

为了解决上述问题，本发明采用以下技术方案：

一种基于aiot和企业安全指数的实时预警方法，包括以下步骤：

步骤1，获取仓储货架上货物的分布图像数据，对货物的分布图像数据进行处理得到货物的整齐度；

步骤2，对货物的分布图像数据进行滑窗处理，获得子图像，对子图像中同一位置的相邻时刻的货物进行边缘线特征提取，得到边缘线图像，根据相邻时刻上的边缘线的倾角的变化量和长短变化量，计算货物的晃动程度；

步骤3，将获取的不同时刻货物的晃动程度组成特征序列，计算特征序列中前k个最大的晃动程度的均值；同时对所述特征序列进行滑窗操作，计算每次滑窗获取的子特征序列的均值，并得到子特征序列的均值中的最大值；根据均值和最大值，计算货物的不稳定性；

步骤4，根据步骤1中的货物的整齐度和所述货物的不稳定性，计算货物的危险程度，进而得到货架上所有货物的危险程度分布；

步骤5，对获取的不同时刻的危险程度分布，利用遗忘系数对所述危险程度分布进行叠加，并对叠加的结果进行二值化处理，得到的连通区域为危险源，并计算不同危险之间的关联权重；

步骤6，对获取的货物的晃动程度分布进行划分，获取晃动程度不为0的区域，并结合作业车辆的作业图像信息，得到包含作业车辆的作业图像信息的区域，为作业车辆的作用范围，计算作用范围的面积与货架面积的比值q1，以及计算作用范围内货物的晃动程度均值q2，得到作业车辆的工作危险程度；

步骤7，以危险源为节点，关联权重为边权值，在每个货架上构建一个图结构数据g1，并结合每个危险源内的叠加结果，计算当前货架货物的危险程度；

步骤8，根据所述危险源，获取每个危险源的质心的高度，并计算所有危险源的质心平均高度，并计算任意两个危险源的质心的横向距离，计算横向距离内的多个最小横向距离的均值，根据所述危险源的质心的平均高度与均值，计算货架事故程度；根据所述当前货架的危险程度以及所述货架事故程度，计算最终的货架危险程度，对围绕货架的作业车辆进行实时报警。

进一步地，所述当前货架货物的危险程度为：

其中，w为危险源的关联程度，为关联权重之和，为在第i个危险源工作的ni个叉车的平均工作危险程度，mi为第i个危险源的内的叠加结果的均值，m为危险源的个数，di为危险源的危险系数，是第i个危险源在图结构数据g1中的度。

进一步地，在对围绕货架的作业车辆进行实时报警时，分别计算作业车辆的贡献程度，并比较各贡献程度的大小，强制贡献程度最大的作业车辆停止工作；

其中，作业车辆的贡献程度为：

其中，d2a为危险源的贡献程度，pj为第i个作业车辆的工作危险程度。

进一步地，获取货物的整齐度的方法为：

利用语义分割网络对货架上货物的分布图像数据进行语义分割，获得货架上每层的货物图像，拼接成一个全景图，其中全景图表示货架上某一层上所有货物的信息；并对全景图进行滑窗操作，每次滑窗操作都从全景图上获取一个子图像，将每次滑窗获得的子图像输入dnn网络中，输出子图像中货物的整齐程度。

进一步地，所述货物的晃动程度为两个时刻上所有边缘线的倾角的平均变化量和长短平均变化量的乘积。

进一步地，货物的不稳定性t的表达式为：t＝e×f，

其中，e为特征序列中前k个最大的晃动程度的均值，f为子特征序列的均值中的最大值。

进一步地，货物的危险程度为货物的不稳定性与货物的整齐度的比值。

进一步地，叠加的方式是为：设当前的叠加结果为x＝αx0+(1-

α)x′，其中x0为当前时刻的货物的危险程度分布，x′为当前时刻之前的叠加的结果，x为叠加结果，(1-α)为遗忘系数，其中α的取值为0.01。

进一步地，所述的关联权重为：

其中，x，y表示任意两个危险源，rij＝dijexp(-lij)，dij为两个位置点的危险程度的均值，s是使得两个位置点的距离lij最小的k个(i,j)，(i,j)为危险源的边界上获取的位置点。

本发明还提供了一种基于aiot和企业安全指数的实时预警装置的技术方案，包括处理器和存储器，所述处理器执行所述存储器存储的基于aiot和企业安全指数的实时预警方法的技术方案。

本发明的有益效果为：

本发明通过获取仓储货架上的货物的分布图像数据，计算货物的整齐度，以及货物的晃动程度，并根据获取的不同时刻的货物的晃动程度，计算货物的不稳定性，进而结合货物的整齐度，得到货架上所有货物的危险程度分布，对货物的危险程度分布进行处理，得到危险源，以及不同危险源之间的关联权重，同时也考虑了作业车辆的工作危险程度，进而计算当前货架货物的危险程度，并结合货架事故程度，得到最终的货架危险程度，对围绕货架的作业车辆进行实时报警。本发明中通过获取多个危险源，分析危险源之间的关联、以及作业车辆的发生工作危险的概率，危险源对货架的影响，进而完成危险预警，能够发现不同时刻和不同地方的危险因素因多米诺效应或者叠加而产生的严重后果，本发明的危险预警能力更强且可靠。

本发明直接以货物的摆放情况为基础并结合传感器获得货物和货架晃动，使得计算的危险程度相比直接使用传感器的方法获取的危险程度更加合理准确可信。

本发明在获取重大危险源除了考虑危险源之间的相互影响还考虑到作业车辆工作时所带来的危险，使得最终的预警结果更准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍：

图1是本发明的基于aiot和企业安全指数的实时预警方法实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的一种基于aiot和企业安全指数的实时预警方法，如图1所示，以企业内部的仓储货架的安全为例，进行详细的介绍，具体的，包括如下步骤：

步骤1，获取仓储货架上货物的分布图像数据，对货物的分布图像数据进行处理得到货物的整齐度；

本实施例中是借助建立仓库的bim可视化系统，利用图像拼接和投影变换的方法获得仓库地面全景图，用于显示作业车辆和货架的分布；同时建立仓储货架平面全景图，并从仓储货架平面全景图中获取货架上货物的分布图像数据。

上述实施例中获取的货物的整齐度的方法为：

利用语义分割网络对货架上货物的分布图像数据进行语义分割，获得货架上每层的货物图像，拼接成一个全景图image，其中image表示货架上某一层上所有货物的信息；并对image进行滑窗操作，每次滑窗操作都从image上获取一个子图像，将每次滑窗获得的子图像输入dnn网络中，输出盖子图像中货物的整齐程度，整齐程度为0.1,0.2，…,1.0。

其中，货架上任意一层包含有多张图像；

需要说明的是，通过多次滑窗可以获得不同位置的货物的整齐程度，至此获得货架上不同层的不同位置的货物的整齐程度；其中整齐程度越大，货物摆放越整齐，发生危险的可能性越小。

步骤2，对货物的分布图像数据进行滑窗处理，获得子图像，对子图像中同一位置的相邻时刻的货物进行边缘线特征提取，得到边缘线图像，根据相邻时刻上的边缘线的倾角的变化量和长短变化量，计算货物的晃动程度。

本实施例中对货物的分布图像数据进行滑窗，对每次滑窗获得的子图像提取货物的边缘线特征，并对边缘线进行过滤，只保留较长的边缘线，至此通过滑窗操作获取货架上不同层的不同位置的货物的边缘线。

本实施例中在叉车装卸货的过程中，对于任意货架上的某一层，获取同一位置上相邻两个时刻的货物的边缘线图像，通过km算法将这两个时刻中相同的货物边缘匹配成对，即把前后两个时刻属于相同货物的相同边缘上的两条边缘线匹配成一对，计算相同货物的相同边缘线在前后两个时刻的倾角变化量。

其中，货物的晃动程度为两个时刻上所有边缘线的倾角的平均变化量和长短平均变化量的乘积。

步骤3，将获取的不同时刻货物的晃动程度组成特征序列，计算特征序列中前k个最大的晃动程度的均值e；同时对所述特征序列进行滑窗操作，计算每次滑窗获取的子特征序列的均值，并得到子特征序列的均值中的最大值f；根据均值e和最大值f，计算货物的不稳定性；

其中，货物的不稳定性t的表达式为：t＝e×f。

本实施例中，通过对晃动程度进行时序分析获得货物的不稳定性。其中考虑到了设定时间内的晃动情况和设定时间中的局部时间的晃动情况，即从整体和局部时间内的货物的晃动程度，能够更准确地确定货物的不稳定性。

上述实施例中的滑窗设置为窗口大小为1×7(一行7列)，滑窗步长为1。

步骤4，根据步骤1中的货物的整齐度和所述货物的不稳定性，计算货物的危险程度，进而得到货架上所有货物的危险程度分布；

具体的，货物的危险程度为货物的不稳定性与货物的整齐度的比值。

本实施例中，获取的每个货物位置的危险程度小于设定阈值时，将该货物位置的危险程度设为0。

其中，上述实施例中的危险程度分布是所有货物的危险程度的集合。

需要说明的是，对于任意时刻同一货物位置都可以计算出一个危险程度分布；而对于具体的危险程度的情况，其实际上是分情况决定的：第一，货架以及货物自身决定，比如货架的承重能力等；第二，由于受外力的影响，如叉车装卸货物时所产生的外力；本发明主要考虑第二种情况，即考虑有叉车装卸货物时所产生的危险程度分布，那么，当货架上没有叉车装卸货物，该危险程度分布为零。

步骤5，对获取的不同时刻的危险程度分布，利用遗忘系数对危险程度分布进行叠加，并对叠加的结果进行二值化处理，得到的连通区域为危险源，并计算不同危险之间的关联权重；

本实施例中，每个危险源对应着多个叠加结果。

其中的叠加方式为：设当前的叠加结果为x＝αx0+(1-α)x′，其中x0为当前时刻的货物危险程度分布，x′为当前时刻之前的叠加的结果，x为叠加结果，(1-α)为遗忘系数，其中α的取值为0.01。

需要说明的是，叠加的结果越大的位置表示发生危险程度大，而且产生危险源的频率高，货架越不稳定，发生事故的概率大。

上述步骤中的关联权重为：

其中，x，y表示任意两个危险源，rij＝dijexp(-lij)，dij为两个位置点的危险程度的均值，s是使得两个位置点的距离lij最小的前z个(i,j)，(i,j)为危险源的边界上获取的位置点。

步骤6，对获取的货物的晃动程度分布进行划分，获取晃动程度不为0的区域，并结合作业车辆的作业图像信息，得到包含作业车辆的作业图像信息的区域，为作业车辆的作用范围，计算作用范围的面积与货架面积的比值q1，以及计算作用范围内货物的晃动程度均值q2，得到作业车辆的工作危险程度p。

具体的是，获取作业车辆正在进行装卸货物的图像信息，确定此时作业车辆作用的货架位置，包含作业车辆的作业图像信息的区域，即为作业车辆的作用范围。

需要说明的是，上述计算的作业车辆(叉车)的工作危险程度，实际上为作业车辆的危险概率，如一段时间内的不同时刻作业车辆在该时间段内的出现的危险的次数，因此，作业车辆的危险概率的计算还可以通过统计时间段内的车辆，影响货物的晃动程度的大小，当晃动程度大于设定阈值，则认为作业车辆为有危险，依次进行累计，统计作业车辆出现的危险概率。

作为其他实施方式，计算叉车的工作危险程度，还可以利用遗忘系数叠加该叉车的作用范围内不同时刻的危险程度分布，叠加结果作为叉车的最终工作危险程度，即可获得每个叉车的工作危险程度。

步骤7，以危险源为节点，关联权重为边权值，在每个货架上构建一个图结构数据g1，并结合每个危险源内的叠加结果，计算当前货架货物的危险程度；

其中，当前货架货物的危险程度为：

其中，w为危险源的关联程度，为关联权重之和，pi为在第i个危险源工作的ni个叉车的平均工作危险程度，mi为第i个危险源的叠加结果的均值，m为危险源的个数，di为危险源的危险系数，是第i个危险源在图结构数据g1中的度。

需要说明的是，本实施例中的危险源是货架上的一个区域，当车辆在货架上工作时，可以检测到车辆是对货架上的某一位置的货物进行操作，根据该位置属于哪一个危险源，确定车辆属于哪一个危险源。当然对于任意一个货架，围绕其的叉车可能有多个，那么，对于一个危险源，当有n个叉车时，则存在n个叉车对应m个危险源的情况。

上述步骤中的关联程度越大，说明这些危险源关联性越强，越容易一起发生事故；

上述步骤中的危险系数是表征每个危险源所关联的其他危险源的关联性,该值越大说明一旦该危险源发生事故就容易产生多米诺效应，事故会波及其他地方。

步骤8，根据所述危险源，获取每个危险源的质心的高度，并计算所有危险源的质心平均高度，并计算任意两个危险源的质心的横向距离，计算横向距离内的多个最小横向距离的均值，根据所述危险源的质心的平均高度与均值，计算货架事故程度；根据当前货架的危险程度以及货架事故程度，计算最终的货架危险程度，对围绕货架的作业车辆进行停止工作报警。

作为其他实施方式，根据货架的危险程度，进一步分析每个作业车辆对货架的影响，进而确定影响最大的作业车辆，对其进行停止报警，具体的：

1)构建图数据结构g2，其上有a个节点，每个节点对应一个危险源，

2)计算第a个节点的度d2a，将度d2a作为危险源的贡献程度，表征第a个节点所对应的危险源对最终的货架危险程度的贡献的量，则第j个叉车对最终的货架危险程度的贡献程度为其中，pj为第i个作业车辆的工作危险程度，比较每个叉车的贡献程度，对贡献程度最大的叉车，进行停止工作预警。

本发明还提供了一种基于aiot和企业安全指数的实时预警装置，包括存储器和处理器，处理器执行存储器存储的上述基于aiot和企业安全指数的实时预警方法的程序，由于基于aiot和企业安全指数的实时预警方法已在上述实施例中进行详细介绍，此处不再过多赘述。

需要说明的是，尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。