一种基于BIM的港口堆场积水成像方法、系统及控制设备与流程

本发明涉及bim技术领域，尤其涉及一种基于bim的港口堆场积水成像方法、系统及控制设备。

背景技术：

随着我国对外开放程度的不断提高，国际贸易也随之繁荣，商品进出口总量保持在世界先进水平。海港港口作为对外贸易的重要媒介，也扮演着越来越重要的角色。海港的港口主要负责集装箱货物的输入和输出，其主要由岸桥和集装箱堆场组成。其中，货物堆场是存放进出口货物的主要集中区域。

在港口建设中，堆场的排水系统是必要的设施，在一般情况下能够满足排水的需要，但是遇到持续的强降雨，或者排水系统堵塞，以及货物或集装箱错误堆放就会发生堆场的情况，部分堆存煤炭、矿石的堆场有坍塌货垛的危险；另外，有些集装箱存放有木材或者其他对积水敏感的货物。积水的浸泡会使货物变质，从而造成极大的经济损失。

目前，对于积水的监测，由于工具的限制，检测堆场内积水主要依靠人工巡检，然而，堆场作业面积巨大，巡检无法实时的发现积水存在的位置以及积水程度，导致不能及时进行排水管控，存在较大的风险。

因此，如何能够快速、准确地监测堆场内积水位置及程度，以便及时进行处理，是目前亟需解决的技术问题。

技术实现要素：

本发明的目的是提供一种基于bim的港口堆场积水成像方法、系统和控制设备，以快速、准确地监测堆场内积水情况。

本发明实施例提供了以下方案：

第一方面，本发明实施例提供了一种基于bim的港口堆场积水成像方法，所述方法包括如下步骤：

1)基于当前港口堆场区域的存放信息和布局信息构建初始bim模型；

2)按照设定的采样时间间隔采集港口堆场待测区域中设置的摄像头拍摄的积水区域图像；

3)提取每个采样时刻得到的积水区域图像的特征信息，根据所述特征信息和热力图生成方法得到对应的包含积水关键点的积水区域热力图；在设定时间内，对若干个采样时刻对应的积水区域热力图进行叠加操作，得到叠加后的热力图；所述叠加操作包括将不同采样时刻的积水区域热力图中对应位置的像素值相加；

4)提取所述叠加后的热力图中的积水等级特征，根据所述积水等级特征和预先建立的积水等级判定规则，预测积水关键点的积水等级信息；

5)将所述叠加后的热力图和对应积水关键点的等级信息映射到所述初始bim模型上进行显示。

在一种可能的实施例中，所述步骤1)中，当前港口堆场区域的存放信息包括货物编码、货物数量；布局信息包括现场布局设计参数、货架尺寸、当前区域的地理位置坐标信息，以及当前区域内所使用的图像传感器型号、分辨率、数量和其各自在港口内部的编号信息。

在一种可能的实施例中，所述步骤3)中，利用训练好的神经网络模型生成积水区域热力图，包括：

采集积水区域图像数据，标记在积水区域的中心点位置和障碍物位置；

将标注的障碍物散点图与高斯核卷积得到积水关键点的积水区域热力图。

在一种可能的实施例中，所述步骤4)中，利用训练好的积水等级分类模型对积水等级进行判定，所述积水等级分类模型的输入信息为叠加后的热力图信息，输出是堆场区域内的积水等级信息，监督信息为积水等级分类规则。

在一种可能的实施例中，所述设定时间根据堆场排水能力、存放货物的性质确定。

在一种可能的实施例中，所述步骤5)中还包括对不同摄像头对应的叠加后的热力图进行图像拼接和图像融合操作，形成全景热力图图像。

在一种可能的实施例中，还包括对摄像头拍摄的积水区域图像进行图像预处理操作，包括图像滤波、降噪和畸变校正。

第二方面，本发明实施例提供了一种基于bim的港口堆场积水成像系统，所述系统包括：

模型建立模块，用于基于当前港口堆场区域的存放信息和布局信息构建初始bim模型；

图像信息采集模块，用于按照设定的采样时间间隔采集港口堆场待测区域中设置的摄像头拍摄的积水区域图像；

热力图生成模块，用于提取每个采样时刻得到的积水区域图像的特征信息，根据所述特征信息和热力图生成方法得到对应的包含积水关键点的积水区域热力图；在设定时间内，对若干个采样时刻对应的积水区域热力图进行叠加操作，得到叠加后的热力图；所述叠加操作包括将不同采样时刻的积水区域热力图中对应位置的像素值相加；

积水等级判定模块，用于提取所述叠加后的热力图中的积水等级特征，根据所述积水等级特征和预先建立的积水等级判定规则，预测积水关键点的积水等级信息；

图像映射模块，用于将所述叠加后的热力图和对应积水关键点的等级信息映射到所述初始bim模型上进行显示。

在一种可能的实施例中，所述模型建立模块建模时，当前港口堆场区域的存放信息包括货物编码、货物数量；布局信息包括现场布局设计参数、货架尺寸、当前区域的地理位置坐标信息，以及当前区域内所使用的图像传感器型号、分辨率、数量和其各自在港口内部的编号信息。

在一种可能的实施例中，所述热力图生成模块，利用训练好的神经网络模型生成积水区域热力图，包括：

特征提取模块，用于采集积水区域图像数据，标记在积水区域的中心点位置和障碍物位置；

卷积处理模块，用于将标注的障碍物散点图与高斯核卷积得到积水关键点的积水区域热力图。

在一种可能的实施例中，所述积水等级判定模块，利用训练好的积水等级分类模型对积水等级进行判定，所述积水等级分类模型的输入信息为叠加后的热力图信息，输出是堆场区域内的积水等级信息，监督信息为积水等级分类规则。

在一种可能的实施例中，所述设定时间根据堆场排水能力、存放货物的性质确定。

在一种可能的实施例中，所述图像映射模块还包括图像拼接融合模块，用于对不同摄像头对应的叠加后的热力图进行图像拼接和图像融合操作，形成全景热力图图像。

在一种可能的实施例中，还包括对摄像头拍摄的积水区域图像进行图像预处理操作，包括图像滤波、降噪和畸变校正。

第三方面，本发明实施例提供一种基于bim的港口堆场积水成像控制设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现第一方面中任一所述的基于bim的港口堆场积水成像方法的步骤。

本发明与现有技术相比，其有益效果为：

本发明在构建基于当前港口堆场区域的bim初始模型后，针对待测每个摄像头采集的内容，提取图像特征，最终获取积水区域的热力图信息，对设定时间内的热力图进行相加操作，提取加和后的热力图特征，并预测港口堆场内积水等级信息，并将叠加后的热力图和等级信息映射到bim模型上进行显示，从而直观地呈现港口堆场区域的环境，实现了在web端进行数据可视化，展示堆场积水热力图及积水等级信息，根据其等级信息，能够及时发出告警提醒堆场管理人员采取相应的措施，有效提升了堆场安全性。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中的一种基于bim的港口堆场积水成像方法的流程图；

图2示出了本发明实施例中的一种基于bim的港口堆场积水成像系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明实施例保护的范围。

为了保证对堆场内集装箱货物保存环境的实时监测，需要对堆场内积水情况及时监测，但是堆场作业面积巨大，依靠人工巡检或采用机器人等巡检的方式，无法实时发现积水存在的位置和积水程度。

因此，本发明的发明人对该现象进行了深入分析后，提出了通过设计针对港口堆场积水情况进行显示的成像方法，希望通过该方法能够将堆场内积水的实时变化情况在热力图上进行显示，并能够在三维模型上进行显示，进而本发明的发明人提出了以下方案：

如图1所示，为本发明实施例提供的一种基于bim的港口堆场积水成像方法，该方法实施例应用于一种对堆场进行建模仿真并进行可视化的控制器中，控制器可以是工控机、单片机、fpga或plc等任一种可以实现采样、计算、控制等功能的控制芯片。

具体的，该基于bim的港口堆场积水成像方法包括以下步骤1至步骤5：

步骤1，基于当前港口堆场区域的存放信息和布局信息构建初始bim模型。

为了实现本发明中所述方法，需要先构建当前港口堆场区域的bim模型。所述港口堆场区域的bim(建筑信息模型)是一种基于bim的信息处理平台，具有特定的信息交换标准。其中，当前港口堆场区域的存放信息包括货物编码、货物数量；布局信息包括现场布局设计参数、货架尺寸、当前区域的地理位置坐标信息，以及当前区域内所使用的图像传感器型号、分辨率、数量和其各自在港口内部的编号信息。

具体安装的高度和摄像头的数量需要根据现场实施情况和摄像头的视角大小来确定，需要保证的是，相邻两个摄像头需要有一定的重叠区域，便于后续的拼接操作。

步骤2，按照设定的采样时间间隔采集港口堆场待测区域中设置的摄像头拍摄的积水区域图像。

本发明主要针对在港口堆场区域内，对积水进行检测。

需要说明的是，本发明采用彩色相机获取堆场区域内的图像信息；相机架设在堆场的照明灯柱上。

其中，港口堆场区域的bim同时接收当前区域内所有传感器(摄像头)感知的数据(图像)，并将对应传感器信息按照设置规则存储到中央存储服务器中，根据服务器容量定期覆盖更新以便查询历史数据。

步骤3，提取每个采样时刻得到的积水区域图像的特征信息，根据所述特征信息和热力图生成方法得到对应的包含积水关键点的积水区域热力图；在设定时间内，对若干个采样时刻对应的积水区域热力图进行叠加操作，得到叠加后的热力图；所述叠加操作包括将不同采样时刻的积水区域热力图中对应位置的像素值相加。

堆场内积水发生的原因有多种，例如：堆放的货物或者集装箱没有按照规定摆放，遮挡了下水口；货物由于风力的原因被刮起，最终遮挡下水口等等。

因此，得到港口堆场区域的图像信息后，采用积水信息编码器encodera，来提取堆场区域图像信息的特征，得到积水区域的特征featuremapa；再通过积水信息解码器decodera，对特征信息进行解码，最后得到积水区域的热力图信息heatmap。其中，热力图生成方法属于本领域的现有技术，此处不再赘述。

需要说明的是，港口一般靠海，下雨时瞬时雨量会比较大。此时，即使下水口未堵塞但瞬时雨量太大也可能会有少量的积水，该情况下积水存在的时间不会很长。会随着雨量的减小或者排水能力的增加，积水迅速减少。此种情况并不会对货物或者集装箱造成比较严重的影响。

因此本发明采用热力图叠加的方式，如图1所示，在一段时间内，对热力图进行叠加，并统计热力图叠加的结果。叠加的方式为eltwise，具体为：热力图生成后，将该段时间内的热力图进行相加即对应位置像素值的加法运算，每张热力图以队列的方式相加。

得到叠加的热力图heatmap_t后，采用积水等级编码器encoderb提取叠加后的积水等级特征featuremapb，进一步采用全连接层fc将特征展平，预测积水等级信息。

步骤4，提取所述叠加后的热力图中的积水等级特征，根据所述积水等级特征和预先建立的积水等级判定规则，预测积水关键点的积水等级信息。

积水等级预测模块输入的是叠加后的热力图信息，输出是堆场区域内的积水等级信息。监督信息是经过人工标注的积水等级分类。采用交叉熵损失函数对网络进行更新，最终获得堆场内部积水等级信息。

至此，完成了堆场内积水等级信息的预测。

步骤5，将所述叠加后的热力图和对应积水关键点的等级信息映射到所述初始bim模型上进行显示。

为了直观地呈现港口堆场区域的环境，本发明结合webgis技术，将堆场区域bim模型集成到webgis所开发的系统中，通过调用信息交换模块实时更新堆场区域空间模型并得到相应位置的传感器读数，并在web端进行数据可视化、展示堆场积水热力图及积水等级信息，根据其等级信息，及时发出警告提醒堆场管理人员采取相应的措施。

在一种可能的实施例中，利用训练好的神经网络模型生成积水区域热力图，包括：

采集积水区域图像数据，标记在积水区域的中心点位置和障碍物位置；

将标注的障碍物散点图与高斯核卷积得到积水关键点的积水区域热力图。

具体的，积水区域热力图检测网络的输入是三通道彩色图像信息，监督信息为积水的热力图。该热力图的生成方式分两步，首先采集图像数据，进行标注，标记在积水区域的中心点位置，用(x,y)来表示，其中x表示关键点在图像中的横坐标，y表示关键点在图像中的纵坐标；然后将标注的障碍物散点图与高斯核卷积得到积水关键点热力图。具体的过程是公知的，此处不再赘述。

其中，积水区域热力图检测网络的训练过程中损失函数采用交叉熵损失函数，对网络参数进行迭代更新，最终得到当前图像中，每个积水区域的热力图信息。

在一种可能的实施例中，利用训练好的积水等级分类模型对积水等级进行判定，所述积水等级分类模型的输入信息为叠加后的热力图信息，输出是堆场区域内的积水等级信息，监督信息为积水等级分类规则。

积水等级预测模块输入的是叠加后的热力图信息，输出是堆场区域内的积水等级信息。监督信息是经过人工标注的积水等级分类。采用交叉熵损失函数对网络进行更新，最终获得堆场内部积水等级信息。

至此，完成了堆场内积水等级信息的预测。

在一种可能的实施例中，所述设定时间根据堆场排水能力、存放货物的性质确定。

需要说明的是，本发明中热力图叠加的时间，实施者可根据实际场景以及堆场的排水能力，存放货物的性质等因素灵活调整。

在一种可能的实施例中，还包括对不同摄像头对应的叠加后的热力图进行图像拼接和图像融合操作，形成全景热力图图像。

具体的，将摄像头拍摄的图像以及叠加后的热力图信息进行图像拼接并仿射变换到bim堆场平面上，并将预测到的积水等级信息上传到bim信息交换模块中。

上述实施例中，需要针对彩色图像进行预处理操作，图像拼接都是在图像预处理的基础上完成的，图像的预处理包括图像滤波去噪、畸变校正等方法，这些方法的原理是众所周知的，在此不做赘述；将每个摄像头采集的图像先进行透视变换，目的是将所有的图像转换到相同的视角下，便于拼接。

进一步的，本实施例的图像拼接融合的过程，包括以下步骤：

首先进行图像特征点的提取。

由于特征点的方法较容易处理图像之间旋转、仿射、透视等变换关系，因而经常被使用。特征点检测的方法有很多，例如harris角点检测算法、l_orb特征点检测算法、sift关键点检测算法、fast特征点检测算法等是公知的。

需要说明的是，本发明中港口堆场主要存放的是集装箱货物，其边缘及角点特征明显，因此本发明采用harris角点作为图像的特征点。

特征点提取后采用特征描述子，将特征点转换为固定格式的数据表征。

其次，对相邻图像进行特征点匹配，采用一定的匹配策略，找出待拼接图像中特征点在参考图像中对应的位置，从而确定两幅图像之间的变换关系。

需要说明的是，在进行特征点的匹配时，其中的特征点存在干扰项，也即会存在错误的匹配。因此本发明采用ransac特征点匹配过滤算法，过滤特征点，提高特征点匹配的准确性。其中，采用的ransac特征点匹配算法，满足两个相机的基线不能过长，重叠区域足够大。确定正确的特征点对后，计算相邻两幅图像的仿射变换矩阵，通过仿射变换将两幅图像转换到一个坐标系下，初步实现了图像的粗粒度拼接。

最后，对拼接好的图像要进行图像融合。

图像融合技术主要有平均值法、帽子函数法、加权平均法、金字塔、梯度等。本发明用加权平均法，赋予两幅图像相应的权重，然后将其相加，最后得到融合后的拼接图像。

因为相机和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗交替，这样给观察造成极大的不便。亮度与颜色均衡处理，通常的处理方式是通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。

将堆场区域的热力图叠加之后的图像信息按照同样的方法，拼接融合形成全景热力图图像，显示更加直观。

在一种可能的实施例中，还包括对摄像头拍摄的积水区域图像进行图像预处理操作，包括图像滤波、降噪和畸变校正。

针对彩色图像进行预处理操作，图像拼接都是在图像预处理的基础上完成的，图像的预处理包括图像滤波去噪、畸变校正等方法，这些方法的原理是众所周知的，在此不做赘述。

本发明中实现了在web端可视化展示堆场积水热力图及积水等级信息，根据其等级信息，及时发出警告提醒堆场管理人员采取相应的措施。

基于与方法同样的发明构思，本发明实施例还提供了一种基于bim的港口堆场积水成像系统，如图2所示为该系统实施例的结构示意图，所述系统包括：

模型建立模块101，用于基于当前港口堆场区域的存放信息和布局信息构建初始bim模型；

图像信息采集模块102，用于按照设定的采样时间间隔采集港口堆场待测区域中设置的摄像头拍摄的积水区域图像；

热力图生成模块103，用于提取每个采样时刻得到的积水区域图像的特征信息，根据所述特征信息和热力图生成方法得到对应的包含积水关键点的积水区域热力图；在设定时间内，对若干个采样时刻对应的积水区域热力图进行叠加操作，得到叠加后的热力图；所述叠加操作包括将不同采样时刻的积水区域热力图中对应位置的像素值相加；

积水等级判定模块104，用于提取所述叠加后的热力图中的积水等级特征，根据所述积水等级特征和预先建立的积水等级判定规则，预测积水关键点的积水等级信息；

图像映射模块105，用于将所述叠加后的热力图和对应积水关键点的等级信息映射到所述初始bim模型上进行显示。

在一种可能的实施例中，所述模型建立模块建模时，当前港口堆场区域的存放信息包括货物编码、货物数量；布局信息包括现场布局设计参数、货架尺寸、当前区域的地理位置坐标信息，以及当前区域内所使用的图像传感器型号、分辨率、数量和其各自在港口内部的编号信息。

在一种可能的实施例中，所述热力图生成模块，利用训练好的神经网络模型生成积水区域热力图，包括：

特征提取模块，用于采集积水区域图像数据，标记在积水区域的中心点位置和障碍物位置；

卷积处理模块，用于将标注的障碍物散点图与高斯核卷积得到积水关键点的积水区域热力图。

在一种可能的实施例中，所述积水等级判定模块，利用训练好的积水等级分类模型对积水等级进行判定，所述积水等级分类模型的输入信息为叠加后的热力图信息，输出是堆场区域内的积水等级信息，监督信息为积水等级分类规则。

在一种可能的实施例中，所述设定时间根据堆场排水能力、存放货物的性质确定。

在一种可能的实施例中，所述图像映射模块还包括图像拼接融合模块，用于对不同摄像头对应的叠加后的热力图进行图像拼接和图像融合操作，形成全景热力图图像。

在一种可能的实施例中，还包括对摄像头拍摄的积水区域图像进行图像预处理操作，包括图像滤波、降噪和畸变校正。

基于与前述实施例中同样的发明构思，本发明实施例还提供一种基于bim的港口堆场积水成像控制设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于bim的港口堆场积水成像方法的步骤。

基于与前述实施例中同样的发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于bim的港口堆场积水成像方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(模块、系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。