一种基于视觉的施工现场数字孪生和威胁评估方法

1.本发明涉及视觉传感技术领域，更具体地，涉及一种基于视觉的施工现场数字孪生和威胁评估方法。


背景技术：

2.动态和复杂的施工现场，包括不完整的结构和不安全的资源，是最容易受到极端风事件影响的环境之一；严重的风事件会导致严重的进度延误，并进一步对运营中的邻近基础设施(如道路、电网)产生负面影响，从而显著降低建设项目的效率，从而引发社区的显著中断和财务损失。因此，施工现场的从业者需要在飓风来临前做好防风准备。
3.现有技术提供了一种建筑电梯井施工防护装置，包括电梯井本体、安装框和限位滑槽，每个限位滑槽的内壁均滑动连接有滑块，且每个滑块的顶部外壁均固定连接有连接块，每个滑块的一侧外壁均固定连接有支撑架，每个连接块的顶部外壁均固定连接有连接弹簧，且位于一侧的两个支撑架的顶部外壁通过铰链连接有同一个挡板，连接弹簧的另一端固定连接于挡板的外壁，挡板的顶部外壁固定连接有受风板，且受风板的外壁等距离开有导风槽。在该公开的技术方案中，遇到风时，风力带动挡板上的连接弹簧伸展，从而使得挡板和受风板对风力带起的碎石和其他杂物进行阻挡，防止其落入电梯井中对施工人员造成伤害。
4.该公开的技术方案通过构建抗风结构可以保护施工项目，可以在一定程度上减少施工项目因飓风造成的损害。在飓风来临前，建筑施工现场需要检查分析并确定潜在风险，该公开的技术方案虽然可以在一定程度上通过抗风结构对施工项目进行保护。但在排出潜在风险时，从业人员大都是通过目视的方式进行检查。目视检查的方式容易因为检查人员的主观原因出现错误；同时，当建筑施工现场较大时，检查人员很难在有限的时间内对整个施工现场进行有效的检查。


技术实现要素：

5.本发明为克服上述现有技术中，建筑施工现场在飓风来临前的危险排查方式存在效率低、易出错的问题，提供一种基于视觉的施工现场数字孪生和威胁评估方法。
6.为解决上述技术问题，本发明采用的技术方案是：一种基于视觉的施工现场数字孪生和威胁评估方法，包括以下：
7.s1：采集施工现场的视觉图像数据并构建点云模型；
8.s2：检测点云模型中潜在风载碎片并对潜在风载碎片进行体积测量，并根据潜在风载碎片的单位质量计算潜在风载碎片的质量；
9.s3：根据步骤s2中潜在风载碎片的质量并计算潜在风载碎片成为抛射物后的威胁评估。
10.在本技术方案中，通过施工现场中的图像数据信息构建出点云模型，同时根据点云模型识别出潜在风载碎片的质量，并对潜在风载碎片成为抛射物后进行威胁评估。在飓
风来临前，本发明可以帮助施工的从业人员及时制定方案，进而可以降低或避免飓风对施工现场造成的损失。同时本发明通过在点云模型中对潜在风载碎片进行质量计算以及威胁评估，可以避免从业人员排查时因主观判断出现的错误评估。
11.优选地，步骤s1所述的构建施工现场的点云模型包括构建运动恢复结构框架以及多视图立体，所述运动恢复结构框架的构建包括以下步骤：
12.s11：从采集的图像中提取局部特征描述符；
13.s12：对图像的特征描述符两两匹配；
14.s13：通过三角剖分计算相匹配特征描述符的位置并获得稀疏点云模型；所述多视图立体填充稀疏点云模型并优化其点云分辨率。在本技术方案中，数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是表示几何特征的关键步骤，如相应虚拟环境中物理资产的形状和位置。数字孪生模型的建立的步骤包括重建施工现场的点云模型、潜在风载碎片的检测和点云分割在三维潜在风载碎片分析中的应用。在本技术方案中，s11局部特征描述符可以是尺度不变特征变换或其它类型。s12中对图像的特征描述符两两匹配以计算基本矩阵，并从收集的位置获取相机视点(例如：相机位置和方向)。多视图立体通过将图像划分为面片，并强制执行迭代匹配、扩展和过滤过程进而可以使其优化点分辨率。
15.优选地，步骤s2中潜在风载碎片的检测包括：利用卷积神经网络对施工现场的图像进行语义分割并根据潜在风载碎片的几何特征对其进行编码。在本技术方案中，潜在风载碎片指在极端风力事件期间，施工现场的不安全物体；所述不安全物体很容易成为空气中的碎片，并对建筑项目和周边社区造成巨大损失。语义分割可以将像素分类为语义类，并指定感兴趣对象的边界，为实现场景理解铺平道路；通过基于不同的卷积神经网络结构对潜在风载碎片的检测进行基准测试，在检测到图像中的潜在风载碎片后，对每类潜在风载碎片的几何特征进行编码，潜在风载碎片的几何特征包括潜在风载碎片的尺寸和类型以及单位重量，潜在风载碎片的几何特征是确定其相对于给定风事件强度的脆弱性的关键信息，因此对潜在风载碎片的几何特征进行编码可以方便计算其威胁评估。
16.优选地，步骤s2中潜在风载碎片的质量为：
17.m
pwd
＝ρ
pwd
×vpwd
；
18.式中，m
pwd
表示潜在风载碎片的质量，ρ
pwd
表示潜在风载碎片的单位质量，v
pwd
表示潜在风载碎片的体积。在本技术方案中，因为一旦潜在风载碎片成为抛射物并与周围环境发生碰撞，潜在风载碎片的潜在损害与它的重量有关；相关的碰撞损害也被称为导弹撞击，在极端风力事件中，对潜在风载碎片附近的人可能是致命的；一般来说，潜在风载碎片的质量越高，极端风事件期间预计发生的破坏性影响就越大。因此对潜在风载碎片进行质量计算可以有效对其进行威胁评估。
19.优选地，步骤s2中潜在风载碎片的体积测量包括对点云模型进行分段并对所需分段点云模型进行配准、投影以及重采样，所述配准包括采用随机样本一致性算法通过平面拟合进行地面配准，然后在笛卡尔坐标系位于注册平面并在坐标系中演示点云模型；所述投影包括在注册地面上形成像素网格，并且在每个像素位置处，对每个网格内封闭的一组点进行离散化并获得投影模板；所述重采样包括在投影蒙版的每个像素位置，对代表像素
的点进行离散化，并计算每个像素中包含的点的平均高度；所述体积测量的值为：
[0020][0021]
式中，v
pwd
表示潜在风载碎片的体积，(xi，yj)表示像素位置，z
pwd
表示像素位置处属于潜在风载碎片的点的高度，gs表示网格大小；n表示在坐标系中x方向上投影蒙版的像素数；m表示在坐标系中y方向上投影蒙版的像素数。在本技术方案中，在分段点云模型中，潜在风载碎片的体积测量具体方法为：给定分段点云模型，采用随机样本一致性算法通过平面拟合进行地面配准，然后在笛卡尔坐标系中演示点云模型；需要指出的是，其xoy平面位于注册地面上，其z轴平行于投影方向。在所注册的地面上形成像素网格，并且在每个像素位置处，对每个网格内封闭的一组点进行离散化；在每个像素位置，点之间观察到的最常见语义类由相关像素继承；将该类3d到2d投影的结果称为投影蒙版。需要指出的是，当一个点云模型中存在多个潜在风载碎片时，需要对每个潜在风载碎片进行分割，以分别评估其特征。为了区分不同潜在风载碎片，通过在投影蒙版上检索二维边界框，并将边界框内的点集视为单个潜在风载碎片；然后在投影蒙版的每个像素位置，对代表像素的点进行离散化，并计算每个像素中包含的点的平均z高度，以获得重新采样的点云模型；为了对包含潜在风载碎片的3d边界框建模，基于2d边界框的坐标，计算潜在风载碎片的最大和最小z高度值；最后，潜在风载碎片的体积计算为重采样点云模型的亮度值乘以投影蒙版中像素的平方大小之和。
[0022]
优选地，步骤s3所述的威胁评估包括计算潜在风载碎片的临界风速，所述潜在风载碎片的临界风速的计算公式为：
[0023][0024]
式中，u1s2表示平板型潜在风载碎片的临界风速；ρm表示潜在风载碎片的单位质量；ρa表示空气密度；l表示平板型潜在风载碎片的厚度；g表示重力加速度，参数i和sf分别代表潜在风载碎片在地面的束缚系数和阻力系数。在本技术方案中，临界风速指将潜在风载碎片从地面提升并使潜在风载碎片成为抛射物所需的最小风速。不同类型潜在风载碎片的临界风速计算方式不一样，本技术方案是计算平板型潜在风载碎片的临界风速，临界风速的计算可以使施工场地的从业人员很好的判断出哪些潜在风载碎片可以成为抛射物。进而可以对潜在风载碎片进行更好的威胁评估。
[0025]
优选地，步骤s3所述的威胁评估包括计算潜在风载碎片的临界风速，所述潜在风载碎片的临界风速的计算公式为：
[0026][0027]
式中，u2s2表示棒型潜在风载碎片的临界风速；ρm表示潜在风载碎片的单位质量；ρa表示空气密度；d表示棒型潜在风载碎片的外径；g表示重力加速度，参数i和sf分别代表潜在风载碎片在地面的束缚系数和阻力系数。
[0028]
优选地，步骤s3所述的威胁评估包括计算潜在风载碎片的动能，所述动能的计算公式为：
[0029][0030]
式中，ke表示潜在风载碎片成为抛射物后的动能，m
pwd
表示潜在风载碎片的质量，u表示持续风速。在本技术方案中，当潜在风载碎片被吹到空中，其可能造成的损害与其动能有关；因此，为了评估潜在风载碎片的威胁，需要计算潜在风载碎片成为抛射物后的动能。需要指出的是，潜在风载碎片成为抛射物之前，需要风事件的强度大于潜在风载碎片的临界风速，潜在风载碎片才会成为抛射物。
[0031]
优选地，所述语义分割进行点云分割并获得图像中的像素位置投影在点云模型中的相应位置，所述图像中的图像中的像素位置与点云模型中的相应位置之间的关系为：
[0032]ci
＝k3×3[r3×3|t3×1]cw；
[0033]
式中，ci表示语义分割图像中的像素位置；cw是像素位置在点云模型中的对应位置；k3×3表示固有相机参数；r3×3以及t3×1均外部相机的参数。在本技术方案中，语义分割为二维分割，通过在二维语义分割的基础上，进行点云分割，以分析三维中的潜在风载碎片；在点云分割时，通过建立了语义分割图像的像素与点云模型中的点之间的对应关系；建立的对应关系表示什么语义像素与点云模型中的哪个点相关联；然后，使用从运动恢复结构框架获得的相机视点和外部参数。
[0034]
优选地，所述点云分割包括建立深度感知投影框架，所述深度感知投影框架包括以下：
[0035]
s21：计算点云模型中每个摄像机的深度图，并使用深度信息计算投影范围；
[0036]
s22：通过摄像机的位置与方向，从点云模型中渲染视点，在点云模型中摄像机被定位并从中收集相关图像；
[0037]
s23：将视点划分为像素网格，检索点云模型中的点并得出深度图与点云模型的对应关系；
[0038]
s24：在像素网格位置检索距离摄像机最近点的距离并生成相应的深度图。在本技术方案中，相机投影的语义分割时未考虑投影阴影，被遮挡对象可能会被错误分类，从而导致错误的三维分割结果。在稠密点云模型的基础上，通过计算每个摄像机位置的深度图，并使用深度信息来考虑投影范围；通过给定摄像机的位置和方向，从点云模型渲染视点，在点云模型中摄像机被定位并从中收集相关图像；然后，将视点划分为像素网格，并检索点云模型中的点，通过这些点在每个网格上通过二维像素到三维点的对应关系可见图像与点云模型之间的对应关系；最后，在每个网格位置检索距离相机最近的点的距离，并相应地生成深度图。在本技术方案中，深度图中显示的距离说明了有效性在语义投射过程中；即在深度图的每个网格位置，当点位于深度信息所内切的距离之外时，从图像到点云的语义投影可能无效。
[0039]
与现有技术相比，本发明产生的有益效果是：
[0040]
在本发明中，通过施工现场中的图像数据信息构建出点云模型，同时根据点云模型识别出潜在风载碎片的质量，并对潜在风载碎片成为抛射物后进行威胁评估。在飓风来临前，本发明可以帮助施工的从业人员及时制定方案，进而可以降低或避免飓风对施工现场造成的损失。同时本发明通过在点云模型中对潜在风载碎片进行质量计算以及威胁评估，可以避免从业人员排查时因主观判断出现的错误评估。
附图说明
[0041]
图1是本发明基于视觉的施工现场数字孪生和威胁评估方法的流程图；
[0042]
图2是本发明中构建运动恢复结构框架的流程图；
[0043]
图3是本发明中深度感知投影框架的流程图。
具体实施方式
[0044]
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
[0045]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0046]
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
[0047]
实施例1
[0048]
如图1和图2所示，一种基于视觉的施工现场数字孪生和威胁评估方法，包括以下：
[0049]
s1：采集施工现场的视觉图像数据并构建点云模型；
[0050]
s2：检测点云模型中潜在风载碎片并对潜在风载碎片进行体积测量，并根据潜在风载碎片的单位质量计算潜在风载碎片的质量；
[0051]
s3：根据步骤s2中潜在风载碎片的质量并计算潜在风载碎片成为抛射物后的威胁评估。
[0052]
在本技术方案中，通过施工现场中的图像数据信息构建出点云模型，同时根据点云模型识别出潜在风载碎片的质量，并对潜在风载碎片成为抛射物后进行威胁评估。在飓风来临前，本发明可以帮助施工的从业人员及时制定方案，进而可以降低或避免飓风对施工现场造成的损失。同时本发明通过在点云模型中对潜在风载碎片进行质量计算以及威胁评估，可以避免从业人员排查时因主观判断出现的错误评估。
[0053]
其中，步骤s1的构建施工现场的点云模型包括构建运动恢复结构框架以及多视图立体，运动恢复结构框架的构建包括以下步骤：
[0054]
s11：从采集的图像中提取局部特征描述符；
[0055]
s12：对图像的特征描述符两两匹配；
[0056]
s13：通过三角剖分计算相匹配特征描述符的位置并获得稀疏点云模型；多视图立体填充稀疏点云模型并优化其点云分辨率。在本技术方案中，数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生是表示几何特征的关键步骤，如相应虚拟环境中物理资产的形状和位置。数字孪生模型的建立的步骤包括重建施工现场的点云模型、潜在风载碎片的检测和点云分割在三维潜在风载碎片分析
中的应用。在本技术方案中，s11局部特征描述符可以是尺度不变特征变换或其它类型。s12中对图像的特征描述符两两匹配以计算基本矩阵，并从收集的位置获取相机视点(例如：相机位置和方向)。多视图立体通过将图像划分为面片，并强制执行迭代匹配、扩展和过滤过程进而可以使其优化点分辨率。
[0057]
另外，步骤s2中潜在风载碎片的检测包括：利用卷积神经网络对施工现场的图像进行语义分割并根据潜在风载碎片的几何特征对其进行编码。在本技术方案中，潜在风载碎片指在极端风力事件期间，施工现场的不安全物体；不安全物体很容易成为空气中的碎片，并对建筑项目和周边社区造成巨大损失。语义分割可以将像素分类为语义类，并指定感兴趣对象的边界，为实现场景理解铺平道路；通过基于不同的卷积神经网络结构对潜在风载碎片的检测进行基准测试，在检测到图像中的潜在风载碎片后，对每类潜在风载碎片的几何特征进行编码，潜在风载碎片的几何特征包括潜在风载碎片的尺寸和类型以及单位重量，潜在风载碎片的几何特征是确定其相对于给定风事件强度的脆弱性的关键信息，因此对潜在风载碎片的几何特征进行编码可以方便计算其威胁评估。
[0058]
优选地，步骤s2中潜在风载碎片的质量为：
[0059]mpwd
＝ρ
pwd
×vpwd
；
[0060]
式中，m
pwd
表示潜在风载碎片的质量，ρ
pwd
表示潜在风载碎片的单位质量，v
pwd
表示潜在风载碎片的体积。在本技术方案中，因为一旦潜在风载碎片成为抛射物并与周围环境发生碰撞，潜在风载碎片的潜在损害与它的重量有关；相关的碰撞损害也被称为导弹撞击，在极端风力事件中，对潜在风载碎片附近的人可能是致命的；一般来说，潜在风载碎片的质量越高，极端风事件期间预计发生的破坏性影响就越大。因此对潜在风载碎片进行质量计算可以有效对其进行威胁评估。
[0061]
其中，步骤s2中潜在风载碎片的体积测量包括对点云模型进行分段并对所需分段点云模型进行配准、投影以及重采样，配准包括采用随机样本一致性算法通过平面拟合进行地面配准，然后在笛卡尔坐标系位于注册平面并在坐标系中演示点云模型；投影包括在注册地面上形成像素网格，并且在每个像素位置处，对每个网格内封闭的一组点进行离散化并获得投影模板；重采样包括在投影蒙版的每个像素位置，对代表像素的点进行离散化，并计算每个像素中包含的点的平均高度；体积测量的值为：
[0062][0063]
式中，v
pwd
表示潜在风载碎片的体积，(xi，yj)表示像素位置，z
pwd
表示像素位置处属于潜在风载碎片的点的高度，gs表示网格大小；n表示在坐标系中x方向上投影蒙版的像素数；m表示在坐标系中y方向上投影蒙版的像素数。在本技术方案中，在分段点云模型中，潜在风载碎片的体积测量具体方法为：给定分段点云模型，采用随机样本一致性算法通过平面拟合进行地面配准，然后在笛卡尔坐标系中演示点云模型；需要指出的是，其xoy平面位于注册地面上，其z轴平行于投影方向。在所注册的地面上形成像素网格，并且在每个像素位置处，对每个网格内封闭的一组点进行离散化；在每个像素位置，点之间观察到的最常见语义类由相关像素继承；将该类3d到2d投影的结果称为投影蒙版。需要指出的是，当一个点云模型中存在多个潜在风载碎片时，需要对每个潜在风载碎片进行分割，以分别评估其特征。为了区分不同潜在风载碎片，通过在投影蒙版上检索二维边界框，并将边界框内的点集
视为单个潜在风载碎片；然后在投影蒙版的每个像素位置，对代表像素的点进行离散化，并计算每个像素中包含的点的平均z高度，以获得重新采样的点云模型；为了对包含潜在风载碎片的3d边界框建模，基于2d边界框的坐标，计算潜在风载碎片的最大和最小z高度值；最后，潜在风载碎片的体积计算为重采样点云模型的亮度值乘以投影蒙版中像素的平方大小之和。
[0064]
另外，步骤s3的威胁评估包括计算潜在风载碎片的临界风速，潜在风载碎片的临界风速的计算公式为：
[0065][0066]
式中，u1s2表示平板型潜在风载碎片的临界风速；ρm表示潜在风载碎片的单位质量；ρa表示空气密度；l表示平板型潜在风载碎片的厚度；g表示重力加速度，参数i和sf分别代表潜在风载碎片在地面的束缚系数和阻力系数。在本技术方案中，临界风速指将潜在风载碎片从地面提升并使潜在风载碎片成为抛射物所需的最小风速。不同类型潜在风载碎片的临界风速计算方式不一样，本技术方案是计算平板型潜在风载碎片的临界风速，临界风速的计算可以使施工场地的从业人员很好的判断出哪些潜在风载碎片可以成为抛射物。进而可以对潜在风载碎片进行更好的威胁评估。
[0067]
其中，步骤s3的威胁评估包括计算潜在风载碎片的临界风速，潜在风载碎片的临界风速的计算公式为：
[0068][0069]
式中，u2s2表示棒型潜在风载碎片的临界风速；ρm表示潜在风载碎片的单位质量；ρa表示空气密度；d表示棒型潜在风载碎片的外径；g表示重力加速度，参数i和sf分别代表潜在风载碎片在地面的束缚系数和阻力系数。
[0070]
另外，步骤s3的威胁评估包括计算潜在风载碎片的动能，动能的计算公式为：
[0071][0072]
式中，ke表示潜在风载碎片成为抛射物后的动能，m
pwd
表示潜在风载碎片的质量，u表示持续风速。在本技术方案中，当潜在风载碎片被吹到空中，其可能造成的损害与其动能有关；因此，为了评估潜在风载碎片的威胁，需要计算潜在风载碎片成为抛射物后的动能。需要指出的是，潜在风载碎片成为抛射物之前，需要风事件的强度大于潜在风载碎片的临界风速，潜在风载碎片才会成为抛射物。
[0073]
实施例2
[0074]
在本实施例中，与实施例1类似，语义分割进行点云分割并获得图像中的像素位置投影在点云模型中的相应位置，图像中的图像中的像素位置与点云模型中的相应位置之间的关系为：
[0075]ci
＝k3×3[r3×3|t3×1]cw；
[0076]
式中，ci表示语义分割图像中的像素位置；cw是像素位置在点云模型中的对应位置；k3×3表示固有相机参数；r3×3以及t3×1均外部相机的参数。在本技术方案中，语义分割为
二维分割，通过在二维语义分割的基础上，进行点云分割，以分析三维中的潜在风载碎片；在点云分割时，通过建立了语义分割图像的像素与点云模型中的点之间的对应关系；建立的对应关系表示什么语义像素与点云模型中的哪个点相关联；然后，使用从运动恢复结构框架获得的相机视点和外部参数。
[0077]
实施例3
[0078]
如图3所示，在本实施例中，与实施例1类似，点云分割包括建立深度感知投影框架，深度感知投影框架包括以下：
[0079]
s21：计算点云模型中每个摄像机的深度图，并使用深度信息计算投影范围；
[0080]
s22：通过摄像机的位置与方向，从点云模型中渲染视点，在点云模型中摄像机被定位并从中收集相关图像；
[0081]
s23：将视点划分为像素网格，检索点云模型中的点并得出深度图与点云模型的对应关系；
[0082]
s24：在像素网格位置检索距离摄像机最近点的距离并生成相应的深度图。在本技术方案中，相机投影的语义分割时未考虑投影阴影，被遮挡对象可能会被错误分类，从而导致错误的三维分割结果。在稠密点云模型的基础上，通过计算每个摄像机位置的深度图，并使用深度信息来考虑投影范围；通过给定摄像机的位置和方向，从点云模型渲染视点，在点云模型中摄像机被定位并从中收集相关图像；然后，将视点划分为像素网格，并检索点云模型中的点，通过这些点在每个网格上通过二维像素到三维点的对应关系可见图像与点云模型之间的对应关系；最后，在每个网格位置检索距离相机最近的点的距离，并相应地生成深度图。在本技术方案中，深度图中显示的距离说明了有效性在语义投射过程中；即在深度图的每个网格位置，当点位于深度信息所内切的距离之外时，从图像到点云的语义投影可能无效。
[0083]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。