保温被未覆盖区域检测方法、装置、设备和存储介质与流程

本申请涉及智能建造图像识别技术领域，特别是涉及一种施工场地保温被未覆盖区域检测方法、装置、设备和计算机可读存储介质。

背景技术：

图像识别技术在智能建造领域中发挥越来越重要的作用。比如，在建造过程中，当大坝仓面上水泥浇筑完成后，大坝仓面需要覆盖上保温被，以对建筑大坝仓面的混凝土进行保温、保湿。当大坝仓面上存在保温被未覆盖区域时，就需要检测出保温被未覆盖区域。

相关技术的大坝仓面保温被未覆盖区域检测方案中，一般由人为现场检测，但是人为检测容易出现疏漏，由于大坝仓面数目众多、保温被距离远近和人的视野盲区，现场人为检查存在着一定的复杂性和局限性，无法全方位检测大坝仓面上保温被未覆盖区域。

在其他施工场地的检测保温被未覆盖区域的场景下，也面临上述的类似问题。

综上，针对相关技术中由于施工场地数目众多、施工场地的保温被距离远近和人的视野盲区，现场人为检查存在着一定的复杂性和局限性，无法全方位检测施工场地保温被未覆盖区域的问题。

技术实现要素：

基于此，本申请提供一种保温被未覆盖区域检测方法、装置、设备和计算机可读存储介质，用以解决相关技术中由于施工场地数目众多、施工场地的保温被距离远近和人的视野盲区，现场人为检查存在着一定的复杂性和局限性，无法全方位检测施工场地保温被未覆盖区域的问题。

第一方面，本申请提供一种保温被未覆盖区域检测方法，该方法包括：

实时获取施工场地的第一俯瞰图像；

将所述第一俯瞰图像输入到训练完备的目标检测网络中，得到第一目标检测结果图像，其中，所述第一目标检测结果图像是在所述第一俯瞰图像上以矩形框标注保温被未覆盖区域得到的图像；

将所述第一俯瞰图像输入到训练完备的语义分割网络中，得到第一掩模图像，其中，所述第一掩模图像是用于划分所述第一俯瞰图像中的保温被未覆盖区域的掩模图像；

根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域。

在一种可能的实现方式中，根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域包括：

对所述第一目标检测结果图像中标注的保温被未覆盖区域与所述第一掩模图像划分的保温被未覆盖区域取并集，得到所述施工场地的保温被未覆盖区域。

在一种可能的实现方式中，在根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域之后，所述方法还包括：

计算所述施工场地的保温被未覆盖区域占所述施工场地的保温被未覆盖率；

判断所述保温被未覆盖率是否大于告警阈值；

在判断结果为所述保温被未覆盖率大于所述告警阈值的情况下，发出告警。

在一种可能的实现方式中，在根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域之后，所述方法还包括：

计算所述施工场地的保温被覆盖区域占所述施工场地的保温被覆盖率；

判断所述保温被覆盖率是否大于预设阈值；

在判断结果为所述保温被覆盖率大于所述预设阈值的情况下，通过数字图像处理算法，识别所述第一俯瞰图像中的保温被未覆盖区域，并将识别出的保温被未覆盖区域标注在所述第一俯瞰图像中，得到数字图像处理结果图像；

根据所述第一目标检测结果图像、所述第一掩模图像和所述数字图像处理结果图像，确定所述施工场地的保温被未覆盖区域。

在一种可能的实现方式中，根据所述第一目标检测结果图像、所述第一掩模图像和所述数字图像处理结果图像，确定所述施工场地的保温被未覆盖区域包括：

对所述第一目标检测结果图像中标注的保温被未覆盖区域、所述第一掩模图像划分的保温被未覆盖区域以及所述数字图像处理结果图像中标注的保温被未覆盖区域取并集，得到所述施工场地的保温被未覆盖区域。

在一种可能的实现方式中，在确定所述施工场地的保温被未覆盖区域之后，所述方法还包括：

显示所述施工场地的保温被未覆盖区域，和/或，所述施工场地的保温被未覆盖率。

在一种可能的实现方式中，所述训练完备的目标检测网络是根据下列方式训练的：

构建初始目标检测网络；

获取第一训练样本，其中，所述第一训练样本包括：多个不同俯瞰角度的施工场地的第二俯瞰图像，以及与所述第二俯瞰图像一一对应的真实目标检测结果图像，所述真实目标检测结果图像是在所述第二俯瞰图像上标注保温被未覆盖区域得到的图像；

将所述第二俯瞰图像输入到所述初始目标检测网络中，得到第二目标检测结果图像，其中，所述第二目标检测结果图像是在所述第二俯瞰图像上以矩形框标注保温被未覆盖区域的图像；

将所述第二目标检测结果图像中标注的保温被未覆盖区域与所述真实目标检测结果图像中标注的保温被未覆盖区域的误差作为第一损失函数，调整所述初始目标检测网络的参数，直至收敛，得到所述训练完备的目标检测网络。

在一种可能的实现方式中，所述训练完备的语义分割网络是根据下列方式训练的：

构建初始语义分割网络；

获取第二训练样本，其中，所述第二训练样本包括：多个不同俯瞰角度的施工场地的第三俯瞰图像，以及与所述第三俯瞰图像一一对应的真实掩模图像，所述真实掩模图像是用于划分所述第二俯瞰图像中的保温被未覆盖区域的掩模图像；

将所述第三俯瞰图像输入到所述初始语义分割网络中，得到第三掩模图像，其中，所述第三掩模图像是用于划分所述第三俯瞰图像中的保温被未覆盖区域的掩模图像；

将所述第三掩模图像划分的保温被未覆盖区域与所述真实掩模图像划分的保温被未覆盖区域的误差作为第二损失函数，调整所述初始语义分割网络的参数，直至收敛，得到所述训练完备的语义分割网络。

在一种可能的实现方式中，所述目标检测网络采用的目标检测算法包括：

提取所述第一俯瞰图像的低层特征信息和高层特征信息；

采用多组卷积层处理所述高层特征信息，得到与所述多组卷积层一一对应的多组第一候选区域，其中，所述第一候选区域用于区分所述第一俯瞰图像中保温被未覆盖区域和保温被覆盖区域；

融合所述多组第一候选区域中的每组第一候选区域对应的低层特征信息和高层特征信息，得到与每组第一候选区域一一对应的多组多尺度特征信息；

根据所述第一候选区域和所述多尺度特征信息，计算与所述第一候选选区域一一对应的多组预测框，将所述多组预测框映射至所述第一俯瞰图像，得到与所述第一俯瞰图像具有相同大小的、标注有所述预测框的多组预测框图像；

整合所述第一俯瞰图像和所述多组预测框图像，得到所述第一目标检测结果图像。

在一种可能的实现方式中，根据所述第一候选区域和所述多尺度特征信息，计算与所述第一候选选区域一一对应的多组预测框包括：

删除所述第一候选区域的保温被覆盖区域中置信度大于预设置信度阈值的保温被覆盖区域，得到优化后的第一候选区域；

根据所述优化后的第一候选区域与所述多尺度特征信息，计算与所述第一候选选区域一一对应的多组预测框。

在一种可能的实现方式中，所述语义分割网络采用的语义分割算法包括：

提取所述第一俯瞰图像的低层特征信息和高层特征信息；

采用多个不同采样率的卷积核对所述第一俯瞰图像的高层特征信息进行空洞卷积，得到与所述多个不同采样率的卷积核一一对应的多组特征信息，将所述多组特征信息进行跨通道拼接融合，得到多尺度上下文信息；

采用双线性插值法对所述多尺度上下文信息进行上采样，得到采样结果；

将所述采样结果与所述采样结果具有相同空间分辨率的所述低层特征信息进行跨通道拼接融合后，进行卷积操作，得到预测结果信息；

采用双线性内插法对所述预测结果信息进行上采样，得到所述第一掩膜图像。

在一种可能的实现方式中，所述数字图像处理算法包括：

对所述第一俯瞰图像进行直方图均衡化，得到直方图均衡化图像；

对所述直方图均衡化图像进行边缘检测，提取所述第一俯瞰图像的边缘特征信息，得到携带有所述边缘特征信息的第一俯瞰图像；

对携带有所述边缘特征信息的第一俯瞰图像进行形态学腐蚀，得到所述数字图像处理结果图像。

第二方面，本申请提供一种保温被未覆盖区域检测装置，该装置包括：

获取模块，用于实时获取施工场地的第一俯瞰图像；

第一输入模块，用于将所述第一俯瞰图像输入到训练完备的目标检测网络中，得到第一目标检测结果图像，其中，所述第一目标检测结果图像是在所述第一俯瞰图像上以矩形框标注保温被未覆盖区域得到的图像；

第二输入模块，用于将所述第一俯瞰图像输入到训练完备的语义分割网络中，得到第一掩模图像，其中，所述第一掩模图像是用于划分所述第一俯瞰图像中的保温被未覆盖区域的掩模图像；

确定模块，用于根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域。

第三方面，本申请提供一种保温被未覆盖区域检测设备，该设备包括：存储器、处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的保温被未覆盖区域检测方法。

第四方面，本申请提供一种计算机可读存储介质，该存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的保温被未覆盖区域检测方法。

本申请提供的保温被未覆盖区域检测方法、保温被未覆盖区域检测装置、保温被未覆盖区域检测设备和计算机可读存储介质，通过实时获取施工场地的第一俯瞰图像；将第一俯瞰图像输入到训练完备的目标检测网络中，得到第一目标检测结果图像，其中，第一目标检测结果图像是在第一俯瞰图像上以矩形框标注保温被未覆盖区域得到的图像；将第一俯瞰图像输入到训练完备的语义分割网络中，得到第一掩模图像，其中，第一掩模图像是用于划分所述第一俯瞰图像中的保温被未覆盖区域的掩模图像；根据第一目标检测结果图像和第一掩模图像，确定施工场地的保温被未覆盖区域的方式，实现全方位定位和分析施工场地的保温被未覆盖区域的有益效果，解决相关技术中由于施工场地数目众多、施工场地的保温被距离远近和人的视野盲区，现场人为检查存在着一定的复杂性和局限性，无法全方位检测施工场地保温被未覆盖区域的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的一种保温被未覆盖区域检测方法的流程图；

图2是根据本申请实施例提供的一种保温被未覆盖区域目标检测结果和语义分割结果融合示意图；

图3是根据本申请实施例提供的一种算法分析的流程图；

图4是根据本申请实施例提供的一种针对监控视频图像的保温被未覆盖区域检测系统的流程图；

图5是根据本申请实施例提供的一种目标检测网络训练方法的示意图；

图6是根据本申请实施例提供的一种语义分割网络训练方法的示意图；

图7a是根据本申请实施例提供的一种目标检测算法模型流程图；

图7b是根据本申请实施例提供的一种保温被未覆盖区域的目标检测效果示意图；

图8a是根据本申请实施例提供的一种目标检测算法模型流程图；

图8b是根据本申请实施例提供的一种保温被未覆盖区域的语义分割效果示意图；

图9是根据本申请实施例提供的一种数字图像处理算法模型流程图；

图10是根据本申请实施例提供的一种保温被未覆盖区域检测装置的结构框图；

图11是根据本申请实施例提供的保温被未覆盖区域检测设备的硬件结构示意图。

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述。显然，所描述的实例仅仅是本发明一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

在本实施例中提供了一种保温被未覆盖区域检测方法。如图1所示，为根据本申请实施例提供的一种保温被未覆盖区域检测方法的流程图，该流程包括如下步骤：

步骤s102，实时获取施工场地的第一俯瞰图像；

步骤s104，将第一俯瞰图像输入到训练完备的目标检测网络中，得到第一目标检测结果图像，其中，第一目标检测结果图像是在第一俯瞰图像上以矩形框标注保温被未覆盖区域得到的图像；

步骤s106，将第一俯瞰图像输入到训练完备的语义分割网络中，得到第一掩模图像，其中，第一掩模图像是用于划分第一俯瞰图像中的保温被未覆盖区域的掩模图像；

步骤s108，根据第一目标检测结果图像和第一掩模图像，确定施工场地的保温被未覆盖区域。

通过上述步骤，将实时采集的施工场地的第一俯瞰图像分别输入到目标检测网络和语义分割网络中，得到用于划分或者标注保温被未覆盖区域的第一目标检测结果图像和第一掩模图像，以确定施工场地的保温被未覆盖区域。解决了人为检查保温被未覆盖区域时存在疏漏的问题，以及现场人为检查存在着一定的复杂性和局限性，无法全方位检测施工场地保温被未覆盖区域的问题。

在本实施例中，可以采用摄像头作为全方位视觉传感器实时采集第一俯瞰图像。通过本实施例，在仓面数目众多，有些仓面处于人眼视野盲区额情况下，依然能够实现全面采集大坝仓面图像信息。

在一个实施例中，如图2所示，为根据本申请实施例提供的一种保温被未覆盖区域目标检测结果和语义分割结果融合示意图。其中，基于语义分割的保温被未覆盖区域202是通过将待检测图像输入到语义分割网络中得到的包含保温被未覆盖区域的掩膜图像，基于目标检测的保温被未覆盖区域204是通过将待检测图像输入到目标检测网络中得到的矩形框标注的保温被未覆盖区域的图像，将基于语义分割的保温被未覆盖区域和基于目标检测的保温被未覆盖区域通过206进行结果融合，即相当于将目标检测得到的矩形框内部区域和语义分割检测得到的保温被未覆盖区域取并集，得到融合后的保温被未覆盖区域208，即施工场地标注保温被未覆盖区域的图像。

由于目标检测得到的矩形框标注的保温被未覆盖区域和语义分割检测得到的包含保温被未覆盖区域的掩码图像在位置关系上并不是完全重叠的，而是可能存在包括相交、分离、完全包含的情况。在本实施例中，采用取并集的方式融合目标检测得到的矩形框内部区域和语义分割检测得到的保温被未覆盖区域，实现了最大程度地检测到施工场地的保温被未覆盖区域，解决了单纯使用目标检测网络、语义分割网络任意的一种方法存在检测不完全的问题。

在一个实施例中，在使用目标检测算法和语义分割算法相结合得到施工场地标注保温被未覆盖区域的图像后，计算施工场地标注保温被未覆盖区域占施工场地面积的比值，得到施工场地的保温被未覆盖区域的面积占比，将施工场地标注保温被未覆盖区域和施工场地的保温被未覆盖区域的面积占比作为检测结果反馈至结果展示系统。一方面，结果展示系统将检测结果进行可视化展示，即突出保温被未覆盖的区域，并输出保温被未覆盖区域占比；另一方面，判断保温被未覆盖区域占比是否大于告警阈值，当判断结果为保温被未覆盖区域占比大于告警阈值的情况下，结果展示系统发出告警。

在一个实施例中，如图3所示，是根据本申请实施例提供的一种算法分析过程的流程图。该流程包括如下过程：采用深度学习方法分析完成保温被未覆盖检测任务，深度学习方法分析可以采用目标检测算法和语义分割算法相结合的方式实现。其中，目标检测算法主要负责检测形状规则(矩形)的未覆盖区域，而语义分割算法负责拟合非规则的未覆盖区域。为了减少gpu显存占用，采用时间换空间策略，将并行检测替换成串行检测，即使用目标检测算法检测完成后，再开始进行语义分割算法检测，或者在语义分割算法检测完成后，再开始进行目标检测算法检测；目标检测输出标注未覆盖区域的检测框的位置坐标信息，语义分割输出待检测图像的掩码图，将目标检测算法结果和语义分割算法结果进行融合，并计算未覆盖区域的面积占比和覆盖区域的面积占比。其中，将目标检测算法结果和语义分割算法结果进行融合包括：将施工场地的第一俯瞰图像复制成2份，一份用于目标检测，另一份用于语义分割，分别执行目标检测和语义分割检测，融合阶段是将两个算法得到的结果进行融合，即采用取并集的方式，将目标检测的矩形框内部区域和语义分割检测的区域取并集，得到标注保温被未覆盖区域，将得到标注保温被未覆盖区域的目标图像和计算得到的保温被未覆盖区域的面积占比作为检测结果输出。

由于深度学习方法分析保温被未覆盖区域时，可能存在未检测出保温被未覆盖区域，因此还可以将深度学习方法分析中计算得到的保温被覆盖区域的面积占比与预设阈值进行比较，当计算得到的保温被覆盖区域的面积占比等于预设阈值(例如，阈值为1.0)时，即深度学习方法分析未检测出保温被未覆盖区域时，可以采取二次图像处理，即用数字图像处理分析施工场地的第一俯瞰图像，得到包含施工场地保温被未覆盖区域的掩膜图像，将目标检测算法检测得到的标注保温被未覆盖区域的目标图像、语义分割算法检测得到的包含保温被未覆盖区域的掩膜图像和数字图像处理算法检测得到的包含保温被未覆盖区域的掩膜图像以取并集的方式进行融合，得到最终标注保温被未覆盖区域的目标图像，以防止深度学习检测算法失效的情况发生。

在一个实施例中，如图4所示，为根据本申请实施例提供的一种针对监控视频图像的保温被未覆盖区域检测系统的流程图，该流程包括如下步骤：

步骤s402，图像采集和数据预处理，通过摄像头采集施工场地的视频图像信息后，通过预处理操作，将采集的视频图像信息转换成目标检测网络和语义分割网络能够分析处理的待检测图像。

步骤s404，保温被未覆盖区域检测，采用目标检测算法和语义分割算法分别对待检测图像进行检测，将目标检测算法检测得到的矩形框标注的内部区域和语义分割算法检测得到的包含保温被未覆盖区域的掩膜图像进行融合，得到标注保温被未覆盖区域的目标图像，并计算标注保温被未覆盖区域的面积占比和保温被覆盖区域的面积占比。考虑到目标检测算法和语义分割算法存在失效的可能性，需要对计算所得的保温被覆盖区域的面积占比与预设阈值进行比较，当计算所得的保温被覆盖区域的面积占比等于预设阈值(例如预设阈值为1.0)时，需要采取二次图像处理，即采用数字图像处理算法检测待检测图像，得到包含保温被未覆盖区域的掩膜图像，然后将目标检测算法检测得到的标注保温被未覆盖区域的目标图像、语义分割算法检测得到的包含保温被未覆盖区域的掩膜图像和数字图像处理算法检测得到的包含保温被未覆盖区域的掩膜图像以取并集的方式进行融合，得到最终标注保温被未覆盖区域的目标图像，并计算最终标注保温被未覆盖区域的面积占比。

步骤s406，结果展示，结果展示系统对检测结果进行可视化展示和后台预警。一方面，显示最终标注保温被未覆盖区域的目标图像、显示最终标注保温被未覆盖区域的面积占比；另一方面，判断保温被未覆盖区域占比是否大于告警阈值，当判断结果为保温被未覆盖区域占比大于告警阈值的情况下，结果展示系统发出告警。

在一个实施例中，如图5所示，为根据本申请实施例提供的一种目标检测网络训练方法的示意图，包括如下步骤：

步骤s502，构建初始目标检测网络；

步骤s504，获取训练样本，训练样本包括监控视频场景下多角度的大坝仓面图像、与大坝仓面图像一一对应的真实目标检测结果图像，其中，真实目标检测结果图像是在大坝仓面图像上标注保温被未覆盖区域得到的图像；

步骤s506，训练初始目标检测网络，将训练样本输入至初始目标检测网络，得到标注保温被未覆盖区域的目标检测结果图像，将目标检测结果图像中的标注保温被未覆盖区域与真实目标检测结果图像中标注的保温被未覆盖区域的误差作为第一损失函数，不断调整初始目标检测网络的参数，以增强目标检测网络的检测识别能力，当迭代次数达到预设次数时，得到训练完备的目标检测网络。

在一个实施例中，如图6所示，为根据本申请实施例提供的一种语义分割网络训练方法的示意图，包括如下步骤：

步骤s602，构建初始语义分割网络；

步骤s604，获取训练样本，训练样本包括监控视频场景下多角度的大坝仓面图像、与大坝仓面图像一一对应的真实掩膜图像，其中，真实掩膜图像是在大坝仓面图像上用于划分保温被未覆盖区域的掩膜图像；

步骤s606，训练初始语义分割网络，将训练样本输入至初始语义分割网络，得到划分保温被未覆盖区域的语义分割结果图像，将语义分割结果图像中的用于划分保温被未覆盖区域与真实掩膜图像划分的保温被未覆盖区域的误差作为第二损失函数，不断调整初始语义分割网络的参数，以增强语义分割网络的检测识别能力，当迭代次数达到预设次数时，得到训练完备的语义分割网络。

在一个实施例中，如图7a所示，为根据本申请实施例提供的一种目标检测算法模型流程图，该流程包括如下步骤：

步骤s702，图像特征提取模块采用vgg16作为基干网络，用于提取图像的深层特征信息，该深层特征特征信息是由诸如物体边缘、颜色、纹理等的图像的低层特征信息组合成的更加抽象的表示属性类别的信息。

步骤s704，候选区域修正模块采用4组堆叠的卷积层，对每组得到的特征图生成候选区域，即区分图像的前景信息(即保温被未覆盖区域的信息)与背景信息(即保温被覆盖区域的信息)，生成的候选区域包括区域的中心点坐标和区域的长和宽。由于候选区域中会存在大量的背景区域(即保温被覆盖区域)，为了增加计算效率，对所有背景区域的置信度值由大到小排序，去掉置信度值大于阈值(例如，阈值为0.9)的背景区域。另一方面，该模块对生成的候选区域进行位置和尺寸修正，即对该模块的参数进行不断调整，使得更有利于候选区域的坐标回归，为后续的模块提供较好的初始信息。该模块产生两条支路，一条支路用于得到候选区域坐标信息，另一条支路用于得到前景或背景分类信息。

步骤s706，特征转化模块将候选区域修正模块输出的特征信息转换成目标检测模块的输入信息，并通过特征元素相加的方式实现高层特征信息和底层特征信息的融合,得到多尺度特征信息。

步骤s708，目标检测模块基于候选区域修正模块生成的候选区域和特征转化模块生成的多尺度特征信息，计算每层特征信息生成的预测框。由于每层特征信息的分辨率大小不一样，导致每层特征信息生成的预测框并不是在原图的实际位置，而是相对于该层特征信息的相对位置；由于每层特征信息分辨率大小不一样，导致虽然两个不同层的特征信息生成的预测框相对位置一样，但是它们在原图上的真实位置不一样。因此，本实施例把所有层的预测框尺寸映射至原图分辨率大小，以实现确保每层预测框具有相同的尺度大小的有益效果，最后将具有与原图相同分辨率大小的各层预测框进行整合输出，得到以矩形框标注的保温被未覆盖区域的目标检测结果图。

图7b是根据本申请实施例提供的一种保温被未覆盖区域的目标检测效果示意图，其中矩形标注框内部区域为目标检测算法检测得到的结果，即保温被未覆盖区域，英文标注“noquilt”表示：本幅大坝仓面的俯瞰图像经过目标检测算法处理后，检测得到的矩形框内部保温被未覆盖区域。

在一个实施例中，如图8a所示，为根据本申请实施例提供的一种语义分割算法模型流程图，该流程包括如下步骤：

步骤s802，图像特征提取模块采用xception网络作为基干网络，采用分离卷积操作提取图像的深层特征信息。

步骤s804，多尺度信息融合模块在图像特征提取模块获得的特征映射的基础上，使用三个不同采样率(rates＝6，12，18)的3*3卷积核进行空洞卷积操作，将三个不同采样率的卷积核获取的特征信息进行跨通道拼接融合，得到具有多尺度的上下文信息。

步骤s804，图像解码模块将获取的多尺度上下文信息使用双线性插值方法进行4倍的上采样，然后与具有相同空间分辨率的低级特征跨通道拼接合并，以获取图像精细的位置特征。对合并的特征进行3*3卷积操作，最后使用双线性内插进行4倍上采样，以获得沿着物体边界细化分割结果。

图8b是根据本申请实施例提供的一种保温被未覆盖区域的语义分割效果示意图，其中阴影区域表示保温被覆盖区域，非阴影区域表示保温被未覆盖区域，语义分割检测结果得到的是区分保温被未覆盖区域的掩膜图像。

在一个实施例中，如图9所示，为根据本申请实施例提供的一种数字图像处理算法模型流程图，该流程包括如下步骤：

步骤s902，直方图均衡化：采用限制对比度自适应直方图对待检测图像进行直方图均衡化，用于提升图像的对比度，改进图像局部对比度以及获得更多的图像细节。

步骤s904，边缘检测：使用sobel算子进行边缘检测，图像上的每一点会产生对应的灰度矢量。根据像素点上下、左右邻点灰度的加权差，在边缘处达到极值这一现象检测边缘，以平滑噪声，提供较为精确的边缘方向信息。

步骤s906，形态学腐蚀：采用二值图像腐蚀操作腐蚀图像中前景色区域(即保温被未覆盖区域)的边缘，消除边界点，使边界向内部收缩，使得前景图像区域变小，从而减少保温被未覆盖区域的误检，最终得到数字图像处理结果图像。

在本实施例中还提供了一种保温被未覆盖区域检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语模块可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图10是根据本申请实施例提供的一种保温被未覆盖区域检测装置的结构框图，如图10所示，该装置包括：

获取模块1002，用于实时获取施工场地的第一俯瞰图像；

第一输入模块1004，耦合至获取模块1002，用于将所述第一俯瞰图像输入到训练完备的目标检测网络中，得到第一目标检测结果图像，其中，所述第一目标检测结果图像是在所述第一俯瞰图像上以矩形框标注保温被未覆盖区域得到的图像；

第二输入模块1006，耦合至获取模块1002，用于将所述第一俯瞰图像输入到训练完备的语义分割网络中，得到第一掩模图像，其中，所述第一掩模图像是用于划分所述第一俯瞰图像中的保温被未覆盖区域的掩模图像；

确定模块1008，分别与第一输入模块1004和第二输入模块1006耦合，用于根据所述第一目标检测结果图像和所述第一掩模图像，确定所述施工场地的保温被未覆盖区域。

在一个实施例中，确定模块1008用于：对第一目标检测结果图像中标注的保温被未覆盖区域与第一掩模图像划分的保温被未覆盖区域取并集，得到施工场地的保温被未覆盖区域。

在一个实施例中，装置还包括：第一计算模块，用于计算施工场地的保温被未覆盖区域占施工场地的保温被未覆盖率；第一判断模块，用于判断保温被未覆盖率是否大于告警阈值；告警模块，用于在判断结果为保温被未覆盖率大于告警阈值的情况下，发出告警。

在一个实施例中，装置还包括：第二计算模块，用于计算施工场地的保温被覆盖区域占施工场地的保温被覆盖率；第二判断模块，用于判断保温被覆盖率是否大于预设阈值；识别模块，用于在判断结果为保温被覆盖率大于预设阈值的情况下，通过数字图像处理算法，识别第一俯瞰图像中的保温被未覆盖区域；标准模块，用于将识别出的保温被未覆盖区域标注在第一俯瞰图像中，得到数字图像处理结果图像；第二确定模块，用于根据第一目标检测结果图像、第一掩模图像和数字图像处理结果图像，确定施工场地的保温被未覆盖区域。

在一个实施例中，第二确定模块用于：对第一目标检测结果图像中标注的保温被未覆盖区域、第一掩模图像划分的保温被未覆盖区域以及数字图像处理结果图像中标注的保温被未覆盖区域取并集，得到施工场地的保温被未覆盖区域。

在一个实施例中，装置还包括：显示模块，用于显示施工场地的保温被未覆盖区域，和/或，施工场地的保温被未覆盖率。

另外，结合图1描述的本申请实施例的保温被未覆盖区域检测方法可以由保温被未覆盖区域检测设备来实现。图11示出了本申请实施例提供的保温被未覆盖区域检测设备的硬件结构示意图。

保温被未覆盖区域检测设备可以包括处理器111以及存储有计算机程序指令的存储器112。

具体地，上述处理器111可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器112可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器112可包括硬盘驱动器(harddiskdrive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器112可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器112可在数据处理装置的内部或外部。在特定实施例中，存储器112是非易失性固态存储器。在特定实施例中，存储器112包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。

处理器111通过读取并执行存储器112中存储的计算机程序指令，以实现上述实施例中的任意一种保温被未覆盖区域检测方法。

在一个示例中，保温被未覆盖区域检测设备还可包括通信接口113和总线110。其中，如图11所示，处理器111、存储器112、通信接口113通过总线110连接并完成相互间的通信。

通信接口113，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线110包括硬件、软件或两者，将保温被未覆盖区域检测设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线110可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

该保温被未覆盖区域检测设备可以基于获取到的第一俯瞰图像，执行本发明实施例中的保温被未覆盖区域检测方法，从而实现结合图1描述的保温被未覆盖区域检测方法。

另外，结合上述实施例中的保温被未覆盖区域检测方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种保温被未覆盖区域检测方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。