背景技术：
无人驾驶运载工具(uv)，其可以包括无人驾驶飞行器(uav)、无人机、无人驾驶陆地运载工具、甚至协作机器人等，通常在其上无人的情况下进行操作。诸如飞机、直升机、有人驾驶陆地运载工具等有人驾驶运载工具通常在其上有人的情况下进行操作。运载工具(包括无人驾驶运载工具和有人驾驶运载工具)与成像系统(例如摄像机、红外(ir)传感器等)可以被一起用来捕捉感兴趣区的图像。可以关于布置在感兴趣区中的实体来对图像进行分析。
附图说明
本公开的特征通过以下附图中示出的示例来说明。在下面的附图中，相同的标号表示相同的元件，其中：
图1图示了根据本公开的示例的使用图像处理系统的状况检测的详细架构；
图2图示了根据本公开的示例的使用图1的图像处理系统的状况检测的总体执行；
图3图示了根据本公开的示例的使用图1的图像处理系统的状况检测的将数据划分为分块；
图4图示了根据本公开的示例的使用图1的图像处理系统的状况检测的三维模型生成器的数据流；
图5图示了根据本公开的示例的在三维模型生成器中使用的全球定位系统(gps)参考数据准备的过程；
图6图示了根据本公开的示例的三维模型生成器的海拔地图生成；
图7图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的实体识别器的数据流；
图8图示了根据本公开的示例的由使用图1的图像处理系统的状况检测来监测的线性基础设施实体区；
图9图示了根据本公开的示例的实体识别器的总体实现方式和执行；
图10图示了根据本公开的示例的用于实体识别器的地面分类和地面掩码生成；
图11图示了根据本公开的示例的实体识别器的地面海拔水平估计；
图12图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的训练数据准备；
图13图示了根据本公开的示例的用于实体识别器的塔检测和塔掩码生成；
图14图示了根据本公开的示例的用于实体识别器的电线检测和线路的感兴趣区域(roi)掩码生成；
图15图示了根据本公开的示例的用于实体识别器的植被检测和植被掩码生成；
图16图示了根据本公开的示例的用于实体识别器的未知对象检测和未知对象掩码生成；
图17和图18图示了根据本公开的示例的用于实体识别器的区域创建；
图19图示了根据本公开的示例的用于实体识别器的区域联合；
图20a至图20c图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的三维曲线重建器；
图21图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的风险分析器的风险分析器数据流；
图22至图24图示了根据本公开的示例的用于风险分析器的区划风险评估；
图25图示了根据本公开的示例的用于风险分析器的路权(row)中的植被检测；
图26图示了根据本公开的示例的用于风险分析器的高大树木的检测；
图27图示了根据本公开的示例的风险分析器的最小电力线安全间距确定；
图28和图29图示了根据本公开的示例的用于使用图1的图像处理系统状况检测的风险联合器的风险联合；
图30图示了根据本公开的示例的与使用图1的图像处理系统的状况检测有关的客户端用户接口的数据流；
图31图示了根据本公开的示例的客户端用户接口；
图32图示了根据本公开的示例的用于使用图像处理的状况检测的方法；
图33图示了根据本公开的示例的用于使用图像处理的状况检测的方法；以及
图34图示了根据本公开的示例的计算机系统。
具体实施方式
为了简化和说明的目的，本公开主要通过参照其示例来描述。在以下描述中，阐述了许多具体细节以便提供对本公开的透彻理解。然而，显而易见的是，本公开可以被实施而不限于这些具体细节。在其它情况下，存在一些方法和结构没有被详细描述，以免不必要地使本公开难以理解。
贯穿本公开，术语“一”和“一个”旨在表示至少一个特定元素。如本文所使用的，术语“包括”意指包括但不限于。术语“基于”意指至少部分基于。
对于广义运载工具(例如，无人驾驶飞行器、无人机、无人驾驶陆地运载工具、有人驾驶飞机、有人驾驶直升机、有人驾驶陆地运载工具、卫星等)，这种运载工具可用于执行本文所描述的使用图像处理的状况检测。随着传感器、数据分析能力和程序化机械部件的改进，运载工具可以用于各种模糊的环境中，并用于执行各种模糊的任务。例如，运载工具可以用于包裹递送、农业、应急服务、管道检查、电塔检查等。然而，将运载工具与实体监测以及使用计算机视觉和预测分析对这样的实体进行状况分析的整合是有限的。一般来说，实体可以描述为任何正在被监测的东西(例如管道、电网、铁路、高速公路、植被、树木、对象等)。在这方面，实体可以被描述为基础设施实体——这些实体的一般状况检查可以是监测的主要目标(例如，电网塔、电网电线等)，或被描述为非基础设施实体——这些实体可能会损害基础设施实体，或者阻碍基础设施实体执行其任务(例如，植被、人为对象等)。
根据一个示例，关于诸如电力系统的实体的监测和状况分析，电力系统负责生成、传输和分配能量给不同地区、家庭、工业等。对于这样的电力系统，在能量传输期间可能会发生问题。对于能量的传输，可以确定用于能量传输的电线所在的路径，路径被表示为路权(row)。row可被公用事业公司用来访问输电塔，例如用于塔和电线的日常维护，用于紧急访问，以保持电线区域不受可能干扰电线性能的植被和物体的影响，和/或识别在电线区域中存在可导致问题的障碍物的情况。术语电线区域可以用于描述包括电线和塔的区域。row可以被描述为涉及不应存在植被、建筑物或其它物体的电线区域和电线附近的区域。为了确保可靠和安全的电力供应以及row周围公共区和私人区的安全，row需要被清理以避免风险，诸如可能导致大范围断电和火灾的闪电或电弧。
关于诸如电力系统的实体的监测和状况分析的示例，现有的传输维护程序可以包括由直升机或由维修人员徒步执行的定期检查，定期检查可以被执行以便确定是否有任何所需要的维修。这种策略需要大量的维护成本和时间花费。此外，如果发生偶发性事件，诸如由雷暴引起的倒落树木，精确定位发生事故的地点是非常具有挑战性且耗时的。
本文所描述的关于诸如电力系统的实体的监测和状况分析的示例的挑战还可适用于其它行业和领域，诸如建筑物、铁路、高速公路等的监测和状况分析。
为了解决关于实体的监测和状况分析的上述挑战，本文公开了使用图像处理系统的状况检测和使用图像处理进行状况检测的方法。对于本文公开的系统和方法，诸如运载工具、计算机视觉、机器学习、模式识别等技术以及高级分析可以被整合，以评估是否存在与被监测实体有关的任何类型的风险。例如，关于电力系统，本文公开的系统和方法可以提供与row和/或电线区域有关的监测和状况分析。本文公开的系统和方法可以提供与检测到的风险有关的相关信息，例如其全球定位系统(gps)位置、大小等。基于运载工具的使用，由本文公开的系统和方法提供的监测和状况分析可以以时间和成本有效的方式、并且在人们可能不容易接近的区域中执行。
关于实体的监测和状况分析，监测和状况分析可以用于与实体的操作有关的其它应用。例如，监测和状况分析的结果可用于限定和/或最佳地使用与监测和状况分析有关的任务相关联的预算。例如，对于电力系统，监测和状况分析可用于确定row的哪些区是最危险的，并且清理这些区。对于其它应用，在受监测的实体附近飞行可用于验证与实体有关的先前任务是否被正确执行。与监测和状况分析有关的历史数据分析结果也可用于优化实体的计划性维护，并延长这些实体的生命周期。
根据示例，本文公开的系统和方法通常可以利用任务控制器在接收到工作指令时分配和管理任务。任务控制器可以保持关于工作指令状态和任务状态的信息，以及对车队、传感器和人员的了解。任务控制器可以通过将运载工具、传感器和人员分配给任务请求，标识运载工具的移动计划以及任务的目标，将工作指令转化为任务请求。一旦任务启动，本文公开的系统可以分析在任务期间接收到的通信数据(例如，遥测数据)，并且可以基于风险的检测产生告警和/或其它信息。
关于跟踪有关运载工具、传感器和运载工具操作人员的信息的任务控制器，运载工具可以按照例如类型、可用性和安装特定传感器的能力而被跟踪。任务控制器还可以按照类型、可用性以及安装在特定运载工具上的能力来跟踪传感器。运载工具操作人员还可以按照可用性和操作特定运载工具的能力而被跟踪。
任务控制器可以接收与运载工具任务有关的工作指令。根据一个示例，可以从各个企业接收工作指令，该工作指令涵盖运载工具的各种应用。任务控制器可以将工作指令转化为任务请求。任务请求可以标识例如针对运载工具的操作、完成操作的运载工具的类型、要安装在运载工具上的至少一种类型的传感器、运载工具操作人员、移动计划和/或任务目标。例如，任务请求可以指示固定翼飞行器或四轴飞行器(即，运载工具的类型)可以配备照相机以拍摄多个塔的row的图像。在启动任务之后，运载工具以自主地遵循移动计划(例如，对于无人驾驶运载工具)，或者利用来自任务控制器的不同程度下远程操作员的指导。安装在运载工具上的传感器可以将数据实时传送到任务控制器，任务控制器可以将相关数据传送到本文所公开的系统以用于进一步分析。相关数据的传送可以在运载工具降落(例如对于飞行器)之后、任务完成之后或者基于带宽可用性实时地进行。
尽管已经关于电力系统(例如，塔和电线的监测和状况分析)描述了本文公开的系统和方法的示例，但是本文公开的系统和方法可以用于各种环境中并且用于各种用途。例如，本文公开的系统和方法可用于监测石油和天然气工业中的管道。在石油和天然气工业中，本文公开的系统和方法可用于其它场景，包括其它类型的勘探(例如，现场勘察、现场钻探等)，开发(例如，垫放置、设施粉刷、基本工程项目、监控等)，生产(例如，火炬/通风口检查、油光泽检测、防灾等)，制造业(例如，沟槽/烟囱检查、罐体/气体检查、气体检测等)和运输(例如，row监测、防盗监测等)。
本文公开的系统和方法可用于包裹递送(例如，食物、药品、设备等)，空中监控(例如，警察/消防部门、制图、摄影、电影、新闻、房地产等)，勘探(如探雷、现场勘察等)，研究(例如，野生动物、大气、海洋等)，遥感(例如，电信、天气、海事、建筑等)，救灾(例如，幸存者、探索受污染地区等)，环境(例如，森林火灾、威胁等)和农业(例如，喷洒杀虫剂、作物生长、病害、灌溉水平、野生动物等)。
本文公开的系统和方法可用于调度预测性维护以提供资产检查、诊断、修理和维护工作。此外，本文公开的系统和方法可以用于例如标识和调度环境(例如，地形、植被等)管理。本文公开的系统和方法还可以提供与本文描述的各种活动相关的安全性和环境保护方面的增强。例如，关于电力系统，本文公开的系统和方法可用于以有效和经济的方式保护资产免遭破坏和恐怖行动。
本文公开的系统和方法可用于分析来自运载工具的数据，以确定可在工作流程中电子地和机械地自动化运行的任务，并标识可从数据中获取的见解。这些见解可用于驱动运营决策，例如缩短问题检测的交付时间，或者例如在电力系统行业对塔和电线的预测性维护。本文公开的系统和方法可以提供对危险环境中的减少的暴露，在使用图像处理进行状况检测方面提高效率和有效性，并且优化操作。
通常，可以在广泛的应用中设想本文公开的系统和方法，其中可以使用基于自动或自动化评估的数据分析来降低成本，提高可靠性并提高生产率。
本文公开的系统和方法可以考虑与运载工具技术状态、法规和合规性、准备情况以及安全和隐私有关的各个方面。关于运载工具技术，本文公开的系统和方法可以提供用于使用图像处理进行状况检测的硬件和软件的平台和设置。
使用本文公开的使用图像处理系统的状况检测和使用图像处理的状况检测的方法针对例如涉及利用图像处理进行状况检测的技术问题提供了技术解决方案。本文公开的系统和方法提供了三维模型生成器的技术解决方案，以接收在运载工具沿运载工具路径移动期间由运载工具捕获的图像，以及与运载工具沿运载工具路径移动有关的遥测数据。遥测数据可以包括与运载工具沿运载工具路径的移动相关的移动日志信息以及与沿运载工具路径的多个地面控制点(gcp)有关的地理参照数据。三维模型生成器可以基于遥测数据和图像生成沿运载工具路径的实体的三维(或2.5维)模型。2.5维模型可以表示降低的三维(x，y，z)模型表示，并且包括与表面有关的信息，为此对于(x，y)平面中的每个点存在一个“深度”或“高度”。对于三维模型，每个点(x，y)可以包括多于一个“深度”或“高度”(z)，以使得悬垂元素是可能的。三维模型生成器可以使用三维(或2.5维)模型来生成与初始图像有关的、包括运载工具路径的正射影像地图、海拔地图(即图像海拔地图，其中每个图像海拔地图表示针对图像的海拔地图)，以及图像gps对准数据(即用于将局部图像坐标和对应海拔转变为gps坐标的数据，以及用于将gps坐标和海拔转变为局部图像坐标的数据)。对于其它类型的坐标系统，对准数据通常可以被称为世界坐标对准数据。实体识别器可以接收图像、针对图像的对应海拔地图、图像gps对准数据、遥测数据以及近似的基础设施gps定位数据。实体识别器可以基于图像、针对图像的对应海拔地图、图像gps对准数据、遥测数据以及近似的基础设施gps定位数据，来检测图像中的实体，并且基于图像gps对准数据来检测实体的位置。此外，实体识别器可联合在不同图像中检测到的相同基础设施实体的位置，以确定相同基础设施实体的联合位置。联合位置可以表示针对实体的单个确定的位置，实体在不同图像中可以包括不同位置。实体识别器可以基于针对相同基础设施实体的联合位置来限定区域(即，用于后续分析的区域)，并且确定区域实体掩码、区域海拔地图和区域gps对准数据(用于将本地区域坐标转变为gps坐标和相反转变的数据)。掩码可以被描述为与初始图像具有相同尺寸的矩阵，其中矩阵的每个元素指示对应像素的分类结果。例如，对于包括基础设施和非基础设施实体的给定图像，基础设施实体掩码可以包括值为“1”的元素，用于显示检测到的基础设施实体的部分的像素，以及用于背景像素(用于所有其它像素)的值为“0”的元素，并且非基础设施实体掩码可以包括值为“1”的元素，用于显示检测到的非基础设施实体的部分的像素，以及用于背景像素(用于所有其它像素)的值为“0”的元素。此外，相同图像的地面掩码可以包括具有用于地面像素的值为“1”的元素和用于非地面像素的值为“0”的元素。三维曲线重建器可以接收预定类型的实体(例如，电线)的图像掩码(由实体识别器生成)，以重建预定类型的实体的三维(或2.5维)模型，并且生成预定类型的实体的参数化表示。风险分析器可以使用区域实体掩码、区域海拔地图、区域gps对准数据、预定类型的实体的参数化表示、以及基础设施规则，通过确定是否违反基础设施规则来检测与实体有关的风险。风险分析器可以生成风险掩码(即针对区域坐标系中风险实体区域的掩码)。风险联合器可以使用风险掩码和区域gps对准数据，将位于同一gps位置的不同区域中相同类型的风险进行合并，例如针对不同类型的风险产生风险和参数列表。
使用图像处理系统的状况检测
图1图示了根据本公开的示例的使用图像处理系统100进行状况检测的详细架构。使用图像处理系统100的状况检测可以包括由至少一个硬件处理器(例如，图34的至少一个硬件处理器3402)执行的三维模型生成器102，以接收在运载工具106沿运载工具路径108的移动期间所捕获的图像104，以及与运载工具106沿要监测的运载工具路径108的移动有关的遥测数据110。遥测数据110可以包括例如与运载工具106沿运载工具路径108的移动有关的移动日志信息(例如，用于飞行器的飞行日志信息，并且一般地，用于基于地面或其它类型的运载工具的移动日志信息)，以及与沿运载工具路径108的多个gcp有关的地理参照数据。遥测数据110可以从任务控制器112接收，和/或在地理参照数据的情况下，从设置用户界面114接收。任务控制器112可以是系统100的部件，或者如图1所示分开布置和/或操作。
系统100的用户可以利用设置用户界面114的设置界面显示来限定要在三维模型生成器102中使用的地理参照点，以获得更高的地理参照准确性，并且调整要由系统100的各个部件使用的参数。与地理参照点的限定相关的数据和系统100的各个部件要使用的参数的调整可以由系统100接收作为支持数据116。
运载工具106可以包括通常被指定为运载工具控制器118的各种控制器，诸如自动驾驶仪控制(例如，如果运载工具106是飞行器)、远程接收器控制等，以及通常被指定为运载工具传感器120的各种传感器(诸如飞行器传感器、温度传感器等)和各种成像系统(诸如照相机或摄像机、ir传感器等)。
三维模型生成器102可以接收由运载工具106捕获的图像104，并且基于遥测数据110、图像104和附加信息(例如，与运载工具106有关的配置信息等)来生成地理参照的三维(或2.5维)模型，该模型包括运载工具路径108和沿运载工具路径108的实体122。地理参照的三维模型可用于进一步生成包括运载工具路径108的正射影像地图、海拔地图(即，表示针对多个图像104的海拔地图的图像海拔地图)，以及与初始图像104有关的图像gps对准数据(即，用于将局部图像坐标和相应海拔转变为gps坐标的数据，以及用于将gps坐标和海拔转变为局部图像坐标的数据)。
实体识别器124可以接收图像104、针对图像104的对应海拔地图、图像gps对准数据、遥测数据110和近似的基础设施gps位置数据(即，与运载工具路径108以及沿运载工具路径108的基础设施实体有关的预定信息)。近似的基础设施gps位置数据通常可以被包括在支持数据116中，支持数据116可以包括例如实体地图、训练数据、配置信息等。
实体识别器124的实体检测器126可以基于图像104、针对图像104的对应海拔地图、图像gps对准数据、遥测数据110和近似的基础设施gps位置数据来检测图像104中的实体以及基于图像gps对准数据来检测实体的位置(例如，gps位置)。此外，实体检测器126可以基于图像104、针对图像104的对应海拔地图、图像gps对准数据、遥测数据110和近似的基础设施gps位置数据来生成与图像104有关的图像掩码。
实体识别器124的实体区域联合器128可联合在不同图像104中检测到的相同基础设施实体的位置，以确定相同基础设施实体的联合位置。实体区域联合器128可以基于针对相同基础设施实体的联合位置来限定区域(即，用于后续分析的区域)，并且确定区域实体掩码、区域海拔地图和区域gps对准数据(用于将本地区域坐标转变为gps坐标和相反转变的数据)。
三维曲线重建器130可以接收预定类型的实体(例如电线)的图像掩码以及图像gps对准数据以重建预定类型的实体的三维(或2.5维)模型，并且生成预定类型的实体的参数化表示。基于由图像平面中检测到的实体的位置和运载工具106的相应照相机的位置所确定的表面的交线，或由沿运载工具路径108的不同位置处用于捕获图像104的运载工具106的照相机所确定的表面的交线，参数化表示可以从在不同图像中标识的相同直线或曲线的图像坐标中导出。
风险分析器132可以使用区域实体掩码、区域海拔地图、区域gps对准数据、预定类型的实体的参数化表示以及基础设施规则(例如，来自客户端系统134)，通过确定是否违反基础设施规则来检测与实体有关的风险。风险分析器可以生成风险掩码(即针对区域坐标系中风险实体区域的掩码)。风险分析器132可以利用与由系统100执行和/或来自客户端系统134的其它系统执行的先前的监测和状况分析任务有关的先前数据136，以及例如来自系统100和/或其它系统的用户的反馈138来确定与实体有关的检测到的风险是否被正确识别。反馈138可以从客户端用户接口140接收。
风险联合器142可以使用风险掩码和区域gps对准数据，将位于同一gps位置的不同区域中相同类型的风险进行合并，例如针对不同类型的风险产生风险和参数列表。
系统100的用户可利用客户端用户接口140的客户端用户接口显示来查看不同类型的风险列表、正射影像地图以及实体122的制图表示并与之交互，在数据传送到客户端用户接口的期间可将它们从风险掩码导出。不同类型的风险列表、正射影像地图以及实体的制图表示可以作为基础设施状况数据144的一部分转发到客户端用户接口140。
使用图像处理系统100的状况检测-总体执行
图2图示了根据本公开的示例的用于系统100的总体执行。
参考图2，关于系统100的总体执行，在框200处，可以从运载工具传感器120收集数据，在框202处，可以从客户端系统134收集数据，并且在框204处，可以收集由用户准备的支持数据(例如，包括gps参考数据的支持数据116)。
来自框200、202和204的数据可以在框206处基于基础设施实体地图被划分为分块，使得每个分块以被标记成分块划分点的基础设施实体开始和结束。
对于每个分块，在框208处，可以执行三维模型生成器102以生成地理参考的三维模型。地理参考的三维模型可以包括运载工具路径108的三维细节和生成正射影像地图所需要的实体122。三维模型生成器102可以对每个分块进行处理以对准图像104，并且基于该对准来生成三维模型，导出正射影像地图，并且输出图像海拔地图和图像gps对准数据。
在框210处，可以执行实体识别器124(即，实体识别器124的实体检测器126)来检测图像104中的实体，并且基于图像gps对准数据来检测实体的位置(例如，gps位置)。而且，在框210处，可以执行实体识别器124以生成与图像104相关的图像掩码。此外，在框210处，实体识别器124的实体区域联合器128可以联合在不同图像104中检测到的相同基础设施实体的位置，以确定用于相同基础设施实体的联合位置，建立联合位置周围的区域，并建立联合区域实体掩码。
在框212处，对于每个区域，可以执行三维曲线重建器130以生成预定类型的实体的参数化表示。
在框214处，风险分析器132可以使用区域实体掩码、区域海拔地图、区域gps对准数据、实体的预定类型的参数化表示以及基础结构规则(例如，来自客户端系统134)，通过确定是否违反基础设施规则来检测与实体有关的风险。
在框216处，风险联合器142可以使用来自所有块的风险掩码和区域gps对准数据，来合并位于相同gps位置中的不同区域中的相同类型的风险，例如以产生针对例如被监测的整个区域的不同类型风险的风险和参数的列表。
在框218处，来自框200-216的分析的结果可以被转移到客户端用户界面140。
使用图像处理系统100的状况检测-将数据分成分块
图3图示了根据本公开的示例的将数据划分成用于系统100的分块。
在线性基础设施实体的监测的示例中，系统100可以基于近似的基础设施gps位置数据和遥测数据(诸如运载工具飞行日志)，将运载工具106的飞行区域划分为分块。对于塔的空中监测的示例，近似的基础设施gps位置数据(例如，参见图7)可以被表示为塔列表，其具有塔标识(id)、塔设计类型(例如，用于单回路三相输电力线路的高压等)、塔的估计gps(例如，经度和纬度)、针对每个塔的塔估计海拔以及电力线路区段的列表，该列表具有两端塔的id和每段的每段中电力线的数目。运载工具飞行日志可以包括例如由运载工具106获取的图像104的每个图像的名称、时间戳、gps(例如，经度和纬度)、海拔和相机定向(例如俯仰、滚转和航向)。运载工具飞行日志可以由与运载工具106的任务控制器112相关联的飞行操作员生成。基于运载工具飞行日志，系统100可以定位在基础设施的转折点附近(例如，用于监测电力线的塔，或用于监测输油管线的油管转折点)附近捕获的图像，或者在一对连续的基础设施转折点之间的线路区段附近。系统100可以将图像划分为分块，以使得每个分块以被标记为分块划分点或作为监测基础设施的端点的单个基础设施实体点开始和结束。例如，参考图3，分块划分点被图示为在300处的基础设施实体转折点。远离基础设施转折点或远离一对连续基础设施转折点之间的线路区段的图像104可能被丢弃，因为这些图像不包括被监测区域。
三维模型生成器102-数据流
图4图示了根据本公开的示例的系统100的三维模型生成器102的数据流。
参考图1和图4，如本文所述，三维模型生成器102可以接收输入，该输入包括图像104、包括飞行日志的遥测数据110以及gps参考数据402。可以从地理参考显示器404接收gps参考数据402。图像104可以表示例如在运载工具106的飞行期间由运载工具106拍摄的原始图像。图像104的格式可以包括例如.jpg和其它似格式。gps参考数据402可以包括例如每个gcp的gps、海拔、图像名称和像素位置。gps参考数据402的格式可以包括例如.xml和其它类似格式。
三维模型生成器102的各个方面可以例如通过使用三维重建工具的自动化和/或通过使用c++等来实施。三维模型生成器102可以为各分块中的每个分块生成地理参考的三维模型，其中地理参考的三维模型可以用于获得如本文所述的用于系统100的其它部件的所需的输出数据。
关于分块，可以处理每个分块以加载图像104和遥测数据110，对准图像104并添加gcp。基于图像及其对准，还可以处理每个分块以生成三维模型。对于每个分块，可以使用三维模型生成正射影像地图和海拔地图。
参照图1和图4，如本文所述，三维模型生成器102的输出可以包括正射影像地图406、图像gps对准数据408和图像海拔地图410。
可以针对各分块中的每个分块生成正射影像地图406，以用于相关区和实体、风险等的视觉表示。
图像gps对准数据408可以针对每个图像104生成，并且包括gps到像素投影和像素到gps投影的所需的矩阵和系数。根据示例，图像gps对准数据408可以包括fx(以像素为单位的水平相机焦距)、fy(以像素为单位的垂直相机焦距)、cx(以像素为单位的调整后的水平中心点)、cy(以像素为单位的调整后的垂直中心点)以及径向失真校正系数k1、k2、k3、k4、k5、k6、p1和p2，该径向失真校正系数在其它的坐标转变之后可以在如下等式中使用：
r2＝x2+y2等式(1)
对于等式(1)，x'和y'可以代表图像坐标系中的校正的坐标，并且x和y可以代表图像坐标系中的初始坐标。gps图像对准数据408可以包括例如在一个4×4的旋转-平移-比例矩阵c中表示的相机坐标到本地三维模型坐标变换的值。图像gps对准数据408可以包括例如在另一个4×4的旋转-平移-比例矩阵l中表示的本地三维模型坐标到以地心为中心的地球固定(ecef)的坐标的变换的值。当图像由运载工具106的相机拍摄时，图像gps对准数据408可以包括用于运载工具106相机的ecef位置的x0、y0和z0值。这些值可以用于随后的分析中，以将gps坐标(纬度，经度)和海拔(在1984世界大地坐标系(wgs84)中高于海平面的海拔)转变到像素坐标(x，y)，并将像素坐标(x，y)和相应像素的海拔转变到gps坐标(纬度，经度)。为了获得gps位置(纬度，经度)和海拔的像素坐标，可以使用下面的一组等式：
b＝a*(1-f)等式(2)
对于等式(2)，a可以表示gps地球参考椭球的半长轴，1/f可以表示gps地球参考椭球的扁率的倒数，并且b可以表示gps地球参考椭球的半短轴。
e2＝1-b2/a2等式(3)
对于等式(3)，e2可以表示gps地球参考椭球的第一偏心率平方。
对于等式(4)，
xe＝(n(φ)+h)*cosφ*cosλ等式(5)
ye＝(n(φ)+h)*cosφ*sinλ等式(6)
ze＝(n(φ)*(1-e2)+h)*sinφ等式(7)
对于等式(5)-(7)，λ可以表示以弧度为单位的经度，h可以表示海拔。然后可以按如下方式导出针对于相机固定的在坐标系中的坐标xc、yc和zc：
然后可以如下导出图像坐标x和y：
x＝fx*xc/zc+cx等式(9)
y＝fy*yc/zc+cy等式(10)
为了从像素坐标x、y和相应的像素海拔h获得gps坐标，可以确定具有增加的海拔值的地球参考椭球与图像平面中的连接相机位置和像素的线之间的交点。为了在ecef坐标系中确定这条线的等式，可以确定与相机位置不同的线上的随机点。然后，坐标系中针对于相机固定的随机点坐标xc、yc和zc，可以如下导出：
为了进一步获得ecef坐标xe、ye和ze，可以应用如下等式：
线方向矢量v＝[vx,vy,vz]可以通过随机点坐标矢量[xe,ye,ze]和相机点坐标矢量[x0,y0,z0]的减法来取得。然后，具有增加海拔的地球参考椭球可以包括如下确定的半长轴ah和半短轴bh：
ah＝a+h等式(13)
bh＝b+h等式(14)
为了确定像素内容在现实世界ecef坐标中位于其上的线与具有增加海拔的地球参考椭球之间的交点，可以解出以下等式：
at*t2+bt*t+ct＝0等式(15)
对于等式(15)，t可以表示用于确定交点的期望的方向矢量系数，并且等式系数at、bt和ct可以按如下方式确定：
at＝bh2*(vx2+vy2)+ah2*vz2等式(16)
bt＝2*(bh2*(vx*x0+vy*y0)+ah2*vz*z0)等式(17)
ct＝bh2*(x02+y02)+ah2*z02-ah2*bh2等式(18)
为了确定t的值，等式(15)的判别式d可以确定如下：
d＝bh2-4*ah*ch等式(19)
在判别式大于或等于零的情况下，t的两种可能值(t1,t2)可以确定如下：
所得的交点坐标是最接近相机的那个，并且因此具有较小绝对值的t(如果|t1|<＝|t2|则为t1，并且如果|t2|<|t1|则为t2)可以被考虑以按以下方式确定在ecef坐标系中的所需点[x1,y1,z1]：
得到的纬度
对于等式(23)，ep2可以表示第二偏心率平方，并且th可以表示辅助值：
ep2＝a2/b2-1等式(24)
可以针对图像104的每个图像生成图像海拔地图410。根据示例，对于图像海拔地图410，每个32位像素值可以表示图像104的原始图像的对应像素位置的海平面海拔。
正射影像地图406和图像gps对准数据408可以被转发到客户端用户界面140，图像gps对准数据408可以被转发到三维曲线重建器130，并且图像gps对准数据408和图像海拔地图410可以被转发给实体识别器124。
三维模型生成器102-图像的对准
三维模型生成器102可以对准图像104以确定在局部三维模型坐标系中其对应相机(例如，用于拍摄初始图像104的真实相机的虚拟模型)的位置和校准参数。在这个阶段，三维模型生成器102可以搜索每个图像中的关注点。三维模型生成器102可以匹配来自不同图像的所定位的关注点，以确定来自不同图像的哪些关注点表示现实世界表面中的相同点。对于具有足够数量的匹配点的每一对图像，可以确定基本矩阵(例如，与相应像素相关的3×3矩阵)。基于该基本矩阵，可以例如基于运动技术的结构(sfm)确定三维模型空间中的图像的相机、图像的平面和感兴趣点的坐标。对于sfm，在增量式sfm中，可以逐个解析相机姿势，并逐一添加到集合中。在全局sfm中，可以同时解析所有相机的相机姿势。中间方法可以包括核心外sfm，其中可以确定若干部分重建，然后将其整合到全局解决方案中。如果计算的从相机到相应图像平面的中心的射线包括与可能的现实世界表面的垂直方向相比有大的偏差，那么这些图像可以被滤掉或被重新对准。
局部三维模型坐标系与地心坐标系的关系可以通过在从遥测数据110获取每个图像104时施加相机的gps位置的信息来确定，并且在距离上最小化所得误差。
三维模型生成器102-gps参考/地理参考
通过引入包括地理参考点列表的gps参考数据，可以改善局部三维模型坐标系与地心坐标系之间的关系的准确度。每个地理参考点可以包括现实世界坐标系中单个点的位置(即，gps数据(例如，纬度和经度)和海拔)以及一个或多个图像中的对应位置(即图像名称，在图像坐标系中的x和y坐标)。通过使用相关设备或基于准确的地理参考卫星图像，可以在现实世界的位置上获得准确的现实世界坐标。图5图示了根据本公开的示例的利用卫星数据而准备在三维模型生成器102中所使用的gps参考数据的示例。
参考图1和图5，关于gps参考和地理参考的显示器可以包括显示卫星地图的地图查看器500以及显示当前选择的图像的图像查看器502。来自地图查看器500的地图显示的gcp可以显示在图像查看器502处显示的图像中，并且可以显示在504处的gcp列表中。例如，通过使用图像选择工具506，可以在图像查看器502处显示不同的图像。在504处的gcp列表可以包括所有新增的和现有的gcp。例如通过双击参考图像id(例如图5中示例的“img_1200”)来激活参考图像，在地图查看器500和图像查看器502中所有字段可以是可编辑的。
关于地图查看器500和/或图像查看器502，可以新增新的gcp，和/或可以在任何像素位置通过单击来改变现有gcp的参考像素位置。因此，在图像上的单击可以创建新的gcp，并且在504处将新的gcp添加到gcp列表的末尾。
关于地图查看器500，在活动图像(即在图像查看器502处显示的图像)改变时，如果从三维模型生成器102提供了该图像的gps对准数据，可以基于飞行日志来将卫星地图(即可用在线卫星地图)显示成该卫星地图的中心点更新到活动图像。例如，当前新增的和/或现有的gcp标记可以作为地图上的彩色标记被示出，并且可以通过拖动gcp标记来改变参考gps位置。
关于在504处修改gcp列表中的gcp，可以根据需要编辑所有字段，并且对参考位置的改变可以在图像查看器502和地图查看器500处的活动图像中相应地反映出来。可以通过选择图像上的新位置来改变参考像素位置，或者可以通过在图像查看器502的活动图像上拖动gcp标记来改变参考gps位置。
关于移除gcp，考虑到在504处的gcp的列表，可以例如通过选择对应的x标记来移除任何现有的gcp。
三维模型生成器102-三维模型重建
三维模型生成器102可以利用初始图像104和对应的图像对准数据来构建密集点云。密集点云可以被描述为局部三维模型坐标系中的一组点，密集点云具有大量这样的点。密集点云中的每个点可以表示现实世界表面中的点，并由几个相互对准的图像中的类似像素进行重建。远离其相邻点的点可以被视为异常值，并在未来的分析中被丢弃。
三维模型生成器102可以利用密集云来建立三维网格。网格可以被描述为定义多面体对象的形状的顶点、边和面的集合。三维模型生成器102可以从密集云中选择相邻点以成为网格的顶点并形成边和面。顶点的位置可以被改变以平滑所得到的形状。具有相机的位置和校准参数的网格可以形成所要求的监测区的三维模型。
三维模型生成器102-正射影像地图的生成
如本文所述，三维模型生成器102可以接收由运载工具106捕获的图像104，并基于遥测数据110、图像104和附加信息(例如，与运载工具106相关的配置信息等)生成地理参考三维(或2.5维)模型，该模型包括沿着运载工具路径108的运载工具路径108和实体122。地理参考的三维模型可用于基于三维网格、图像104和图像gps对准数据来进一步生成正射影像地图406。对于网格中的每个面，可以确定(来自图像104的)可以看到的面的图像，并且可以将面投影到这些图像的平面上。使用投影，可以针对每个面确定纹理(例如，颜色信息)。对于正射影像地图的生成，纹理信息丰富的整个网格可以被投影到虚拟的平滑地球表面上，并以能够以存储gps参考信息的标准格式保存，例如googlekmz或地理参考的tiff格式。
三维模型生成器102-海拔地图的生成
图6图示了根据本公开的示例的用于三维模型生成器102的海拔地图的生成。
参照图1和图6，三维模型生成器102可以生成海拔地图。关于海拔地图的生成，可以将深度地图描述为图像表示，其中在600处的图像点(x0，y0)的每个像素值是从相机位置604到在602处的与(x0，y0)相应的三维表面点的距离。在这种情况下，可以例如生成以32位tif格式的深度地图，并且可以在该应用的本地三维坐标系内指定距离值。在转换之前，如果比例因子作为输入参数提供，那么可以将深度地图缩放到用于空间转换的较小尺寸。
关于海拔地图的生成，海拔地图可以包括图像表示，其中在600处的图像点(x0，y0)的每个像素值是在1984世界大地坐标系(wgs84)中海平面以上的海拔。三维模型生成器102可以使用给定深度地图和图像gps对准数据，并且针对给定深度地图中的每个像素点应用转换。转换可以包括将深度地图中在600处的图像点(x0，y0)转换到在602处的与(x0，y0)相应的三维表面点，将在本地三维坐标系中在602处的与(x0，y0)相应的三维表面点转换到地心ecef点，并将该地心ecef点转换到wgs84点。来自所确定的wgs84点的海拔值可以存储在每个像素的最终海拔地图中。
实体识别器124-数据流
图7图示了根据本公开的示例的用于系统100的实体识别器124的数据流。
参照图7，关于与实体识别器124相关的数据流，实体识别器124可以分析图像104、遥测数据110、近似基础设施gps位置数据716、图像gps对准数据408以及图像海拔地图410，来生成用于图像104的每个图像的图像估计地面海拔水平700、精确基础设施gps位置数据702、图像电力线掩码704、区域gps对准数据706、区域实体掩码708、区域地面掩码710、区域海拔地图712和区域空间分辨率714。图像估计地面海拔水平700的图像可以被转发到客户端用户界面140。精确的基础设施gps位置数据702和区域空间分辨率714可以被转发给风险联合器142。基础设施gps位置数据702、图像电力线掩码704和区域gps对准数据706可以被转发到三维曲线重建器130。此外，区域gps对准数据706、区域实体掩码708、区域地面掩码710、区域海拔地图712和区域空间分辨率714可以被转发到风险分析器132。
例如，图像估计地面海拔水平700可以包括，包括(从海平面)海拔矢量的单行文本，其中第1个值是整个图像的地面海拔水平，第2个值到第5个值是对每四分之一个图像确定的地面海拔水平，而第6个值是对中心四分之一个图像确定的地面海拔水平。
基础设施gps位置数据702可以包括用于基础设施实体(例如，电网塔等)的精确基础设施gps位置数据。
图像电力线掩码704可以表示用于预定类型实体(例如电力线)的掩码。例如，三维曲线重建器130可以使用电力线掩码来重建电力线的三维(或2.5维)模型，并且生成这些模型的参数化表示。
可以为各区域中的每个区域生成区域地面掩码710。根据示例，对于区域地面掩码710，每个像素值可以指示该区域的对应像素位置是否被分类为地面点(例如，0＝地面，255＝非地面)。
区域空间分辨率714可以表示区域的空间分辨率(厘米每像素)。
使用图像处理系统100的条件检测–监测线性基础设施实体区域
图8图示了根据本公开的示例的由系统100监测的线性基础设施实体区域800。
参考图8，监测线性基础设施实体区域800可以包括表示包围电力线的区域的电力线区域802。清洁的row(清洁的路权)804可以表示沿线性基础设施实体的、实际上已经清除植被和/或人为对象的区域。row(路权)806可以表示沿着线性基础设施实体的、应当根据客户的工业标准清除植被和/或物体的区。roi(感兴趣区域)808可以表示由系统100分析的区域。roi808可以设置为比row806宽，例如，当树的海拔大于到电力线的距离时可能是危险的。
实体识别器124–总体实现和执行
图9图示了根据本公开的示例的用于实体识别器124的总体实现和执行。
参考图1、图7和图9，实体识别器124可以接收包括图像104、遥测数据110、近似基础设施gps位置数据716、图像gps对准数据408和图像海拔地图410的输入。
对于每个图像104，实体识别器124可以实施地面分类900以将图像的每个点分类为地面或非地面。此外，对于每个图像104，对于每个基础设施实体类型902，实体识别器124的实体检测器126可以在904处执行基础设施实体检测(例如，针对塔、电力线等)。
在906处，实体区域联合器128可以联合来自包括在当前区域中的若干相邻(根据gps坐标)图像的检测结果，并保存基础设施实体位置。
对于图像104中的每一个，对于每个非基础设施实体类型908，实体识别器124的实体检测器126可以在910处执行非基础设施实体检测(例如，针对植被、人为对象等)。
实体识别器124的实体区域联合器128可以在912处执行图像到区域的联合，以联合区域中图像识别结果。
如本文参考图7所描述的，实体识别器124可以输出图像估计地面海拔水平700、基础设施gps位置数据702、图像电力线掩码704、区域gps对准数据706、区域实体掩码708、区域地面掩码710、区域海拔地图712和区域空间分辨率714。
实体识别器124的各个方面可以例如通过使用c++来实现并且其被实现为来自用于每个块的主python脚本的可执行程序。对于每个图像104，实体区域联合器128可以联合并保存基础设施实体位置。对于塔的空中监测的示例而言，对于每个图像104，实体区域联合器128可以联合并保存塔的位置。实体识别器124可以将图像104分组成区域，其中每个区域以基础设施实体(例如，塔)开始和结束。一旦区域被识别，那么实体识别器124可以检测图像上的非基础设施实体、联合每个区域内部的图像的识别结果、并且将联合的检测结果存储到每个区域的掩码中。对于塔的空中监测的示例，由实体识别器124生成的输出图像识别掩码中的类的示例可以包括感兴趣区域(roi)、塔、电力线、植被、物体和地面。实体识别器124可将图像特定数据转换(例如，映射)到区域特定数据(即，海拔地图和对准数据)。图像掩码可以被联合到区域掩码以生成特定于实体识别器124的输出。
可以为每个区域生成区域实体掩码708。对于塔的空中监测的示例，区域掩码的大小可能取决于区域两侧的塔之间的距离以及该区域内部塔的数量。例如，对于线性基础设施对象的空中监测的示例，例如，对于能源工业而言，根据一个示例，每个分类结果可以被分配给每个8位像素值中的一个比特，如下：
不确定区域＝0(二进制00000000)
地面＝2(00000010)
线区域＝4(00000100)
感兴趣区域＝8(00001000)
人为对象＝16(00010000)
植被＝32(00100000)
塔＝64(01000000)
电力线本身＝128(10000000)
区域海拔地图712可以包括与由三维模型生成器102生成的图像海拔地图410类似的格式。区域海拔地图712可以针对每个区域生成，而不是与由三维模型生成器102生成的图像海拔地图410相比较的针对每个图像。对于区域海拔地图712，每个区域的数据可以以每区域中的逻辑方式被联合。对于塔的空中监测的示例，区域海拔地图712的大小可以取决于当前区域的大小。
对于塔的空中监测的示例，对于每个检测到的塔，由实体识别器124生成的输出报告还可以包括塔的id、塔的类型和塔的联合位置(例如，gps(经度和纬度)和海拔)。输出报告还可以包括塔倾斜角度和电力线旋转角度。
图像识别掩码可以包括与区域掩码相同的格式，但是图像识别掩码可以针对图像104中的每个图像来实现。可以为每个区域生成清洁的路权掩码，并且每个非零像素值可以表示在路权中被清除的植被点。
对于塔的空中监测的示例，实体识别器124可以使用关于用于塔检测的近似基础设施实体位置的预定信息。机器学习技术，例如完全监督的学习框架(分类器，诸如神经网络、卷积神经网络、随机森林、支持向量机技术、提升技术、k最近的邻居算法等)，可以用于为了实体检测的图像识别。不同的机器学习技术可以用于不同类型的实体。对于塔的空中监测的示例，根据本公开的示例，可以针对在相应文件中的每个分类器(或其它机器学习技术)来定义分类器1304的参数(或其它机器学习技术的参数)。为了便于实体的识别，可以使用预定义的信息(例如，来自之前监测的基础设施实体的位置、结果和数据等)例如以缩小搜索区域。对于图像104的每一个，如果其最近的基础设施实体被定位，那么可以加载相应的图像并且可以在实体检测之前执行阴影去除。对于每个图像104，为了检测图像内的实体，基于估计的实体gps位置的期望像素投影可以在图像内识别出相对较小的实体搜索区域，并且实体识别器124可以尝试检测这个搜索区域内的一个实体。对于每个图像104，如果实体未被定位，那么可以扩大搜索区域(例如，扩大到原始搜索区域的大小的两倍)以尝试定位实体。如果实体被定位，那么实体位置的结果可以被存储以用于进一步的联合。
实体识别器124可以基于基础设施实体检测结果(例如，塔检测结果)来生成区域(例如，通过将图像104分组成区域)。识别可以仅适用于包括线性基础设施实体的区域，而其它所有区域都可以被过滤。对于每个区域，实体识别器124可以识别哪些图像104属于相应的区域。
对于线性能源基础设施物体的空中监测的示例，关于区域实体掩码708的生成，对于每个属于一个区域的图像，实体识别器124可以检测电力线、保存电力线图像掩码并且将电力线掩码绘制到区域实体掩码708中适当的一个。
对于线性能源基础设施物体的空中监测的示例，关于区域实体掩码708的生成，对于每个属于一个区域的图像，实体识别器124可以检测人为对象和树木(例如，植被)，并且将检测到的物体和树木绘制到区域实体掩码708中适当的一个。
实体识别器124可以将(图像海拔地图410的)一个图像海拔地图进行映射并将其添加到(区域海拔地图712的)一个区域海拔地图。
在处理了属于一个区域的所有图像104之后，实体识别器124可以在912处执行图像到区域的联合。关于将所有图像掩码添加到区域掩码的过程，对于任何的冲突(例如，已经同时检测到植被和物品的像素)，可以使用区域掩码的联合来决定每个区域掩码的最终值(类型)。最终值的决定可以基于例如几个图像结果的加权平均。
关于区域掩码的生成，实体识别器124可以保存区域实体掩码708和区域海拔地图712。
实体识别器124可以基于环境变化(诸如与冬季与夏季条件相关的变化)使用不同的功能以用于实体检测。不同的技术可以用于不同的条件。例如，在冬季，可以使用冬季特定的功能，否则可以使用夏季特定的功能。
实体识别器124可以在识别之前执行预处理(例如，对各图像104中的每一个抑制阴影、进行光校正等)。
实体识别器124-地面分类和地面掩码的生成
图10图示了根据本公开的示例的用于实体识别器124的地面分类和地面掩码的生成。
参考图10，关于地面分类和地面掩码的生成(例如，对于区域地面掩码710)，实体识别器124可以接收(图像海拔地图410的)图像海拔地图1000，并且在框1002处，实体识别器124可以估计图像海拔地图1000的地面海拔水平。例如，地面分类可以通过以下技术来实现。在框1004处，实体识别器124可以标记高于地面海拔水平的区域。在框1006处，实体识别器124可以标记不具有海拔信息的区域。在框1008处，实体识别器124可以标记海拔图像的高正导数与负导数之间的区域，其可以表示图像中可能存在的高的物体。在框1010处，实体识别器124可以从掩码中排除标记区域，覆盖整个图像的并且生成图像地面掩码1012。因此，被标记的区域可以被认为是非地面的，并且未被标记的区可以被认为是地面的。
实体识别器124-地面海拔水平的估计
图11图示了根据本公开的示例的用于实体识别器124的地面海拔水平的估计。
参考图11，关于地面海拔水平的估计(例如，对于图像估计地面海拔水平700)，实体识别器124可以接收(图像海拔地图410的)图像海拔地图1000。在框1100处，图像海拔地图1000可以被划分为例如六个块：整个海拔地图，四个四分之一海拔地图，以及中心四分之一海拔地图。在框1102处，对于海拔地图的每个框，在框1104处，实体识别器124可以确定每个块1-6的地面海拔水平(例如，如1106处所示)。在框1108处，实体识别器124可以确定块1-6的地面海拔水平的平均值。基于块1-6的地面海拔水平的平均值，实体识别器124可以确定图像估计的地面海拔水平1110。
训练数据的准备
图12图示了根据本公开的示例的用于系统100的训练数据的准备。
参考图12，关于训练数据的准备，训练数据可以包括用于实体识别目的的每个分类器的训练数据文件。在这方面，可以创建训练数据准备模块。对于实体空中监测的示例，可以使用完全监督的学习框架。为创建训练数据选择的图像可以被分成确定大小(或不同大小)的块。每个块可以被标记为与某种类型的实体相关，例如块可以相对于每种类型的实体是正的、负的还是中立的。在1200处，标记为正块的块(例如，用于塔检测)。在1202处，实体识别器124可以识别可能被标记为正样本或负样本的块。此外，在1204处，实体识别器124可以识别被标记为负块的块(例如，用于塔的检测，其中这样的块对于植被检测应当是正的)。可以在标记各块之后确定每个块的特征(例如，使用方向梯度直方图(hog)描述符、局部二元模式(lbp)描述符、视觉词语袋技术、颜色直方图描述符、检测到的角描述符的直方图、或其它纹理特征)。然后可以对这个数据训练完全监督的学习框架，其结果用分类器1304的参数保存在文件中。训练过程可以在使用图像处理解决方案进行条件检测的数据处理之前完成至少一次，以使得能够使用机器学习技术。
实体识别器124(实体检测器126)-塔检测和塔掩码生成
图13图示了根据本公开的示例的用于实体识别器124的塔检测和塔掩码生成。
对于塔的空中监测的实例，关于实体识别器124的塔检测和塔掩码生成，实体识别器124可以接收图像104，并且还接收图像1300上的估计的塔位置，估计的电力线方向角度1302以及分类器1304的参数。实体识别器124的实体检测器126可以检测给定图像中的实体(例如，塔)的中心点，其中估计的实体位置，估计的实体宽度以及对于塔的空中监测的实例，其它诸如估计的输入和输出电力线方向角等方面是已知的(基于塔的近似gps坐标)。此外，可以基于来自多个图像的实体检测结果的联合来执行实体的掩码生成。
在框1306处，实体检测器126可以基于相应图像上的估计的塔位置来确定搜索区域。例如，可以通过确定图像内的矩形实体搜索区域来开始检测。搜索区域的大小可以取决于线方向，例如，大小可以是4×4米。可以使用图像的cmperpixel(即厘米每像素)值来获得以像素为单位的搜索区域尺寸，并且可以在该搜索区域内执行剩余处理。
在框1308处，实体检测器126可以例如通过将图像转换成灰度、阴影去除、光校正等来执行图像预处理。对于不同的季节或者对于不同类型的实体的检测，可以使用不同的预处理。
在框1310处，实体检测器126可以定位搜索区域内的边缘(例如，对于塔)。关于基础设施实体的中心点的检测，实体检测器126可以使用边缘或脊线检测以及线检测，来根据估计的方向角度确定潜在的线和实体边缘，并基于最重叠的潜在的线和实体边缘来创建基础设施实体候选物。就此而言，实体检测器126可以提取沿着线和基础设施实体方向的边缘。实体检测器126可以执行例如用于边缘检测的canny或sobel检测器，并且可以在阈值处理之后将方向极限内的相对较深的边缘作为二进制边缘图像进行保存。
在框1312处，实体检测器126可以基于通过使用诸如例如霍夫线变换(houghlinetransform)或线段检测器(lsd)等技术获得的边缘来定位短直线。就此而言，基于边缘数据，实体检测器126可以识别潜在的电力线和基础设施实体(例如，塔)的边缘。对于塔的空中监测的例子，关于潜在的电力线和塔边缘的识别，电力线和塔边缘可以被假定为包括直线，其中塔边缘可以被认为通常垂直于电力线。
在框1314处，实体检测器126可以过滤与线方向不平行的线。
在框1316处，基于与线方向不平行的线的过滤，实体检测器126可识别潜在的电力线。对于塔的空中监测的示例，关于电力线的检测，与估计的进入或离开电力线角度的偏离最多为d度(例如6°)的线可以被标记为潜在电力线。
在框1318处，实体检测器126可以过滤与线方向不垂直的线。
在框1320处，基于对与线方向不垂直的线的过滤，实体检测器126可以识别潜在的塔边缘。对于塔的空中监测的示例，与进入或离开电力线角度在预定偏差(例如90°+/-35°)内的线路可被标记为潜在的塔边缘。
在框1322处，实体检测器126可基于来自框1316和框1320的最重叠的潜在电力线脊和塔边缘来创建塔候选物，并用圆标记该塔候选物。由于圆标记可能重叠，所以实体检测器126可以执行斑点检测以获得被认为是潜在的基础设施实体区域的连接的实体标记。从检测到的斑点中，可以不考虑比估计的基础设施实体宽度以预定百分比更宽(例如，比估计的基础设施实体宽度宽一倍以上)或以预定百分比更窄(例如，窄于估计的基础设施实体宽度的三分之一)的斑点。此外，对于在预定大小极限内的其余斑点，可以基于与潜在电力线的最大重叠和/或与角检测的滤波结果一起(例如，通过使用哈里斯角探测器)来选择预定数目的斑点(例如三个)。
在框1324处，实体检测器126可使用移位(例如，20个像素)将图像104的每一个例如分成k×k个像素(例如，对于大小为7360×4912像素并且每像素分辨率为1cm的图像，k＝128)的块。关于基础设施实体的中心点的检测，实体检测器126可以基于基础设施实体候选的不同特征来执行基于块的分类(例如，通过完全监督的学习框架)。加权分类值可以被分配给每个块。根据一个示例，实体检测器126可以使用若干分类器。例如，分类器可以在局部二进制模式(lbp)特征、定向梯度直方图(hog)特征、检测到的(例如，通过哈里斯技术检测到的)角的直方图特征等方面进行训练。对于指定的条件可以省略一些特征。实体检测器126所使用的分类器可以使用训练数据。根据一个示例，训练样本可以包括来自图像的k×k像素块。在训练数据中使用大致相等数量的正实体样本和负实体样本，可以促进用于支持向量机(svm)的径向基函数(rbf)内核的使用。每个分类器可以包括其自己的参数，其中可以基于试验来确定参数，并且可以基于测试来进一步调整参数。
实体检测器126可以基于针对每个块的多个分类器结果来解释和实施用于冬季和夏季条件的结果的不同决策。可以使用不同的技术来组合分类器结果，例如，如果分类器是二元的，那么可以添加它们的正面结果，那么可以施加滤波。根据另一示例，对于夏季和/或春季条件，代替二元预测结果，可以从分类器获得距离测量，并且可以基于该距离来分配分类因子。进一步，基于正分类器的数量和特定季节，可以对组合分类因子施加阈值。
在处理完所有块之后，如果总和大于预定阈值，则可以将具有最大分类因子总和的斑点指定为最终检测到的基础设施实体。在这方面，可以基于估计的基础设施实体宽度和季节来确定该阈值。对于检测到的中心点，实体检测器126可以通过使用具有相应的图像基础设施实体掩码上的斑点宽度的半径的圆来识别检测到的中心点。
如果在搜索区域内没有检测到基础设施实体，则可以放大搜索区域并且可以重新执行处理。例如，搜索区域的大小可以加倍。如果没有基础设施实体位于放大的搜索区域中，则实体检测器126可以指示没有基础设施实体存在于相关图像中。
在框1330处，针对框1326处的每个图像块以及针对框1328处的每个分类器，实体检测器126可将该块分类为塔或不是塔，并为每个块分配加权分类值。就此而言，关于基础设施实体的中心点的检测，实体检测器126可以施加基于角的过滤来去除附近没有角的正分类。
在框1332处，实体检测器126可将具有最大过滤分类值的塔候选的加权中心确定为塔位置。就此而言，关于检测基础设施实体的中心点，实体检测器126可以将具有最大过滤分类值的实体候选的加权中心确定为基础设施实体位置。
基于具有最大过滤分类值的塔候选的加权中心的确定作为塔位置，实体检测器126可以确定图像1334上的指定塔位置。
进一步，基于具有最大过滤分类值的塔候选的加权中心的确定作为塔位置，实体检测器126可以生成图像塔掩码1336。
实体识别器124-塔联合
关于联合，基于检测结果，可以为每个基础设施实体执行整合处理。以塔的空中监测为示例，关于联合，基于检测结果，可以为每个塔执行联合过程。联合过程可以表示最终基础设施实体检测结果，以及用于基础设施实体的估计的中心点的确定。关于联合，可以确定来自所有检测结果的gps位置的平均值。如果基础设施实体被检测到，例如在多于两个单独的图像中，则可以去除距离gps位置的平均值太远(例如，基于给定阈值)的基础设施实体，(即，基于剩余实体的gps位置的平均值)。如果一些基础设施实体的gps位置保持不变，那么重新确定的基础设施实体平均值可以被指定为基础设施实体的最终中心点。然而，如果不存在余下的基础设施实体gps位置，这意味着没有检测到基础设施实体，并且为了进一步处理，可以使用来自实体地图的估计的基础设施实体位置。
实体识别器124(实体检测器126)-电线检测和电力线掩码生成
图14图示了根据本公开的一个示例的用于实体识别器124的电线检测和电力线掩码生成。实体识别器124可以生成电力线掩码(例如，对于塔的空中监视的示例)，并且检测电线roi内的电线(例如，对于塔的空中监视的示例的电线)。
实体检测器126可以通过使用沿着电线方向的固定宽度通路(例如，对于塔的空中监测的示例，6.6米宽)生成电力线路掩码。电线方向可以基于两个连续的基础设施实体和它们的gps位置来确定。
参照图1和图14，实体检测器126可以接收图像(例如，图像104中的一个)1400。
在框1402处，实体检测器126可以确定图像1400中的边缘。
在框1404处，对于塔的空中监测的示例，实体检测器126可以过滤电线roi外的区域。
在框1406处，实体检测器126可以过滤噪声点和非常细的线的边缘。实体检测器126可以例如通过使用取决于图像的厘米/像素的值的内核大小来去除具有中值模糊的噪声点和相对细的电线边缘。对于电力线的空中监测的示例，电线的宽度可以预期为1.5-3.0cm。
在框1408处，实体检测器126可使用短直线检测技术基于边缘来定位短直线。根据一个示例，短直线检测技术可以被用于通过电线roi内的电力线的短片段来检测电力线。
在框1410处，实体检测器126可以过滤与线方向不平行的线。根据一个示例，偏离电线roi的方向大于s度(例如s＝2°)的电线可能被滤除为噪声。
在框1412，实体检测器126可以使用例如短直线检测技术基于短直线检测结果定位直长线。电线检测可以在沿途中执行。例如，可以在电线roi内(例如，框1408)检测包括部分实际电线和附加边缘的第一短电线，并且然后可以使用这些短电线来检测长的完整电线，这是基于这样的前提：尽管电线不会完全直接穿过整个图像，但电线的较短部分应该是相对直的(例如，框1412)。进一步，虽然沿着整个长电线可能存在许多长间隙，但电线的短片段可以不包括间隙。根据一个示例，可以在短电线上再次使用短直线检测技术以定位较长的电线(例如，超过1500个像素)。进一步，根据一个示例，偏离多于2°的电线可能再次作为噪声被滤除。根据一个示例，剩余的电线可以被认为是检测到的电线，并且可以被绘制到图像线掩码，例如具有两个像素宽度。
在框1414处，实体检测器126可以过滤与线方向不平行的线。实体检测器126可以将阈值施加到给定的拉普拉斯变换的图像以滤除不明显的山脊线。
实体检测器126可以生成图像线掩码1416。
以塔的空中监测为例，如果在图像内检测到塔，塔可以负面地影响下一个电线检测。因此，实体检测器126可以在进一步电线检测之前通过利用围绕塔中心位置固定宽度的圆屏蔽掉而从分析中去除塔区。
实体识别器124(实体检测器126)-植被检测和植被掩码生成
图15图示了根据本公开的一个示例的用于实体识别器124的植被检测和植被掩码生成。
参照图1和图15，在框1500处，实体检测器126可以接收分类器1304的参数和(图像104的)图像1400。在框1500处，实体检测器126可以执行图像预处理，例如通过将图像转换成灰度。关于冬季和春季的植被检测和植被掩码生成，实体检测器126例如可以确定图像的hog和lbp特征，并且为了实体识别使用完全监督的学习框架。接下来，实体检测器126可以从预处理结果中去除roi外的区。根据一个示例，实体检测器126可以将图像从rgb预处理为灰度，例如，强调夏季的绿色(例如，输入＝r-0.5*(g+b))。
在框1504处，实体检测器126可以在框1500处对与图像有关的数据进行归一化。关于冬季和春季的植被检测和植被掩码生成，实体检测器126可以利用标准化的绿色通道，其中标准化可以通过将通道平均值缩放来执行，例如缩放到128。根据一个示例，实体检测器126可以对亮度进行标准化(例如，标准化＝输入*128/均值(onelayer))。
在框1506处，实体检测器126可以过滤其它实体的区(例如，非植被实体)。实体检测器126可以生成用于搜索植被的区的二进制掩码，不包括基础设施实体区、对象区和roi之外的区。
在框1508处，实体检测器126可将图像1400例如分成k×k个块而不重叠。在框1510处，针对框1508处的k×k个块中的每一个，以及框1512处，对于每个分类器，在框1514处，实体检测器126可以将k×k个块中的每一个分类为植被或非植被。关于冬季和春季的植被检测和植被掩码生成，根据一个示例，可以通过首先对区域内具有足够数量的边缘的块施行分类器来对每个块执行处理(例如，植被应该具有几个边缘)。可以从拉普拉斯结果中检查脊线。分类器也可以忽略被认为是地面的块。在这种情况下，被认为不是地面意味着该块的高度差异多于树的最小高度，或者块具有足够数量的高点(平均值0-255，不是地面掩码>64)来包括一个海拔稳定的树木区。每个分类器可以提供植被概率。具有hog特征的分类器可以针对块单独地执行。如果概率足够高，那么lbp分类可能提供第二个概率。如果两个分类器都预测该块是植被，那么该块可初步指定为植被。如果这个区的拉普拉斯的平均值多于预定的值，一个块区可以被认为是植被，并且具有lbp和hog特征的分类器将该区认为植被。
关于植被检测和植被掩码生成，可以如上文所描述地训练植被分类器。可以使用几个分类器，并且分类器可以针对每个季节进行训练。为了获得最佳分类器，训练数据可以包括近似相同数量的正样本和负样本。
在框1516处，实体检测器126可将所有分类器的决策结果组合为一个决策结果。
在框1518处，实体检测器126可以施加形态闭合。关于植被检测和植被掩码生成，分类器可能无法准确地对块进行分类。为了解决任何不准确，实体检测器126可以使用形态操作。如果周围的块被分类为植被，那么中间的块也可能是植被。在这点上，可以使用形态闭合和形态扩张来校正任何预测错误的块。在排除搜索区域之前，基础设施实体和对象区可能被侵蚀(例如，通过形态侵蚀)。实体检测器126可以在图像上施加形态，然后施加模糊。
在框1520处，实体检测器126可以生成图像分类器决策掩码作为图像植被掩码。
在框1522处，实体检测器126可以执行超像素分段，并且基于决策掩码，实体检测器126可以选择那些是植被的超像素。
在框1524处，实体检测器126可以生成超像素分段掩码。
在框1526处，实体检测器126可以基于决策掩码来选择超像素。
在框1528处，实体检测器126可以执行形态闭合。
在框1532处，实体检测器126可以接收图像地面掩码1530和框1528的形态闭合结果以过滤地平面区域。进一步，实体检测器126可以从植被掩码中删除搜索区之外的区域，并且将最终的植被掩码添加到图像掩码。
实体检测器126可以生成图像植被掩码1534。
实体识别器124(实体检测器126)-超像素实现
实体检测器126可将初步分类映射成超像素，并且基于初步分类将其中属于一类的超像素分类。针对于将超级像素分类为一个类，可以将图像划分成超级像素的区域。实体检测器126可以收集有关超像素的相关信息。超像素的划分可以基于rgb图像。实体检测器126可以使用海拔图像来将一些信息收集到超像素类中。超像素类可以包括列出每个超像素的平均海拔和最大海拔、最左列和最右列、以及最上面和最下面的行的一组矢量。对于每个超像素，该类还可以在矢量中列出它的邻居超像素。
实体检测器126可分析超像素并且在超像素区周围生成矩形。实体检测器126可以确定有多少初步分类与超像素矩形重叠(即，参考的平均值)。如果重叠足够强，那么超像素可以被肯定性分类。
如果在分类中使用海拔信息，则可以在分类之后执行附加的验证。附加验证可用于识别在宽对象(例如，大房子)内距地面高的超像素。那些超像素可能被高的超像素包围，并且可能已经被错误分类。如果重叠足够强，并且相邻的超像素被肯定性分类，那么该超像素也可以被肯定性分类。
实体识别器124(实体检测器126)-人为对象检测和人为对象掩码生成
图16示出了根据本公开的一个示例的用于实体识别器124的人为对象检测和人为对象掩码生成。针对于人为对象检测和人为对象掩码生成，实体检测器126可以针对所有季节(例如，夏季，冬季)执行对象检测。人为的对象一般地可以包括可能对被监测的基础设施实体(例如建筑物、人、汽车等)造成风险的任何类型的对象。人为对象检测的不同技术可以用于不同的季节。
对于冬季的人为对象检测和人为对象掩码的生成，冬季对象检测过程可以基于一般情况下一切都被雪覆盖的假设，并且因此对象的真实颜色是不可见的，并且只有对象的边缘可以被检测到。所有季节的对象检测过程也可以考虑颜色信息。
对于冬季对象检测过程，由于可以忽略相对较小的对象，冬季对象检测过程可以减小图像的分辨率以减小与图像有关的处理时间。实体检测器126可平滑颜色图像，并且从图像中提取边缘和脊线。边缘检测可以使用canny或sobel边缘检测器和脊线检测-使用基于拉普拉斯的脊线检测来单独地针对每种颜色而执行。实体检测器126可以通过使用基于阈值的方法去除不清晰的边缘。对于基础设施实体(例如塔、建筑物等)，基础设施实体区域和roi以外的区可以从预处理结果中去除。假定人造对象一般地包括直线，则实体检测器126可以通过例如短直线检测技术来检测线。进一步，实体检测器126可以在每条线的区域周围生成矩形。
对于冬季对象检测过程，实体检测器126可以对来自矩形的边缘数目进行计数。如果矩形包括太多的边缘，那么可以确定该线属于例如植被。如果矩形包括太少的边缘，那么可以确定该线为孤立线，而不是任何构型的一部分。
对于冬季对象检测过程，实体检测器126可以从图像生成超像素。包括先前生成的线矩形的一部分的超像素可以被分类为属于一个对象。基于分类可以生成初步的对象掩码。
对于冬季对象检测过程，实体检测器126也可以对初步分类进行形态扩张，以平滑分类结果。进一步，可以从预处理结果中去除基础设施实体、植被等以及roi以外的区，使得每个区仅被分类为一个类。
针对于所有其它季节(例如，春季、夏季、秋季)的人为对象检测和人为对象掩码生成，实体检测器126可以通过使用颜色信息、通过使用边缘和海拔数据以及通过识别区(其中颜色比地面最常见的颜色相对地不同)来确定对象的区。
参照图1和图16，为了生成未知对象掩码，实体检测器126可以接收(例如，图像海拔地图410的)图像海拔地图1600。
在框1602处，实体检测器126可以确定x和y方向上的海拔数据的导数。实体检测器126可以缩放海拔数据，例如包括从0至255，并且例如使用索贝尔操作(sobeloperation)或有限差分方案求导来确定x方向和y方向上的导数。
在框1604处，实体检测器126可以确定导数顺序地上升并且然后下降的边缘。在这点上，实体检测器126可以顺序地分析垂直和水平方向的图像，并且识别海拔上升或下降的那些非零拉普拉斯区。如果确定下降，则可以在最近的区中搜索抬高的边缘。根据一个示例，该区可以被限制为例如二十米(作为待识别的任何对象的最大长度)。
在框1606处，如果对象的两个边缘都被定位，则实体检测器126可以标记对象。
对于(图像104的)图像1400，在框1610处，实体检测器126可以将图像转换成色调-饱和度-值(hsv)格式。实体检测器126可以将颜色图像调整为海拔数据的大小，并且执行中值模糊。如本文所描述，实体检测器126可以使用例如拉普拉斯算子(laplaceoperator)来提取脊线。
在框1612，实体检测器126可以总结所有hsv数据通道的拉普拉斯计算。实体检测器126可以模糊每个通道，并且通过拉普拉斯算子提取脊线。例如，对于冬天，基于拉普拉斯的技术可以使用值-通道(亮度)值或图像的每个通道作为输入。
在框1614处，实体检测器126可以确定没有边缘的区。实体检测器126可以通过阈值、扩张和中值模糊操作来确定没有边缘的区。
对于图像地面掩码1530，在框1618处，实体检测器126可以确定季节是否是冬季。响应于在框1618处确定季节是冬季，可以不执行如下面所描述的与框1620、1622和1624有关的分析。
实体检测器126可以识别颜色比地面中最常见的颜色相对地不同的区。在这点上，图像可以被转换成hsv格式，并且每个通道可以被处理。响应于框1618处的确定该季节不是冬季，对于框1620处的每个hsv通道，实体检测器126在框1622处可以确定地面区的图像通道值的直方图的最大索引，并且在框1624处，实体检测器126可以确定不等于所找到的索引的值，并且模糊该结果。
在框1626处，实体检测器126可以汇总所有hsv通道结果。
在框1628处，实体检测器126可接收来自框1606、1614和1626的结果，并且总结和过滤结果。这些结果可以通过模糊中值来平滑。对于所有其它季节的人为对象检测和对象掩码生成，实体检测器126可以通过将上述结果添加在一起来确定对象掩码。
在框1630处，实体检测器126可去除其它实体区和相对地小的区。进一步，实体检测器126可以去除植被、塔和roi之外的区。实体检测器126还可以通过使用形状分类操作去除太小或太大的对象。
实体检测器126可以生成图像人为对象掩码1632。
实体识别器124-区域创建
图17和图18图示了根据本公开的一个示例的实体识别器124的区域创建。
参照图1、图17和图18，针对于区域处理，实体检测器126可以通过识别所有的基础设施实体(例如，塔、管道、建筑物等)以及在基础设施实体周围建立区域来生成区域。实体检测器126可以施行基于图像的检测过程(例如，线、植被和对象检测)，并且实体区域联合器128可以将结果映射到区域掩码。
针对于区域的生成，实体区域联合器128可以建立起始和结束实体。对于塔的空中监测的示例，实体区域联合器128可以建立起始和结束塔，使得电线直接地在区域之内。例如，该区域可能基于基础设施实体(例如，塔)检测结果而受到限制。如果基础设施实体被检测到或错过，由于在基础设施实体附近存在图像，则可以处理包括基础设施实体的区域。
针对于区域处理，c++区域类可能负责分配区域矩阵、确定区域像素与gps坐标之间的变换矩阵、将基于图像的识别结果映射到区域、以及将来自各种图像的结果联合到区域矩阵中的一个区域矩阵。
参照图1和图17，如果方向(headings)之间的角度是足够大，这些区可以被分成如1700所示的区域。如1702处所示，如果第一方向与其它方向之间的角度相对地小，那么该区可被包括在一个区域中。
参照图1和图18，针对于与区域处理相关的c++区域类，实体区域联合器128可首先基于开始位置(例如，起始基础设施实体，诸如起始塔)、结束位置(例如，结束基础设施实体，诸如结束塔)、roi，以及扩展常数来建立区域的拐角点。例如，图18图示了根据本公开的一个示例的区域拐角点的确定。如图18中所示，对于塔的空中监测的示例，拐角点可以以两个阶段确定，第一阶段和第二阶段的示例结果在图18中分别地标记为“1”和“2”。在第一阶段期间，实体区域联合器128确定处于垂直于起始与终止基础设施点之间的直线、位于距区域的起点和终点基础设施点roi宽度加水平延伸的距离处的点。在第二阶段，拐角点可以扩展到包括区域之间的一些重叠，以避免遗漏驻属靠近一个基础设施实体(例如塔)的对象。实体区域联合器128可以通过定位在与平行于起始与结束基础设施点之间的直线的线上的点“1”垂直延伸的距离处的点，来确定最终区域拐角点“2”。
针对于与区域处理相关的c++区域类，实体区域联合器128可以确定从gps到区域像素的变换矩阵(反之亦然)。实体区域联合器128可以使用例如仿射变换或其它这样的技术以确定变换矩阵。针对于变换矩阵，基于对该区域的拐角点的gps位置的计数，为了最小化变换中的舍入误差，可以将gps坐标转移到局部区域坐标，其中原点是没有扩展的区域的左上拐角。
实体区域联合器128的配置可以定义区域掩码的精确度。区域掩码的宽度和高度(以及拐角点的像素值)可以基于精确度和区域拐角点来计数。区域拐角点可以基于区域掩码的这个宽度和高度来确定。
实体识别器124-区域联合
图19示出了根据本公开的一个示例的实体识别器124的区域联合。
参照图1和图19，用于实体识别器124的区域联合可以包括基于图像gps对准数据和区域gps对准数据，通过对局部图像坐标到局部区域坐标的变换进行计数，将图像处理结果映射到区域区。
针对于与区域处理相关的c++区域类，实体区域联合器128可以分配区域矩阵。区域矩阵可以包括掩码区域矩阵、海拔区域矩阵、地面区域矩阵和变换像素数量区域矩阵。
掩码区域矩阵可以包括例如四个通道(联合/最终结果、基础设施实体(例如塔)检测计数、植被检测计数和对象检测计数)。三个计数通道可以包括从不同图像到特定区域像素所收集的所有肯定性分类的总和。
海拔区域矩阵可以包括例如两个通道(区域像素的海拔计数的滑动平均值，以及针对该像素所收集的海拔值的计数)。海拔值的计数可以用来维持滑动平均值。
地面区域矩阵可以包括例如肯定性地面分类的计数。变换的像素数目区域矩阵可以包括例如被映射到每个区域像素的所有图像像素的数目。
针对于与区域处理有关的c++区域类，实体区域联合器128可将基于图像的结果映射到区域矩阵中。可以对图像实体掩码、图像海拔地图和图像地面分类掩码进行中值过滤。基于过滤的结果，实体区域联合器128可以选择表示周围区的中值的连续样本。例如，可以选择图像的每第5行的每第5个像素进行处理。
对于每个选择的像素，实体区域联合器128可以确保像素是在图像roi之内以跳过对不必要的细节的处理。通过首先将图像像素坐标变换到gps位置，并且然后使用该区域的仿射变换将gps位置变换成区域像素坐标，可以将所选像素图像坐标变换成区域矩阵中的像素位置。实体区域联合器128可以进一步确保所得的区域像素坐标在区域掩码之内。
针对于图像的处理，对于每个处理过的和变换过的像素，肯定性图像掩码分类结果可以递增区域掩码通道中的对应的区域像素值。对于塔的空中监测的示例，如果图像像素已被分类为塔，那么对应的区域掩码像素的塔通道中的对应区域像素可以递增一。
针对于图像的处理，对于每个处理过的和变换过的像素，来自基于图像的海拔地图的海拔信息可以被添加到对应的海拔区域像素的滑动平均值确定。例如，如果y是滑动平均值(或修改后的移动平均值)，n是区域海拔像素可用的海拔值的数目，并且x是基于图像的海拔地图中的像素值，那么滑动平均值y可以被确定如下：
对于等式(26)，yn可以表示n个元素的平均值。
针对于图像的处理，对于每个处理过的和变换过的像素，地面分类也可以被更新。如果像素已经被分类为是地平面，则肯定性(例如处于地平面)地面分类计数也可以被递增。
针对于图像的处理，对于每个处理过的和变换过的像素，处于变换过的像素区域矩阵中的对应区域像素的值可以被递增。
针对于与区域处理有关的c++区域类，实体区域联合器128可将不同图像的分类结果联合为一最终区域分类结果。在这点上，如果例如所有图像已经跳过一个像素，则实体区域联合器128可以对每个通道执行中值过滤以平滑像素的异常值。实体区域联合器128可评估所有像素，确定像素的不同分类选项的加权概率，并且为每个像素选择具有最高分数的分类选项。地面联合可以选择最频繁出现的选项。
针对于区域处理，实体区域联合器128可以使用学习分类器实现方式以生成用于植被分类器的自动反馈，以便重新训练植被分类器。在这点上，可以从联合区域掩码提取图像区，并且实体区域联合器128可以使用该提取来执行分类器的重新训练。
三维曲线重建器
三维曲线重建器130可以使用图像实体掩码、基础设施gps位置数据、图像gps对准数据和区域gps对准数据来为一些类型的实体构建参数化3d表示模型。对于电塔和电力线的监测的示例，三维曲线重建器130可以使用图像电力线掩码、塔gps位置数据、图像gps对准数据和区域gps对准数据来构建确定每个电力线的地点的等式。
三维曲线重建器130可以在保存现实世界直线的坐标系中执行它的操作。例如，坐标系可以是大地测量ecef坐标系，或者区域的坐标系，或者具有类似特性的另一个坐标系。
对于电力线重建的示例，对于每对塔之间的线，可以使用包含区域的坐标系。在区域坐标系中，电力线可以沿着y轴伸展，如图20a中所图示。塔的位置(xa、ya、海拔a和xb、yb、海拔b)可以从塔的gps位置和区域gps对准数据中推导。三维曲线重建器130然后可以在区域坐标系中定义塔之间的投影平面，在该区域坐标系中可以投影位于图像中的电力线。每个投影平面可以包括在区域坐标系中的固定的y坐标、以及与在区域坐标系中相同的x和z(海拔或高度)轴。投影平面的固定y坐标可以在塔的y坐标之间均匀分布。投影平面的数目可以由系统参数确定。应被投影在投影平面上的图像(包括所选择的塔之间的电力线)可以通过以与区域的创建相同的方式检查它们与该区域的交线来确定。
为了将在图像中检测到的电力线投影到限定的投影平面，可以针对每个或一些线像素来确定连接图像平面中的摄像机位置和电力线像素的线。为了确定这条线的等式，可以以与在图像gps对准数据的使用期间类似的方式来确定与摄像机位置不同的该线上的一些随机点。可以从图像gps对准数据和区域gps对准数据中推导区域坐标系中的摄像机位置(x0、y0、海拔0)和随机点位置(x1、y1、海拔1)。对于每条这样的线，可以如下确定具有投影平面的交点坐标：
海拔交点＝(海拔1-海拔0)*t+海拔0等式(28)
x交点＝(x1-x0)*t+x0等式(29)
坐标过小或过高的交点可能会被过滤以减少处理时间。相邻交点可以以与初始图像中连接的相同方式通过线段连接。在以所描述的方式处理所有图像之后，投影平面可以包括所有检测到的电力线的投影，每个都以多个线段的形式。
如图20b中所图示，在每个投影平面中，来自不同图像的线可以在彼此之间交叉，从而形成一组点，其中每个点在两条线之间的交点。现实世界的电力线可能位于这样交点最多数目出现的点附近。为了确定这些点，可以分析每条线与其它线的交点。可以通过它们的海拔坐标来对交点进行分类，并且可以选择彼此之间具有小距离(小于预定阈值)的元件的最长序列。该序列的元素的坐标的平均坐标可以形成每条线的最高比率交点。
如图20c中所图示，投影平面内侧的最高比率交点可以形成位于塔之间的点云。点云的点可以针对被检测到的每条曲线利用两个等式进行拟合。一个等式可以反映场景顶部的曲线视图，并且反映x坐标对y坐标的依赖性，并且采取线性等式的形式。第二个等式可以反映曲线海拔对y坐标的依赖，并且可以采取双曲线余弦线等式或抛物线等式的形式。为了选择可能符合这两个等式的点，可以首先将点云转变成图表表示。这些点可以成为顶点，并且可以为在x和海拔坐标的差异很小的(小于预定的阈值)连续投影平面上的点添加边缘。来自非连续投影平面的点也可以用于消除图表中可能的间距。
在所得的图表内，可以选择连接组件来生成拟合线。具有最大点数目和/或沿着y轴的最长长度的连接的组件可以被选择用于随后的计算。在每个连接的组件内部，可以选择一定数目的随机边(“种子”)。种子的数目可以是预定的参数。对于每个种子，可以为每个种子的两个顶点确定随机邻近的边缘。可以将相同的进程施加于循环中的选定的边缘，直到以具有最小和最大固定y坐标的投影平面到达顶点。对于从初始种子推导的每一组边缘，顶点可以用于拟合曲线。为了拟合第一个等式(x＝k*y+t)，可以施加线性回归，如下：
为了拟合第二个等式(海拔＝a*y2+b*y+c)，还可以施加如下的线性回归：
然后可以使用来自位于距第一估计曲线的预定距离内的点云的点来重新拟合所得的等式。然后可以过滤所得的拟合曲线。具有类似所得参数的曲线可以被合并，或者例如曲线可以被逐个处理以确定“最佳”曲线。在每个处理步骤中，可以选择预定距离内的最多数目点的曲线，并且可以从点云中删除距线的预定距离内的这些点。以这种方式，在下次迭代期间可能不会选择附近的曲线。所有的曲线在几次迭代之后可能变得具有太小数目的点，曲线可能会被丢弃。未被任何线拟合的点云中的点可被认为异常值。
然后可以进一步过滤所得到的拟合曲线。例如，三维曲线重建器130可以丢弃位于远离塔的曲线、或者不依从塔之间的相邻区段的结果的曲线。如果客户系统提供的话，将电力线安装到塔上的计划也可以用于相同的目的。
每个曲线的所得曲线参数可以保存在每个连续的塔对的单独的txt文件中。这些参数稍后可以用在系统100的风险分析器132中。电力线区域掩码也可以根据确定的电力线的精确位置进行更新。对于每对塔，由直线等式和塔位置所限制的区可以被认为是电力线的区。
风险分析器132-风险分析器数据流
图21图示了根据本公开的一个示例的、用于系统100的风险分析器132的风险分析器数据流。
参照图1和图21，风险分析器132可以分析在先数据136、基础设施规则2100、区域gps对准数据706、区域实体掩码708、区域地面掩码710、区域海拔地图712、区域空间分辨率714、图像gps对准数据408以及空中监测塔的示例、电力线曲线参数2102，以针对每个区域中的每种风险生成风险参数2104、风险多边形2106和风险掩码2108。风险参数2104、风险多边形2106和风险掩码2108可被转发给风险整合器142以用于进一步分析。
参照图1和图21，相对于风险评估，风险分析器132一般地可以检测包括可能倒落在电线之下或之上的roi中的高树的风险(例如，对于电力线的空中监测的示例)，在row中的植被、在roi中(在row中或靠近row)的高人为对象，人为对象和/或电线下的植被(例如，对于电力线的空中监测的示例)，识别塔之间是否存在电力线缺失(例如，对于电力线的空中监测的示例)，以及测量电力线的最小安全间距(例如，对于电力线的空中监测的示例)。
相对于风险分析，风险分析器132一般地可以针对每个区域接收、相关联区域id、海拔地图、地面掩码、区域对准数据、电力线三维曲线参数以及实体掩码(例如，植被、基础设施实体(例如电线、塔楼、建筑物等)、人为对象))作为输入。根据一个示例，基础设施规则2100可以包括row宽度，各种非基础设施实体的最大允许高度和距基础设施实体阈值的距离(距离可以是以米为单位)。风险分析器132还可以接收包括基础设施实体的gps和/或区域局部坐标的检测结果的输入或输出报告，假定用于每个基础设施实体的输入和输出电线的数目(例如，对于塔的空中监测的示例)和每个区域的空间分辨率(cm/像素)。风险分析器132进一步可以接收在先数据136(例如，风险信息(风险的类型、坐标、区划风险的区域掩码、高度、面积等))，以及用户反馈138(例如风险类型和id、错误地发现、解析风险、维护日期和成本等)。
风险分析器132-区划风险评估
图22至图24图示了根据本公开的一个示例的风险分析器132的区划风险评估。
风险分析器132可以在框2208处接收区域海拔地图，并且在框2210处接收区域地面掩码，以在框2212处确定高度地图。
参照图22，风险分析器132可以接收基础设施规则2100、在框2200处区域非基础设施实体掩码、在框2202处区域基础设施实体掩码、以及在框2212处确定的高度地图，以确定(例如，定位)在框2204处违反行业标准(例如，选择具有高度高于最大高度阈值的区)的区(和/或树和/或对象)。
在框2206处，风险分析器132可以将在框2204处确定的风险区划分成聚类。例如，风险分析器132可以将风险像素划分成风险区域的几个聚类，从而为在框2220处风险的定量参数的确定中使用的每个区获得风险掩码，在框2222找到风险的包含多边形，并且在框2224处包括在风险分析器132的输出中。
对于来自框2206的每个风险聚类，风险分析器132可以在框2202处接收区域基础设施实体掩码、在框2212处的高度地图、在框2214处的电力线的曲线参数、在先的数据136、在框2216处的区域空间分辨率、在框2218处的区域对准数据、在框2206处获得的风险掩码、以及在框2212处获得的高度地图，以在框2220处确定风险定量参数，这可以在框2226处被包括在风险分析器132的输出中。在这点上，相对于在先数据136，风险分析器132可以确定是否可以将案例认为风险的情况。例如，风险分析器132可比较先前飞行中找到的风险聚类像素的gps坐标(例如，识别在先前飞行中是否检测到风险)，比较风险的高度(例如，识别是否存在增加的趋势、识别即使已经被解析(消除)的风险情况是否存留)，和/或根据出现的频率，增加的趋势和/或用户反馈来提供信息。
对于来自框2206的每个风险聚类，风险分析器132可以接收在框2206处获得的风险掩码、在框2216处的区域空间分辨率以及在框2218处的区域对准数据，以确定将被包含在框2228处风险分析器132输出内的在框2222处的包含多边形。
因此，相对于每个检测到的风险聚类的估计，风险分析器132可以确定区掩码(例如，风险区的掩码)、风险定量参数(例如，半径、面积、高度等)和风险矢量表示(例如，包含多边形)。
相对于框2204和框2220，这些框的分析可能是特定于风险类型。
参照图23，为了生成高度地图(例如，图22的框2212)，风险分析器132可以接收海拔地图(例如，图22的框2208)和地面掩码(例如，图22的框2210)。在2300处，风险分析器132可以选择与地平面相关的海拔。在2302处，风险分析器132可利用局部平均地面海拔填充孔洞(未被分类为处于地平面并且因此不包括海拔信息的区)。可以通过考虑距初始像素的距离不超过某个预定义或计算的海拔(即，通过在海拔地图中从孔洞到非孔洞像素采取最大距离)阈值来获得局部海拔。在2304处，风险分析器132可以执行高斯模糊以平滑所得的地面海拔。在2306处，风险分析器132可以从海拔地图减去地面海拔以确定高度地图。
参照图24，相对于风险的聚类，风险分析器132可以对属于相同风险、并且比指定距离(例如，阈值n，其可以是6米)更近的像素块进行分组。风险分析器132可以在2400处接收初始二进制矩阵。在2402处，风险分析器132可以在小于预定阈值(例如，可以使用区域空间分辨率从阈值n获得像素中的距离nn)的距离处来选择任何未标记的像素和它的其非零邻居，并且向未标记的像素和它的非零邻居分配标签，并且重复直到所有的像素被标记。这些标签可以指示像素属于哪个聚类。在2404处，如果不存在标记的邻居，则在2406处，风险分析器132可以创建新标签并且使用新标签来标记邻域的所有像素。在2408处，如果存在利用单个标签标记的邻居，则风险分析器132可以使用先前的标签来标记邻居中的像素，如2410处所示。在2412处，如果存在利用各种标签标记的邻居，则风险分析器132可以在2414处选择先前的标签中的一个来标记该邻域，并且在2416处利用所选择的标签代替其它标签。在2418处，风险分析器132可以生成标记的矩阵。
为了进一步合并聚类，该聚类的连接可能在所描述的过程期间丢失，风险分析器132可以进一步处理聚类中的每个。聚类掩码可以半径为nn的圆作为结构元素扩张，并且可以确定包括扩大区中的像素的相邻聚类。所确定的相邻聚类的像素可以通过扩张聚类的标记值被重新分配。因此，得到的标记矩阵可以包括彼此之间的距离大于nn的标记区。风险掩码可以通过限定相同大小的新矩阵并从标记矩阵中获得，并为特定标记分配“1”值，并且在标记化矩阵中为其它值分配“0”值。
可以使用风险掩码和区域gps对准数据来确定包含多边形的风险聚类。作为结构元素，风险掩码可以通过预定半径的圆圈扩大。然后，可以通过例如使用ramer-douglas-peucker技术，使用与扩张操作结构元素的半径相同的值作为参数，来检索和处理扩张掩码边界的坐标序列。使用相同的参数值可以确保多边形包括所有的掩码像素，并且可以只触摸风险边界。所得到的包含多边形的像素坐标可以使用区域gps对准数据而被转换成gps坐标系。
所检测的风险聚类也可以与先前监测分析结果中的风险聚类进行比较。为此，取决于风险的类型，可以使用来自历史处理的风险掩码、风险参数列表、区域gps对准数据和区域海拔图。可以通过使用区域掩码的位置所绑定的基础设施实体的id或通过使用区域gps对准数据和区域角的坐标，来确定代表与当前区域相同区的先前区域。可以使用区域gps对准数据将新区域的角的区域空间<x，y>中的像素坐标转化为gps位置。使用对应的区域gps对准数据，可以将所得到的gps位置转化为先前区域的坐标系。可以首先检查所得到的坐标是否在对应的先前区域的框之内，反之亦然，其次可以检查新区域的边与先前区域的边交叉。如果其中一个检查显示交点，那么这些区域可以被认为是交叉的，并且因此表示相同的区。随后的分析可能取决于风险类型。
风险分析器132-row中的植被的检测
图25图示了根据本公开的示例的风险分析器132的row中的植被的检测。
对于塔的空中监测的示例，关于电线的安全性，row区域应该没有植被或任何其它对象，即，例如根据行业标准应该从row区域移除任何入侵物种或植物。
为了确定在2500处的row中是否有植被块，则风险分析器132可以使用从区域海拔图和区域地面掩码推导出的区域植被掩码和区域高度图。风险分析器132可以在2504处(即，高度阈值)确定具有高于给定阈值thr_height的高度的植被区域。风险分析器132可以将彼此接近的所有植被区域分组，例如在6米的距离内。
对于row中的植被的每个组，风险分析器132可以使用风险掩码、区域电力线掩码以及区域空间分辨率，来确定row中的植被块与电线区域之间的最小距离(minimum_distance)。风险分析器132可以使用风险掩码和区域高度图来确定植被块的最大高度(maximum_height)。风险分析器132可以使用风险掩码和区域空间分辨率(例如，以平方米)来确定植被块的面积(area_value)。风险分析器132可以使用风险掩码来确定块的中心点，并且使用区域gps对准数据确定中心点的gps坐标。
关于与先前数据136相关的历史数据分析，风险分析器132可以对每个检测到的风险最大高度与来自先前数据的相同区域的最大高度进行分析并且比较。为此，可以使用来自先前数据的区域gps对准数据和区域高度图。可以分配新区域的附加高度图矩阵以存储来自先前数据(区域先前高度图)的高度值。先前的高度图的每个像素的值可以被如下地确定：新区域的像素的坐标可以被转变为gps位置，然后被转变为先前区域的像素坐标。如果得到的像素坐标在先前区域的框之内，则来自先前区域高度图的像素的值可以用于区域先前高度图。风险聚类内部的区域先前高度图像素的最大值可以用于与新的最大高度值进行比较，并且比较的结果(这些值之间的差异)可以被用作风险的一个更加定量的参数。如果高度增加显着，则可能会生成告警。
风险分析器132-高树木的检测
图26图示了根据本公开的示例的对于风险分析器132的高树木的检测。
为了识别当电线周围有高树木时并且估计与这些树木相关的风险，风险分析器132可以包括检测高树木的功能。
参考图26，为了识别可能是风险情况的那些树，风险分析器132可以使用从区域海拔图和区域地面掩码推导出的区域植被掩码、区域电力线掩码、电力线曲线参数和区域海拔图。风险分析器132可以通过选择具有小于到线的距离(d)的对应高度来丢弃树木不能倒落在电力线下方的植被像素。剩下的像素可能被包括在风险中，因为对应于这些像素的树木可能倒落在电线下方(并且可能倒落在电线上方的树木将被包括在该集合中)。对于所有“有风险的”植被像素，风险分析器132可以确定最小高度2600，在该像素处驻留的树木可能倒落在电线上方，如下：
对于等式(35)，d可以表示树和电线区域(即，线区域区2506)之间的距离，并且线高度2602可以表示通过电力线曲线参数确定的电线的高度。风险分析器132可以识别具有大于min_height_fall的高度值的像素，并且通过预定距离(例如，6米)将彼此靠近的像素分组。对于每个组中的所有像素，风险分析器132可以如下地确定给定树木可能倒落在电线上方的最大距离2604：
对于每个组中的所有高树木，风险分析器132可以如下地确定倒落在电线区域l上方的可能性：
对于等式(37)，α可以被如下地估计：
对于每个组中的所有高树木，风险分析器132可以如下地识别最危险的树木，该最危险的树木对应于每个组中的具有最大可能性的那些树木：
lmax＝max(l)等式(39)
为了估计风险的定量参数，风险分析器132可以通过使用风险掩码、电线区域掩码、区域空间分辨率来确定每个群集中的最危险树木和电线区域之间的距离(distance)。最危险的树木的像素坐标可能会被估计，并且通过使用分析区域的gps对准数据被转换为gps位置(dangerous_point)。通过使用高度图，风险分析器132可以识别最危险树木的高度(dangerous_height)。通过使用高度图，风险分析器132可以确定高树木组的最大高度(maximium_height)。风险分析器132可以利用风险掩码，区域电力线掩码和区域空间分辨率，确定危险树木块和电线区域之间的最小距离(distance)。该危险树木块的地区(area_value)可以使用风险掩码和区域空间分辨率来确定。
为了对每个所检测的风险与来自先前数据136的历史风险进行分析和比较，风险分析器132可以使用来自先前数据的区域gps对准数据和风险列表。风险分析器132可以从代表相同区域的先前区域中选择高的树木。这些树的gps坐标可以被转换为当前区域中的像素坐标，并且如果这些坐标中的任何一个属于所分析的风险，则可以对其中的最大的先前可能性倒落在电线上方的坐标进行处理。倒落在电线上方的风险的新的可能性和先前的可能性的差异可作为附加的风险定量参数被存储。
风险分析器132-高人为对象的检测
类似于树木可能对与电力设施有关的实体造成风险的方式，任何其它类型的高的对象一般可能对实体(例如，电气设施、塔、建筑物、管线等)造成类似的风险。就此而言，风险分析器132可以检测何时存在具有高于指定值的高度的人为对象。
为了确定区域中是否存在高人为对象块，风险分析器132可以使用区域人为对象掩码和区域高度图。风险分析器132可以确定具有高于给定高度阈值(thr_height)的高度的人为对象的那些点。风险分析器132可将那些比预定距离(例如，6米)更近的人为对象区域分组。
对于人为对象的每个块，风险分析器132可以使用风险掩码来确定人为对象块的中心点(center_point)的坐标，并且使用区域gps对准数据来确定中心点的gps坐标。风险分析器132可以使用风险掩码和区域高度图来确定人为对象块中的最高点的高度(maximum_height)。风险分析器132可以基于风险掩码和区域空间分辨率确定人为对象块的总面积(area_value)。风险分析器132可以使用风险掩码、区域电力线掩码和区域空间分辨率来确定风险区域与电线区域之间的最小距离(distance)。
关于历史数据分析(例如，来自先前数据136)，风险分析器132可以对每个所检测的风险与过去发现的风险(历史风险)进行分析和比较。代表同一区的来自先前区域的先前风险的gps坐标可用于找到对应的人为对象。如果先前风险与具有相似参数(即，最大高度、面积)的新风险足够接近，则可以使用先前风险的用户反馈或客户系统标记来类似地标记新风险(例如，“检测中的错误”或“授权对象”)。备选地，可以使用来自客户端系统的授权建筑物的gps坐标。
风险分析器132–电线区域内的人为对象和植被的检测
对于塔的空中监测的示例，电线的风险情况包括在电线下是否存在人为对象或生长的植被，这可能对电线产生危险或损坏。在这方面，理想地，电线下面的区域应该是干净的。就此而言，风险分析器132可以检测电线区域中是否存在人为对象和/或植被。
为了确定在电线区域中是否存在人为对象和/或植被块，风险分析器132可以使用源自区域海拔图和区域地面掩码的区域植被掩码、区域人为对象掩码、区域电力线掩码和区域高度图。风险分析器132可以识别具有高于给定高度阈值thr_height的高度的、电线下的人为对象/植被的点。当被人为对象/植物块分开的距离小于诸如6米的预定距离时，风险分析器132可以对人为对象/植物块进行分组。
对于人为对象/植物的每个块，风险分析器132可以使用风险掩码来识别人为对象/植被块的中心点的坐标，并且使用区域gps对准数据来确定中心点gps坐标。风险分析器132可以使用风险掩码和区域高度图来确定块中最高的人为对象/树木的高度(maximum_height)。此外，风险分析器132可以使用风险掩码和区域空间分辨率来确定人为对象/植被块的总面积(area_value)。
关于历史数据分析(即，基于先前数据136)，风险分析器132可以以与植被和人为对象相同的方式分析每个所检测的风险，这取决于特定类型的聚类。
风险分析器132-最小电力线安全间距确定
图27示出根据本公开的示例的风险分析器132的最小电力线安全间距确定。
参考图27，关于最小电力线安全间距确定，风险分析器132可以通过使用地面掩码和海拔图确定所分析区域中的地平面2502。风险分析器132可以基于所有电线的从电线2702到地平面2502的最小距离来确定最小安全间距2700。
对于从三维曲线重建器130接收的电线曲线参数得的每一个，风险分析器132可以针对位于线x＝k*y+t上的像素，从组合区域地面海拔图中提取地面海拔值aground，受相应塔的y坐标限制。对于每个这样的像素，可以使用第二曲线等式确定对应的电线海拔：aline＝a*y2+b*y+c。这个电力线的最小安全间距可以被确定为所选择的像素的所有(aline-aground)值中的最小值。
如果所检测的曲线的数量少于塔之间的预期的电力线的数量，或如果得到的曲线变得太接近地面(该线路的最小安全间距值小于预定的阈值)，则塔之间的缺失或损坏线路的数量的参数也可以被相应地更新。
风险联合器142-风险联合
图28和图29示出了根据本公开的示例的系统100的风险联合器142的风险联合。
关于风险联合，参考图28，风险联合器142的输入可以包括：区域gps对准数据706；区域空间分辨率714；用于每个分块2800的基础设施实体gps定位；用于每个区域中的每个风险的风险参数2104；以及用于分区类型风险的风险多边形2106和风险掩码2108。风险联合器142可以生成联合的基础设施实体gps定位2802，并且对于每个风险生成风险联合参数2804、风险联合多边形2806以及风险联合掩码2808。联合基础设施实体gps定位2802、风险联合参数2804、风险综合多边形2806和风险联合掩码可以被转发到客户端用户界面140。
图29示出了根据本公开的示例的“区域”型风险联合的高级流程。对于与风险联合有关的处理，通常对于每个“区划”类型的风险(高的树木、植被、人为对象等)，风险联合器142可以确定相互交叉的风险，并且因此应该被合并成一个。
参考图29，与风险联合有关的处理可以从框2900开始。对于每个分块内的每个区域(框2902)，风险联合器142可以逐个处理区域，并且维护先前处理的区域的列表和来自先前处理的区域的交叉风险的组。对于正被添加的每个新区域，风险联合器142可以确定与新区域交叉的先前处理的区域。对于交叉检查，可以使用区域角。可以使用区域gps对准数据将新区域的角的区域空间<x，y>中的像素坐标转换为gps位置。使用对应的区域gps对准数据，可以将得到的gps位置转换为先前处理的区域的坐标系。可以首先检查得到的坐标是否位于对应的其它区域的框内，反之亦然，并且其次，可以检查新区域的边与其它区域的边交叉。如果检查中的一个显示交叉，则可以认为这些区域是相交的。对于新区域中的每个风险(框2906)，风险联合器142可以创建新风险组并且将新风险置于新的组内(框2908)。根据一个示例，假设这个新组的总面积与新风险面积相同。对于风险的每个现有组(框2910)，风险联合器142可以确定是否存在来自交叉的区域的风险(框2912)。在框2912处，响应于确定存在来自交叉的区域的风险，风险联合器142可以确定在框2912处确定的风险掩码是否与新风险掩码相交(框2914)。为了确定交叉，可以处理具有值“1”的新风险掩码的像素。每个这样的像素的坐标可以被转换到gps位置，并且然后使用区域gps对准数据而被转变到其它风险掩码坐标系。如果在得到的坐标处其它风险掩码值为“1”，则可认为该像素与其它风险掩码相交。使用交叉的像素的数量和区域空间分辨率，可以确定以平方米为单位的总交叉区。响应于在框2912处确定的风险掩码与在框2914处的确定的新风险掩码交叉的确定，联合器142可以将该组与新风险组联合(框2916)。然后可以通过新的风险组区增加该组的总面积，减去交叉区。如果新风险与多于一个组相交，则可以添加所有这些组。此外，在框2918，风险联合器142可以将组内的风险合并，并且可以在框2920处完成与合并风险相关的处理。该技术可以确保组的总面积保持正确，并且所有重叠的风险似乎在同一组中。
为了确定合并风险参数，可以使用所有初始风险的参数。例如，为了确定风险的最大高度，可以使用初始风险的所有最大高度的最大值。最危险的树木(或高树木风险类型)的gps坐标和其它参数可以从具有最危险的树木倒落在线上方的可能性的风险来确定(或者如果跌倒在线上方的可能性为零，初始风险中的最危险的树木的高度和到线的距离之间的最高比率)。如果在风险分析器132进行风险分析期间认为至少一个初始风险被丢弃，则风险可能被丢弃(例如，如果风险具有标签“检测错误”或“授权对象”)。
为了确定合并风险的包含多边形，可以合并初始风险的包含多边形。得到的包含多边形和风险的属性可以例如以例如在客户端用户界面140处显示的以shapefile文件格式被保存。
合并风险掩码的使用对于改善客户端用户界面140的性能也可能是有帮助的，因为对于在线地图观看者来说，许多多边形的同时显示可能太耗费资源。为了准备用于客户端用户界面140的数据，风险联合器142可以转换区域风险掩码，使得具有值“0”的像素变为完全透明，并且具有值“1”的像素获得预定颜色。风险联合器142可以针对来自不同组的风险掩码使用不同的颜色，或者单个颜色可以用于所有掩码。
对于每种基础设施类型的风险(例如，缺少电线路风险、最小间距风险、电力塔倾斜风险等)，风险联合器142可以合并代表相同基础设施实体(例如塔或在一对塔之间的电力线)的所有风险，其中合并风险的数字参数可以是初始值的算术平均值、最小值或最大值，这取决于每种风险类型的系统偏好。
客户端用户界面140-数据流
图30示出了根据本公开的示例的与系统100有关的客户端用户界面140的数据流。
参考图30，客户端用户界面140的数据流可以包括接收并显示(根据需要)来自运载工具106的运载工具传感器120的图像104、来自三维模型生成器102的正射影像地图406和图像gps对准数据408，来自实体识别器124的图像估计地面海拔水平700、以及来自用于“区划”类型的风险的风险联合器142的合并基础设施实体gps定位2802、风险合并参数2804和风险合并多边形2806、以及风险联合掩码2808。
客户端用户界面140可以例如使用java编程语言和apachetomcatweb服务器来实现，并且可以在离线数据准备和在线运行时间执行期间利用输入数据。
客户端用户界面140-数据准备
关于数据准备，可以预先准备一些系统数据以供显示，例如在公共在线世界地图上。例如，可以将正射影像地图和合并风险掩码转换为适当的格式(即，googlekmz、georeferencedtiff或用于地理参考图像的其它格式)，并且可以缩放初始图像104用于更快地传输到用户的浏览器。
为了在卫星或其它背景上(例如正射影像地图或有风险的区)显示光栅层，可以将数据划分成马赛克表示，其中每个马赛克片段可以表示地理参考图像。对于一些在线地图，马赛克片段可能是正方形的。kmz格式的正射影像地图可以在keyholemarkuplanguage(kml)格式中被解密成图像和文件，包括用于图像的gps参考信息。根据所选择的在线地图的要求，可以分别处理所得到的图像和区域风险掩码，以获得每个图像和每个掩码的马赛克表示。例如，通过为每个马赛克片段的每个像素选择具有最小透明度值的像素颜色，可以将得到的马赛克表示合并在一起。
客户端用户界面140-运行时执行
图31图示了根据本公开的示例的客户端用户界面140。
参照图31，客户端用户界面140可以包括用于选择要在3102处显示的风险类型的3100处的菜单。可以在3104处显示来自3100处的菜单的风险类型的统计信息。客户端用户界面140可以包括诸如图31所示的所监测区名称、飞行数据、正射影像地图、风险(栅格或矢量)表示、卫星地图和基础设施对象矢量表示的其它方面。
用户可以使用客户端用户界面140查看初始图像。为了查看包括用户可能感兴趣的特定gps位置的图像列表，用户可以点击地图。为了获得期望的图像列表，客户端用户界面140可以使用图像gps对准数据和图像估计地面海拔水平。对于每个图像，图像中心的坐标可以被转换为gps位置。如果坐标距图像太远，则可能无法执行后续分析。在另一种情况下，可以将gps位置转换为图像坐标系，并且可以检查所得到的点的坐标用于包含在图像边界中。用户可以从特定gps位置的图像列表中选择图像，用以在分离的页面上进行仔细检查。
用户可以通过点击它们的矢量表示(包含多边形、或表示它们的中心点的图标、或例如取决于风险类型的最危险的树木)来选择地图上的风险，并且可以突出显示来自表3102的对应的风险细节，并且可以显示对应的风险的包含多边形(如果对应的风险的包含多边形最初未被显示)或者用颜色改变突出显示。用户也可以从表3102中选择风险，利用包含多边形的颜色改变，或者通过显示包含多边形(如果包含多边形最初未被显示)，可以在地图中突出显示对应的风险。
用户可以通过连续选择多边形的顶点来选择具有多边形选择工具的地图上的感兴趣区。可以简化多边形(或由用户输入的多个多边形)，并且可以确定所包括的植被和/或高树木风险或其它风险(使用风险的包含多边形)的总选择面积和面积。选择及其确定的参数可以被转传输到客户端系统用于管理林伐的订单。
系统100的元件可以是存储在非暂时性计算机可读介质上的机器可读指令。就这一点而言，系统100可以包括或者是非暂时性计算机可读介质。此外，或备选地，装置100的元件可以是硬件或机器可读指令和硬件的组合。
用于使用图像处理进行状况检测的方法
图32和图33示出根据示例的用于使用图像处理进行状况检测的方法3200和3300的流程图。作为示例而非限制，可以使用上文参照图1至图31描述的图像处理系统100来实现状况检测方法3200和3300。方法3200和3300可以在其它系统中实施。
参考图1至图32，特别是图32，在框3202处，方法3200可以包括(例如，通过风险分析器132)接收从由运载工具106捕获的图像104和遥测数据110生成的至少一个掩码、海拔地图、以及针对至少一个掩码的对准数据。图像104可以与运载工具106沿着运载工具路径108的移动和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关，并且遥测数据110可以包括与运载工具106沿运载工具路径108的移动相关的移动日志信息。
在框3204处，方法3200可以包括(例如，通过风险分析器132)使用与运载工具路径108和沿着基础设施实体的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码，以及基础设施规则，通过分析与运载工具路径108和沿着基础设施实体的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码和基础设施规则，并且通过确定基础设施规则是否被违反，来检测与基础设施实体相关的风险。
根据示例，对于方法3200，风险分析器132可以使用：与运载工具路径108和沿着对应的基础设施实体的非基础设施实体的位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、用于至少一个掩码的对准数据和基础设施规则，通过识别与基础设施实体相关的至少一个基础设施规则条件、以及确定基础设施规则条件是否被沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体满足，来检测与基础设施实体相关的风险。此外，响应于确定基础设施规则条件是否被沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体满足，风险分析器132可以通过沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体，来确定与非基础设施实体相关的风险。
根据示例，对于方法3200，至少一个基础设施规则条件可以包括：满足高度阈值，并且其中风险分析器132可以通过使用地面掩码和与分析区域相关的海拔地图而通过确定分析区域中的地平面，进一步确定高度阈值是否被沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体满足或超过；通过使用地平面和与分析区域相关的海拔地图来确定高度地图；以及通过使用高度地图来识别包括超过高度阈值的高度的、沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体。
根据示例，对于方法3200，风险分析器132可以使用与运载工具路径108和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、海拔地图、用于至少一个掩码的对准数据、以及基础设施规则，来通过如下操作检测与基础设施实体相关的风险：确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体将会落在基础设施实体上的高度，其中风险可以包括沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上，以及通过将实际高度超过沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体将会落在基础设施实体上的高度的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体进行分组，来生成组。
根据示例，对于方法3200，风险分析器132可以使用与运载工具路径108和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、海拔地图、用于至少一个掩码的对准数据、以及基础设施规则，以通过以下操作来检测与基础设施实体相关的风险：确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体将会落到特定区域的高度，其中风险包括可以沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落到特定区域。
根据示例，对于方法3200，风险分析器132可以使用与运载工具路径108和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、海拔地图、用于至少一个掩码的对准数据、以及基础设施规则，以通过以下操作来检测与基础设施实体相关的风险：确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的可能性，其中风险可以包括沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上。
根据示例，对于方法3200，风险分析器132可以使用与运载工具路径108和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、海拔地图、用于至少一个掩码的对准数据、以及基础设施规则，以通过以下操作检测与基础设施实体相关的风险：确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的可能性，其中风险可以包括沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上。此外，风险分析器可以通过以下方式生成组：通过将可能性超过预定阈值的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体进行分组，来生成组，以及确定在组中具有落在基础设施实体上的最大可能性的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体。
根据示例，对于方法3200，风险分析器132可以确定在组中具有落在基础设施实体上的风险的最大可能性的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体之间的距离。
根据示例，对于方法3200，风险分析器132可以使用与运载工具路径108和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码、海拔地图、用于至少一个掩码的对准数据、历史掩码、历史高度地图、以及基础设施规则，以通过以下操作来检测与基础设施实体相关的风险：将沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的风险，与落在基础设施实体上的历史风险进行比较。此外，风险分析器132可以确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的最大可能性是否超过落在基础设施实体上的历史风险的其中一个历史风险，以及响应于确定沿着基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的最大可能性超过落在基础设施实体上的历史风险中的该历史风险，生成与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的风险相关的告警。
根据示例，对于方法3200，风险联合器142可以使用从与运载工具路径和沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码导出的风险掩码、以及用于至少一个掩码的数据，以基于风险掩码和区域对准数据的分析，将位于不同区域中的相同类型的风险合并到相同位置。
根据示例，对于方法3200，基础设施实体可以包括基础设施实体，其包括用于电力系统的塔架和电力线。
根据示例，对于方法3200，运载工具106可以是uav，并且移动日志可以包括飞行日志。
根据示例，对于方法3200，用户界面可以生成多个可用风险中的风险和沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体的显示。
参考图1至图33，特别是图33，在方框3302处，方法3300可以包括通过风险分析器132接收从由运载工具106捕获的图像104和遥测数据110生成的至少一个掩码、海拔地图、以及用于至少一个掩码的对准数据。图像104可以与运载工具106沿着运载工具路径108的移动和沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关，并且遥测数据110可以包括与运载工具106沿运载工具路径108的移动相关的移动日志信息。
在框3304处，方法3300可以包括通过风险分析器132识别与基础设施实体位置相关的边界。
在框3306处，方法3300可以包括通过风险分析器132确定边界是否被沿着对应的基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体违反。
在方框3308处，方法3300可以包括：响应于确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体违反边界，通过风险分析器132确定与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的风险。
根据示例，方法3300可以包括通过由至少一个硬件处理器执行的风险联合器142，使用从与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的至少一个掩码导出的风险掩码，以基于对风险掩码和区域对准数据的分析，将位于不同区域中的相同类型的风险合并到相同位置。
根据示例，用于使用图像处理进行状况检测的方法3300可以包括通过由至少一个硬件处理器执行的风险分析器，接收从通过运载工具106捕获的图像104和遥测数据110生成的至少一个掩码。图像104与运载工具106沿着运载工具路径108的移动和沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关。使用图像处理进行状况检测的方法可以进一步包括通过风险分析器132，识别与基础设施实体相关的阈值；通以及过风险分析器132，确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体是否达到或超过阈值。使用图像处理进行状况检测的方法可以进一步包括响应于沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体达到或超过阈值，通过风险分析器132确定与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的风险。对于使用图像处理进行状况检测的方法，阈值包括角度阈值，并且其中通过风险分析器132确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体是否达到或超过阈值可以包括：通过风险分析器132，识别完全或部分位于用于接触基础设施实体的角度阈值内的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体。对于使用图像处理进行状况检测的方法，通过风险分析器132，确定与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的风险可以包括：通过风险分析器132，确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体将会落在基础设施实体上的高度，其中风险包括沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上，以及通过风险分析器132，通过将实际高度超过沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体将会落在基础设施实体上的高度的、沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体进行分组，来生成组。对于使用图像处理进行状况检测的方法，通过风险分析器132来确定与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的可以进一步包括：通过风险分析器132，确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落到特定区域的可能性，其中风险可以包括沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落到特定区域。对于使用图像处理进行状况检测的方法，通过风险分析器132，确定与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体相关的风险可以进一步包括：通过风险分析器132，将沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的风险，与落在基础设施实体上的历史风险进行比较；通过风险分析器132，确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的最大可能性是否超过落在基础设施实体上的历史风险的其中一个历史风险，以及响应于确定沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的最大可能性超过落在基础设施实体上的历史风险中的该历史风险，通过风险分析器132生成与沿着相应基础设施实体的基础设施实体位置的多个非基础设施实体中的至少一个非基础设施实体落在基础设施实体上的风险相关的告警。
计算机系统
图34示出了可以与在本文描述的示例一起使用的计算机系统3400。计算机系统可以表示包括可以在服务器或另一计算机系统中的组件的通用平台。计算机系统3400可以用作系统100的平台。计算机系统3400可以通过处理器(例如，单个或多个处理器)或其它硬件处理电路执行本文描述的方法、功能和其它过程。这些方法、功能和其它过程可以实现为存储在计算机可读介质上的机器可读指令，该计算机可读介质可以是诸如硬件存储设备(例如，ram(随机存取存储器)，rom(只读存储器)eprom(可擦除可编程rom)，eeprom(电可擦除可编程rom)，硬盘驱动器和闪存)的非暂时性的。
计算机系统3400可以包括处理器3402，该处理器3402可以实现或执行机器可读指令，该机器可读指令执行本文描述的方法、功能和其它过程中的一些或全部。来自处理器3402的命令和数据可以通过通信总线3404通信。计算机系统还可以包括：诸如随机存取存储器(ram)的主存储器3406，其中在运行时间期间处理器3402的机器可读指令和数据可以驻留；以及辅助数据存储器3408，该辅助数据存储器3408可以是非易失性的并且存储机器可读指令和数据。存储器和数据存储是计算机可读介质的示例。存储器3406可以包括使用图像处理器3420的状况检测，该图像处理器3420包括在运行时间期间驻留在存储器3406中、并由处理器3402执行的机器可读指令。使用图像处理器3420的状况检测可以包括图1所示的系统100的元件。
计算机系统3400可以包括诸如键盘、鼠标、显示器等的i/o设备3410。计算机系统可以包括用于连接到网络的网络界面3412。可以在计算机系统中添加或替代其它已知的电子部件。
本文已经描述和说明的是示例和其一些变形。本文使用的术语、描述和附图仅仅是为了说明，而不是作为限制。在本主题的精神和范围内可以进行许多变化，这些变化旨在由所附权利要求及其等同物来限定，其中除非另外指出，否则所有术语均以其最宽泛的合理含义来表示。