本申请要求于2017年3月24日提交的申请号为201721010459的印度申请(发明名称：用于电信库存管理的系统和方法)的优先权。上述申请的全部内容通过引用并入本文。
本文中的实施方式总体涉及电信库存管理，并且更具体地涉及使用街景图像经由对象识别和定位来进行的电信库存管理。
背景技术：
在过去的几十年中，已经看到电信行业在技术以及其客户群方面的指数增长。技术变化和客户日益增长的期望让电信公司承受着需要迅速地检修其网络和相应的设备的巨大压力。电信公司也需要控制成本，以使股东满意。这就需要准确了解其地上和地下电信设施及其相应的位置，以从铜线升级到光纤网络。因此，设施库存管理对于许多提供基础设施服务(例如电信、电力公用事业、运输等)的组织机构来说是一个具有挑战性的问题。
技术实现要素：
以下给出本公开的一些实施方式的简化概述从而提供对实施方式的基本理解。该概述不是实施方式的全面综述。在此并非意图确定实施方式的关键要素或描绘实施方式的范围。其唯一目的是以简化形式呈现一些实施方式，作为下面呈现的更详细说明书的序言。
鉴于上述，本文的实施方式提供了用于电信库存管理的方法和系统。在一个方面，提供了一种提供的电信库存管理方法，其中该方法包括经由一个或多个硬件处理器获得具有一个或多个电信设施的地理区域的多个街景图像。该一个或多个电信设施与相应的全球定位系统(gps)位置坐标相关联。此外，该方法包括经由一个或多个硬件处理器将对象识别模型应用于多个街景图像以检测多个街景图像中的一个或多个电信设施。检测一个或多个电信设施包括将一个或多个电信设施与相应的设施标签相关联。此外，该方法包括经由一个或多个硬件处理器通过对从所述多个街景图像中选择的一组多视点图像应用三角测量法来估计一个或多个电信设施在地理区域中的实际世界位置。该组多视点图像被捕捉自地理区域中的一个或多个电信设施附近的多个连续位置。此外，该方法包括经由一个或多个硬件处理器基于所估计的实际世界位置验证该一个或多个电信设施的gps位置坐标。
另一方面，提供了一种用于电信库存管理的系统。该系统包括一个或多个存储器和一个或多个硬件处理器，一个或多个存储器联接到一个或多个硬件处理器，其中一个或多个硬件处理器由被存储在一个或多个存储器中的编程指令被配置成获得具有一个或多个电信设施的地理区域的多个街景图像。一个或多个电信设施与相应gps位置坐标相关联。此外，一个或多个硬件处理器能够执行编程指令以将对象识别模型应用于多个街景图像以检测多个街景图像中的一个或多个电信设施。检测一个或多个电信设施包括将该一个或多个电信设施与相应的设施标签相关联。此外，一个或多个硬件处理器能够执行编程指令以通过对从多个街景图像中选择的一组多视点图像应用三角测量法来估计一个或多个电信设施在地理区域中的实际世界位置。该组多视点图像被捕捉自地理区域中的一个或多个电信设施附近的多个连续位置。此外，一个或多个硬件处理器能够执行编程指令以基于所估计的实际世界位置来验证一个或多个电信设施的所述gps位置坐标。
在另一方面，提供了一种非暂时性计算机可读介质，在该非暂时性计算机可读介质上包含用于执行电信库存管理的方法的计算机程序。该方法包括获得具有一个或多个电信设施的地理区域的街景图像。一个或多个电信设施与相应的gps位置坐标相关联。此外，该方法包括将对象识别模型应用于多个街景图像以检测多个街景图像中的所述一个或多个电信设施。检测一个或多个电信设施包括将一个或多个电信设施与相应的设施标签相关联。此外，该方法包括通过对从多个街景图像中选择的一组多视点图像应用三角测量法来估计一个或多个电信设施在地理区域中的实际世界位置。该组多视点图像被捕捉自地理区域中的一个或多个电信设施附近的多个连续位置。此外，该方法包括基于所估计的实际世界位置验证一个或多个电信设施的gps位置坐标。
附图说明
参考附图对详细说明书进行描述。在图中，附图标记的最左边数字标识附图标记首先出现的图。在所有附图中对于相同的特征和模块使用相同的数字。
图1示出根据示例性实施方式的使用多视点装置来捕捉街景图像的示例性图示。
图2示出电信库存管理的电信设施的示例。
图3示出根据本主题的实施方式的电信库存管理的网络实现。
图4示出根据一个实施方式的用于电信库存管理的系统的框图。
图5示出根据示例性实施方式的用于电信库存管理的方法的流程图。
图6示出根据示例性实施方式的用于使用三角测量方法估计电信设施的实际世界位置的装置的示例性图示。
图7a示出根据多个实施方式的用于检测电信设施的多个对象检测模型的精度召回(pr)曲线。
图7b示出根据多个实施方式的用于检测电信设施的多个对象检测模型的置信度矩阵热图。
本领域技术人员应该理解，本文中的任何框图是体现本主题原理的说明性系统和设备的概念视图。同样，应该理解，任何流程图、作业图等表示可以实质上在计算机可读介质中呈现并因此由计算机或处理器执行的各种过程，无论该计算机或处理器是否被明确示出。
具体实施方式
在本主题中公开用于电信库存管理的系统和方法。通常，由于电信行业技术的高涨，电信公司持续承受着需要快速检修网络和相应设备的压力。电信公司也需要控制成本以保持股东的满意。这意味着电信公司需要准确了解其地上和地下设施以及相应的位置，从而从铜线升级到光纤网络。
通常，电信公司与负责勘查的勘查人员紧密结合来监视电信设备。例如，如果电信设施要从铜线升级到光纤网络，勘查人员需要手动查找地上和地下电信设施并更新所述设施的相应位置。因此，设施库存管理涉及可能不准确的劳动密集型任务。此外，实地勘查中更新的数据耗时、资源密集并且证实费用昂贵。
虽然多家电信公司已经开始利用基于地理信息系统(gis)的设施管理系统能力，但是这种系统中相当大比例的设施数据是不完整或不准确的。由于必须收集大量的数据，因此根据所有设施创建综合电信库存具有挑战性。由于用于勘查的手工劳动，电信公司招致高成本。不准确和不完整的数据导致：(a)如果添加新设备，则会延迟计划阶段，(b)在计划完成前需要额外勘查，(c)由于客户订单履行受到影响而导致现金延迟。
本文公开的多个实施方式提供了用于设施库存管理的方法和系统，使得可以消除传统电信设施管理系统的上述限制。例如，在一个实施方式中，所公开的方法通过使用前沿算法识别来自街景图像的地上库存细节来减少勘查需求，该前沿算法利用基于对象识别/定位的计算机视觉技术。街景图像的使用有助于在诸如台式机、平板电脑等的计算设备上完成勘查，并且极大地避免了手工劳动。街景图像提供了从“街景”角度观看地理区域的能力。街景图像可以通过例如车载摄像头捕捉和/或由结合在一起的个人提供以创建相应周围地理区域的全景外观。所述街景图像是在车辆沿着街道行驶时捕捉的。在每个地理区域，可以采用与多个方位角对应的多个图像来捕捉该地理区域的360度视角。例如，车载图像捕捉装置可以利用九个不同的镜头，该九个不同的镜头从特定的地理区域以不同的方向角度增量捕捉八个不同的街景图像。在本文中，可以将与对象的多个方向角对应的多个图像称为多视点图像。图1中示出了捕捉多视点图像的示例。
参考图1，示出了使用多视点装置来捕捉街景图像的示例性图示100。如图所示，电信设施，例如机柜106安装在街道114的一侧。多视点装置可以包括图像捕捉设备116，该图像捕捉设备116可以从多个位置，例如位置a和位置b捕捉机柜106的图像。在处于位置a的图像捕捉设备116的位置上，图像捕捉设备116可以具有视场122，而在处于位置b的图像捕捉设备116的位置上，图像捕捉设备116可以具有视场124。如图所示，视场122、124具有有限程度的场景重叠。
图像捕捉设备在位于位置a和b时所捕捉的图像可以被称为多视点图像，因为图像从不同的视点捕捉同一对象。所捕捉的街景图像包括与每个街景图像对应的图像捕捉装置gps坐标。所述街景图像和与其关联的gps坐标可以被存储在存储库(例如云中的存储库)中。
这里，街景图像提供场景的人头视图。但是，在街景图像中识别地面上的对象(例如人孔和/或接线盒)可能是困难的。而且，地面上的电信设施可能包含很多杂乱的东西，并且视点差异很大。此外，许多电信设施与周围环境有很大的相似性，因此使得其难以检测。为了避免上述问题，所公开的方法使用从街景图像导出的gps坐标来估计电信设施的实际定位/位置。在一个实施方式中，管道在优先维护或更换设施方面起关键作用。该方法通过使用对象检测模型，例如，通过使用稳健快捷的基于区域的卷积神经网络(r-cnn)模型来检测设施。
本文中的实施方式及其各种特征和有利细节将参考在附图中示出并在以下说明书中详细描述的非限制性实施方式来更完整地解释。本文中使用的示例仅旨在便于理解可以实施本文的实施方式的方式，并且进一步使得本领域技术人员能够实践本文的实施方式。因此，这些示例不应被解释为限制本文中实施方式的范围。
方法和系统不限于本文描述的具体实施方式。另外，该方法和系统可以独立于且区别于本文所描述的其它模块和方法而被独立实施。每个设备元件/模块和方法可以与其它元件/模块和其它方法结合使用。
已经关于图1至图7b详细解释了实现用于电信库存管理的系统和方法的方式。虽然所述用于电信库存管理的方法和系统的各方面可以在任何数量的不同系统、公用设施环境和/或配置中实施，但是在以下示例性系统的背景下描述实施方式。
图2示出根据示例性实施方式的用于电信库存管理的电信设施的多个示例。在本示例中，示出电信设施包括机柜、人孔、接线盒和电线杆。然而应该理解的是，电信设施可以包括另外的电信设备，而不限于上述示例。
图2在同一个示图中示出了具有电线杆212的场景210、具有由电线杆224遮挡的接线盒222的场景220、具有人孔232的场景230和具有带有接线盒244的机柜242的场景240。
如所示，如果对象周围的环境区域的构造/颜色也在外观上具有相似性，则识别变得更具挑战性。在多个实施方式中，所公开的电信库存管理系统应用利用更快的(faster)rcnn的基于视觉的技术(或对象检测技术)，并且基于图像三角测量的设施定位必须准确地检测地理区域场景中的电信设施。
现在参考图3，示出了根据本主题的实施方式的用于电信库存管理的系统302的网络实施例300。如将在后面的描述中详细解释的，系统302实施用于电信设施的库存管理的原理方法，其应用利用更快的rcnn的包括深度特征的视觉和机器学习技术和基于图像三角测量的设施定位。
尽管考虑系统302被实施用于电信库存管理来解释本主题，但可以理解，系统302可以不限于任何特定环境。系统302可以用于涉及对象检测的各种领域。系统302可以在多种计算系统例如膝上型计算机、台式计算机、笔记本、工作站、大型计算机、服务器、网络服务器等中实施。
本文中，系统302可以接收街景图像，例如，从多个设备和/或机器304a、304b......304d(在下文中统称为设备304)捕捉的图像。设备304的示例可以包括但不限于车载摄像头设备、便携式计算机、个人数字助理、手持设备、工作站、具有vr相机的设备、被配备为捕捉和存储视频的存储设备等。在一个实施方式中，设备304可以包括能够捕捉图像的设备。设备304通过网络306通信地联接到系统302，并且可以能够将捕捉的图像传输给系统302。
在一个实现方式中，网络306可以是无线网络、有线网络或其组合。网络306可以被实现为诸如内联网、局域网(lan)、广域网(wan)、因特网等的不同类型的网络之一。网络306可以是专用网络或共享网络。共享网络表示使用各种协议彼此通信的不同类型的网络的关联，各种协议例如超文本传输协议(http)、传输控制协议/网际协议(tcp/ip)、无线应用协议(wap)等。此外，网络306可以包括各种网络设备，包括路由器、网桥、服务器、计算设备、存储设备等。在一个实施方式中，系统302可以在计算设备310中实施。计算设备310的示例可以包括但不限于台式个人计算机(pc)、笔记本、膝上型计算机、便携式计算机、智能手机、平板电脑等。系统302还可以与数据储存库312相关联以存储地理位置的街景图像以及与其相关联的gps数据。在一个实施方式中，数据储存库可以被存储配置在外部并且与实施系统302的计算设备310可通信地联接。或者，数据储存库312可以被配置在系统302内。参考图4进一步描述用于电信库存管理的系统302的示例性实施方式。
图4示出了根据本公开的实施方式的用于电信库存管理的系统400的框图。在示例性实施方式中，系统400可以被实施在计算设备(例如计算设备310(图3))中，或者与计算设备直接通信。系统400包括一个或多个硬件处理器例如处理器402、一个或多个存储器例如存储器404和网络接口单元例如网络接口单元406，或与其通信。在一个实施方式中，处理器402、存储器404和网络接口单元406可以通过系统总线例如系统总线408或类似的机构来联接。
处理器402可以包括实现与通信相关联的音频功能和逻辑功能等的电路。例如，处理器202可以包括但不限于一个或多个数字信号处理器(dsp)、一个或多个微处理器、一个或多个专用计算机芯片、一个或多个现场可编程门阵列(fpga)、一个或多个专用集成电路(asic)、一个或多个计算机、多个模数转换器、数模转换器和/或其它支持电路。处理器402因此还可以包括对消息和/或数据或信息进行编码的功能。除了其它方面，处理器402还可以包括被配置为支持处理器402的操作的时钟、算术逻辑单元(alu)和逻辑门。此外，处理器402可以包括执行一个或多个软件程序的功能，该一个或多个软件程序可以被存储在存储器404中或以其它方式可由处理器402访问。
一个或多个存储器例如存储器404可以存储由系统用来执行系统的功能的任何数量种类的信息和数据。存储器404可以包括例如易失性存储器和/或非易失性存储器。易失性存储器的示例可以包括但不限于易失性随机存取存储器(ram)。非易失性存储器可以进一步或可替选地包括电可擦除可编程只读存储器(eeprom)、闪存、硬盘驱动器等。易失性存储器的一些示例包括但不限于随机存取存储器、动态随机存取存储器、静态随机存取存储器等。非易失性存储器的一些示例包括但不限于硬盘、磁带、光盘、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存等。根据多个示例性实施方式，存储器404可以被配置为存储用于使得系统400能够执行各种功能的信息、数据、应用程序等。此外或可替选地，存储器404可以被配置为存储当由处理器402执行时使得系统以在多个实施方式中描述的方式工作的指令。
在一个实施方式中，存储器404包括数据储存库，用于存储多个地理位置的街景图像以及与所述街景图像对应的相关gps数据。应该注意，数据储存库可以实现在实施系统400的计算设备(例如，图3的计算设备310)中。或者，数据储存库以被配置在计算设备外部并与计算设备通信地联接。
网络接口单元406被配置为促进第一计算设备和第二计算设备之间的通信。网络接口单元406可以是以无线连接或有线连接的形式。无线网络接口元件406的示例可以包括但不限于ieee802.11(wifi)、
本文中，存储器例如存储器404和随硬件处理器例如处理器402配置的计算机程序代码使得系统400执行本文在下面描述的各种功能。
在一个实施方式中，使系统400生成ui，例如包括用于显示街景的区域的ui406。ui406可以允许输入与地理区域对应的一个或多个参数，并且响应于所述参数的所述接收，显示该地理区域的多个街景图像。在一个实施方式中，可以使系统400下载与给定gps坐标对应的多个街景图像并且经由ui406显示所述图像。在一个实施方式中，为了下载图像，可以使系统400接收一个或多个参数，并且基于所述参数下载地理位置处的多个街景图像。所述参数的示例可以包括但不限于地理位置的位置(纬度/经度值)、街景图像的优选尺寸、方向(heading)(0-360)、用于捕捉街景图像的图像捕捉设备的水平视场、节距、以及摄像头相对于gsv(全球安全验证)车辆的向上和/或向下角度。这里的术语“方向”指的是图像捕捉设备在任何点在0至360度的角度范围内查看图像的方位。本文中，应注意，与多个街景图像中的两个连续gps位置坐标对应的图像可以与将在不同位置变化的不同摄像头角度具有有限程度的场景重叠，如参考图1所示及所述。
地理区域的多个街景图像可以具有一个或多个电信设施。电信设施可以包括但不限于机柜、电线杆、人孔和接线盒。一个或多个电信设施可以与相应的gps位置坐标相关联。可以使系统400识别多个街景图像中的电信设施。诸如接线盒和人孔等电信设施是容纳电缆接头的地下结构和/或可通过表面盖子进入的设备。接线盒和人孔可以位于人行道、边沿或行车道上。铺砌区域和步行区域有专用的遮盖变体。某些其它电信设施，如机柜和人孔是地上设施。在一个实施方式中，使系统将对象识别模型应用于多个街景图像以检测多个街景图像中的电信设施。如将在说明书中稍后解释的，检测街景图像中的电信设施包括将电信设施与相应的设施标签相关联。
对象识别模型有利于检测街景图像中的电信设施。对象识别模型的示例可以包括但不限于利用线性支持向量机(svm)的方向梯度直方图(hog)、利用线性svm的可变形部件模型以及更快的rcnn。参考图7a和图7b进一步描述使用前述对象识别模型的系统400的性能。优选地，通过使用深度学习模型(例如，更快的r-cnn检测器)使系统检测街景图像中的电信设施。
在一个实施方式中，在应用对象识别模型之前，使系统400训练对象识别模型以检测和预测多个训练图像中的电信设施。所述多个训练图像可以是多个地理区域的街景图像。在一个实施方式中，对象识别模型识别多个训练图像中的电信设施。在对象识别模型的训练期间，为模型提供多个训练图像，并且所述训练图像中的每个电信设施被包围在边界框中。另外，可以例如通过使用所述电信设施的gps位置坐标来标记训练图像中的电信设施的位置。此外，给包围在边界框中的每个识别的电信设施分配相应的标签。如本文所公开的，在一个实施方式中，为了检测街景图像中的电信设施，可以使用更快的r-cnn检测器。例如，基于r-cnn的检测器可以在街景图像上运行并且预测在所述图像中以所有比例出现的不同对象。在一个实施方式中，系统400使较快的r-cnn检测器将置信度分数分配给对街景图像中的电信设施的预测。在一个实施方式中，可以基于预测阈值来分配置信度分数。在一个实施方式中，可以预定义预测阈值。例如，用户可以在检测电信库存之前定义预测阈值。然后可以使系统识别可被检测到的置信度得分等于或大于预测阈值的电信设施。
应该理解，更快的rcnn是区域提议网络(rpn)和快速(fast)rcnn的组合。rpn是预测每个位置处的对象边界框和对象分数(置信度分数)的全卷积网络。rpn被端对端训练以生成高质量的区域提议，其被快速rcnn用于检测。rpn被设计为有效预测具有各种比例和纵横比的区域提议。这种方法直接解决了(n+1)类问题，即在n个预定义的类中标记rpn检测到的所有提议，并且将背景建模为单独的类。
在可替选实施方式中，可以将hog模型用于检测街景图像中的电信设施。hog模型提出了基于刚性模板的对象识别方法，例如，以多个比例识别街景图像中的电信设施。hog模型检测器使用固定尺寸的模板窗口通过在所有位置和比例下以重叠方式进行扫描来过滤所述图像。每个模板窗口由按梯度幅值加权的方位分布来表示。hog模型将每个设施类型建模为前景对象。因此，在训练期间，hog模型学习四个独立的检测器，针对每个设施类型一个检测器。
在又一个实施方式中，可变形部件模型(dpm)被用于训练和检测街景图像中的电信设施。dpm有利于解决目标检测中的类别内多样性问题。例如，由于在本公开中，对象(或电信设施)取自不同视点，具有颜色、姿态和照度变化，所以基于dpm的检测器可以有利于对电信设施的稳健检测。在该背景下，可以将dpm检测器与基于hog的检测器进行比较，以基于对象检测模型的潜在区别性学习检测电信设施并使用电信设施(即子类别)检测多个部件。利用可变形部件和一组空间灵活的高分辨率部件模板来表示使用较低分辨率根模板的对象模型。每个部件捕捉对象的局部外观特性，并且变形通过连接它们的链接来表征。潜在区分性学习涉及迭代过程，其在已知变量(例如，示例的边界框位置)与未知的即潜在的变量(例如，电信设施部件位置、示例部件资格)之间交替参数估计步骤。最后，子类别的概念是将对象示例分离成不相交的组，每个组具有简单的(可能在语义上可解释的)主题，例如正视图与侧视图，或坐着的人与标准人等，然后根据对象/设施类型学习模型。应该理解，在本文中，术语“对象”是指电信设施。
每个街景图像具有相关联的gps坐标。但是，电信设施的实际世界位置可能与摄像头坐标的gps坐标不同。在一个实施方式中，进一步处理标注有设施标签的街景图像以用于使用三角测量识别设施位置。在一个实施方式中，通过对从多个街景图像中选择的一组多视点图像应用三角测量方法，使系统400估计地理区域中的电信设施的实际世界位置。改组多视点图像是来自地理区域中的一个或多个对象附近的多个连续位置捕捉的多个街景图像当中的那些图像。例如，在提供地理区域的gps坐标时，系统可以检索该地理区域的多个图像，但这是出于电信设施管理的目的；该系统仅对那些包含从不同角度捕捉的一个或多个电信设施的图像感兴趣。具有从不同角度捕捉的对象的场景的这种图像被称为多视点图像。系统选择从地理区域中的一个或多个电信设施附近的多个连续位置捕捉的一组多视点图像，并且将三角测量方法应用于该组多视点图像以估计该地理区域中的一个或多个电信设施的实际世界位置。
在一个实施方式中，为了估计电信设施的实际世界位置，使系统400使用匹配模型来识别该组多视点图像中的多个点对应关系。进一步使得系统400至少基于该多个点对应关系来估计一个或多个电信设施中的电信设施的实际世界位置。参考图7更详细地解释对地理区域中的一个或多个电信设施的实际世界位置的估计。
在示例性实现方式中，使系统400更新存储库中的一个或多个电信设施的实际世界位置。例如，在估计实际世界位置时，系统400可以呈现数据校正屏幕。可以将标记放置在校正屏幕上呈现的街景的库存位置处。标记可以详述数据校正过程。系统400可以使数据校正屏幕被更新为具有电信设施的通用细节，例如纬度、经度、设施类型、街道名称等。
使系统400至少基于估计的实际世界位置来验证一个或多个电信设施的gps位置坐标。在一个实施方式中，验证一个或多个电信设施的gps位置坐标包括将电信设施的gps位置坐标与所估计的实际世界位置进行比较。在一个实施方式中，执行对所估计的实际世界位置的验证以确定地面真实对象(例如，电信设施)与由所公开的系统400检测到的对象(或电信设施)之间的重叠。在一个实施方式中，所述重叠或验证可以通过绘制由系统400采用的对象检测模型的精度-召回曲线来执行。参考图7a进一步描述用于检测电信设施的多个对象检测模型的pr曲线的示例。在另一个实施方式中，验证可以通过计算由系统400采用的对象检测模型的混淆矩阵来执行。参考图7b进一步描述用于检测电信设施的多个对象检测模型的混淆矩阵的计算示例。
图5示出了根据示例性实施方式的用于电信库存管理的方法500的流程图。方法500可以在计算机可执行指令的一般背景下描述。通常，计算机可执行指令可以包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构、过程、模块、功能等。方法500还可以在分布式计算环境中实施，其中功能由通过通信网络链接的远程处理设备执行。描述方法500的顺序不旨在被解释为限制，而是可以以任何顺序组合任何数量的所述方法块来实现方法500或可替选方法。此外，方法500可以以任何合适的硬件、软件、固件或其组合来实现。在一个实施方式中，流程图中描述的方法500可以由系统(例如图4的系统400)执行。在示例性实施方式中，系统400可以被实施在计算设备中，例如计算设备310(图3)中。
在502，方法500包括获得具有一个或多个电信设施的地理区域的多个街景图像。一个或多个电信设施与相应的gps位置坐标相关联。电信设施的示例包括但不限于机柜、人孔、接线盒和电线杆。
在504，方法500包括将对象识别模型应用于多个街景图像以检测多个街景图像中的一个或多个电信设施。检测一个或多个电信设施包括将一个或多个电信设施与相应的设施标签相关联。在一个实施方式中，可以应用于街景图像的对象识别模型的示例可以包括但不限于hog-svm模型、svm模型和更快的rcnn模型。参考图7a和图7b进一步描述前述对象识别模型的示例性能。
在一个实施方式中，该方法包括训练对象识别模型以在应用对象识别模型之前检测多个训练图像中的一个或多个电信设施。在一个实施方式中，训练对象识别模型包括识别多个训练图像中的一个或多个电信设施，使得一个或多个电信设施中的每一个在多个训练图像的相应训练图像中被包围在边界框中。对被包围在边界框中的所识别的一个或多个电信设施中的每一个分配相应的标签。此外，为了检测电信设施，在该组多视点图像中预测包含一个或多个电信设施中的电信设施的边界框，并且基于预测阈值将相应的设施标签分配给预测的边界框。
在506，方法500包括通过对从多个街景图像中选择的一组多视点图像应用三角测量方法来估计该地理区域中的一个或多个电信设施的实际世界位置。从地理区域中的一个或多个电信设施附近的多个连续位置捕捉该组多视点图像。参考图1描述捕捉多视点图像的例子。
在508，方法500包括至少基于所估计的实际世界位置来验证一个或多个电信设施的gps位置坐标。在本文中，执行对所估计的实际世界位置的验证以确定地面真实对象(例如，电信设施)与由对象检测模型检测到的电信设施之间的重叠。在一个实施方式中，所述重叠或验证可以通过绘制对象检测模型的精度-召回(pr)曲线来执行。参考图7a进一步描述用于检测电信设施的多个对象检测模型的pr曲线的示例。在另一个实施方式中，验证可以通过计算对象检测模型的混淆矩阵来执行。参考图7b进一步描述了用于检测电信设施的多个对象检测模型的混淆矩阵的计算示例。
图6示出了根据示例性实施方式的用于使用三角测量方法估计电信设施的实际世界位置的装置600的示例性图示。如本文中所示，装置600被示出为包括多个图像捕捉设备，例如摄像头602和摄像头604，摄像头602和摄像头604被定位成捕捉设施例如机柜606的街景图像。摄像头602、604位于两个不同位置处从而捕捉机柜606的多个视图。例如，摄像头602可捕捉图像608，而摄像头604可捕捉机柜606的图像610。
假设在世界坐标系中通过(x；y；z)描述的机柜606上的点p在摄像头602的图像平面中的位置pl处捕捉到并且在摄像头604图像平面中的位置pr处捕捉到。来自两个图像视点的点p的深度可以通过使用匹配模型识别该组多视点图像中的多个点对应关系来估计。为了获得该组多视点图像之间的点对应关系，可以通过去除投影失真来使该系统对多视点图像进行预处理。在一个实施方式中，系统可以接收已经被预处理以去除投影失真的多视点图像。在本文中，投影失真可以指从两个不同视点捕捉的图像中的失真。由于图像视点的旋转和/或平移，所述失真可能存在。在某些情况下，其中一个图像可以包含其它图像中可能不存在的另外的视野。彼此去除对齐w.r.t有助于去除图像中的投影失真。
通过识别在多视点图像608和610中相似的图像区域来确定点对应关系。对于分别在不同视点或图像608、610中的点p1和pr，在三维空间存在与不同位置的投影机中心连接的两个射线612、614。点p的距离可以通过从两个视点中找到最接近与匹配特征位置{p}对应的3d射线的3d点pa来估计。在一个实施方式中，可以利用基于sift(尺度不变特征变换)的图像匹配特征来识别匹配的3d点pa。使用基于sift的匹配的优点是：基于sift的特征应用基于像素梯度计算的局部特征向量的集合。此外，基于sift的匹配体现了比例和照度不变性，并且也返回部分匹配的区域。
不同图像平面上的点pl和pr关联为：
这里，
k表示摄像头校准参数，
r和t是两个摄像头位置之间的旋转矩阵和平移向量。
方程式(1)的简化给出被定义为极线约束的以下条件：
e被定义为作为t和r的叉积计算的基本矩阵。方程式2可以被重写为：
prtfpl＝0(3)
这里f被定义为基本矩阵。对于p中的一组n个匹配点，我们有n个齐次方程，例如对于第i个匹配点如下：
方程式4可以使用归一化的8点算法来求解。按方程式(5)的f的因式分解返回极矢量e和相应的单应性h。
f＝[e]×h(5)
因式分解不是唯一的并且可以通过包括直接逼近和svd的不同方法来获得。利用有效的单应性h，投影矩阵po和p’o可以被计算为：
矩阵po和p’o将实际世界点p与其在摄像头702、704的图像平面上的投影之间的关系定义为：
pl＝pop，pr＝p′op(7)
可以求解方程式(7)以估计p的位置。使用检索到的坐标和摄像头位置的gps值，可以以合理精确度估计电信设施(例如机柜606)的实际位置。
图7a示出了根据多个实施方式的用于检测电信设施的多个对象检测模型的pr曲线。具体地，图7a示出了用于生成电信设施的提案/预测的3个对象检测模型：即利用线性svm的hog检测器(由曲线702示出)、利用线性svm的基于可变形部件的模型(由曲线704示出)和利用rpn的更快的rcnn(由曲线706示出)的精度-召回曲线。
在本文中，pr曲线被选择为nneg>>npos，其中nneg、npos是在真实场景中的负数和正数。另外，针对每条曲线确定f1分数。f1分数以单个数字汇总了精度-召回曲线的性能。在以下表格中显示了三种对象检测模型的最高f1值下的p和r的值：
如上表所示，与hog和dpm检测器相比，更快的rcnn提供最佳精确度、召回以及f1分数，这些因数用于评价检测器的性能。
图7b示出了根据多个实施方式的用于检测电信设施的多个对象检测模型的置信度矩阵热图750。具体而言，当达到最大f1分数时，混淆矩阵750用于所提出的方法。混淆矩阵热图750(在下文中称为混淆矩阵750)示出，当我们沿着对角线观察时，机柜、接线盒和人孔已经被有效地检测到。此外，有效检测到机柜和接线盒。
混淆矩阵750的最后一行包括由通过rpn的提议检测作为背景略去的检测。同理，混淆矩阵750的最后一列指的是通过rcnn的正确标记去除的包括一些误报即背景的检测到的电信资产的提议或预测。最后一列的值明显低于在电信库存管理的当前应用场景中建立了更快的rcnn模型的效用的矩阵的主对角线中的相应条目。尽管接线盒和人孔也已被合理地检测到，但有些情况表明存在混淆：有些人孔被归类为接线盒，而有些人孔被归类为接线盒，因为它们都是地下设施、位于人行道上并且视觉上非常相似，混淆矩阵750的第三行所示。
多个实施方式提供了用于电信库存管理的方法和系统。所公开的系统能够使用地理区域的街景图像通过多对象识别和定位来自动检测电信设施。所公开的方法利用计算机视觉和机器学习技术和模型来(a)通过设施识别和通过传统勘查过程迄今完成的定位管道发现失踪的设施，并且(b)更新新的设施。所公开的方法或管道不仅旨在减少人力的使用，而且还降低了总体勘查成本。所公开的实施方式的显着优点是选择用于检测电信设施的对象检测模型。已经确定，在当前场景中，更快的rcnn被确定为最稳健的对象检测模型。
书面说明书描述了本文的主题以使得本领域的任何技术人员能够得到和使用这些实施方式。主题实施方式的范围由权利要求限定，并且可以包括本领域技术人员想到的其它修改。如果这些其它修改具有与权利要求的字面语言并无不同的相似要素，或者如果它们包括与权利要求的字面语言无实质区别的等同要素，则这些其它修改被确定为在权利要求的范围内。
这里的实施方式可以包括硬件和软件元件。以软件实现的实施方式包括但不限于固件、常驻软件、微码等。由本文描述的各种模块执行的功能可以通过其它模块或其它模块的组合实现。为了该说明书的目的，计算机可用或计算机可读介质可以是能够包括、存储、通信、传播或传输供指令执行系统、装置或设备使用或与其结合的程序的任何装置。
对具体实现方式和实施方式的上述描述将充分揭示本文实现方式和实施方式的一般本质，使得其它人可通过应用当前知识容易地修改和/或调整各种应用，例如特定实施方式而不背离通用的概念，因此，这些调整和修改应该并且旨在被理解为在所公开的实施方式的等同方案的含义和范围内。应该理解，这里使用的措辞或术语是为了描述的目的而不是限制的目的。因此，虽然已经根据优选实施方式对本文的实施方式进行了描述，但是本领域技术人员应认识到，可以在本文所述的实施方式的精神和范围内进行修改的情况下实施本文的实施方式。
已经参考多个实施方式呈现了前述说明书。本申请所属领域的技术人员应当理解，可以在不意图脱离原理、精神和范围的情况下对所描述的结构和操作方法实施变更和改变。