用于处理记录的图像中的对象的计算设备和方法与流程

本文的实施例涉及计算设备和在其中执行的方法。此外，本文还提供了一种计算机程序产品和一种计算机可读存储介质。特别地，本文的实施例涉及处理一个或多个记录的图像中的对象。例如，在对结构中的对象进行计数时处理对象。该结构例如可以是诸如天线站点或建筑物的通信设施。

背景技术：

1、在典型的通信网络中，移动设备，也称为无线通信设备、移动站、空中设备、车辆、站(sta)和/或无线设备，通过无线电接入网络(ran)到一个或多个核心网络(cn)与一个或另一个移动设备或与服务器或类似设备通信。ran覆盖被划分为服务区域或小区区域的地理区域，每个服务区域或小区区域由诸如接入节点(例如wi-fi接入点或无线电基站(rbs))的无线电网络节点服务，在一些无线电接入技术(rat)中，接入节点也可以称为例如nodeb、演进型nodeb(enodeb)和gnodeb(gnb)。服务区域或小区区域是无线电网络节点提供无线电覆盖的地理区域。无线电网络节点在无线电频率上工作以通过空中接口与接入节点范围内的无线设备通信。无线电网络节点通过下行链路(dl)与无线设备通信，并且无线设备通过上行链路(ul)与接入节点通信。无线电网络节点可以包括在一个或多个小区上提供无线电覆盖的一个或多个天线。一个或多个天线可以安装在无线电塔或另一结构上以增强覆盖。

2、例如对无线电基站、电力线的远程站点检查以及一般的基础设施检查，对于确保持续运营和流水线的服务交付至关重要。然而，由于站点检查目前在很大程度上由技术人员和现场服务运营单位手动执行，因此它们被认为是耗时且昂贵的活动。此外，此过程需要站点查看甚至爬上电信结构，例如塔和建筑物，这是非常耗时和危险的。因此，随着专业级无人机(uav)检查技术和移动检查设备(mid)的广泛应用，它们可以被视为更灵活、更具成本效益、更安全和高效的解决方案，其在执行远程站点检查任务时是有帮助的。

3、从围绕将要检查的站点或结构的若干个水平轨道来收集针对特定站点的这样的车辆调查图像。对于每个轨道，例如围绕塔的每个片段的循环，收集多个视点，其是收集的大约50-100张图像。使用图像的问题是准确地获得电信设备库存，例如，从这些图像中准确地计数电信设备。例如，从所有图像，希望准确知道针对该特定站点的天线、rru、微波等的数量。

4、针对该问题有两种现有的解决方案。第一种解决方案是人工执行人工计数。换句话说，人将被安排任务以从不同角度查看所有图像并且计数所有电信设备。

5、第二种解决方案是基于对象跟踪的计数算法或其变体，o.c.p.计数器，adrianrosebrock[在线]，“open cv people counter”，可得到：https://www.pyimagesearch.com/2018/08/13/opencv-people-counter/，发布于20180813。基于对象检测结果，它通过使用质心跟踪器、相关滤波器、卡尔曼滤波器或最近的基于深度学习的跟踪器(如goturn，satya mallick[在线]，“goturn:deep learning based objecttracking”，可得到：https://www.learnopencv.com/goturn-deep-learning-based-object-tracking/，发布于20180722)对跨越连续视频帧中的对象进行识别

6、第一种解决方案，由人对电信设备进行人工计数，是劳动密集的、耗时的并且可能是不准确的。结果的质量在很大程度上取决于执行计数的个人的经验。

7、关于第二种解决方案，即在对象跟踪上的计数技术，它仅适用于视频馈送，因此相邻帧几乎相同。然而，此类视频馈送通常在电信设备的车辆调查数据中是不可获得的。相反，在电信设备的车辆调查数据中仅收集高分辨率图像，因此相邻图像相距甚远。此外，已经对对象跟踪方法在车辆调查数据上进行了经验性评估，并且它被示出是无效的，因为无法在帧之间识别出某些电信设备。这导致电信设备的计数不准确。

技术实现思路

1、诸如航空设备(例如无人机)的移动设备近年来已经越来越流行，特别是用于监视、摄影、地面监控、喷洒农药、紧急或救援行动等。近年来，随着移动设备成为主流并取得诸多进步，它们成为用于越来越多任务的理想选择，包括诸如电信设备的设备的检查，因为它们的自主度和能力能够以一种具有成本高效的方式来安全、精确地执行危险和关键任务。

2、收集关于例如安装在诸如无线电塔的结构上的设备的信息是一项任务，例如通过允许诸如移动设备(例如uav)的设备来调查无线电站点并让它自主识别和计数与无线电站点相关的实际设备，能够以自动化的方式来完成该任务。然而，使用移动设备进行仅视觉检查在图像处理方面是一项非常具有挑战性的任务，因此，如果不对记录的图像进行彻底的人工检查，就很难区分不同图像中的不同对象或设备。

3、因此，本文的实施例的一个目的是以有效的方式，改进例如当对结构上的对象进行计数时处理在图像中的对象。因此，为了减少人工的手动工作，并且还提供结构上的对象的准确信息，例如天线、无线电远程单元(rru)、微波单元或塔顶放大器(tma)，本文提供了一种基于车辆调查图像的用于室外电信结构清单的人工智能(al)解决方案。

4、根据本文实施例的一个方面，通过由计算设备执行的用于处理结构的一个或多个记录的图像中的对象的方法来实现该目的。计算设备从一个或多个移动设备接收结构的至少两个记录的图像。计算设备基于至少两个记录的图像中的结构和/或对象垂直和/或水平地对齐至少两个记录的图像。计算设备还通过比较在对齐的至少两个记录的图像中的对象的位置值来计算在至少两个记录的图像中的对象的位置相似度，并且通过比较在对齐的至少两个记录的图像中的对象的视觉特征，计算在至少两个记录的图像中的对象的视觉相似度。计算设备进一步基于所计算的位置相似度和所计算的视觉相似度来确定对象在至少两个记录的图像中是否是相同的。

5、根据本文实施例的另一方面，通过提供一种用于处理结构的一个或多个记录的图像中的对象的计算设备来实现该目的。计算设备被配置为从一个或多个移动设备接收结构的至少两个记录的图像；并且基于在至少两个记录的图像中的结构和/或对象，将至少两个记录的图像垂直和/或水平地对齐。计算设备还被配置为通过比较在对齐的至少两个记录的图像中的对象的位置值，计算在至少两个记录的图像中的对象的位置相似度；通过比较在对齐的至少两个记录的图像中的对象的视觉特征来计算在至少两个记录的图像中的对象的视觉相似度。计算设备被配置为基于所计算的位置相似度和所计算的视觉相似度来确定对象在至少两个记录的图像中是否是相同的。

6、此外，本文提供了一种包括指令的计算机程序产品，当在至少一个处理器上执行指令时，该指令使至少一个处理器执行如由计算设备执行的上述方法中的任何方法。另外，本文提供了一种计算机可读存储介质，其上存储有包括指令的计算机程序产品，当在至少一个处理器上执行指令时，指令使至少一个处理器执行如由计算设备执行的上述方法中的任何方法。

7、因此，本文的实施例提供了一种自动解决方案以从原始车辆调查图像来识别和例如计数对象。计算机视觉技术可以应用于电信对象检测模型之上以检测跨图像或图像帧的重复，电信对象检测模型包括图像对齐和对象匹配技术。对于每个检测到的对象，比较先前的图像以确定该对象是否已经例如通过估计视觉和位置相似度方式被计数。

8、这是一种成本高效且快速的过程，因为这是一种自动化解决方案，并且它不假定连续的图像序列。因此，例如，它可以用于针对车辆调查图像的电信设备计数。通过使用视觉和位置相似度，本文的实施例检测在记录的图像中的对象是否已经在先前图像中被检测到，通过基于对图像中的结构和/或对象垂直和/或水平地对齐来促进该检测。