分析地下钻孔或检查活动中生成的图像数据的方法和设备与流程

本申请要求于2012年12月17日提交的美国临时申请第61/738,103号和于2013年3月13日提交的美国临时申请第13/801,330号的权益。上述引用的申请的全部公开内容通过引用合并到本申请中。

技术领域

本公开总体上涉及地下公用设施建设领域，并且更特别地涉及用于对地下钻孔操作过程中的图像数据进行分析的检查系统和方法。

背景技术：

本部分提供与本公开相关的背景信息，其不必然是现有技术。

有时使用包括水平钻孔技术的多种非开挖安装技术中的任一种安装技术安装地下公用事业管线。特别地，当掘开或挖开地面有困难或者成本过高时，例如当沿公用事业管线的路径存在阻碍这些技术的地面障碍物(例如，公路、人行道、车道或者景观美化)时，水平钻孔技术为安装气、水、电以及通信线路提供了高效且节省成本的方式。一些水平钻孔技术包括地下气动钻孔、螺旋钻孔、湿式钻孔、水平定向钻孔(HDD)、冲击矛、顶管以及微型隧道施工技术。

地下气动钻孔的过程涉及发动沿直线路径生成水平钻孔的气动钻孔工具或者穿孔工具以生成通过地面的隧道。然后，可以通过隧道拉回公用事业管线(例如，用于气、水、电或者通信)以安装于地下。例如，对现存的公用事业管线和公用事业管线会经过的地表障碍物进行勘测并且选择用于新的公用事业管线的路径。在障碍物的相对侧挖掘两个坑，其中一个坑在路径的起点上(入口坑)并且一个坑在路径的目标终点上(出口坑)。坑足够大，以装进钻孔工具并且使得操作者能够工作。坑还足够深，使得当钻孔工具生成隧道时该隧道之上的地表面保持不受干扰。

钻孔工具包括钻穿土壤、岩石等的气动式镗刀。钻孔工具通过软管连接到供应的压缩空气。导向工具和瞄准设备用于沿预期的路径并且朝向预定的终点对齐钻孔工具。然后钻孔工具被激活以切割地下孔、前进通过入口坑的壁，其中空气供应软管跟随在钻孔工具后。一旦钻孔工具的进度超出导向工具，就使用对由内置在钻孔工具中的无线电发射机生成的无线电信号进行检测的射频接收器通过地面追踪钻孔工具的位置。

当钻孔工具到达目标终点时，在入口坑与出口坑之间和地表障碍物之下生成了隧道。从空气供应软管移除钻孔工具并且将公用事业管线附接到空气供应软管(例如，通过将公用事业管线安接到软管)。软管和公用事业管线被一起拉回通过隧道，从而将公用事业管线安装到地下。

然而，地下气动钻孔存在缺点，该缺点可能导致难以完成用于地下公用事业管线的钻孔。例如，钻孔工具是不可转向的，并且一旦该钻孔工具离开导向工具，操作者不再具有对钻孔工具的轨迹的控制。因此，例如，钻孔工具通过岩石和不同的土壤密度可能偏斜于期望的路径。即使较小的偏斜在很长的距离上也可以导致与预期路径的显著的偏差。因此，钻孔工具可能无意地横过其他已经存在的地下公共设施的路径。所以，尽管事实上在进行地下气动钻孔前，从地面之上对现存地下公用事业管线进行了定位和标记，但是钻孔工具可能会挖掘隧道通过现存的公用事业管线例如生活污水管线。因此，新安装的公用事业管线可能穿过现存的污水管道。在这种情况下，产生了交叉钻孔，即两个或更多个地下公用设施的交叉。

不管是否采用水平钻孔方法，地下公用设施建设行业的重要关注点是不知不觉地挖掘隧道通过污水管线并且其后延伸公用事业管线如天然气管线或者电力线通过该污水管线。在污水管线发生堵塞前，交叉钻孔的公用事业管线可能保留在原地数月或者数年。然后，在清理污水管道的过程中，公用事业管线可能会被用于清理污水管道的电力排钻或其他工具或者机器切断、割裂或者以其他方式损害。

技术实现要素：

考虑到上述问题而进行了本发明，并且本发明的实施方式的目的在于提供一种系统和方法。所述系统和方法使得能够检测公用事业管线的交叉钻孔和横向管道，以便显著地减小交叉钻孔的可能性以及对交叉钻孔和横向管道进行校正。此外，所述系统和方法还使得可以检测公用事业管线或载体以及/或者用于安装公用事业管线或载体的隧道或钻孔中的其他类型的缺陷。所述系统包括视觉检查系统和图像分析系统。所述视觉检查系统包括：从公用事业管线和用于安装公用事业管线的隧道的至少一个的内部捕捉图像的检查照相机和传送对应于所述图像的图像数据的第一通信接口。所述图像分析系统包括：接收来自所述视觉检查系统的所述图像数据的第二通信接口；基于反馈数据和训练数据中的至少一个来修改分类器模型的模型适配模块；以及分类器模块，所述分类器模块实现所述分类器模型以识别所述图像数据中的对应于缺陷的多个特征，并且根据识别的所述多个特征修改所述图像数据。缺陷包括交叉钻孔、横向管道以及不完整性中的至少一个。

所述方法包括：从公用事业管线和用于安装公用事业管线的隧道的至少一个的内部捕捉图像。所述方法还包括使用图像分析系统来：接收对应于所述图像的图像数据；基于反馈数据和训练数据中的至少一个来修改分类器模型；使用所述分类器模型来识别所述图像数据中的对应于缺陷的多个特征，其中所述缺陷包括交叉钻孔、横向管道以及不完整性中至少一个；以及根据所识别的多个特征来修改所述图像数据。

附图说明

在此处描述的附图仅用于说明所选择的实施方式而不是所有可能的实施方式的目的，并且不意在限制本公开的范围。

图1是根据本公开的原理的包括视觉检查系统和图像分析系统的系统的功能框图；

图2是根据本公开的原理的图像分析系统的功能框图；以及

图3是根据本公开的原理的模型适配模块的功能框图。

具体实施方式

示例实施方式被提供使得本公开将是彻底的，并且完全将范围传达给本领域的技术人员。许多具体的细节，例如具体的部件、装置以及方法的示例被阐述以提供对本公开的实施方式的彻底的理解。对本领域的技术人员显然的是，不需要采用具体的细节、可以以多种不同的形式来实施示例实施方式并且二者都不应当被解释为限制本公开的范围。在一些示例实施方式中，没有详细描述公知的方法、公知的装置结构以及公知的技术。现在将参照附图对示例实施方式进行更加完全的描述。

与检查系统一起使用的图像分析系统广泛地适用于在地下公共设施建设行业中使用并且特别地适用于在地下钻孔操作过程中用于安装地下公用事业管线。例如，检查系统通常包括传感器、传感器载体以及输出装置。传感器用来获取与通过地下钻孔操作生成的隧道的状况有关的检查数据。在检查系统中可以采用多种不同的传感器技术中的任一传感器技术，例如对隧道的可见图像进行捕捉的照相机，以及被动式传感器如可以物理地感测隧道的特征的触控传感器、可以捕捉隧道的红外图像的红外传感器或者可以感测隧道中的挥发性有机化合物(VOC)或者其他气体的存在的蒸气传感器，或者主动式传感器如可以对隧道的特征进行测量的声纳、雷达和激光器。此外，照相机可以在日常检查期间和/或安装公用事业管线后用于对现存的公用事业管线或者管道(例如污水管道)内的图像进行捕捉并且可以识别并记载另一公用事业管线是否穿过现有管线(即对穿过现存管线的横向管道进行检测)。

传感器载体适用于结合传感器并且连接到用于运送传感器通过隧道的装置。输出装置接收来自传感器的对应于检查数据的输出信号并且将该输出信号呈现给操作者以解释和/或以其他方式记载和/或生成检查记录。此外，输出装置可以包括使得操作者能够将用户输入例如注释、评论等添加到检查记录的用户接口。用户输入可以采用多种形式中的任一种形式，包括但不限于打印文本、语音、时间戳和/或书签。此外，输出装置可以被配置成广播或者公布检查记录，这样包括数据库的操作者、地方政府、监管机构、公用事业公司、其他的承包人以及产权所有人的指定接受者可访问该记录。在于2012年7月19日提交的第PCT/US2012/047290号的专利合作条约申请中描述了示例检查系统和方法，上述申请的全部的内容在此合并到本申请中。

现在参照图1，其示出了根据本公开并且用于与示例视觉检查系统104一起使用的示例图像分析系统100。视觉检查系统104包括检查照相机108，检查照相机108被配置为在新的公用事业管线安装前行进通过在地下气动钻孔操作过程中生成的隧道和/或在新的公用事业管线安装后在与现存的公用事业管道相同的区域中行进通过现存的公用事业管道。当照相机108穿过隧道时，操作者可以对显示装置112上的隧道的实时图像进行观察并且对隧道进行视觉检查以确定另一已经存在的公用事业管线，例如生活污水管线在钻孔操作期间是否交叉。类似地，照相机108可以穿过现存的公用事业管线以确定该公用事业管线是否穿过另一现存的公用事业管线。如此，显著地减少了交叉钻孔的可能性和/或可以对交叉钻孔(和横向管道)进行检测和校正。

与本公开的视觉检查系统一起使用的合适的检查照相机，可从Ridge Tool Company of Elyria,OH(俄亥俄州伊利里亚市的里奇工具公司)获得，例如(注册商标)排水管和污水道检查照相机和电缆卷盘之一。来自照相机的输出可以包括静止画面和/或视频。此外，用于对来自照相机的输出进行观察和/或记录的合适的显示装置同样可从里奇工具公司获得，例如的监测器和记录器。此外，照相机的透镜可以变化以改变照相机的视角和/或视场。例如，可以结合“鱼眼”透镜以便在照相机的视场内捕捉照相机外围的钻孔的壁。此外，检查图像可以被记录和/或以其他方式保存以记载地下钻孔操作、记载没有产生交叉钻孔、记载没有损害地下公用设施和/或记载在隧道的路径中不存在其他的障碍物。

此外，除了显示装置112上的隧道的视觉检查外，由检查照相机108所提供的图像数据被传送给图像分析系统100。例如，检查系统104包括通信接口116。仅作为示例，通信接口根据一个或更多个合适的无线通信协议进行操作以向图像分析系统100提供图像数据，所述一个或更多个合适的无线通信协议包括但不限于：无线网络(例如，Wi-Fi)、移动电话、全球导航系统卫星(GNSS)和/或蓝牙协议。虽然示出独立于检查照相机108和显示装置112，但是通信接口116还可以结合到检查照相机108和/或显示装置112内。

图像分析系统100接收来自视觉检查系统104的可以包括图像静止数据和视频数据二者的图像数据。仅作为示例，图像分析系统100位于远离视觉检查系统104的位置，例如在云网络系统的任何合适的计算装置和/或存储装置中。然而，也可以在视觉检查系统104的一个或更多个部件中实施图像分析系统100。或者，可以在视觉检查系统中复制图像分析系统100的功能。例如，可以在显示装置112和/或检查照相机108中实施图像分析系统100。显示装置112可以是具有用于与照相机108和/或图像分析系统100进行接口的用户接口的手持装置或者其他方式的移动装置。因此，图像分析系统100的功能可以远程地进行(仅作为示例，使用经由云计算架构可访问的服务器或者其他远程存储设备和/或处理设备进行后处理)和/或可以通过被配置成实施图像分析系统100的本地装置在工作地点上进行(例如，后处理和/或实时)。

图像分析系统100对图像数据进行图像分析以识别指示任何交叉钻孔和/或横向管道的图像数据部分。例如，图像分析系统100实现模型，该模型对图像数据帧中的指示交叉钻孔和/或横向管道的多个特征进行分类并且针对图像数据帧为存在或者不存在交叉钻孔和/或横向管道的多个特征中的每个特征分配概率。图像分析还可以识别公用事业管线或者载体和/或用于安装公用事业管线或者载体的隧道或者钻孔中的其他类型的不完整性。不完整性可以包括但是不限于隧道表面的不一致性。仅作为示例，不一致性可能是由周围土壤中的空隙、隧道中土壤和/或管道(例如，陶土管)的破碎和/或直表面与圆表面相交(例如，管道或者其他平直物体穿过隧道的周边)引起。

此外，图像分析系统100可以进行图像分析以检测交叉钻孔、横向管道、不完整性等而不管视觉检查系统104是否用于此目的。例如，视觉检查系统104可以通过在显示装置112上直接观察或者通过使用图像分析系统100进行实时处理或者后处理，用于识别并定位公用事业管线(例如，水落管、排水管等)的其他特征。然而，在尝试识别其他特征时，图像分析系统100仍然可以识别图像数据中的交叉钻孔、横向管道、不完整性等。

现在参照图2，其示出了示例图像分析系统200。图像分析系统200例如经由通信接口204与图1的视觉检查系统104通信。或者，如上所述，图像分析系统200可以与视觉检查系统104进行集成(例如，与视觉检查系统104的显示装置112、检查照相机108和/或另一装置进行集成)。例如，通信接口204接收来自视觉检查系统104的图像数据。图像数据存储在图像数据存储器208中。仅作为示例，图像数据存储器208包括存储图像数据的非易失性存储器。图像数据包括视频数据和/或静止图像数据。

分类器模块212识别图像数据的每个帧中的对应于交叉钻孔和/或横向管道的特征并且根据识别的特征对每个帧进行分类。例如，分类器模块212实现分类器模型，该分类器模型根据帧中的特征对每个帧进行分析和分类。仅作为示例，每个帧被分配一个或更多个标记，所述标记包括但不限于“横向管道”、“无横向管道”、“交叉钻孔”和/或“无交叉钻孔”。分类器模块212将分类的图像数据存储在分类的图像数据存储器216中。通信接口204将分类的图像数据提供给视觉检查系统200或者另一装置或者用户(例如，根据请求)。

图像分析系统200包括模型适配模块220，模型适配模块220生成并且调整分类器模块212的分类器模型。模型适配模块例如基于经由通信接口204接收的反馈数据和/或训练数据生成并且调整分类器模型。反馈数据包括由视觉检查系统104的操作者/用户提供的有关分类的图像数据的反馈。例如，操作者观察分类的图像数据和识别的特征并且提供指示分类的图像数据的精确度的反馈(例如，分配给分类的图像数据帧的标记是否正确)。

相对地，训练数据可以包括具有特征(例如，交叉钻孔、无交叉钻孔、横向管道和/或无横向管道)的各种组合的训练图像数据(例如，训练视频)。模型适配模块220从训练图像数据中提取特征并且相应地对每个帧进行标注(例如，使用模型)并且存储分类的训练数据。模型适配模块220将分类的训练数据与指示训练图像数据的实际特征的测试数据进行比较以评估模型的结果。模型适配模块220根据该结果更新由分类器模块212所使用的模型。

现在参照图3，示例模型适配模块300包括训练图像数据分类器模块304、训练和测试数据存储器模块308以及结果评估模块312。训练图像数据分类器模块接收训练图像数据和反馈数据、从训练图像数据提取指示交叉钻孔和/或横向管道的特征并且将分类的训练图像数据提供给训练和测试数据存储器模块308。仅作为示例，分类的训练图像数据可以分成两个组，其中第一组训练图像数据包括对应于交叉钻孔的特征并且第二组训练图像数据包括对应于横向管道的特征。结果评估模块312将分类的训练图像数据与测试数据进行比较并且基于该比较评估模型的性能。结果评估模块312的输出(例如，模型调整信号)指示模型的性能并且被提供给分类器模块212以相应地对该模型进行调整。

训练图像数据可以包括例如设置在包括不同的相应特征的不同集合中的多个视频。例如，训练图像数据可以包括横向检查训练集，该横向检查训练集包括具有横向管道的第一多个视频和不具有横向管道的第二多个视频。相对地，训练图像数据还可以包括交叉钻孔检查训练集，该交叉钻孔检查训练集包括具有交叉钻孔的第一多个视频和不具有交叉钻孔的第二多个视频。

训练图像和数据分类器模块304针对横向管道和交叉钻孔中的每一个，提取可以指示横向管道或者交叉钻孔的一个或更多个特征。特征可以包括但不限于平行线、颜色信息、K均值聚类和/或梯度幅值的离散直方图。例如，图像数据帧中的平行线可以指示横向管道。分类器模块304可以实现边缘检测器以检测图像数据中的霍夫线、选择霍夫线L1中的一个霍夫线(例如霍夫线中最强的一个霍夫线)以及选择与L1平行的(例如，在L1的阈值例如5°内)霍夫线L2中的最强的一个霍夫线。在管道可能沿照相机的方向走向导致在实际的图像数据中为不平行线的情形下，可以应用透视分析(Perspective analysis)。可以使用卡尔曼滤波器跟踪对线L1和线L2对应于横向管道的概率进行调整。例如，卡尔曼滤波器跟踪可以从初始的检测点对疑似横向管道进行跟踪以预测管道的结束位置。如果预测的结束位置对应于帧中实际检测的特征，则该帧可能包括横向管道。

颜色信息可以指示横向管道和/或交叉钻孔。例如，训练图像和数据分类器模块304可以实现HSV直方图以识别在图像数据帧的部分中所选择的颜色的量(例如，对应于某种类型的公用事业管道的已知颜色的颜色)。

K均值聚类可以指示横向管道和/或交叉钻孔。例如，直方图上(例如，色调上)的单高斯分布可以对应于无交叉钻孔并且直方图上(例如，色调上)的双高斯分布可以对应于交叉钻孔。

梯度幅值的离散直方图可以用于边缘检测并且指示横向管道和交叉钻孔二者。仅作为示例，可以在应用高斯模糊和边缘检测器(例如，Canny边缘检测器)去除噪声后计算离散直方图。在该直方图中，阈值以上的峰值指示相对强的边缘。

在从训练图像数据帧中提取特征后，训练图像和数据分类器模块304对帧中的每个帧进行标注(即经由操作者/用户输入进行分类)。标记可以包括“横向管道”、“无横向管道”、“交叉钻孔”和/或“无交叉钻孔”并且可以包括子标记，例如“接近横向管道”、“接近交叉钻孔”和土壤的类型(例如，沙土、粘土、岩石土等)。对于模型适配模块300而言，标记被手动地施加(即，通过人类操作者/用户)。换言之，操作者观察每个帧并且基于图像中的可视特征对帧进行标注。

对于提取的特征中的每个特征，模型适配模块300基于由操作者所分配的标记来分配特征对应于交叉钻孔、无交叉钻孔、横向管道和/或无横向管道的概率。例如，分类器模块304基于相应提取的特征(例如，两个强平行线)多少次最终被操作者标注为横向管道来分配两个强平行线指示横向管道的概率。相对地，分类器模块304基于相应提取的特征(例如，两个强平行线)多少次最终被操作者标注为无横向管道来分配两个强平行线不对应于横向管道(即，无横向管道)的概率。因此，提取的特征中的每个特征被分配相应的概率。然后，根据标记存储分类的训练图像数据。例如，可以通过帧号(例如，1，2，…n)与训练和测试数据存储器308中相应的标记以及指示每个特征对应于相应的标记的概率的数据对每个帧进行索引。

测试数据与训练图像数据一起存储在训练和测试数据存储器308中。测试数据对应的测试数据帧比训练图像数据少。换言之，存储在训练和测试数据存储器308中的较大部分的图像数据对应于训练图像数据而不是测试数据。如上所述，由操作者对训练图像数据进行标注。相比之下，操作者不对测试数据进行标注。而是，根据模型对可能包括与训练图像数据的部分相同的图像数据帧的测试数据进行分析。测试数据的分析结果(即，分配的标记和/或概率)与标注的训练图像数据进行比较以确定模型的精确度。可以基于该精确度对模型进行调整。例如，结果评估模块312可以确定与测试数据的评估相关联的错误率和/或与多个评估相关联的平均错误率。

再次参照图2，分类器模块212对从图像数据存储器208接收的图像数据进行分析(即，从图像中提取特征)并且基于提取的特征和训练图像数据计算每个帧包括交叉钻孔、不包括交叉钻孔、包括横向管道或不包括横向管道的概率。例如，帧包括交叉钻孔的概率可以包括帧中检测的特征中的每个特征对应于交叉钻孔的概率中的每个概率的组合。帧不包括交叉钻孔的概率可以包括帧中检测的特征中的每个特征对应于无交叉钻孔的概率中的每个概率的组合。帧包括横向管道的概率可以包括帧中检测的特征中的每个特征对应于横向管道的概率中的每个概率的组合。帧不包括横向管道的概率可以包括帧中检测的特征中的每个特征对应于无横向管道的概率中的每个概率的组合。

仅作为示例，可以根据各种方法，例如朴素贝叶斯分类对概率进行计算。例如，朴素贝叶斯分类可以基于分配给平行线检测、颜色信息以及离散直方图的概率计算帧包括横向管道的概率。如果计算的概率大于阈值，则分类器模块212将横向管道标记分配给帧。仅作为示例，阈值可以是固定的(例如，50％)和/或可以调整为较为敏感(即，降低)或者较不敏感(即，提高)。分类器模块212确定是否以类似的方式将无横向管道、交叉钻孔、无交叉钻孔的标记分配给帧。在其他的实施方式中，概率可以简单地为相应特征的概率的和、平均或者任何其他组合。

此外，对于一些帧，用于分配标记(例如，横向管道、无横向管道、交叉钻孔以及无交叉钻孔)的所有概率可能都小于相应的阈值。因此，帧可能不具有标记中的任一标记的资格。对于这种帧，分类器模块212可以进行“最近邻”计算以分配一个或更多个标记。例如，分类器模块212可以基于提取的特征确定哪个训练图像数据帧与该帧最相似。分类器模块212基于分配给最接近的训练图像数据帧的标记对该帧进行标注。

前述的说明在本质上仅是说明性的并且决不意在限制本公开及其应用或者用途。可以以多种形式实施本公开的广泛的教示。因此，虽然本公开包括特定示例，但是本公开的真正范围不应当受此限制因为通过研究附图、说明书以及所附权利要求，其他的修改将会变得明显。为了清楚起见，在附图中使用相同的附图标记标识类似的元件。如在此所使用地，短语A、B以及C中的至少一个应当被理解为意指使用非排他性逻辑或的逻辑(A或B或C)。应当理解的是，在不改变本公开的原理的情况下，可以按照不同的顺序(或者并行地)来执行方法内的一个或更多个步骤。

如本文所使用地，术语模块可以指下述各项中的一部分或者包括下述各项：专用集成电路(ASIC)；离散电路；集成电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的(共享的、专用的或者组)处理器；提供所述功能的其他合适的硬件部件；或者上述中的一些或者全部的组合，例如片上系统。术语模块可以包括(共享的、专用的或者组)存储器，该存储器存储由处理器所执行的代码。

如上述使用地，术语代码可以包括软件、固件和/或微代码并且可以指程序、例程、函数、类和/或对象。如上使用地，术语共享指的是来自多个模块的一些代码或者全部代码可以使用单个(共享的)处理器来执行。此外，来自多个模块的一些或者所有代码可以通过单个(共享的)存储器进行存储。如上使用地，术语组是指来自单个模块的一些代码或者全部代码可以使用一组处理器来执行。此外，来自单个模块的一些代码或者全部代码可以使用一组存储器进行存储。

本文所述的设备和方法可以部分地或者完全地通过由一个或更多个处理器所执行的一个或更多个计算机程序来实施。计算机程序包括处理器可执行指令，该处理器可执行指令存储在至少一个非暂态有形计算机可读介质上。计算机程序还可以包括和/或依赖存储的数据。非暂态有形计算机可读介质的非限制性示例包括非易失性存储器、易失性存储器，磁存储器以及光存储器。