用于使用视觉数据确定对象位置的方法和系统的制作方法
【专利摘要】本发明涉及一种用于使用视觉数据确定对象位置的方法和系统。通过使用至少一个定位设备获取被观察对象的第一全球位置来确定被观察对象的全球位置。判定至少一个地标的已存储视觉特征信息集是否与从至少一个已捕获图像获取的视觉特征信息集相匹配，所述至少一个已捕获图像包括与所述被观察对象关联的场景。响应于所述已存储视觉特征信息集与所获取的视觉特征信息集相匹配，根据与所述至少一个地标关联的已存储位置信息集和所述第一全球位置来确定所述被观察对象的第二全球位置。
【专利说明】用于使用视觉数据确定对象位置的方法和系统
【技术领域】
[0001]本发明一般地涉及位置确定，更具体地说，涉及使用视觉数据确定对象位置。
【背景技术】
[0002]确定被检查对象的对象位置具有各种应用和用途，例如资产管理、路面检查、铁轨检查等。例如，根据联邦铁路局(FRA)公布的最新安全统计信息，美国境内由所有报告的出轨事故导致的总损失每年达到上亿美元，其中超过10%是由铁轨问题所致。出于安全性和效率原因，需要定期检查铁轨的物理缺陷和异常情况以便保持高标准的铁轨状况。铁轨检查一般包括各种特定的任务，范围从查找和评估不同铁轨组件的状况(垫板、路轨锁、接合柱等)到监测铁轨表面、对齐和曲率，再到检查多个垫板是否钉牢以及是否存在锁定不良。
【发明内容】
[0003]在一个实施例中，公开一种用于确定被观察对象的全球位置的方法。所述方法包括使用至少一个定位设备获取被观察对象的第一全球位置。判定至少一个地标的已存储视觉特征信息集是否与从至少一个已捕获图像获取的视觉特征信息集相匹配，所述至少一个已捕获图像包括与所述被观察对象关联的场景。响应于所述已存储视觉特征信息集与所获取的视觉特征信息集相匹配，根据与所述至少一个地标关联的已存储位置信息集和所述第一全球位置来确定所述被观察对象的第二全球位置。
[0004]在另一实施例中，公开一种用于维护待检查目标对象数据库的方法。所述方法包括分析至少一个包括场景的图像。由位于车辆上的至少一个图像捕获设备捕获所述图像。根据所述分析，识别与所述场景关联的第一视觉特征信息集。将所述第一视觉特征信息集和与至少一个目标对象关联的第二视觉特征信息集相比较。根据所述比较，确定在给定阈值内，所述第一视觉特征信息集和所述第二视觉特征信息集相互匹配。获取与轨道检查车辆关联的定位信息集。将所述第二视觉特征信息集和所述定位信息集一起存储在与所述至少一个目标对象关联的数据库的记录中。
【专利附图】
【附图说明】
[0005]附图与下面的详细说明一起纳入本说明书并形成本说明书的一部分，用于进一步阐述各个实施例以及解释均与本发明一致的各种原理和优点，在附图中，相同的参考标号指示各个附图中相同或功能类似的元件，其中:
[0006]图1是示出根据本发明的一个实施例的确定对象位置的系统的高级概览的框图；
[0007]图2是示出根据本发明的一个实例的位置确定系统的详细视图的框图；
[0008]图3示出根据本发明的一个实例的对应于视觉环境特征/对象的环境信息的一个实例；
[0009]图4示出根据本发明的一个实例的可由图2的位置确定系统捕获/记录的检查信息的一个实例；[0010]图5和6是示出根据本发明的一个实施例的利用视觉环境特征/对象确定对象位置的一个过程的操作流程图；
[0011]图7是示出根据本发明的一个实施例的利用视觉环境特征/对象确定对象位置的另一过程的操作流程图；
[0012]图8是根据本发明的一个实施例的确定损坏的或缺失的铁轨组件的位置的一个过程的操作流程图；
[0013]图9是示出根据本发明的一个实施例的信息处理系统的更详细视图的框图；
[0014]图10示出根据本发明的一个实施例的图像处理系统的一个实例；以及
[0015]图11示出根据本发明的一个实例的提供被观察对象的精确全球位置的地理邻近地区的一个实例。
【具体实施方式】
[0016]此处公开本发明的详细实施例。将理解，所公开的实施例只是本发明的实例，可通过各种形式体现。因此，此处公开的特定结构和功能细节不应被解释为限制，而是仅作为权利要求的基础以及作为教导本领域的技术人员在几乎任何适当详细描述的结构和功能方面以各种方式采用本发明的代表性基础。此外，此处使用的术语和短语并非旨在作为限制，而是针对本发明提供可理解的描述。
[0017]如在此使用的，术语“一”或“一个”被定义为一个或多于一个。如在此使用的，术语“多个”被定义为两个或多于两个。如在此使用的，术语“另一”被定义为至少第二个或更多个。如在此使用的，术语“包含”和/或“具有”被定义为包括(即，开放式语言)。如在此使用的，术语“相连”被定义为连接，但并不一定是直接连接，也并不一定是以机械方式连接。
[0018]操作环塏
[0019]图1示出根据本发明的一个实施例的一个操作系统100的总体概览。具体而言，图1示出可以在诸如车辆(例如，汽车、摩托车、火车等)、公文包、背包等之类的可移动/可转移实体101内实现的信息处理系统102。应指出，在本公开通篇中，车辆用作可移动/可转移实体101的一个非限定性实例。此外，系统102可以在通信上耦合到用于训练目的的用户辅助训练环境。系统102可以是包括下面描述的每个组件的物理系统，也可以是由下面描述的每个组件构成的功能性实体。应指出，虽然下面的描述涉及铁轨检查，但是本发明的实施例并不限于此类应用。例如，一个或多个实施例可以在其它应用中使用，例如但不限于道路检查、资产检查、其基本特征并非检查的任务，例如精密钻孔或精密涂漆标线，或者需要精确位置信息的其它任何环境。铁轨检查和铁轨组件检测只是用作适用于本发明的实施例的一个非限制性实例。
[0020]在一个实施例中，系统102包括位置确定系统(LDS) 104、包括对象检测器136的对象检测系统(ODS) 106、成像系统108、检查系统110、包括一个或多个图像或帧114 (和/或提取的图像帧区域)的图像数据库112、包括环境信息118的环境数据库116，以及包括检查信息122的检查数据库120。成像系统108包括一个或多个图像捕获设备1002、1004(图10)，包括(但不限于)与信息处理系统102在通信上耦合以向该系统发送图像帧113的相机。这些图像帧113的选定实例114然后存储在图像数据库112内。至少一个图像捕获设备1002朝向车辆101或者背向车辆101，以便检查系统110检查的地面对象1006在成像设备(多个)1002的视野1008内。在另一实施例中，至少一个图像捕获设备1004背向车辆101，使得地面对象1010 (例如，地标)在成像设备(多个)1004的视野1012内。
[0021]系统102还包括各种传感设备，例如一个或多个生成GPS数据126的全球定位系统(GPS) 124、一个或多个生成距离数据130的距离测量工具(DMI) 128，以及一个或多个生成惯性测量数据134的惯性测量单元(MU) 132。GPS数据126可以包括但不限于经度数据、纬度数据、海拔数据、速度数据、行进方向数据、加速度数据等。距离数据130可以包括但不限于行进距离、计算的速度和加速度数据等、MU数据134可以包括但不限于加速度数据、行进方向数据等。应指出，图1所示的一个或多个组件(其中包括成像系统108和它所生成的帧113)可以位于系统102之外并与系统102在通信上耦合。另外应指出，上述组件中的两个或多个(其中包括成像系统108和它所生成的帧113)也可组合成单个组件。
[0022]位置确定系统
[0023]图2示出LDS104的更详细视图。具体而言，图2示出在一个实施例中，LDS104包括数据获取模块202、位置预测模型204、比较模块206和环境数据库更新模块208。这些组件中的每个组件都将在下面进行详细地描述。继续图1，在一个实施例中，图像/帧113表示成像系统108的一个或多个图像捕获设备所捕获/观察的外部环境的视频序列(或静止照片序列)的帧或帧片段，或者表示此类帧和/或帧片段的子集。在一个实施例中，图像/中贞(或巾贞片段)113表不被观察场景或其一部分。
[0024]这些图像/帧113由0DS106内的对象检测器136进行分析以检测图像/帧113内的目标对象。在一个实施例中，第一目标对象集包括各种视觉环境特征/对象，例如地标/纪念碑1010 (图10)。地标/纪念碑可以是(但不限于)库存资产、建筑、建筑构成部件(例如，门、窗、结构特征等)、英里标志牌(里程标志)、标志、铁路信号、路标、十字路口、树木、损坏的和/或缺失的铁轨组件等。第二目标对象集(在此也称为“检查系统目标对象”)包括检查系统110感兴趣的对象。例如，第二目标对象集可以是铁轨组件，例如但不限于轨枕、道钉、路轨锁、铁轨本身等。0DS106检测这些检查系统目标对象，然后检查系统110分析包括这些目标对象的图像/帧以检测与之关联的任何缺陷/损坏。例如，检查系统110识别缺陷或损坏的区域，例如但不限于破裂的轨枕、缺失轨枕的区域、缺失道钉的区域、缺失路轨锁的区域等。
[0025]在一个实施例中，检查系统110使用类似于0DS106检测目标对象时使用的过程识别与已识别的目标对象关联的缺陷/损坏。在另一实施例中，0DS106还可以识别与目标对象关联的缺陷/损坏。应指出，在一个实施例中,检查系统110可以是对象检测系统106的一部分，或者对象检测系统106是检查系统110的一部分。另外，缺陷或损坏区域可以被视为第三目标对象集。但是，一个或多个实施例的目标对象不限于铁轨组件和缺陷。
[0026]在一个实施例中，对象检测器(多个)136是基于特征的检测器(多个)，基于机器学习的检测器(多个)或类似的检测器。对象检测器136从成像系统108接收输入(例如，图像/帧113)并对其执行一个或多个分析操作。根据这些操作，对象检测器136可以判定帧/图像113 (或它们的部分/片段)是否包括目标对象。包括目标对象的帧/图像(或它们的部分/片段)被存储在图像数据库112内并在图1中被标识为“包括目标对象(多个)的图像/帧”。例如，在一个实施例中，对象检测器136将已捕获的图像/帧113与参考图像集(未示出)进行比较以识别图像/帧113内的目标对象。备选地或额外地，对象检测器136可以利用之前捕获的已在其中识别到目标对象的图像/帧114判定当前图像/帧113是否包括目标对象。还可以针对感兴趣的目标对象使用一个或多个训练模型(未示出)来预训练对象检测器136。根据此训练，对象检测器136能够检测图像/帧113内的目标对象。有关对象检测的更详细描述可以在共同拥有、共同未决的标题为“Object Recognition Using HAARFeatures and Histograms of Oriented Gradients (使用 HAAR 特征和方向梯度直方图识别对象)”的美国专利申请第13/085,985号；共同拥有、共同未决的标题为“Detection ofObjects in Digital Images(数字图像中的对象检测)”的美国专利申请第13/086，023号；以及共同拥有、共同未决的标题为“Optimizing The Detection Of Objects In Image (优化图像中对象的检测)”的美国专利申请第13/277，936号中找到，这些申请的内容在此全部纳入作为参考。有关铁轨检查的图像分析的更详细描述，可以在Li等人所著的共同拥有的标题为 “Component-based Track Inspection Using Machine-Vision Technology (使用机器视觉技术执行基于组件的轨道检查，2011年4月发表于ICMR’ 11)”的出版物中找到，该申请的内容在此全部纳入作为参考。
[0027]除了检测目标对象之外，0DS106进一步分析图像/帧内的检测到的目标对象并识别与其关联的各种视觉/外观属性和特征。例如，0DS106可以识别能用于识别给定地标的地标颜色/形状、方向、门/窗数量，以及其它任何视觉/外观属性和特征。该视觉/外观属性和特征信息存储在目标对象内，下面将进行更详细地描述。
[0028]当对象检测系统106检测到地标目标对象时，在一个实施例中，LDS104将位置信息与该目标对象进行关联。下面介绍将位置信息与地标目标对象进行关联的一个实例。LDS104确定车辆101或系统102的当前位置。LDS104将该位置信息连同包括地标目标对象的图像/帧(或帧片段)114和/或诸如目标对象的视觉属性/特征之类的其它识别信息一起作为检查信息122的记录而记录在检查数据库120中。例如，LDS104的数据获取模块202几乎在捕获包括目标对象的图像/帧114的同时，从GPS设备124检索/接收与车辆位置关联的GPS数据126。
[0029]数据获取模块202还可以从诸如DMI128和MU132之类的其它传感设备检索/接收数据。然后可以对该数据执行额外的处理以将位置确定为GPS坐标、GPS坐标加行进距离(例如，以英尺或公尺为单位)和/或类似的内容。0DS106可用于对自参考位置(诸如之前检测到的地标、给定经度/维度)开始已检测到的轨枕数进行计数。LDS104可利用该轨枕计数作为位置确定过程的一部分。应指出，在某些实施例中，可直接在地标位置处针对该地标获取GPS数据。LDS104从各个传感设备124、128、132以及0DS106获取的信息存储在环境数据库116中作为环境信息118和作为检查信息122的组成部分。LDS104或系统102中的另一组件还可以处理包括目标对象的图像/帧114以确定目标对象本身的位置。该位置信息与目标对象关联并且也存储为环境信息118。
[0030]如下面将更详细地描述的，LDS104利用与地标关联的位置信息改善和提高可获取的被观察对象(例如，具有缺陷的铁路组件)的初始位置测量的精确度。例如，与地标关联的位置信息可以与被观察对象的GPS数据126 (或其它位置数据)进行合并。这允许系统获取被观察对象的校正位置。另外，可以允许被观察和被识别对象的位置不同于执行观察的相机的位置。[0031]当在已识别的铁轨组件上/中检测到缺陷(或损坏)时，检查系统110记录已识别的轨道、已识别的缺陷或损坏的类型、已识别的轨道组件(由LDS104识别)的位置等。检查系统110记录的信息然后可以存储在检查数据库120内作为检查信息122。
[0032]图3示出在0DS106检测到地标之后，存储在环境数据库116内的环境信息118的一个实例。如上所述，环境信息118对应于在成像系统108所捕获的图像/巾贞114内检测到的地标/纪念碑。每个检测到的地标/纪念碑可以与唯一识别符、在捕获到包括地标的图像/帧114时的车辆101 (或系统102)的位置/定位、地标本身(如果已知)的位置/定位、包括地标的图像/帧、地标的属性/特征等进行关联。
[0033]环境信息
[0034]例如，图3示出包括多个列和行的表300，这些列和行表示环境数据库116内的环境信息117。在一个实施例中，每个行对应于单个地标检测。表300包括标题为“地标ID”的第一列302、标题为“地标类型”的第二列304、标题为“车辆位置”的第三列306、标题为“地标位置”的第四列308、标题为“图像(多个)/帧(多个)”的第五列310、标题为“属性”的第六列312，以及标题为“轨枕数”的第七列313。应指出，可以在表300中添加一个或多个附加列和/或可以从表300中移除一个或多个上述列。可使用诸如在关系数据库中使用join (连接)之类的数据库技术减小多次检测中冗余信息的低效性，方式是采用附加表来仅存储在多次检测中变化的信息。
[0035]地标ID列302包括唯一地识别已检测到的每个地标的表项314。地标类型列304包括识别已检测到的地标类型的表项316。如上所述，地标可以是，但不限于建筑、建筑构成部件(例如，门、窗、结构特征等)、英里标志牌、标志、铁路信号、路标、十字路口、树木等。因此，地标类型列304下的表项316例如指示这些地表类型中的哪个类型与已检测到的地标关联。
[0036]车辆位置列306包括指示在检测到关联地标时的车辆101的位置/定位的表项318。该定位/位置信息可以是从GPS数据126获取的经度和纬度信息，或者是其它任何类型的定位/位置信息。在一个实施例中，LDS104使用GPS数据124、DMI数据130和/或IMU数据134中的两项或多项推导定位/位置信息。在一个实施例中，单独列(未示出)可以包括在表300中以表示行进距离数据，或者可以使用“轨枕数”列表示从给定坐标、之前的地标等行进的距离。
[0037]地标位置列308包括指示已检测到的与表300中列对应的地标(如果已知)的定位/位置的表项320。该定位/位置信息是可以是经度和纬度信息和/或行进距离信息。LDS104和/或0DS106可以分析一个或多个包括地标的图像/帧114以确定地标的定位/位置。例如，LDS104可以对从成像系统108的多个相机或同一相机的多个视图捕获的图像/帧的地标的定位/位置进行三角测量，其中考虑了当摄像车辆沿着轨道或道路移动时从传感设备124、128、132获取的数据。与通过图像/帧114计算相比，地标的定位/位置也可以通过系统102之外的机构在地标处直接测量。在一个实施例中，可以存储地标的单个定位/位置，也可以存储多个定位。例如，如果地标是建筑，则可以计算诸如墙角、窗户和门之类的各个建筑特征的定位/位置并将其存储在表300中。
[0038]图像(多个)/帧(多个)列310包括识别其中已检测到关联地标的图像(多个)/帧(多个)的表项322。例如，第一表项322将图像/帧“I/F_A1”和“I/F_B1”识别为包括地标“Landmark_l ”。标识符“ I/F_A1 ”和“ I/F_B1”指示相机A捕获的图像/帧I和相机B捕获的图像/帧I包括Landmark_l。相机可具有重叠的视野。应指出，如果使用多相机系统，则每个相机可能并非始终捕获具有地标的图像。例如图像(多个)/帧(多个)列310下的第二表项324示出只有相机A捕获其中具有Landmark_2的图像。符号“ I/F_A1”等例如可被概括为“I/F_A1-10”以允许表示一系列帧(I至10)，以及在一系列连续帧中检测到同一地标的情况下(其中该系列中的每个帧具有相同的属性)，表示单个帧(I)。
[0039]属性列312包括识别诸如已检测到的地标的视觉特征之类的各种属性的表项。例如，地标_1可以是英里标志牌，如地标类型Type_l指示的那样。对应于属性列312下的地标_1的第一表项326指示地标_1与指示地标_1为白色且倾斜的视觉特征关联。已检测到的地标的属性/特征可在对象检测过程中由0DS106确定。应指出，存储在车辆位置列308下的位置信息还可以包括给定地标属性/特征的多个位置。例如，当车辆101沿其路径(轨道、道路等)行进时，可以从多个位置观察同一地标，但是地标属性/特征的定位将发生变化。因此，检测到特征时的车辆位置以及每个帧内的特征位置可以存储在环境数据库116 内。
[0040]轨枕数列313包括识别从参考点开始到捕获到包括地标的图像(多个)/帧(多个)为止已计数的轨枕数的表项328。例如，该列下的第一表项328显示从参考点开始到捕获到图像I/F_A1和I/F_B1为止，一共计数了 50个轨枕。参考点可以是之前的地标，已知位置等。行进距离列317包括指示从参考点开始到已识别地标的位置为止行进的距离的表项330。参考点可以是给定经度/纬度定位(例如，GPS定位)、GPS定位加行进距离和/或之前检测到的地标等。例如，可以从DMI130获取或甚至从GPS数据126计算行进距离数据。
[0041]可以在检查铁轨之前和/或之时执行的数据收集过程期间获取图3所示的地标信息。例如，车辆101可以沿着铁轨行进以收集地标信息并相应地填充环境数据库116。一旦存储，存储在环境数据库116中的环境信息118便可在执行检查过程期间被动态地更新。
[0042]被观察对象的位置确定
[0043]下面更详细地介绍使用上述环境信息和传感数据确定被观察对象的位置。开始，当车辆101静止或沿轨道行进时，LDS104初始化在位置预测模型中使用的各种数据结构和/或值。例如，距离值(定位)S、速度V和加速度a被初始化为其第O个值。LDS104中的数据获取模块202针对车辆101的当前定位从GPS设备(多个)124获取GPS数据126 (例如，经度和纬度数据)。LDS104还从DMI128和/或MU132获取信息。
[0044]例如，LDS104从DMI128生成的DMI数据130获取车辆101的里程定位(即，行进距离)和速度。DMI128从车辆101的一个或多个组件所生成的电子信号接收信息更新。例如，车辆101可以在诸如轴之类的给定组件旋转一整圈，或者整圈中的一部分时，通过变速器发射脉冲。但是，其它向DMI128提供信息的机构也适用。在一个实施例中，DMI128包括维护当前行进距离的寄存器(例如，计数器)。在一个实施例中，该寄存器在开始驾驶时被初始化为0，但是可以应用任何启动值。相对于速度而言，DMI128 (或LDS104)可以将速度计算为寄存器中从一个时间单位开始到下一时间单位开始的行进距离值的差。也可通过车辆101或传感设备124、128、132的某一其它输出推导出速度。相对于加速度而言，如果车辆101从原地启动开始，则加速度被确定为O。否则，可通过两个速度读数之差计算加速度。备选地，可从能够直接读取加速度的MU132获取加速度。[0045]在时间i=0初始化这些值之后，LDS104使用位置预测模型204计算(预测)a、V和s的第i+Ι个值以确定在时间间隔i+Ι (或其它任何间隔)处的预测位置si+1。LDS104还可以计算其它预期数据，例如si+1处的预期行进距离、si+1处的预期速度、si+1处的预期加速度、行进到si+1的预期时长等。一旦计算出预期位置si+1，LDS104便分析环境数据库116以判定是否已针对该预测位置si+1注册(即，检测到)任何地标。例如，如果预测位置si+1为位置_A，则LDS104分析环境数据库116以判定是否已针对位置_A注册/存储地标。从图3可看出，已针对位置_A注册地标_1。因此，LDS104可以在车辆到达位置_A时期望0DS106检测到地标_1。
[0046]当车辆101继续行进时，车辆101在时间i+Ι到达实际位置。LDS104然后获取vi+1和si+1的实际值。例如，LDS104的数据获取模块202针对当前位置获取GPS数据126、DMI数据130和/或IMU数据134。LDS104然后确定车辆101在时间i+Ι的实际位置。0DS106分析成像系统108在该当前位置处捕获的图像/帧113以检测任何地标或检测是否缺少地标。另外还获取有关相机、传感器124、132、130的容差以及用于处理其数据的分析的信息。该信息可以存储在环境数据库116和/或系统104的另一区域中。
[0047]LDS104的比较模块206将针对i+Ι的预测位置si+1与实际测量位置进行比较。比较模块206还可以将诸如预期行进距离、预期速度和预期加速度等之类的其它预期传感信息与实际测量信息进行比较。比较模块206还将预期视觉信息(例如，出现地标或不出现地标)与0DS106实际检测到的视觉信息进行比较。例如，如果LDS106期望在位置si+1处检测到地标_1，则LDS104分析当前位置的ODS信息以判定是否检测到地标_1。此比较过程还 可以考虑地标的特征/属性。例如，0DS106将与期望在当前位置处观察到的地标关联的视觉属性/特征与已捕获图像中被观察场景的关联视觉属性/特征进行比较。如果在给定容限内存在匹配，则0DS106确定已观察到(或者未观察到)预期地标。例如，如果环境数据库指示地标_1为白色倾斜的英里标志牌，则LDS104判定0DS106是否在当前位置处检测到白色倾斜的英里标志牌。
[0048]还可以执行其它各种比较。例如，可以将位置si+1处的预期行进距离与在时间i+1处的实际行进距离进行比较。此外，可以将si+1的预期轨枕数与已计数的实际轨枕数进行比较。这些附加比较还可以与定位/位置及视觉/环境信息比较过程结合使用以提供更精确和更具鲁棒性的位置。例如，如果所有比较产生匹配或基本匹配(例如，在给定容限内)，则预测位置和测量位置具有高度精确性。但是，如果一个或多个比较不匹配，则系统能够根据预测测量值与实际测量值之间的变化度相应地调整位置预测模型204。但是，如果大部分比较匹配，则系统在为对象分配位置/定位信息时仍具有高置信度，同时能够调整位置预测模型204以提供更精确的预测。
[0049]如果预测位置si+1、预期视觉/环境信息，以及可选的预期传感信息与实际测量数据匹配(或在给定容限内匹配)，则LDS104更新车辆101和/或诸如轨枕组件之类的被检查对象的当前位置和上下文(context)。在一个实施例中，上下文指给定地理位置周围的地形，例如位置周边的地标(及其图像)。如果需要，LDS104可以根据预期值和实际测量值之间的变化度(或增量)对位置预测模型中的a、V和s等值稍作调整。如果没有传感器来直接测量加速度或速度，则可以将As中的差值反向投射成Λ V和Λ a。在具有加速度计和/或直接速度传感的情况下，可以将变化度(或增量)作为△￥、△&和As校正的考虑因素。根据更新后的当前位置预测下一位置，并且在位置预测模型204中更新a、V、s的值。然后重复此过程。
[0050]如果预测位置si+1与实际测量位置匹配(或在给定容限阈值内匹配)，但是视觉预期与实际观察环境的差异大于给定容限阈值，则LDS104确定车辆101位于预期位置，但是增加、移除或替换了地标。如果增加了地标，则LDS104的环境数据库更新模块208将地标添加到环境数据库116，这与上面的描述类似。例如，在表300中添加一个识别地标、地标类型、系统位置、地标位置、包括地标的图像/帧、地标的属性/特征、轨枕计数等的表项。如果地标已移除，则更新模块208可以通过在表300中移除与已移除地标对应的表项来更新环境数据库116。备选地，更新模块208可以更新相应的表项以指示该给定位置处不存在地标。如果地标发生改变，则可以更新对应于旧地标的表项以识别新地标及其相关信息。
[0051]如果预测位置si+1与实际测量位置匹配(或在给定容限阈值内匹配)，但是视觉预期与实际观察环境的差异小于第二容限阈值，则LDS104确定车辆101位于预期位置，但是预期地标发生变化(例如，已损坏、改造、粉刷等)。在这种情况下，更新模块208可以更新表300以显示这些新的或已改变的地标属性/特征。
[0052]应指出，如果预测位置不与诸如地标之类的视觉环境组件关联(S卩，预期不出现地标)，则LDS104可以利用最后一个已知的地标位置和传感数据来检验当前位置。例如,如果预测位置si+1不与地标关联，则可以使用位置预测模型204预测最后一个已知的地标与位置si+1之间具有多少个轨枕；要在最后一个已知的地标与位置si+1之间行进的距离；以及在最后一个已知的地标与位置si+1之间行进所需的时间等。LDS104可以根据实际测量位置确定相应的信息，并且可以在预测/预期信息与所确定的相应信息之间执行比较过程。
[0053]应指出，预测位置不是必需的。例如，在一个实施例中，LDS104从一个或多个传感器124、128、132获取位置/定位信息。LDS104然后分析环境数据库116以识别从传感器124、128、132接收的位置信息的地标/纪念碑信息。LDS104然后将该预期地标/纪念碑信息与0DS106当前检测到(或未检测到)的地标/纪念碑信息进行比较。如果预期地标/纪念碑信息至少在给定容限阈值内与所观察的地标/纪念碑信息匹配，则从一个或多个传感器124、128、132接收的位置信息是精确的，然后更新车辆101的当前位置。如果预期地标/纪念碑信息至少在给定容限阈值内与所观察的地标/纪念碑信息不匹配，则系统102可以通知用户。
[0054]在一个实施例中，检查系统110利用LDS104确定已损坏或已缺失的铁轨组件(在此也称为“被观察对象”)的精确定位/位置。例如，检查系统Iio监视0DS106以确定何时检测到铁轨组件以及组件是否已损坏，如上所述。当检查系统110确定已检测到损坏(或缺失)的组件时，LDS104获取与被观察对象关联的初始全球位置。如上所述，该初始全球位置包括从GPS系统124获取的经度和纬度坐标。公众可以购买的当前GPS系统具有精确定位被观察对象的位置时所不能接受的误差率。因此，LDS104利用环境数据库116内存储的信息118来改善和提高针对被观察对象获取的初始全球位置的精确度。
[0055]例如，根据初始全球位置，LDS104确定与已检测到的组件关联的地理邻近地区，如图11所示。具体而言，图11示出沿着车辆(图11中未示出)的路径1104所观察的对象1102。图11还示出与被观察对象1102的初始全球位置关联的不确定区域1106。还示出与被观察对象1102关联的地理邻近地区1108。在一个实施例中，地理邻近地区1108是距初始全球位置的距离在给定距离内的区域。该区域可以位于初始全球位置的中心，偏离初始全球位置，在初始全球位置处开始或停止等。地理邻近地区1108可以围绕初始全球位置，也可以是围绕初始全球位置的区域的一部分。图像捕获设备102、104的视野1008、1012可以在地理邻近地区1108内固定和/或在地理邻近地区1108内变化。
[0056]一旦确定与被观察对象1102关联的地理邻近地区1108，0DS106便识别预期可在地理邻近地区1108内观察到的一个或多个候选地标1110、1112、1114。根据其位置相对于被观察对象1102位置的关系，地标1115被认为不能被观察到，因此地理邻近地区被定义为不包括地标1115。在该实施例中，0DS106分析环境数据库116内的环境信息118以识别地理邻近地区1108内与位置信息关联的地标集。该地标集被0DS106视为候选地标集。
[0057]成像系统108捕获图像113，0DS106分析每个图像113以判定是否检测到一个或多个候选地标1110、1112、1114。例如，0DS106将候选地标集地标1110、1112、1114中的每个地标的关联视觉特征信息集与从一个或多个已捕获图像1113获取的视觉特征信息集进行比较。与地标关联的视觉特征信息集可以识别地标的特定特征(多个)以及特征在其中检测到特征的每个图像/帧内的位置。0DS106然后判定与至少一个候选地标关联的视觉特征信息集是否与从已捕获图像(多个)获取的视觉特征信息集在给定视觉外观阈值内匹配。如果是，则0DS106确定候选地标1110、1112、1114中的至少一个地标已被检测到。LDS104然后从环境数据库116获取与至少一个候选地标关联的位置信息。
[0058]LDS104利用与已检测到的地标(多个)关联的位置信息和初始全球位置来生成精确度高于初始全球位置的新的全球位置。例如，图11示出围绕被观察对象1102的圆圈1116，该地区表示新的全球位置的精确度/更高的精确度。可以看出，新的全球位置的不确定度/误差比初始全球位置的不确定度/误差1106小很多。因此，在一个实施例中，新的全球位置比初始全球位置更精确。应指出，当在地理邻近地区1108内检测到多个地标时，可以获得甚至更高的精确度。
[0059]除了检测与被观察对象关联的缺陷/损坏之外，检查系统110还将与被观察对象关联的检查信息122记录在检查数据库120内。例如，检查系统110记录已识别的轨道组件、已识别的缺陷或损坏类型，以及已识别的轨道组件的位置等。如上所述，通过使用至少一个定位设备获取铁轨组件的第一全球位置来从LDS104获取已识别的铁轨组件的位置。判定至少一个地标的已存储视觉特征信息集是否与从至少一个已捕获图像获取的视觉特征信息集相匹配，所述至少一个已捕获图像包括与铁轨组件关联的场景。响应于已存储视觉特征信息集与所获取的视觉特征信息集匹配，根据与至少一个地标关联的已存储位置信息集和第一全球位置来确定铁轨组件的第二更优化的全球位置。
[0060]图4示出包括多个列和行的表400，所述列和行表示检查数据库120内的检查信息122。在一个实施例中，每个行对应于检查系统目标对象，例如(但不限于)缺失的、损坏的或具有缺陷的铁轨组件，或者具有外观特性并且也可能损坏的地标对象。表400包括标题为“轨道组件ID”的第一列402、标题为“组件类型”的第二列404、标题为“缺陷/损坏类型”的第三列406、标题为“轨道组件位置”的第四列408、标题为“行进距离”的第五列410以及标题为“轨枕数”的第六列412。应指出，可以在表400中添加一个或多个附加列和/或可以从表400移除一个或多个上述列。
[0061]轨道组件ID列402包括唯一地识别已检测到(或已确定为缺失)的每个轨道组件的表项414。组件类型列404包括识别已检测到的铁轨组件类型的表项416，所述铁轨组件包括但不限于轨枕、道钉、路轨锁、铁轨本身等。缺陷/损坏类型列406包括指示已针对给定铁轨组件检测到的缺陷/损坏类型的表项418。如上所述，缺陷或损坏可以是(但不限于)破裂的轨枕、缺失的轨枕、缺失的道钉、缺失的路轨锁等。因此，缺陷/损坏类型列406下的表项418例如指示这些缺陷/损坏类型中的哪个类型与所检测到的铁轨组件关联。在另一实施例中，检测/损坏类型列406还可以包括与已检测到的组件外观关联的信息。例如，如果组件颜色预期是黑色，但是检测到为白色，则将该色差视为缺陷并进行记录。可以使用诸如(但不限于)“color=white (颜色=白色)”,“tilt=10degrees (倾斜=10度)”之类的属性值对记录外观缺陷。
[0062]轨道组件位置列408包括指示已识别的轨道组件的位置/定位的表项420。如上所述，通过LDS104执行的位置确定过程获取该定位/位置。该信息可以是经度和纬度信息。行进距离列410包括指示从参考点开始直到已识别轨道组件的位置为止行进的距离的表项422。参考点可以是给定经度/纬度位置、之前检测到的地标等。轨枕数列412包括识别从参考点开始直到包括已识别轨道组件的位置为止所计数的轨枕数的表项424。
[0063]通过上面的描述可看出，本发明的各实施例利用与周围环境关联的视觉信息结合诸如GPS数据、DMI数据和IMU数据之类的传感数据精确地判定对象位置。这些实施例中的一个或多个可以是独立实施例和/或在检查系统内实现以精确地、鲁棒地确定被检查对象的位置。
[0064]操作流稈图
[0065]图5-6是示出上述位置确定过程的一个实例的操作流程图。应指出，如上所述，预测位置不是必需的。操作流从步骤502开始，然后直接流向步骤504。在步骤504，LDS104初始化系统上下文，例如车辆101的当前位置、速度、加速度的值，以及位置预测模型204。在步骤506，LDS104预测车辆101在将来给定时间的下一位置以及预期在预测位置处观察到的关联视觉环境特征/对象或信息(例如，地标及其视觉特征)。当到达给定时间时，在步骤508，LDS104获得位置数据和其它传感数据以获取车辆101的测量定位/位置。与步骤508几乎同时，LDS104在步骤510还获得实际位置的视觉环境信息。
[0066]在步骤512，LDS104将预测位置和预期视觉环境特征/信息与测量的位置和观察到的视觉环境特征/信息进行比较。在步骤514，LDS104判定预测位置和预期视觉环境特征/信息是否与测量的位置和观察到的视觉环境特征/信息相匹配。如果此判定的结果为肯定的，则在步骤516，LDS104更新车辆(或其它对象)的当前位置，另外还更新诸如车辆101的速度/加速值以及位置预测模型204之类的上下文。控制流返回到步骤506以执行下一循环。应指出，更新车辆位置(或其它对象)的过程考虑了此时所有可视地标的位置，因此形成了更精确、更具鲁棒性的位置估计。
[0067]如果步骤514的判定结果为否定的，则控制流到图6的入口点A。在步骤601，LDS104判定预期视觉环境特征/信息与观察到的视觉环境特征/信息之间的变化是否大于第一容限阈值，例如但不限于O。如果此判定的结果为否定的，则在步骤602，LDS104确定地标外观未改变。因此，在步骤514检测的变化是当前车辆位置的错误估计的结果。然后在步骤605，根据环境数据库116中的信息118更新/重置当前位置和上下文。控制流到图5的入口点B，其中执行步骤514的处理。此时，将继续执行测试，并且控制将继续到步骤516，然后回到步骤506。
[0068]如果步骤601的判定结果为肯定的，则在步骤514检测到的变化是地标视觉特征改变的结果。控制继续到步骤603，其中LDS104判定预期视觉环境特征/信息与观察到的视觉环境特征/信息之间的变化是否处于第二容限阈值内。如果此判定结果为肯定的，则在步骤604，LDS104确定当前位置处的预期视觉环境特征的外观已改变。在步骤606，LDS104针对当前位置，根据所检测到的变化而更新环境数据库116内的环境信息118。控制然后流到图5的入口点B，从这里开始流到入口点A (步骤601)，然后流到步骤602，因此外观变化将处于第一阈值内。
[0069]如果步骤603处的变化超过给定阈值，则在步骤608，LDS104确定当前位置处的预期视觉环境特征已被取代或移除。在步骤610，LDS104针对当前位置，根据所检测到的变化而更新环境数据库116内的环境信息118。控制流到图5的入口点B，从这里开始流到入口点A (步骤601)，然后流到步骤602，因为外观变化将处于第一阈值内。
[0070]图7是示出上述位置确定过程的另一实例的操作流程图。该操作流从步骤702开始，然后直接流到步骤704。在步骤704，LDS104使用第一定位设备124获取被观察对象的第一全球位置。第一全球位置包括与被观察对象的位置关联的第一精确度。在步骤706，LDS104根据第一全球位置确定与被观察对象关联的地理邻近地区(图11中的1108)。在一个实施例中，邻近地区是位于第一全球位置中心处的地理区域，其半径大到足以包括车载相机所能看到的所有可能的地标(且清晰度足以将这些地标区分开来)，以及足以确定这些地标的损坏程度是否大于第二阈值。具有邻近地区的一个优点是限制数据库中与被观察对象进行比较的地标集，使得比较和匹配过程可以在车辆经过包含地标的地形时实时快速地完成。
[0071]在步骤708, LDS104根据与多个地标中的每个地标关联的位置信息集,从多个地标中识别与被观察对象的地理邻近地区关联的候选地标集。预期可在地理邻近地区内观察到候选地标集中的每个地标。在步骤710，LDS104判定候选地标集中的至少一个候选地标的视觉特征信息集与从包括被观察对象的关联场景的至少一个已捕获图像获取的视觉特征信息集相匹配。在步骤712，LDS104根据与至少一个候选地标关联的位置信息集以及第一全球位置确定被观察对象的第二全球位置。第二全球位置包括大于(或者至少期望大于)第一全球位置的第一精确度的第二精确度。然后控制流在步骤714退出。
[0072]图8是示出将位置信息与被识别为已缺失或损坏的铁轨组件相关联的一个实例的操作流程图。操作流从步骤802开始，然后直接流到步骤804。在步骤804，0DS106捕获图像/帧113，某些图像/帧是铁轨组件的图像。在步骤806，0DS106分析所捕获的铁轨组件图像/帧。在步骤808，检查系统110根据ODS分析判定这些图像/帧是否包括任何已缺失或损坏的轨道组件。如果此判定结果为否定的，则控制流返回到步骤804。如果此判定结果为肯定的，则在步骤810，检查系统110从LDS104获取轨道组件的当前位置/定位。在步骤812，检查系统110使用至少识别已损坏/缺失的轨道组件的信息以及还使用从LDS104获取的位置/定位信息来更新检查数据库120。控制流返回到步骤804。
[0073]信息处理系统
[0074]图9是可以在本发明的各实施例中使用的信息处理系统的框图。信息处理系统900基于适合于实现本发明的一个或多个实施例的适当配置的处理系统(例如，图1中的系统102)。任何适当配置的处理系统均可用作本发明实施例中的信息处理系统900。信息处理系统900包括一个或多个与主存储器906相连的处理器904、大容量存储接口 908，以及网络适配器硬件910。系统总线912将这些系统组件进行互连。尽管未示出，诸如成像系统108、GPS模块124、DMI (多个)128和IMU (多个)之类的外围传感设备在通信上耦合到系统总线912。
[0075]在此实施例中，主存储器906可以包括与位置确定系统104和对象检测系统106关联的指令和数据。尽管未示出，但是主存储器906还可以包括至少部分检查系统110、图像数据库112、环境数据库116、检查数据库120、GPS数据126、DMI数据130、IMU数据134等。大容量存储接口 908用于将诸如大容量存储设备914之类的大容量存储设备连接到信息处理系统900。一种特定类型的数据存储设备是诸如⑶/DVD驱动器之类的光盘驱动器，该驱动器可用于将数据存储到诸如但不限于CD/DVD916之类的计算机可读介质或存储产品或从计算机可读介质或存储产品读取数据。其它类型的数据存储设备包括读/写磁存储设备、固态存储设备和/或类似的设备。
[0076]主存储器中包括的可选操作系统是适当的多任务操作系统，例如Linux、UNIX、Windows和基于Windows Server操作系统中的任意一种。本发明的各实施例还能够使用其它任何适当的操作系统。应指出，本发明的其它实施例不需要操作系统。本发明的某些实施例利用诸如(但不限于)面向对象的框架之类的架构，这些架构允许操作系统组件的指令在位于信息处理系统900内的任何处理器上执行。网络适配器硬件910用于提供到网络918的接口。本发明的各实施例能够被配置为与包括现今的模拟和/或数字技术或通过将来的联网机制的任何数据通信连接一起工作。
[0077]非限制性实例
[0078]尽管在功能完备的计算机系统上下文中描述了本发明的示例性实施例，但是本领域的技术人员将理解，各种实施例能够作为程序产品经由CD或DVD、CD-ROM或其它形式的可记录介质，或者经由任何类型的电子传输机制进行分发。另外，本发明的各方面可以采取以下形式，即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0079]可以采用一个或多个计算机可读介质(媒体)的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一但不限于一电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上适当的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPR0M或闪存)、光纤、可转移紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何可以包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0080]计算机可读的信号介质可以包括例如在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括一但不限于一电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0081]计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括一但不限于一无线、有线、光缆、RF等等，或者上述的任意合适的组合。
[0082]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的各方面操作的计算机程序代码。所述程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络一包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0083]尽管公开了本发明的特定实施例，但是本领域的技术人员将理解，可在不偏离本发明的精神和范围的情况下，对这些特定实施例做出更改。因此，本发明的范围并不限于特定实施例，并且所附权利要求旨在涵盖部分和全部此类落在本发明范围内的应用、修改和实施例。
【权利要求】
1.一种用于确定被观察对象的全球位置的方法，所述方法包括: 使用至少一个定位设备获取被观察对象的第一全球位置；判定至少一个地标的已存储视觉特征信息集是否与从至少一个已捕获图像获取的视觉特征信息集相匹配，所述至少一个已捕获图像包括与所述被观察对象关联的场景；以及响应于所述已存储视觉特征信息集与所获取的视觉特征信息集相匹配，根据与所述至少一个地标关联的已存储位置信息集和所述第一全球位置来确定所述被观察对象的第二全球位置。
2.根据权利要求1的方法，其中所述第一全球位置包括第一精确度，并且所述第二全球位置包括大于所述第一精确度的第二精确度。
3.根据权利要求1的方法，还包括: 根据所述第一全球位置确定与所述被观察对象关联的地理邻近地区；以及根据与对应于已确定的地理邻近地区的至少一个地标关联的位置信息集而从多个地标选择所述至少一个地标。
4.根据权利要求1的方法，其中所述地理邻近地区包括与所述第一全球位置的距离在给定距离之内的区域。
5.根据权利要求1的方法，其中至少所述地标所关联的位置信息集包括以下一项或多项: 经度数据和纬度数据； 从给定参考点行进的距离；以及 从给定参考点开始计数的轨枕数。
6.根据权利要求1的方法，还包括: 确定所述至少一个地标的所述已存储视觉特征信息集未能与从所述至少一个已捕获图像获取的所述视觉特征信息集相匹配； 根据所述至少一个地标的所述已存储视觉特征信息集和从所述至少一个已捕获图像获取的所述视觉特征信息集来识别所述至少一个地标的至少一个已改变的视觉特征；以及根据所述识别而更新与所述至少一个地标关联的所述已存储视觉特征信息集以便包括所述至少一个已改变的视觉特征。
7.根据权利要求1的方法，还包括: 确定所述至少一个地标的所述已存储视觉特征信息集未能与从所述至少一个已捕获图像获取的所述视觉特征信息集相匹配； 根据所述已存储视觉特征信息集未能与所述视觉特征信息集相匹配，确定所述至少一个地标已被移除；以及 更新至少一个数据库以移除所述已存储视觉特征信息集和与所述至少一个地标关联的所述位置信息集以指示所述至少一个地标已被移除。
8.根据权利要求1的方法，其中判定至少一个地标的已存储视觉特征信息集是否与从至少一个已捕获图像获取的视觉特征信息集相匹配包括: 将与所述至少一个地标关联的所述已存储视觉特征信息集与从所述至少一个已捕获图像获取的所述视觉特征信息集相比较；以及 确定在给定视觉外观阈值内，与所述至少一个地标关联的所述已存储视觉特征信息集与所述视觉特征信息集相匹配。
9.根据权利要求7的方法，其中确定在给定视觉外观阈值内，所述已存储视觉特征信息集与所述视觉特征信息集相匹配包括: 根据所述比较，确定与所述至少一个地标关联的所述已存储视觉特征信息集和从所述至少一个已捕获图像获取的所述视觉特征信息集之间的差异集在所述给定视觉外观阈值内。
10.根据权利要求1的方法，其中进一步根据轨枕计数和从给定参考点行进的距离中的至少一个来确定所述第二全球位置。
11 .根据权利要求1的方法，其中所述被观察对象是缺失的铁轨组件和损坏的铁轨组件中的至少一个。
12.一种用于确定被观察对象的全球位置的系统，所述系统包括被配置为执行权利要求I至11中的任一权利要求的方法步骤的装置。
13.一种用于维护待检查目标对象数据库的方法，所述方法包括: 分析至少一个包括场景的图像，其中由位于车辆上的至少一个图像捕获设备捕获所述图像； 根据所述分析，识别与所述场景关联的第一视觉特征信息集； 将所述第一视觉特征信息集和与至少一个目标对象关联的第二视觉特征信息集相比较； 根据所述比较，确定在给定阈值内，所述第一视觉特征信息集和所述第二视觉特征信息集相互匹配； 获取与所述车辆关联的定位信息集；以及 将所述第二视觉特征信息集和所述定位信息集一起存储在与所述至少一个目标对象关联的数据库的记录中。
14.一种用于维护待检查目标对象数据库的系统，所述系统包括被配置为执行权利要求13的方法步骤的装置。
【文档编号】G01S19/42GK103675868SQ201310411260
【公开日】2014年3月26日 申请日期:2013年9月11日 优先权日:2012年9月12日
【发明者】藤木裕一, N·哈斯, 李瑛 , C·A·奥托, S·潘坎蒂, H·郑 申请人:国际商业机器公司