用于更新精密路线地图的对象变化检测系统及其方法与流程

1.本发明涉及用于更新精密路线地图的对象变化检测系统及其方法，并且涉及在为了维持精密路线地图的品质而用探测车辆对道路上的道路设施对象的变化进行识别的电子地图更新过程中基于摄像机来对对象变化进行检测，从而能够降低装置的成本和通信负载的用于更新精密路线地图的对象变化检测系统及其方法。


背景技术：

2.为了安全的自动驾驶，自动驾驶车辆可对车辆的周边环境和车辆的位置进行识别，并且基于识别到的信息来生成能够使车辆安全且效率地行驶的路径。此外，自动驾驶车辆可根据经生成的路径来控制车辆的转向和速度。
3.自动驾驶车辆可使用搭载的传感器(例如，摄像机、激光扫描仪、雷达、gnss(global navigation satellite system)、imu(inertial measurement unit)等)对车辆的周边环境(例如，诸如车道和信号灯的道路设施或地标)进行识别，并且基于识别到的周边环境来生成路径。所述基于周边环境识别的路径生成方法可能在(难以识别周边环境的环境，例如，不存在车道或者复杂的车道环境)下无法生成路径。
4.精密路线地图是一同提供车道信息和车辆行驶所需的各种信息，例如，信号灯的位置、停止线的位置、是否为能够改变车道的车道、是否为允许左转的交叉路口等的详细道路信息和三维精密位置信息的地图。借助于这种精密路线地图的自动驾驶车辆能够进行更加安全的自动驾驶。运用于自动驾驶车辆的控制中的精密路线地图(hd map)为了自动驾驶，其为具备厘米(cm)水平的精密度的3d(三维)立体地图。通常，当1/1000数字地形图(数字地图)的准确性为70cm时，精密路线地图为25cm以内，其为更加精密的。其为具有1至2.5米的准确性的导航地图的10倍。
5.此外，精密路线地图也能够运用于在通过具有前方碰撞警告、车道脱离警告等的安全功能的用于仪表板的摄像机收集基于正确的位置信息的道路上的事件信息的情况中。不仅如此，还可运用于在使用安装有摄像机的联网汽车的交换信息或者安装有摄像机的各种法人拥有的车辆收集道路的各种设施、事件信息的情况中的准确定位中。
6.当前，在构建精密路线地图时，作为移动车辆系统的“移动制图系统(mobile mapping system，mms)”设备被使用。搭载于车辆等的移动体上的mms为结合有数码摄像机、三维激光扫描仪系统(lidar)、卫星导航系统(gnss)、惯性测量单元(imu)等的“移动三维空间信息系统”。在以时速40km至100km行驶的车辆中能够进行360度的全方位拍摄。mms作为具备尖端技术的设备，其通常为每台要价10亿韩元的昂贵设备。在用这种mms设备构建并更新精密路线地图时会消耗非常多的人力和成本。尤其是，在道路的状态上发生了变化时，无法迅速地更新精密路线地图，因此对于依赖于精密路线地图进行自动驾驶的车辆而言会成为危害安全的因素。
7.因此，存在着对于在构建了对于精密路线地图的基本信息的状态下能够满足对包括在该精密路线地图中的对象信息的变化进行检测并对其进行更新的目的，并且同时能够
减少装置的成本和通信负载的新的技术的需求。
8.现有技术文献，专利文献：韩国公开专利第10-2014-0072763号[发明名称：对图像信息与航拍照片数据进行比较来决定目标对象并且使用由摄像机获取的信息来获取目标对象的三维坐标的数值地图制作系统]。


技术实现要素：

[0009]
要解决的技术问题：现有的移动制图系统(mobile mapping system，mms)通过使用包括具有三维激光扫描仪系统的昂贵的传感器的多种传感器以及生成高分辨率图像信息的摄像机向本地存储装置(车辆内)存储大量数据或者向服务器传输大量数据的方式进行操作以进行用于自动驾驶的精密路线地图测量，而这种现有的移动制图系统(mobile mapping system，mms)在实现对对道路相关的相邻对象的变化进行检测并且更新已生成的精密路线地图的目的时会产生过度的成本以及网络负载。因此，本发明的实施例的目的在于提供如下用于更新精密路线地图的对象变化检测系统及其方法，即，该用于更新精密路线地图的对象变化检测系统及其方法通过摄像机图像对已生成的精密路线地图中随时发生变化的道路相关的相邻对象的变化进行检测，而仅将关于对象的变化进行检测的结果传输到服务器，而不传输产生过度的网络负载的完整的感测信息，从而能够减少用于对象变化检测的装置的成本并且最大限度地减少网络负载从而减少运行负担。
[0010]
解决问题的手段：根据本发明一实施例的用于更新精密路线地图的对象变化检测系统为包括对由固定在车辆上的摄像机拍摄的道路图像的道路设施对象与精密路线地图进行比较来检测对象的变化的至少一个以上的变化检测装置的系统，其中所述变化检测装置包括地图信息存储部、对象坐标获取部和变化对象检测部，其中，地图信息存储部从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其，对象坐标获取部在所述道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标，并且变化对象检测部对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器，其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
[0011]
所述对象坐标获取部可包括对象识别部、特征点提取部、特征点追踪部、坐标决定部和补正部其中，对象识别部按照所述道路图像的帧为单位对包括gcp(ground control point)对象和一般对象中的至少一个的道路设施对象和属性进行识别，特征点提取部在所述道路图像中提取至少一个以上的道路设施对象的特征点，特征点追踪部在所述道路图像的连续帧中对所述特征点进行匹配并追踪，坐标决定部获取所述特征点的目标空间坐标以最大限度地减少从追踪到的所述特征点预测到的摄像机的姿势信息和计算出的摄像机的姿势信息的差异，并且补正部在识别到所述gcp对象时以绝对空间坐标值已知的所述gcp对象的坐标点为基准对所述特征点的目标空间坐标进行补正以获取所述特征点的绝对空间坐标。
[0012]
所述地图更新服务器可包括候选组生成部，其中，候选组生成部从所述至少一个以上的变化检测装置收集所述对象变化信息，并且生成将所述对象变化信息的变化对象作
为候选的候选组信息并分配给所述变化检测装置，并且所述变化检测装置可在靠近包括在所述候选组信息中的候选中的一个时将关于所述候选的候选图像传输到所述地图更新服务器。
[0013]
所述地图更新服务器还可包括候选确认部和地图更新部，其中，候选确认部仅在所述候选图像的候选未被障碍物折逼的情况下确认是否是真正的变化对象，并且地图更新部在确认为真正的变化对象时对于经确认的变化对象更新所述精密路线地图，其中，经更新的所述精密路线地图可被分配给所述至少一个以上的变化检测装置。
[0014]
所述候选组信息可包括保留关于特定候选的图像传输的非激活列表，并且所述地图更新服务器可对于相同的候选在从至少两个以上的变化检测装置收集到的候选图像中在所述相同的候选被障碍物遮蔽而完全无法被识别的情况下，在预设时间期间将所述相同的候选包括在所述非激活列表中。
[0015]
所述变化检测部可按照所述道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，而当在至少一个以上的帧中判断出对象一致时判断为对象没有发生变化。
[0016]
此外，根据本发明的一实施例的用于更新精密路线地图的对象变化检测方法为由至少一个以上的变化检测装置执行的方法，所述方法包括以下步骤：(a)从地图更新服务器接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其；(b)在包括由固定在车辆上的摄像机拍摄的道路设施对象的图像的道路图像中识别至少一个以上的道路设施对象，并且获取识别到的所述对象的属性和特征点的空间坐标；以及(c)对识别到的所述对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和特征点的空间坐标和变化对象的图像的对象变化信息传输到所述地图更新服务器，其中，所述变化对象为对象属性的改变、新对象的生成和现有对象的删除中的任一种。
[0017]
发明效果：本发明用低价的传感器对在已制作的精密路线地图中道路设施对象的变化进行检测，并且通过仅将在安装在探测车辆上的装置中关于对象的变化进行处理的结果传输到服务器，而不传输产生过度的网络负载的完整的感测信息，从而能够减少用于对象变化检测的装置的成本并且最大限度地减少网络负载从而减少运行负担，进而能够促进自动驾驶的普及和商用化。
[0018]
此外，本发明在图像信息中对已存在于精密路线地图中的具有精密空间坐标属性的对象进行区分并且以此为基准算出关于感兴趣的对象的空间位置，其中通过使用累计测量信息来确认对象的变化，由此即使使用具有相对低精密度的传感器传感器，也能够以可靠的水准新对象和现有对象的变化的品质管理到，从而能够用低成本持续地提供具有高可靠性的精密路线地图。
附图说明
[0019]
图1是示例出根据本发明的用于更新精密路线地图的对象变化检测系统的图；
[0020]
图2是示出根据本发明的变化检测装置的配置的框图；
[0021]
图3是示出根据本发明的变化检测装置中的变化检测部的配置的框图；
[0022]
图4是示出图3中的对象坐标获取部的框图；
[0023]
图5是示出根据本发明的地图更新服务器的配置的框图；
[0024]
图6是示出根据本发明的用于更新精密路线地图的对象变化检测方法的流程图；
[0025]
图7是示出图6中的对象坐标获取过程的流程图。
[0026]
附图标记说明：
[0027]
100、100_1至100_n：变化检测装置；
[0028]
110：变化检测部；
[0029]
120：摄像机；
[0030]
130：通信部；
[0031]
140：gnss接收器；
[0032]
150：存储部；
[0033]
200：地图更新服务器；
[0034]
210：地图分配部；
[0035]
220：候选组生成部；
[0036]
230：候选确认部；
[0037]
240：地图更新部。
具体实施方式
[0038]
首先将对本发明中的术语进行整理。
[0039]
道路设施对象是指包括在精密地图中的设施，其包括路面标志、警告标志、管制标志、指示标志、辅助标志、标示板、信号灯、路灯、柱子、检查井、路缘石、中央分隔带、消火栓和建筑物等中的至少一种。这种道路设施对象可被固定或显示在道路路面上，并且还可为如信号灯、建筑物的部分特征点或招牌等悬浮在空中的设施或者显示在该设施上。
[0040]
即，道路设施对象意味着可包括在精密地图中的所有类型的设施，并且作为包括各种路面标志、警告标志、管制标志、指示标志、辅助标志、标示板、信号灯、路灯、柱子、检查井、路缘石、中央分隔带、消火栓和建筑物的招牌等的概念，在本发明中可运用这些对象中的至少一个以上。例如，标记在道路路面上的中央线、实线车道、虚线车道、左转箭头、直行箭头、慢行标记菱形、速度限制区域等的能够显示在道路路面上的所有标记包括在设施对象中，并且设置在道路或地面上的路灯、柱子、检查井、消火栓、路缘石、中央分隔带、标示板等的结构物和该结构物上的各种标记、以及设置在信号灯上的各种标示板和、标记、建筑物等均包括在设施对象中。
[0041]
地面基准点(gcp，ground control point)意味着使用在绝对表达式中的坐标确切已知的坐标点。在本发明中，道路设施对象中的检查井的盖子、消火栓、、道路设施的端部或连接部和路面上的排水结构物中可用作gcp对象。
[0042]
精密路线地图作为对于各个道路设施对象将该对象的属性和该对象的特征点的空间坐标信息进行数据库化的地图信息，包括在道路地图中的各个道路设施对象的特征点与该特征点的空间坐标信息一一对应。此处，道路设施对象的特征点(feature point)意味着道路设施的特征性的地点，具有明显的颜色或亮度变化而被区分的内部或外部的顶点或外围线中能够确切区分的点可成为特征点。其结果，道路设施对象的特征点可成为道路设施对象的顶点或者边缘上的任意一点。
[0043]
这种精密路线地图为精密地制作出车辆的自动驾驶所需的关于所有道路设施对象信息的电子地图，并且运用于自动驾驶车辆、联网车辆、交通管理、道路养护等中。
[0044]
图1是示例出根据本发明的用于更新精密路线地图的对象变化检测系统的图。
[0045]
参照图1，包括用于更新精密路线地图的对象变化检测系统和地图更新服务器200。
[0046]
变化检测装置100_1至100_n为安装在探测车辆上并且从拍摄道路的图像获取道路路面或悬浮在空中的道路设施对象的属性和空间坐标，并且对获取到的道路设施对象的属性和空间坐标与精密路线地图进行彼此比较从而检测对象的变化的装置。
[0047]
此处，对象的变化是指i)道路设施对象的属性发生变化的情况、ii)新出现之前不存在的道路设施对象的情况和iii)之前存在的道路设施对象消失的情况中的任一种。例如，出现之前不存在的车道、现有的车道类型发生变化、或者信号灯的位置发生变化的情况等。
[0048]
关于在变化检测装置100_1至100_n中检测到的道路设施对象的变化的信息被传输到地图更新服务器200，并且地图更新服务器200从各个变化检测装置100_1至100_n收集并分析关于对象的变化的信息，由此最终判断包括在精密路线地图中的道路设施对象中是否发生了变化。当判断出道路设施对象中发生变化时，地图更新服务器200重新更新精密路线地图并将经更新的精密路线地图分配给所有变化检测装置100_1至100_n。
[0049]
将变化检测装置100_1至100_n分别安装在多个探测车辆上，并且重复执行变化检测装置100_1至100_n对在探测车辆行驶期间拍摄到的道路图像中连续地识别到的各个道路设施对象的属性和特征点的空间坐标与精密路线地图的各个对象进行比较的过程，从而不仅能够有效地检测并更新包括在精密路线地图中的道路设施对象的变化，而且能够使用多个变化检测装置快速地更新宽广区域的精密路线地图。
[0050]
图2是示出根据本发明的变化检测装置的配置的框图。
[0051]
参照图2，根据本发明的变化检测装置100包括变化检测部110，并且附加地，还可包括摄像机120、通信部130、gnss接收器140和存储部150中的一种。虽未示出，但是根据本发明的地图生成装置100还可包括惯性测量单元(imu，inertial measurment unit)。
[0052]
变化检测部110执行从由固定在探测车辆上的摄像机拍摄的道路图像识别道路设施对象和属性，并且对识别到的信息与精密路线地图的对象进行彼此比较来检测道路设施对象的变化的作用。
[0053]
摄像机120固定并安装在探测车辆上，并且拍摄车辆前方来生成包括道路设施对象的图像的道路图像。经生成的道路图像被传递到变化检测部110。
[0054]
通信部130执行与地图更新服务器200进行通信的作用，并且从地图更新服务器200接收精密路线地图，并且在道路设施对象发生变化的情况下将包括经变化的对象的属性和特征点的空间坐标和变化的对象的图像的对象变化信息传输到地图更新服务器200。虽然将在下文中进行描述，但是也从地图更新服务器200接收关于变化对象的候选的候选组信息。
[0055]
gnss接收器140执行周期性地获取gnss位置信息的作用，尤其是，可获取关于与摄像机120的拍摄时间点同步的时间点的摄像机120的拍摄位置的gnss位置信息。全球导航卫星系统(global navigation satellite system，gnss)作为使用人工卫星确认位置的系
统，其通常可使用全球定位系统(global positioning system，gps)。
[0056]
存储部150可存储精密路线地图、由摄像机120拍摄的道路图像和关于变化对象的对象变化信息。
[0057]
图3是示出根据本发明的变化检测装置中的变化检测部的配置的框图。
[0058]
参照图3，变化检测部110包括地图信息存储部111、对象坐标获取部112、变化对象检测部113、候选组接收部114和候选图像收集部115中的至少一个。
[0059]
地图信息存储部111从地图更新服务器200接收包括各个道路设施对象的属性和特征点的空间坐标的精密路线地图并存储其。地图更新服务器200每当因新构建精密路线地图或者道路设施对象的改变而更新精密路线地图时将精密路线地图分配到各个变化检测装置100_1至100_n，并且各个变化检测装置100_1至100_n接收经更新的精密路线地图并存储在地图信息存储部111中。
[0060]
对象坐标获取部112执行在道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标的作用，其详细内容将在后面进行描述。
[0061]
变化对象检测部113执行对识别到的对象的属性和特征点的空间坐标与所述精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，将包括所述变化对象的属性和变化对象的特征点的空间坐标和变化对象的图像的对象变化信息传输到地图更新服务器200的作用。
[0062]
因为在对象坐标获取部112识别到的道路设施对象的特征点的空间坐标与精密路线地图的对象的特征点的空间坐标不准确地一致，因此在识别到的道路设施对象的特征点的空间坐标和与其对应的精密路线地图中的对象的特征点的空间坐标的差异在限制范围以下的清苦那个下，变化对象检测部113判断为道路设施对象的空间坐标一致。
[0063]
另外，如前所述，对象的变化是指i)道路设施对象的属性发生变化的情况、ii)新出现之前不存在的道路设施对象的情况和iii)之前存在的道路设施对象消失的情况中的任一种。
[0064]
因此，变化对象检测部113使识别到的所有道路设施对象的属性和特征点的空间坐标与精密路线地图中的对象对应，并且确认是否存在对象、属性是否改变、对象特征点的空间坐标是否变换，从而判断对象是否变化。
[0065]
此外，变化对象检测部113可按照道路图像的各个帧为单位对识别到的对象的属性和特征点的空间坐标与精密路线地图的对象进行彼此比较，当在至少一个以上的帧中判断出对象一致时判断为该对象没有发生变化。出于各种理由，可能无法在道路图像的一部分帧中识别到道路设施对象。其结果，在至少一个以上的道路图像帧中识别道路设施对象的属性和特征点的空间坐标，并且判断为识别到的对象与精密路线地图的对象一致时，判断为该对象没有发生变化。
[0066]
候选组接收部114从地图更新服务器200接收将各个对象变化信息的变化对象作为候选的候选组信息。另外，虽然将在后面描述，但是候选组信息可包括保留关于特定候选的图像传输的非激活列表。
[0067]
候选图像收集部115在靠近包括在候选组信息中的候选中的一个时，将关于该候选的候选图像传输到地图更新服务器200。此时，在候选组信息中包括有非激活列表的情况
下，对于包括在非激活列表中的候选，可在预设时间期间保留图像传输。
[0068]
图4是示出图3中的对象坐标获取部的框图。
[0069]
参照图3，对象坐标获取部112可包括对象识别部1121、特征点提取部1122、特征点追踪部1123、关键帧决定部1124、坐标决定部1125和补正部1126中的至少一个。
[0070]
对象识别部1121在道路图像的各个帧中对包括gcp(ground control point)对象和一般对象中的至少一个的道路设施对象及其属性进行识别。对象识别部1121通过包括深度学习的机器学习或多种图像处理法来从道路图像识别道路设施对象及其属性。
[0071]
另外，对象识别部1121对根据道路图像的镜头的失真进行补正，并且在道路图像中检测车辆、摩托车和人等的移动对象并去除和排除其，由此能够有效地识别固定在地面或空中的道路设施对象。
[0072]
特征点提取部1122在道路图像中提取至少一个以上的道路设施对象的特征点。此时，特征点提取部1122通过对象识别部1121提取识别到的道路设施对象的无数特征点。在检测特征点时，可适用fast(features from accelerated segment test)演算法或orb(oriented fast and rotated brief)演算法在内的sift(scale-invariant feature transform)、agast(adaptive and generic accelerated segment test)、surf(speeded-up robust features)、brief(binary robust independent elementary features)、harris角点(harris corner)、shi-tomasi角点(shi-tomasi corner)等的多种演算法。
[0073]
特征点追踪部1123在道路图像的连续的各个帧上对在道路图像的各个帧中提取到的道路设施对象的特征点进行彼此匹配(matching)并追踪(tracking)。
[0074]
为了减少坐标决定部1125的演算量，关键帧决定部1124可在道路图像的各个帧中决定关键帧，并且控制为仅在关键帧中执行姿势获取部和空间坐标决定部的演算。
[0075]
为此，关键帧决定部1124对道路图像的各个帧的特征点进行分析，并且在各个帧之间在特征点的目标空间坐标移动基准范围以上的情况下的帧决定为关键帧。因为关键帧意味着道路图像的各个图像帧中发生大的变化的帧，因此特征点的目标空间坐标移动基准范围以上的情况可决定为关键帧。特征点的目标空间坐标移动基准范围以上的情况意味着车辆移动一定距离以上从而在道路图像中特征点的位置变化移动基准范围以上。因为对如车辆停止或者以非常低的速度移动的情况那样几乎没有变化的道路图像的特征点进行追踪没有太大的意义，因此将车辆移动一定距离以上之后的帧决定为关键帧并且仅使用关键帧对特征点进行追踪，从而能够减少演算量。
[0076]
此外，关键帧决定部1124将同时存在于多个关键帧中的相同的特征点决定为连测点，并且删除除了经决定的连测点以外的特征点，因此能够更加减少演算量。
[0077]
坐标决定部1125从追踪到的特征点获取特征点的目标空间坐标，以最大限度地减少经预测的摄像机的姿势信息和计算出的摄像机的姿势信息的差异。此时，坐标决定部1125可按照道路图像的各个帧为单位来决定道路设施对象的特征点的目标空间坐标或绝对空间坐标。
[0078]
补正部1126在识别到gcp对象时以空间坐标已知的gcp对象的坐标点为基准对特征点的目标空间坐标进行补正，从而获取特征点的绝对空间坐标。
[0079]
因为道路设施对象为固定在地面和空中的任一个上的对象，因此存在于道路图像中的道路设施也可位于地面上或者悬浮在空中。
coefficient)，其为图像传感器单元阵列的y轴方向上的倾斜程度，(u0,v0)为摄像机的主要点(principal point)的摄像机坐标。
[0097]
在道路图像的帧中，已知至少四个地点的绝对空间坐标，并且已知摄像机的内部参数(intrinsic parameter)和图像累积系数，因此可通过所述数学式获取摄像机的姿势信息。
[0098]
补正部1126可以通过这种方式获取到的摄像机的姿势信息为基准在该帧中对各个特征点的目标空间坐标进行补正并获取绝对空间坐标。虽然将在后面描述，但是补正部1126也可使用其它方式来对特征点的空间坐标进行补正。
[0099]
此外，第二种方式作为决定位于路面上的路面对象的空间坐标的方式，其为通过单应性变换来在道路图像的各个帧中决定空间坐标未知的各个路面对象的空间坐标的方式。
[0100]
单应性(homogaphy)可使用在路面对象的空间坐标和探测车辆的位置测量中。当将一个平面投影到其它平面上时，经投影的对应点之间会成立一定的变换关系，而这种变换关系被称为单应性。
[0101]
因为单应性变换函数可为对各个维度的图像与一个绝对坐标系(绝对空间坐标)之间的关系进行限定的函数，因此单应性变换函数可将摄像机的图像坐标变换为绝对坐标系的空间坐标。能够使用这种变换关系来从事先空间坐标已知的四个地点的空间坐标和该地点的摄像机坐标计算出剩余路面的所有地点的空间坐标。
[0102]
如上所述，补正部1126执行通过按照道路图像的各个帧为单位对收集到的道路设施对象的特征点和摄像机的姿势信息进行补正的过程，来最终对道路设施对象的绝对空间坐标进行补正的作用。
[0103]
对道路设施对象的空间坐标进行补正的方式可使用四种方式。
[0104]
作为第一种，可使用按照各个帧为单位捆绑摄像机的姿势信息，并且通过实际计算值与预测值的比较来进行补正的局部集束调整(lba，local bundle adjustment)方式。
[0105]
作为第二种，可使用在道路图像中在最初起点之后发现新的gcp对象的情况下，以新的gcp对象的绝对空间坐标值为基准对特征点的空间坐标进行补正的方式。根据通过坐标决定部1125决定的空间坐标值和新识别到的gcp对象的绝对空间坐标值的误差，可概括性地对之前获取到的特征点的空间坐标进行补正。
[0106]
作为第三种，可使用在探测车辆开始行驶之后在某一瞬间重新经过之前已经过的区域的情况下，在探测车辆所经过的路径中决定形成环路(loop)的环路路径，并且以之前决定的道路设施对象的特征点的绝对空间坐标与当前决定的特征点的绝对空间坐标的差异为基础对存在于环路路径上的道路设施对象的特征点的绝对空间坐标进行补正的方式。
[0107]
在本发明中，可使用所述三种方式中的至少一种方式来对道路设施对象的特征点的空间坐标进行补正。
[0108]
图5是示出根据本发明的地图更新服务器的配置的框图。
[0109]
参照图5，地图更新服务器200包括地图分配部210、候选组生成部220、候选确认部230和地图更新部240中的至少一个。
[0110]
地图分配部210执行每当因新构建精密路线地图或道路设施对象的改变而更新精密路线地图时将精密路线地图分配给各个变化检测装置100_1至100_n的作用。
[0111]
候选组生成部220从各个变化检测装置100_1至100_n收集关于道路设施对象的变化的对象变化信息，并且生成将对象变化信息的变化对象包括为候选的候选组信息。经生成的候选组信息被分配给各个变化检测装置100_1至100_n。
[0112]
另外，如上所述，各个变化检测装置100_1至100_n在靠近包括在候选组信息中的候选中的一个时拍摄关于该候选的候选图像并将其传输到地图更新服务器200。
[0113]
候选确认部230对从各个变化检测装置100_1至100_n接收到的候选图像进行分析，并且仅在包括在候选图像中的候选未被障碍物遮蔽的情况下确认该候选是否是真正的变化对象。
[0114]
候选确认部230通过包括深度学习的机器学习或者多种图像处理法在候选图像中判断障碍物的属性，并且判断候选是否被障碍物遮蔽。如果候选对象应处的位置处存在有车辆、摩托车、人等的多种特定障碍物而导致在候选图像中完全无法查看候选对象的情况下，候选确认部230判断为存在有障碍物，并且由此判断候选对象被障碍物遮蔽。在判断为候选对象被障碍物遮蔽的情况下，候选确认部230不改变候选组信息并保持原样，并且等待直到从其它变化检测装置接收到关于该候选的图像为止。
[0115]
如果，当在候选图像中检测到不被障碍物遮蔽的图像帧时，候选确认部230在该图像帧中判断候选对象的属性、候选对象是否存在、对候选对象的特征点的空间坐标和与其对应的精密路线地图的对象进行比较以最终判断是候选对象中是否发生变化。
[0116]
最终，当判断为候选对象中发生变化时，地图更新部240基于该变化内容来更新现有的精密路线地图。地图更新部240通过在现有对象的属性改变时更新该对象的属性，在之前存在的对象消失时在精密路线地图中删除该对象，并且在出现新对象时在精密路线地图中生成新对象的方式更新精密路线地图。如果，当判断为候选对象中发生变化时，候选确认部230在更新精密路线地图之后在候选组信息中删除关于该候选对象的信息。
[0117]
另外，最终，当判断为候选对象没有发生变化时，候选确认部230在候选组信息中删除关于该候选对象的信息。
[0118]
另外，由于道路堵塞或道路工程等的理由，特定道路设施对象可能长时间地被障碍物遮蔽。
[0119]
在这种情况下，判断为一直不存在该道路设施对象，因此长时间地包括在候选组信息中，由此每当各个变化检测装置100_1至100_n靠近该道路设施对象时，将拍摄该道路设施对象的图像发送到地图更新服务器200，并且地图更新服务器200继续执行对其的分析。
[0120]
为了防止这种情况，候选确认部230在从至少两个以上的变化检测装置收集到的候选图像中相同的候选被障碍物遮蔽而完全不被识别的情况下，可在预设时间期间将该候选包括在非激活列表中。
[0121]
地图更新服务器200将在每当候选组信息更新时更新的候选组信息分配给各个变化检测装置100_1至100_n。因为非激活列表包括在候选组信息中，因此每当非激活列表中发生改变时更新的非激活列表也被分配给各个变化检测装置100_1至100_n。
[0122]
各个变化检测装置100_1至100_n参照包括在候选组信息中的非激活列表而保留对于包括在非激活列表中的候选的图像传输。
[0123]
在下文中将对根据本发明的用于更新精密路线地图的对象变化检测方法进行说
明。根据本发明的用于更新精密路线地图的对象变化检测方法作为由根据本发明的用于更新精密路线地图的对象变化检测系统和变化检测装置执行的方法，由于其为实质上相同的发明，因此将省略重复的说明。
[0124]
图6是示出根据本发明的用于更新精密路线地图的对象变化检测方法的流程图。
[0125]
首先，由地图更新服务器200在每当因新构建精密路线地图或道路设施对象的改变而更新精密路线地图时将精密路线地图分配给各个变化检测装置100_1至100_n(s100)。
[0126]
由变化检测装置100_1至100_n在道路图像中对至少一个以上的道路设施对象进行识别，并且获取识别到的对象的属性和特征点的空间坐标(s200)。
[0127]
此外，由变化检测装置100_1至100_n对识别到的对象的属性和特征点的空间坐标与从地图更新服务器200接收到的精密路线地图的对象进行彼此比较，并且在检测到变化对象的情况下，生成包括该变化对象的属性和特征点的空间坐标的对象变化信息(s300)。
[0128]
作为关于变化对象的信息的对象变化信息每当被生成时被传输到地图更新服务器200(s350)。
[0129]
由地图更新服务器200对包括从变化检测装置100_1至100_n接收到的各个变化对象的对象变化信息的候选组信息进行更新(s400)，并且将经更新的经更新的候选组信息分配给变化检测装置100_1至100_n。
[0130]
由变化检测装置100_1至100_n在靠近包括在候选组信息中的候选中的一个时，拍摄该候选并生成候选图像(s500)，并且将其传输到地图更新服务器200(s550)。此时，在候选组信息中包括有非激活列表的情况下，对于包括在非激活列表中的候选，可在预设时间期间保留图像传输。
[0131]
由地图更新服务器200对从变化检测装置100_1至100_n接收到的候选图像进行分析，并且判断包括在候选图像中的候选是否被遮蔽(s600)。
[0132]
如果候选对象应处的位置处存在有车辆、摩托车、人等的多种特定障碍物而在候选图像的任一帧中均完全无法观察到候选对象的情况下，地图更新服务器200判断为存在有障碍物，并且由此判断候选对象被障碍物遮蔽。在判断为候选对象被障碍物遮蔽的情况下，由地图更新服务器200不改变候选组信息并保持原样并且等待直到从其它变化检测装置接收到关于该候选的图像为止(s650)。
[0133]
当在候选图像中检测到不被障碍物遮蔽的图像帧时，由地图更新服务器200在该图像帧中判断候选对象的属性、候选对象是否存在、对候选对象的特征点的空间坐标和与其对应的精密路线地图的对象进行比较以判断候选对象是否发生变化，从而最终判断精密路线地图是否需要更新(s700)。
[0134]
当候选对象中发生变化并且最终判断为需要更新精密路线地图时，由地图更新服务器200基于该变化内容对现有的精密路线地图进行更新(s800)。地图更新服务器200在对象的属性改变时对该对象的属性进行更新，在对象消失时在精密路线地图中删除该对象，并且在出现新对象时在精密路线地图中生成该对象。
[0135]
接着，由地图更新服务器200将经更新的精密路线地图分配给所有变化检测装置100_1至100_n(s850)。
[0136]
当精密路线地图被更新并分配时，由地图更新服务器200在候选组信息中删除更新关于该候选对象的信息(s900)。也将经更新的候选组信息分配给所有变化检测装置100_
1至100_n(s450)。
[0137]
另外，当候选对象中未发生变化并且最终判断为不需要更新精密路线地图时，由地图更新服务器200在候选组信息中删除更新关于该候选对象的信息(s900)。也将经更新的候选组信息分配给所有变化检测装置100_1至100_n(s450)。
[0138]
图7是示出图6中的对象坐标获取过程的流程图。
[0139]
首先，由变化检测装置100按照道路图像的帧为单位在道路图像的各个帧中对包括gcp(ground control point)对象和一般对象中的至少一个的道路设施对象和属性进行识别(s210)。为了识别道路设施对象，可使用包括深度学习的机器学习或多种图像处理法。
[0140]
接着，由变化检测装置100在道路图像中提取至少一个以上的道路设施对象的特征点(s220)。
[0141]
之后，由变化检测装置100在道路图像的连续的各个帧上对在道路图像的各个帧中提取到的所有道路设施对象的特征点进行彼此匹配并追踪(s230)。
[0142]
在对特征点进行匹配之后，由变化检测装置100从追踪到的特征点获取特征点的目标空间坐标以最大限度地减少经预测的摄像机的姿势信息和计算出的摄像机的姿势信息的差异(s240)。
[0143]
接着，当识别到gcp对象时，由变化检测装置100以绝对空间坐标值已知的gcp对象的坐标点为基准对特征点的目标空间坐标进行补正以获取特征点的绝对空间坐标(s250)。
[0144]
通过这种方式获取到的道路设施对象的属性和特征点的空间坐标用于与对应的精密路线地图的对象进行比较。
[0145]
在本文献中，各种实施例及其中使用的术语并不用于将本文献中记载的技术特征限定为特定实施例，并且应理解为包括该实施例的多种变型、等同物或替代物。关于与附图的说明，可对相似或相关的构成元件使用相似的附图标记。除非相关的上下文中明确地另有指示，否则与项目对应的名词的单数形式可包括一个或多个所述项目。在本文献中，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”和“a、b或c中的至少一个”的语句分别可包括该语句中与相关语句一同所列的项目中的任一种、或者他们的所有可能的组合。诸如“第一”、“第二”或“第一种”或“第二种”的措辞仅用于将该构成元件与其它构成元件区分开，并且该构成元件并不在其它方面(例如，重要性或顺序)首先限定。当某一(例如，第一)构成元件“功能性地”或“通信地”一同或者在没有这些措辞的情况下被称为“联接”或“连接”到其它(例如，第二)构成元件时，其意味着所述某一构成元件可直接(例如，有线地)、无线地或通过第三构成元件连接到所述其它构成元件。
[0146]
本文献的各种实施例可实现为包括由机器(machine)(例如，电子装置1401)可读的存储介质(storage medium)(例如，内置存储器(1436)或外置存储器1438)中所存储的一个以上的命令的软件(例如，程序1440)。例如，机器(例如，电子装置1401)的控制部(例如，控制部1420)从存储介质调度所存储的一个以上的命令中的至少一个命令，并且执行该至少一个命令。这能够使机器运行为根据调度的所述至少一个命令来执行至少一个功能。所述一个以上的命令可包括由编译器生成的代码或者可由解释器执行的代码。机器可读存储介质可提供为非暂时性(non-transitory)存储介质的形态。此处，“非暂时性”不仅意味着存储介质为有形(tangible)的装置并且部包括信号(signal)(例如，电磁波)，而且该措辞并不区分数据半永久性地存储在存储介质中的情况和数据临时地存储在存储介质中的情
况。
[0147]
根据一实施例，根据本文献中公开的各种实施例的方法可以包括在计算机程序产品(computer program product)中的方式提供。计算机程序产品可作为商品在销售者与购买者之间进行交易。计算机程序产品可分配为机器可读的存储介质(例如，compact disc read only memory(cd-rom))形态，或者可通过应用程序商店(例如，play商店
tm
)或者在两个用户装置(例如，智能电话)之间直接或在线分配(例如，下载或上传)。在在线分配的情况下，计算机程序产品的至少一部分可临时存储或者临时生成在诸如制造商的服务器、应用程序商店的服务器或中继服务器的存储器的机器可读的存储介质中。
[0148]
根据各种实施例，上述的构成元件的各个配置元件(例如，模块或程序)可包括单个或多个实体。根据各种实施例，前述的该构成元件中的一个以上的配置元件或操作可被省略，或者一个以上的其它构成元件或操作可被添加。替代性地或附加地，多个配置元件(例如，模块或程序)可合并为一个配置元件。在这种情况下，合并的构成元件与在合并之前的所述多个配置元件中由该构成元件执行的功能相同或相似地执行所述多个配置元件中的每个的配置元件的一个以上的功能。根据各种实施例，模块、程序或由其它构成元件执行的操作可顺序地执行、并列地执行、反复地执行或启发性地执行，或者所述操作中的一个以上可以其它顺序执行、可被省略、或者可添加一个以上的其它操作。