图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质与流程

本发明涉及一种图像处理装置、图像处理方法、电脑程序以及电脑可读取记录介质，尤其涉及一种图像处理装置、图像处理方法、电脑程序以及电脑可读取记录介质，其能够利用通过摄像机获取的图像提供较高精确度的地图。

背景技术：

近来汽车制作厂家致力于实现将智能化驾驶辅助系统的水平进一步提高的自驾汽车，然而由于以前的利用摄像机、雷达等传感器的系统的技术缺陷，面临限界。为克服这些限制，正在考虑利用附加信息系统实现自驾汽车的方案，比较典型的附加信息系统有精密地图。

精密地图是指包括道路内的所有固定的物体的位置及其形状信息的地图，精密地图在传感器不能正常运行的情况下发挥弥补传感器性能的功能。由于路障或恶劣气候而传感器信息不准确时，车辆可利用精密地图的信息弥补其缺陷。

由于精密地图需要提供道路上所有固定的地形地物的位置与形状信息，因此地图的正确性以及可迅速反应实际道路与地形地物的变更事项显得十分重要。然而由于被固定的地形地物被移动物体遮挡而很难取得准确的形状信息，或者当信号灯建设、道路扩张或关闭、路线信息变更等道路环境改变时，引发这些内容没能及时反应在实际地图的问题。实际上需要能够解决这些问题的方法。

技术实现要素：

本发明是由于如上所述需要而研究出的，本发明的目的在于提供一种用于制作地图的图像处理装置、图像处理方法、电脑程序以及电脑可读取记录介质。

并且，本发明的目的在于提供一种利用通过安装在车辆的摄像机获取的图像而制作地图数据的图像处理装置、图像处理方法、电脑程序以及电脑可读取记录介质。

并且，本发明的目的在于提供一种利用位于道路上的车辆传送的图像而更新地图数据的图像处理装置、图像处理方法、电脑程序以及电脑可读取记录介质。

为实现上述目的根据本发明一实施例的图像处理方法，包括：接收由位于道路上的多个车辆获取的图像的步骤；根据上述接收的图像的获取信息存储上述接收的图像的步骤；在上述存储的图像中，以上述获取信息相同的图像为基础，决定标准图像与对象图像的步骤；利用从决定的各标准图像与对象图像中所提取的多个特征点，进行图像重合的步骤；将上述图像重合的各上述标准图像及上述对象图像进行透明处理的步骤；从上述透明处理的图像中提取静态客体的步骤；以及比较上述提取的静态客体与事先存储的地图数据上的客体，若上述事先存储的地图数据上的客体与上述提取的静态客体不同，就更新上述地图数据的步骤。

进而，上述图像重合步骤可包括：从上述决定的各个标准图像与对象图像中提取多个特征点的步骤；利用上述提取的多个特征点，对上述决定的图像进行图像重合的步骤。

并且，上述多个特征点作为在上述标准图像或对象图像中影像亮度骤变的点，可以是像素边缘或角点。

进而，上述透明处理，在要进行上述透明处理的图像中所含各像素的RGB像素值上乘以小于1的所定值，上述所定值可以是要进行上述透明处理的图像总数N的倒数。

并且，上述获取信息可包括拍摄上述图像的位置信息、拍摄上述图像的角度信息、拍摄上述图像的方向信息中至少一个。

进而，上述提取多个特征点的步骤可包括：从上述标准图像中提取多个第一特征点的步骤；以及从上述对象图像中提取多个第二特征点的步骤。

并且，上述图像重合步骤可包括：将上述多个第一特征点聚集而成的第一特征点组与上述多个第二特征点聚集而成的第二特征点组进行匹配的匹配操作步骤；利用通过上述匹配操作进行的上述第一特征点组与上述第二特征点组之间的配对信息，计算单应性的步骤；利用上述计算的单应性而变换上述对象图像的步骤；将上述标准图像与上述变换的对象图像进行重合的步骤。

进而，上述更新地图数据的步骤可包括：确认上述提取的静态客体的位置信息的步骤；检查在上述事先存储的地图数据中与上述确认的静态客体的位置信息相对应处，是否有与上述提取的静态客体不同的客体的步骤；若上述检查结果存在上述不同客体时，在与上述位置信息相对应的上述事先存储的地图数据中反应上述提取的静态客体而更新上述地图数据的步骤。

并且，还可包括将上述更新的地图数据传送到位于上述道路的多个车辆的步骤。

另外，为实现上述目的根据本发明一实施例的图像处理装置，可包括：接收由位于道路上的多个车辆获取的图像的接收件；根据上述接收的图像的获取信息存储上述接收的图像的存储件；在上述存储的图像中，以上述获取信息相同的图像为基础，决定标准图像与对象图像的控制件；利用从决定的各标准图像与对象图像中所提取的多个特征点，进行图像重合，并将上述图像重合的各上述标准图像及上述对象图像进行透明处理的图像处理件；上述控制件，从上述透明处理的图像中提取静态客体，并比较上述提取的静态客体与事先存储的地图数据上的客体，若上述事先存储的地图数据上的客体与上述提取的静态客体不同，就更新上述地图数据。

进而，上述图像处理件，可从上述决定的各个标准图像与对象图像中提取多个特征点，并利用上述提取的多个特征点，对上述决定的图像进行图像重合而生成一个合成的图像。

并且，上述多个特征点作为在上述标准图像或对象图像中影像亮度骤变的点，可以是像素边缘或角点。

进而，上述透明处理，在要进行上述透明处理的图像中所含各像素的RGB像素值上乘以小于1的所定值，上述所定值可以是要进行上述透明处理的图像总数N的倒数。

并且，上述获取信息可包括拍摄上述图像的位置信息、拍摄上述图像的角度信息、拍摄上述图像的方向信息中至少一个。

进而，上述图像处理件可包括：从上述标准图像中提取多个第一特征点，并从上述对象图像中提取多个第二特征点的特征点提取件；将上述多个第一特征点聚集而成的第一特征点组与上述多个第二特征点聚集而成的第二特征点组进行匹配的特征点匹配件；利用通过上述匹配操作进行的上述第一特征点组与上述第二特征点组之间的配对信息，计算单应性的单应性计算件；利用上述计算的单应性而变换上述对象图像，并将上述标准图像与上述变换的对象图像进行重合的图像重合件；以及对上述重合的图像进行透明处理的透明度处理件。

并且，上述控制件，可以确认上述提取的静态客体的位置信息，并检查在上述事先存储的地图数据中与上述确认的静态客体的位置信息相对应处，是否有与上述提取的静态客体不同的客体，若上述检查结果存在上述不同客体时，在与上述位置信息相对应的上述事先存储的地图数据中反应上述提取的静态客体而更新上述地图数据。

另外，为实现上述目的根据本发明一实施例的图像处理方法，包括：在移动体拍摄的多个图像中选择位于相同地区的图像的步骤；对上述选择的各图像进行透明处理的步骤；将上述透明处理的图像进行重合的步骤；以及以上述重合的图像中所含客体的透明度为基础在上述重合图像中判断静态客体的步骤。

进而，上述选择步骤中，在上述多个图像中选择获取信息相同的图像；上述获取信息可包括：拍摄上述图像的位置信息、拍摄上述图像的角度信息、拍摄上述图像的方向信息中至少一个。

并且，上述判断步骤可包括：按各个像素计算上述重合的图像的像素值、标准图像的像素值以及对象图像的像素值的标准偏差的步骤；以及将上述计算的标准偏差小于设定值的像素判断为静态客体的像素，将上述计算的标准偏差大于设定值的像素判断为动态客体的像素的步骤。

进而，还可包括：在上述重合图像中去除上述动态客体的步骤；确认在上述动态客体除外的重合图像中静态客体的位置信息的步骤；以及以上述静态客体的位置信息为基础更新地图数据的步骤。

另外，为实现上述目的根据本发明一实施例，还可包括记录用于运行图像处理方法的程序的计算机可读介质。

并且，为实现上述目的根据本发明一实施例，还可包括为运行图像处理方法在计算机可读介质中存储的电脑程序。

根据上述本发明的多样的实施例，通过位于道路上的车辆上所设摄像机获取的图像，提取位于道路上的静态客体，并利用提取的静态客体而准确迅速制作地图，具有这种优点。

并且，根据上述本发明的多样的实施例，实时接收通过位于道路上的车辆的摄像机获取的图像，与以前的通过实际测量制作地图的系统不同，可远程实时更新地图数据。

并且，根据上述本发明的多样的实施例，将实时更新的地图数据传送到位于道路上的车辆，从而能够给使用者提供适用最新道路环境的地图服务。

附图说明

图1是图示根据本发明一实施例的地图制作系统的图。

图2是图示根据本发明一实施例的安装在第一至第三车辆的电子装置的结构的方块图。

图3是图示根据本发明一实施例的图像处理装置的结构的方块图。

图4是说明根据本发明实施例将图像处理件的特征点提取件与特征点匹配件的运行的图。

图5是根据本发明实施例通过图4中说明的特征点匹配将标准图像与对象图像进行匹配的过程进行说明的图。

图6是根据本发明实施例利用通过图像处理件的单应性计算件计算的单应性，进行的标准图像与对象图像之间匹配关系进行图示的图。

图7是说明根据本发明实施例将静态客体与动态客体进行区分的图。

图8至图11是说明根据本发明实施例的透明处理的图。

图12是图示根据本发明实施例的将标准图像与对象图像进行图像处理的结果的图。

图13是图示根据本发明实施例的图像处理装置的运行流程的图。

图14是详细说明图13的S1325步骤的图。

图15是图示根据本发明另一实施例的用于制作地图的图像处理装置的结构的方块图。

图16是说明根据图15的图像处理装置的地图制作方法的图。

图17是图示根据本发明另一实施例的电子装置的结构的方块图。

图18是图示根据图17的电子装置的运行流程的图。

图19至图20是说明对五个图形进行的透明处理的图。

图21是说明图20的透明处理的图像的图像重合的图。

图22是图示根据图21进行图像重合的结果的图。

具体实施方式

以下内容只是本发明的原理。因此即使本说明书中没有明确说明或图示，本领域工作者可发明实施本发明原理并属于本发明概念与范围内的多样的装置。并且，本说明书中举例的所有前提性词汇以及实施例，原则上明确用于能够理解本发明概念的目的，并不限于这些特别例示的实施例及状态。

并且，不仅本发明的原理、观点以及实施例，而且举例特定实施例的所有具体说明，应视为包括这些构件的结构上及功能上的等同替代物。并且这些等同替代物应视为包括目前已公知的等同替代物以及将来会开发的等同替代物即不管结构只要可发挥相同功能的所有元件。

因此，例如本发明的方块图应视为具体实现本发明原理的例示电路的概念。与此类似，所有流程图、状态图、伪代码等可实际在电脑可读取介质上实现，不管是否明确图示电脑或程序，均应视为可通过电脑或程序运行的多样的程序。

程序或图示与其类似概念显示的功能块的图中多样的元件的功能，不仅可用专用硬件而且可采用适当的软件等发挥软件运行功能的硬件。若利用程序实施时，上述功能可用一个专用程序、一个共享程序或多个个别程序而实现，可共享其中一部分。

并且，程序、控制或与其类似概念使用的词汇的明确用途，不应解释为除外具备软件运行功能的硬件，应视为包含：数字信号处理硬件、用于存储软件的随机存取记忆体、内存以及非挥发性存储器。可包括众所周知的其他硬件。

在本说明书的权利要求书中，为发挥发明内容中记载的功能而作为元件表现的构件，应视为包括实现上述功能的电路元件的组合或包含固件/微码等的所有形式的软件，以及实现功能的所有方法，并与为实现上述功能而运行上述软件的适当的电路连接。通过这些权利要求所定义的本发明，通过多样举例的元件实现的功能相结合，按权利要求项所需方式进行结合，因此能够实现上述功能的任意元件应视为等同于本说明书中内容。

通过附图与相关下述具体说明将会更加明确上述目的、特征以及优点，因此具备本发明所属技术领域通常知识者可简易实现本发明技术思想。并且，在说明本发明时，当判断本发明相关公知技术的具体说明有可能干扰本发明要点时，将会省略其详细说明。

下面，参照附图详细说明本发明的多样的实施例。

图1是图示根据本发明一实施例的地图制作系统10的图。

参照图1，本发明的地图制作系统10包括第一至第三车辆100、110、120以及图像处理装置130。

在第一至第三车辆100、110、120上装有可获取图像的装置即摄像机，位于道路上并将获取的图像传送到图像处理装置130。图1中虽图示了车辆，但只要能够将拍摄道路或道路周围的被摄体的图像传送到图像处理装置130，即可采用车辆以外的其他工具如人、自行车、船舶、火车等移动工具。统称这些可移动的工具定义为移动体(moving body)。下面为了便于说明，举例移动体为车辆的情况。

并且，上述被摄体包括桥梁、建筑、道路、人行道、道路建设标志、减速带、人行横道、交叉口、信号灯、公路栏杆、公交车站、交通标志等可在地图数据上反应的固定的静态客体。

并且根据本发明实施例的图像处理装置130可将从第一至第三车辆100、110、120接收的图像进行处理而制作电子地图，并可将制作的电子地图传送到包括第一至第三车辆100、110、120的位于道路上的其他车辆。

并且根据本发明实施例的图像处理装置130可以是地图制作服务器。

图2是图示根据本发明一实施例的安装在第一至第三车辆100、110、120的电子装置200的结构的方块图。

参照图2，本发明的电子装置200包括输入件210、通讯件230、拍摄件240以及控制件250，还可包括显示件220。作为一例，电子装置200作为能够拍摄图像的装置，可以是车辆用摄像机或具有摄像机的智能手机等移动终端。并且，电子装置200通过安装在车辆的控制器局域网络(Controller Area Network)通讯与车辆的电子控制单元(Electronic Controller Unit)相连。可以是如使用者手机一样安装在车辆并连接于移动通讯系统而发收数据的移动终端。

输入件210从使用者处接收运行命令等，可由小键盘、圆顶开关(dome switch)、触控板(感压/电容)、缓动盘、轻推开关(jog switch)、按钮等而成。

通讯件230可将通过拍摄件240拍摄的图像传送到图像处理装置300，或将通过车辆内所具的其他通讯装置拍摄的图像进行传送。通讯件230不仅可采用有线通讯方式，而且可采用蓝牙、WiFi、无线宽带、3G、WCDMA方式、LTE以及4G通讯方式等多样的无线通讯方式进行通讯。

拍摄件240将自外部接收的图像信号(如光)，转换为特定电信号而生产图像数据。例如拍摄件240可获取车辆行驶有关的车辆内外的图像数据。

显示件220给使用者输出视觉信息，并且可输出地图或行驶中拍摄的影像。显示件220与输入件210可利用触控板或触屏等一体构成。

控制件250控制拍摄件240拍摄影像，并进行整体控制而通过通讯件230将拍摄的影像传送到图像处理装置130等电子装置200。并且，控制件250在通过通讯件230将通过拍摄件240拍摄的图像传送到图像处理装置300时，还传送包括图像的拍摄位置信息、拍摄的角度信息、拍摄的方向信息中至少一个的获取信息，根据本发明的图像处理装置300可将所收到的图像按获取信息进行分类，从而能够只对静态客体发生变更的地点迅速更新地图数据。并且，控制件250进行摄像机标定(calibration)过程以在拍摄件240拍摄的图像上调节摄像机参数，并通过通讯件230传送到图像处理装置300。

并且，安装在第一至第三车辆100、110、120的电子装置200按所定时间间隔拍摄客体，并将拍摄的客体图像传送到图像处理装置300。作为一例，可按一分钟间隔拍摄客体并将拍摄的客体图像传送到图像处理装置300。所拍摄的客体图像上包括拍摄的时间及地点的信息，从而可将拍摄的图像按相同地点分类。

并且，根据本发明的实施例，电子装置200的控制件250可通过摄像机标定将设在各车辆的摄像机的位置、角度、特征等参数进行补正。进行这种摄像机标定过程的理由是虽然通过摄像机拍摄的图像的拍摄地点与对象相同，但拍摄各图像的摄像机的设置高度、角度等互不相同的图像，因此只有调整这些摄像机的特征参数，才可简易进行图像重合。

下面的电子装置200应视为安装在第一至第三车辆100、110、120，因此拍摄影像并将拍摄的影像传送的图像处理装置130的过程在第一至第三车辆100、110、120内进行。

图3是图示根据本发明一实施例的图像处理装置的结构的方块图。参照图3，本发明的图像处理装置300包括控制件305、接收件310、发送件315、存储件320以及图像处理件330中一部分或全部。

接收件310通过LTE或WiFi等无线通讯或有线通讯，接收包含通过位于道路上的多个车辆上安装的摄像机所获取的图像、与所获取的图像的拍摄位置信息、拍摄角度信息、拍摄方向信息中至少一个的获取信息。

上述接收件310接收上述图像以外的上述获取信息的理由是使控制件305简易为图像处理而分类所获取的图像。具体说，上述控制件305即使在相同地点所获的图像，其拍摄方向与角度有可能不同，考虑这一点分类图像后，根据本发明的实施例进行图像处理为佳。

例如车辆进入交叉口时，根据本发明实施例的图像处理装置300需要确认上述车辆从哪个方向进入上述交叉口时所获取的图像，才能够准确区别对象图像。

即、若是十字路口，车辆可分别从四个方向进入拍摄图像，图像处理装置300只有能够区分各个图像的拍摄方向，才能够正确制作或更新交叉口附近的地图数据。

并且，根据本发明实施例图像处理装置300考虑到所获图像的拍摄角度信息时，能够更准确进行图像处理并制作或更新地图数据。

发送件315将通过控制件305更新的地图数据或在存储件320存储的地图数据，通过控制件305的控制传送到使用者车辆内的电子装置200或使用者的移动终端。

控制件305将地图数据与通过接收件310接收的图像，按接收的图像的获取信息进行分类并存储在存储件320。地图数据是事先制作的地图数据，并存储在地图数据存储件320a。控制件305根据本发明的实施例，利用上述分类存储的图像对具相同位置信息、方向信息等的图像进行图像处理。在此，存储件320不仅可采用随机存取存储器(Random Access Memory)、快闪存储器、只读存储器(Read Only Memory)，可擦除可编程只读存储器(Erasable Programmable ROM)，电子可擦除可编程只读存储器(Electronically Erasable and programmable ROM)、寄存器、硬盘、可移动磁盘、记忆卡等内装方式的存储元件，而且可采用USB等可拆装时存储元件。

这种存储件320可在装置300内实施，也可按与装置300相连的外部数据库服务器方式实施。

并且，控制件305在存储在接收图像存储件320b的图像中，以获取信息相同的图像为基础，决定标准图像与对象图像，利用所决定的各标准图像与对象图像中提取的多个特征点进行图像重合，并控制图像处理件330而对已图像重合的图像进行透明处理。在此，标准图像意味着成为图像重合标准的图像，对象图像意味着成为图像重合对象的图像。

并且，控制件305通过控制图像处理件330，将通过图像处理件330进行透明处理的图像进行重合，并在重合图像中测出静态客体领域。此时，图像处理件330根据重合图像的像素值、所获标准图像的像素值以及根据单应性变化的对象图像的像素值的标准偏差，按各个像素计算，以此为基础在重合图像中测出静态客体领域。

进而，控制件305将测出的静态客体与事先存储的地图数据上的客体进行比较，当事先存储的地图数据上的客体与测出的静态客体不同时，更新存储在地图数据存储件320a的地图数据。

并且，数据处理件330根据重合图像的像素值、所获标准图像的像素值以及根据单应性变换的对象图像的像素值的标准偏差，按各个像素进行计算，依此为基础在重合图像中可测出动态客体领域。此时，控制件305可在重合图像中除外测出的动态客体。进而，控制件305在动态客体被除外的重合图像中确认静态客体的位置信息，并以静态客体的位置信息为基础更新地图数据。

图3中图像处理件330提取所获图像之间的特征点，并将各图像之间的特征点进行匹配，算出具相同特征点的匹配特征点，而计算单应性。并且，图像处理件330利用计算的单应性重合所获图像。

根据本发明实施例的图像处理件330包括特征点提取件330a、特征点匹配件330b、单应性计算件330c、图像重合件330d、透明度处理件330e以及图像合成件330f中一部分或全部。

在此，图像处理件330可利用软件、硬件或其组合以另外的模块方式实施。作为一例，若用硬件实施，可采用专用集成电路(application specific integrated circuits)、数字信号处理(digital signal processors)、数字信号处理设备(digital signal processing devices)、可编程逻辑器件(programmable logic devices)、现场可编程逻辑门矩阵(field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro controllers)、微处理器(microprocessors)、其他用于实现功能的电子单元中至少一个实施。

参照图4至图12将会说明根据本发明实施例的图像处理件330的运行。图4是说明根据本发明实施例的图像处理件330的特征点提取件330a与特征点匹配件330b的运行的图。图5是说明根据本发明实施例通过图4中说明的特征点匹配将标准图像与对象图像进行匹配的过程的图。

图6是根据本发明实施例利用通过图像处理件330的单应性计算件330c而计算的单应性，而进行的标准图像与对象图像之间匹配关系进行图示的图。

图7是说明根据本发明实施例的静态客体与动态客体的区分的图。图8至图11是说明根据本发明实施例的透明处理的图。

图12是图示根据本发明实施例的将标准图像与对象图像进行图像处理的结果的图。特征点提取件330a在由控制件305决定的各标准图像与对象图像中提取多个特征点。此时标准图像与对象图像中提取的多个特征点是标准图像或对象图像中影像亮度骤变的点，可以是像素边缘(Edge of Pixel)或角点(Corner Point)。具体，参照图4说明根据本发明实施例由特征点提取件提取特征点的过程。

图4中附图标记405与410是在相同地点拍摄的图像，是完成摄像机标定的图像。假设将图4中附图标记405中图像与附图标记410中图像进行重合，此时将附图标记410中图像视为图像重合的标准图像，而将附图标记405中图像视为对象图像。

图4中特征点提取件330a在标准图像410与对象图像405中分别提取特征点，附图标记415是图示在对象图像405中提取的特征点的图，附图标记420是图示在标准图像410中提取的特征点的图。

各图像中特征的提取是指在各图像中提取特征点，作为一例图像中像素边缘或角点等影像亮度骤变的点有可能成为特征点。作为提取各图像的特征点的算法可利用哈里斯(Harris)方式、缩放不变特征转换(Scale Invariant Feature Transform)、ORB(oriented fast and rotated brief)、FAST(Features from Accelerated Segment Test)方式等。

附图标记415中图像采用FAST方式显示了附图标记405图像中判断为特征点的特征点，附图标记420中图像采用FAST方式显示了附图标记410图像中判断为特征点的特征点。

附图标记415a显示了附图标记415中提取的特征点中一个，附图标记415b显示了附图标记415中提取的多个特征点聚集的第一特征点组。并且，附图标记420a显示了附图标记420中提取的特征点中一个，附图标记420b显示了在附图标记420中提取的多个特征点聚集的第二特征点组。

根据本发明实施例，如附图标记415与420所示通过特征点提取件330a提取特征点完毕，特征点匹配件330b就会如图430利用标准图像中提取的第一特征点组415b与对象图像中提取的第二特征点组420b，将标准图像与对象图像进行匹配。本发明中特征点匹配是将在各图像中提取的特征点相互匹配，而找出标准图像与对象图像中存在的共同的特征点，可采用随机抽样一致性算法(Random Sample Consensus)。随意抽样一致性算法在数据中随机抽查试样数据并选择形成最大一致性的数据，可在数据中获取最大限度减少错误与噪音的数据，而更为准确匹配特征点。

附图标记430显示了将对象图像405中提取的特征点进行图示的附图415、与将标准图像410中提取的特征点进行图示的附图420之间分别提取的特征点之间进行匹配，而两个图像之间的匹配关系。匹配各图像的特征点的方法除了随机抽样一致性算法以外，还可有最小二乘法(Least Square Method)、稳健估计(M-estimator SAC)、最大依然估计(Maximum Likelihood SAC)、局部优化算法(Locally Optimized RANSAC)等。

通过特征点匹配件330b匹配标准图像的特征点与对象图像的特征点，单应性计算件330c利用第一特征点组415b与第二特征点组420b之间的配对信息，算出标准图像与对象图像之间的变换矩阵单应性(Homography)。

单应性是将二维平面的对象图像与标准图像匹配的变换矩阵。为了决定单应性在各图像中至少需要四个匹配点，匹配点之间的关系矩阵H如数学式1所示由3X3矩阵H来定义。

【数学式1】

其中，x、y是标准图像的特征点坐标，‘1’意味着标准图像与对象图像相同(homogeneous)。W作为权重，是指非‘零’的常数。3X3矩阵是变换矩阵H。

图6是利用根据本发明实施例将标准图像与对象图像之间计算的单应性，显示匹配关系的图。图6中附图标记600是标准图像，而605是对象图像，附图标记610显示了利用计算的单应性矩阵在标准图像的特征点矩阵(x、y、1)与对象图像的特征点矩阵(x、y、1)之间存在匹配关系。

图像重合件330d利用由单应性计算件330c计算的单应性，为将对象图像410与在标准图像重合进行了变换。

具体说，图5中附图标记505是图4中标准图像410，附图标记510是将图4中附图标记405的对象图像利用由单应性计算件300c计算的单应性矩阵进行变换的图像。并且，图像重合件330d如图5中附图标记515所示将标准图像505与变换的对象图像510进行重合。如图5所示，图像重合(Image Registrations)件330d以各图像的匹配的特征点为准进行重合，并将互不相同的影像混合而自然重合不同的两个图像。

透明度处理件330c将通过图像重合件330d进行重合的各标准图像与对象图像进行透明处理。

参照图8至图11具体说明根据本发明实施例由透明度处理件330c进行透明处理的过程。根据本发明的通过透明度处理件330c进行的透明化过程可按图8至图11中说明的方法进行。图8由一共八个图像，圆形的第一图形800在十个图像中全部出现，三角形的第二图形810在五个图像中出现，四角形的第三图形820在三个图像中出现。在此状态下将各图像变更为所定透明度，如图9所示第一至第三图形800、810、820的像素值减少而出现模糊的效果。然后将透明处理的各图像重叠，就会如图10所示第一图形800具有与透明处理以前相同的明显的形状，第二图形810以及第三图形820的清晰度比透明处理以前下降。

如上所述，根据本发明实施例通过透明度处理件330c将对象图像透明处理的方法，包括在透明处理对象图像的各像素值(0-255)乘以所定常数，而具有比原来图像的像素值更小的像素值。通常，各像素的RGB像素值具有0-255的值，若该像素值具有更小的值，视觉上各像素会变模糊，结果整个图像也变模糊。

如图11所示，作为本发明一实施例若假设重合N各图像，并将未进行透明处理的图像的透明度假设为1，可在要透明处理的各图像的像素值上乘以1/N而进行透明处理。图9图示了当要透明处理的全部对象图像数量是十个，就在各图像的像素上乘以1/10时的各图像的透明度。此时上述图11中第零个图像成为标准图像，第一至第N-1图像成为利用单应性变换的对象图像。

将如上透明处理的N个图像进行重合，那么各图像中存在的静态客体原原本本留着重合的图像上，但动态客体会消失。即若将各图像透明处理后进行重合，那么各图像中相当于静态客体的像素是乘以相同常数而进行透明处理的状态，因此若加上各像素值就会与原来像素值相同或接近，从而在重合图像上原原本本出现。

若进一步详细说明根据本发明实施例的通过透明处理提取静态客体的过程，首先将标准图像与用单应性变换的对象图像进行重合，并计算所生成的重合图像的按各个像素的像素值。此时计算的上述重合图像的按各个像素的像素值与重合的N个图像的按各个像素的平均值相同。

并且，将上述计算的重合图像的像素值与上述获取的标准图像的像素值以及上述变换的对象图像的像素值的标准偏差，按各个像素进行计算。上述计算的标准偏差中具备与事先设定的阈值内的值的像素，根据本发明实施例的图像处理装置300则判断为构成静态客体的像素。

相反，在上述计算的标准偏差中具有比事先设定的阈值大的值的像素，根据本发明实施例的图像处理装置300则判断为构成动态客体的像素。用这种方式图像处理装置300计算各图像的像素值与上述重合图像的像素值的标准偏差，从而在重合图像能够区分静态客体与动态客体。

如此图像处理装置300能够从重合图像的按各个像素的平均值，区分静态客体与动态客体的理由是，静态客体出现在所获的每个图像中，因此随各图像的像素值的变化较小，从而静态客体中所含像素值的标准偏差比事先设定的阈值小。

相反，动态客体只出现在部分图像而不出现在所获的所有图像上，因此随各图像的像素值的变化大，从而动态客体中所含像素值的标准偏差通常比事先设定的阈值高。此时上述事先设定的阈值可通过实验决定。

并且，根据本发明实施例提取的静态客体中有可能存在道路、信号灯、人行横道、建筑以外的背景。此时本发明中为制作地图需要通过另外的方法在静态客体中识别出要在实际道路数据上反应的静态客体，可通过深度学习(Deep Learning)、机器学习(Machine Learning)识别提取的静态客体。因此，根据本发明实施例的图像处理装置300的控制件305可通过深度学习或机器学习，在提取的静态客体中只分离出制作或更新地图数据所需信号灯、道路、人行横道等静态客体。

图9中透明度处理件330c为透明处理各图像而在各图像的像素值上乘以1/10，并重合十个图像，那么如图10所示可确认第一图形800与透明处理之前一样出现，但第二及第三图形810、820则与透明处理之前相比消失。图10显示了对十个图像进行图像重合的，但若重叠无限多的图像时，感觉上图像之间像素值变化大的动态客体如同不存在。

细看将各图像进行重合的公式，如数学式2所示。

【数学式2】

A(t)＝α(A(t-1))+(1-α)f(t),1≤t≤N-1

其中，A(t)作为t时间内获取的平均图像影像利用第t-1影像与第t影像。并且，α是权重且该值是0.5，意味着第t-1图像的50％像素值与第t图像的50％像素值之和。并且，f(t)是指第t影像。

作为一例，适用上述数学式2如下所述。

A(1)＝αf(0)+(1-α)f(1),

A(2)＝α(A(1))+(1-α)f(2),

A(3)＝α(A(2))+(1-α)f(3)

并且，图像处理装置300可将一天或一周等按所定时间单位接收的图像进行图像处理，可任意选择或全部使用所接收的图像进行图像处理。作为一例，图11中在一天内通过第一至第三车辆100、110、120拍摄特定区域，并发送到图像处理装置300的图像共有N个从0至n-1个，那么图像处理装置300可将全部0至n-1个图像进行透明处理并重合而提取静态客体，也可利用其中一部分提取静态客体。

根据上述内容，细看通过图像处理装置300的控制件305，在利用透明度处理件330c进行透明处理的图像中提取建筑、道路等静态客体的方法。

图7中附图标记740与750是在特定区域相隔所定时间间隔拍摄的图像，是利用安装在车辆的摄像机或智能手机拍摄的图像。拍摄的图像中作为静态客体有建筑700、道路720以及信号灯730，作为动态客体有车辆710。图像处理装置300利用所定时间(如一天)内通过电子装置200接收的图像的获取信息，分类属于特定区域的图像，能够获得对于特定区域的多个图像。

并且，图像处理装置300对接收的图像进行图像重合、透明处理，就如附图标记760所示建筑700、道路720以及信号灯730等静态客体原原本本出现，但车辆等动态客体则消失。根据本发明实施例，重合的图像数量越多，透明处理时静态客体与动态客体之间的区分更为明显。

图像合成件330f将透明处理的图像进行合成并将合成的图像传送到控制件305。

存储件320包括地图数据存储件320a与接收图像存储件320b。地图数据存储件320a用于存储事先制作的地图数据，还存储通过控制件305更新的地图数据。接收图像存储件320b用于存储通过接收件310接收的图像。

根据本发明实施例的控制件305为了将通过接收件310接收的图像存储在接收图像存储件320b进行控制，若存储在地图数据存储件320a的地图数据需要更新时，将地图数据进行更新，并将更新的地图数据存储在地图数据存储件320a。

并且，控制件305在通过图像处理件330透明处理的图像中提取静态客体，比较提取的静态客体与在地图数据存储件320a事先存储的地图数据上的客体，当事先存储的地图数据上的客体与提取的静态客体不同时，更新地图数据。

具体说，控制件305确认提取的静态客体的位置信息，在事先存储的地图数据中与已确认的静态客体的位置信息相对应的位置是否有与提取的静态客体不同的客体。并且，若检查结果发现不同的客体，控制件305在对应位置信息的事先存储的地图数据上，反应提取的静态客体，并更新地图数据且存储在地图数据存储件320a。

根据本发明实施例图像处理装置300从位于道路上的车辆接收的图像中，包括固定的地形地物、左转/右转等道路上存在的路线信息等静态客体与位于道路上的其他车辆、行人等动态客体。因此，根据本发明实施例图像处理装置300在生成或更新地图数据时，需要在接收的图像中将静态客体以外的不必要的动态客体去除。

然而，图像处理装置300有可能出现在接收的图像中静态客体被动态客体遮挡而很难识别静态客体的情况。从而本发明的实施例中为解决这种问题，通过图像处理装置300重合标准图像与对象图像，并进行透明处理后，再提取静态客体。

图12是说明根据本发明实施例利用实际道路上获取的图像提取静态客体的过程的图。

图12的附图标记1205中地上有右转标志1201，而在附图标记1210道路上有车辆很难提取地上右转标志1201。此时，根据本发明实施例进行图像处理，附图标记1215中动态客体车辆显得模糊，可简易识别静态客体即地上右转标志1201。因此，根据本发明实施例，图像处理装置300可确认道路上存在的右转标志1201，从而若以前制作的地图数据上没有上述右转标志1201就会更新地图数据而反应该内容。

发送件315通过控制件305将存储在存储件320的地图数据或更新的地图数据，传送到车辆的电子装置200或使用者智能手机。并且，发送件315也可向车辆的电子装置200发出邀请传送目前位置上获取的图像的短信。

进而，本发明实施例中随说明了透明度处理件320e在通过图像重合件320d进行图像重合后进行透明处理的，但并不限于此。

根据本发明的另一实施例，透明处理操作可在通过控制件305决定要重合的图像以后进行，可在提取特征点以后进行，可在计算单应性后进行。

图13是根据本发明实施例的图像处理装置的运行流程图。

图像处理装置300在步骤S1305中接收图像，在步骤1310中将接收的图像存储在存储件。进而，在步骤S1315中图像处理装置300决定标准图像与对象图像，并在步骤S1320中进行图像前处理。图像前处理过程包括：影像辨认、为不影响与其他影像合成的过程将影像的色彩或亮度、清晰度等进行调整的图像处理，主要使用曲线(Curves)、层次(Levels)、亮度/对比度(Brightness/Contrast)、颜色平衡(Color Balance)、暗调/高光(Shadows/Highlight)等功能。

当图像前处理过程完毕，图像处理装置300在步骤S1325中进行根据本发明实施例的图像处理过程。图14中会说明步骤S1324中进行的图像处理过程。

当上述步骤S1325的图像处理完毕，在步骤S1330中图像处理装置300在重合的图像中提取静态客体，并在步骤S1335中比较提取的静态客体与事先存储的地图数据。具体说，在步骤S1335中图像处理装置300确认在事先存储的地图数据中确认的静态客体的位置信息相对应的位置是否存在与提取的静态客体不同的客体。

步骤S1335中确认结果，在步骤S1340中图像处理装置300当发现与上述事先存储地图数据中提取的静态客体不同的客体存在，那么在步骤S1345中更新地图数据，并在步骤S1350中将更新的地图数据发送到车辆的电子装置或使用者的智能手机。

图14是详细说明图13的S1325步骤的流程图。

在步骤S1405中图像处理装置300在标准图像中提取第一特征点，并在对象图像中提取第二特征点。并且，步骤S1410中图像处理装置300将提取的第一特征点聚集的第一特征点组与提取的第二特征点聚集的第二特征点组进行匹配，而在步骤S1415中利用第一特征点组与第二特征点组之间的配对信息而计算单应性。

步骤S1420中图像处理装置300利用在步骤S1415中计算的单应性而变换对象图像，并在步骤S1425中将标准图像与变换的对象图像进行重合。

并且，在步骤S1430中图像处理装置300对重合的图像进行透明处理后，在步骤S1435中将透明处理的图像进行重合。步骤S1435是可有可无的步骤，根据需要决定。即根据本发明实施例，图像处理装置300在重合的图像中提取静态客体时，可在透明处理完毕的状态下进行提取，也可在透明处理后，图像重合完毕后进行提取。

图15是将根据本发明另一实施例的用于制作地图的图像处理装置的结构方块图。输入件1550从使用者处接收用于运行图像处理装置1500的命令等，可由键盘、触控板(感压/电容)构成。

图像处理件1510将从位于道路上车辆接收的图像进行处理，并从图像中提取固定的地形地物、道路扩张/闭锁或左转/右转灯路线信息等多样的信息。

通讯件1520与在车辆具备的电子装置或智能手机等移动终端进行通讯，并接收所拍摄的图像或将生成的地图数据传送到上述电子装置或移动终端。通讯件1520不仅可使用有线通讯方式，而且可使用蓝牙、WiFi、无线宽带、3G、WCDMA方式、LTE以及4G通讯方式等多样的无线通讯方式进行通讯。

存储件1530用于存储通过设在车辆的电子装置或智能手机等移动终端接收的图像、在未图示的地图制作服务器或图像处理装置1500中生成的地图数据、图像处理装置1500的控制件340能够执行的命令。存储件1530可采用随机存取存储器(Random Access Memory)、静态随机存取存储器、电子可擦除可编程只读存储器、可编程只读存储器、磁存储器、磁盘、光碟等多样的存储介质。

控制件1540将接收的图像处理而生成地图数据或生成用于更新地图数据的更新数据，通过通讯件1520将生成的地图数据传送到设在车辆的电子装置或智能手机等移动终端。

图16是说明根据图15的图像处理装置的地图制作方法的方法流程图。

图16关于当道路上行驶的车辆的行驶路线与已存储的地图数据不同时将已存储的地图数据进行更新的。作为一例，在已存储的地图数据上是禁止左转区域，当车辆进行左转，或者在已存储的地图数据上没有道路，但车辆继续行驶时均属于这种情况。此时，道路或设在道路上路线信息都相当于静态客体，可按如上说明的影像处理方法修正已存储的地图。

具体说，在步骤S1600中图像处理装置1500将从道路上行驶的车辆的电子装置所接收的图像、使用者行驶记录等多样数据进行接收并存储。然后，在步骤S1610中图像处理装置1500的控制件1540分析使用者行驶记录并确认与已存储的地图数据上存储的道路、路线信息等地图数据与使用者行驶内容之间是否有不同地点。

在步骤S1620中若有不同地点时(步骤S1620-是)，在步骤S1630中控制件1540控制图像处理件1510而对该地点进行图像处理，从而提取该地点的道路、路线信息等静态客体。此时，图像处理装置1500在该地点行驶的多个车辆的电子装置中获取图像时进行图像处理为佳。

然后，在步骤S1640中控制件1540比较提取的静态客体与地图数据，确认包含在地图数据的静态客体是否需要数据修正，并在步骤S1650中若需要时生成用于修正地图数据的更新信息。在步骤S1660中控制件1540利用在步骤S1650中生成的更新信息而修正地图数据，并在步骤S1660中将生成的更新信息传送到行驶在道路的车辆的电子装置。此时，为使用者便于使用，控制件1540通过通讯件1520传送当智能手机等能够使用地图数据的电子装置。

图17是根据本发明另一实施例的电子装置的方块图。

输入件1715将由使用者输入的各种控制命令传送到控制件1705，可以是触控板或键盘或鼠标等。通讯件1720与根据本发明实施例的图像处理装置或其他电子装置进行通讯。输出件1725是给使用者提供声音或视觉信息的构件，可以是显示器或扩音器等。拍摄件1730随着控制件1705的控制拍摄被摄体。

如本说明书所说明，图像处理件1710对拍摄件1730所拍摄的图像进行特征点提取、透明处理、图像重合等图像处理，以使控制件1705可提取静态客体。

存储件1735为使电子装置1700能够运行，存储可通过控制件1705执行的命令与地图数据。

控制件1705在根据本发明另一实施例装有电子装置1700的车辆行驶在道路时，进行控制以使上述拍摄件1730获取图像，并上传存储在存储件1735的地图数据。并且，使用上传的地图数据与目前测定的车辆的位置，通过输出件1725进行导航，并由图像处理件1710将通过上述拍摄件1730获取的图像进行图像处理而提取静态客体。

并且，控制件1705比较提取的静态客体与上述地图数据，检查上述提取的静态客体是否在用于导航的地图数据中存在，若不存在通过通讯件1720向图像处理装置发出将存储在上述存储件1735的地图数据进行更新的邀请。

通过通讯件1720接收更新的地图数据，控制件1735则更新在存储件1735已存储的地图数据。

图18是根据图17的电子装置1700的运行流程图。

当车辆行驶在道路时-步骤S1805，在步骤S1810中设在车辆的电子装置1700获取图像，并在步骤S1815中上传地图数据。并且在步骤S1820中电子装置1700利用上述上传的地图数据与目前测定的车辆位置进行导航，在步骤S1825中将上述获取的图像进行图像处理而提取静态客体。

在步骤S1830中电子装置1700比较上述提取的静态客体与上述地图数据，并在步骤S1835中检查上述提取的静态客体是否在用于上述导航的地图数据中存在。上述步骤S1835中检查结果发现在上述地图数据中存在与上述提取的静态客体不同的静态客体时，电子装置1700在步骤S1840中向图像处理装置发出更新已存储的地图数据的邀请。在步骤S1845中接收更新的地图数据，电子装置1700在步骤S1850中更新已存储的地图数据。

图19至图20是说明根据本发明实施例对五个图形进行的透明处理的图。

图19显示了根据本发明实施例在相同地点获取的五个图像1905、1910、1915、1920、1925，图20中的附图标记2005、2010、2015、2020、2025显示了对附图标记1905、1910、1915、1920、1925的图像分别进行透明处理的结果。图19及图20中要进行透明处理的对象图像的总数是五个(N＝5)，因此为了进行根据本发明实施例的透明处理，而对图19中附图标记1905、1910、1915、1920、1925图像的各个像素值上乘以1/5。即图20中各图像是在图19中各图像的像素值上乘以1/5进行透明处理的图像。

并且，图21是说明图20的透明处理的图像的图像重合的图。图22是图示根据图21进行图像重合的结果的图，在此能够确认动态客体即车辆消失，但静态客体即道路、路线、人行横道、信号灯等原原本本存在。本发明中可通过这种方法从图像中提取静态客体而更新或制作地图数据。

另外，上述例示中虽说明了透明度处理件在透明处理对象图像的各像素值(0-255)上乘以所定常数而具备比原来图像的像素值小的像素值的图像处理及透明处理的例子，但并不限于此。根据本发明的其他实施例，透明度处理件在透明处理对象图像的RGBA值上调节相当于透明度程度的A(Alpha)值，从而能够调节该图像的透明度。此时，上述A(Alpha)值可事先设定，并定期更新。

并且，上述例示中按各个像素计算了重合图像的像素值、标准图像的像素值以及对象图像的像素值的标准偏差，并将所计算的标准偏差小于已设定值的像素判断为静态客体的像素，并将上述所计算的标准偏差大于已设定值的像素判断为动态客体的像素，而在重合图像中提取静态客体与动态客体的例子进行了说明，但并不限与此。根据本发明的其他实施例，比较重合图像的RGBA值中A(Alpha)值与已设定的透明度值，也可区分静态客体与动态客体。

另外，根据上述本发明的多样实施例的控制方法可按电脑程序实施，而供给服务器或器械。据此，各装置可与存储该程序的服务器或器械连接，而下载上述程序。

并且，根据上述本发明的多样的实施例的控制方法，可按电脑程序实施，而在多样的非暂时性计算机可读介质(non-transitory computer readable medium)中存储并供给。非暂时性计算机可读介质是半永久性存储数据的介质，并非寄存器、高速缓存存储器、存储器等短暂存储数据的介质，意味着可通过器械读取的介质。具体说，上述多样的应用软件或程序可存储在CD、DVD、硬盘、Blu-ray Disk、USB、存储卡、ROM等非暂时性计算机可读介质中存储并供给。

并且，如上图示并说明了本发明的优先实施例，但本发明并不限于上述特定实施例，具备本发明所属技术领域通常知识者，在不超出权利要求书中记载的本发明要点的情况，可进行多样的变形实施，并且这种变形实施不能与本发明的技术思想或前景分开理解。