道路智能提取方法和装置、提取模型构建方法及混合导航系统与流程

文档序号:14951001发布日期:2018-07-17 22:33阅读:106来源:国知局
本发明涉及图像识别领域,具体的,涉及利用基于深度学习的方法对卫星影像进行道路提取的方法和装置。
背景技术
:现有技术中对于道路识别,可以采用基于图像分割的方法,或者有限元方法。对于基于图像分割的方法,是根据一定的算法,比如k均值聚类算法、模糊c均值聚类算法等,将图像分割成有意义的斑块,根据斑块的特征进行道路的识别,提取道路片段或者道路种子点。但是该方法依赖于高分辨率的遥感影像,计算量大,自动分类困难。而有限元方法,大多集中在利用道路的几何特征性上,在低(边缘探测和纹理分析)、中(对低层次结果分析、选择和综合)进行,其中部分研究结合道路模型、道路有关的知识和规则进行,但总体效果不明显。上述算法存在通用性不强,对于不同分辨率或者不同季节的遥感影像存在很大的提取偏差的缺陷。因此,如何能够克服现有技术的缺陷,提高遥感影像道路自动提取的效率,成为现有技术亟需解决的技术问题。技术实现要素:有鉴于此,本发明提供一种基于深度学习的卫星影像道路智能提取方法和装置,不依赖于传统的图像分割边缘提取等算法,通过提供大量的标注数据,让程序自主学习,不断矫正错误,提高遥感影像道路提取的正确率和召回率其中,本发明公开的一种基于深度学习的卫星影像道路智能提取方法包括如下步骤:选择部分卫星影像图片,将图片中的道路用特定颜色进行标注,从而得到训练样本,并构建标注数据库;利用对于训练样本,采用卷积神经网络的方法进行自主学习,并构建学习模型,并利用所述学习模型对于新输入的卫星影像图像进行道路提取;对于提取出来的道路,遍历每条道路进行道路中心线提取,即提取每条道路取宽度的中值,将中值像素点坐标作为矢量化后道路线的节点坐标,串联所述节点坐标形成矢量道路线。可选的,基于上述技术方案,将待训练图片中的道路用特定颜色进行标注,从而得到训练样本,包括:将待训练图片中的道路用特定颜色进行面状覆盖,其它则覆盖成半透明的颜色。可选的,采用卷积神经网络的方法进行自主学习,并构建学习模型,包括:首先自下而上进行非监督学习,在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;然后再自上向下进行监督学习,基于第一步得到的各层参数进一步优化整个多层模型的参数。可选的,基于上述技术方案,学习及提取道路步骤之后,对道路栅格矢量化步骤之前,还需要对提取出来的道路进行判断,包括:对道路提取的结果进行判断,如果是正确,则进行道路栅格矢量化,否则返回标注数据库构建步骤,将该提取结果错误的原始卫星影像图片作为训练样本重新进行标注,以对提取模型进行训练。本发明还公开了一种基于深度学习的卫星影像道路智能提取装置,该装置包括如下单元:训练样本标注单元:用于选择部分卫星影像图片,将图片中的道路用特定颜色进行标注,从而得到训练样本,并构建标注数据库;自主训练学习及提取单元,用于利用对于训练样本,采用卷积神经网络的方法进行自主学习,并构建学习模型,并利用所述学习模型对于新输入的卫星影像图像进行道路提取;道路栅格矢量化单元,用于对于提取出来的道路,遍历每条道路进行道路中心线提取,即提取每条道路取宽度的中值,将中值像素点坐标作为矢量化后道路线的节点坐标,串联所述节点坐标形成矢量道路线。可选的,基于上述技术方案,在训练样本标注单元中,将待训练图片中的道路用特定颜色进行标注,从而得到训练样本,包括:将待训练图片中的道路用特定颜色进行面状覆盖,其它则覆盖成半透明的颜色。可选的,基于上述技术方案,所述自主训练学习及提取单元采用卷积神经网络的方法进行自主学习,并构建学习模型,包括:首先自下而上进行非监督学习,在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;然后再自上向下进行监督学习,基于第一步得到的各层参数进一步优化整个多层模型的参数。可选的,基于上述技术方案,上述装置还具有道路提取判断单元,用于对所述自主训练学习及提取单元提取的结果进行判断,如果是正确,则利用道路栅格矢量化单元进行道路栅格矢量化,否则,将该提取结果错误的原始卫星影像图片返回标注数据库构建单元,作为训练样本重新进行标注,以对提取模型进行训练。本发明还公开了一种地图数据智能更新装置,其特征在于:利用上述的卫星影像道路智能提取装置进行道路的提取,从而对地图的数据进行智能更新。因此,本发明不依赖于传统的图像分割边缘提取等算法,通过提供大量的标注数据,采用卷积神经网络的方法进行自主学习,并构建学习模型,然后对于新输入的卫星影像图片提取道路,并判断提取的结果,不断矫正错误,提高遥感影像道路提取的正确率和召回率。附图说明此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:图1为本发明实施例提供的卫星影像道路智能提取方法的流程示意图;图2为本发明实施例中标注之前的卫星影像图;图3为本发明实施例中标注处理后的卫星影像图;图4为本发明实施例中的道路提取的结果图;图5为本发明实施例提供的卫星影像道路智能提取装置的组成框图;图6为本发明实施例提供的混合导航系统的组成框图。具体实施方式如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明本发明的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。本发明采用深度学习(deeplearning)的方法进行影像道路识别,深度学习能够自主地从标注数据库上学到有用的特征,特别是对于道路这样不好用统一的特征描述的对象。参见图1,示出了本发明实施例公开的基于深度学习的卫星影像道路智能提取方法,该方法包括如下步骤:标注数据库构建步骤s110:选择部分卫星影像图片,将待训练图片中的道路用特定颜色进行标注,从而得到训练样本,并构建标注数据库。例如,在一个特定的实施例中,可以将待训练图片中的道路用特定颜色进行面状覆盖,其它则覆盖成半透明的颜色,以提高提取模型学习的效率。参见图2,可以采用谷歌地球遥感影像作为训练样本,分辨率约为1米,样本图片和测试图片均为1024*1024,选择标注图片路径,通过人工目视的方式将图片中的道路用特定颜色,例如红色,进行面状覆盖,其他则覆盖成半透明灰色。图3是标注处理后的卫星影像图。学习及提取步骤s120:利用对于训练样本,采用卷积神经网络的方法进行自主学习,并构建学习模型,并利用所述学习模型对于新输入的卫星影像图像进行道路提取。卷积神经网络(convolutionalneuralnetworks,cnn)是第一个真正成功训练多层网络结构的学习算法,它属于区分性训练算法。卷积神经网络通过结合局部感知、共享权值、空间上的池化来充分利用数据本身包含的局部性等特征,优化网络结构,并且保证一定程度上的位移和变形的不变性。例如,采用卷积神经网络的方法进行自主学习,并构建学习模型,包括如下步骤:首先自下而上进行非监督学习,训练第一层,训练时先学习第一层的参数,由于模型能力的限制以及稀疏性约束,使得得到的模型能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征,在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;然后再自上向下进行监督学习,基于第一步得到的各层参数进一步优化整个多层模型的参数。第一步类似神经网络的随机初始化初值过程,由于深度学习的第一步不是随机初始化,而是通过学习输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。整个图像学习和道路提取可以采用caffe框架,相关程序应用采用python语言开发。caffe是一个清晰、高效的深度学习框架,它是开源的,核心语言是c++,caffe提供了一个完整的工具包,用来训练、测试、微调和部署模型。学习提取道路后的卫星影像如图4所示,从图中可以看出,左侧为提取前的卫星遥感影像,右侧为道路提取之后的卫星遥感影像,其中道路被提取出来,而道路以外的部分采用半透明覆盖,与训练样本的格式相同。由于提取出来的道路图像都是均一rgb值,为了更好的表示道路,还需要对提取出来的道路进行矢量化,以得到道路线。道路栅格矢量化步骤s140:对于提取出来的道路,遍历每条道路进行道路中心线提取,即每条道路取宽度的中值,将中值像素点坐标作为矢量化后道路线的节点坐标,串联所述节点坐标形成矢量道路线。可选的,在学习及提取步骤s120之后,道路栅格矢量化步骤s140之前,还需要对提取出来的道路进行判断,道路提取判断步骤s130,对道路提取的结果进行判断,如果是正确,则进行道路栅格矢量化,否则返回标注数据库构建步骤s110,将该提取结果错误的原始卫星影像图片作为训练样本,重新进行标注,以对提取模型进行训练。因此,上述实施例公开的一种基于深度学习的卫星影像道路智能提取方法,通过矫正在学习过程中的错误,能够不断的提高提取模型对于卫星遥感影像道路提取的正确率,而且不依赖于传统的图像分割边缘提取等算法,通过提供大量的标注数据,采用卷积神经网络的方法进行自主学习,并构建学习模型,然后对于新输入的卫星影像图片提取道路,并判断提取的结果,不断矫正错误,提高遥感影像道路提取的正确率和召回率。该方法提取的道路可以作为导航路网更新的情报来源。本发明实施例提出一种卫星影像道路智能提取模型的构建方法,该方法包括:预先根据目标卫星影像图片,获取训练样本,并构建标注数据库;利用所述训练样本,采用卷积神经网络的方法进行自主学习,并构建学习模型;根据训练反馈及实际作业的记录,将利用提取模型得到的错误提取结果对应的原始卫星影像图片作为训练样本重新进行标注,对提取模型进行训练。作为一个可选的实施方式,上述获取训练样本进一步包括:将待训练图片中的道路用特定颜色进行面状覆盖,其它则覆盖成半透明的颜色,生成取训练样本。可选的是,上述采用卷积神经网络的方法进行自主学习,并构建学习模型,进一步包括:自下而上进行非监督学习,在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;再自上向下进行监督学习,基于第一步得到的各层参数进一步优化整个多层模型的参数。这里,以一个实例对上述提取模型的构建做如下说明:1)数据准备,将图片放在caffe根目录下的data文件夹下面。即训练图片目录:data/re/train/,测试图片目录:data/re/test/2)数据转换,在examples下面创建一个myfile的文件夹,来用存放配置文件和脚本文件。然后编写一个脚本create_filelist.sh,用来生成train.txt和test.txt清单文件,执行语句如下:#sudomkdirexamples/myfile#sudoviexamples/myfile/create_filelist.sh在examples/myfile/文件夹下生成train.txt和test.txt两个文本文件,train.txt和test.txt,调用convert_imageset命令来转换数据格式,执行语句如下:#sudoviexamples/myfile/create_lmdb.sh在examples/myfile下面生成两个文件夹img_train_lmdb和img_test_lmdb,分别用于保存图片转换后的lmdb文件。3)计算均值并保存,利用caffe程序提供的compute_image_mean.cpp文件计算均值。执行语句如下:#sudobuild/tools/compute_image_meanexamples/myfile/img_train_lmdbexamples/myfile/mean.binaryproto4)创建模型并编写配置文件,本文直接使用程序自带的caffenet模型,将需要的两个配置文件,复制到myfile文件夹内,执行语句如下:#sudocpmodels/bvlc_reference_caffenet/solver.prototxtexamples/myfile/#sudocpmodels/bvlc_reference_caffenet/train_val.prototxtexamples/myfile/5)训练和测试,运行时间和最后的精确度,会根据机器配置,参数设置的不同而不同本发明实施例还公开了一种基于深度学习的卫星影像道路智能提取装置,包括如下单元:训练样本标注单元210:用于选择部分卫星影像图片,将图片中的道路用特定颜色进行标注,从而得到训练样本,并构建标注数据库;自主训练学习及提取单元220,用于利用对于训练样本,采用卷积神经网络的方法进行自主学习,并构建学习模型,并利用所述学习模型对于新输入的卫星影像图像进行道路提取;道路栅格矢量化单元240,用于对于提取出来的道路,遍历每条道路进行道路中心线提取,即提取每条道路取宽度的中值,将中值像素点坐标作为矢量化后道路线的节点坐标,串联所述节点坐标形成矢量道路线。可选的,在训练样本标注单元210中,将待训练图片中的道路用特定颜色进行标注,从而得到训练样本,包括:将待训练图片中的道路用特定颜色进行面状覆盖,其它则覆盖成半透明的颜色。可选的,所述自主训练学习及提取单元采用卷积神经网络的方法进行自主学习,并构建学习模型,包括:首先自下而上进行非监督学习,在学习得到第n-1层后,将n-1层的输出作为第n层的输入,训练第n层,由此分别得到各层的参数;然后再自上向下进行监督学习,基于第一步得到的各层参数进一步优化整个多层模型的参数。可选的,还具有道路提取判断单元230,用于对所述自主训练学习及提取单元提取的结果进行判断,如果是正确,则利用道路栅格矢量化单元进行道路栅格矢量化,否则,将该提取结果错误的原始卫星影像图片返回标注数据库构建单元,作为训练样本重新进行标注,以对提取模型进行训练。在一个示范性的实施例中,利用上述的方法或者装置对于卫星影像进行道路提取,结果如下:召回率82.47%准确率82.10%其中,召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率。本发明实施例还公开了一种地图数据智能更新装置,利用上述任一相关实施例公开的卫星影像道路提取装置进处理得到的道路数据,对地图数据进行智能更新。此外,本发明实施例提供了一种混合导航系统,如图6所示,该混合导航系统包括:数据模块405、搜索模块410、导航模块415、娱乐模块420、通信模块425、车载趣驾操作系统400、传感系统450以及用户交互模块。可选地,用户交互模块包括信息入口模块430、智能语音交互模块435、分析模块440及显示模块445。其中:数据模块405,用于存储并更新电子地图数据,该电子地图数据为上述任一相关实施例中公开的地图数据的自动生成装置处理后的导航电子地图数据;搜索模块410,用于根据用户指令执行搜索操作并输出搜索结果;导航模块415,用于根据得到的导航指令为用户提供二维/三维路径规划及导航服务;娱乐模块420,用于提供游戏、音乐及其他影音娱乐项目;通信模块425,用于获取更新的地图数据、动态交通信息、一对一或群组的语音/视频通讯;信息入口模块430,用于接收用户通过触屏或按键手动输入的指令;智能语音交互模块435,用于接收用户语音指令、进行语音唤醒和语音控制,以及用于语音输出执行用户语音指令的结果;分析模块440,用于对用户语音指令进行语音识别、语意分析及指令转换,并用于通知相应的模块执行识别出来的用户语音指令;其中,用户语音指令为任意语种的任意一种句型的表达;显示模块445,用于显示搜索模块提供的搜索结果,导航模块提供的导航路径、数据模块提供的地图数据、以及通信模块提供的动态交通信息,采用语音、二维/三维图示、和/或文字的方式显示;车载趣驾操作系统400,用于为上述各模块提供运行环境和支持;传感系统450,用于监测车辆状态和路况信息,为所述趣驾操作系统提供实时动态信息。需要说明的是,由于前述任一实施例所述的在地图数据的自动生成方法及装置具有上述技术效果,因此,采用了前述任一实施例所述的地图数据的自动自动生成方法及装置的混合导航系统也应具备相应的技术效果,其具体实施过程与上述实施例类似,兹不赘述。本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。上述说明示出并描述了本发明的若干具体实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1