用于三维城市模型检索的图像特征提取和相似性度量方法
【专利摘要】本发明涉及用于三维城市模型检索的图像特征提取和相似性度量方法。多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述，导致三维模型检索精度不高。本发明提出了一种基于图像的三维城市模型检索框架。首先分割出图像上的检索目标，同时利用光场对三维城市模型进行二维变换，然后提取查询目标和检索模型图像的特征，最后用相似度距离度量它们之间的相似性，实现三维城市模型检索。1)提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。与已有方法相比，本发明方法在三维城市模型检索的效率和精度有了很大提高。
【专利说明】用于三维城市模型检索的图像特征提取和相似性度量方法 一、
【技术领域】
[0001] 本发明涉及用于三维城市模型检索的图像特征提取和相似性度量方法，属于空间 信息【技术领域】。 二、
【背景技术】
[0002] 随着空间数据采集技术的革新及互联网的发展，城市三维模型的种类和数量越来 越丰富，很多网站（如Google 3D Warehouse)和平台也提供了三维模型共享功能，供用户 免费下载，基于图像的检索成为高效获取三维模型的一种重要技术手段。由于拍摄条件和 拍摄角度的不同，图片往往含有复杂背景，并且三维模型存放的方向以及光照条件不同会 引起模型表面纹理和颜色差异变化很大，这都为基于图像的三维模型检索带来了挑战。传 统的关键字匹配方法受制于模型的人工标注，相比之下，无需人工标注的基于模型特征的 匹配方法更适合模型仓库背景下的搜索。基于模型特征的检索有利于在场景中直接定位待 检索的模型，但多数图像和三维模型检索方法提取的特征缺乏或忽略对模型细节的描述， 导致图像/三维模型检索精度不高，很大程度上限制了建筑模型搜索应用的发展。本发明 提出了一种基于图像特征和相似性度量方法的三维城市模型检索技术。与已有方法相比， 本发明在三维城市模型检索的效率和精度有了很大提高。 三、
【发明内容】
[0003] 1、目的：三维城市模型在军事、城市导航、旅游等方面有重要的应用。本发明提出 了一种基于图像特征和相似性度量方法的三维城市模型检索技术。创新性主要体现在：1) 提出了一种图像特征提取和相似性度量的三层框架，在该框架中，设计了带空间约束的多 层多尺度卷积神经网络模型，获得了位移、尺度、形变不变性的具有判别性的特征；2)提出 了一种新的相似性度量方法，更好的实现了目标间的相似性匹配。本专利可以应用于基于 空间位置服务、场景快速定位和图像分类分割中。
[0004] 2、技术方案
[0005] 用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如 下步骤（如图1):
[0006] 步骤一：查询目标和城市三维模型影像的特征提取
[0007] 从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待 检索的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库。接下去，提取 查询目标图像与模型图像库中图像的特征，从而检索出与查询目标相匹配的模型图像对应 的三维城市模型。
[0008] 本专利设计了带空间约束卷积神经网络模型提取图像目标特征。基于该模型的 特征提取包含三个层次。为了实现从粗到精的检索，在第一层次中，用卷积神经网络模型 CNN提取查询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第 二层次，对这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束， 使查询目标和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用 CNN提取特征后，通过图像度量方法实现模型的精确检索。
[0009] (1)第一层次
[0010] 用CNN提取查询目标Q和模型图像的特征。CNN是多层的神经网络，每层由多个二 维平面组成，而每个平面由多个独立神经元构成。为了强化表达图像的特征，用拉普拉斯金 字塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取。
[0011] CNN输入的是查询目标的图像矩阵IhXwXn :h表示图像高度，w表示图像宽度，η表 示图像数量。查询目标通过可训练的滤波器和可加偏置进行卷积（式1)，
[0012] X1 = sigmOVlH+b1) (1)
[0013] X14表不隐含层1的输入，X1表不隐含层的输出，X° = I。矩阵W1表不隐含层1的 卷积核，
[0014] b1表示隐含层1的偏置项。卷积层神经元的激活函数为Sigmod函数，其定义为
[0016] 卷积后在C1层产生特征映射图，特征映射图中像素再通过式（3)进行Pooling运 算，得到S1层的特征映射图。[0017] X1 = pool (X1-1) (3)[0018] ⑶式中，X14表不隐含层1的输入，X1表不隐含层的输出。
【权利要求】
1.用于三维城市模型检索的图像特征提取和相似性度量方法，其特征在于，包括如下 步骤： 步骤一：查询目标和三维城市模型影像的特征提取 从输入图像上用智能剪刀和图割方法分割出查询目标，用水平光场算法将每个待检索 的三维城市模型进行投影转换生成10张影像，建立待检索模型图像库，接下去，提取查询 目标图像与模型图像库中的图像的特征； 本专利设计了带空间约束卷积神经网络模型提取图像目标特征；基于该模型的特征提 取包含三个层次；为了实现从粗到精的检索，在第一层次中，用卷积神经网络（CNN)提取查 询目标和模型图像的特征，通过图像度量方法预检索出k个三维城市模型；在第二层次，对 这k个检索结果进行显著性检测，去除模型图像的背景，建立空间相似性约束，使查询目标 和模型图像姿态保持一致；在第三层次，对建立相似性约束的模型图像再次用CNN提取特 征后，通过图像度量方法实现模型的精确检索； (1)第一层次 用CNN提取查询目标Q和模型图像的特征；为了强化表达图像的特征，用拉普拉斯金字 塔技术提取多尺度图像，作为对应图像的子图像来进行特征提取； CNN输入的是查询目标的图像矩阵IhXwXn :h表示图像高度，w表示图像宽度，η表示图 像数量；查询目标通过可训练的滤波器和可加偏置进行卷积（式1)， X1 = sigmW^+b1) (1) X14表不隐含层1的输入，X1表不隐含层的输出，X° = I ;矩阵W1表不隐含层1的卷积 核， b1表示隐含层1的偏置项；卷积层神经元的激活函数为Sigmod函数，其定义为
(2)第二层次 用Q对模型图像进行空间约束，使Q和模型图像在相同空间状态下进行特征提取； 假设Q中任意一点的坐标为（xQ，yQ)，模型库中一图像的坐标（xM，y M)通过空间变换 T(r，s，t)使得模型库中图像的空间坐标和Q大致保持一致；
【文档编号】G06F17/30GK104090972SQ201410342391
【公开日】2014年10月8日 申请日期:2014年7月18日 优先权日:2014年7月18日
【发明者】张立强, 王跃宾, 张良 申请人:北京师范大学