一种基于图像对比识别的建筑信息导览的方法和系统与流程

本发明属于图像识别领域，涉及一种基于图像对比识别的建筑信息导览的方法和系统。

背景技术：

目前，现有城市地理信息传播多为平面附加信息，诸如百度地图、高德地图等，或者二维码获取信息，定位城市建筑(古建筑类文化遗产)过程不直观，用户感知困难。

其中，在专业搜索引擎的使用中(比如google图片、tineye、百度识图)中出现了一定的图像识别技术，在搜索引擎术语上名为：“反向图片搜索引擎”(reverseimagesearchengine)。但上述应用主要是基于海量上传数据库的搜索，应用目标多为“多对多”的识别方式，后台专业数据性应用较少。

并且，现有百度地图、高德地图等平面地图信息应用提供的城市建筑(古建筑类文化遗产)可读性信息较少。

技术实现要素：

本发明所要解决的技术问题是主要针对建筑领域，涉及一种基于图像对比识别的建筑信息导览的方法和系统。

本发明解决上述技术问题所采取的技术方案如下：

一种基于图像对比识别的建筑信息导览的方法，包括：

步骤1)采集一个或者多个特定城市建筑的图像数据，包括：

按照不同距离、不同景深、不同光照条件下360度采集特定建筑的图像，形成图像数据库；

步骤2)对图像数据库的图像进行数据特征筛选及特征提取，形成预图像；

步骤3)移动终端调用自身的摄像头，获取当前建筑实时图像并在应用前端app中进行展示；

步骤4)将所述建筑实时图像与步骤2)中的预图像进行数据比对，并完成建筑识别；

步骤5)基于识别后建筑，将其与云端数据库连接，其中，点击名称链接，跳转至建筑附属社会及商业信息，进行导览展示。

优选的是，步骤2)中，包括：基于cnn网络进行图像区分型特征筛选；基于akaze提取算法提取局部特征，并形成预图像。

优选的是，基于unity3d，开发建筑图像比对系统应用前端app。

优选的是，步骤5)之前，还包括：确立城市建筑的附属社会及商业信息大数据云端数据库，包括：

案例性研究以提供城市地理信息的平台和档案，找出对应通勤模式、游览模式、消费模式等公众搜索城市建筑附属社会及商业文化遗产历史及价值的典型行为；

通过调查问卷和访谈，并用利用spss软件录入收集数据，分析普通公众所关注城市建筑附属社会及商业文化遗产历史及价值的相关度；和/或，

搭建城市建筑三维模型数据库(bim),将传统百度地图、高德地图等平面型信息输入立体模型中。

优选的是，步骤4)中，采样城市建筑结构与图像中外轮廓识别特征点，并根据这些特征作为建筑图像比对识别的图像特征信息。

优选的是，步骤1)中，具体包括：

采样城市建筑的图像数据；

用图像处理软件设定灰度值、对比度值等不同标准数值；

用opencv和matlab所设定的初步计算机算法中验证各不同灰度值和对比度值下，建筑图像的被识别度；

用spss分析各灰度值、对比度值参数与被识别度之间的参数化对应关系；根据以上结果选定典型建筑图像最佳被识别度下的灰度值、对比度值参数标准。

优选的是，步骤5)中，包括：

利用app应用，将上述信息展示在手机增强现实之中。

优选的是，步骤5)中，包括：

利用谷歌公司googleglass，微软公司全息眼镜hololens，爱普生公司moverio系列“智能眼镜”，进行体验式展示。

一种基于图像对比识别的建筑信息导览的系统，包括：

图像采集装置，用于采集一个或者多个特定城市建筑的图像数据，包括：

按照不同距离、不同景深、不同光照条件下360度采集特定建筑的图像，形成图像数据库；

图像处理装置，用于对图像数据库的图像进行数据特征筛选及特征提取，形成预图像；

移动终端，用于调用自身的摄像头，获取当前建筑实时图像并在应用前端app中进行展示；

图像识别装置，用于将所述建筑实时图像与预图像进行数据比对，并完成建筑识别；

导览展示装置，用于基于识别后建筑，将其与云端数据库连接，其中，点击名称链接，跳转至建筑附属社会及商业信息，进行导览展示。

优选的是，所述图像处理装置，进一步基于cnn网络进行图像区分型特征筛选；基于akaze提取算法提取局部特征，并形成预图像。

通过这一发明，建立城市建筑附属地理信息展示、共享、传播与wiki式自编辑于一体的数字平台，期待实现便捷的城市建筑附属社会及商业信息传播(“我见即我感”式便捷普及)。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明基于图像对比识别的建筑信息导览的方法的流程示意图；

图2是本发明的一个实施例的流程示意图；

图3是本发明的一个实施例的流程示意图；

图4是本发明的一个实施例的流程示意图；

图5是本发明的一个实施例的流程示意图；

图6是本发明的一个实施例的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一：

如图1所示，一种基于图像对比识别的建筑信息导览的方法，包括：

步骤1)采集一个或者多个特定城市建筑的图像数据，包括：

按照不同距离、不同景深、不同光照条件下360度采集特定建筑的图像，形成图像数据库；

步骤2)对图像数据库的图像进行数据特征筛选及特征提取，形成预图像；

步骤3)移动终端调用自身的摄像头，获取当前建筑实时图像并在应用前端app中进行展示；

步骤4)将所述建筑实时图像与步骤2)中的预图像进行数据比对，并完成建筑识别；

步骤5)基于识别后建筑，将其与云端数据库连接，其中，点击名称链接，跳转至建筑附属社会及商业信息，进行导览展示。

本发明通过整合的适合建立大数据终端的城市建筑(古建筑类文化遗产)信息模型，实现可视化图像与城市建筑(古建筑类文化遗产)社会及商业(文化遗产历史及价值)信息的无缝对接，展示信息更加丰富、多样。

实施例二：

对实施例一进行详细说明，其中，步骤2)中，包括：基于cnn网络进行图像区分型特征筛选；基于akaze提取算法提取局部特征，并形成预图像。

步骤5)之前，还包括：确立城市建筑的附属社会及商业信息大数据云端数据库，包括：

案例性研究以提供城市地理信息的平台和档案，找出对应通勤模式、游览模式、消费模式等公众搜索城市建筑附属社会及商业文化遗产历史及价值的典型行为；

通过调查问卷和访谈，并用利用spss软件录入收集数据，分析普通公众所关注城市建筑附属社会及商业文化遗产历史及价值的相关度；和/或，

搭建城市建筑三维模型数据库(bim),将传统百度地图、高德地图等平面型信息输入立体模型中。

步骤4)中，采样城市建筑结构与图像中外轮廓识别特征点，并根据这些特征作为建筑图像比对识别的图像特征信息。

步骤1)中，具体包括：

采样城市建筑的图像数据；

用图像处理软件设定灰度值、对比度值等不同标准数值；

用opencv和matlab所设定的初步计算机算法中验证各不同灰度值和对比度值下，建筑图像的被识别度；

用spss分析各灰度值、对比度值参数与被识别度之间的参数化对应关系；根据以上结果选定典型建筑图像最佳被识别度下的灰度值、对比度值参数标准。

本发明相对于现有技术，其详细优点如下：

1.现有城市地理信息传播多为平面附加信息，诸如百度地图、高德地图等，或者二维码获取信息，定位城市建筑(古建筑类文化遗产)过程不直观，用户感知困难。

本发明以建筑图像识别方式，直观并简便，让用户能够快速、直观并便于操作的方式，将眼前建筑直接识别。

2.现有图像识别技术在现实中已经被应用到专业搜索引擎的使用中(比如google图片、tineye、百度识图)，在搜索引擎术语上名为：“反向图片搜索引擎”(reverseimagesearchengine)。但上述应用主要是基于海量上传数据库的搜索，应用目标多为“多对多”的识别方式，后台专业数据性应用较少。

本发明通过建立城市建筑(古建筑类文化遗产)“预”图像(candidateimage)数据库，并提取“预”图像的特征点，将应用端获取的信息同已经提取的“特征点”进行比对，应用目标变为为“多对一”，识别精度大大提高，且后台数据量大大减少。

3.现有百度地图、高德地图等平面地图信息应用提供的城市建筑(古建筑类文化遗产)可读性信息较少。

本发明通过整合的适合建立大数据终端的城市建筑(古建筑类文化遗产)信息模型，实现可视化图像与城市建筑(古建筑类文化遗产)社会及商业(文化遗产历史及价值)信息的无缝对接，展示信息更加丰富、多样。

实施例三：

在一个实施例中，本发明要解决的技术问题和步骤主要包括：

1)确立城市建筑(古建筑类文化遗产)附属社会及商业信息大数据终端

①.案例性研究以提供城市地理信息的平台和档案，找出对应通勤模式、游览模式、消费模式等公众搜索城市建筑(古建筑类文化遗产)附属社会及商业(文化遗产历史及价值)的典型行为。

②.通过调查问卷和访谈，并用利用spss软件录入收集数据，分析普通公众所关注城市建筑(古建筑类文化遗产)附属社会及商业(文化遗产历史及价值)的相关度。

③.搭建城市建筑三维模型数据库(bim),将传统百度地图、高德地图等平面型信息输入立体模型中。

2)“建筑图像识别技术”计算机算法模型

①.综述并分析“图像识别技术”已有研究成果，和“人脸识别”等较为成熟的计算机图像识别算法模型。

②.将建筑图像轮廓特征与“数字图像识别技术”(digitalimagerecognition)、图像检索与空间比对识别技术(visualobjectretrievalandspatialmatching)中现有算法进行比较。

③.采样建筑结构与图像中外轮廓识别特征点，并根据这些特征总结建筑图像比对识别的图像特征信息转换为计算机代码的算法模型。

④.基于opencv(跨平台计算机视觉库)软件，验证用matlab所编辑的计算机算法在“建筑图像比对识别”中的准确度。

3)建筑“预”图像(candidateimage)灰度值、对比度值等采集标准

①.采样城市建筑(古建筑类文化遗产)“预”图像数据

②.用图像处理软件设定灰度值、对比度值等不同标准数值。

③.用上述opencv和matlab所设定的初步计算机算法中验证各不同灰度值和对比度值下，建筑图像的被识别度。

④.用spss分析各灰度值、对比度值参数与被识别度之间的参数化对应关系。

⑤.选定典型建筑图像最佳被识别度下的灰度值、对比度值参数标准。

4)城市建筑(古建筑类文化遗产)附属社会及商业信息ar(增强现实)展示

①.前期利用app应用，将上述信息展示在手机增强现实之中。

②.远期，利用谷歌公司googleglass，微软公司全息眼镜hololens，爱普生公司moverio系列“智能眼镜”等增强现实设备，推出观览城市(古建筑类文化遗产)等体验型展示。

①城市建筑(古建筑类文化遗产)附属社会及商业(文化遗产历史及价值)信息大数据终端；

②建筑图像比对识别技术；

③城市建筑(古建筑类文化遗产)典型“预”图像数据库；

④城市建筑(古建筑类文化遗产)附属社会及商业(文化遗产历史及价值)信息ar(增强现实)展示；

本发明通过“o2o”技术(online&offline)实现的虚拟增强现实(augmentedreality)效果，极大地提升普通公众的获取城市地理信息时的体验。在现实中，以很小的成本，满足快速体验，直观获取，从二维平面读取城市地理信息变为直观叠加于城市现实建筑之上。

通过这一发明，建立城市建筑附属地理信息展示、共享、传播与wiki式自编辑于一体的数字平台，期待实现便捷的城市建筑附属社会及商业信息传播(“我见即我感”式便捷普及)。

实施例四：

基于图像比对比对识别技术的清华大学早期建筑(清华大礼堂、清华学堂、二校门、日晷、工字厅入口等)信息导览系统，如图2-5，包括：

1-采集清华大学早期建筑“预”图像(candidateimage)数据：

按照不同距离、不同景深、不同光照条件下360度采集了清华大学早期建筑(清华大礼堂、清华学堂、二校门、日晷、工字厅入口等)的图像，作为比对识别的目标图像。

2-“预”图像(candidateimage)数据特征筛选及特征提取

用cnn网络进行图像区分型特征筛选，cnn网络具有较强的抗噪能力，对图像的遮挡和光照强度并不敏感；

akaze局部特征进行特征提取akaze提取算法兼顾了实时性和准确性。

过程详见附图。

3-开发建筑图像比对系统应用前端，包括：基于unity3d，开发建筑图像比对系统应用前端app。

4-应用前端获取实时建筑图像与“预”图像比对匹配

基于“标准的图像特征匹配的快速算法(ransac)”，将应用前端获得建筑实时图像同“步骤2”已经完成特征筛选及特征提取的“预”图像(candidateimage)数据比对并匹配，完成建筑识别。

在最终的产品中，通过以上算法的设计，我们在最终产品中获得了98.56％的准确率和125ms的平均延时，

5-城市建筑附属(古建筑类文化遗产)社会及商业信息展示

将识别后建筑，点击名称链接，跳转至建筑附属(古建筑类文化遗产)社会及商业信息，进行导览展示。

实施例五：

与方法实施例相对应，本发明还公开了一种基于图像对比识别的建筑信息导览的系统，包括：

图像采集装置，用于采集一个或者多个特定城市建筑的图像数据，包括：

按照不同距离、不同景深、不同光照条件下360度采集特定建筑的图像，形成图像数据库；

图像处理装置，用于对图像数据库的图像进行数据特征筛选及特征提取，形成预图像；

移动终端，用于调用自身的摄像头，获取当前建筑实时图像并在应用前端app中进行展示；

图像识别装置，用于将所述建筑实时图像与预图像进行数据比对，并完成建筑识别；

导览展示装置，用于基于识别后建筑，将其与云端数据库连接，其中，点击名称链接，跳转至建筑附属社会及商业信息，进行导览展示。

其中，所述图像处理装置，进一步基于cnn网络进行图像区分型特征筛选；基于akaze提取算法提取局部特征，并形成预图像。

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。