一种室内空间识别方法与流程

本发明主要涉及室内定位相关技术领域，具体是一种室内空间识别方法。

背景技术：

随着城市化速度的加快、智慧城市的建设与发展、以及移动设备的日益增多，基于位置的服务在城市居民生活中扮演着越来越重要的角色。现有的定位服务大多基于全球定位系统(gps)、北斗导航系统、手机信号基站等技术设施，在室外定位环境中具有出色的表现，在室内定位中缺有着很大的缺陷。例如，基于通讯和定位卫星的全球定位系统，北斗导航系统的信号无法进入室内环境。随着城镇化进程的发展，居民在室内的活动比例正在日益提高，而当前的室内定位技术的发展并不能很好的满足居民对室内定位服务日益增长的需求。

在室内定位的相关方法中，利用wifi信号基站，rfid等方式在实验室环境下可以取得较高的精度。然而在面对复杂多变的建筑环境时，此类方法的泛化能力较差，针对不同的建筑空间需要有对应的个性化方案支持；更重要的是，此类定位方法严重依赖于前期布设的基础设施，在提高成本的同时，对于电力、通信网络、防火标准等条件的依赖性也比较强。相比之下，基于手机图片和计算机视觉的方法不要求提前布设室内基础设施，在识别过程中也不需要借助其他特殊设备，在室内空间识别中更加稳定和鲁棒，可以广泛应用于室内商场导览，写字楼位置确定，餐厅送餐等场景。

在利用计算机视觉进行室内空间识别过程中，卷积神经网络(cnn)已经被广泛地用于图像分类、物体检测等问题上，在没有任何人为干预的情况下，从图像提取信息并且能够以高精度识别图像中的对象。神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如图片分类、物体检测等等。

在现有的基于计算机视觉和照片的室内空间识别方法中，大多基于传统手工/半手工的特征，如sift，surf，orb等，进行特征点匹配。此类方法泛化能力受室内环境的变化影响非常大，无法应用于大尺度环境和经常发生变化的环境。

技术实现要素：

为解决目前技术的不足，本发明结合现有技术，从实际应用出发，提供一种室内空间识别方法，不要求提前布设室内基础设施，在识别过程中也不需要借助其他特殊设备即可实现室内的精确定位。

本发明的技术方案如下：

一种室内空间识别方法，包括如下步骤，

s1：对待识别的室内空间进行视频拍摄；

s2：将拍摄的视频拆帧为图片，过滤掉不符合条件的图片数据，将图片按照不同的空间进行分类，构建训练集；

s3：利用训练集训练构建好的基于densenet的深度卷积神经网络得到网络模型；

s4：构建移动端app，用户可通过app发起位置识别请求，部署有网络模型的服务器计算结构并通过网络相应请求，将位置识别结果返回用户。

进一步的，在步骤s1中，在室内空间拍摄前，首先根据应用场景对室内空间进行划分，进而在后期拍摄过程中对不同的空间进行标记。

进一步的，在步骤s1中，通过全景相机视频拍摄方法一次性拍摄指定位置多角度的视频数据。

进一步的，在步骤s2中，将采集到的视频数据按照一定比率抽帧，转为大量原始图片，利用laplacian变换检测照片模糊程度，设定过滤阈值，过滤掉模糊的原始图片。

进一步的，在步骤s3中，具体分为两个步骤：训练深度网络和利用卷积神经网络分类器进行预测。

进一步的，在步骤s3中，首先采用densenet模型把标定好的图片按照空间标识整理若干类，并在并行计算设备上进行训练，当训练好网络模型后，输入新的图片，网络模型可以进行预测图片的所属空间类别，并给出概率值。

进一步的，densenet模型在深度学习框架pytorch下实现。

进一步的，在步骤s4中，首先将步骤s3中的网络模型部署在服务器端，随时准备相应用户的定位请求，用户在待识别空间中进行拍照，由app将照片传回服务器端进行匹配，服务器端将匹配结果返回用户。

进一步的，服务器端返回用户的信息不仅包括位置信息还包括与该位置相关的其它信息。

本发明的有益效果：

本发明为解决消费级室内定位问题，提出一种基于基于手机图片和计算机视觉的方法来实现室内定位，不要求提前布设室内基础设施，在识别过程中也不需要借助其他特殊设备；基于densenet的深度卷积神经网络实现样本的分类及空间的识别，优于基于传统手工/半手工的特征，如sift，surf，orb等和特征点匹配的方法；全景相机视频拍摄的方法来采集数据，一次性拍摄指定位置多角度的视频数据，方便快捷，使得采集流程大大简化，并有效减少了手工采集时带来的视频抖动、模糊等问题；利用该方法实现商业综合体内部的识别能够取得较高的准确度，同时基于该识别方法可扩展其它应用，例如室内行人导航，商铺游览路线规划，基于位置的商铺优惠推送等，具有较高的商业价值。

附图说明

附图1为本发明总体框架图。

具体实施方式

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

如图1所示，本发明提供一种室内空间识别方法，主要用于解决消费级室内定位问题。其具体方法流程主要分为四个步骤，

1、利用全景相机和采集车对待识别的室内空间(如商场、写字楼等)进行视频拍摄；

2、对拍摄的视频进行拆帧，为图片，过滤掉不符合条件的图片数据，将图片按照不同的空间进行分类，构建训练集；

3、进一步，利用训练集，训练构建好的基于densenet的深度卷积神经网络，利用验证集测试模型性能；

4、构建移动端app，在使过程中，用户将通过app发起位置识别请求，部署有模型的服务器计算结果并通过网络响应请求，将位置识别结果返回用户。

上述四步骤中，具体内容如下：

步骤一：室内场景拍摄。

室内场景拍摄旨在采集模型训练需要使用到的室内环境的特征数据。在室内场景拍摄前，首先根据应用场景对室内空间进行合理划分，进而在后期拍摄过程中对不同的空间进行标记，方便模型训练集的组织。

室内场景拍摄旨在采集待使用空间的特征，为识别模型提供训练数据。以往的方法采用一般相机拍摄照片或视频的方法需要对指定空间进行多方位多角度的拍摄，采集过程繁琐；采集到的数据需要复杂得预处理。在本发明中，可通过基于全景相机视频拍摄的方法来采集数据，一次性拍摄指定位置多角度的视频数据，方便快捷，使得采集流程大大简化，同时使得后期频繁更新更具可行性。在具体拍摄过程中，可采用全景相机配合平滑移动装置相结合的方式来进行数据采集，以便提高数据采集的质量和效率，基于平滑移动装置采集的视频数据质量较高，能够有效减少手工采集时带来的视频抖动，模糊等问题。

步骤二：视觉数据预处理与模型训练集构建。

利用python工具将采集到的视频数据按照一定比率抽帧，转为大量原始图片。在预处理过程中，本发明采用的全景运动相机可以很大程度上地保证数据清晰度，使得原始图片的质量大大提高。为了过滤掉少部分模糊的图片数据，本发明利用laplacian变换来检测照片模糊程度，设定过滤阈值，并过滤掉模糊的原始图片。如下公式(a)、(b)所示为拉普拉斯算子表达式，其中，laplacian算子为{0,1,0；1,-4,1；0,1,0}，将laplacian算子对原始图像做卷积运算。由于平均梯度反映了图像中的微小细节反差和纹理变化特征，同时也反映出图像的清晰度；平均梯度越大，图像层次也丰富，图像越清晰。

按照原始图片的视频来源编号，可以为每张图片设定所属空间的标签，作为模型训练集的标签。

步骤三：基于densenet的cnn室内空间识别模型训练。

深度学习模型中的卷积神经网络在图片识别有很高的准确度，因此本发明把卷积神经网络作为训练的分类器。具体分为两个步骤：训练深度网络和利用卷积神经网络分类器进行预测。首先，本发明把标定好的图片的按照空间标识整理若干类，并在高性能并行计算设备上进行训练。在实际应用中，本发明采用最新的densenet模型对图片进行分类。

densenet模型在经典的深度学习框架pytorch下实现。当训练好网络模型过后，输入新的图片，网络模型可以进行预测图片的所属空间类别，并给出概率值。在计算显卡(gpu)的支持下，可以对百万体量的室内图片进行处理和预测。

步骤四：移动端应用与在线识别。

将步骤三的预训练模型部署在服务器端，随时准备响应用户的定位请求。用户在手机客户端上发起定位请求后由服务器运行深度学习模型进行计算，并将计算结果返回给用户。在一般情况下，实际用户发起请求通常由上层app实现，如用户在某商场空间中进行拍照，由app将照片传回服务器端进行商家匹配可得知拍照的商家信息；不仅如此，app可以根据识别出的商家/位置信息返回给用户其他相关信息，如商家优惠等。

利用该方法能够实现商业综合体内部的识别项目，能够取得了较高的准确度。同时基于该方法能够发展了多项其他应用，例如室内行人导航，商铺游览路线规划，基于位置的商铺优惠推送等，具有较高的商业价值。