本发明涉及图像处理研究领域，特别涉及一种基于在线深度学习slam的图像云计算方法及系统。
背景技术
目前，随着移动机器人的发展，人们对其的需求也逐渐增加，如：无人驾驶、扫地机器人、3d打印、刑侦现场记录等方面，极大的方便了人们的生活，但同时也出现了一些新的问题。现有技术中，由于存在传感器精度低、计算量大等问题，会花费大量时间，而且不够完善，效果也不是很理想，基于三维视觉的slam的发展受到了一定的阻力。
近年来，深度学习发展迅猛，在棋类博弈和一些模拟游戏中取得了很好的成绩。云计算的出现使得大数据的采集与分析成为可能，深度学习作为机器学习领域一个重要发展方向，也将影响人工智能等其他领域。
技术实现要素：
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于在线深度学习slam的图像云计算方法。
本发明的另一目的是提供一种基于在线深度学习slam的图像云计算系统。
本发明的目的通过以下的技术方案实现：
一种基于在线深度学习slam的图像云计算方法，包括以下步骤：
s1、采集图像数据，并将图像数据存储在存储器中；
s2、对存储器中的图像数据提取关键帧，将关键帧上传至云计算平台；
s3、将云计算平台上的历史数据构建数据集，利用mapreduce训练卷积神经网络对数据集进行训练，得到最优卷积神经网络参数；
s4、用最优卷积神经网络参数对实时数据进行实时分析，即在云计算平台上提取实时获取图像的实时关键帧作为storm的输入源，利用最优卷积神经网络参数，提取图像特征点，对每帧图像特征点进行识别，对相邻帧图像进行特征点匹配；
s5、利用ransac算法进行图像特征点筛选，通过迭代，计算出最佳匹配变换矩阵，同时利用惯性测量单元imu提供的位姿信息进行纠正，得到图像处理后计算得到的位姿信息；
s6、利用算法icp通过点云数据的配准，改善初始位位姿估计的效果，同时利用惯性测量单元imu提供的位姿信息，当图像处理后计算得到的位姿信息与imu测量位姿信息相差小于阈值时，将两者进行1比1的加权平均；当图像处理后计算得到的位姿信息与imu测量位姿信息相差大于阈值时，两者数据进行扩展卡尔曼滤波优化，得到最优位姿估计；根据最优位姿估计，物体实现自主定位和自主导航；
s7、通过矩阵变换将位姿信息变换到一个坐标系下，进而得到该场景的地图信息；将精度精度不足，即误差大于m的区域实时反馈到云计算平台，m＝10mm，从图像数据采集层获取二次关键帧，并重复步骤s4至步骤s7；
s8、创建不同面向问题的视图，服务层通过对数据实时层数据和图像批处理层数据进行处理，通过可视化的方式将结果传递到客户端，同时根据实时采集的数据进行在线调整。
在步骤s1中，所述图像数据采集由rgbd摄像头采集；所述图像数据包括rgbd图像和深度图像；所述图像采集，通过图像数据采集层利用流媒体服务器的图像流，将拍摄的图像数据存储到存储系统中；
在步骤s3中，所述mapreduce训练卷积神经网络对数据集进行训练，具体为：输入阶段：将待处理数据分割成固定大小片段，再将每个片段进一步分解成键值对；map阶段：每个map任务用map函数处理一个片段，并将生成的中间数据进行保存；reduce阶段：根据map阶段产生的中间数据，调用reduce函数进行处理，得到最优卷积神经网络参数；输出阶段：将最优卷积神经网络参数输出；
在训练过程中，使用梯度下降法，根据损失函数比较当前网络的预测值和目标值，再根据预测值和目标值的差异情况来更新每一层的权重矩阵；如果网络的预测值比目标值高，则调整权重让它预测值降低，不断调整，直到能够预测出目标值，此时即为最优卷积神经网络参数；
所述卷积神经网络包括三个部分：第一部分为输出层；第二部分为多个卷积层和池化层组合；第三部分为全结构的多层感知机分类器构成；所述卷积层，一个卷积层包含多个特征平面的神经元共享权值，即卷积核；所述卷积核以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值；训练卷积神经网络时，随机赋值初始权重和偏置，即网络自动习得。
在步骤s4中，所述优卷积神经网络实时分析具体如下：卷积神经网络输入层输入图片，保持空间结构信息；卷积神经网络卷积层从输入层提取特征映射，对应一个特定图案；卷积神经网络函数激活层把像素负值设置为0，给网络引入非线性；卷积神经网络max-pooling层采样修订特征映射；卷积神经网络全连接层则学习特征非线性组合，实施分类；
所述识别过程具体如下：
y1、利用卷积神经网络提取图像的特征；
y2、计算出卷积神经网络各层特征经过多层传递产生的残差；
下一层为采样层的卷积层的残差：假设第l层是卷积层，第l+1层为子采样层，则第l层的第j个featuremap的残差，用公式表示为：
其中，
下一层为卷积层的采样层的残差：假设第l层是采样层，第l+1层为卷积层，则第l层的第j个featuremap的残差公式为：
其中，rot180为对卷积核矩阵旋转180度，'full'为卷积模式；conv2为计算两个矩阵的卷积；
y3、对各层间特征残差和最后提取特征进行降维处理；采用主成分分析法，即把多指标转化为少数综合指标，即主成分，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复；
y4、对降维后的特征进行整理，获取特征整理后的特征表达；即对输入的特征图进行压缩，提取主要特征，通过max-pooling层提取特征共性；
y5、采用分类器，依据特征共性进行图像分类。
所述提取图像特征点的方法为sift、surf、orb、sifgpu算法中的一种。
在步骤s5中，所述筛选过程如下：
j1、从数据集中随机选出一组局内点，求解出一套模型参数，所述局内点数目能够求解出模型的所有参数；
j2、用得到的模型测试其他所有的数据点，如果某点数据的误差在设定的误差阈值之内，就判定其为局内点，否则为局外点，保留局内点数目最多的模型，将其记录为最佳模型；所述误差阈值为5％；
j3、重复执行步骤j1、j2，达到预设的迭代次数k后，使用最佳模型对应的局内点来最终求解模型参数，所述最终求解使用优化算法为最小二乘法；
j4、最后通过估计局内点与模型的错误率来评估模型，得出最佳匹配变换矩阵；
所述纠正过程如下：通过计算得到的位姿信息计算值和惯性测量单元imu提供的位姿信息实际测量值，作对比得出相对误差，相对误差低于阈值5％，则接受，相对误差高于阈值5％，则调整匹配变换矩阵参数，直到相对误差低于阈值，即形成闭环反馈信息，根据闭环反馈信息对匹配变换矩阵进行纠正。
在步骤s6中，所述位姿信息包括位置和姿态信息，即物体六个自由度的信息；所述扩展卡尔曼滤波优化具体为：利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题，利用线性滤波求解线性滤波问题，得到最优位姿估计。
在步骤s7中，具体为：建立节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述节点为卷积神经网络每一层都有。
在步骤s8中，所述在线调整具体为：闭环反馈，根据客户端反馈信息与计算得到的数据，对卷积神经网络等的参数进行调整；闭环负反馈，卷积神经网络采用随机梯度下降法，对于不满足客户需求的数据，重新进行训练。
本发明的另一目的同过一下技术方案实现：
一种基于在线深度学习slam的图像云计算系统，包括图像数据采集层、存储器、云计算平台、客户端；
所述图像数据采集层采用rgbd摄像头，用于采集图像数据，获取rgbd图像和深度图像，获取图像关键帧传输至云计算平台，响应误差反馈，修正关键帧的提取，传输二次关键帧；
所述存储器用于存储图像数据；
所述云计算平台包括：图像批处理层、数据实时层、服务层；所述图像批处理层用于存储关键帧，建立多个节点和节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述数据实时层用于进行在线slam，对误差进行反馈；所述服务层用于将slam结果可视化，并传输给客户端；
所述客户端用于接收可视化的slam结果。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过并行化深度学习，减少训练时间，优化训练结果，有效提高了训练效率；深度学习与云计算相结合，storm与深度学习实时处理，实时slam数据更新并反馈，提高了效率与准确率。
附图说明
图1是本发明的方法流程图。
图2是本发明的在线slam流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
一种基于在线深度学习slam的图像云计算方法流程如图1所示，包括以下步骤：
第一步：图像数据采集层通过rgbd摄像头获得rgbd图像和深度图像，采集图像数据，并利用流媒体服务器的图像流，将图像数据存储在存储器中；
第二步：对存储器中的图像数据提取关键帧，将关键帧上传至云计算平台；
第三步：将云计算平台上的历史数据构建数据集，利用mapreduce训练卷积神经网络对数据集进行训练，得到最优卷积神经网络参数；
所述mapreduce训练卷积神经网络对数据集进行训练，具体为：输入阶段：将待处理数据分割成固定大小片段，再将每个片段进一步分解成键值对；map阶段：每个map任务用map函数处理一个片段，并将生成的中间数据进行保存；reduce阶段：根据map阶段产生的中间数据，调用reduce函数进行处理，得到最优卷积神经网络参数；输出阶段：将最优卷积神经网络参数输出；
在训练过程中，使用梯度下降法，根据损失函数比较当前网络的预测值和目标值，再根据预测值和目标值的差异情况来更新每一层的权重矩阵；如果网络的预测值比目标值高，则调整权重让它预测值减低，不断调整，直到能够预测出目标值，此时即为最优卷积神经网络参数；
所述卷积神经网络包括三个部分：第一部分为输出层；第二部分为多个卷积层和池化层组合；第三部分为全结构的多层感知机分类器构成；所述卷积层，一个卷积层包含多个特征平面的神经元共享权值，即卷积核；所述卷积核以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值；训练卷积神经网络时，随机赋值初始权重和偏置，即网络自动习得。
全连接层通常在卷积神经网络尾部，且前后两层之间所有神经元都有权重连接，相当于一个特征空间变换，可以把有用的信息提取整合。再加上激活函数的非线性映射，多层全连接层理论上可以模拟任何非线性变换。
全连接层在整个卷积神经网络中起到“分类器”的作用。把原始特征映射到各个隐语义节点(hiddennode)。对于最后一层全连接而言，就是分类的显示表达。
第四步：在线slam流程如图2所示，用最优卷积神经网络参数对实时数据进行实时分析，即在云计算平台上提取实时获取图像的实时关键帧作为storm的输入源，利用最优卷积神经网络参数，提取图像特征点，对每帧图像特征点进行识别，对相邻帧图像进行特征点匹配；
所述优卷积神经网络实时分析具体如下：卷积神经网络输入层输入图片，保持空间结构信息；卷积神经网络卷积层从输入层提取特征映射，对应一个特定图案；卷积神经网络函数激活层把像素负值设置为0，给网络引入非线性；卷积神经网络max-pooling层采样修订特征映射；卷积神经网络全连接层则学习特征非线性组合，实施分类；
所述识别过程具体如下：
y1、利用卷积神经网络提取图像的特征；
y2、计算出各层特征经过多层传递产生的残差；
下一层为采样层的卷积层的残差：假设第l层是卷积层，第l+1层为子采样层，则第l层的第j个featuremap的残差，用公式表示为：
其中，
下一层为卷积层的采样层的残差：假设第l层是采样层，第l+1层为卷积层，则第l层的第j个featuremap的残差，用公式表示为：
其中，rot180为对卷积核矩阵旋转180度，'full'为卷积模式；conv2为计算两个矩阵的卷积；
y3、对各层间特征残差和最后提取特征进行降维处理；采用主成分分析法，即把多指标转化为少数综合指标，即主成分，其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复；
y4、对降维后的特征通过max-pooling层进行融合，获取特征融合后的特征表达；即对输入的特征图进行压缩，提取主要特征，通过max-pooling层提取特征共性；
y5、采用softmax分类器，依据特征共性进行图像分类。
第五步：利用ransac算法进行特征点筛选，通过迭代，计算出最佳匹配变换矩阵，同时利用惯性测量单元imu提供的位置姿态信息进行纠正，得到相机的位姿变换；
筛选过程如下：
j1、从数据集中随机选出一组局内点，求解出一套模型参数，所述局内点数目能够求解出模型的所有参数；
j2、用得到的模型测试其他所有的数据点，如果某点数据的误差在设定的误差阈值5％之内，就判定其为局内点，否则为局外点，保留目前为止局内点数目最多的模型，将其记录为最佳模型；所述局内点数目能够求解出模型的所有参数，能求解出一套模型参数；
j3、重复执行步骤j1、j2，达到预设的迭代次数k后，k选择为100000，使用最佳模型对应的局内点来最终求解模型参数，所述最终求解使用优化算法为最小二乘法；
j4、最后通过估计局内点与模型的错误率来评估模型，得出最佳匹配变换矩阵；
纠正过程如下：通过计算得到的位姿信息计算值和惯性测量单元imu提供的位姿信息实际测量值，作对比得出相对误差，相对误差低于阈值5％，则接受，相对误差高于阈值5％，则调整匹配变换矩阵参数，直到相对误差低于阈值，即形成闭环反馈信息，根据闭环反馈信息对匹配变换矩阵进行纠正。
第六步：利用算法icp通过点云数据的配准，改善初始位位姿估计的效果，同时利用惯性测量单元imu提供的位置姿态信息，当相机与imu姿态测量相差小于阈值时，将两者进行1比1的加权平均；当相机与imu姿态测量相差大于阈值时，两者数据进行扩展卡尔曼滤波优化，得到最优位姿估计，根据最优位姿估计，机器人进行自主定位和自主导航；
所述位姿信息包括位置和姿态信息，即物体六个自由度的信息；所述扩展卡尔曼滤波优化具体为：利用泰勒级数展开方法将非线性滤波问题转化成为近似的线性滤波问题，利用线性滤波的理论来求解线性滤波问题。
第七步：通过矩阵变换将位姿信息整合到一个坐标系下，进而得到该场景的地图信息；建立节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；将精度精度不足，即误差大于m的区域实时反馈到云计算平台，m＝10mm，进而从图像数据采集层获取二次关键帧，并重复第三步至第七步；节点为卷积神经网络每一层都有；
第八步：创建不同面向问题的视图，服务层通过对数据实时层数据和图像批处理层数据进行处理，通过可视化的方式将结果传递到客户端，同时根据实时采集的图像数据进行在线调整；在线调整具体为：闭环反馈，根据客户端反馈信息与计算得到的数据；闭环负反馈，卷积神经网络采用随机梯度下降法，对于不满足客户需求的数据，根据重新进行训练；对卷积神经网络等的参数进行调整。
本发明的另一目的为提供一种基于在线深度学习slam的图像云计算系统，包括图像数据采集层、存储器、云计算平台、客户端；
所述图像数据采集层采用rgbd摄像头，用于采集图像数据，获取rgbd图像和深度图像，获取图像关键帧传输至云计算平台，响应误差反馈，修正关键帧的提取，传输二次关键帧；
所述存储器用于存储图像数据；
所述云计算平台包括：图像批处理层、数据实时层、服务层；所述图像批处理层用于存储关键帧，建立多个节点和节点之间的相对变换关系，不断进行关键节点的维护，并进行深度学习训练，响应误差反馈并修正存在误差；所述数据实时层用于进行在线slam，对误差进行反馈；所述服务层用于将slam结果可视化，并传输给客户端；
所述客户端用于接收可视化的slam结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。