本发明涉及室内任务目标位置确定系统领域。具体而言，本发明涉及一种通过图像识别方式达成室内任务目标位置确定的系统和方法。
背景技术：
市场上现有的可移动的机器人或其它电子设备使用寻迹传感器或红外线或超声波等方式扫描所在空间的二维或三维地图，通过自主定位和移动或者碰撞反弹变向随机行走，同时执行其它预设的功能。操作方式以用户通过遥控器或基站远程控制等发出指令来实现，有些机型可侦测障碍物避障。
现有的移动机器人或电子设备因为制图和定位技术不成熟或不精确，在工作过程中无法完全判断地面和空间的复杂状况，容易出现失去位置与方向的情况，在失去位置的情况下机器人会卡死、失去坐标、无法回充。某些机型由于不具备定位能力，只能通过碰撞反弹的物理原理来变向，甚至会造成家居用品或者机器人自身损坏甚至人身伤害、对用户造成干扰等问题。因为机器人的智能水平不足以真正判断地面与空间状况，导致在移动过程中会重复行走路线，反复侦测环境，由此电量和时间都浪费在诸多无用功上。
技术实现要素：
本发明的室内任务目标位置确定系统可应用于任何一种移动机器人或电子设备，机器人或设备与用户合作，通过用户提供的图片信息经由本系统的识别比对来确定机器人或设备移动目标地的位置。由此解决了机器人无法判断地面情况、所处位置和最佳移动路线的问题。以人眼代替机器人的寻迹传感器。将人的优势与机器人的优势通过本系统强强联合，弥补现有移动机器人的各种弱点。
本发明的室内任务目标位置确定系统依赖人机互动，交互性极高，可以提高机器人的工作效率，同时减轻用户的工作负荷，用人的智能弥补了机器人本身的技术局限。
本发明涉及一种通过图像识别方式达成室内任务目标位置确定的系统，该系统包括：内存数据库模块、摄像头和图像处理模块；内存数据库模块中预先储存经特征化识别的室内照片及其元数据，元数据包括位置信息；摄像头对目标地点进行拍摄并将拍摄的目标地点照片传输至图像处理模块；图像处理模块对目标地点照片进行预处理以提取特征，将所提取的特征与内存数据库模块中的内容进行比对，并根据匹配的室内照片及其元数据确定目标地点的位置。
在一个实施方式中，本发明的系统还包括无线传输模块，用于通过无线方式传输照片和/或其元数据。
在一个实施方式中，本发明的系统还包括学习模块，用于对内存数据库模块中的照片特征进行学习，再将学习后的信息存储回内存数据库模块中。
在一个实施方式中，本发明的系统还包括编码器，用于生成照片的位置信息。
在一个实施方式中，本发明的系统还包括地图定位模块，用于绘制地图和室内定位。
在一个实施方式中，本发明的系统还包括数据处理模块，用于根据目标地点的位置并结合地图生成初步路径信息。
在一个实施方式中，用户还可主动向内存数据库模块中添加照片及其元数据，图像处理模块可对所添加的照片进行预处理以提取特征，学习模块可对所添加的照片进行学习。
在一个实施方式中，本发明的系统还包括移动机器人，摄像头、内存数据库模块、无线传输模块、图像处理模块、数据处理模块、学习模块、编码器和地图定位模块中的一种或多种可集成于移动机器人内。
在一个实施方式中，本发明的系统还包括智能充电桩，内存数据库模块、无线传输模块、图像处理模块、数据处理模块、学习模块、编码器和地图定位模块中的一种或多种可集成于智能充电桩内。
本发明还涉及一种通过图像识别方式达成室内任务目标位置确定的方法，包括：
摄像头对目标地点进行拍摄并将拍摄的目标地点照片传输至图像处理模块；
图像处理模块对目标地点照片进行预处理以提取特征；
将所提取的特征与内存数据库模块中的预先储存的经特征化识别的室内照片进行比对，内存数据库模块中还储存有室内照片的元数据，元数据包括位置信息；以及
根据匹配的室内照片及其元数据确定目标地点的位置。
本发明还涉及一种建立室内照片数据库的系统，该系统包括：摄像头、编码器、距离补偿值计算模块、图像处理模块和内存数据库模块；摄像头用于拍摄照片；编码器用于记录摄像头的位置；距离补偿值计算模块用于计算距离补偿值；图像处理模块用于处理照片以提取特征；内存数据库模块用于储存经特征化处理的照片及其位置信息。
本发明还涉及一种建立室内照片数据库的方法，包括：
通过摄像头拍摄照片；
通过编码器在摄像头进行拍摄时记录摄像头的位置；
通过距离补偿值计算模块计算距离补偿值；
基于摄像头的位置和距离补偿值确定照片的位置信息；
通过图像处理模块处理照片以提取特征；以及
将特征化的照片及其位置信息储存于内存数据库模块中。
附图说明
图1是根据本发明的一个实施例的通过图像识别方式达成室内任务目标位置确定的系统的示意图。附图标记如下：手机app1、移动机器人或电子设备2、智能充电桩3。其中移动机器人或电子设备包含摄像头4、无线传输模块5、超声波传感器6、激光传感器7、编码器8、地图定位模块9、避障模块10、路径规划模块11、运动控制模块12等。智能充电桩包含无线传输模块13、内存数据模块14、图像处理模块15、机器学习模块16以及数据处理模块17等。
具体实施方式
本发明涉及一种通过图像识别方式达成室内任务目标位置确定的系统，该系统包括：内存数据库模块、摄像头和图像处理模块；内存数据库模块中预先储存经特征化识别的室内照片及其元数据，元数据包括位置信息；摄像头对目标地点进行拍摄并将拍摄的目标地点照片传输至图像处理模块；图像处理模块对目标地点照片进行预处理以提取特征，将所提取的特征与内存数据库模块中的内容进行比对，并根据匹配的室内照片及其元数据确定目标地点的位置。
元数据还可包括其他任何与照片相关的信息，例如但不限于：摄像头面对的位置、摄像头面对的方向、角度、光圈、焦距、感光度、白平衡等。
照片的位置信息基于摄像头拍摄该照片时的位置和距离补偿值确定。距离补偿值定义为照片拍摄时摄像头与所拍摄物体的距离。在一个实施方式中，该距离补偿值可通过激光来确定。在另一个实施方式中，该距离补偿值可通过固定拍摄焦距(拍摄距离)来确定；具体地，摄像头可使用固定焦距拍摄一组照片，随后筛选出清晰的照片，此时可基于焦距确定清晰的照片中的物体与摄像头的距离。
在一个实施方式中，图像处理模块中的比对是基于特点模板匹配算法进行的。在一个具体实施方式中，图像处理模块中的比对是基于尺度不变特征变换(sift)算法或加速稳健特征(surf)算法进行的。
在一个实施方式中，本发明的系统还包括无线传输模块，用于通过无线方式传输照片、其元数据和/或其他信息。无线传输模块之间的信号传输方式包括但不限于：蓝牙、wifi、zigbee、红外、超声波、超宽带等，优选的信号传输方式是蓝牙和wifi。
在一个实施方式中，预先储存的经特征化识别的室内照片是通过图像处理模块进行特征化的。该特征化可基于例如边缘检测算法进行。
在一个实施方式中，本发明的系统还包括学习模块，用于对内存数据库模块中的照片特征进行学习，再将学习后的信息存储回内存数据库模块中。学习包括计算和矫正特征权重值，例如通过人工智能神经网络学习方法进行学习。在一个具体实施方式中，学习是基于卷积神经网络(cnn)进行的。
在一个实施方式中，本发明的系统还包括编码器，编码器可以与摄像头集成在一起，配置为生成摄像头的实时位置。
在一个实施方式中，本发明的系统还包括地图定位模块，用于绘制地图和室内定位。在一个具体实施方式中，绘制的地图是二维的室内平面图。在另一个具体实施方式中，本发明的系统还包括距离传感器，用于感知室内的轮廓和/或边缘，地图定位模块基于距离传感器记录的数据来绘制地图。
在一个实施方式中，本发明的系统还包括数据处理模块，用于根据目标地点的位置并结合地图生成初步路径信息。
在一个实施方式中，用户还可主动向内存数据库模块中添加照片及其元数据，图像处理模块可对所添加的照片进行预处理以提取特征，学习模块可对所添加的照片进行学习。
在一个实施方式中，本发明的系统还包括移动机器人，摄像头、内存数据库模块、无线传输模块、图像处理模块、数据处理模块、学习模块、编码器、地图定位模块和距离传感器中的一种或多种可集成于移动机器人内。移动机器人还可包括用于生成路径的路径规划模块、用于感知障碍物的传感器、用于提供障碍物信息的避障模块，和/或用于控制移动机器人移动的运动控制模块。
在一个实施方式中，本发明的系统还包括智能充电桩，内存数据库模块、无线传输模块、图像处理模块、数据处理模块、学习模块、编码器、地图定位模块和距离传感器中的一种或多种可集成于智能充电桩内。智能充电桩可用于容纳功耗大的模块，从而降低其他设备的功耗。
本发明还涉及一种通过图像识别方式达成室内任务目标位置确定的方法，包括：
摄像头对目标地点进行拍摄并将拍摄的目标地点照片传输至图像处理模块；
图像处理模块对目标地点照片进行预处理以提取特征；
将所提取的特征与内存数据库模块中的预先储存的经特征化识别的室内照片进行比对，内存数据库模块中还储存有室内照片的元数据，元数据包括位置信息；以及
根据匹配的室内照片及其元数据确定目标地点的位置。
本发明还涉及一种建立室内照片数据库的系统，该系统包括：摄像头、编码器、距离补偿值计算模块、图像处理模块和内存数据库模块；摄像头用于拍摄照片；编码器用于记录摄像头的位置；距离补偿值计算模块用于计算距离补偿值；图像处理模块用于处理照片以提取特征；内存数据库模块用于储存经特征化处理的照片及其位置信息。
如前文所述，照片的位置信息基于摄像头拍摄该照片时的位置和距离补偿值确定。
本发明还涉及一种建立室内照片数据库的方法，包括：
通过摄像头拍摄照片；
通过编码器在摄像头进行拍摄时记录摄像头的位置；
通过距离补偿值计算模块计算距离补偿值；
基于摄像头的位置和距离补偿值确定照片的位置信息；
通过图像处理模块处理照片以提取特征；以及
将特征化的照片及其位置信息储存于内存数据库模块中。
在一个实施方式中，编码器可以与摄像头集成在一起，配置为生成摄像头的实时位置。
如前文所述，距离补偿值定义为照片拍摄时摄像头与所拍摄物体的距离。在一个实施方式中，距离补偿值计算模块可通过激光来确定距离补偿值。在另一个实施方式中，距离补偿值计算模块可通过固定摄像头的拍摄焦距来确定距离补偿值；具体地，摄像头可使用固定焦距拍摄一组照片，随后距离补偿值计算模块可筛选出清晰的照片并基于焦距确定清晰的照片中的物体与摄像头的距离。
下文根据实施例进一步描述本发明。本领域技术人员应理解，以下实施例仅是示意性的，不构成对本发明的限制。
整套应用系统包括：手机app1、移动机器人或电子设备2、智能充电桩3。其中移动机器人或电子设备包含摄像头4、无线信号模块5、超声波传感器6、激光传感器7、编码器8、地图定位模块9、避障模块10、路径规划模块11、运动控制模块12等。智能充电桩包含无线信号模块13、内存数据模块14、图像处理模块15、机器学习模块16以及数据处理模块17等。
基于图像识别引导移动机器人或电子设备前往用户拍摄的位置。首次使用，移动机器人或电子设备利用激光、摄像头(例如visualslam)对整个室内布局进行扫描，编码器记录下机器人运动线位移信息和角位移信息，通过地图定位模块绘制获得地图。同时利用自身搭载的摄像头进行高速拍照，结合编码器的位置信息，形成大量离散特征照片点，其中照片位置信息通过编码器数据以及一个距离补偿值(例如固定拍摄距离)获得。移动机器人或电子设备与智能充电桩通过各自的无线信号模块连接传输数据、地图信息、定位信息、以及机器人拍下的大量室内特征照片和照片对应的位置信息，经过本地无线网络(wifi、蓝牙等)传至智能充电桩，并暂存于其内存数据模块中，之后经由图像处理模块对照片进行特征化处理(边缘检测算法等)，以及机器学习模块对照片特征进行学习，计算、矫正特征权重值(人工智能神经网络学习方法，例如卷积神经网络(cnn))，再将处理后的信息存回内存数据库模块中，建立可学习数据库。当用户启动机器人或电子设备的功能任务时，用户可通过手机app对需要清扫的位置拍照(或是从需要清扫的位置对周围拍摄等)，手机与充电桩无线通信模块连接(wifi、蓝牙等)，将拍下的照片实时发送至智能充电桩，智能充电桩中的图像处理分析模块将对此照片进行预处理，提取特征，继而利用基于特征模板匹配算法(如sift,surf等)与图片库的照片进行快速比对分析，优化过的模板匹配算法，提高了对不同尺度、角度(旋转)、位置相似图片的匹配准确率。通过匹配的图像及其位置信息确定需要前往的目标位置，成功匹配后的数据信息由数据处理模块处理，结合地图生成初步路径信息，并传回机器人路径规划模块，配合避障模块的信息实时规划出最优路径，并将路径信息发送至机器人内部运动控制模块开始任务。如若图片比对失败，无法确认位置，用户通过app可辅助添加位置信息或与机器人交互反馈，帮助机器人深度学习，以提高图片比对成功率。在app显示的室内平面地图中手动辅助添加位置信息(与充电桩的相对位置)时，如若此位置之前有记录照片，app将同时显示出这个位置所有相关照片集，并将新照片归类至此照片集，用户手动添加的位置信息与当时拍下的照片共同存储于充电桩内存数据库模块中，丰富充电桩图片学习数据库。充电桩数据处理模块将在此次任务中依据用户手动输入的位置信息规划出初步路径，传送至机器人路径规划模块。同时，对于未识别的照片，充电桩中的智能学习模块利用基于卷积神经网络(cnn)的机器学习算法，或通过用户反馈肯定或否定的位置信息，对照片特征进行学习，充电桩对室内位置认知的准确度即可不断提高。在机器人运行过程中，避障模块将根据传感器的数据实时为路径规划模块提供障碍物信息，调整最优路径。
在前面的描述中，已经参考具体示例性实施例描述了本发明。然而，本领域技术人员应理解，可以对本发明进行各种修改和变化而不背离本发明的范围。