本发明涉及一种以机器人视角图像进行地图数据人机交互的方法，属于机器人领域。
背景技术：
机器人普及化需要解决“怎么走”和“走到哪”两大问题。在工厂里专业技术人员已经可以很好的指挥工业机器人“怎么走”和“走到哪”，因此工业机器人已经在工厂普及；但是对于家庭消费、办公室等民用领域特别是多室户型服务环境来说，由于不可直视目标地域因此环境复杂程度远远超过空中和室外道路场合，并且普通消费者也不具备专业机器人技术，因此在民用服务机器人领域要让普通人与机器人自由地进行地图数据人机交互是件很困难的事。目前CN201510846232、CN201510690749、CN201510169963等专利文献展示了机器人依靠自身装备的激光雷达、深度摄像头等设备对周围环境自主构建点云及轮廓线数字地图(本文所述数字地图均指此类)和自主导航定位等最新机器人自动化行驶技术，使“怎么走”的问题已经解决；但是这些现有技术还无法解决“走到哪”这一问题，因为“走到哪”显然是要由人来决定并由人来输入给机器人的，但是在上述最新专利文现记载的所有机器人工作流程中并没有出现人类输入位置数据的环节，所以上述现有技术明显无法解决“走到哪”这样的人机交互问题，无法满足普通人自由指挥机器人在多室户型环境从事服务的需要。目前，人对机器人的复杂环境位置数据交互技术属于专业技术人员才能掌握的专业技术、还无法普及到普通用户群体中，这是由于非专业普通用户很难看懂那些抽象的地图坐标数据、轮廓线数字地图、点云数字地图等等，也不懂如何把地图数据按标准格式输入给机器人这样的专业知识，更谈不上让家庭用户自己编辑自家户型的数字地图了。因此现有技术无法解决让每一个普通人都方便的与机器人进行地图数据人机交互的问题，所以人们无法按照自己的需要自由指挥机器人到某个房间的某具体地点去实施服务，也无法直接看到机器人在哪个房间的哪个具体位置，这就严重限制了服务机器人的室内应用与市场普及进程。
为了解决上述问题，本发明提出一种以机器人视角图像进行地图数据人机交互的方法，使非专业人员也能够直接对机器人自由输入地图数据并看懂其位置所在，从而让普通人都可以方便的与机器人进行地图数据交互，满足在多室户型复杂环境使用机器人的需要。
本发明描述了一种以机器人视角图像进行地图数据人机交互的方法，具体步骤如下：
步骤S1、机器人获取基础数字地图；
步骤S2、机器人通过自身安装的图像拍摄装置拍摄当前区域实景图像，并同步采集当前区域的区域数字地图，该实景图像覆盖的范围与同步采集的区域数字地图覆盖的范围至少部分重叠；
步骤S3、由计算机截取该区域数字地图与同步拍摄的实景图像二者视场重叠的部分，并使此二者相互匹配；
步骤S4、由计算机把匹配好的区域数字地图与实景图像合成为带有地图位置数据的实景定位图像并存储于数据库中；
步骤S5、将数据库中的实景定位图像显示在屏幕上，用户直接点击实景定位图像上的某一点，计算机解析出该点的地图数据，同理也可以将机器人位置和移动轨迹数据显示到实景定位图像上的对应位置点供用户查看，从而实现地图数据的人机交互。
本发明的有益效果是这样的：由于现有技术的机器人使用自身装备的激光雷达、深度摄像头、超声波雷达等地图测绘传感器已经可以实现环境测绘、自动构建点云及轮廓线基础数字地图、自主定位自主导航等能力，因此本发明提出的以机器人视角图像进行地图数据人机交互的方法也可以共享这些现有资源、可以直接在这些现有软硬件环境中运行本方法并直接获取这些现有传感器采集的基础数字地图。首先让机器人利用上述现有技术获取房屋的基础数字地图，并利用自身的图像拍摄装置拍摄当前区域实景图像并同步采集当前局部区域的区域数字地图，然后将采集到的区域数字地图和实景图像在计算机中合成为一副带有地图数据的实景定位图像，并且按此对各房间均进行实景定位图像采集处理。由于包括多个房间的基础数字地图本来就是由上述现有激光雷达等传感器测绘的多副区域数字地图拼合构建的，因此上述区域数字地图中的任何一个位置点都可以与基础数字地图中的相应位置点形成一对一映射关系，也就是说可以在基础数字地图中被准确定位，所以每个房间的实景定位图像中的任何一点都可以按照自身地图数据映射到基础数字地图的相应位置处。这样当用户在屏幕中点击实景定位图像上的任何一个点时，就等效于对抽象的基础数字地图进行位置数据输入，但这时人眼看到的已经是最简单易懂的自家实拍图像了，自然不会有任何难度。例如，人们只要在某房间的实景定位图像中点击一个具体位置点，计算机系统就可以解析出该点在基础数字地图中的具体地图数据，从而实现对机器人的地图数据输入，机器人就可以按照这个地图数据驶往指定房间的这个具体地点实施服务；同理，机器人在移动过程中的位置数据也可以显示到实景定位图像的对应位置处，使人们直接可以看到机器人在实景环境图像中的具体位置，所以整个交互过程并不需用户具备判读基础数字地图的专业能力。可见，本发明首次解决了普通人看不懂抽象的数字地图、也不懂坐标知识等难题，即使在多室户型复杂环境下普通人包括儿童、老人都可以轻松与机器人进行地图数据交互；并且本发明所描述的方法可以完全不赖机器人之外的设备设施支持、只使用机器人自带的图像拍摄装置、地图测绘传感器和嵌入式计算机等现有技术部件即可，这样不仅降低了产品制造成本、也使机器人买回家即可直接开机使用，无需用户在家部署任何配套运行环境，极适合普通家庭应用。
附图说明
附图1是本发明的流程图；
具体实施方式
为使本发明的上述目的、特征、优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细说明。在下面的描述中将阐述很多具体细节，目的在于帮助本领域技术人员更充分地理解本发明，但是显然本领域技术人员可以在不违背本发明内涵的前提下以更多不同于本实施例具体描述的其它方式来修改和实施，因此本发明不受下面公开的具体实施方式的限制。
附图1是本发明所述的一种以机器人视角图像进行地图数据人机交互的方法的流程图。
本实施例所述方法可以让非专业人员直接对机器人方便地输入目的地位置数据，也可以为非专业人员直观地显示机器人的当前实景位置，从而实现非专业人员与机器人的地图数据人机交互，具体包括如下步骤：
步骤S1、机器人获取基础数字地图。
本步骤主要是为步骤S2提高数据采集质量和效率奠定基础。目前，机器人获取基础数字地图的方法很多，包括使用自身安装的地图测绘传感器自主构建该基础数字地图、还可以通过上位机下发、资源共享等方式获得该基础数字地图。其中，由于现有技术已经有多种市售的地图测绘传感器供机器人选用，如激光雷达、双目深度摄像头、结构光测绘系统、超声波雷达等，因此现有机器人已经具备对房屋内部自主测绘构建基础数字地图的能力，所以对于已经安装了这些现有地图测绘传感器的机器人，只要该机器人开机后就可以开始自动扫描周边环境构建基础数字地图。如果机器人是可以移动行驶的，可令其在整套房间内行驶一遍，其自身的地图测绘传感器就可以自动构建出整套房间的基础数字地图。当然，机器人还可以通过控制中心或其它上位机下发等渠道获得该基础数字地图或通过互联网及机器人群组资源共享获得，这些现有技术很多不再一一列举额。获得该基础数字地图后，机器人可以规划最优数据采集行驶路线和最优数据采集方向等，为下一步高效率地获取最优质数据奠定基础。该步骤S1可以一次完成，也可以在使用过程中随机器人所到之处逐渐完善直至覆盖整套房间。如果将该方法用在取物机械手上，则该步骤S1获取的就是该机械手工作环境的基础数字地图，道理相同。
步骤S2、机器人通过自身安装的图像拍摄装置拍摄当前区域实景图像，并同步采集当前区域的区域数字地图，该实景图像覆盖的范围与同步采集的区域数字地图覆盖的范围至少部分重叠。
该步骤是为了采集所辖区域的实景图像和对应的区域数字地图。此步骤S2既可以与步骤S1分步执行、也可以嵌入步骤S1中混合运行。其中步骤S2与步骤S1分步执行的方法是：在步骤S1完成后，重新由本机器人按照步骤S1的基础数字地图对所辖区域再进行一次数据采集行驶，在行驶路径的节点处利用自身安装的图像拍摄装置拍摄实景图像、同时利用自身安装的地图测绘传感器同步扫描当前的区域数字地图，该实景图像与同步采集的区域数字地图二者覆盖区域至少部分重叠。当然该图像拍摄装置可以是普通的照相机、摄像机等，也可以是360度全景图像拍摄装置，当本机器人使用360度全景图像拍摄装置与360度地图测绘传感器的组合模式采集数据时，获取的实景图像的覆盖范围与区域数字地图均为360度全景当然也就自动实现了完全重叠，这将显著降低步骤S3等后续步骤的数据处理难度、显著提高人机交互体验。
步骤S2嵌入步骤S1运行的方法是：在本机器人执行步骤S1的基础数字地图构建任务过程中，在步骤S1的每个路径节点都嵌入步骤S2的实景图像和区域数字地图采集工序，不必等步骤S1的基础数字地图全部完成再开始步骤S2，这样嵌入执行的优点是避免了二次行驶、缺点是由于没有现成的基础数字地图导致无法优化步骤S2的采集路径，例如机器人在对多房间环境反复进行试探行驶的过程中会产生很多的重复路径，由此导致嵌入执行的步骤S2会产生较多价值不大的区域数字地图和实景图像数据，会增加嵌入式计算机数据处理的难度也增加了软硬件成本，并且后期需要人工手动来删除那些无用的节点数据，给用户也增加了额外工作量，如果不手工删除则会影响用户使用体验；反观步骤S1与步骤S2分步执行的方式，如果机器人已经完成步骤S1，则步骤S2就可以在基础数字地图中提前规划最优数据采集行驶路径，自然也就没有重复路径导致无用数据太多的问题了，使采集到的区域数字地图和对应的实景图像的数据质量和可用性大幅度高、数据量大幅度减少，不再需要用户去做手工删除工作了。可见步骤S1与步骤S2分步实施的数据采集质量最好、但步骤S2嵌入步骤S1中混合运行会使工作流程更简单，因此本领域技术人员可以根据产品实际工作环境自主选择即可。如果本方法用在取物机械手产品中，则本步骤S2在取物机械手移动时也同理工作。
对于那些自身没有安装地图测绘传感器的机器人实现步骤2的方法是这样的：此类机器人一般是通过控制中心的上位机下发获得基础数字地图或者通过其他资源共享方式获得，并通过UWB无线电定位、视觉定位、蓝牙定位等定位技术获取当前位置的定位数据。这样就可以借助这个当前定位数据将上位机下发或资源共享的基础数字地图进行局部截取作为步骤S2需要采集的区域数字地图，并同步拍摄当前位置的实景图像，同样可以实现步骤S2的目的，同样属于步骤S2的描述范围。
步骤S3、由计算机截取该区域数字地图与同步拍摄的实景图像二者视场重叠的部分，并使此二者相互匹配。
该步骤是为下一步生成实景定位图像所做的预处理。其中，使区域数字地图与实景图像匹配涉及多个项目包括：视角匹配、视场匹配和镜头畸变匹配等等很多。视场匹配是由于一般机器人采用的激光雷达等类型的地图测绘传感器都具有较大的水平视场一般在180-360度，但是机器人采用的图像拍摄装置由于成本限制一般水平视场只有90-120度，因此需要进行截取才可以使此二者视场覆盖区域重叠部分相互吻合，一般都是以图像拍摄装置的视场范围为截取基准，当然也可以根据具体需要灵活掌握。该步骤S3涉及的计算机截图和数据处理等技术都是计算机图形学领域很常见的现有技术，只需要根据机器人自身图像拍摄装置的镜头参数和地图测绘传感器的视场参数截取即可，本领域技术人员均可实施这里不再赘述。另外还需要进行视角匹配，由于地图测绘传感器一般安装于较低位置、图像拍摄装置一般安装位置较高，因此二者视角可能差异较大，影响位置数据交互的精度和使用效果，所以还可能需要将区域数字地图进行视角变换，使之与同步拍摄的实景图像视角一致或符合位置公差设计要求即可。计算机视角变换算法属于计算机图形学三维变换中最基本的基础知识，属公知技术，在此不再赘述。某些机器人自身安装的图像拍摄装置由于采用的是特殊的机器视觉、全景视觉等设备，例如微软Kinect双目摄像头传感器、英特尔RealSense 3D摄像头传感器、bumblebee2双目视觉系统、结构光测绘系统、360度全景图像拍摄装置匹配360度地图测绘传感器的组合方案等，它们可以在自身设备内部直接自动完成实景图像拍摄、区域数字地图测绘、视角视场匹配等一系列工作，因此这时完全等效于自动执行了步骤S2和步骤S3。另外，在实际的产品设计中，根据拍摄镜头参数的不同，还有可能需要进行镜头畸变匹配，这是因为光学镜头都会有或多或少的光学畸变，导致实景图像会产生多种几何失真，无法与区域数字地图准确匹配，因此如果机器人产品对位置交互精度要求较高，就需要对实景图像进行镜头畸变修复或对区域数字地图的数据进行适应性调整满足设计精度要求即可。总之，由于不同硬件设备的差异因素太多，实景图像和区域数字地图匹配还可能涉及很多上述未述及项目，实际产品设计中需针对具体情况进行具体匹配调节，使之达到设计精度要求即可。
步骤S4、由计算机把匹配好的区域数字地图与实景图像合成为带有地图位置数据的实景定位图像并存储于数据库中。
该步骤的目的是生成实景定位图像及存储。当机器人行驶或取物机械手移动过程中采集的数据经步骤S3处理生成相互匹配的实景图像和区域数字地图后，就需要对相互匹配的实景图像和区域数字地图进行计算机图像合成处理，使实景图像中的每个位置点都与区域数字地图的地图数据建立一对一的映射关系，这样就生成了以实景图像作为场景并带有地图数据的实景定位图像；当然该实景定位图像中的地图数据一般是不可见的，但也可以用经纬线、网格线等数据可视化的形式镶嵌到场景图像中。该实景定位图像的处理过程可以在本地计算机上也可以在互联网服务器上进行。制作这种实景定位图像的程序属于计算机地理信息技术领域很普通的图层处理知识，本领域普通技术人员均可熟练掌握不再赘述。经过计算机处理生成的所有实景定位图像都需要保存到数据库中以备随时调用。该数据库可以放在本地，也可以放在互联网服务器上，显然互联网服务器上的数据库可以更方便的与其他用户实现资源共享。
如果要获得整套房间完整的实景定位图像数据库。本机器人需要在所有房间完整行驶一遍，在此行驶过程中机器人会不断重复步骤S1至步骤S4，整个走完所房间后完整数据库就搭建好了。当然该过程可以一次完成也可以在使用过程中分步实施、逐步完成，还可以通过资源共享将已有的现成实景定位图像数据资源直接拿来用，这些都视为已经实施了本步骤。
步骤S5、将数据库中的实景定位图像显示在屏幕上，用户直接点击实景定位图像上的某一点，计算机解析出该点的地图数据，同理也可以将机器人位置和移动轨迹数据显示到实景定位图像上的对应位置点供用户查看，从而实现地图数据的人机交互。
该步骤的目的是以机器人视角进行地图数据人机交互。当用户要对机器人输入位置信息的时候，数据库中各房间的实景定位图像可以均布显示在屏幕上，也可以按自身地理信息位置数据分别镶嵌到整套房间的基础数字地图的对应位置处，当然还可以按照其他规律排列显示。用户可以在屏幕上直接找到包含所需位置的那副实景定位图像，并点击该实景定位图像中具体的位置点，计算机系统就可以利用该实景定位图像的地图数据解析出点击位置的地图参数并传输给机器人，这样普通人就可以轻松地对机器人输入任何房间内具体一点的地图数据了。机器人收到这个目的地位置数据后会驶往指定房间的具体指定位置，在行驶过程中机器人的当前位置数据也可以用图标、轨迹描点等常见的数据可视化形式显示到有对应地图数据的那副实景定位图像中，这样就实现了机器人当前位置的实景反馈，该反馈方式同样采用了普通人很容易看懂的实景图像形式，一般人都可以看懂。显示该实景定位图像的屏幕可以是机器人本身的屏幕，也可以是用互联网、局域网等信息网络连接的移动设备屏幕及服务器端屏幕、电脑终端设备屏幕等均可。本以机器人视角图像进行地图数据人机交互的方法是一个全实景化，并且不依赖外部技术设备支持即可实施地图数据人机交互，是人类最容易理解和使用的地图数据交互方式，十分适合没有机器人和数字地图专业知识的普通人进行多房间复杂环境下的机器人位置信息交互领域，也可以用于普通人指挥取物机械手等场合。
以上仅为本发明的较佳实施例及所运用技术原理，其描述较为具体和详细，但并不能因此理解为对本发明专利范围的限制，显然本方法不仅适用于多房间室内机器人和取物机械手等，也适用于其它具有类似地图数据人机交互需求的领域。因此，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出更多变形及改进等，这些都属于本发明的保护范围。