移动机器人视觉问答方法、装置及计算机可读存储介质与流程

1.本发明涉及机器人技术领域，尤其涉及移动机器人视觉问答方法、装置及计 算机可读存储介质。


背景技术：

2.目前，机器人产业取得了飞速的发展。其中室内服务型移动机器人的应用范 围也快速增大。自主导航技术作为室内服务型移动机器人实现智能化过程中重要 的一环,成为当今智能技术研究的热点问题。一方面，基于slam(simultaneouslocalization and mapping，同步定位与建图)的室内建图式定位导航是室内移动机 器人导航技术中最为常见的方法。但传统的slam建图式方法存在着设备成本 高、动态环境下的地图维护难等痛点，无法在复杂动态环境中进行大量使用。另 一方面，室内服务型移动机器人通常为用户向机器人给出指令，机器人执行指令 而不向用户进行反馈，存在交互能力弱的缺点。


技术实现要素：

3.本发明的主要目的在于提出一种移动机器人视觉问答方法、装置及计算机可 读存储介质，旨在提高移动机器人的导航能力的同时提高移动机器人的交互能 力，节约移动机器人的导航成本，提高移动机器人的导航精准度，提高移动机器 人在复杂动态环境下适应能力，实现移动机器人给用户反馈信息。
4.为实现上述目的，本发明提供一种移动机器人视觉问答方法，所述移动机器 人视觉问答方法包括如下步骤：
5.获取问题信息；
6.基于深度摄像机获取像素图像集合和深度图像集合；
7.根据三维房间数据库、所述问题信息、所述像素图像集合和所述深度图像集 合、确定所述移动机器人查找到所述待寻物体时的导航路线，以及根据所述导航 路线驱动所述移动机器人移动至所述待寻物体所在区域；
8.根据所述像素图像集合和所述问题信息确定与所述问题信息对应的问题答 案。
9.可选地，其中，所述像素图像集合包括第一时间像素图像、第二时间像素图 像、
……
、第n时间像素图像；所述深度图像集合包括第一深度像素图像、第二 深度像素图像、
……
、第n时间深度图像；所述根据三维房间数据库、所述问题 信息、所述像素图像集合和所述深度图像集合、确定所述移动机器人查找到所述 待寻物体时的导航路线，以及根据所述导航路线驱动所述移动机器人移动至所述 待寻物体所在区域的步骤，包括：
10.根据所述问题信息确定待寻物体；
11.检测所述第一时间像素图像中是否有所述待寻物体；
12.若所述第一时间像素图像中没有所述待寻物体，则根据三维房间数据库、所 述待寻物体、所述第一时间像素图像和所述第一时间深度图像确定所述移动机器 人的第一移动方向和第一移动距离，并根据所述第一移动方向和所述第一移动距 离驱动所述移动机
器人移动；
13.基于深度摄像机获取第二时间像素图像和第二时间深度图像；
14.检测所述第二时间像素图像中是否有所述待寻物体；
15.若所述第二时间像素图像中没有所述待寻物体，则根据三维房间数据库、所 述待寻物体、所述第二时间像素图像和所述第二时间深度图像确定所述移动机器 人的第二移动方向和第二移动距离，并根据所述第二移动方向和所述第二移动距 离驱动所述移动机器人移动；
16.以此类推，当所述第n时间像素图像中有所述待寻物体时，所述移动机器人 停止移动。
17.可选地，所述根据所述像素图像集合和所述问题信息确定问题答案的步骤， 包括：
18.根据所述第n时间像素图像和所述待寻物体确定与所述问题信息对应的问 题答案。
19.可选地，所述根据所述问题信息确定待寻物体的步骤包括：
20.将所述问题信息输入第一长短时记忆网络模型，得到所述问题信息中的待寻 物体。
21.可选地，所述检测所述第一时间像素图像中是否有所述待寻物体的步骤，包 括：
22.将所述待寻物体进行向量化，得到待寻物体向量；
23.对所述待寻物体向量进行编码；
24.将编码后的待寻物体向量和所述第一时间像素图像输入resnet50网络模型 中，得到所述第一时间像素图像中有所述待寻物体的物体概率；
25.当所述物体概率大于或等于预设概率阈值时，则判定所述第一时间像素图像 中有所述待寻物体；
26.当所述物体概率小于预设概率阈值时，则判定所述第一时间像素图像中没有 所述待寻物体。
27.可选地，所述根据三维房间数据库、所述待寻物体、所述第一时间像素图像 和所述第一时间深度图像确定所述移动机器人的第一移动方向和第一移动距离， 并根据所述第一移动方向和所述第一移动距离驱动所述移动机器人移动的步骤， 包括：
28.根据所述三维房间数据库、所述第一时间像素图像和所述第一时间深度图像 确定当前房间结构；
29.根据待寻物体和当前房间结构确定物体放置区域；
30.根据所述当前房间结构、所述物体放置区域和所述第一时间深度图像确定所 述移动机器人的第一移动方向和第一移动距离；
31.根据所述第一移动方向和所述第一移动距离驱动所述移动机器人移动。
32.可选地，所述根据所述三维房间数据库、所述第一时间像素图像和所述第一 时间深度图像确定当前房间结构的步骤，包括：
33.根据所述第一时间像素图像和所述第一时间深度图像确定当前区域结构；
34.根据所述当前区域结构在所述三维房间数据库中查找与所述当前区域结构 相似度最高的房间结构，生成当前房间结构。
35.可选地，所述根据所述当前房间结构、所述物体放置区域和所述第一时间深 度图像确定所述移动机器人的第一移动方向和第一移动距离的步骤，包括：
36.根据所述前房间结构和所述物体放置区域确定所述移动机器人的第一移动 方向；
37.根据所述当前房间结构和所述第一时间深度图像确定所述移动机器人的第 一移动距离。
38.此外，为实现上述目的，本发明还提供一种移动机器人视觉问答装置，所述 移动机器人视觉问答装置包括：存储器、处理器及存储在所述存储器上并可在所 述处理器上运行的移动机器人视觉问答程序，所述移动机器人视觉问答程序被所 述处理器执行时实现如上所述的移动机器人视觉问答方法的步骤。
39.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算 机可读存储介质上存储有移动机器人视觉问答程序，所述移动机器人视觉问答程 序被处理器执行时实现如上所述的移动机器人视觉问答方法的步骤。
40.本发明提供了一种移动机器人视觉问答方法、装置及计算机可读存储介质， 获取问题信息；基于深度摄像机获取像素图像集合和深度图像集合；根据三维房 间数据库、所述问题信息、所述像素图像集合和所述深度图像集合、确定所述移 动机器人查找到所述待寻物体时的导航路线，以及根据所述导航路线驱动所述移 动机器人移动至所述待寻物体所在区域；根据所述像素图像集合和所述问题信息 确定与所述问题信息对应的问题答案。通过上述方式，本发明能够提高移动机器 人的导航能力，节约移动机器人的导航成本，提高移动机器人的导航精准度，提 高移动机器人在复杂动态环境下适应能力。
附图说明
41.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
42.图2为本发明移动机器人视觉问答方法第一实施例的流程示意图；
43.图3为本发明移动机器人视觉问答方法第二实施例的流程示意图；
44.图4为本发明移动机器人视觉问答方法第三实施例的流程示意图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说 明。
具体实施方式
46.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发 明。
47.本发明实施例的主要解决方案是：获取问题信息；基于深度摄像机获取像素 图像集合和深度图像集合；根据三维房间数据库、所述问题信息、所述像素图像 集合和所述深度图像集合、确定所述移动机器人查找到所述待寻物体时的导航路 线，以及根据所述导航路线驱动所述移动机器人移动至所述待寻物体所在区域； 根据所述像素图像集合和所述问题信息确定与所述问题信息对应的问题答案。
48.现有的机器人产业取得了飞速的发展。其中室内服务型移动机器人的应用范 围也快速增大。自主导航技术作为室内服务型移动机器人实现智能化过程中重要 的一环,成为当今智能技术研究的热点问题。一方面，基于slam(simultaneouslocalization and mapping，同步定位与建图)的室内建图式定位导航是室内移动机 器人导航技术中最为常
见的方法。但传统的slam建图式方法存在着设备成本 高、动态环境下的地图维护难等痛点，无法在复杂动态环境中进行大量使用。另 一方面，室内服务型移动机器人通常为用户向机器人给出指令，机器人执行指令 而不向用户进行反馈，存在交互能力弱的缺点。
49.本发明旨在提高移动机器人的导航能力的同时提高移动机器人的交互能力， 节约移动机器人的导航成本，提高移动机器人的导航精准度，提高移动机器人在 复杂动态环境下适应能力，实现移动机器人给用户反馈信息。
50.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意 图。
51.本发明实施例终端可以是pc，也可以是智能手机、平板电脑等具有显示功 能的可移动式终端设备。
52.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单 元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无 线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi 接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001 的存储装置。
53.优选地，终端还可以包括摄像头、rf(radio frequency，射频)电路，传感 器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及 其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境 光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端 移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传 感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大 小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力 计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还 可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不 再赘述。
54.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定， 可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
55.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、 网络通信模块、用户接口模块以及移动机器人视觉问答程序。
56.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服 务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端 进行数据通信；而处理器1001可以用于调用存储器1005中存储的移动机器人视 觉问答程序，并执行以下操作：
57.获取问题信息；
58.基于深度摄像机获取像素图像集合和深度图像集合；
59.根据三维房间数据库、所述问题信息、所述像素图像集合和所述深度图像集 合、确定所述移动机器人查找到所述待寻物体时的导航路线，以及根据所述导航 路线驱动所述移动机器人移动至所述待寻物体所在区域；
60.根据所述像素图像集合和所述问题信息确定与所述问题信息对应的问题答 案。
61.进一步地，其中，所述像素图像集合包括第一时间像素图像、第二时间像素 图像、
……
、第n时间像素图像；所述深度图像集合包括第一深度像素图像、第 二深度像素图
像、
……
、第n时间深度图像；处理器1001可以调用存储器1005 中存储的移动机器人视觉问答程序，还执行以下操作：
62.根据所述问题信息确定待寻物体；
63.检测所述第一时间像素图像中是否有所述待寻物体；
64.若所述第一时间像素图像中没有所述待寻物体，则根据三维房间数据库、所 述待寻物体、所述第一时间像素图像和所述第一时间深度图像确定所述移动机器 人的第一移动方向和第一移动距离，并根据所述第一移动方向和所述第一移动距 离驱动所述移动机器人移动；
65.基于深度摄像机获取第二时间像素图像和第二时间深度图像；
66.检测所述第二时间像素图像中是否有所述待寻物体；
67.若所述第二时间像素图像中没有所述待寻物体，则根据三维房间数据库、所 述待寻物体、所述第二时间像素图像和所述第二时间深度图像确定所述移动机器 人的第二移动方向和第二移动距离，并根据所述第二移动方向和所述第二移动距 离驱动所述移动机器人移动；
68.以此类推，当所述第n时间像素图像中有所述待寻物体时，所述移动机器人 停止移动。
69.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，还执行以下操作：
70.根据所述第n时间像素图像和所述待寻物体确定与所述问题信息对应的问 题答案。
71.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，还执行以下操作：
72.将所述待寻物体进行向量化，得到待寻物体向量；
73.对所述待寻物体向量进行编码；
74.将编码后的待寻物体向量和所述第一时间像素图像输入resnet50网络模型 中，得到所述第一时间像素图像中有所述待寻物体的物体概率；
75.当所述物体概率大于或等于预设概率阈值时，则判定所述第一时间像素图像 中有所述待寻物体；
76.当所述物体概率小于预设概率阈值时，则判定所述第一时间像素图像中没有 所述待寻物体。
77.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，还执行以下操作：
78.根据所述三维房间数据库、所述第一时间像素图像和所述第一时间深度图像 确定当前房间结构；
79.根据待寻物体和当前房间结构确定物体放置区域；
80.根据所述当前房间结构、所述物体放置区域和所述第一时间深度图像确定所 述移动机器人的第一移动方向和第一移动距离；
81.根据所述第一移动方向和所述第一移动距离驱动所述移动机器人移动。
82.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，
还执行以下操作：
83.根据所述第一时间像素图像和所述第一时间深度图像确定当前区域结构；
84.根据所述当前区域结构在所述三维房间数据库中查找与所述当前区域结构 相似度最高的房间结构，生成当前房间结构。
85.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，还执行以下操作：
86.根据待寻物体和当前房间结构确定放置待寻物体概率最大的区域，生成物体 放置区域。
87.进一步地，处理器1001可以调用存储器1005中存储的移动机器人视觉问答 程序，还执行以下操作：
88.根据所述前房间结构和所述物体放置区域确定所述移动机器人的第一移动 方向；
89.根据所述当前房间结构和所述第一时间深度图像确定所述移动机器人的第 一移动距离。
90.基于上述硬件结构，提出本发明移动机器人视觉问答方法实施例。
91.本发明移动机器人视觉问答方法。
92.参照图2，图2为本发明移动机器人视觉问答方法第一实施例的流程示意图。
93.本发明实施例中，该移动机器人视觉问答方法应用于移动机器人视觉问答装 置，所述方法包括：
94.步骤s10，获取问题信息；
95.在本实施例中，为了提高移动机器人的导航能力，节约移动机器人的导航成 本，提高移动机器人的导航精准度，提高移动机器人在复杂动态环境下适应能力； 移动机器人视觉问答装置获取问题信息；其中，问题信息为用户输入的信息。其 中，问题信息可以为用户需要知道的问题信息。例如，问题信息可以为“车是什 么颜色”、“苹果是什么颜色”。
96.步骤s20，基于深度摄像机获取像素图像集合和深度图像集合；
97.在本实施例中，移动机器人视觉问答装置在获取了问题信息之后，基于深度 摄像机获取像素图像集合和深度图像集合。其中，像素图像集合为多个rgb像 素图像组成的集合。其中，深度图像集合为多个rgbd深度图像组成的集合。
98.步骤s30，根据三维房间数据库、所述问题信息、所述像素图像集合和所述 深度图像集合、确定所述移动机器人查找到所述待寻物体时的导航路线，以及根 据所述导航路线驱动所述移动机器人移动至所述待寻物体所在区域；
99.在本实施例中，移动机器人视觉问答装置在获取了问题信息、像素图像集合 和深度图像集合之后，根据三维房间数据库、所述问题信息、所述像素图像集合 和所述深度图像集合、确定所述移动机器人查找到所述待寻物体时的导航路线， 以及根据所述导航路线驱动所述移动机器人移动至所述待寻物体所在区域。其 中，三维房间数据库为交互式3d环境数据集(house3d数据集)
100.步骤s40，根据所述像素图像集合和所述问题信息确定与所述问题信息对应 的问题答案。
101.在本实施例中，移动机器人视觉问答装置在根据所述导航路线驱动所述移动 机
器人移动至所述待寻物体所在区域之后，根据所述像素图像集合和所述问题信 息确定与所述问题信息对应的问题答案。其中问题信息“车是什么颜色”对应问 题答案可以为“橙色”、其中问题信息“苹果是什么颜色”对应的问题答案可以 为“红色”。
102.步骤s40，根据所述像素图像集合和所述问题信息确定与所述问题信息对应 的问题答案。
103.步骤a，根据所述第n时间像素图像和所述待寻物体确定与所述问题信息对 应的问题答案。
104.在本实施例中，移动机器人视觉问答装置在根据所述导航路线驱动所述移动 机器人移动至所述待寻物体所在区域之后，根据所述第n时间像素图像和所述待 寻物体确定与所述问题信息对应的问题答案。
105.本实施例通过上述方案，获取问题信息；基于深度摄像机获取像素图像集合 和深度图像集合；根据三维房间数据库、所述问题信息、所述像素图像集合和所 述深度图像集合、确定所述移动机器人查找到所述待寻物体时的导航路线，以及 根据所述导航路线驱动所述移动机器人移动至所述待寻物体所在区域；根据所述 像素图像集合和所述问题信息确定与所述问题信息对应的问题答案。由此，提高 了移动机器人的导航能力的同时提高移动机器人的交互能力，节约了移动机器人 的导航成本，提高了移动机器人的导航精准度，提高了移动机器人在复杂动态环 境下适应能力，实现了移动机器人给用户反馈信息。
106.进一步地，参照图3，图3为本发明移动机器人视觉问答方法第二实施例的 流程示意图。基于上述图2所示的实施例，其中，所述像素图像集合包括第一时 间像素图像、第二时间像素图像、
……
、第n时间像素图像；所述深度图像集合 包括第一深度像素图像、第二深度像素图像、
……
、第n时间深度图像；步骤 s30根据三维房间数据库、所述问题信息、所述像素图像集合和所述深度图像集 合、确定所述移动机器人查找到所述待寻物体时的导航路线，以及根据所述导航 路线驱动所述移动机器人移动至所述待寻物体所在区域，可以包括：
107.步骤s31，根据所述问题信息确定待寻物体；
108.在本实施例中，移动机器人视觉问答装置在获取了问题信息之后，根据所述 问题信息确定待寻物体。
109.步骤s31根据所述问题信息确定待寻物体，可以包括：
110.步骤b，将所述问题信息输入第一长短时记忆网络模型，得到所述问题信息 中的待寻物体。
111.在本实施例中，移动机器人视觉问答装置在获取了问题信息之后，将所述问 题信息输入第一长短时记忆网络模型，得到所述问题信息中的待寻物体。
112.步骤s32，检测所述第一时间像素图像中是否有所述待寻物体；
113.在本实施例中，移动机器人视觉问答装置在确定了待寻物体之后，检测所述 第一时间像素图像中是否有所述待寻物体。
114.s32检测所述第一时间像素图像中是否有所述待寻物体，可以包括：
115.步骤c1，将所述待寻物体进行向量化，得到待寻物体向量；
116.在本实施例中，移动机器人视觉问答装置在确定了待寻物体之后，将所述待 寻物体进行向量化，得到待寻物体向量。
117.步骤c2，对所述待寻物体向量进行编码；
118.在本实施例中，移动机器人视觉问答装置在得到了待寻物体向量之后，对所 述待寻物体向量进行编码。
119.步骤c3，将编码后的待寻物体向量和所述第一时间像素图像输入resnet50 网络模型中，得到所述第一时间像素图像中有所述待寻物体的物体概率；
120.在本实施例中，移动机器人视觉问答装置在对待寻物体向量进行编码之后， 将编码后的待寻物体向量和所述第一时间像素图像输入resnet50网络模型中， 得到所述第一时间像素图像中有所述待寻物体的物体概率。
121.步骤c4，当所述物体概率大于或等于预设概率阈值时，则判定所述第一时间 像素图像中有所述待寻物体；
122.在本实施例中，移动机器人视觉问答装置在判断物体概率大于或等于预设概 率阈值时，判定所述第一时间像素图像中有所述待寻物体。
123.步骤c5，当所述物体概率小于预设概率阈值时，则判定所述第一时间像素图 像中没有所述待寻物体。
124.在本实施例中，移动机器人视觉问答装置在判断物体概率小于预设概率阈值 时，判定所述第一时间像素图像中没有所述待寻物体。
125.步骤s33，若所述第一时间像素图像中没有所述待寻物体，则根据三维房间 数据库、所述待寻物体、所述第一时间像素图像和所述第一时间深度图像确定所 述移动机器人的第一移动方向和第一移动距离，并根据所述第一移动方向和所述 第一移动距离驱动所述移动机器人移动；
126.在本实施例中，当移动机器人视觉问答装置判断所述第一时间像素图像中没 有所述待寻物体时，根据三维房间数据库、所述待寻物体、所述第一时间像素图 像和所述第一时间深度图像确定所述移动机器人的第一移动方向和第一移动距 离，并根据所述第一移动方向和所述第一移动距离驱动所述移动机器人移动。
127.步骤s34，基于深度摄像机获取第二时间像素图像和第二时间深度图像；
128.在本实施例中，当移动机器人视觉问答装置根据所述第一移动方向和所述第 一移动距离驱动所述移动机器人移动之后，移动机器人视觉问答装置基于深度摄 像机获取第二时间像素图像和第二时间深度图像。
129.步骤s35，检测所述第二时间像素图像中是否有所述待寻物体；
130.在本实施例中，移动机器人视觉问答装置在获取了第二时间像素图像和第二 时间深度图像之后，检测所述第二时间像素图像中是否有所述待寻物体。
131.步骤s36，若所述第二时间像素图像中没有所述待寻物体，则根据三维房间 数据库、所述待寻物体、所述第二时间像素图像和所述第二时间深度图像确定所 述移动机器人的第二移动方向和第二移动距离，并根据所述第二移动方向和所述 第二移动距离驱动所述移动机器人移动；
132.在本实施例中，当移动机器人视觉问答装置判断第二时间像素图像中没有所 述待寻物体时，根据三维房间数据库、所述待寻物体、所述第二时间像素图像和 所述第二时间深度图像确定所述移动机器人的第二移动方向和第二移动距离，并 根据所述第二移动方向和所述第二移动距离驱动所述移动机器人移动。当问题信 息为“车是什么颜色”时，移
动机器人视觉问答装置根据三维房间数据库、待寻 物体、所述第二时间像素图像和所述第二时间深度图像确定“车”的可能的区域，
ꢀ“
车”的区域在移动机器人的什么方位，移动机器人可以向该方位移动多少距离。
133.步骤s37，以此类推，当所述第n时间像素图像中有所述待寻物体时，所述 移动机器人停止移动。
134.在本实施例中，以此类推，当移动机器人视觉问答装置判断所述第n时间像 素图像中有所述待寻物体时，所述移动机器人停止移动。
135.本实施例通过上述方案，根据所述问题信息确定待寻物体；检测所述第一时 间像素图像中是否有所述待寻物体；若所述第一时间像素图像中没有所述待寻物 体，则根据三维房间数据库、所述待寻物体、所述第一时间像素图像和所述第一 时间深度图像确定所述移动机器人的第一移动方向和第一移动距离，并根据所述 第一移动方向和所述第一移动距离驱动所述移动机器人移动；基于深度摄像机获 取第二时间像素图像和第二时间深度图像；检测所述第二时间像素图像中是否有 所述待寻物体；若所述第二时间像素图像中没有所述待寻物体，则根据三维房间 数据库、所述待寻物体、所述第二时间像素图像和所述第二时间深度图像确定所 述移动机器人的第二移动方向和第二移动距离，并根据所述第二移动方向和所述 第二移动距离驱动所述移动机器人移动；以此类推，当所述第n时间像素图像中 有所述待寻物体时，所述移动机器人停止移动。由此，提高了移动机器人的导航 能力的同时提高移动机器人的交互能力，节约了移动机器人的导航成本，提高了 移动机器人的导航精准度，提高了移动机器人在复杂动态环境下适应能力，实现 了移动机器人给用户反馈信息。
136.进一步地，参照图4，图4为本发明移动机器人视觉问答方法第三实施例的 流程示意图。基于上述图3所示的实施例，步骤s33根据三维房间数据库、所述 待寻物体、所述第一时间像素图像和所述第一时间深度图像确定所述移动机器人 的第一移动方向和第一移动距离，并根据所述第一移动方向和所述第一移动距离 驱动所述移动机器人移动，可以包括：
137.步骤s331，根据所述三维房间数据库、所述第一时间像素图像和所述第一 时间深度图像确定当前房间结构；
138.在本实施例中，当移动机器人视觉问答装置判断所述第一时间像素图像中没 有所述待寻物体时，根据所述三维房间数据库、所述第一时间像素图像和所述第 一时间深度图像确定当前房间结构。当问题信息为“车是什么颜色”时，根据所 述三维房间数据库、所述第一时间像素图像和所述第一时间深度图像确定当前房 间结构。
139.步骤s331根据所述三维房间数据库、所述第一时间像素图像和所述第一时 间深度图像确定当前房间结构可以包括：
140.步骤d1，根据所述第一时间像素图像和所述第一时间深度图像确定当前区 域结构；
141.在本实施例中，当移动机器人视觉问答装置判断所述第一时间像素图像中没 有所述待寻物体时，根据所述第一时间像素图像和所述第一时间深度图像确定当 前区域结构。
142.步骤d2，根据所述当前区域结构在所述三维房间数据库中查找与所述当前 区域
结构相似度最高的房间结构，生成当前房间结构。
143.在本实施例中，移动机器人视觉问答装置在确定了当前区域结构之后，根据 所述当前区域结构在所述三维房间数据库中查找与所述当前区域结构相似度最 高的房间结构，生成当前房间结构。
144.步骤s332，根据待寻物体和当前房间结构确定物体放置区域；
145.在本实施例中，移动机器人视觉问答装置在确定了当前房间结构之后，根据 待寻物体和当前房间结构确定物体放置区域。当问题信息为“车是什么颜色”时， 移动机器人视觉问答装置根据待寻物体和当前房间结构确定物体放置区域，其 中，物体放置区域为“车”停放的区域。
146.步骤s332根据待寻物体和当前房间结构确定物体放置区域，可以包括：
147.步骤e，根据待寻物体和当前房间结构确定放置待寻物体概率最大的区域， 生成物体放置区域。
148.在本实施例中，移动机器人视觉问答装置在确定了当前房间结构之后，根据 待寻物体和当前房间结构确定放置待寻物体概率最大的区域，生成物体放置区 域。
149.步骤s333，根据所述当前房间结构、所述物体放置区域和所述第一时间深 度图像确定所述移动机器人的第一移动方向和第一移动距离；
150.在本实施例中，移动机器人视觉问答装置在确定了物体放置区域之后，根据 所述当前房间结构、所述物体放置区域和所述第一时间深度图像确定所述移动机 器人的第一移动方向和第一移动距离。
151.步骤s333根据所述当前房间结构、所述物体放置区域和所述第一时间深度 图像确定所述移动机器人的第一移动方向和第一移动距离，可以包括：
152.步骤f1，根据所述前房间结构和所述物体放置区域确定所述移动机器人的第 一移动方向；
153.在本实施例中，移动机器人视觉问答装置在确定了物体放置区域之后，根据 所述前房间结构和所述物体放置区域确定所述移动机器人的第一移动方向。
154.步骤f2，根据所述当前房间结构和所述第一时间深度图像确定所述移动机器 人的第一移动距离。
155.在本实施例中，移动机器人视觉问答装置在确定了移动机器人的第一移动方 向之后，根据所述当前房间结构和所述第一时间深度图像确定所述移动机器人的 第一移动距离。
156.步骤s334，根据所述第一移动方向和所述第一移动距离驱动所述移动机器 人移动。
157.在本实施例中，移动机器人视觉问答装置在确定了移动机器人的第一移动方 向和第一移动距离之后，根据所述第一移动方向和所述第一移动距离驱动所述移 动机器人移动。
158.本实施例通过上述方案，根据所述三维房间数据库、所述第一时间像素图像 和所述第一时间深度图像确定当前房间结构；根据待寻物体和当前房间结构确定 物体放置区域；根据所述当前房间结构、所述物体放置区域和所述第一时间深度 图像确定所述移动机器人的第一移动方向和第一移动距离；根据所述第一移动方 向和所述第一移动距离驱动
所述移动机器人移动。由此，提高了移动机器人的导 航能力的同时提高移动机器人的交互能力，节约了移动机器人的导航成本，提高 了移动机器人的导航精准度，提高了移动机器人在复杂动态环境下适应能力，实 现了移动机器人给用户反馈信息。
159.本发明还提供一种移动机器人视觉问答装置。
160.本发明移动机器人视觉问答装置包括：存储器、处理器及存储在所述存储器 上并可在所述处理器上运行的移动机器人视觉问答程序，所述移动机器人视觉问 答程序被所述处理器执行时实现如上所述的移动机器人视觉问答方法的步骤。
161.其中，在所述处理器上运行的移动机器人视觉问答程序被执行时所实现的方 法可参照本发明移动机器人视觉问答方法各个实施例，此处不再赘述。
162.本发明还提供一种计算机可读存储介质。
163.本发明计算机可读存储介质上存储有移动机器人视觉问答程序，所述移动机 器人视觉问答程序被处理器执行时实现如上所述的移动机器人视觉问答方法的 步骤。
164.其中，在所述处理器上运行的移动机器人视觉问答程序被执行时所实现的方 法可参照本发明移动机器人视觉问答方法各个实施例，此处不再赘述。
165.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅 包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、 方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一 个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还 存在另外的相同要素。
166.上述本发明实施例序号仅为了描述，不代表实施例的优劣。
167.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施 例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件， 但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质 上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机 软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括 若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者 网络设备等)执行本发明各个实施例所述的方法。
168.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用 本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在 其他相关的技术领域，均同理包括在本发明的专利保护范围内。