一种导购机器人及其导购方法与流程

文档序号:12460550阅读:303来源:国知局

本发明涉及机器人领域,具体涉及一种导购机器人及其导购方法。



背景技术:

信息技术的发展,信息技术被广泛的应用到人们的生活方式与工作方式中。如有更有效的利用现有的信息技术,人们一直没有停止探索。机器人领域是集计算机、机械、传感技术、信息处理技术、图像处理与识别技术、语言识别与处理技术、控制技术和通信技术等于一体的系统。现有的Player、MOOS、CARMEN、YARP、Orocos、微软RoboticsStudio等操作系统无法满足实际应用的需求。ROS(RobotOperatingSystem)是一种开源机器人操作系统,能够提供类似于操作系统的功能,为机器人应用系统提供硬件抽象、底层驱动、消息传递和包管理,以及一些辅助开发工具,例如建立、编写和运行多机通信系统整合的程序。

在大型超市、自选商场、专卖店等场所,大部分顾客喜欢自由选购,比较介意营销人员的营销活动,机器人的介入,不仅可以保持顾客选购的自由度,而且使得购物心情舒畅同时购物的快捷度也会有所增加。

CN 201410413867.X提供一种用于超市导购的移动机器人,其特征在于,包括:语音识别系统、交互屏、控制器、行走机构和购物篮,所述的语音识别系统和控制器位于该移动机器人购物篮的底部。所述的交互屏位于购物篮的前端,并与购物篮相连接,其包括与语音识别系统相连的话筒、扩音器和触屏式中英文输入系统,所述的扩音器位于该移动机器人购物篮的底部。该超市导购移动机器人具有智能化导航并定位顾客所需商品的功能,还具有载物功能与智能交互交谈功能。同时可按顾客的喜好进行语音传输或触屏式中英文输入进行系统操作以获取商品位置信息与销售信息。但是该机器人对于如何进行导购,没有给出相应的导购的具体流程及方法;导购的准确性无法预知。

CN201410003731.1公开一种导购机器人系统及该导购机器人顾客识别通知方法,其系统包括:导购机器人和后台服务终端,导购机器人机体设有控制单元、移动单元、通讯模块和用于采集图像的摄像单元,所述控制单元设有顾客识别模块,所述顾客识别模块用于识别图像中的人脸,并判断人脸为顾客后发送第一信号,控制单元接收第一信号,并通过所述通讯模块发送第二信号到后台服务终端,所述后台服务终端接收到第二信号并发出提醒信号。该导购系统不能实现机器人自主运行,在应用上存在一定的局限性。



技术实现要素:

针对现有技术的不足,本发明提供一种一种导购机器人及其导购方法,该方法提高了机器人在导购过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和识别能力,节省顾客的选购和寻找物品的时间。

本发明为实现上述目的,采用以下技术方案:本发明提供一种一种导购机器人的导购方法,具体过程如下:

S01:获取语音输入指令,并根据语音指令进行语义识别,将识别的结果显示在显示屏,若否,则提示重新输入指令;

S02:语音交互,识别结果是否正确,若否,则返回S01;

S03:在ROS系统预存储的地图中标记售货架区;在机器人所处位置与售货架区进行路径规划;

S04:语音交互,确定开始行走;若否,则返回S01;

S05:机器人行走,人跟随;

S06:行走过程中,保持与人之间的安全距离;

S07:达到标记售货架区,摄像头进行拍照,对照片进行文字识别或图像识别物品;

S08:识别完成,语音交互完成指令;若否,则返回S01;

S09:结束。

进一步地,所述S01中,语音通过使用者在麦克风或移动终端输入,中央处理器接收相应的语音指令,对语音进行语义识别,识别完成后,将识别的结果与中央处理器中预存储的物品的信息进行匹配,匹配成功,将识别结果显示在显示屏;若否,则提示重新输入语音。

进一步地,所述语音识别采用科大讯飞SDK(Software Development Kit,即软件开发工具包)进行语音交互,SDK将输入的语音指令转化成文本指令后传输至服务器,服务器获取文本指令中的物品信息后与服务器后台储存的物品数据进行匹配,得到匹配结果后生成识别结果,并生成序列操作指令。

进一步地,所述S03中,中央处理器根据识别的结果,对ROS系统中预存储的物品地图进行匹配,匹配完成后在物品地图中标记售货架区,例如生鲜区或零食区等;根据机器人所处的具体位置在物品地图中的坐标和售货架区在物品地图中的坐标,机器人中央处理器进行路径规划,并将路线在显示屏中显示。

进一步地,所述物品地图的建立方法如下:机器人主机内安装ROS操作系统,利用摄像头采集的数据生成二维点云数据,并利用gmapping框架和粒子滤波算法进行局部优化建立二维导航地图;或人工绘制二维导航地图,并将二维导航地图导入到微型主机内的ROS操作系统中,最后将二维导航地图储存至服务器后台。

进一步地,所述S05在行走过程中,超声波传感器检测到障碍物,则重新开始规划路线,并语音提示“有障碍,是否重新规划路径”,使用者确认,若否,则机器人等待直至障碍物不在测试范围内。

进一步地,所述S05,在跟随过程中,若使用者跟踪失去目标,则机器人计算蓝牙发射器发射的信号位置与人本身位置的距离及方位;机器人往信号位置移动或转向,确定人体的位置或方向;到达目的地,语音交互是否继续跟随,若否,则机器人结束导购。

进一步地,所述S06中,用PID控制器控制机器人的跟随速度;判断机器人与跟随的人体的距离是否为安全距离,若超出安全距离,则加速;若低于安全距离,则减速。

进一步地,所述S07中,图像识别是指将摄像头拍摄的照片中的物品的图像在OpenCV先处理成黑白色,然后采用边界计算,导出图像中的边界,进行计算后得到相应的点云数据,确定相应的特征点,将特征点与语音识别后的物品的特征点进行匹配,将结果在显示屏中输出。

进一步地,所述S07中,文字识别是指将摄像头拍摄的照片中的文字在OpenCV先处理成黑白色,然后采用边界计算,导出图像中文字的边界,进行计算后得到相应的点云数据,确定相应的特征点,将特征点与语音识别后的文字的特征点进行匹配;确认使用者所需要的物品,将结果在显示屏中输出。

进一步地,所述文字识别为模板匹配法或几何特征抽取法。

进一步地,所述S08中,识别完成后,机器人语音播报导购完成,是否进行下一个任务。

一种导购机器人,所述机器人包括中央处理器、底盘、机身架、深度视觉摄像头、红外传感器、蓝牙接收器、显示屏、雷达和语音交互模块,所述机器人底盘上设置运动控制模块;

所述深度视觉摄像头、红外传感器、蓝牙接收器、显示屏、雷达、运动控制单元、语音交互模块均和中央处理器相连;

所述运动控制模块,包括微控制器、主动轮、万向轮和电机;所述主动轮和电机均与微控制器相连;

所述语音交互模块包括语音处理模块、喇叭、麦克风和音量调节装置;

所述机器人还连接后台服务终端;

所述机器人还包括控制面板和呼叫按钮;所述控制面板用于人机交互;所述呼叫按钮用于顾客呼叫超市服务人员;所述机器人通过无线网络与后台服务终端进行通讯;

所述深度视觉摄像头,用于拍摄目标物品的图像;所述红外传感器用于辅助检测人体位置;所述雷达,用于检测目标人体与机器人的实时距离;所述微控制器接收中央处理器的具体信号,并将信号转换为主动轮或万向轮的运动方向,电机的转运速度等;所述语音交互模块用于机器人与目标人体的交流;所述中央处理器,接收各配件的信号,并将其转换为对应的信号,发送相关的命令等。进一步包括报警装置,所述报警装置与中央处理器相连,报警装置,在机器人出现故障时报警提示。

进一步地,所述红外传感器设置在机器人头部。

机器人通过自主构建的物品地图,在ROS系统中利用摄像头构建导航的物品地图,在通过语义识别相关的物品后,进行位置和区域路径规划,并实现行走导购,减少了计算量,识别物品及其位置准确度高、快捷、独立性强,噪声也保持一定的稳定性。

本发明的有益效果:

本发明提供的一种导购机器人及其导购方法,通过摄像头采集物品的位置及物品的图像建立物品地图,在工作过程中语音识别后通过语义识别物品,根据识别的物品在物品地图中找到对应的售货架区,并建立运动路径,根据运动路径导航到目的售货架区后,通过摄像头拍摄对应的物品,识别对应的文字即商标,找到对应的物品的位置,减少人们在商场选购物品的时间,实现导航导购的准确性;通过采用蓝牙信号的唯一ID,实现机器人的摄像头内出现多个人体或部分人体的距离较近的情况下,也能识别待导购的目标人体,减少干扰的出现,实现导购唯一化、准确及时。

其中,自主构建物品地图,采用ROS系统、讯飞系统进行语音、图像、文字的识别,减少了计算量,识别准确度高、快捷、独立性强,噪声也保持一定的稳定性;

中央处理器通过对数据的分析,实现实时及时规划机器人的行走状态和位置;主动实现寻找待导购的目标人体,自助实现避障功能;

该方法提高了机器人在导购过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和识别能力,从而实现机器人自助导购,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少,减少人们在购物商城由于寻找物品而消耗的时间和体力,提高购物效率。

具体实施方式

下面以具体实施例对本发明作进一步的说明,但本发明不受下述实施例的限定。

实施例1

本发明提供一种导购机器人的导购方法,具体过程如下:

S01:获取语音输入指令,并根据语音指令进行语义识别,将识别的结果显示在显示屏,若否,则提示重新输入指令;

S02:语音交互,识别结果是否正确,若否,则返回S01;

S03:在ROS系统预存储的地图中标记售货架区;在机器人所处位置与售货架区进行路径规划;

S04:语音交互,确定开始行走;若否,则返回S01;

S05:机器人行走,人跟随;

S06:行走过程中,保持与人之间的安全距离;

S07:达到标记售货架区,摄像头进行拍照,对照片进行文字识别或图像识别物品;

S08:识别完成,语音交互完成指令;若否,则返回S01;

S09:结束。

所述S01中,语音通过使用者在麦克风或移动终端输入,中央处理器接收相应的语音指令,对语音进行语义识别,识别完成后,将识别的结果与中央处理器中预存储的物品的信息进行匹配,匹配成功,将识别结果显示在显示屏;若否,则提示重新输入语音。

所述语音识别采用科大讯飞SDK(Software Development Kit,即软件开发工具包)进行语音交互,SDK将输入的语音指令转化成文本指令后传输至服务器,服务器获取文本指令中的物品信息后与服务器后台储存的物品数据进行匹配,得到匹配结果后生成识别结果,并生成序列操作指令。

所述S02中,机器人语音输出识别结果是否正确,经使用者确认后,完成语音物品识别。

所述S03中,中央处理器根据识别的结果,对ROS系统中预存储的物品地图进行匹配,匹配完成后在物品地图中标记售货架区,例如生鲜区或零食区等;根据机器人所处的具体位置在物品地图中的坐标和售货架区在物品地图中的坐标,机器人中央处理器进行路径规划,规划一条最近的路线,并将路线在显示屏中显示。

所述物品地图的建立方法如下:机器人主机内安装ROS操作系统,利用摄像头采集的数据生成二维点云数据,并利用gmapping框架和粒子滤波算法进行局部优化建立二维导航地图;或人工绘制二维导航地图,并将二维导航地图导入到微型主机内的ROS操作系统中,最后将二维导航地图储存至服务器后台。

所述S04中,机器人喇叭播报,是否开始行走,经使用者确认后,开始行走之前规划的路径。

所述S05在行走过程中,超声波传感器检测到障碍物,则重新开始规划路线,并语音提示“有障碍,是否重新规划路径”,使用者确认,若否,则机器人等待直至障碍物不在测试范围内。

进一步地,所述S05,在跟随过程中,若使用者跟踪失去目标,则机器人计算蓝牙发射器发射的信号位置与人本身位置的距离及方位;机器人往信号位置移动或转向,确定人体的位置或方向;到达目的地,语音交互是否继续跟随,若否,则机器人结束导购。

进一步地,所述S06中,用PID控制器控制机器人的跟随速度;判断机器人与后面跟随的人体的距离是否为安全距离,若超出安全距离,则加速;若低于安全距离,则减速。

进一步地,所述S07中,先对图像中的文字进行识别,得到匹配的结果后直接进行下一步;若文字无法识别或无文字,则进行图像识别。

进一步地,所述S07中,图像识别是指将摄像头拍摄的照片中的物品的图像在OpenCV先处理成黑白色,然后采用边界计算,导出图像中的边界,进行计算后得到相应的点云数据,确定相应的特征点,将特征点与语音识别后的物品的特征点进行匹配。

进一步地,所述S07中,文字识别是指将摄像头拍摄的照片中的文字在OpenCV先处理成黑白色,然后采用边界计算,导出图像中文字的边界,进行计算后得到相应的点云数据,确定相应的特征点,将特征点与语音识别后的文字的特征点进行匹配;确认使用者所需要的物品,将结果在显示屏中输出。

进一步地,所述文字识别为模板匹配法或几何特征抽取法。所述几何特征抽取法是指将摄像头拍摄的照片进行文字的抽取,抽取文字的一些几何特征,如文字的端点、分叉点、凹凸部分以及水平、垂直、倾斜等各方向的线段、闭合环路等,根据这些特征的位置和相互关系进行逻辑组合判断,获得识别结果。

进一步地,所述S08中,识别完成后,机器人语音播报导购完成,是否进行下一个任务。

一种导购机器人,所述机器人包括中央处理器、底盘、机身架、深度视觉摄像头、红外传感器、蓝牙接收器、显示屏、雷达和语音交互模块,所述机器人底盘上设置运动控制模块;

所述深度视觉摄像头、红外传感器、蓝牙接收器、显示屏、雷达、运动控制单元、语音交互模块均和中央处理器相连;

所述运动控制模块,包括微控制器、主动轮、万向轮和电机;所述主动轮和电机均与微控制器相连;

所述语音交互模块包括语音处理模块、喇叭、麦克风和音量调节装置;

所述机器人还连接后台服务终端;

所述机器人还包括控制面板和呼叫按钮;所述控制面板用于人机交互;所述呼叫按钮用于顾客呼叫超市服务人员;所述机器人通过无线网络与后台服务终端进行通讯;

所述深度视觉摄像头,用于拍摄目标物品的图像;所述红外传感器用于辅助检测人体位置;所述雷达,用于检测目标人体与机器人的实时距离;所述微控制器接收中央处理器的具体信号,并将信号转换为主动轮或万向轮的运动方向,电机的转运速度等;所述语音交互模块用于机器人与目标人体的交流;所述中央处理器,接收各配件的信号,并将其转换为对应的信号,发送相关的命令等。进一步包括报警装置,所述报警装置与中央处理器相连,报警装置,在机器人出现故障时报警提示。

进一步地,所述红外传感器设置在机器人头部。

所述后台服务终端能详细记录机器人与使用者之间的交互情况,在出现意外时,后台人员能及时的进行处理。

所述机器人通过自主构建的物品地图,在ROS系统中利用摄像头构建导航的物品地图,在通过语义识别相关的物品后,进行位置和区域路径规划,并实现行走导购,减少了计算量,识别物品及其位置准确度高、快捷、独立性强,噪声也保持一定的稳定性;

采用ROS系统数据计算,能够使运动独立性增强,减少运算的复杂程度,规划导购的运动轨迹简单,运动控制也更简单。

通过采用蓝牙信号的唯一ID,实现机器人的摄像头内出现多个人体或部分人体的距离较近的情况下,也能识别待导购的目标人体,减少干扰的出现,实现导购唯一化、准确及时。

进一步地,该方法提高了机器人在导购过程中的自由度、精确度,在时间和空间上及数据上进行融合以提高系统的适应性和物品及语义的识别能力,从而实现机器人自主导购,工作效率高,成本低,定位准确,实用性和可靠性高,运算量少,减少人们在购物商城由于寻找物品而消耗的时间和体力,提高购物效率。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1