一种基于身份识别的人-机器人交互装置和方法
【专利摘要】本发明涉及一种基于身份识别的人?机器人交互装置和方法。利用人脸、语音等人体生物信息对用户进行身份识别，机器人根据用户模型和用户的使用信息为不同用户主动推送符合其特征的需求。用户选择需求后，机器人执行相应的指令。应用本发明提供的一种基于身份识别的人?机器人交互装置和方法，可以使机器人主动地向不同用户推送符合其特征的需求，使人与机器人的合作更加自然高效。
【专利说明】
一种基于身份识别的人-机器人交互装置和方法
技术领域
[0001]本发明涉及机器人技术领域，具体涉及一种基于身份识别的人-机器人交互装置和方法。
【背景技术】
[0002]人与机器人自然和谐的交互是服务机器人发展的重要方向，传统的人-机器人的交互是指用户通过固定的交互界面向机器人传达命令。这样的交互界面需要用户主动对其适应，机器人只是一个被动的命令执行者。普通的人机交互界面对于每一个用户，其布局是不变的，且界面应用相对固定，如果用户需要在服务机器人的交互界面中寻找某一个应用，则可能需要大量的寻找过程。尤其是对于“视线跟踪” “语音”等自然的非接触性人机交互通道，这些寻找过程将会对用户带来巨大的操作负担，所以让机器人能够主动向用户推送需求是很有意义的。本发明以身份识别为基础，通过机器人对用户身份的认证，结合用户与机器人之间的交互信息，主动向用户推送其可能的需求，让人与服务机器人的合作交互更加尚效。
【发明内容】
[0003]针对现有技术存在的缺陷，本发明的目的是提供一种基于身份识别的人-机器人交互装置和方法，让机器人在识别出用户身份后，结合用户的交互信息在交互界面上主动向用户推送其最可能的需求，用户根据推送信息进行选择，体现了机器人与用户沟通的主动性，弥补了常规交互界面功能固定的缺点，更加高效地进行人机合作。
[0004]为了实现上述目的，本发明采用下述技术方案:
一种基于身份识别的人-机器人交互装置，包括服务机器人，计算机，显示器，CCD摄像机，麦克风，扬声器，无线网卡，无线路由器;所述显示器和CCD摄像机放于用户脸部前方，所述麦克风和扬声器放于用户头部附近，且都与计算机连接;所述计算机与服务机器人各插入一个无线网卡，在无线路由器提供的局域网范围内进行通信，用户与显示器中的人机交互界面进行交互，计算机将交互信息通过无线网络传递给服务机器人，最终达到用户与服务机器人协同合作的目的。
[0005]—种基于身份识别的人-机器人交互方法，具体步骤为:服务机器人通过人脸识别的方式对用户进行身份识别，服务机器人确认用户身份后，结合用户模型对用户进行信息组织，将“个性化”的推荐内容显示至人机交互界面中，用户通过人机交互界面与服务机器人的进行人机交互，服务机器人根据用户选择的指令完成交互动作。
[0006]所述身份识别的具体步骤为:用户的脸部由CCD摄像机将图像采集到服务机器人内存中进行训练，将检测到的用户人脸通过图像处理和机器学习的方法进行人脸识别，在环境不适合人脸识别的情况下，用户通过麦克风向服务机器人发出语音进行语义识别确定用户身份;服务机器人对用户进行人脸识别时，判断用户是否为新用户，如果为新用户，扬声器通过语音提示用户是否进行人机交互，如果用户做出肯定的回应，CCD摄像机采集新用户人脸图像，进行人脸训练，并创建新用户信息；如果用户做出否定的回应，显示器呈现固定的人机交互界面；如果为已知用户，服务机器人直接读取用户信息呈现至人机交互界面中，并进行个性化的服务。
[0007]所述的“个性化”推荐具体为:每个用户都有与之对应的用户模型，用于存放用户信息，用户信息在用户与服务机器人交互的过程中，是实时更新的，服务机器人根据用户模型的信息对各应用程序进行权重计算，将用户可能感兴趣的应用程序向其推荐。
[0008]所述人机交互界面分为身份识别区域，主菜单区域，信息推荐区域，身份识别区域用于识别用户身份，主菜单区域供用户选择需求，信息推荐区域用于显示服务机器人主动向用户推送的元素。
[0009]与现有技术相比，本发明具有如下突出的优点:
本发明服务机器人通过对用户身份的识别，结合用户的用户模型和交互信息，主动地向用户推送其可能的需求，使人与服务机器人的交互更加和谐高效。
【附图说明】
[0010]图1为基于身份识别的人-机器人交互系统架构框图。
[0011 ]图2为身份识别的方法流程图。
[0012]图3为人-机器人交互界面示意图。
[0013]图4为机器人推荐电影流程图。
【具体实施方式】
[0014]下面结合附图对本发明优选实施例作详细说明。
[0015]如图1所示，一种基于身份识别的人-机器人交互装置，包括服务机器人2，计算机3，显示器5，CCD摄像机6，麦克风7，扬声器8，无线网卡9，无线路由器10;所述显示器5和CCD摄像机6放于用户I脸部前方，所述麦克风7和扬声器8放于用户I头部附近，且都与计算机3连接;所述计算机3与服务机器人2各插入一个无线网卡9，在无线路由器10提供的局域网范围内进行通信，用户I与显示器5中的人机交互界面4进行交互，计算机3将交互信息通过无线网络传递给服务机器人2，最终达到用户I与服务机器人2协同合作的目的。
[0016]如图2所示，一种基于身份识别的人-机器人交互方法，具体步骤为:服务机器人2通过人脸识别的方式对用户I进行身份识别，服务机器人2确认用户身份后，结合用户模型对用户I进行信息组织，将“个性化”的推荐内容显示至人机交互界面4中，用户I通过人机交互界面4与服务机器人2的进行人机交互，服务机器人2根据用户I选择的指令完成交互动作。
[0017]所述身份识别的具体步骤为:用户I的脸部由CCD摄像机6将图像采集到服务机器人2内存中进行训练，将检测到的用户I人脸通过图像处理和机器学习的方法进行人脸识另IJ，在环境不适合人脸识别的情况下，用户I通过麦克风7向服务机器人2发出语音进行语义识别确定用户身份;服务机器人2对用户I进行人脸识别时，判断用户I是否为新用户，如果为新用户，扬声器8通过语音提示用户I是否进行人机交互，如果用户I做出肯定的回应，CCD摄像机6采集新用户I人脸图像，进行人脸训练，并创建新用户信息；如果用户I做出否定的回应，显示器5呈现固定的人机交互界面4;如果为已知用户，服务机器人2直接读取用户信息呈现至人机交互界面4中，并进行个性化的服务。
[0018]所述的“个性化”推荐具体为:每个用户I都有与之对应的用户模型，用于存放用户信息，用户信息在用户I与服务机器人2交互的过程中，是实时更新的，服务机器人2根据用户模型的信息对各应用程序进行权重计算，将用户I可能感兴趣的应用程序向其推荐。
[0019]所述人机交互界面4分为身份识别区域，主菜单区域，信息推荐区域，身份识别区域用于识别用户I身份，主菜单区域供用户I选择需求，信息推荐区域用于显示服务机器人2主动向用户I推送的元素。
[0020]本发明的使用过程如下:
基于身份识别的人-机器人交互方法为用户推送饮料:身份识别过程:CCD摄像机6获取用户面部图像，服务机器人2通过人脸识别对用户进行身份进行辨识。如果用户I为新用户，语音通道通过扬声器8询问用户的姓名和需求，用户通过麦克风7进行语音回答。如果用户I回答“是”，CCD摄像机6采集用户人脸图像，进行人脸训练，并创建新用户的用户模型；如果多次询问后，用户I并未对服务机器人2做出响应，显示器5呈现固定的人机交互界面。如果用户为已知用户，服务机器人2直接读取用户信息并呈现至人机交互界面4中。
[0021]用户信息推送过程:服务机器人2读取用户的用户模型，此用户模型包含用户的爱好电影、音乐、食品等，常用的交互通道视线、语音等。读取的用户模型信息将被呈现至人机交互界面4，服务机器人2将用户I可能的需求推送至人机交互界面4中，人机交互界面4分为身份识别区域，主菜单区域，信息推荐区域。身份识别区域用于识别用户I身份，主菜单区域供用户I选择需求，信息推荐区域用于显示服务机器人2主动向用户I推送的元素。
[0022]参见图3，用户I进入人交互界面4的饮料菜单，计算机3结合用户之前拿取饮料的信息，通过对各种饮料权重的计算，向用户I推送其最可能需要的饮料。用户I选择自己需要的饮料，计算机3通过无线通信将用户选择的饮料信息传递给服务机器人2。服务机器人2获取命令后，运动至摆放饮料的位置区域，执行饮料的抓取动作，并将饮料拿送至用户I附近。服务机器人2每执行一次饮料的抓取，饮料的信息都将会记录在该用户的用户信息中，为下一次机器人2对饮料的推送提供数据支持。
[0023]基于身份识别的人-机器人交互的方法为用户推送电影:参见图4，用户I进入人机交互系统电影栏目，服务机器人2根据用户之前的观看记录，主动向用户推送其可能喜欢的电影，用户I选择电影播放。在用户I观看电影的同时，CCD摄像机6实时对用户I进行人脸检测，如果5秒钟未检测出人脸，服务机器人2判断用户为离开状态，将电影停止播放。若用户I再次进入人机交互区域，当CCD摄像机6检测出人脸时，对用户I进行身份识别，如果识别结果为上次离开的用户，电影继续播放;如果识别结果为其他用户，人机交互界面返回至初始界面，用户I与服务机器人2继续进行人机交互。
【主权项】
1.一种基于身份识别的人-机器人交互装置，其特征在于，包括服务机器人(2)，计算机(3)，显示器(5)，CCD摄像机(6)，麦克风(7)，扬声器(8)，无线网卡(9)，无线路由器(10);所述显示器(5)和CXD摄像机(6)放于用户(I)脸部前方，所述麦克风(7)和扬声器(8)放于用户(I)头部附近，且都与计算机(3)连接;所述计算机(3)与服务机器人(2)各插入一个无线网卡(9)，在无线路由器(10)提供的局域网范围内进行通信，用户(I)与显示器(5)中的人机交互界面(4)进行交互，计算机(3)将交互信息通过无线网络传递给服务机器人(2)，最终达到用户(I)与服务机器人(2)协同合作的目的。2.一种基于身份识别的人-机器人交互方法，其特征在于，具体步骤为:服务机器人(2 )通过人脸识别的方式对用户(I)进行身份识别，服务机器人(2)确认用户身份后，结合用户模型对用户(I)进行信息组织，将“个性化”的推荐内容显示至人机交互界面(4)中，用户(I)通过人机交互界面(4)与服务机器人(2)的进行人机交互，服务机器人(2)根据用户(I)选择的指令完成交互动作。3.根据权利要求2所述的基于身份识别的人-机器人交互方法，其特征在于，所述身份识别的具体步骤为:用户(I)的脸部由CCD摄像机(6)将图像采集到服务机器人(2)内存中进行训练，将检测到的用户(I)人脸通过图像处理和机器学习的方法进行人脸识别，在环境不适合人脸识别的情况下，用户(I)通过麦克风(7)向服务机器人(2)发出语音进行语义识别确定用户身份;服务机器人(2)对用户(I)进行人脸识别时，判断用户(I)是否为新用户，如果为新用户，扬声器(8)通过语音提示用户(I)是否进行人机交互，如果用户(I)做出肯定的回应，CCD摄像机(6)采集新用户(I)人脸图像，进行人脸训练，并创建新用户信息;如果用户(I)做出否定的回应，显示器(5)呈现固定的人机交互界面(4);如果为已知用户，服务机器人(2)直接读取用户信息呈现至人机交互界面(4)中，并进行个性化的服务。4.根据权利要求2所述的基于身份识别的人-机器人交互方法，其特征在于，所述的“个性化”推荐具体为:每个用户(I)都有与之对应的用户模型，用于存放用户信息，用户信息在用户(I)与服务机器人(2)交互的过程中，是实时更新的，服务机器人(2)根据用户模型的信息对各应用程序进行权重计算，将用户(I)可能感兴趣的应用程序向其推荐。5.根据权利要求2所述的基于身份识别的人-机器人交互方法，其特征在于，所述人机交互界面(4)分为身份识别区域，主菜单区域，信息推荐区域，身份识别区域用于识别用户(I)身份，主菜单区域为用户(I)提供需求，信息推荐区域用于显示服务机器人(2)主动向用户(I)推送的元素。
【文档编号】G06K9/00GK105892829SQ201610199302
【公开日】2016年8月24日
【申请日】2016年4月2日
【发明人】艾璞, 赵其杰, 张旭东
【申请人】上海大学