智能认知机器人及其认知系统的制作方法
【专利摘要】本发明公开一种智能认知机器人的认知系统，包括：理解模块和情感模块，理解模块包括声音理解模块，视觉理解模块，触觉理解模块；情感模块包括声音情感认知模块、表情情感认知模块和触觉情感认知模块，以确定外界发令的情感权值，情感模块根据情感权值对应调取声音数据库、表情数据库和/或行为模式数据库中的信息并控制对应的执行件作出带有情感的应答反应。本发明还公开一种采用上述认知系统的智能认知机器人。本发明通过声音、图像和触觉，对外界发令做出相应的反应，不仅可以与外界发令产生一问一答式的互动，机器人的头颈部、四肢和/或躯干还能根据外界发令的情感权值回应带有感情色彩的动作、发声。
【专利说明】 智能认知机器人及其认知系统
【技术领域】
[0001]本发明涉及一种智能认知机器人，特别是涉及一种能与外部环境互动的认知系统。
【背景技术】
[0002]随着科学技术的发展，机器人已经走出实验室，进入人们的生活当中。虽然机器人多种多样，功能强大，可以应用于各行各业，如制造业，服务业或其他特种行业。但是，人机交互中缺乏情感认知的互动模式。
【发明内容】
[0003]有鉴于此，本发明的目的在于提供一种智能认知机器人的认知系统，能与外界发令产生带有情感的应答反应。
[0004]本发明的目的在于还提供一种智能认知机器人，能与外界发令产生带有情感的应答反应。
[0005]为了达成上述目的，本发明的解决方案是:
[0006]一种智能认知机器人的认知系统，包括:理解模块和情感模块，理解模块包括:
[0007]声音理解模块:根据发令的声音，通过分取词、断句和声调，理解发令的意图；
[0008]视觉理解模块:根据发令的图像，通过坐标定位、灰度变换、二值化、轮廓描绘、数据比较和概率分析处理图像，实现跟踪并理解发令的意图；
[0009]触觉理解模块:根据发令外界施加于机器人的碰触的位置、力度和方向，实现跟踪并理解发令的意图；
[0010]情感模块包括声音情感认知模块、表情情感认知模块和触觉情感认知模块；
[0011]声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对，确定情感权值，
[0012]表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对，确定情感权值，
[0013]触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对，确定情感权值，
[0014]根据情感权值对应调取声音数据库、表情数据库和/或行为模式数据库中的信息并控制对应的执行件作出带有情感的应答反应。
[0015]一种智能认知机器人，该机器人包括仿人形活动连接在一起的头部、躯干和四肢，还包括认知系统，认知系统包括理解模块和情感模块；
[0016]理解模块包括:
[0017]声音理解模块:根据发令的声音，通过分取词、断句和声调，理解发令的意图；
[0018]视觉理解模块:根据发令的图像，通过坐标定位、灰度变换、二值化、轮廓描绘、数据比较和概率分析处理图像，实现跟踪并理解发令的意图；
[0019]触觉理解模块:根据发令外界施加于机器人的碰触的位置、力度和方向，实现跟踪并理解发令的意图；
[0020]情感模块包括声音情感认知模块、表情情感认知模块和触觉情感认知模块；
[0021]声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对，确定情感权值，
[0022]表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对，确定情感权值，
[0023]触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对，确定情感权值，
[0024]根据情感权值对应调取声音数据库、表情数据库和/或行为模式数据库中的信息并控制对应的语音播放单元、机器人的头颈部、四肢和/或躯干作出带有情感的应答反应。
[0025]采用上述方案后，本发明的智能认知机器人的认知系统具有以下有益效果:通过声音、图像和触觉，认知系统能对外界发令做出相应的反应，与人产生互动式交流，不仅可以与外界发令产生一问一答式的互动，还能控制机器人的执行件根据外界发令的情感权值回应带有感情色彩的动作、发声。
[0026]采用上述方案后，本发明的智能认知机器人具有以下有益效果:机器人通过声音、图像和触觉，认知系统能对外界发令做出相应的反应，与人产生互动式交流，不仅可以与外界发令产生一问一答式的互动，机器人的头颈部、四肢和/或躯干还能根据外界发令的情感权值回应带有感情色彩的动作、发声。仿人形活动连接在一起的头部、躯干和四肢构成机器人，其活动自由，扩大了机器人的活动范围，能更好地开发和扩展其它功能。
【专利附图】
【附图说明】
[0027]图1为本发明的结构示意图。
[0028]图中:
[0029]头部I眼睛11
[0030]鼻子12耳朵13
[0031]嘴吧14眉毛15
[0032]躯干2四肢3
【具体实施方式】
[0033]为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
[0034]如图1所示，本发明的智能认知机器人包括仿人形活动连接在一起的头部1、躯干2和四肢3，这些构成执行件。头部I通过颈部连接躯干2，颈部通过轴承等能自由旋转任意角度的旋转件装配在躯干2上。头部也可通过具有阻尼功能的上述旋转件，以能上下摆动设定角度的方式装配在颈部上。这样，头部I可以上下摆动、左右旋转。头部上装配有拟人的五官，如眼睛11、鼻子12、耳朵13和嘴吧14、眉毛15。头部1、头部I上的五官、躯干2和四肢3分别通过对应的舵机驱动，实现点头、摇头、动眉、转眼睛、张闭嘴、支楞耳朵、耷拉耳朵、行走、伸屈臂、摆臂等带情感的拟人动作。
[0035]本发明还包括认知系统，认知系统控制上述执行件根据外界发令作出相应反应，这里的发令即指令。认知系统包括理解模块和情感模块。外界发令可以是由发令人，也可以是设定好的音像播放器发出的声音、图像、动作等发令。
[0036]理解模块包括声音理解模块、视觉理解模块、触觉理解模块和学习模块。
[0037]声音理解模块通过麦克等录音终端接收外界发令人的语音、语句、音乐、录音播放等发令，通过对发令进行分词、取词、断句和判断声调的升降变化，理解上述发令的意图。
[0038]中文分词的算法是基于词典与规则的方法，将发令的汉字串与声音数据库中存储的词条等信息进行一一匹配，若在声音数据库中找到某个字符串，则匹配成功。取词是从左向右取发令的汉语句的m个字符作为匹配字段，m为声音数据库中最长词条个数。
[0039]查找声音数据库并进行匹配，若匹配成功，则将这个匹配字段作为一个词切分出来。若匹配不成功，则将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切分出所有词为止。
[0040]发令中的关键词的取得是先在声音数据库中设立常用词汇的权重值，经过权重比较，获得大概率的语意表达倾向。将关键词分配到声音数据库中预设的语境库里，如吃饭、休息、外出、回家、娱乐、问候、旅游、查询、百科知识等的语境库，语境库中的关键词匹配有应答词句作为回答。当机器人根据关键词所对应的语境库，查找与关键词相匹配的词语作为回答，从而与发令人产生互动。
[0041]英文的分词、取词、断句和判断声调的升降变化，理解语音的语意等与中文模式类似，在此不再赘述。
[0042]另外，可用微软中文语音SDK采集发令人的声音发令，应用vb编程，由串口数据指令对应的单片机分析执行对应的发令。
[0043]视觉理解模块通过头部装配的图像采集单元捕捉外界图像，例如发令人的表情、发令人出示的物品、发令人手绘的图案、外界音像终端播放的图像等。视觉理解模块通过坐标定位、灰度变换、二值化、轮廓描绘、数据比较和概率分析处理图像，实现跟踪和理解发令人的意图。另外，图像采集单元可采用普通摄像头，或者变焦摄像头，这样可以适应不同远近的识别需要。
[0044]图像采集单元通过ezVidC60.0cx控件，将采集的图像利用VB图像采集并储存图像程序。
[0045]图像处理如下:首先，对采集的图像首先坐标定位，找到图像中数字位置所在。还可在机器人上装配的或者外接的显示屏上手动调节，有利于提高识别准确率。其次，根据公式Gray = rX0.39+gX0.5+bX0.11对采集到的彩色图像的RGB值进行转换，实现图像灰度化。其中，Gray为灰度值，r、g、b分别为红色、绿色和蓝色分量值。最后根据图像采集时的环境光度，调节阈值，图像二值化。较佳地，阈值设定在145左右，能够适应大部分环境。阈值的调节直接关系图像的识别。二值化之后的图像进行轮廓描绘。例如，在数学算式识别计算时，视觉理解模块将采集到的手写数字图像自动分割成数块与声音数据库中存储的数字、逻辑运算符等进行对比，通过概率分析识别出数字及逻辑运算符并进行计算。
[0046]脸部表情图像处理如下:通过人脸对光线的反光差异，将捕捉到的脸部表情图像进行二值化分析，并指令机器人头部跟随该脸部转动。
[0047]触觉理解模块通过机器人头部、头部五官的传感器或者电信号的变化感受发令人的碰触动作，通过该碰触的位置、力度和方向理解发令人的意图。
[0048]情感模块:包括声音情感认知模块、表情情感认知模块和触觉情感认知模块。
[0049]声音情感认知模块将声音理解模块的输出与声音数据库中存储的语言信息比对，确定情感权值。声音数据库中的词的情感权值设定为三类:友好、中性的不友好。如“你好啊”，“我们来交朋友吧”这类话的情感权值属友好。如“我要走了”、“请你让一下路”这类话的情感权值属中性。如“你的脾气真坏”、“不知所云”这类情感权值属不友好。
[0050]表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对，确定情感权值。表情数据库中也将多种表面设定为三类:友好、中性的不友好。例如，微笑、大笑、点头等的情感权值属友好，皱眉、嘴角下拉、瞪眼等的情感权值属不友好，正视、没有笑容等的情感权值属中性。
[0051]触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对，确定情感权值。行为模式数据库中也将多种行为分为三类:友好、中性的不友好。例如拍肩膀、点鼻子、拍巴掌、摸头、拉手、招手等的情感权值属友好。握拳头、推搡等的情感权值属不友好。背手、立正、稍息、路过等的情感权值属中性。
[0052]根据情感权值调取声音数据库、表情数据库、行为模式数据库中对应的信息，向对应的单片机发出指令，指令包括角度和时间等信息；该单片机根据指令控制对应的舵机，该舵机驱动对应的语音播放单元、机器人的头颈部、四肢和躯干等执行件分别动作，即有选择性地产生相应的动作来表达机器人的愉快、沮丧、活跃、发呆等情绪，使机器人产生对应的主观动作。这样当机器人接收到友好的情感权值的信息时，则发声问候、扬起眉毛、转动眼睛、张开嘴巴、闭合嘴巴、转动脑袋、挥舞手臂等。当机器人接收到不友好的情感权值的信息时，则转动脑袋、耷拉耳朵、或者说“烦人、不理你了”等等。
[0053]舵机是一种位置伺服的驱动器，适用于那些需要角度不断变化并可以保持的控制系统。其工作原理是:控制信号由接收机的通道进入信号调制芯片，获得直流偏置电压。它内部有一个基准电路，产生周期为20ms，宽度为1.5ms的基准信号，将获得的直流偏置电压与电位器的电压比较，获得电压差输出。最后，电压差的正负输出到电机驱动芯片决定对应的电机正反转。当该电机转速一定时，通过级联减速齿轮带动电位器旋转，使得电压差为O，该电机停止转动。
[0054]单片机系统实现对舵机输出转角的控制，先需完成两个任务:首先是产生基本的PWM周期信号，本发明产生20ms的周期信号；其次是脉宽的调整，即单片机模拟PWM信号的输出，并且调整占空比。本发明可采用金属齿轮舵机，力矩达到13Kg/cm，速度60度/秒，控制的精度0.1度，控制范围0-180度。本发明利用单片机定时器TO和Tl分别控制16路舵机，16路舵机分别对应控制上述执行件的动作。
[0055]当机器人接收到语音、文字或者图像，不能通过对应的声音数据库、表情数据库、行为模式数据库识别时，可以通过学习模块将该语音、文字或者图像存储到对应的声音数据库、表情数据库、行为模式数据库中，以备该语音、文字或者图像重现时，如前所述进行对比分析。学习模块还可使机器人根据外界发令，例如教学软件、教学网络、教师的授课来自学，机器人通过这种自学方式可丰富完善声音数据库、表情数据库、行为模式数据库。由于机器人具备一定的学习能力，可以在闲暇时余和机器人玩耍，放松身心。
[0056]另外，本发明的机器人还可设定情景会话、休闲、计算等模式。在情景会话模式下，机器人能够与发令人产生互动，主要是根据情感模块确定的情感权值调取声音数据库、表情数据库和/或行为模式数据库中对应的信息并控制对应的语音播放单元、机器人的头颈部、四肢和/或躯干动作。
[0057]在休闲模式下，机器人自主地行走、自行播放音乐、自主地活动头颈部、四肢和/或躯干，像宠物一样营造出一种温馨的家居气氛。
[0058]在计算模式下，机器人将外界运算式与声音数据库中的运算数据库中存储的数字、逻辑运算符等进行对比，通过概率分析识别出数字及逻辑运算符并进行计算。
[0059]本发明的机器人不仅可以与外界发令产生一问一答式的互动，还能根据外界发令的情感权值回应带有感情色彩的动作、语言。例如愉快、烦恼、转动脑袋、耷拉耳朵、或者说“烦人、不理你了”，或者为发令人或者为自己加油“太好了、太棒了”，或者观察到外界环境变化而发出提醒“小心、注意”等等。
[0060]本发明的机器人结构简单，功能强大，独特的学习模块可模拟婴儿的看图识字过程，为生活增添了许多乐趣，进入千家万户，为广大人民群众服务，其应用前景更加广阔。
[0061]上述实施例和附图并非限定本发明的产品形态和式样，任何所属【技术领域】的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
【权利要求】
1.一种智能认知机器人的认知系统，其特征在于，包括:理解模块和情感模块，理解模块包括: 声音理解模块:根据发令的声音，通过分取词、断句和声调，理解发令的意图； 视觉理解模块:根据发令的图像，通过坐标定位、灰度变换、二值化、轮廓描绘、数据比较和概率分析处理图像，实现跟踪并理解发令的意图； 触觉理解模块:根据发令外界施加于机器人的碰触的位置、力度和方向，实现跟踪并理解发令的意图； 情感模块包括声音情感认知模块、表情情感认知模块和触觉情感认知模块； 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对，确定情感权值， 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对，确定情感权值， 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对，确定情感权值， 根据情感权值对应调取声音数据库、表情数据库和/或行为模式数据库中的信息并控制对应的执行件作出带有情感的应答反应。
2.一种智能认知机器人，其特征在于，该机器人包括仿人形活动连接在一起的头部、躯干和四肢，还包括认知系统，认知系统包括理解模块和情感模块； 理解模块包括: 声音理解模块:根据发令的声音，通过分取词、断句和声调，理解发令的意图； 视觉理解模块:根据发令的图像，通过坐标定位、灰度变换、二值化、轮廓描绘、数据比较和概率分析处理图像，实现跟踪并理解发令的意图； 触觉理解模块:根据发令外界施加于机器人的碰触的位置、力度和方向，实现跟踪并理解发令的意图； 情感模块包括声音情感认知模块、表情情感认知模块和触觉情感认知模块； 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对，确定情感权值， 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对，确定情感权值， 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对，确定情感权值， 根据情感权值对应调取声音数据库、表情数据库和/或行为模式数据库中的信息并控制对应的语音播放单元、机器人的头颈部、四肢和/或躯干作出带有情感的应答反应。
【文档编号】B25J11/00GK104493827SQ201410660457
【公开日】2015年4月8日 申请日期:2014年11月17日 优先权日:2014年11月17日
【发明者】杨利, 陈思鑫, 王思一 申请人:福建省泉州市第七中学