一种自闭症儿童辅助治疗的智能机器人的制作方法

本发明涉及机器人领域，尤其涉及一种自闭症儿童辅助治疗的智能机器人。

背景技术：

自闭症，现已成为需要迫切关注的公共健康问题，给社会和家庭带来巨大的经济和精神负担。联合国报告称，全球现有自闭症患者3500万人，其40％是儿童，每20分钟将诞生一名自闭症儿童。

机器人出现于上世纪60年代，在机器人诞生之初的1976年，就有人把它用在自闭症儿童的干预训练中进行了大胆尝试：weir用机器人对一位自闭症儿童进行干预训练，取得了良好效果。

近年来，一些国内外的研究者对机器人干预治疗自闭症进行了有意义的探索。在dautenhahn等人的研究认为，机器人在和自闭症儿童交流时，会给自闭症儿童营造出一种可预测的环境，而这种安全和稳定的环境对稳定自闭症儿童的情绪十分有利，在此环境中适合发展自闭症儿童的社交技能。另一些研究发现自闭症患者在模仿机器人和人的手部动作时，对机器人动作的模仿速度要超过对人的模仿，自闭症儿童看到机器人抓球时的反应比看到人抓球时的反应明显更快，让自闭症儿童和机器人一起玩游戏，自闭症儿童能积极与机器人互动。这表明在机器人的介入下，自闭症儿童可以形成一定的接受意愿和表达意愿，在自闭症儿童与机器人交往和与人交往中，自闭症儿童也更愿意接受前者。南开大学的研究者选取了20名自闭症儿童进行了人机互动社交场景的眼动实验，发现自闭症儿童和正常儿童对人机互动社交场景展现出相同的注意模式，即机器人可以引发自闭症儿童正常的注意模式。这些研究都显示了机器人在康复干预中的巨大潜力和优势。目前国内外关于机器人干预自闭症儿童的研究，常见的主要有下几个方向：①、模仿、训练某个技能②、引发行为③提供反馈和鼓励。

虽然智能机器人有着非常广泛的应用范围和无可限量的发展前景,但是也有很多不足之处，1)障碍物绕行能力差，部分机器人传感器选择及算法不到位，被困后通过反复撞击来尝试出路，呈现的是一幅无序的路线。2)较易损坏,由于各部件本身精密细致,链接精巧繁多,即使一个小小的错误总会对整个机械运动情况有影响。3)市场上能同时识别语音、面部表情、肢体语言的机器人比较少，而且存在很大缺陷。

技术实现要素：

本发明提供了一种自闭症儿童辅助治疗的智能机器人，包括,nao机器人，该智能机器人还包括：

视觉识别模块：搜索路径采用原地查找、走动和旋转查找实现360度全视野搜索；目标颜色识别基于yuv颜色空间进行；目标跟踪采用目标始终在视野中心算法实现；

智能问答模块：使用云端语音识别的方法,nao机器人通过获取用户的语音问句,上传到web云端去识别,再对返回来的识别文字做相应的问句分析、答案检索处理；

该智能机器人识别自闭症儿童的情绪，执行相应的动作；该智能机器人通过语音识别模块识别自闭症儿童的语音，执行相应的动作。

作为本发明的进一步改进，在视觉识别模块中，进行视觉目标检测与跟踪，首先,对rgb、his、yuv三种颜色空间下采集到的图像进行了分析对比,选择了受光照影响最小的yuv颜色空间,减小了机器人所采集图像受到光照变化的影响；其次,对所采集的图像进行图像分割,提取出所需要的目标图像,并且对目标图像进行去噪处理,去除图像中的干扰噪声；最后提取出目标定位和跟踪所需要的轮廓以及坐标信息。

作为本发明的进一步改进，在所述视觉识别模块中，对nao机器人的摄像机模型进行分析，对摄像机的内外参数进行了标定,进而构建了针对nao机器人的单目测距模型；设计不同情况下机器人应该采用的不同策略,使得机器人能够高效精确地跟踪到目标,并且编写nao机器人在跟踪过程中所需要的动作。

作为本发明的进一步改进，使用choregraphe软件编写nao机器人在跟踪过程中所需要的动作。

作为本发明的进一步改进，语音识别模块调用了科大讯飞股份有限公司的语音识别和语义理解功能。

作为本发明的进一步改进，该智能机器人具有音乐播放、对话功能，音乐播放功能：播放音乐，采用奥尔夫音乐治疗法进行治闻；对话功能：和自闭症儿童交流，克服社交恐惧。

作为本发明的进一步改进，该智能机器人具有打招呼、握手功能，打招呼、握手功能：根据特定的动作，培训自闭症儿童打招呼的习惯。

作为本发明的进一步改进，该智能机器人具有游戏和舞蹈功能，游戏功能：通过角色游戏完成社会角色的代入，形成社会交往技能；舞蹈功能：自闭症儿童与nao机器人共舞。

作为本发明的进一步改进，该智能机器人设有通信模块，使用通信模块与其他机器人进行交互。

作为本发明的进一步改进，所述通信模块包括红外模块、wifi模块。

本发明的有益效果是：本发明的智能机器人构建了自闭症儿童的内容丰富、类型多样的音乐库；基于自闭症儿童面部表情，智能选取适合自闭症儿童的个性音乐；音乐与舞蹈结合提升自闭症儿童感知能力；利用场景游戏互动培养自闭症儿童日常交流习惯；智能聊天强化自闭症儿童对话能力，从而显著提高儿童自闭症的治疗效果。

附图说明

图1是本发明的模块框架图。

图2是本发明的课程设计流程图。

具体实施方式

本发明公开了一种自闭症儿童辅助治疗的智能机器人,本发明是基于当前主流的机器人nao硬件系统，面向自闭症儿童开发智能音乐和互动交流的智能机器人。

本发明nao机器人是基于choregraphe软件进行开发，帮助自闭症儿童康复的人工智能机器人，主要依托choregraphe软件对机器人进行编写，实现对话、动作、视频触发等功能，从而实现遵循某种社交行为和规范与自闭症儿童亲切互动和沟通。同时nao机器人拥有着讨人喜欢的外形，肢体语言有趣，增加亲切感，对自闭症儿童具备吸引力，能够降低自闭症儿童的社交恐惧感，有潜质成为自闭症儿童社会技能干预的有效工具。

该智能机器人具有三个方面的优势：一是智能机器人比人更有耐心，同时还可以节省人力资源；二是：具有运动功能，能够创设丰富多样的互动型游戏场景，例如:与自闭症儿童进行角色扮演和跳舞的互动游戏，成为自闭症儿童社交互动的伙伴，而不是被动的玩具；三是实时提供感官奖励，使自闭症儿童在互动中获得成就感。

本发明的智能机器人实现协助诊断、提高眼神注释和主动性交互、轮流、模仿、情绪鉴别、共同注意和多人交互等方式。在自闭症儿童干预中扮演多种角色：康复师、响应玩具等，有效引导自闭症儿童执行社会交往的动作和语言行为和调节自闭症儿童与他人的社会交往行为。

下表为本发明的运行环境：

该智能机器人包括：

视觉识别模块：nao可以抓拍发送图像，视频，分辨色彩，感知物体，人脸识别，通过电脑或者网络实现文件下载，动作控制，实时传输图像等等。它完全自主，可以在有障碍物的房间里自己找了能行走的路线，当电量低时，还能自己到充电基座去充电。针对目前应用最广的新型仿人机器人nao平台,和其官网发布的目标识别算法原理,提出一种改进的识别方法,降低光照对目标识别的影响,缩短机器人识别、定位和跟踪整个过程闭环操作过程的反应时间。其中搜索路径采用原地查找、走动和旋转查找三部曲实现360度全视野搜索；目标颜色识别基于yuv颜色空间进行；目标跟踪采用目标始终在视野中心算法实现；同时分析第四代nao机器人的硬件参数设计头关节垂直偏角与目标的距离计算公式,用于目标快速定位。

声音识别模块：声纳传感器使它能精确稳定地识别、适应各种环境。提供行业领先的广角拾音技术，提供更好的声音捕捉能力，提供更为优秀的噪音去除算法，让人机交互更为顺畅。

语音输入模块：全球领先的、自主知识产权的智能人机交互技术，强大的、精确的中文自然语言综合处理能力。精准的语音唤醒技术，提供非接触式对话交互能力细腻的情感识别技术，适配用户情绪服务场景。对说话人声源检测，并主动适配最佳角度捕捉人脸主动发起用户问候服务。

多重交互语音合成、特征识别、声音定位和各种灵敏传感器使它能成为真正的多重交互式的机器人。配备红外和wi-fi使它能和其他机器人进行交互。大数据运营分析平台提供最有价值的用户需求即时分析访问数据，为服务策略地调整和营销策略提供强大支持。

系统设计：

智能问答系统设计问答系统的实现方式有很多种,有些是基于数据库的,有些事基于搜索引擎的。基于数据库的问答系统需要构建一个庞大的知识库,这部分工作量是巨大而繁琐的。

基于搜索引擎的问答系统则是省略了知识库构建繁琐的过程,主要是工作集中在问句的理解,答案的抽取和排序。随着信息的逐渐网络化,很多的信息都可以从互联网上获得。从web不同网站入口爬取相关内容,解析网页结构,再做相应的信息抽取,进一步整理数据,数据清洗、消解,实体融合,产生结构化知识库。以这样相对完善的cs知识库为基础,同时以人型机器人nao作为硬件平台构建智能问答系统iasknao。主要的研究重点是构建结构化知识库、知识库的web可视化展示和对问句query的分析和计算。

传统构建问答系统的过程一般包括：问句分析、信息检索、答案抽取。智能问答系统侧重点在于系统的搭建过程,主要包括通过web网页爬取、信息抽取、数据整理、知识库构建、web可视化展示以及在nao上搭建融合不同场景下的问答系统,最后将相应的工作都融合在硬件平台nao上面。nao机器人本身自带有语音识别的引擎,但是缺点在于是属于插入识别,这样就限制了问句的形式,无法满足用户多样化的问题形式。基于此,采用了使用云端语音识别的方法,nao机器人通过获取用户的语音问句,上传到web云端去识别,再对返回来的识别文字做相应的问句分析、答案检索等一系列处理,这样客服了nao自带语音识别的问题,使得问句的形式更加多样化,对于后期问答系统的问句的拓展奠定了很重要的基础。

视觉目标检测与跟踪：

在研究nao机器人视觉算法的基础上,重点研究了仿人型机器人的目标检测与跟踪算法，结合机器人视觉检测与跟踪算法。首先,对rgb、his、yuv三种颜色空间下采集到的图像进行了分析对比,选择了受光照影响最小的yuv颜色空间,减小了机器人所采集图像受到光照变化的影响。其次,对所采集的图像进行图像分割,提取出所需要的目标图像,并且对目标图像进行去噪处理,去除图像中的干扰噪声。最后提取出目标定位和跟踪所需要的轮廓以及坐标等信息。视觉算法确定的基础上,设计了nao机器人的视觉定位、抓取实验,对机器人的视觉算法进行验证。首先,对nao机器人的摄像机模型进行了分析,根据其只能同时使用一个摄像头的特点,对摄像机的内外参数进行了标定,进而构建了针对nao机器人的单目测距模型。其次,设计了不同情况下机器人应该采用的不同策略,使得机器人能够高效精确地跟踪到目标,并且使用choregraphe软件编写了机器人在跟踪过程中所需要的关键动作。最后,给出nao机器人的整个跟踪系统框架,并且设计了nao机器人的跟踪抓取实验,对实验结果进行分析后证明该目标跟踪系统能够实时、准确地跟踪目标。

语音识别模块：由于nao机器人自带的模块的对于中文的识别率不是特别理想，而且自带的对话剧本太少，所以写了一个nao的模块来替换自带的语音识别模块。本发明的语音识别模块调用了科大讯飞股份有限公司的语音识别和语义理解功能。相对于系统自带的模块有对中文识别准确率更高，识别反应速度更快的优势。

该智能机器人具有音乐播放、对话功能，音乐播放功能：播放音乐，采用奥尔夫音乐治疗法进行治闻；对话功能：和自闭症儿童交流，克服社交恐惧。

该智能机器人具有打招呼、握手功能，打招呼、握手功能：根据特定的动作，培训自闭症儿童打招呼的习惯。

该智能机器人具有游戏和舞蹈功能，游戏功能：通过角色游戏完成社会角色的代入，形成社会交往技能；舞蹈功能：自闭症儿童与nao机器人共舞。

自闭症儿童的干预训练中，一般会涉及到的三个领域的内容，一为核心能力领域，包括非语言沟通能力、模仿能力、组织能力；二为社会交往能力领域，包括游戏能力、集体活动能力、社区社会交往能力；三为沟通能力领域，包括基本沟通能力、社会交往情感能力、基本交谈能力。

课程设计流程如图2，一般而言，康复课程的设计围绕目标、内容、方法和过程四个步骤来进行。在采用nao机器人对自闭症儿童进行康复训练时，考虑到自闭症儿童的特点，在课程设计时内容围绕自闭症儿童三方面的特征进行：一围绕自闭症儿童的情绪障碍，设计训练课程内容的一部分：基于机器人的情绪诱导训练。这部分内容主要通过让自闭症儿童感受环境的氛围，提升他的个人兴趣，让他更好的融入到课堂中；二是围绕自闭症儿童的行为障碍，设计课程的第二个部分：基于机器人的自闭症儿童的早期行为干预。这部分内容是根据每个自闭症儿童的不同表现来确定其需要发展的核心能力领域，再进行内容设计。三是围绕自闭症儿童的交流障碍，设计课程的第三个部分：基于机器人的自闭症儿童的沟通交流训练。这部分内容同样根据每个自闭症儿童的表现确定其需要发展的沟通能力领域和社会交往能力领域的内容，进行具体内容的设计。

自闭症儿童的干预训练中，一般会涉及到的三个领域的内容，一为核心能力领域，包括非语言沟通能力、模仿能力、组织能力；二为社会交往能力领域，包括游戏能力、集体活动能力、社区社会交往能力；三为沟通能力领域，包括基本沟通能力、社会交往情感能力、基本交谈能力。

课程设计流程如图2，一般而言，康复课程的设计围绕目标、内容、方法和过程四个步骤来进行。在采用nao机器人对自闭症儿童进行康复训练时，考虑到自闭症儿童的特点，在课程设计时内容围绕自闭症儿童三方面的特征进行：一围绕自闭症儿童的情绪障碍，设计训练课程内容的一部分：基于机器人的情绪诱导训练。这部分内容主要通过让自闭症儿童感受环境的氛围，提升他的个人兴趣，让他更好的融入到课堂中；二是围绕自闭症儿童的行为障碍，设计课程的第二个部分：基于机器人的自闭症儿童的早期行为干预。这部分内容是根据每个自闭症儿童的不同表现来确定其需要发展的核心能力领域，再进行内容设计。三是围绕自闭症儿童的交流障碍，设计课程的第三个部分：基于机器人的自闭症儿童的沟通交流训练。这部分内容同样根据每个自闭症儿童的表现确定其需要发展的沟通能力领域和社会交往能力领域的内容，进行具体内容的设计。

筛选被试的基本标准为：1,年龄在8-14周岁；2,被确诊自闭症；3,眼睛无异常，在听觉、视觉上无障碍；4,不具有自残、攻击性行为；根据以上筛选标准，选取了6位来自深圳某康复机构的自闭症儿童作为被试。

在实验时由于机器人数量和场地大小的限制，6名被试逐一进行实验，参与上课的康复师、操作人员、课程内容均一致。

实验为单因素重复测量实验设计，自变量为机器人是否参与(包括两个水平：有机器人和无机器人参与)。在两种情况下，分别观察被试对课堂内容的注释次数和注视持续时间。有机器人时实验基本内容包括：1,机器人的自我介绍；2,机器人向被试展示舞蹈；3,康复师对机器人发口令，机器人按照口令执行动作。在机器人呈现这三个内容时，通过视频记录被试对机器人的反应，分析被试对机器人的注视次数和注视时间。没有机器人时则由康复师进行自我介绍、舞蹈表演、动作演示，观察被试对康复师的注释次数和注视时长。每节课时长约30分钟。

研究结果：在这次实验过程中，当机器人引入自闭症康复训练课堂时，6名被试在见到机器人后都有非常积极的表现，每一名被试都能在第一时间将目光注视到机器人身上。尽管每一名被试注视机器人的次数各有不同，但基本都能保持较长的注视时间，这一点对自闭症儿童来说难能可贵。基于以上反应，初步推测nao机器人对自闭症儿童有吸引力。

自闭症儿童对机器人的注视次数:

通过观察，我们记录了6名被试在有机器人和没有机器人时的注视次数，其中，无机器人时为被试注视康复师的次数；有机器人，为被试对注视机器人的次数。结果显示：在机器人出现的课堂中，有5名被试其注视次数都比仅有老师出现的课堂中要多；1名被试在有无机器人的课堂中注视次数没有变化。说明机器人的引入在一定程度上调动了自闭症儿童的课堂积极性。

自闭症儿童对机器人的注视时间(总时长)：

同理，我们观察记录了6名被试在有机器人和没有机器人时的注视时间，其中，有机器人时为被试注视机器人的时间，无机器人时为被试注视康复师的时间。这里我们选取了被试一堂课中总的时间长为注视时间。结果显示：在有机器人的课堂中，有5名自闭症儿童能够注视的总时间长比没有机器人参与的情况要长，1名自闭症儿童注视时间没有因为机器人的加入而增长。这也进一步说明，机器人的引入，引起了自闭症儿童的注意，调动了他们的课堂积极性。

研究结果：总的来说，nao机器人的引入，带给被试全新的课堂体验，这对被试的语言与行为模式产生相当的影响，有助于自闭症儿童克服社交恐惧。尤其在预实验的最初阶段，被试3、4、6与nao机器人的互动异常亲密与频繁，以至于康复师不得不一再住址被试的过度互动。总的来说，nao机器人的引入使得被试的注视次数和注视时间都有大幅度的提升，通过实验数据，我们得出，nao机器人的有无的情况下，被试的注视次数、注视时间都存在明显的差异，有机器人参与的过程中，被试的变现更为主动、积极。通过这个结果可以看出：机器人的加入使整个康复过程的效果大幅度提高。

不过我们也注意到，并非所有的自闭症儿童都表现出积极的反应。有的被试在实验过程中依然去关注自己感兴趣的事情，比如：心爱的玩具、绿色的植物等，对nao机器人并没有太大的兴趣。

整体来说，nao机器人的引入对部分自闭症儿童具有比较明显的情绪调动作用，也改善了课堂的效果。

使用说明：

choregraphe软件是阿尔德巴兰公司开发的一款编程软件，可以编写程序、与nao连接、灌输和下载程序、与webots连接可以仿真执行程序(检测程序的可靠性，安全性)、与monitor连接检测机器人的实时数据。

在运用choregraphe软件编写程序时的注意事项：

⑴输入内容不论是中文还是英语，其标点符号都是在英文状态下输入(2)行为管理器，显示机器人中已有程序，也可以给机器人灌输、导

出和删除程序；

⑶在给机器人灌输程序时，软件的版本一定要和机器人的版本一样；

⑷在程序的编写过程中，一定要随时保存程序；

⑸在机器人空闲时，卸载电机刚度，以免电机过热。

choregraphe连接机器人:

1.长按智能机器人的chest按钮三秒，开机；

2、启动choregraphe软件，将choregraphe软件连接到机器人。

本发明的智能机器人构建了自闭症儿童的内容丰富、类型多样的音乐库；基于自闭症儿童面部表情，智能选取适合自闭症儿童的个性音乐；音乐与舞蹈结合提升自闭症儿童感知能力；利用场景游戏互动培养自闭症儿童日常交流习惯；智能聊天强化自闭症儿童对话能力，从而显著提高儿童自闭症的治疗效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。