儿童语言辅助教学方法、装置及机器人与流程

本发明涉及机器人教育技术领域，尤其是涉及一种儿童语言辅助教学方法、装置及机器人。

背景技术：

学前儿童语言学习与发展的核心是语言交往能力的成长，其语言能力是在交流和运用的过程中发展起来的。传统的学前儿童语言教育是创设自由、宽松的语言交往环境，鼓励和支持学前儿童与成人、同伴交流，让幼儿想说、敢说、喜欢说并能得到积极的回应。

随着科技的发展，除了传统的学前儿童语言教育外，还涌现了各种各样的用于儿童语言教育的电子设备；如点读式语音教学设备,其原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”。使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音；然而儿童只能通过点击的方式与教学设备互动，设备不能获取儿童的反馈，互动性差；还有一种的语音陪护机器人，主要利用语音识别技术，跟儿童进行简单对话，并通过连网或离线的方式实现讲故事、国学、英语、播放音乐等功能；然而该机器人技术只能进行简单的对话和控制，互动性差；教学内容单一，不能通过机器人技术实现传统学前儿童语言教育的功能。

技术实现要素：

有鉴于此，本发明的目的在于提供一种儿童语言辅助教学方法、装置及机器人，以提高儿童语言教学方式内容的丰富性，增加教学过程中，机器与儿童的互动。

第一方面，本发明实施例提供了一种儿童语言辅助教学方法，该方法应用于机器人，该方法包括：接收用户发出的教学模式的选择指令，以启动选择指令对应的教学模式；采集用户发出的教学反馈信号；教学反馈信号至少包括语音信号；从教学反馈信号中提取教学模式对应的表达特征；根据教学模式预设的教学标准，分析表达特征，根据分析结果输出对应的交流信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述教学模式至少包括谈话活动教学、讲述活动教学、听说游戏教学、文学活动教学和情境渗透教学中的一种或多种。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述采集用户发出的教学反馈信号的步骤，包括：通过音频采集设备采集用户发出的语音信号；通过图像采集设备采集用户的图像信号。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述从教学反馈信号中提取教学模式对应的表达特征的步骤，包括：对语音信号进行特征分析，得到用户的语义特征、发音发声特征、流畅度特征、语言逻辑特征和语言表达胆量特征；对图像信号进行特征分析，得到用户的行为特征、表情特征和情绪特征。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述根据教学模式预设的教学标准，分析语言特征，根据分析结果输出对应的交流信息的步骤，包括：当教学模式包括谈话活动教学、讲述活动教学、听说游戏教学或文学活动教学时，根据语义特征、行为特征、表情特征和情绪特征查找对应的答复数据；将答复数据转换为语音信号，输出语音信号。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述根据教学模式预设的教学标准，分析语言特征，根据分析结果输出对应的交流信息的步骤，包括：当教学模式包括情境渗透教学时，根据语义特征、行为特征、表情特征和情绪特征查找对应的渗透提醒交流数据；渗透提醒交流数据包括礼貌规范提醒、日常行为提醒或课堂辅助交流；将渗透提醒交流数据语音信号，输出语音信号。

第二方面，本发明实施例提供了一种儿童语言辅助教学装置，该装置应用于机器人，该装置包括：指令接收模块，用于接收用户发出的教学模式的选择指令，以启动选择指令对应的教学模式；信号采集模块，用于采集用户发出的教学反馈信号；教学反馈信号至少包括语音信号；特征提取模块，用于从教学反馈信号中提取教学模式对应的表达特征；信息输出模块，用于根据教学模式预设的教学标准，分析语言特征，根据分析结果输出对应的交流信息。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述采集模块还用于：通过音频采集设备采集用户发出的语音信号；通过图像采集设备采集用户的图像信号。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述特征提取模块还用于：对语音信号进行特征分析，得到用户的语义特征、发音发声特征、流畅度特征、语言逻辑特征和语言表达胆量特征；对图像信号进行特征分析，得到用户的行为特征、表情特征和情绪特征。

第三方面，本发明实施例提供了一种机器人，该机器人包括中央处理器、显示屏和移动底盘；上述装置设置于中央处理器。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种儿童语言辅助教学方法、装置及机器人；接收用户发出的教学模式的选择指令后，启动选择指令对应的教学模式；采集用户发出的教学反馈信号，并从该信号中提取教学模式对应的表达特征；根据教学模式预设的教学标准，分析表达特征，进而根据分析结果输出对应的交流信息；该方式提高了儿童语言教学方式内容的丰富性，增加了教学过程中，机器与儿童的互动。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种儿童语言辅助教学方法的流程图；

图2为本发明实施例提供的另一种儿童语言辅助教学方法的流程图；

图3为本发明实施例提供的与传统学前儿童语言教育方法对应的教育模式示意图；

图4为本发明实施例提供的语言教学教育系统的结构示意图；

图5为本发明实施例提供的渗透语言教育库的使用流程图；

图6为本发明实施例提供的一种儿童语言辅助教学装置的结构示意图；

图7为本发明实施例提供的一种机器人的结构示意图；

图8为本发明实施例提供的另一种机器人的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前现有儿童语言教学方式内容单一，且互动性较差，基于此，本发明实施例提供的一种儿童语言辅助教学方法、装置及机器人，可以应用于儿童语言教学及其他语言互动领域。为便于对本实施例进行理解，首先对本发明实施例所公开的一种儿童语言辅助教学方法进行详细介绍。

参见图1所示的一种儿童语言辅助教学方法的流程图，该方法应用于机器人，该方法包括：

步骤s100，接收用户发出的教学模式的选择指令，以启动选择指令对应的教学模式。

上述教学模式一般参照传统的传统学前儿童语言教育方法的内容，包括谈话模式，示范模仿模式，听说游戏模式，文学阅读模式等。随着研究的进一步加深，教学模式还可以包括渗透式的语言教育，结合儿童的日常生活实时与儿童进行交流。用户可以通过按键、触摸屏触摸或者语音的方式发出教学模式的选择指令；在接收到指令后，启动程序，选择相应的教学模式显示影像，发出语音。

步骤s102，采集用户发出的教学反馈信号；该教学反馈信号至少包括语音信号。

上述教学反馈信号与教学模式对应，一般为语音信号，在一定的模式下，也可以为文字输入或者影像信号；通过手写板或触摸屏采集输入的文字信号；通过声音采集装置采集用户的语音信号；通过图像采集装置采集用户的影像；若一段时间内，没有接收到教学反馈信号，可以进行语音提醒，可以同时结合振动提醒。

步骤s104，从教学反馈信号中提取教学模式对应的表达特征。

为了达到不同的教学目的，不同的教学模式需要分析不同的表达特征；从教学反馈信号中提取相应表达特征，以便做出分析评价。上述表达特征包括语音信号中的流利度、逻辑性等特征；文字信号中的关键词、完整性等特征；影像信号中的表情，动作等特征。提取方法包括语音识别、文字识别、面部特征识别等。上述识别技术可以通过机器学习实现，如神经网络、决策树、遗传算法等多种算法。

步骤s106，根据教学模式预设的教学标准，分析表达特征，根据分析结果输出对应的交流信息。

根据教学目的，为不同的教学模式设定了教学标准；如谈话模式主要评价用户表达的准确性及关联性，并提取用户表达的关键词，以分析用户表达的语义并做出回复，输出对应的交流信息。

本发明实施例提供了一种儿童语言辅助教学方法；接收用户发出的教学模式的选择指令后，启动选择指令对应的教学模式；采集用户发出的教学反馈信号，并从该信号中提取教学模式对应的表达特征；根据教学模式预设的教学标准，分析表达特征，进而根据分析结果输出对应的交流信息；该方式提高了儿童语言教学方式内容的丰富性，增加了教学过程中，机器与儿童的互动。

本发明实施例还提供了另一种儿童语言辅助教学方法，该方法在图1所示方法的基础上实现；参见图2所示的另一种儿童语言辅助教学方法的流程图，该方法包括：

步骤s200，接收用户发出的教学模式的选择指令，以启动选择指令对应的教学模式。

具体地，上述教学模式至少包括谈话活动教学、讲述活动教学、听说游戏教学、文学活动教学和情境渗透教学中的一种或多种。

上述教学模式主要参考已有的传统学前儿童语言教育方法；传统学前儿童语言教育方法主要包括专门的语言教育和渗透的语言教育。专门的语言教育包括：

(1)谈话活动：帮助学前儿童学习运用口头语言与他人进行交谈的活动，从培养幼儿语言能力的角度出发，为学前儿童创设的一种特别的语用情境。

(2)讲述活动：为学前儿童创设一个相对正式的语言运用场合，要求学前儿童依据一定的凭借物，使用比较规范的语言来表达个人对某事、某物或者某人的认识，进行语言交流。依据凭借物的特点可以分为看图讲述、实物讲述和情景表演讲述三种。

(3)听说游戏：是由教师设计组织的、儿童有兴趣自愿参加的教学游戏，是为培养幼儿倾听和表述能力而专门设计的，用游戏的形式组织的语言教育活动。

(4)文学活动：是利用学前儿童对文学作品(如童话、故事、儿歌)的兴趣，引导学前儿童积极地与文学作品相互作用。

(5)早期阅读活动：是让学前儿童接触书面语言，体验分享阅读的乐趣。

渗透的语言教育是充分利用幼儿的各种生活和学习经验，在真实的生活情景中为幼儿提供更加广泛的、多样的学习语言的机会，使幼儿更好的运用语言获得新的生活经验和其他方面的学习经验；包括日常生活中的语言交往、自由游戏中的语言交往、数学学习、音乐活动等领域的语言交往。

通过研究与分析，通过机器人技术建立了多种对应的教育模式，如图3所示，包括：

(1)谈话活动(即上述谈话活动教学)：机器人搭建语用情境，在模拟情境下，与儿童进行对话交流；

(2)讲述活动(即上述讲述活动教学)：机器人通过显示屏显示图片视频，要求儿童对图片视频进行描述；

(3)听说游戏(即上述听说游戏教学)：机器人通过听说游戏的方式进行语言交流；

(4)文学活动(即上述文学活动教学)：机器人讲授文学作品，并与儿童交流作品内容；

(5)渗透的语言教育，通常包括下述a和b两种情形：a机器人识别儿童在家庭生活中的行为意图，实时与儿童交流，结合现实情境进行语言教育；b机器人在幼儿园课堂学习或游戏环节，识别儿童的行为意图，实时与儿童交流，结合现实情境进行语言教育。

步骤s202，通过音频采集设备采集用户发出的语音信号；通过图像采集设备采集用户的图像信号。

步骤s204，对语音信号进行特征分析，得到用户的语义特征、发音发声特征、流畅度特征、语言逻辑特征和语言表达胆量特征；对图像信号进行特征分析，得到用户的行为特征、表情特征和情绪特征。

步骤s206，当教学模式包括谈话活动教学、讲述活动教学、听说游戏教学或文学活动教学时，根据语义特征、行为特征、表情特征和情绪特征查找对应的答复数据；将答复数据转换为语音信号，输出语音信号。

谈话活动教学、讲述活动教学、听说游戏教学及文学活动教学为专门的语言教育方法，针对于这几种方法，建立了对应的语言教学教育系统，如图4所示，包括：

“a语言教学资源库”，用于存放4种语言教学方式的课程资源，包括谈话活动教学库，讲述活动教学库，听说游戏教学库及文学活动教学库；

“b语言教学推送模块”，用于根据“a语言教学资源库”和“e学习记录管理系统”自动为儿童推荐合适当前语言教学的课程；

“c自主选课模块”，用于使儿童能够自主选择期望的教学方式；

“d语言互动教学模块”，用于与儿童进行互动教学，培养儿童的发音发声、语言流畅表达、语言逻辑性表达和语言表达的胆量；该模块包括四个课程单元，即发音发声单元，语言流畅度单元，语言逻辑单元及胆量单元；

“e学习记录管理系统”，用于记录儿童的学习账号、已完成的语言学习目录列表、语言学习的结果。

儿童登录语言教学系统后，“b语言教学推送模块”根据“a语言教学资源库”和“e学习记录管理系统”判断学生的学习进度，自动推荐课程；儿童可根据推荐课程进行学习，也可利用“c自主选课模块”选择教学方式；语言教学内容包括：发音发声、语言流畅度、语言逻辑、语言表达的胆量进行教学。

进一步地，当教学模式包括情境渗透教学时，根据语义特征、行为特征、表情特征和情绪特征查找对应的渗透提醒交流数据；渗透提醒交流数据包括礼貌规范提醒、日常行为提醒或课堂辅助交流；将渗透提醒交流数据语音信号，输出语音信号。

实际操作中，为情景渗透教学设置了渗透语言教育库，包括渗透提醒交流数据。渗透语言教育库的使用流程如图5所示，包括：在情景渗透教学过程中，对用户的教学反馈信号进行语言识别与行为识别，综合识别结果进行情景分析；根据情景分析结果，在渗透语言教育库中查找对应的交流数据，转化为语音信号，从而进行渗透交流。

该方法分别设置了多种教学模式，不仅能够进行专门的语言教学，同样可以在日常生活中对儿童进行渗透式的语言教学，丰富了教学内容，并增加了趣味性。

参见图6所示的一种儿童语言辅助教学装置的结构示意图，该装置应用于机器人，包括：指令接收模块600，用于接收用户发出的教学模式的选择指令，以启动选择指令对应的教学模式；信号采集模块602，用于采集用户发出的教学反馈信号；教学反馈信号至少包括语音信号；特征提取模块604，用于从教学反馈信号中提取教学模式对应的表达特征；信息输出模块606，用于根据教学模式预设的教学标准，分析语言特征，根据分析结果输出对应的交流信息。

具体地，上述采集模块还用于：通过音频采集设备采集用户发出的语音信号；通过图像采集设备采集用户的图像信号。

具体地，上述特征提取模块还用于：对语音信号进行特征分析，得到用户的语义特征、发音发声特征、流畅度特征、语言逻辑特征和语言表达胆量特征；对图像信号进行特征分析，得到用户的行为特征、表情特征和情绪特征。

本发明实施例提供的一种儿童语言辅助教学装置，与上述实施例提供的儿童语言辅助教学装置方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例提供了一种机器人，参见图7所示的一种机器人的结构示意图；该机器人包括中央处理器70、显示屏71和移动底盘72；上述装置设置于中央处理器。

本发明实施例还提供了另一种机器人，该机器人在图7所示的机器人的基础上实现，如图8所示，包括：中央处理器80，显示屏81及自主移动底盘82；其中，中央处理器80包括：语言教育资源库80a，用于存放“专门的语言教育”的教学资源；语言采集模块80b，用于采集儿童的自然语言；图像采集模块80c，用于采集儿童的动作和表情，与上述语言采集模块一起构成上述信息采集模块；深度语义规则库80d，由于学前儿童的语言表达能力尚不健全，该库用于学前儿童语言的精确理解，一般由机器学习实现；该深度语义规则库为采用大量样本进行训练得到的规则库；通过该规则库，可以对儿童发出的较为模糊词语或者语序颠倒的句子进行识别，然后做出合理地理解。

行为、表情、情绪分析库80e，用于根据儿童的动作和表情，深度分析儿童的行为意图、心理情绪，从而理解儿童语言教育过程中的学习状态；语音自主生成模块80f，根据儿童的语言、动作及表情，合成语音并与儿童进行对话；儿童学习管理模块80g，用于记录儿童学习进度，推荐儿童语言学习课程；显示屏81，用于显示文字、图片、视频等，以增加儿童的带入感，帮助儿童理解能力；自主移动底盘82，用于使机器人自主移动，具有路径规划和避障功能。

上述机器人主要通过语言采集模块、图像采集模块、深度语义规则库、行为表情情绪分析库、语音自主生成模块实现与儿童的语言互动教学，增加了教学的趣味性。

本发明实施例所提供的儿童语言辅助教学方法、装置以及机器人的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。