一种基于计算机视觉的讲故事机器人的制作方法
【专利摘要】一种基于计算机视觉的讲故事机器人,包括：当讲故事进行至需要用户交互时，微处理器提醒用户进行交互，通过摄像头接收用户提供的实物或卡片的信息传送至微处理器，微处理器进行信息的解码，采样再进行检测与识别得出结果，并将结果与预先设定的故事答案比较；若相同，则反馈出正确并继续故事的讲述；若不相同，则反馈不正确并提醒用户进行交互；若不相同超过一定次数，则反馈出正确答案并继续故事的讲述；若检测不到实物或卡片，则反馈检测不到实物或物体并提醒用户进行交互；若检测不到实物或卡片超过一定次数，则反馈出正确答案并继续故事的讲述。通过这一种有趣的方式，使用户通过故事充分接触现实与识别物体，使之成为辅助幼儿教学的优秀工具。
【专利说明】
一种基于计算机视觉的讲故事机器人
技术领域
[0001 ]本发明涉及机器人领域，计算机视觉领域，模式识别领域，特别涉及一种基于计算机视觉的讲故事机器人。
【背景技术】
[0002]—般的讲故事系统，用户只能单一的接受故事，或者通过语音来与系统进行交互。互动性不足，用户不能通过故事将故事与现实联系起来。
【发明内容】
[0003]本发明的目的是提供一种基于计算机视觉的讲故事机器人，允许用户用实物与卡片与机器人进行交互，机器人通过识别实物和卡片后，与预设的故事答案进行比对，再进行反馈。通过这一种有趣的方式，使用户通过故事充分认识现实中的物体，使之成为辅助幼儿教学的优秀工具。
[0004]为解决上述技术问题，本发明采用的一个技术方案是:机器人讲述故事的过程中，若遇到需要进行交互识别环节，微处理器通过音响提示用户进行识别操作，并在屏幕上显示将答案镂空的故事画面与位于画面下方的开始检测键。用户将与故事相关联的实物或者卡片静止的放置于机器人的摄像头前，并点击屏幕上的开始检测键。机器人开启摄像头并通过摄像头获取用户放置在摄像头前的物体的信息，同时屏幕显示检测识别中，获取完信息后传至微处理器，并通过微处理器运行程序来处理信息，检测实物或者卡片的位置，再进行识别操作。如果在一段时间内检测不到实物或者卡片则通过屏幕显示未检测成功并重新进行交互识别环节;若检测失败一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述;如果识别出实物或者卡片但并不是正确选项则通过屏幕提示用户重新选择实物或者卡片并重新进行交互识别环节;若识别出不正确选项一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述;如果识别出实物或者卡片是正确选项则通过屏幕表示选项正确并继续进行故事流程的讲述。
[0005]例如，机器人讲述白雪公主的故事时，在讲述到白雪公主吃毒苹果的片段的时候，进入交互识别环节。屏幕显示白雪公主吃毒苹果的画面，其中毒苹果为阴影的镂空画面，并在画面底下显示开始检测键。机器人通过音响问用户这是什么东西，并提示用户进行识别操作。用户将苹果或者苹果卡片放置于摄像头前，并点击开始检测键。屏幕显示检测识别中，微处理器开启摄像头并通过摄像头获取一段时间的录像，微处理器将获得的录像进行解码成多张图像，再进行采样，检测与识别操作。若检测不到物体或卡片，则提示用户重新进行检测，并重新进入交互识别环节。检测失败一定次数后则通过屏幕公布正确答案是苹果，并继续进行故事流程的讲述;如果识别出不是苹果或苹果卡片则通过屏幕提示用户重新选择实物或者卡片，并重新进入交互识别环节;若识别出不正确选项一定次数后则通过屏幕公布正确答案，并继续进行故事流程的讲述;如果识别出是苹果则通过屏幕表示选项正确并继续进行故事流程的讲述。
[0006]若微处理器检测识别到多个物体或卡片，则将检测出的多个结果逐一与预设的故事答案进行比较，若有一个正确，则进入正确流程，若全部答案都错误，则进入错误流程。
【附图说明】
[0007]通过实例并参照附图，本发明将被进一步阐明，其中:图1是本发明的方法的流程图。
[0008]图2是本发明的主视图。
[0009]图3是本发明的系统框图。
【具体实施方式】
[0010]参见图1，本发明的方法包括八个步骤。步骤I机器人通过音响提示用户进行检测操作，并在屏幕上显示故事答案的阴影画面并在画面下显示开始检测键。步骤2在屏幕上显示检测识别中，微处理器开启摄像头，摄像头获取信息并传送至微处理器，微处理器将传送的信息进行处理，检测用户提供的物体或卡片位置，并进行识别。步骤3判断是否检测到物体或卡片，如果检测不到物体则跳转步骤4，如果检测到物体就跳转步骤5。步骤4判断检测不到物体的次数是否超出了一定次数，如果没有超过则跳转回步骤1，如果超出一定次数则跳转至步骤8。在步骤5将检测到的物体或卡片与预设的故事答案进行比较并进入步骤6。步骤6如果比较不正确则跳转步骤7，否则跳转步骤8。步骤7判断比较不正确的次数是否超出了一定次数，如果没有超过则跳转回步骤1，如果超出一定次数则跳转至步骤8。步骤8为公布正确答案并继续故事的讲述。
[0011]请参阅图2，本发明实施例包括:1、机器人，2、屏幕，3、摄像头，4、微处理器，存储器集成在一起，5、音响。
[0012]图3的讲故事机器人系统包括:1、摄像头，2、微处理器，3、存储器，4、音响，
5、屏幕。
[0013]本发明实施例中，图3中的1、摄像头可以获取摄像头正前方录像，并将录像发至微处理器进行处理。1、摄像头与2、微处理器进行双向通信。
[0014]本发明实施例中，图3中的2、微处理器可以运行3、存储器中的程序算法与故事数据，控制故事流程。当2、微处理器遇到需要与用户交互的环节时，发送需要交互的信号至
1、摄像头。待1、摄像头传输回录像时，对1、摄像头传送的录像进行解码，采样成多张图像后，再进行检测与识别，再将识别出来的结果与预设的故事答案进行比较。并根据比较的结果发送至屏幕与音响进行反馈。
[0015]本发明实施例中，图3中的3、存储器包含例如硬盘或类似闪存等固态存储器。存储器可以用于存储一个或多个故事的数据与必要的算法程序。存储器与微处理器相连可进行双向通信。
[0016]本发明实施例中，图3中的4、音响可以辅助2、微处理器进行故事的讲述，进行交互的提示及交互结果的反馈。4、音响与2、微处理器进行单向通信。
[0017]图3中的5、屏幕可以辅助2、微处理器进行故事的讲述，故事答案的提示(故事答案的镂空图)，让机器人进入检测识别环节(用户点击位于故事画面下方的检测开始键)及交互结果的反馈。5、屏幕与2、微处理器进行单向通信。
【主权项】
1.一种基于计算机视觉的讲故事机器人，包括:当讲故事进行至需要用户交互时，微处理器提醒用户进行交互，通过摄像头接收用户提供的实物或卡片的信息，微处理器进行信息解码，采样，再检测与识别得出结果，并将结果与预先设定的故事答案比较;若相同，则反馈出正确并继续故事的讲述;若不相同，则反馈不正确并提醒用户再次重新进行交互;若不相同超过一定次数，则反馈出正确答案并继续故事的讲述;若检测不到实物或卡片，则反馈检测不到实物或物体并提醒用户再次重新交互;若检测不到实物或卡片超过一定次数，则反馈出正确答案并继续故事的讲述。2.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，若微处理器检测识别到多个物体或卡片，则将检测出的多个结果逐一与预设的故事答案进行比较，若有一个正确，则进入正确流程，若全部答案都错误，则进入错误流程。3.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要用户交互时，屏幕显示故事答案的镂空图，来提示用户答案。4.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要用户交互时，微处理器通过音响来提醒用户进行交互，若音响提醒被用户选择进入检测识别阶段打断，则进入检测识别阶段。5.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，当讲故事进行至需要反馈时，微处理器通过屏幕与音响来反馈给用户结果。6.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，当微处理器检测识别时，屏幕显示检测识别中的画面。7.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，故事数据与算法程序都存储在存储器中被供微处理器调用。8.如权利要求1所述的一种基于计算机视觉的讲故事机器人，其特征在于，摄像头接收录像并传至微处理器，微处理器对录像进行解码采样获得多张图像后进行检测识别操作。
【文档编号】G06K9/00GK106056109SQ201610611478
【公开日】2016年10月26日
【申请日】2016年7月30日
【发明人】张迪, 程忠光, 张猛, 龚莉杰, 许杰雄
【申请人】深圳市寒武纪智能科技有限公司