基于视频分析的智能玩具的制作方法

专利名称：基于视频分析的智能玩具的制作方法
基于视频分析的智能玩具技术领域：
本发明涉及智能玩具领域，特别涉及一种基于视频分析的智能玩具。背景技术：
智能玩具是玩具类别的一个分支，它把一些IT技术和传统的玩具整合在一起，使 玩具具有更多的功能，甚至能与人进行一些简单的互动。目前市场上的智能玩具其中一类具有选定和播放功能，可以按照设定的程序来运 行，比如，在玩具的内置芯片中存储预先设定的声音或者动作程序，当小孩按动玩具上的 不同功能的按钮时，玩具可以播放相应的声音或者作出相应的动作，以吸引孩子的注意力， 激发孩子对玩具的兴趣，进而训练孩子的听觉和观察能力。还有一类智能玩具具有识别功能，目前大多是基于语音识别技术，即在玩具内部 嵌入一个语音识别的芯片，玩具可以识别出简单的指令，进而执行芯片中存储的相应程序。 比如，一种具有语音识别功能的电动玩具车，当开启开关后，它就可以根据小孩发出的前 进、后退、左转，右转、停止等指令执行相应的动作。由于语音识别只能识别一些口头指令， 识别功能单一，因此，和儿童之间的互动也比较有限。为了能和儿童实现更好的互动，需要在智能玩具上增加更多的识别功能，以实现 和孩子进行更好的互动，从而使孩子在与玩具的交流互动中获得快乐，提高智商。因此，有必要提出一种改进的智能玩具来解决上述问题。
发明内容
本发明的目的在于提供一种基于视频分析的智能玩具，其可以和孩子达到更好的互动 效果。为了达到本发明的目的，根据本发明的一方面，本发明提供一种智能玩具，其包括 运动参数数据库、驱动模块、机械运动模块、视频采集模块、人脸检测模块、表情识别模块， 所述运动参数数据库存储有多个表情对应的运动参数；所述视频采集模块用于采集视频图 像；所述人脸检测模块对采集到的图像进行人脸检测，并将检测到的人脸信息提供给所 述表情识别模块；所述表情识别模块对检测到的人脸信息进行表情识别，并将表情识别结 果提供给所述驱动模块；所述驱动模块根据表情识别结果从所述运动参数数据库中找到与 其对应表情的运动参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。进一步的，所述智能玩具为玩具熊或玩具娃娃。进一步的，所述表情包括高兴、愤怒、悲伤和惊讶。进一步的，每个表情对应的运动参数包括眼睛参数、嘴巴参数、鼻子参数和眉毛参 数。进一步的，其还包括头部姿态识别模块，所述运动参数数据库存储有各头部姿态 对应的运动参数，所述头部姿态识别模块对检测到的人脸信息进行头部姿态识别，并将头 部姿态识别结果提供给所述驱动模块；所述驱动模块根据头部姿态识别结果从所述运动参 数数据库中找到与其对应头部的运动参数，并根据该运动参数驱动所述机械运动模块做出 相应的动作。
根据本发明的另一方面，本发明提供一种智能玩具，其包括运动参数数据库、驱动 模块、机械运动模块、视频采集模块、人脸检测模块、头部姿态识别模块。所述运动参数数据 库存储有多个头部姿态对应的运动参数；所述视频采集模块用于采集视频图像；所述人 脸检测模块对采集到的图像进行人脸检测，并将检测到的人脸信息提供给所述头部姿态识 别模块；所述头部姿态识别模块对检测到的人脸信息进行头部姿态识别，并将头部姿态识 别结果提供给所述驱动模块；所述驱动模块根据头部姿态识别结果从所述运动参数数据库 中找到与其对应头部姿态的运动参数，并根据该运动参数驱动所述机械运动模块做出相应 的动作。进一步的，所述智能玩具为玩具熊或玩具娃娃。进一步的，所述头部姿态包括左、右、上、下四个方向的头部姿态。进一步的，其还包括表情识别模块，所述运动参数数据库存储有多个表情对应的 运动参数，所述表情识别模块对检测到的人脸信息进行表情识别，并将表情识别结果提供 给所述驱动模块；所述驱动模块根据表情识别结果从所述运动参数数据库中找到与其对应 表情的运动参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。与现有技术相比，本发明通过在智能玩具上引入视频采集和视频分析技术，通过 内置在玩具内的智能视频分析模块，识别儿童的表情、姿态等信息进而做出相应的反应，以 增强玩具的交互性和娱乐性。

结合参考附图及接下来的详细描述，本发明将更容易理解，其中同样的附图标记对应 同样的结构部件，其中
图1为本发明中基于视频分析的智能玩具在一个实施例中的结构方框图；和 图2为本发明中智能玩具的表情示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方 式对本发明作进一步详细的说明。请参考图1所示，其示出了本发明中的基于视频分析的智能玩具100在一个实施 例中的结构方框图。所述智能玩具包括视频采集模块110、人脸检测模块120、表情识别模 块130、头部姿态识别模块140、驱动模块150、运动参数数据库160和机械运动模块170。在 一个实施例中，所述智能玩具可以仅包括表情识别模块130和头部姿态识别模块140中的 其中一个，而不包括其中的另一个。所述视频采集模块110用于对玩具前的一定区域进行拍摄，以获取使用者的运动 图像，其可以由摄像头芯片和相关的传输协议构成。摄像头芯片已经比较成熟，基于USB接 口的摄像头可以得到很好的成像效果。在一个实施例中，可以将该模块放置在玩具中的一 个合理位置，比如说，将摄像头内嵌在玩具的眼睛，嘴巴，鼻子等相对隐蔽的位置。所述人脸检测模块120用于从采集的图像中检测出人脸位置，并从中提取人脸信 息，为后续的智能分析做准备。在一个实施例中，使用基于Adaboost的训练方式来得到人 脸和非人脸的分类器，利用分类器来从图像中提取出人脸位置。Adaboost需要事先采集较 多的人脸样本和非人脸样本来作为正负样本，训练前首先要对正负样本进行预处理，并将 正负样本图片归一化，然后从归一化的图片中提取特征矢量，并从特征矢量中挑选出分类
4能力最强的特征来组成分类器。人脸检测技术已经很成熟，目前该技术可以达到实时检测 和跟踪的效果，在另一个实施例中，该跟踪步骤是采用以下方式实现的在未获取跟踪目标 前，对每帧图像进行搜索，检测人脸是否存在；如果某帧图像检测到一个或者多个人脸，则 在接下来的的两帧图像中跟踪这些人脸，并对这两帧图像中跟踪的人脸进行检测和验证， 判断前面的检测结果是否是真人脸；只有某个位置三帧都检测到人脸后，算法才认为该位 置人脸存在，继续对人脸图像进行判断识别。在此跟踪步骤中，如果场景中存在有多个人 脸，选择其中一个进行跟踪。在后续帧中持续跟踪该人脸，如果相邻帧中后一帧与前一帧的 跟踪结果的相似度过低，则停止跟踪；如果某个跟踪目标所在区域长时间为检测到正面直 立人脸，则认为该目标的跟踪价值不大，停止跟踪该目标，当前一个跟踪目标停止跟踪后， 在后续图像中重新进行人脸检测，直到找到新的人脸，跟踪新的人脸，重复人脸跟踪的步 马聚ο所述表情识别模块130用于对所述人脸检测模块120检测到的人脸信息进行表情 识别。表情识别的方法一般都是基于统计学来完成的，即从人脸图像中提取特征矢量，然后 训练分类器。特征的提取是识别成败的关键，目前用于表情识别的特征可以分为两种局 部特征和整体特征。基于局部特征的人脸面部表情识别是利用每个人的面部特征，比如眉 毛、眼睛、嘴巴、鼻子和面部轮廓等的位置、大小、及其相互位置的不同进行特征提取，达到 人脸面部表情识别的目的。基于人脸整体特征的识别是从整个人脸图像出发，提出反映了 整体的特征，实现人脸面部表情识别。人脸目前的表情识别一般是识别几种常见的表情，包 括中性表情，笑，愤怒，悲伤，惊讶，在识别前首先采集大量的样本，可以由USB相机录下被 采集者的表情视频，从视频文件中分离出包含人脸表情的图像作为用来进行统计的初始样 本。在公开申请号为200510135670. 5的专利申请中，提到了一种基于视频的面部表 情识别方法和装置，其基于人脸的整体特征，根据自动提取的人脸下巴轮廓生成一个标准 脸，然后采用AdaBoost的算法选择最有效的特征，得到稳健的识别结果。该方法包括的步 骤如下
从USB摄像头输入的视频数据中采集人脸的面部表情图像数据，对该图像数据做预处
理；
实时提取人脸在预处理后图像中的位置；
依据人眼分类器对确定出的图像中的人脸中的人眼做出定位；
根据确定的人眼的位置和人脸分类器的信息提取包含人脸的图像区域，进行归一化处
理；
对人脸器官定位；
根据对人脸器官的定位确定人脸下巴的位置，确定图像中的人脸区域，在提取出的人 脸轮廓上由上至下标示多条平行的直线，其中一条直线确定了人脸下巴的位置，在人脸分 类器中的标准特征脸上也由上至下标示相同数目的平行线条，其中相应的一条线同样确定 了脸下巴的位置；
沿计算出来的倾斜角度，根据对应线条之间的关系，将视频检测到的人脸区域重采样 为和标准特征脸大小和角度一致的人脸图像，即，生成特征脸，并作为分类样本； 基于所述的分类样本计算所述的特征脸图像的Gabor特征；利用AdaBoost算法对计算出的Gabor特征进行选择； 由挑选的特征构造支持向量机分类器； 根据构造的分类器得出人脸表情识别结果。在一个实施例中，所述表情识别模块基于该专利的人脸表情识别技术进行表情识 别。在玩具系统中，该模块的实现比较简单，只需要将训练好的模块加载到系统中，然后用 分类器进行判别即可。所述头部姿态识别模块140用于对所述人脸检测模块120检测到的人脸信息进行 头部姿态识别。基于视频的姿态识别模块的作用是识别出视频中的人的头部姿态，即视频 中人的头部是往左看，往右看，还是往上或者往下看。姿态识别的方法一般有两种第一种 是基于统计的方法，该方法采集不同姿态的人脸信息，然后训练出一个多类的分类器(比如 可以训练能够区分左、右、上、下四个方向的分类器)，根据分类的结果来判断人脸的姿态。 基于训练的方法只能识别四种方向，不能准确识别姿态的角度。第二种是基于几何变形的 方法，该方法的原理是当人脸姿态发生变化时，人脸上的器官特征点会发生相应的变形，可 以用某种变形方程来对特征点的变化进行拟合，根据拟合的结果来判断姿态。在公开申请 号为200610012233.9的专利申请中公开了一种基于AAM的头部姿态实时估算系统，其 根据人脸跟踪和人脸特征点定位的结果来确定视频中人脸器官的初始轮廓位置，然后基于 AAM模型来精确定位出器官的真实位置，由于轮廓的定位具有整体性，因此，用定位的结果 来反算出的姿态比较准确，而且可以获得连续的姿态。包括如下步骤
(1)根据采集的不同头部姿态的人脸图像样本，训练获得ASM模型和AAM灰度模型，其 中，根据ASM模型获得一个ASM平均轮廓脸，根据AAM灰度模型得到一个平均灰度脸；
(2)根据所述ASM模型与AAM灰度模型，计算出人脸轮廓定位时需要的梯度矩阵和 Hessain矩阵，并根据所述ASM模型、AAM灰度模型、梯度矩阵和Hessain矩阵，获得预处理 模型；
(3)获得输入的人脸图像序列，并进行人脸检测与跟踪，根据检测和跟踪得到人脸轮廓 的训略位置，并将ASM平均轮廓脸对应到人脸轮廓的粗略位置，获得人脸初始轮廓的位置， 根据初始轮廓的位置，通过对图像序列重采样，获得一个与ASM平均轮廓脸大小相符的图 像区域；
(4)在该图像区域内，根据所述预处理模型包括的梯度矩阵和Hessian矩阵，首先基于 整体相似变换对人脸轮廓进行定位，然后基于ASM模型参数对轮廓进行精确定位，并计算 对应的ASM参数；
(5)根据所述ASM参数与样本训练时确定的人脸角度的关系，估算出头部的姿态。在一个实施例中，所述头部姿态识别模块基于该专利的头部姿态识别技术，来进 行姿态识别，所述头部姿态包括往左看、往右看、往上看和往下看。在玩具系统中，该模块的 实现比较简单，只需要将训练好的模块加载到系统中，然后用分类器进行判别即可。所述机械运动模块170用于模仿使用者或用户的表情和头部姿态，其包括玩具中 的可运动组件，所述运动组件可以进行规定的相对运动，通过相互配合来完成规定的动作。 面部表情主要表现为眼、眉、嘴、鼻的变化。一般来说，面部各个器官是一个有机整体，通过 相互协调表达同一种情感。由于所述智能玩具需要模仿人的表情和头部姿态，所以该玩具 可以具有和人相似的面部结构，比如说，该智能玩具为一只玩具娃娃，其具有眼睛，眉毛，嘴巴，脸部轮廓等可以作出不同表情的脸部组件。在一个实施例中，所述表情识别模块可以 识别笑、愤怒、悲伤、惊讶四种面部表情，相应的所述玩具娃娃也可以做出笑、愤怒、悲伤、惊 讶四种表情，并且设定所述玩具娃娃的眼睛、眉毛、嘴巴运动组件为面部表情的运动参数， 在不同的面部表情中各组件会发生一定的变化，即不同的面部表情对应着不同的运动参数 值，如图2所示。由于面部表情会涉及到面部肌肉的变化，在另一个实施例中，所述智能玩 具为高仿真的玩具娃娃，其中还装有仿真的面部肌肉组件，可以将面部肌肉组件也设定为 面部表情的运动参数。玩具姿态的实现原理也如此。在一个实施例中，所述头部姿态识别模块可以识别 左、右、上、下四个方向的头部姿态，相应的玩具娃娃包括头颈部的连接关节组件，其可以带 动头部进行这四个方向的运动。所述头颈部的连接关节组件，可以设定为头部姿态的运动 参数。在另一个实施例中，所述玩具为高仿真的玩具娃娃，其中还装有仿真颈部肌肉和颈椎 组件，其可以带动头部做出四个方向的运动，可以将仿真颈部肌肉和颈椎组件设定为头部 姿态的运动参数。这里需要注意的是所述智能玩具不仅仅是可以做出面部表情和头部姿态的娃娃， 也可以是做出面部表情和头部姿态的其他造型的玩具。所述运动参数存储模块160用于存储预先设定的每个表情或者头部姿态对应的 玩具部件的运动参数。在玩具设计时，可以事先将每个表情对应的玩具组件的运动参数求 出来。在一个实施例中，所述运动参数存储模块存储有预先设定的表情或者头部姿态的名 称和对应的运动参数。比如，每个表情对应的运动参数可以包括眼睛参数、嘴巴参数、鼻子 参数和眉毛参数。所述驱动模块150根据表情识别模块和头部姿态识别模块的识别结果从所述运 动参数数据库中找到该表情对应的运动参数或者该姿态对应的运动参数，并根据所述参数 驱动机械运动模块作出相应的表情和头部姿态。由于所述智能玩具可以识别使用者的表情和头部姿态，并能作出相应表情和头部 姿态，可以实现和孩子更好的互动，激发孩子的兴趣和好奇心。为了使模仿的效果更加生动可以在面部表情模仿的同时增加语音播放模块，在一 个实施例中，存储有每个表情对应的声音，比如说，模仿笑的同时，播放“咯咯“的笑声哭的 同时播放呜呜的哭声
所述机械运动模块170由玩具构件组成，通过相互配合完成规定的动作。在一个实施 例中，所述机械模块可以做出常见的四种表情。上述说明已经充分揭露了本发明的具体实施方式
。需要指出的是，熟悉该领域的 技术人员对本发明的具体实施方式
所做的任何改动均不脱离本发明的权利要求书的范围。 相应地，本发明的权利要求的范围也并不仅仅局限于所述具体实施方式
。
权利要求
1.一种智能玩具，其包括运动参数数据库、驱动模块和机械运动模块，其特征在于其 还包括视频采集模块、人脸检测模块、表情识别模块，所述运动参数数据库存储有多个表情对应的运动参数；所述视频采集模块用于采集视频图像；所述人脸检测模块对采集到的图像进行人脸检测，并将检测到的人脸信息提供给所述 表情识别模块；所述表情识别模块对检测到的人脸信息进行表情识别，并将表情识别结果提供给所述 驱动模块；所述驱动模块根据表情识别结果从所述运动参数数据库中找到与其对应表情的运动 参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。
2.如权利要求1所述的智能玩具，其特征在于，所述智能玩具为玩具熊或玩具娃娃。
3.如权利要求1所述的智能玩具，其特征在于，所述表情包括高兴、愤怒、悲伤和惊讶。
4.如权利要求1所述的智能玩具，其特征在于，每个表情对应的运动参数包括眼睛参 数、嘴巴参数、鼻子参数和眉毛参数。
5.如权利要求1所述的智能玩具，其特征在于，其还包括头部姿态识别模块，所述运动参数数据库存储有各头部姿态对应的运动参数，所述头部姿态识别模块对检测到的人脸信息进行头部姿态识别，并将头部姿态识别结 果提供给所述驱动模块；所述驱动模块根据头部姿态识别结果从所述运动参数数据库中找到与其对应头部的 运动参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。
6.一种智能玩具，其包括运动参数数据库、驱动模块和机械运动模块，其特征在于其 还包括视频采集模块、人脸检测模块、头部姿态识别模块，所述运动参数数据库存储有多个头部姿态对应的运动参数；所述视频采集模块用于采集视频图像；所述人脸检测模块对采集到的图像进行人脸检测，并将检测到的人脸信息提供给所述 头部姿态识别模块；所述头部姿态识别模块对检测到的人脸信息进行头部姿态识别，并将头部姿态识别结 果提供给所述驱动模块；所述驱动模块根据头部姿态识别结果从所述运动参数数据库中找到与其对应头部姿 态的运动参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。
7.如权利要求6所述的智能玩具，其特征在于，所述智能玩具为玩具熊或玩具娃娃。
8.如权利要求6所述的智能玩具，其特征在于，所述头部姿态包括左、右、上、下四个方 向的头部姿态。
9.如权利要求6所述的智能玩具，其特征在于，其还包括表情识别模块，所述运动参数数据库存储有多个表情对应的运动参数，所述表情识别模块对检测到的人脸信息进行表情识别，并将表情识别结果提供给所述 驱动模块；所述驱动模块根据表情识别结果从所述运动参数数据库中找到与其对应表情的运动 参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。
全文摘要
本发明公开了一种智能玩具，其包括运动参数数据库、驱动模块、机械运动模块、视频采集模块、人脸检测模块、表情识别模块。所述运动参数数据库存储有预先设定的多个表情对应的运动参数。所述视频采集模块用于采集视频图像。所述人脸检测模块对采集到的图像进行人脸检测。所述表情识别模块对检测到的人脸信息进行表情识别。所述驱动模块根据表情识别结果从所述运动参数数据库中找到与其对应表情的运动参数，并根据该运动参数驱动所述机械运动模块做出相应的动作。从而可以增强玩具的交互性和娱乐性。
文档编号A63H13/02GK102058983SQ20101053831
公开日2011年5月18日 申请日期2010年11月10日 优先权日2010年11月10日
发明者谢东海 申请人:无锡中星微电子有限公司