专利名称：一种基于人脸信息识别的虚拟宠物情感表达方法
技术领域：
本发明涉及一种将人脸信息识别技术用于虚拟宠物游戏开发的方法。
背景技术：
基于人脸信息识别的虚拟宠物情感表达方法是将人脸信息识别技术用于虚拟宠物游戏开发，使得这类虚拟宠物游戏系统能够自动定时采集玩家面部图像并进行人脸图像的信息识别，再根据不同的识别结果用各种不同的形式对玩家进行感情慰问和智能人机互动。人脸信息包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息等内容，人脸信息识别就是对人脸信息中各个特征信息进行识别，将人脸信息识别用于虚拟宠物游戏系统的开发，从而使虚拟宠物游戏系统具有其智能性更加接近于人类的学习、观察、分析和表达的能力，整个学习、观察、分析和表达过程即形成了玩家表情与宠物感情的认知反馈链，最终实现人机之间的感情交流。目前，人脸身份识别和面部表情识别的研究已经比较成熟，如模糊C均值聚类法、加权马氏距离法和基于DCT-BP神经网络等多种技术都可用于人脸的身份识别和人脸的表情识别，而且其识别准确率可达80%以上。同样，类似于中医望诊的人脸健康状态特征分析系统也成为家庭保健研究的内容之一。无疑这些算法为虚拟宠物游戏系统的开发奠定了坚实的理论基础。当前网络上虚拟宠物软件很多，功能也很强大，例如腾讯公司的QQ宠物是一款虚拟社区喂养游戏，贯穿宠物成长全过程，包括打工、学习、游戏、结婚、生子等等，但这些虚拟宠物都仅限于玩家对它的关心和照顾，却对用户的心情状态毫不关心，其智能性跟本人所提出的基于人脸特征识别和表情特征识别的虚拟宠物情感表达方法相差甚远，可见该发明的提出具有很重要的现实意义，它的实现将给玩家带来的不光是娱乐，还带来了一位好友、一位知己。
发明内容
技术问题本发明的目的是提供一种基于人脸信息识别的虚拟宠物情感表达方法，该方法涉及人脸信息识别的内容、人脸信息识别的过程、虚拟宠物情感表达形式等内
容。 技术方案本发明的基于人脸信息识别的虚拟宠物情感表达方法所涉及的人脸信息识别内容包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息三部分内容；
人脸信息识别的过程是首先通过摄像头获取人脸图像，通过使用现有的相关图像识别技术进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对通过人脸身份识别后的特定用户进行，按“开心、平常、不开心”三种表情进行分类处理，最后再将该特定用户的面部信息与近期的相关面部信息进行比较，重点比较眼睛、胖瘦、面色的变化和面部有无受伤等健康信息，通过这样设计的先后实施步骤，以有效地提高人脸信息识别的效率和准确度；
虚拟宠物情感表达形式是建立与玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心、健康-对应脸部无明显变化、比较健康-对应脸部有少许变化、去看医生-对应脸部有明显变化和面部有无受伤这7个文件库中，然后虚拟宠物系统根据前面人脸信息识别的结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互。有益效果基于人脸信息识别的虚拟宠物情感表达方法将人脸身份识别、人脸表情识别和人脸健康望诊结合一体，实现人与虚拟宠物之间的感情交流，把智能控制技术有效地应用于游戏中。
图I系统模块结构关系 图2虚拟宠物的一种显示效果图。
具体实施例方式一种基于人脸信息识别的虚拟宠物情感表达方法所构成的虚拟宠物游戏系统实现案例可由硬件和软件两个部分组成
硬件部分主要是电脑或手持设备以及其摄像头部分。这两部分是图像信号采集和智能信息处理等功能实现的硬件基础。软件部分根据功能结构可将本发明分为宠物玩家，人脸图像采集和预处理，人脸身份识别、人脸表情识别和人脸健康望诊，宠物情感表达和逻辑控制中心等几个模块。如图I所示。I、宠物玩家，即游戏的特定用户。2、人脸图像采集和预处理模块，该模块可实现以下功能效果
(1)驱动摄像头，获取摄像头前玩家的图像信息；
(2)根据轮廓法对玩家人脸进行定位，系统再根据一段时间内玩家的最大面部面积法来采集当前玩家图像；
(3)对已保存的优质图像进行预处理操作(包括去噪、像素位置或者光照变量的标准化)。通过三方面的紧密配合为下，使用现有的图像识别技术，比如人工神经网络识别算法进行图像信息处理与分类。3、人脸身份识别、人脸表情识别和人脸健康望诊模块，该模块的功能包括以下四部分
(1)人脸身份识别的训练学习部分，系统在使用初期将会用玩家的人脸图像对身份识别模块进行训练，一连串的训练将会为以后人脸身份识别提供分类标准；
(2)人脸身份识别部分，是对玩家的身份进行判定，玩家每次进入系统，首先要对玩家的玩家的人脸信息进行识别，识别结果将会传给互动反馈模块进行交互处理；(3)表情识别模块的训练学习部分，系统的使用初期将会用玩家的各种表情信息分类对表情识别模块进行训练，一连串的训练将会为玩家的表情识别提供分类标准；
(4)人脸表情识别部分，是对玩家当前的表情进行判定，当玩家正常使用该系统时，人脸表情识别系统将会对玩家的表情信息进行识别，识别结果将会传给互动反馈模块进行交互处理；
(5)人脸健康望诊部分，通过对玩家现在与近期的图像进行比较，重点获取眼睛红肿、胖瘦变化、面色变化和面部有无受伤等信息传给互动反馈模块进行交互处理。其人脸信息识别的过程是首先进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对特定用户进行，最后再将该特定用户的面部信息与近期的相关面部信息进行对比分析处理。4、宠物情感表达模块 宠物情感表达模块主要通过互动反馈的宠物动画短片或宠物画面实行人机交互，根据互动反馈的需要，分类保存在玩家身份、开心、平常、不开心和健康(对应脸部无明显变化)、比较健康(对应脸部有少许变化)、去看医生(对应脸部有明显变化和面部有无受伤)等7个文件库中，并且分类保存在有不同的文件库，该模块根据人脸信息识别模块所传来的不同识别结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互，如图2所示。5、逻辑控制中心模块
逻辑控制中心模块是整个系统的控制中心，该模块保证了系统反馈链中各个环节有序进行。通过几个模块的紧密配合实现宠物系统的学习、观察分析和感情反馈等能力，从而虚拟宠物情感表达方法其智能性更加接近于人。本发明的样例所采用的是神经网络识别算法为基础并根据实际需求所改进优化的算法，最终以C++编程来实现的。发明实现样例具体使用步骤如下
第一步虚拟宠物系统的安装，双击智能宠物图标便可执行安装虚拟宠物系统的操作，该安装文件包括摄像头驱动模块、视频图像筛选模块、视频图像预处理模块、人脸身份识别神经网络系统模块、人脸表情识别神经网络系统模块(经少数典型表情识别样本所训练)、虚拟宠物展现宠物动画短片或宠物画面库模块、虚拟宠物的逻辑控制等模块，提示安装后虚拟宠物系统便可正常工作。第二步虚拟宠物的领养期，此阶段系统通过动画互动采集玩家的人脸信息和人脸的各种表情信息，用当前玩家的人脸信息对人脸身份识别神经网络进行训练；然后通过一连串的训练将为人脸身份识别和人脸的表情识别提供分类标准，最后建立与当前玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心和健康、比较健康、去看医生等分类文件库中。第三步虚拟宠物的正常使用期，在此阶段，首先系统对当前玩家进行人脸身份识另IJ，确定玩家是否是宠物的主人；其次对玩家当前表情进行识别，确定当前玩家的心情状况；最后互动反馈系统将根据前两次的识别结果对玩家进行适合的感情慰问，其中的一种效果如图2所示。
权利要求
1.一种基于人脸信息识别的虚拟宠物情感表达方法，其特征在于该方法基于人脸信息识别的虚拟宠物情感表达方法所涉及的人脸信息识别内容包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息三部分内容； 人脸信息识别的过程是首先通过摄像头获取人脸图像，通过使用现有的相关图像识别技术进行人脸身份识别，其次进行人脸表情识别，使得表情识别只需针对通过人脸身份识别后的特定用户进行，按“开心、平常、不开心”三种表情进行分类处理，最后再将该特定用户的面部信息与近期的相关面部信息进行比较，重点比较眼睛、胖瘦、面色的变化和面部有无受伤等健康信息，通过这样设计的先后实施步骤，以有效地提高人脸信息识别的效率和准确度； 虚拟宠物情感表达形式是建立与玩家身份、心情、健康状态相对应的宠物动画短片或宠物画面文件库，并且分类保存在玩家身份、开心、平常、不开心、健康-对应脸部无明显变化、比较健康-对应脸部有少许变化、去看医生-对应脸部有明显变化和面部有无受伤这7个文件库中，然后虚拟宠物系统根据前面人脸信息识别的结果，播放对应文件库中的宠物动画短片或宠物画面，产生宠物的某种情感表达，形成玩家表情与宠物感情的认知反馈链，实现人与虚拟宠物之间的智能交互。
全文摘要
基于人脸信息识别的虚拟宠物情感表达方法是将人脸信息识别技术用于虚拟宠物游戏开发，使得这类虚拟宠物游戏系统能够自动定时采集玩家面部图像并进行人脸图像的信息识别，再根据不同的识别结果用各种不同的形式对玩家进行感情慰问和智能人机互动。人脸信息包括人脸身份特征信息、人脸的表情特征信息和人脸健康状态特征信息等内容，人脸信息识别就是对人脸信息中各个特征信息进行识别，将人脸信息识别用于虚拟宠物游戏系统的开发，从而使虚拟宠物游戏系统具有其智能性更加接近于人类的学习、观察、分析和表达的能力，整个学习、观察、分析和表达过程即形成了玩家表情与宠物感情的认知反馈链，最终实现人机之间的感情交流。
文档编号G06F3/01GK102722246SQ201210173109
公开日2012年10月10日 申请日期2012年5月30日 优先权日2012年5月30日
发明者刘子山, 成谢锋 申请人:南京邮电大学