一种基于双目视觉的人体面部表情识别装置制造方法
【专利摘要】本实用新型公开了一种基于双目视觉的人体面部表情识别装置，包括摄像机、数据存储模块、识别模块、比较模块、计时模块与图像显示模块；摄像机的输出与识别模块的输入连接；数据存储模块的输出与识别模块的输入连接；识别模块的输出与比较模块的输入连接；比较模块的输出分别与计时模块及图像显示模块的输入连接；计时模块的输出与图像显示模块的输入连接。本实用新型采用了双目视觉摄影技术，利用双目视觉摄影的三维建模获得三维面部表情，从而构建了一种三维的人体面部表情识别装置。
【专利说明】一种基于双目视觉的人体面部表情识别装置
【技术领域】
[0001]本实用新型涉及人体面部识别技术，尤其涉及一种基于双目视觉的人体面部表情识别装置。
【背景技术】
[0002]目前，基于图像处理的人体面部表情识别主要是通过二维图像分析处理得到人体的面部表情。但是二维图像所包含的图像信息有限，二维图像分析系统在结构上具有一定的不足和缺陷，主要表现在识别系统的不全面性和不准确性，二维图像的表情识别系统一般首先提取人体面部的几何特征，然后根据其变化进行表情识别，但需要实现面部关键点的精确定位，对于在实际环境中快速准确地实现这一识别来说是很困难的。同时二维图像处理无法解析出人体面部三维变化。相比于单个相机检测，通过双目相机的左右相机和三维建模的相互校验可以减小面部表情识别错误率。
[0003]因此，为了克服现有技术中的上述缺陷，亟需一种能够快速准确的人体面部表情识别技术和装置。
实用新型内容
[0004]本实用新型提出了一种基于双目视觉的人体面部表情识别装置，可以快速精确地识别人体面部表情。
[0005]本实用新型提出的基于双目视觉的人体面部表情识别装置中，包括摄像机、数据存储模块、识别模块、比较模块、计时模块与图像显示模块；所述摄像机的输出与所述识别模块的输入连接；所述数据存储模块的输出与所述识别模块的输入连接；所述识别模块的输出与所述比较模块的输入连接；所述比较模块的输出分别与所述计时模块及所述图像显示模块的输入连接；所述计时模块的输出与所述图像显示模块的输入连接。
[0006]本实用新型提出的基于双目视觉的人体面部表情识别装置中，所述摄像机为双目摄像机，所述双目摄像机包括左端摄像机与右端摄像机。
[0007]本实用新型提出的基于双目视觉的人体面部表情识别装置中，进一步包括三维建模模块，所述三维建模模块与所述识别模块连接。
[0008]本实用新型提出的基于双目视觉的人体面部表情识别装置中，所述识别模块、所述比较模块和所述计时模块为TMS320C6474多核数字信号处理芯片。
[0009]本实用新型提出的基于双目视觉的人体面部表情识别装置中，所述识别模块与所述比较模块之间进一步设置有滤波模块。
[0010]本实用新型采用了双目视觉摄影技术，利用双目视觉摄影的三维建模获得三维面部表情，从而构建了一种三维的人体面部表情识别装置。本实用新型进一步利用滤波模块对面部表情进行数字滤波，增加了人体面部表情识别的精确性和鲁棒性。
【专利附图】
【附图说明】
[0011]图1是本实用新型基于双目视觉的人体面部表情识别装置的示意图。
【具体实施方式】
[0012]结合以下具体实施例和附图，对本实用新型作进一步的详细说明。实施本实用新型的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本实用新型没有特别限制内容。
[0013]本实用新型中所涉及的“模块”均指内部烧录的或固有程序的芯片及其连接的电路，芯片中所烧录或固有的程序均为现有公知技术。
[0014]如图1所示，本实用新型基于双目视觉的人体面部表情识别装置包括摄像机1、数据存储模块2、识别模块3、比较模块4、计时模块5与图像显示模块6。所述摄像机I的输出与所述识别模块3的输入连接；所述数据存储模块2的输出与所述识别模块3的输入连接；所述识别模块3的输出与所述比较模块4的输入连接；所述比较模块4的输出分别与所述计时模块5及所述图像显示模块6的输入连接；所述计时模块5的输出与所述图像显示模块6的输入连接。识别模块3、比较模块4、计时模块5和三维建模模块7是一个DSP数据处理器，例如TMS320C6474多核数字信号处理芯片，该处理器芯片也可以是个人电脑处理器、嵌入式计算机处理器、智能手机的处理器或服务器的处理器。数据存储模块2、识别模块3、比较模块4和计时模块5均为现有公知的面部表情识别技术中通常采用的芯片，本实用新型不涉及对上述芯片内程序的改进。
[0015]摄像机I用于获取人体面部的图像。摄像机I为双目摄像机，双目摄像机包括左端摄像机与右端摄像机，分别用于获取的人体面部的图像包括第一面部图像与第二面部图像。双目摄像机的左端摄像机与右端摄像机是单色相机或彩色相机。
[0016]由于双目摄像机获取的图像可以通过双目立体匹配技术搭建三维面部模型，因此本实用新型进一步设置有三维建模模块7，所述三维建模模块7与所述识别模块3连接，利用第一面部图像与第二面部图像构建出三维面部模型，三维面部模型同样具有二维面部图像的面部表情特征，但由于三维面部模型不受不良光照效果、姿势等影响，所以三维识别的准确率更高。本实用新型通过使用双目摄像机，利用双目图像建模技术将三维面部模型引入面部表情识别技术中。相比于单个相机检测，本实用新型通过双目相机的左右相机和三维建模的相互校验可以减小面部表情识别错误率。由于本实用新型所采用的双目图像建模技术是现有公知技术，三维建模模块7不涉及对于方法的改进。
[0017]数据存储模块2用于存储面部表情图像数据库，面部表情图像数据库包含不同表情下面部图像特征部位的特征点集合。其中，表情包括高兴、悲伤、惊讶、恐惧、愤怒和厌恶，这些表情具有各自的特征点集合。这些特征点集合都预设在数据存储模块2中。数据存储模块2是由服务器搭建的，数据存储模块2还可以是云服务器、独立存储设备或个人电脑等具有数据存储功能的设备。
[0018]识别模块3分别与摄像单元I及数据库2连接，用于根据面部表情图像数据库识别人体面部的图像获得面部表情。其通过获取第一面部图像、第二面部图像与三维面部模型中各表情特征点分别与不同表情下面部图像特征部位的特征点集合的匹配度，匹配度最高所对应的表情即为识别出的面部表情。
[0019]比较模块4与计时模块5是用于获取同一个表情所持续的时间，并且将该表情与持续时间实时地有图像显示模块6中显示。比较模块4依次比较对识别模块3识别出的面部表情，若后一帧识别的面部表情与当前面部表情一致，则计时模块5维持当前面部表情的计时，直至后一帧识别的面部表情与当前面部表情不同时，则结束当前面部表情的计时得到其持续时间。然后计时模块5置零，比较模块4以该后一帧识别的面部表情作为当前面部表情进行下一次比较。图像显示模块6则实时显示比较模块4的面部表情以及计时模块5的持续时间。本实用新型进一步设置有滤波模块8，其设置在识别模块3及比较模块4之间，用于对面部表情进行数字滤波，增加表情识别的精确性和鲁棒性。
[0020]本实用新型的保护内容不局限于以上实施例。在不背离实用新型构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本实用新型中，并且以所附的权利要求书为保护范围。
【权利要求】
1.一种基于双目视觉的人体面部表情识别装置，其特征在于，包括摄像机(I)、数据存储模块(2)、识别模块(3)、比较模块(4)、计时模块(5)与图像显示模块(6)； 所述摄像机(I)的输出与所述识别模块(3)的输入连接； 所述数据存储模块(2)的输出与所述识别模块(3)的输入连接； 所述识别模块(3)的输出与所述比较模块(4)的输入连接； 所述比较模块(4)的输出分别与所述计时模块(5)及所述图像显示模块(6)的输入连接; 所述计时模块(5)的输出与所述图像显示模块￠)的输入连接。
2.如权利要求1所述的基于双目视觉的人体面部表情识别装置，其特征在于，所述摄像机为双目摄像机，所述双目摄像机包括左端摄像机与右端摄像机。
3.如权利要求2所述的基于双目视觉的人体面部表情识别装置，其特征在于，进一步包括三维建模模块(7)，所述三维建模模块(7)与所述识别模块(3)连接。
4.如权利要求1所述的基于双目视觉的人体面部表情识别装置，其特征在于，所述识别模块(3)、所述比较模块(4)和所述计时模块(5)为TMS320C6474多核数字信号处理芯片。
5.如权利要求1所述的基于双目视觉的人体面部表情识别装置，其特征在于，所述识别模块(3)与所述比较模块(4)之间进一步设置有滤波模块(8)。
【文档编号】G06T17/00GK204009956SQ201420380978
【公开日】2014年12月10日 申请日期:2014年7月10日 优先权日:2014年7月10日
【发明者】赵欣, 彭浡 申请人:华东师范大学