机器人的人脸检测与情感识别系统及方法
机器人的人脸检测与情感识别系统及方法
【专利摘要】本发明公开了一种机器人的人脸检测及情感识别系统及方法，该系统包括：人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，进行处理后生成人脸表情库；原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，利用视频采集装置采集现场人脸表情彩色图像帧，并进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的特征库中利用k近邻分类算法来识别人脸表情，通过本发明，可提升家居机器人的家庭监控和陪护能力。
【专利说明】机器人的人脸检测与情感识别系统及方法
【技术领域】
[0001]本发明涉及智能机器人【技术领域】，特别是涉及一种用于智能机器人的机器人的人脸检测与情感识别系统及方法。
【背景技术】
[0002]现有的家庭服务机器人的人脸识别能力有限，尤其是情感识别能力非常有限，无法对家庭中老人或者儿童的情感状态进行全方位的识别，比如中国专利申请CN200720077448.9描述了一种具有人脸识别的智能机器人，其包括:具有腿部电机、手臂电机、脖子电机及喇叭的机器人本体；装设在所述机器人本体上且用于摄取人脸图像的摄像装置；以及用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像的人脸识别单元；中国专利申请201220365083.0描述了一种人脸识别的安保机器人，其由安保机器人本体、安装在所述安保机器人本体表面用于摄取人脸图像的摄像装置、装在所属安保机器人本体内部且用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较识别的人脸识别模块、用于处理数据且向其它模块发送指令的数据处理模块、用于供使用者发出指示以使安保机器人执行安防动作的远程遥控模块组成，这两件专利申请中的人脸识别模块，仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像，但识别能力有限，特别是针对存储较多人脸图像时，无法有效完成人脸的识别。
[0003]另外，中国实用新型专利CN201120506957.5则提供了一种助老与助残机器人，其包括一个能够旋转的单目视觉系统、用于识别生活用品和来访客人以及障碍物体、一双用于实现人手动作的五指形仿人机械手和用于驱动机器人行走的三角联动轮驱动结构该助老与助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能，但没有人脸检测和情感识别的功能，无法对家庭中的老人和孩子的状态进行有效识别。
[0004]综上所述，现有针对家庭机器人应用的人脸检测和情感识别系统主要由可移动摄像头和固定摄像头组成，只是单纯实现人脸识别系统，智能化程度有限，并且无法感知周围其他信息，不能对老人和孩子的情感状态进行综合分析，从而进行全方位的陪护服务。因此，实有必要提出一种技术手段，以解决上述问题。
【发明内容】
[0005]为克服上述现有技术存在的不足，本发明之主要目的在于提供一种机器人的人脸检测与情感识别系统及方法，其使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
[0006]为达上述及其它目的，本发明提出一种机器人的人脸检测及情感识别系统，至少包括:人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；
原始表情库构建模块，利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；
特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；
现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；
表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
[0007]进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
[0008]进一步地，该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。
[0009]进一步地，该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。
[0010]进一步地，该摄像头设置于该机器人的头部眼球中。
[0011]为达到上述目的，本发明还提供一种机器人的人脸检测及情感识别方法，包括如下步骤:
步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；步骤二，利用人脸表情库的训练图像，去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；
步骤三，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；
步骤四，从该视频采集装置中采集现场人脸表情彩色图像帧，将其预处理后，进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情;
步骤五，利用现场人脸表情图像，去除图像冗余信息，进行现场表情特征提取；
步骤六，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
[0012]进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
[0013]进一步地，于步骤二及步骤五中，使用主成分分析法降维去除图像冗余信息后，进行表情特征提取。
[0014]进一步地，利用主成分分析法进行特征提取是把该训练图像集转换为特征集，其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
[0015]进一步地，于步骤三中，基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表，将每一个表情特征分别插入到该个哈希表中，将此哈希表作为检索数据库。
[0016]与现有技术相比，本发明一种机器人的人脸检测及情感识别系统及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤，使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
【专利附图】
【附图说明】
[0017]图1为本发明所应用之机器人的的系统架构图；
图2为本发明之较佳实施例中机器人的结构设置示意图；
图3为本发明一种机器人的人脸检测及情感识别系统的系统架构图；
图4为本发明较佳实施例中训练表情库主成分示意图；
图5为本发明较佳实施例中训练表情库平均图像示意图图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图；
图7为本发明一种机器人的人脸检测与情感识别方法所采用的实验系统界面示意图。
【具体实施方式】
[0018]以下通过特定的具体实例并结合【专利附图】
【附图说明】本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0019]在介绍本发明之人脸检测与情感识别系统之前，先对本发明所应用之机器人的结构进行描述。图1为本发明所应用之机器人的的系统架构图。如图1所示，本发明所应用之机器人包括主控系统210、运动装置220、头部动作装置230、人机交互系统240、视频采集模块250、无线收发模块260、语音采集模块270、里程测量装置280及遥控接收器290，主控系统210控制机器人其他各部分协调工作，包括硬件和软件两部分，硬件由DSP、MCU等组成，软件上可划分为路径规划模块、障碍物检测、人脸检测、情感检测、环境检测、异常检测、里程信息以及信息融合模块，人脸检测和情感识别连接视频采集装置1，用于采集人脸信息和识别人的喜怒哀乐等表情，环境感知和异常检测连接视频采集模块2，主要用于感知外部环境和检测外部环境异常信息，里程信息连接里程信息测量装置280，以取得里程信息，障碍物检测连接超声波传感器，用于检测外部障碍物到机器人的距离，信息融合将外部视频采集模块、语音采集模块、超声波传感器、电量检测及充电模块采集到的信息及里程信息进行融合，以判断机器人该进行充电还是继续服务，是否需要规避障碍物，是否需要响应召唤命令；运动装置220包括底盘驱动器、电机驱动模块、直流电机M1/M2、驱动轮1/2及传动机构、万向轮、电池组、超声波传感器、电量检测及充电模块，运动装置主要用于接收主控系统210命令以驱动机器人行走，在行走过程中完成超声波测距并回馈给主控系统210以进行后续控制，在服务过程中及时检测电池电量并回馈给主控系统210以判断是否需要进行充电；头部动作装置230包括头部控制器、舵机1/2及传动结构，用于接收主控系统210的命令进行头部俯仰和左右旋转，由头部带动安装于头部的视频采集装置1/2的单目摄像头1/2的运动以获取图像信息，在本发明中，舵机1负责控制机器人脖子的俯仰转动，舵机2控制头部的左右转动，从而可以控制眼球(视频采集装置1和视频采集装置2)的转动；人机交互系统240连接主控系统210，其包括显示屏、键盘、发音系统等常用输入输出设备，以利于显示机器人状态和人工输入信息命令；视频采集模块250包含视频采集装置1和视频采集装置2，视频采集装置1包含一普通单目摄像头及其采集电路，用于获取人脸检测和情感识别所需信息，视频采集装置2包含一广角单目摄像头及其采集电路，用于获取环境感知和异常检测所需信息，视频采集模块安装于机器人头部，其位置改变受控于头部运动装置230 ;无线收发模块260在主控系统210控制下通过通信网络向用户(主人)发送信息和接收命令；语音采集模块270采集外界语音信息至主控系统210以判断是否语音信息或命令；里程测量装置280用于测量行走里程并将里程信息上传给主控系统210进行处理。
[0020]图2为本发明之较佳实施例中机器人的结构设置示意图。在本发明较佳实施例中，主控系统通过通讯模块控制步进电机控制系统控制机器人的左右手臂和头部转动，主控系统之人脸检测与情感识别模块通过USB接口获取摄像头1所采集的人脸信息和识别人的喜怒哀乐等表情，环境检测模块通过USB接口获取获环境感知和异常检测所需信息，主控系统通过分线器连接连接多个麦克(语音采集装置)采集外界语音信息以判断是否语音信息或命令；主控系统与底盘控制器连接，通过底盘控制器控制下位机控制系统以控制左右轮电机运动，同时利用超声波检测器进行超声波避障路径规划，并控制电量检测及充电模块进行电量检测及自动充电。
[0021]图3为本发明一种机器人的人脸检测及情感识别系统的系统架构图。如图3所示，本发明一种机器人的人脸检测及情感识别系统，至少包括人脸表情库采集模块30、原始表情特征库构建模块31、特征库重构模块32、现场表情特征提取模块33以及表情识别模块34。
[0022]其中，人脸表情库采集模块30从视频采集装置1 (摄像头)中采集大量人脸表情图像帧(彩色图像帧)，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化后(预处理)，分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成用于表情特征提取的训练图像集——人脸表情库。
[0023]在本发明较佳实施例中，人脸几何结构特征主要包括:“三庭五眼”。“三庭五眼”是人们通过长期观察总结出的人脸长与宽的一般标准比例。人脸从上到下由三个等长区域组成:发际线到眉毛，眉毛到鼻尖，鼻尖到下颚，这就是“三庭”;从左到右由五个等宽区域组成:左发际线到左外眼角，左外眼角到左内眼角，左内眼角到右内眼角，右内眼角到右外眼角，右外眼角到右发际线，这就是“五眼”。根据“三庭五眼”理论，可以精确定位眉毛到下颚，左外眼角到右外眼角这一矩形区域，这就是最终的人脸表情区域，对表情区进行精确定位后图像携带的无用信息减少了，这样不仅会提高表情识别的准确率，还会加快表情识别的速度，生成更有效的训练图像集，用于表情特征提取。[0024]原始表情库构建模块31利用人脸表情库的训练图像，使用主成分分析法(PCA)降维去除图像冗余信息，进行表情特征提取，并将表情特征保存为文件形成原始表情特征库。
[0025]在本发明较佳实施例中，原始表情特征库的建立如下:
(1)使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
[0026]对于一副人脸图像来说，最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征，识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令，那么一幅的人脸图像可表示成空间的一个向量，幅人脸图像组成的训练集可表示为，即一个的矩阵，其中。PCA的目标是通过一个基变换把原始数据X重新表示为7，即。其中是矩阵，是矩阵。基于PCA的特征提取就是把训练集I转换为特征集r。其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征，能够在保证较高识别率的前提下尽量降低特征的维度。
[0027]图4为本发明较佳实施例中训练表情库主成分示意图，图5为本发明较佳实施例中训练表情库平均图像示意图。如图4及图5，本发明分别针对标准的JAFFE表情库和针对特定个体采集的表情库(简称个性化库)进行试验。JAFFE库中包含7种表情(6种基本表情+1种平静态表情)，共由213幅表情图片组成，其中140幅用来训练提取主成分。个性化库采集了 900幅图片，其中450幅用来训练提取主成分。对训练表情库进行主成分分析得到的主成分和平均图像如图4、图5所示，其中(a)为JAFFE表情库，(b)为个性化库。实验发现表情库的主成分，即特征向量，同人脸检测的特征脸十分相似。
[0028]特征库重构模块32使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表，用作提高表情识别效率。
[0029]对上述训练图像集进行PCA降维建立原始表情特征库后，该特征库是由多个表情特征组成的矩阵，识别时需将待测表情与特征库中的每一个特征进行相似度比对，当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对，本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表，使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索，达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表，将每一个表情特征分别插入到这个哈希表中，将此哈希表作为检索数据库。
[0030]现场表情特征提取模块33将从视频采集装置1采集的现场人脸表情彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，然后分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成现场人脸表情，并使用主成分分析法(PCA)降维去除图像冗余信息，进行现场表情特征提取，将现场表情特征输送至表情识别模块34。
[0031]表情识别模块34将现场表情特征模块33提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法(Κ-Nearest Neighbor algorithm, KNN)来识别人脸表情，以此来指导机器人对老人和儿童的行为进行预测。
[0032]图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图。如图4所示，本发明一种机器人的人脸检测与情感识别方法，包括如下步骤:
步骤601，训练表情提取。首先从视频采集装置(摄像头)中采集大量人脸表情彩色图像帧，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，接着进行利用人脸检测器、人眼检测器进行人脸检测、人眼检测，并对人脸旋转，同时利用人脸几何结构特征对表情区精确定位，生成用于表情特征提取的训练图像集，即建立人脸表情库。
[0033]步骤602，训练表情特征提取。利用人脸表情库的训练图像，使用主成分分析法(PCA)降维去除图像冗余信息，进行表情特征提取，并将表情特征保存为文件形成原始表情特征库。
[0034]在本发明较佳实施例中，使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
[0035]对于一副人脸图像来说，最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征，识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令，那么一幅的人脸图像可表示成空间的一个向量，幅人脸图像组成的训练集可表示为，即一个的矩阵，其中。PCA的目标是通过一个基变换把原始数据X重新表示为7，即。其中是矩阵，是矩阵。基于PCA的特征提取就是把训练集I转换为特征集r。其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征，能够在保证较高识别率的前提下尽量降低特征的维度。
[0036]步骤603，重构表情特征。使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表，用作提高表情识别效率。
[0037]对上述训练图像集进行PCA降维建立原始表情特征库后，该特征库是由多个表情特征组成的矩阵，识别时需将待测表情与特征库中的每一个特征进行相似度比对，当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对，本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表，使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索，达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表，将每一个表情特征分别插入到这个哈希表中，将此哈希表作为检索数据库。
[0038]步骤604，现场表情提取。从视频采集装置(摄像头)中采集现场人脸表情彩色图像帧，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，接着进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情。
[0039]步骤605，现场表情特征提取，利用现场人脸表情，使用主成分分析法(PCA)降维去除图像冗余信息，进行现场表情特征提取，并将现场表情特征输送至表情识别模块；
步骤606，人脸表情识别，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法(Κ-Nearest Neighbor algorithm, KNN)来识别人脸表情，以此来指导机器人对老人和儿童的行为进行预测。
[0040]以下通过对家庭服务机器人人脸表情识别的实验对本发明进一步介绍。
[0041]本发明所采用的实验系统界面如图7所示，主要由7个部分组成:(1)视频框，用来显示从摄像头采集到的视频图像、表情库采集结果和表情识别结果；(2)表情库采集框，用来控制表情库的采集；(3)表情识别框，用来控制表情识别；(4)DBH训练框，用来训练DBH参数；(5)表情训练框，用来控制表情特征库的训练；(6)信息框，用来显示部分运行结果和出错信息；(7)样本数框，用来确定每种表情采集的样本数目。
[0042]通过对摄像头中采集的图像帧进行一系列处理后，系统可完成高兴、悲伤、惊讶、厌恶、生气、恐惧等6种基本表情的识别。
[0043]综上所述，本发明一种机器人的人脸检测及情感识别系统及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤，使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
[0044]上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
【权利要求】
1.一种机器人的人脸检测及情感识别系统，至少包括:人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；原始表情库构建模块，利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表； 现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
2.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
3.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。
4.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。
5.如权利要求4所述的一种机器人的人脸检测及情感识别系统，其特征在于:该摄像头设置于该机器人的头部眼球中。
6.一种机器人的人脸检测及情感识别方法，包括如下步骤:步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；步骤二，利用人脸表情库的训练图像，去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；步骤三，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；步骤四，从该视频采集装置中采集现场人脸表情彩色图像帧，将其预处理后，进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情;步骤五，利用现场人脸表情图像，去除图像冗余信息，进行现场表情特征提取；步骤六，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
7.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
8.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:于步骤二及步骤五中，使用主成分分析法降维去除图像冗余信息后，进行表情特征提取。
9.如权利要求8所述的一种机器人的人脸检测及情感识别方法，其特征在于:利用主成分分析法进行特征提取是把该训练图像集转换为特征集，其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
10.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:于步骤三中，基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表，将每一个表情特征分别插入到该个哈希表中，将此哈希表作为检 索数据库。
【文档编号】G06K9/62GK103679203SQ201310694112
【公开日】2014年3月26日 申请日期:2013年12月18日 优先权日:2013年12月18日
【发明者】蔡则苏, 王丙祥, 王玲 申请人:江苏久祥汽车电器集团有限公司
【专利摘要】本发明公开了一种机器人的人脸检测及情感识别系统及方法，该系统包括：人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，进行处理后生成人脸表情库；原始表情库构建模块,利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；现场表情特征提取模块，利用视频采集装置采集现场人脸表情彩色图像帧，并进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的特征库中利用k近邻分类算法来识别人脸表情，通过本发明，可提升家居机器人的家庭监控和陪护能力。
【专利说明】机器人的人脸检测与情感识别系统及方法
【技术领域】
[0001]本发明涉及智能机器人【技术领域】，特别是涉及一种用于智能机器人的机器人的人脸检测与情感识别系统及方法。
【背景技术】
[0002]现有的家庭服务机器人的人脸识别能力有限，尤其是情感识别能力非常有限，无法对家庭中老人或者儿童的情感状态进行全方位的识别，比如中国专利申请CN200720077448.9描述了一种具有人脸识别的智能机器人，其包括:具有腿部电机、手臂电机、脖子电机及喇叭的机器人本体；装设在所述机器人本体上且用于摄取人脸图像的摄像装置；以及用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像的人脸识别单元；中国专利申请201220365083.0描述了一种人脸识别的安保机器人，其由安保机器人本体、安装在所述安保机器人本体表面用于摄取人脸图像的摄像装置、装在所属安保机器人本体内部且用于将所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较识别的人脸识别模块、用于处理数据且向其它模块发送指令的数据处理模块、用于供使用者发出指示以使安保机器人执行安防动作的远程遥控模块组成，这两件专利申请中的人脸识别模块，仅仅通过所述摄像装置摄取的人脸图像与预先存储的人脸图像进行比较以识别所摄取的人脸图像，但识别能力有限，特别是针对存储较多人脸图像时，无法有效完成人脸的识别。
[0003]另外，中国实用新型专利CN201120506957.5则提供了一种助老与助残机器人，其包括一个能够旋转的单目视觉系统、用于识别生活用品和来访客人以及障碍物体、一双用于实现人手动作的五指形仿人机械手和用于驱动机器人行走的三角联动轮驱动结构该助老与助残机器人尽管具有防盗监测、安全检查、监护诊疗、辅助行走、物品搬运、家电控制、清洁卫生、家庭娱乐、报时催醒、儿童教育等功能，但没有人脸检测和情感识别的功能，无法对家庭中的老人和孩子的状态进行有效识别。
[0004]综上所述，现有针对家庭机器人应用的人脸检测和情感识别系统主要由可移动摄像头和固定摄像头组成，只是单纯实现人脸识别系统，智能化程度有限，并且无法感知周围其他信息，不能对老人和孩子的情感状态进行综合分析，从而进行全方位的陪护服务。因此，实有必要提出一种技术手段，以解决上述问题。
【发明内容】
[0005]为克服上述现有技术存在的不足，本发明之主要目的在于提供一种机器人的人脸检测与情感识别系统及方法，其使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
[0006]为达上述及其它目的，本发明提出一种机器人的人脸检测及情感识别系统，至少包括:人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；
原始表情库构建模块，利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；
特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；
现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；
表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
[0007]进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
[0008]进一步地，该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。
[0009]进一步地，该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。
[0010]进一步地，该摄像头设置于该机器人的头部眼球中。
[0011]为达到上述目的，本发明还提供一种机器人的人脸检测及情感识别方法，包括如下步骤:
步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；步骤二，利用人脸表情库的训练图像，去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；
步骤三，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；
步骤四，从该视频采集装置中采集现场人脸表情彩色图像帧，将其预处理后，进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情;
步骤五，利用现场人脸表情图像，去除图像冗余信息，进行现场表情特征提取；
步骤六，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
[0012]进一步地，该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
[0013]进一步地，于步骤二及步骤五中，使用主成分分析法降维去除图像冗余信息后，进行表情特征提取。
[0014]进一步地，利用主成分分析法进行特征提取是把该训练图像集转换为特征集，其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
[0015]进一步地，于步骤三中，基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表，将每一个表情特征分别插入到该个哈希表中，将此哈希表作为检索数据库。
[0016]与现有技术相比，本发明一种机器人的人脸检测及情感识别系统及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤，使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
【专利附图】
【附图说明】
[0017]图1为本发明所应用之机器人的的系统架构图；
图2为本发明之较佳实施例中机器人的结构设置示意图；
图3为本发明一种机器人的人脸检测及情感识别系统的系统架构图；
图4为本发明较佳实施例中训练表情库主成分示意图；
图5为本发明较佳实施例中训练表情库平均图像示意图图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图；
图7为本发明一种机器人的人脸检测与情感识别方法所采用的实验系统界面示意图。
【具体实施方式】
[0018]以下通过特定的具体实例并结合【专利附图】
【附图说明】本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0019]在介绍本发明之人脸检测与情感识别系统之前，先对本发明所应用之机器人的结构进行描述。图1为本发明所应用之机器人的的系统架构图。如图1所示，本发明所应用之机器人包括主控系统210、运动装置220、头部动作装置230、人机交互系统240、视频采集模块250、无线收发模块260、语音采集模块270、里程测量装置280及遥控接收器290，主控系统210控制机器人其他各部分协调工作，包括硬件和软件两部分，硬件由DSP、MCU等组成，软件上可划分为路径规划模块、障碍物检测、人脸检测、情感检测、环境检测、异常检测、里程信息以及信息融合模块，人脸检测和情感识别连接视频采集装置1，用于采集人脸信息和识别人的喜怒哀乐等表情，环境感知和异常检测连接视频采集模块2，主要用于感知外部环境和检测外部环境异常信息，里程信息连接里程信息测量装置280，以取得里程信息，障碍物检测连接超声波传感器，用于检测外部障碍物到机器人的距离，信息融合将外部视频采集模块、语音采集模块、超声波传感器、电量检测及充电模块采集到的信息及里程信息进行融合，以判断机器人该进行充电还是继续服务，是否需要规避障碍物，是否需要响应召唤命令；运动装置220包括底盘驱动器、电机驱动模块、直流电机M1/M2、驱动轮1/2及传动机构、万向轮、电池组、超声波传感器、电量检测及充电模块，运动装置主要用于接收主控系统210命令以驱动机器人行走，在行走过程中完成超声波测距并回馈给主控系统210以进行后续控制，在服务过程中及时检测电池电量并回馈给主控系统210以判断是否需要进行充电；头部动作装置230包括头部控制器、舵机1/2及传动结构，用于接收主控系统210的命令进行头部俯仰和左右旋转，由头部带动安装于头部的视频采集装置1/2的单目摄像头1/2的运动以获取图像信息，在本发明中，舵机1负责控制机器人脖子的俯仰转动，舵机2控制头部的左右转动，从而可以控制眼球(视频采集装置1和视频采集装置2)的转动；人机交互系统240连接主控系统210，其包括显示屏、键盘、发音系统等常用输入输出设备，以利于显示机器人状态和人工输入信息命令；视频采集模块250包含视频采集装置1和视频采集装置2，视频采集装置1包含一普通单目摄像头及其采集电路，用于获取人脸检测和情感识别所需信息，视频采集装置2包含一广角单目摄像头及其采集电路，用于获取环境感知和异常检测所需信息，视频采集模块安装于机器人头部，其位置改变受控于头部运动装置230 ;无线收发模块260在主控系统210控制下通过通信网络向用户(主人)发送信息和接收命令；语音采集模块270采集外界语音信息至主控系统210以判断是否语音信息或命令；里程测量装置280用于测量行走里程并将里程信息上传给主控系统210进行处理。
[0020]图2为本发明之较佳实施例中机器人的结构设置示意图。在本发明较佳实施例中，主控系统通过通讯模块控制步进电机控制系统控制机器人的左右手臂和头部转动，主控系统之人脸检测与情感识别模块通过USB接口获取摄像头1所采集的人脸信息和识别人的喜怒哀乐等表情，环境检测模块通过USB接口获取获环境感知和异常检测所需信息，主控系统通过分线器连接连接多个麦克(语音采集装置)采集外界语音信息以判断是否语音信息或命令；主控系统与底盘控制器连接，通过底盘控制器控制下位机控制系统以控制左右轮电机运动，同时利用超声波检测器进行超声波避障路径规划，并控制电量检测及充电模块进行电量检测及自动充电。
[0021]图3为本发明一种机器人的人脸检测及情感识别系统的系统架构图。如图3所示，本发明一种机器人的人脸检测及情感识别系统，至少包括人脸表情库采集模块30、原始表情特征库构建模块31、特征库重构模块32、现场表情特征提取模块33以及表情识别模块34。
[0022]其中，人脸表情库采集模块30从视频采集装置1 (摄像头)中采集大量人脸表情图像帧(彩色图像帧)，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化后(预处理)，分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成用于表情特征提取的训练图像集——人脸表情库。
[0023]在本发明较佳实施例中，人脸几何结构特征主要包括:“三庭五眼”。“三庭五眼”是人们通过长期观察总结出的人脸长与宽的一般标准比例。人脸从上到下由三个等长区域组成:发际线到眉毛，眉毛到鼻尖，鼻尖到下颚，这就是“三庭”;从左到右由五个等宽区域组成:左发际线到左外眼角，左外眼角到左内眼角，左内眼角到右内眼角，右内眼角到右外眼角，右外眼角到右发际线，这就是“五眼”。根据“三庭五眼”理论，可以精确定位眉毛到下颚，左外眼角到右外眼角这一矩形区域，这就是最终的人脸表情区域，对表情区进行精确定位后图像携带的无用信息减少了，这样不仅会提高表情识别的准确率，还会加快表情识别的速度，生成更有效的训练图像集，用于表情特征提取。[0024]原始表情库构建模块31利用人脸表情库的训练图像，使用主成分分析法(PCA)降维去除图像冗余信息，进行表情特征提取，并将表情特征保存为文件形成原始表情特征库。
[0025]在本发明较佳实施例中，原始表情特征库的建立如下:
(1)使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
[0026]对于一副人脸图像来说，最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征，识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令，那么一幅的人脸图像可表示成空间的一个向量，幅人脸图像组成的训练集可表示为，即一个的矩阵，其中。PCA的目标是通过一个基变换把原始数据X重新表示为7，即。其中是矩阵，是矩阵。基于PCA的特征提取就是把训练集I转换为特征集r。其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征，能够在保证较高识别率的前提下尽量降低特征的维度。
[0027]图4为本发明较佳实施例中训练表情库主成分示意图，图5为本发明较佳实施例中训练表情库平均图像示意图。如图4及图5，本发明分别针对标准的JAFFE表情库和针对特定个体采集的表情库(简称个性化库)进行试验。JAFFE库中包含7种表情(6种基本表情+1种平静态表情)，共由213幅表情图片组成，其中140幅用来训练提取主成分。个性化库采集了 900幅图片，其中450幅用来训练提取主成分。对训练表情库进行主成分分析得到的主成分和平均图像如图4、图5所示，其中(a)为JAFFE表情库，(b)为个性化库。实验发现表情库的主成分，即特征向量，同人脸检测的特征脸十分相似。
[0028]特征库重构模块32使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表，用作提高表情识别效率。
[0029]对上述训练图像集进行PCA降维建立原始表情特征库后，该特征库是由多个表情特征组成的矩阵，识别时需将待测表情与特征库中的每一个特征进行相似度比对，当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对，本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表，使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索，达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表，将每一个表情特征分别插入到这个哈希表中，将此哈希表作为检索数据库。
[0030]现场表情特征提取模块33将从视频采集装置1采集的现场人脸表情彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，然后分别利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成现场人脸表情，并使用主成分分析法(PCA)降维去除图像冗余信息，进行现场表情特征提取，将现场表情特征输送至表情识别模块34。
[0031]表情识别模块34将现场表情特征模块33提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法(Κ-Nearest Neighbor algorithm, KNN)来识别人脸表情，以此来指导机器人对老人和儿童的行为进行预测。
[0032]图6为本发明一种机器人的人脸检测与情感识别方法的步骤流程图。如图4所示，本发明一种机器人的人脸检测与情感识别方法，包括如下步骤:
步骤601，训练表情提取。首先从视频采集装置(摄像头)中采集大量人脸表情彩色图像帧，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，接着进行利用人脸检测器、人眼检测器进行人脸检测、人眼检测，并对人脸旋转，同时利用人脸几何结构特征对表情区精确定位，生成用于表情特征提取的训练图像集，即建立人脸表情库。
[0033]步骤602，训练表情特征提取。利用人脸表情库的训练图像，使用主成分分析法(PCA)降维去除图像冗余信息，进行表情特征提取，并将表情特征保存为文件形成原始表情特征库。
[0034]在本发明较佳实施例中，使用PCA (Principal Component Analysis,主成分分析)提取人脸表情特征。
[0035]对于一副人脸图像来说，最能体现其表情特征的区域是嘴巴、眼睛和面颊。若能提取表情最显著的特征，识别准确率和效率都将有很大的提升。而提取人脸表情特征的一种简单有效的方法就是主成分分析(PCA)。令，那么一幅的人脸图像可表示成空间的一个向量，幅人脸图像组成的训练集可表示为，即一个的矩阵，其中。PCA的目标是通过一个基变换把原始数据X重新表示为7，即。其中是矩阵，是矩阵。基于PCA的特征提取就是把训练集I转换为特征集r。其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征，能够在保证较高识别率的前提下尽量降低特征的维度。
[0036]步骤603，重构表情特征。使用基于距离哈希法(DBH)将原始表情特征库重构为结构化的哈希表，用作提高表情识别效率。
[0037]对上述训练图像集进行PCA降维建立原始表情特征库后，该特征库是由多个表情特征组成的矩阵，识别时需将待测表情与特征库中的每一个特征进行相似度比对，当特征库的规模较大时识别的效率很低。为了避免在整个表情特征库中进行相似度比对，本发明使用基于距离哈希(Distance-Based Hashing, DBH)把特征库重构为结构化的哈希表，使特征库中的特征能够按相似度聚集。这样就只需在相应桶中进行检索，达到对原特征库进行裁剪的目的。基于DBH的人脸表情特征库重构基本思想是创建个长度为的哈希表，将每一个表情特征分别插入到这个哈希表中，将此哈希表作为检索数据库。
[0038]步骤604，现场表情提取。从视频采集装置(摄像头)中采集现场人脸表情彩色图像帧，将其转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化，接着进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情。
[0039]步骤605，现场表情特征提取，利用现场人脸表情，使用主成分分析法(PCA)降维去除图像冗余信息，进行现场表情特征提取，并将现场表情特征输送至表情识别模块；
步骤606，人脸表情识别，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法(Κ-Nearest Neighbor algorithm, KNN)来识别人脸表情，以此来指导机器人对老人和儿童的行为进行预测。
[0040]以下通过对家庭服务机器人人脸表情识别的实验对本发明进一步介绍。
[0041]本发明所采用的实验系统界面如图7所示，主要由7个部分组成:(1)视频框，用来显示从摄像头采集到的视频图像、表情库采集结果和表情识别结果；(2)表情库采集框，用来控制表情库的采集；(3)表情识别框，用来控制表情识别；(4)DBH训练框，用来训练DBH参数；(5)表情训练框，用来控制表情特征库的训练；(6)信息框，用来显示部分运行结果和出错信息；(7)样本数框，用来确定每种表情采集的样本数目。
[0042]通过对摄像头中采集的图像帧进行一系列处理后，系统可完成高兴、悲伤、惊讶、厌恶、生气、恐惧等6种基本表情的识别。
[0043]综上所述，本发明一种机器人的人脸检测及情感识别系统及方法通过训练表情提取、训练表情特征提取、重构表情特征、现场表情提取、现场表情特征提取及表情识别等步骤，使得机器人成为能够进行人脸识别和情感识别的家庭监控机器人，实现了通过机器人提供老人情感状态监护和儿童的陪护的目的，提升了家居机器人的家庭监控和陪护能力。
[0044]上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
【权利要求】
1.一种机器人的人脸检测及情感识别系统，至少包括:人脸表情库采集模块，利用视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；原始表情库构建模块，利用人脸表情库的训练图像，对训练图像去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；特征库重构模块，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表； 现场表情特征提取模块，从该视频采集装置采集现场人脸表情彩色图像帧进行预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位，并进行人脸旋转，利用人脸几何结构特征对表情区精确定位，生成现场人脸表情图像，并对现象人脸表情图像进行现场表情特征提取；表情识别模块，将该现场表情特征模块提取的现场表情特征在重构后的表情特征库中利用K近邻分类算法来识别人脸表情。
2.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
3.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该原始表情库构建模块使用主成分分析法降维去除图像冗余信息，进行表情特征提取。
4.如权利要求1所述的一种机器人的人脸检测及情感识别系统，其特征在于:该视频采集装置为摄像头，设置于该机器人的头部，其位置改变受控于该机器人的头部运动装置。
5.如权利要求4所述的一种机器人的人脸检测及情感识别系统，其特征在于:该摄像头设置于该机器人的头部眼球中。
6.一种机器人的人脸检测及情感识别方法，包括如下步骤:步骤一，从视频采集装置采集大量人脸表情彩色图像帧，将其预处理后，利用人脸检测器、人眼检测器进行人脸检测与定位及人眼检测与定位并进行人脸旋转，最后利用人脸几何结构特征对表情区精确定位，生成存储用于表情特征提取的训练图像集的人脸表情库；步骤二，利用人脸表情库的训练图像，去除图像冗余信息后进行表情特征提取，并将表情特征保存为文件形成原始表情特征库；步骤三，使用基于距离哈希法将原始表情特征库重构为结构化的哈希表；步骤四，从该视频采集装置中采集现场人脸表情彩色图像帧，将其预处理后，进行人脸检测、人眼检测、人脸旋转并利用人脸几何结构特征对表情区精确定位，生成现场人脸表情;步骤五，利用现场人脸表情图像，去除图像冗余信息，进行现场表情特征提取；步骤六，将现场提取的表情特征在重构的表情特征库中利用K近邻分类算法识别人脸表情。
7.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:该预处理为将彩色图像帧转变为灰度图像并使用直方图均衡化对灰度图像进行亮度归一化。
8.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:于步骤二及步骤五中，使用主成分分析法降维去除图像冗余信息后，进行表情特征提取。
9.如权利要求8所述的一种机器人的人脸检测及情感识别方法，其特征在于:利用主成分分析法进行特征提取是把该训练图像集转换为特征集，其中每一个主成分对应一个特征值，特征值越大其对应的主成分就越重要，按特征值从大到小的顺序选择一定数目的主成分构造表情特征。
10.如权利要求6所述的一种机器人的人脸检测及情感识别方法，其特征在于:于步骤三中，基于距离哈希法将原始表情特征库重构为结构化的哈希表的步骤为创建个长度为的哈希表，将每一个表情特征分别插入到该个哈希表中，将此哈希表作为检 索数据库。
【文档编号】G06K9/62GK103679203SQ201310694112
【公开日】2014年3月26日 申请日期:2013年12月18日 优先权日:2013年12月18日
【发明者】蔡则苏, 王丙祥, 王玲 申请人:江苏久祥汽车电器集团有限公司
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1