基于专家系统的人脸表情图像识别方法
【专利摘要】本发明涉及一种基于专家系统的人脸表情图像识别方法，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤：1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统；2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤1)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。与现有技术相比，本发明具有识别速度快等优点。
【专利说明】基于专家系统的人脸表情图像识别方法
【技术领域】
[0001]本发明涉及一种专家系统应用技术，尤其是涉及一种基于专家系统的人脸表情图像识别方法。
【背景技术】
[0002]专家系统是一类具有专门知识和经验的计算机智能程序系统，通过对人类专家的问题求解能力的建模，采用人工智能中的知识表示和知识推理技术来模拟通常由专家才能解决的复杂问题，达到具有与专家同等解决问题能力的水平。这种基于知识的系统设计方法是以知识库和推理机为中心而展开。它把知识从系统中与其他部分分离开来。专家系统强调的是知识而不是方法。很多问题没有基于算法的解决方案，或算法方案太复杂，采用专家系统，可以利用人类专家拥有丰富的知识，因此专家系统也称为基于知识的系统。
[0003]目前，随着科技的发展，康复护理智能床日益普及。然而患者中，有很大一部分人不能通过肢体或语言准确的向外界表达自己的意图。对每个人来说，不同的表情代表不同的状态。当语言和肢体不能传达时，我们可以通过表情来识别患者的想法，完成相应的操作。市面上护理床操作者都是护理人员，而忽略了患者的本身意愿。我们本着以人为本的设计理念，通过表情识别技术的专家系统，使得行动不方便的患者也可自行操作护理床。
【发明内容】
[0004]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于专家系统的具有学习功能并能快速准确识别人脸表情的人脸表情图像识别方法。
[0005]本发明的目的可以通过以下技术方案来实现:
[0006]一种基于专家系统的人脸表情图像识别方法，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的用于人脸表情识别的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤:
[0007]I)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统；
[0008]2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤I)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。
[0009]所述步骤I)中建立识别人脸表情图像专家系统具体包括步骤:
[0010]11)获取人脸表情图像；
[0011]12)对人脸表情图像预处理；
[0012]13)提取人脸表情图像特征；
[0013]14)建立人脸表情专家系统规则库并将步骤13)中提取的特征参数存入到规则库中。
[0014]所述步骤2)中表情识别获取人脸表情图像识别结果具体包括步骤:
[0015]21)获取用户的表情图像:视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像。
[0016]22)对步骤21)中获取的人脸表情图像，进行图像预处理；
[0017]23)对步骤22)中获得的眼部和嘴部的图像进行特征提取；
[0018]24)表情识别:将步骤23)中得到的特征参数输入到识别人脸表情图像专家系统中并与专家系统规则库中存储的面部表情特征参数进行对比，经过专家系统中推理机的推理并输出推理结果。
[0019]所述步骤12)和步骤22)和中人脸表情图像的预处理具体包括图像去噪、尺度归一化、灰度归一化、图像分割和图像二值化；
[0020]所述图像去噪后得到去噪后的图像g(i，j)为:
[0021]g(i, j) =Σ f(i, j)/N, (i, j) e M
[0022]其中:f (i，j)为给定的含有噪声的图像，M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数；
[0023]所述尺度归一化后得到目标图像g(x，y)为:
[0024]g(x, y) = f (x/a+x0, y/a+y0)
[0025]其中:f(x，y)为归一化前图像，(XQ，yQ)为图片目标区域的重心，a为尺度因子，所述尺度因子为:
[0026]a = sqrt (T/m)
[0027]其中:m为目标图像的面积；T为归一化前图像的面积
[0028]所述灰度归一化为分段线性灰度变换方法；
[0029]所述图像分割技术为串行区域分割技术，通过对嘴巴和眼睛目标区域的直接检测来对图像进行分割。
[0030]所述图像二值化算法为二值化方法Otsu算法，使用灰度阈值将灰度图像分成目标部分和背景部分两类。
[0031]所述步骤13)和33)中人脸表情图像特征包括左眼特征、右眼特征和嘴部特征，所述人脸表情图像特征提取算法具体包括以下步骤:
[0032]201)对每一像素点计算相关矩阵M:
【权利要求】
1.一种基于专家系统的人脸表情图像识别方法，其特征在于，该方法通过建立在表情图像处理方法和传统计算机程序功能的基础上的用于人脸表情识别的专家系统对预处理的图像进行推理识别人脸表情，所述方法包括以下步骤: 1)从视频中捕捉图像，获得该视频中的用户信息，然后通过图像处理，图像特征提取，进行身份验证，获取用户的表情图像特征参数，确定用户表情库，建立识别人脸表情专家系统； 2)对从视频中捕捉的图像进行图像处理和图像特征提取，获得用户表情程度最大化时的特征参数，将特征参数与步骤I)确定的用户表情库中的表情训练样本参数进行比对，经过专家系统推理机的推理最终输出表情识别的统计结果。
2.根据权利要求1所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤I)中建立识别人脸表情图像专家系统具体包括步骤: 11)获取人脸表情图像； 12)对人脸表情图像预处理； 13)提取人脸表情图像特征； 14)建立人脸表情专家系统规则库并将步骤13)中提取的特征参数存入到规则库中。
3.根据权利要求1所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤2)中表情识别获取人脸表情图像识别结果具体包括步骤: 21)获取用户的表情图像:视频信息接收后，从视频信息中捕捉图像，获取用户的表情图像。 22)对步骤21)中获取的人脸表情图像，进行图像预处理； 23)对步骤22)中获得的眼部和嘴部的图像进行特征提取； 24)表情识别:将步骤23)中得到的特征参数输入到识别人脸表情图像专家系统中并与专家系统规则库中存储的面部表情特征参数进行对比，经过专家系统中推理机的推理并输出推理结果。
4.根据权利要求2和3所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤12)和步骤22)和中人脸表情图像的预处理具体包括图像去噪、尺度归一化、灰度归一化、图像分割和图像二值化； 所述图像去噪后得到去噪后的图像g(i，j)为: g(i，j) =Σ f(i, j)/N, (i, j) e M 其中:f(i，j)为给定的含有噪声的图像，M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数； 所述尺度归一化后得到目标图像g(x，y)为: g(x, y) = f (x/a+x0, y/a+y0) 其中:f(x，y)为归一化前图像，(x0Jy0)为图片目标区域的重心，a为尺度因子，所述尺度因子为:
a = sqrt(T/m) 其中:m为目标图像的面积；T为归一化前图像的面积。 所述灰度归一化为分段线性灰度变换方法； 所述图像分割技术为串行区域分割技术，通过对嘴巴和眼睛目标区域的直接检测来对图像进行分割； 所述图像二值化算法为二值化方法Otsu算法，使用灰度阈值将灰度图像分成目标部分和背景部分两类。
5.根据权利要求2或3所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤13)和33)中人脸表情图像特征包括左眼特征、右眼特征和嘴部特征，所述人脸表情图像特征提取算法具体包括以下步骤: 201)对每一像素点计算相关矩阵M:
其中:IX为X方向的差分，Iy为y方向的差分，W(x，y)为高斯函数,具体为:
202)计算每像素点的Harris角点响应:R= (AB-CD)2-k(A+B)2 ； 203)在范围内寻找极大值点，若Harris角点响应大于阈值，所述阈值为w*w范围内极大值，则视为角点，将眼部和嘴部的特征提取出来。
6.根据权利要求3所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述步骤24)结束后，系统将本次任务数据加入到规则库中。
7.根据权利要求4所述的一种基于专家系统的人脸表情图像识别方法，其特征在于，所述图像二值化过程具体包括步骤: 101)计算图像的平均灰度U为:
u=E i*n ⑴ / (M*N) 其中:M*N为图像的像素个数，n(i)为灰度为i的像素点的个数； 102)确定灰度阈值t，所述灰度阈值t为使类间方差G最大的值，所述类间方差G为:
G = W1* (U1-U) * (U1-U) +w2* (U2-U) * (U2-U) 其中=W1为目标像素占图像的比例，W2为背景像素占图像的比例，U1为目标像素的平均灰度，U2为背景像素的平均灰度，所述目标像素占图像的比例W1和目标像素的平均灰度U1分别为:
W1 = W1/ (M*N) U1 = Σ i*n (i) /W1, i > t 其中=W1为灰度值大于t的统计数， 所述背景像素占图像的比例W2和背景像素的平均灰度U2分别为:
w2 = W2/ (M*N) U2 = Σ i*n(i)/W2，i < t 其中:W2为灰度值小于t的统计数； 103)将灰度值大于t的像素作为目标像素，将灰度值小于t的像素作为背景像素对图像进行二值化。
【文档编号】G06K9/62GK104077579SQ201410333366
【公开日】2014年10月1日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】程武山, 梁冬梅, 陈敏, 邵新发, 孙启峰 申请人:上海工程技术大学