专利名称：一种基于面部识别的智能交互方法和装置的制作方法
技术领域：
本发明涉及图像处理领域，特别是面部识别领域。
背景技术：
目前的交互手段多局限于一对一交互，且交互设备多为固定式。不够人性化和智能化，同时也缺乏一定的针对性。尤其是针对VIP客户的交互方式还很单一。
发明内容
有鉴于此，为解决上述问题，本发明提供了一种基于面部识别的智能交互方法和装置，可以针对VIP客户实现移动式多交互方式。为了达到上述目的，本发明提供一种基于面部识别的智能交互方法，其包括以下步骤采用摄像头确定可视区域，当参观者进入可视区域后通过面部识别验证参观者身份；当确认参观者身份后，机械驱动交互设备使其面向参观者；参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈。进一步地，所述当参观者进入可视区域后通过面部识别验证参观者身份的步骤进一步包括事先在数据库中输入合法观察者的面部图像，并对输入的图像进行栅格化处理，获得输入面部图像的栅格交叉点处的RGB值和相对轮廓的坐标值；在可视区域内以人的双眼为对焦基准，采用面部检测在画面中检测并分离出面部图像；对获得的面部图形进行格栅化处理，获得现场采集面部图像的格栅交叉点处的RGB值和相对轮廓的坐标值；将所述现场采集面部图像在数据库中的输入面部图像进行比对匹配，当匹配成功之后确认观察者的身份。进一步地，所述参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈步骤进一步包括观察者对所述交互设备发出语音指令，所述交互设备接收到所述语音指令后分析语音指令并给予回应。4.根据权利要求3所述的方法，其特征在于，当交互设备分析参观者的语音指令为路径查找指令时，通过虚拟现实的方法为参观者指路。进一步地，当所述可视区域内存在多于一个确认身份的观察者时，当第一观察者发出语音指令后，机械驱动交互设备使其面向所述第一观察者。进一步地，当第一观察者发出语音指令后，所述交互设备接收到语音指令后，通过声源定位确定第一观察者的实际位置，机械驱动所述交互设备使其面向第一观察者。进一步地，所述方法在当确认参观者身份后，机械驱动交互设备使其面向参观者步骤后，根据所述参观者身份播放相应的影片。
另一方面，本发明还提供了一种基于面部识别的智能交互装置，其特征在于，包括以下部分摄像头，其用于获得可视区域内的图像，当参观者进入可视区域后通过面部识别验证参观者身份；麦克风阵列，用于接收参观者的语音指令，并确定所述参观者的位置；机械臂，当确认参观者身份后或者麦克风阵列收到语音指令后，机械臂驱动交互设备使其面向参观者。进一步地，所述摄像头还包括光照强度传感器，用于通过所述光照强度传感器检测当前可视区域内的光照度，根据光照度强弱，调整摄像头曝光度。本发明提供的实施例通过 面部识别确定交互者的身份，并根据交互者的身份汇报相应内容。同时支持多人语音交互，并且能够直面交互者，使得交互更加人性化更有着重点。
图I是本发明一个具体实施例中基于面部识别的智能交互方法流程图。图2是本发明一个具体实施例中对面部图像进行栅格化处理后的效果示意图。图3是本发明一个具体实施例中对面部图像进行重点区域匹配的示意图。图4是本发明一个具体实施例中利用麦克风阵列获取声源的方法示意图。图5是本发明一个具体实施例中给予面部识别的智能交互装置示意图。
具体实施例方式本发明提供了一种基于面部识别的智能交互方法，具体如图I所示，其包括以下步骤。步骤101，采用摄像头确定可视区域，当参观者进入可视区域后通过面部识别验证参观者身份。在一个具体的实施例中，事先在数据库中输入合法观察者的面部图像，并对输入的图像进行栅格化处理，获得输入面部图像的栅格交叉点处的RGB值和相对轮廓的坐标值。栅格化处理后的人脸图像如图2所示，每个栅格交点的数据包括该点的RGB值和该点相对于脸部轮廓的位置。在可视区域内以人的双眼为对焦基准，采用面部检测在画面中检测并分离出面部图像。对获得的面部图形进行格栅化处理，获得现场采集面部图像的格栅交叉点处的RGB值和相对轮廓的坐标值。将所述现场采集面部图像在数据库中的输入面部图像进行比对匹配，当匹配成功之后确认观察者的身份。在一个具体的实施例中，如图3所示，主要扫描对比人脸的三角区域和脸轮廓，如眼睛、鼻子、嘴巴、下巴、颧骨、眉心、额头等位置。为了使匹配检测更加准确，本发明在一个具体的实施例中采用了边缘锐化处理结合傅里叶算法多次处理图像，直到能清晰的描述人脸的轮廓和关键参数点。同时，通过摄像头检测当前可视区域内的光照度，根据光照度强弱，调整摄像头曝光度。通过摄像头随机取景，通过与输面部图像比对，调整现场采集面部图像质量，修正现场采集面部图像对应点的RGB值。步骤102，当确认参观者身份后，机械驱动交互设备使其面向参观者。在一个具体的实施例中，机械驱动交互设备面向参观者后，根据参观者身份播放相应的视频，如迎宾视频。步骤103，参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈。
在一个具体的实施例中，参观者对所述交互设备发出语音指令，所述交互设备接收到所述语音指令后分析语音指令并给予回应。如参观者问天气如何，系统分析并通报当天天气。在一个具体实施例中，当交互设备分析参观者的语音指令为路径查找指令时，通过虚拟现实的方法为参观者指路，即在交互设备上显示路径概况并模拟导航。当所述可视区域内存在多于一个确认身份的观察者时，当第一观察者发出语音指令后，机械驱动交互设备使其面向所述第一观察者。在一个具体实施例中，当第一观察者发出语音指令后，所述交互设备接收到语音指令，通过声源定位确定第一观察者的实际位置，机械驱动所述交互设备使其面向第一观 察者。具体方法如图4所示，由于人体说话频率稳定，没有很强烈的变化，可以采用一组麦克风阵列可以根据不同麦克风收到相同人声的差异计算出不同人声的声源位置。目标A、B、C传到麦克风Mic C的矢量各不相同，因此Mic C获取的目标A、B、C的声音强度不一样。同理麦克风Mic A、麦克风Mic B获取的目标A、B、C的声音强度也不一样。系统根据MicA、MicB, MicC获取的声音强度，并结合3个麦克风的实际位置差别计算出目标A、B、C的说话的先后顺序和方位。本发明还提供了一种基于面部识别的只能交互装置，如图5所示，其包括以下部分。摄像头1，其用于获得可视区域内的图像，当参观者进入可视区域后通过面部识别验证参观者身份。在一个具体的实施例中，事先在数据库中输入合法观察者的面部图像，并对输入的图像进行栅格化处理，获得输入面部图像的栅格交叉点处的RGB值和相对轮廓的坐标值。栅格化处理后的人脸图像如图2所示，每个栅格交点的数据包括该点的RGB值和该点相对于脸部轮廓的位置。在可视区域内以人的双眼为对焦基准，采用面部检测在画面中检测并分离出面部图像。对获得的面部图形进行格栅化处理，获得现场采集面部图像的格栅交叉点处的RGB值和相对轮廓的坐标值。将所述现场采集面部图像在数据库中的输入面部图像进行比对匹配，当匹配成功之后确认观察者的身份。在一个具体的实施例中，如图3所示，主要扫描对比人脸的三角区域和脸轮廓，如眼睛、鼻子、嘴巴、下巴、颧骨、眉心、额头等位置。为了使匹配检测更加准确，本发明在一个具体的实施例中采用了边缘锐化处理，结合傅里叶算法多次处理图像，直到能清晰的描述人脸的轮廓和关键参数点。同时，所述摄像头I还包括光照强度传感器。通过所述光照强度传感器检测当前可视区域内的光照度，根据光照度强弱，调整摄像头曝光度。通过摄像头随机取景，通过与输面部图像比对，调整现场采集面部图像质量，修正现场采集面部图像对应点的RGB值。麦克风阵列2，用于接收参观者的语音指令，并确定所述参观者的位置。在一个具体的实施例中，麦克风阵列2可以根据不同麦克风收到相同人声的差异计算出不同人声的声源位置。目标A、B、C传到麦克风Mic C的矢量各不相同，因此Mic C获取的目标A、B、C的声音强度不一样。同理麦克风Mic A、麦克风Mic B获取的目标A、B、C的声音强度也不一样。系统根据MicA、MicB、MicC获取的声音强度，并结合3个麦克风的实际位置差别计算出目标A、B、C的说话的先后顺序和方位。机械臂4，当确认参观者身份后或者麦克风阵列收到语音指令后，机械臂驱动交互设备3使其面向参观者。在一个具体的实施例中，机械驱动交互设备面向参观者后，根据参 观者身份播放相应的视频，如迎宾视频。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于面部识别的智能交互方法，其包括以下步骤 采用摄像头确定可视区域，当参观者进入可视区域后通过面部识别验证参观者身份； 当确认参观者身份后，机械驱动交互设备使其面向参观者； 参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈。
2.根据权利要求I所述的方法，其特征在于，所述当参观者进入可视区域后通过面部识别验证参观者身份的步骤进一步包括 事先在数据库中输入合法观察者的面部图像，并对输入的图像进行栅格化处理，获得输入面部图像的栅格交叉点处的RGB值和相对轮廓的坐标值； 在可视区域内以人的双眼为对焦基准，采用面部检测在画面中检测并分离出面部图像； 对获得的面部图形进行格栅化处理，获得现场采集面部图像的格栅交叉点处的RGB值和相对轮廓的坐标值； 将所述现场采集面部图像在数据库中的输入面部图像进行比对匹配，当匹配成功之后确认观察者的身份。
3.根据权利要求I所述的方法，其特征在于，所述参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈步骤进一步包括观察者对所述交互设备发出语音指令，所述交互设备接收到所述语音指令后分析语音指令并给予回应。
4.根据权利要求3所述的方法，其特征在于，当交互设备分析参观者的语音指令为路径查找指令时，通过虚拟现实的方法为参观者指路。
5.根据权利要求3所述的方法，其特征在于，当所述可视区域内存在多于一个确认身份的观察者时，当第一观察者发出语音指令后，机械驱动交互设备使其面向所述第一观察者。
6.根据权利要求5所述的方法，其特征在于，当第一观察者发出语音指令后，所述交互设备接收到语音指令后，通过声源定位确定第一观察者的实际位置，机械驱动所述交互设备使其面向第一观察者。
7.根据权利要求I所述的方法，其特征在于，所述方法在当确认参观者身份后，机械驱动交互设备使其面向参观者步骤后，根据所述参观者身份播放相应的影片。
8.一种基于面部识别的智能交互装置，其特征在于，包括以下部分摄像头，其用于获得可视区域内的图像，当参观者进入可视区域后通过面部识别验证参观者身份；麦克风阵列，用于接收参观者的语音指令，并确定所述参观者的位置；机械臂，当确认参观者身份后或者麦克风阵列收到语音指令后，机械臂驱动交互设备使其面向参观者。
9.根据权利要求8所述的装置，其特征在于，所述摄像头还包括光照强度传感器，用于通过所述光照强度传感器检测当前可视区域内的光照度，根据光照度强弱，调整摄像头曝光度。
全文摘要
本发明提供一种基于面部识别的智能交互方法，其包括以下步骤采用摄像头确定可视区域，当参观者进入可视区域后通过面部识别验证参观者身份；当确认参观者身份后，机械驱动交互设备使其面向参观者；参观者通过人机交互对所述交互设备发出指令，所述交互设备接收到指令后处理指令并给予反馈。
文档编号G06K9/00GK102663349SQ20121007800
公开日2012年9月12日 申请日期2012年3月22日 优先权日2012年3月22日
发明者宋熠, 王思涵, 贺孝进, 黄建良 申请人:北京水晶石数字科技股份有限公司