一种可用于非特定人的双目视觉图像合成装置与方法

文档序号:10535323阅读:400来源:国知局
一种可用于非特定人的双目视觉图像合成装置与方法
【专利摘要】本发明提供一种可用于非特定人的双目视觉图像合成装置与方法,所述装置包括双目视觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、存储模块及图像合成模块,其中人脸识别模块捕获双目视觉采集模块所采集图像中的人脸信息,控制模块根据人脸在图像中的位置驱动相机姿态调整模块跟踪人脸,稳定后拍摄立体人脸图像,并将对齐后的立体人脸图像保存到存储模块中,最后通过图像合成模块将同一使用者在不同时间拍摄的立体人脸图像按时间顺序连续播放。本发明使用双目摄像头拍摄立体人脸图像,通过长时间多次拍摄实现自动记录一个或多个使用者不同时期的面部图像,可用于个性化的成长记录或个人档案。
【专利说明】
一种可用于非特定人的双目视觉图像合成装置与方法
技术领域
[0001] 本发明涉及双目立体图像采集、处理与合成技术,尤其涉及一种可用于非特定人 的双目视觉图像合成装置与方法。
【背景技术】
[0002] 双目立体视觉技术是指在双目定位过程中,两部相机处于同一平面上,并且光轴 相互平行,其生成的带有深度信息的立体图像与人的两只眼睛观测角度一致,利用特殊的 工具(如3D眼镜)就可以在观测者眼中复现出立体图像的技术。由于该技术可重构出场景的 三维几何信息,并且具有精度高、识别率高、展示效果好等特点,被广泛应用于移动机器人 的自主导航、航空及遥感测量、工业自动化等领域中。特别是在工业自动化领域,该技术已 成功应用于丝网印刷、贴合、切割、PCB补线机、PCB打孔机、玻璃割片机、点胶机、SMT检测、贝占 版机等对工业精密对位、定位、零件确认、尺寸测量、工业显微等有显著需求的产品中,产生 了巨大的经济效益。
[0003] 随着图像处理技术的迅猛发展,人脸识别技术也越来越成熟,应用也越来越广泛。 该技术具有非强制性、非接触性和并发性等优点,在企业管理、住宅安全门禁、电子护照及 身份证、公安及司法刑侦、自助服务、信息安全等多方面相继取得成功应用,在娱乐领域也 产生了如笑脸检测、人脸自动对焦、寻找相似明星脸等成熟应用。
[0004] 近年来,三维人脸识别技术逐渐发展,其中一种低成本的方案采用双目摄像头,利 用一侧摄像头的图片进行人脸检测和关键特征点(如眼睛)定位,同时利用两侧摄像头图片 进行立体融合,生成立体人脸图像。目前,三维人脸识别技术主要用于考勤、自助服务等身 份认证领域,尚未在娱乐领域实现成功应用。
[0005] 目前主流人脸识别应用均重视识别结果,而忽视了注册之后历次识别的图像信 息。事实上这些图像信息是极具个性化的成长记录或个人档案,其价值尚未被发掘。曾有人 连续多年每天为自己的女儿拍摄一张照片,再手工拼接为视频,虽然耗费了大量的时间精 力,但视频的效果极佳,完整地展现出女儿的成长过程,因此吸引了大量的网络用户。如果 保存历次人脸识别的图像信息,并结合人脸采集、对齐与合成等技术,将这些图像按照时间 顺序合成为可连续播放的动态图像或视频,将成为一种新型的人脸识别应用方式。
[0006] 因此,需要一种可以通过双目视觉解决非特定人的长周期人脸图像合成的技术。

【发明内容】

[0007] 本发明所述一种可用于非特定人的双目视觉图像合成装置与方法,其目的是使用 双目摄像头拍摄立体人脸图像,通过长时间多次拍摄实现自动记录一个或多个使用者不同 时期的面部图像,从而用于个性化的成长记录或个人档案。
[0008] 本发明所述一种可用于非特定人的双目视觉图像合成装置与方法,其原理是由双 目摄像头拍摄人脸图像,通过舵机控制双目摄像头调整姿态始终跟踪人脸,直到拍摄到稳 定的正面立体人脸图像,经过裁剪和对齐处理后进行保存,最后根据需要将同一使用者在 不同时间拍摄的立体人脸图像按时间顺序进行连续播放。
[0009]为达到上述目的,本发明的技术方案是这样实现的:
[0010]根据本发明的一方面,提出一种可用于非特定人的双目视觉图像合成装置,所述 装置包括双目视觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、 存储模块及图像合成模块,其中:
[0011] 所述双目视觉采集模块与相机姿态调整模块连接,两个模块相互配合采集立体图 像,并将采集到的图像数据传输到控制模块;
[0012] 所述相机姿态调整模块与控制模块连接,用于根据控制模块的指令驱动双目视觉 采集模块在多个自由度上进行运动;
[0013] 所述控制模块分别与双目视觉采集模块、相机姿态调整模块、存储模块、人脸识别 模块和图像合成模块连接,用于对各模块的动作或处理方式进行控制;
[0014] 所述人脸识别模块与控制模块、人脸对齐模块和存储模块连接,用于检测所述双 目视觉采集模块采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像中的人 脸生物特征在所述存储模块所存储的已注册人脸数据库中寻找所述立体人脸图像的匹配 结果;
[0015] 所述人脸对齐模块分别与人脸识别模块和存储模块连接,用于将人脸识别模块检 测到的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将对齐 后的立体人脸图像发送给所述存储模块;
[0016] 所述存储模块与控制模块、人脸识别模块、人脸对齐模块和图像合成模块连接,用 于存储对齐后的立体人脸图像;
[0017] 所述图像合成模块与控制模块和存储模块连接,用于根据控制模块的指令从存储 模块中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频 进行输出。
[0018] 根据本发明的另一方面,还提出一种利用所述可用于非特定人的双目视觉图像合 成装置进行双目视觉图像合成的方法,所述方法包括以下步骤:
[0019] 步骤301:双目视觉采集模块按照设定采样频率进行采样,并将采集到的图像数据 经控制模块传输给人脸识别模块,所述人脸识别模块4检测图像中是否存在人脸图像并将 检测结果以及人脸在图像中的位置信息发送给控制模块3;
[0020] 步骤302:所述控制模块根据人脸在图像中的位置计算姿态调整角度生成姿态调 整命令,并将所述姿态调整命令发送给相机姿态调整模块,对所述双目视觉采集模块进行 姿态调整,以持续追踪正面人脸;
[0021] 步骤303:若判断在连续多次采集的图像中,人脸位置居中且偏移量小于某一指定 阈值,则所述控制模块向双目视觉采集模块发出拍照指令,否则返回所述步骤302;
[0022] 步骤304:人脸识别模块对所采集图像中的人脸进行识别,得到立体人脸图像,并 将其与存储模块存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的匹配结果;
[0023] 步骤305:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人 脸图像中指定的相同区域内;
[0024] 步骤306:将对齐后的立体人脸图像进行储存,并在存储模块的使用数据库中添加 一条包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录;
[0025] 步骤307:根据控制模块的指令从存储模块的使用数据库中提取指定用户ID的全 部立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出
[0026] 从上述技术方案可以看出,本发明具有以下有益效果:
[0027] 1、本发明在传统二维人脸识别的基础上,根据立体视觉原理设计双目视觉采集模 块提取人脸的三维信息,对于左右两个摄像头的输入图像,依据相关系数和约束关系找到 两幅图中的每个点的对应关系,从而表征出深度信息,进一步利用深度数据组成不同于传 统二维人脸识别的新的判别依据,增加了人脸识别的准确性和鲁棒性。
[0028] 2、本发明通过保存人脸注册之后历次识别的图像信息,并结合人脸采集、对齐与 合成等技术,将这些图像按照时间顺序合成为可连续播放的动态图像或视频,形成一类极 具个性化的成长记录或个人档案,成为一种新型的人脸识别应用方式。
[0029] 3、本发明完全自动化操作,全程无需人的参与,在历次使用过程中就可通过人脸 跟踪、人脸识别、人脸对齐、人脸合成等技术轻松记录成长过程,克服了传统手工合成方式 周期长、耗时费力等问题。
[0030] 4、本发明采用双目摄像头进行长周期的非特定人人脸识别及图像合成,具有广泛 的应用价值,例如集成在学校班级门口的人脸考勤机中,可方便师生进行身份认证,并可在 学生毕业时自动生成一份个人成长记录视频;集成到家庭中的写字台、浴室镜、电视中也可 长时间纪录具有纪念意义的家庭成员生活轨迹;应用到理发店、健身房等服务性行业中,可 为客人定做个人发型或体型纪念册,从而带来更好的用户体验,起到更大的市场宣传作用。
【附图说明】
[0031] 图1是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置的组成框 图;
[0032] 图2是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置中人脸识 别模块的工作流程图;
[0033] 图3是根据本发明一实施例的可用于非特定人的双目视觉图像合成方法的流程 图。
【具体实施方式】
[0034] 为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照 附图,对本发明进一步详细说明。
[0035] 图1是根据本发明一实施例的可用于非特定人的双目视觉图像合成装置的组成框 图,如图1所示,所述可用于非特定人的双目视觉图像合成装置包括双目视觉采集模块1、相 机姿态调整模块2、控制模块3、人脸识别模块4、人脸对齐模块5、存储模块6及图像合成模块 7,其中:
[0036] 所述双目视觉采集模块1与相机姿态调整模块2连接,两个模块相互配合采集立体 图像,并将采集到的图像数据传输到控制模块3;
[0037] 所述相机姿态调整模块2与控制模块3连接,用于根据控制模块3的指令驱动双目 视觉采集模块1在多个自由度上进行运动;
[0038] 所述控制模块3分别与双目视觉采集模块1、相机姿态调整模块2、存储模块6、人脸 识别模块4和图像合成模块7连接,用于对各模块的动作或处理方式进行控制,在本发明一 实施例中,所述控制模块3根据预先设置的算法及规则对各模块的动作或处理方式进行控 制;
[0039] 所述人脸识别模块4与控制模块3、人脸对齐模块5和存储模块6连接,用于检测所 述双目视觉采集模块1采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像 中的人脸生物特征在所述存储模块6所存储的已注册人脸数据库中寻找所述立体人脸图像 的匹配结果;
[0040] 所述人脸对齐模块5分别与人脸识别模块4和存储模块6连接,用于将人脸识别模 块4检测到的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将 对齐后的立体人脸图像发送给所述存储模块6,其中,所述指定的区域根据实际应用的需要 来确定,本发明对其不作具体限定;
[0041 ]所述存储模块6与控制模块3、人脸识别模块4、人脸对齐模块5和图像合成模块7连 接,用于存储对齐后的立体人脸图像;
[0042]所述图像合成模块7与控制模块3和存储模块6连接,用于根据控制模块3的指令从 存储模块6中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像 或视频进行输出。
[0043] 其中,所述相机姿态调整模块2由不少于一个舵机组成,可以根据控制模块3的指 令,对每个舵机分别进行特定角度的调整。
[0044] 在本发明的一个实施例中,所述相机姿态调整模块2包括2台RDS3115型号舵机和 一个STM32F103C8T6单片机,舵机单个重量60g,工作电压5V至7.2V,工作在7.2V电压时堵转 扭矩17kg/cm,速度0.16sec/60度,可控角度范围180度。舵机由单片机STM32F103C8T6输出 的HVM波控制角度,控制模块3通过RS232 口给单片机STM32F103C8T6发送指令MMab(指令标 示符丽以ASCII码形式发送即0x4D4D; a和b为数值,各占16位,数值以0.1为单位)可实现俯 仰a度左右摇头b度,发送指令M00可实现初始化回到原点。安装时两个舵机旋转轴互相垂 直,负责左右摇摆的舵机在下旋转轴竖直,上面舵机以下面舵机的舵盘为底座,上面舵机旋 转轴上安装U型支架用以固定相机,如此可以实现双目视觉采集模块1的2个自由度运动即 实现俯仰、左右摇头。
[0045] 具体地,所述控制模块3,采集时用于接收双目视觉采集模块1采集得到的图像,再 将图像转发给人脸识别模块4,并根据人脸识别模块4返回的偏移参数计算相机姿态调整模 块2的调整角度,然后将该调整角度发送给相机姿态调整模块2,带动双目视觉采集模块1持 续追踪人脸,直到采集到正面清晰人脸图像;展示时用于向图像合成模块7发出从存储模块 6提取指定人立体人脸图像的指令。
[0046]在本发明的一个实施例中,控制模块3采用英特尔的i5_4590型号的处理器作为核 心控制器,通过RGB888接口获取双目视觉采集模块1采集得到的图像。控制模块3将采集到 的图像发送给人脸识别模块4并接收处理结果,并根据该处理结果给相机姿态调整模块2发 出动作指令,例如人脸识别模块4返回的偏移参数水平偏移量为x,垂直偏移量为y,设定调 整系数为k(k为一个定值,需根据实际相机的不同进行实验调整),则双目视觉采集模块1需 要调整的俯仰角度指令为m = -10*y*k,左右旋转角度指令为n = -10*x*k,则控制模块3通过 串口给相机姿态调整模块2发送指令MMmn,然后继续采集图像并发送给人脸识别模块4并接 收处理结果,如此反复进行调整,直到返回结果连续5次有人脸且偏移量小于阈值为止,此 时认为人脸位于中心位置,停止调整。当人脸位于中心位置时,进行拍照,并将照片发送到 人脸识别模块进行后续处理。
[0047]所述人脸识别模块4,如图2本发明提供的可用于非特定人的双目视觉图像合成装 置中人脸识别模块的工作流程图所示,从控制模块3接收图像后首先判断图像中是否包含 人脸信息,如果包含则计算人脸中心点与图像中心点之间的偏移,并将该偏移参数返回给 控制模块3,直至连续多次采集到的人脸中心点与图像中心点之间的偏移小于预先设定的 阈值,以确保双目视觉采集模块1拍摄到稳定的人脸图像;进而分析该人脸图像中的生物特 征,并与存储模块6所存储的已注册人脸数据库进行比对,判断是否为已注册用户,若已注 册则将该人脸图像和注册用户ID发送到人脸对齐模块5进行后续处理,若为未注册用户则 进入注册模式,为使用者创建新的用户ID。
[0048]在本发明的一个实施例中,调整系数k为0.01,偏移参数阈值T = 20,第一张检测到 人脸图像的偏移参数1=100,7 = 150,则调整参数111 = -15,11 = -10,控制模块3则发送指令 0x4D4DFFFlFFF6给相机姿态调整模块2,相机姿态调整模块2根据指令执行动作俯仰1.5度, 左右旋转1度;第二张检测到的人脸图像的偏移参数x = 95,y= 143,然后继续按照公式调 节,最后在第16次调节后,偏移参数x=13,y = 15,均小于阈值T,并且此后连续4次有人脸且 偏移参数都在阈值范围内,此时完成调节,进行拍照。
[0049]所述存储模块6,其中包含已注册人脸数据库和使用数据库,已注册人脸数据库中 保存使用者注册信息,使用数据库的数据结构中至少包括用户ID、立体人脸图像存储位置、 图像采集时间三个字段,可用于存储多个使用者的人脸数据。
[0050]在本发明的一个实施例中,已注册人脸数据库的数据结构表示为
[0053]使用数据库的数据结构表示为:
[0055]所述人脸对齐模块5,能够通过提取人脸图像中的特征关键点,并将其在图像中的 坐标位置与模板位置进行比较,利用裁剪、缩放、拉伸、平移等处理方式将人脸位置固定于 立体人脸图像中指定的相同区域内,以使未来图像合成模块7输出的动态图像或视频中,人 脸的位置和大小保持基本稳定。
[0056]在本发明的一个实施例中,设置人脸模板的大小为分辨率640*480,人脸对齐模块 5采取只保留脸部不留背景的方式。在图像中以包含人脸的最小矩形框位置为基准,上下各 增加人脸高度的5%,左右各增加人脸宽度的5%,然后以增大后的矩形框截取人脸图像,超 出原来图像部分以白色补齐。然后将截取的人脸图像缩放到人脸模板大小即640*480,然后 将此图像保存,并将储存信息添加到使用数据库中。
[0057] 根据本发明的另一方面,还提出一种可用于非特定人的双目视觉图像合成方法, 如图3本发明提供的可用于非特定人的双目视觉图像合成方法的流程图所示,该方法应用 于包含双目视觉采集模块1、相机姿态调整模块2、控制模块3、人脸识别模块4、人脸对齐模 块5、存储模块6及图像合成模块7的非特定人双目视觉图像合成装置,该方法包括以下步 骤:
[0058] 步骤301:检测人脸:开机后由双目视觉采集模块1按照设定采样频率,比如3帧/ 秒,进行采样,并将采集到的图像数据经控制模块3传输给人脸识别模块4,所述人脸识别模 块4检测图像中是否存在人脸图像并将检测结果以及人脸在图像中的位置信息发送给控制 丰旲块3;
[0059] 步骤302:人脸追踪:所述控制模块3根据人脸在图像中的位置计算姿态调整角度 生成姿态调整命令,并将所述姿态调整命令发送给相机姿态调整模块2,对所述双目视觉采 集模块1进行姿态调整,以持续追踪正面人脸;
[0060] 在本发明的一个实施例中:
[0061 ] 相机姿态调整模块2包括2台RDS3115型号舵机和一个STM32F103C8T6单片机,舵机 单个重量60g,工作电压5V至7.2V,工作在7.2V电压时堵转扭矩17kg/cm,速度0.16sec/60 度,可控角度范围180度。舵机由单片机STM32F103C8T6输出的PWM波控制角度,控制模块3通 过RS232 口给单片机STM32F103C8T6发送指令MMab(指令标示符MM以ASCII码形式发送即 0x4D4D; a和b为数值,各占16位,数值以0.1为单位)可实现俯仰a度左右摇头b度,发送指令 M00可实现初始化回到原点。安装时两个舵机旋转轴互相垂直,负责左右摇摆的舵机在下旋 转轴竖直,上面舵机以下面舵机的舵盘为底座,上面舵机旋转轴上安装U型支架用以固定相 机,如此可以实现双目视觉采集模块1的2个自由度运动即实现俯仰、左右摇头;
[0062]控制模块3采用英特尔的i5-4590型号的处理器作为核心控制器,通过RGB888接口 获取双目视觉采集模块1采集得到的图像。控制模块3将采集到的图像发送给人脸识别模块 4并接收处理结果,并根据该处理结果给相机姿态调整模块2发出动作指令,例如人脸识别 模块4返回的偏移参数水平偏移量为x,垂直偏移量为y,设定调整系数为k(k为一个定值,需 根据实际相机的不同进行实验调整),则双目视觉采集模块1需要调整的俯仰角度指令为m = -10*y*k,左右旋转角度指令为n = -10*x*k,则控制模块3通过串口给相机姿态调整模块2 发送指令MMmn,然后继续采集图像并发送给人脸识别模块4并接收处理结果,如此反复进行 调整,以追踪人脸。
[0063]步骤303:人脸拍照:若判断在连续多次采集的图像中,人脸位置居中且没有发生 较大偏移,则所述控制模块3向双目视觉采集模块1发出拍照指令,否则返回所述步骤302; [0064]在本发明的一个实施例中,调整系数k为0.01,偏移参数阈值T = 20,设定控制模块 3接收到人脸识别模块4返回结果连续5次有人脸且偏移量小于阈值时进行拍照。第一张检 测到人脸图像的偏移参数1=100,7=150,则调整参数111 = -15,11 = -10,控制模块3则发送指 令0x4D4DFFFlFFF6给相机姿态调整模块2,相机姿态调整模块2根据指令执行动作俯仰1.5 度,左右旋转1度;第二张检测到的人脸图像的偏移参数x = 95,y=143,然后继续按照公式 调节,最后在第16次调节后,偏移参数x=13,y=15,均小于阈值T,并且此后连续4次有人脸 且偏移参数都在阈值范围内,此时完成调节,进行拍照。
[0065]步骤304:人脸识别:人脸识别模块4对所采集图像中的人脸进行识别,得到立体人 脸图像,并将其与存储模块6存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的 匹配结果;
[0066]在新采集的图像NewPicture . jpg发送到人脸识别模块4后,采用特征脸方法对 NewPicture. jpg进行识别,根据已注册人脸数据库中的数据,将图片NewPicture . jpg逐个 与每个用户ID的注册图片进行识别。首先计算NewPicture. jpg以及每张注册图片的特征向 量,然后分别计算NewPicture. jpg与每个用户ID的注册图片中的最近邻,并取其中的最小 值,当最小值小于阈值1 〇 〇时,识别为对应ID的用户,否则为新用户。在该实施例中, NewPicture. jpg与各个用户ID中的注册图片最小临近分别为2390,60,3120,即 NewPicture. jpg是ID为000002的用户照片。
[0067] 步骤305:人脸对齐:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定 于立体人脸图像中指定的相同区域内;
[0068] 步骤306:存储图像:将对齐后的立体人脸图像进行储存,并在使用数据库中添加 一条包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录;
[0069] 步骤307:合成输出:根据控制模块3的指令从存储模块6的使用数据库中提取指定 用户ID的全部立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输 出。
[0070] 所述人脸识别模块4将得到立体人脸图像与存储模块6存储的已注册人脸数据库 进行比对的步骤包括:
[0071] 步骤3041:判断当前用户是否为已注册用户;
[0072]步骤3042:若为已注册用户则将该立体人脸图像和注册用户ID发送到人脸对齐模 块5进行后续处理;
[0073]步骤3043:若为未注册用户则进入注册模式,为当前用户创建新的用户ID,并采集 其多幅人脸图像存储到已注册人脸数据库中。
[0074] 所述提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图像中 指定的相同区域内,其流程包括:
[0075] 步骤3051:比较当前立体人脸图像中人脸关键特征点与模板图像人脸关键特征点 的位置和偏差;
[0076] 步骤3052:对当前立体人脸图像进行裁剪、缩放、拉伸、平移等处理,使当前图像与 模板图像中的人脸关键特征点对齐。
[0077]以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详 细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡 在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保 护范围之内。
【主权项】
1. 一种可用于非特定人的双目视觉图像合成装置,其特征在于:所述装置包括双目视 觉采集模块、相机姿态调整模块、控制模块、人脸识别模块、人脸对齐模块、存储模块及图像 合成模块,其中: 所述双目视觉采集模块与相机姿态调整模块连接,两个模块相互配合采集立体图像, 并将采集到的图像数据传输到控制模块; 所述相机姿态调整模块与控制模块连接,用于根据控制模块的指令驱动双目视觉采集 模块在多个自由度上进行运动; 所述控制模块分别与双目视觉采集模块、相机姿态调整模块、存储模块、人脸识别模块 和图像合成模块连接,用于对各模块的动作或处理方式进行控制; 所述人脸识别模块与控制模块、人脸对齐模块和存储模块连接,用于检测所述双目视 觉采集模块采集到的图像数据中是否包含人脸,并根据检测到的立体人脸图像中的人脸生 物特征在所述存储模块所存储的已注册人脸数据库中寻找所述立体人脸图像的匹配结果; 所述人脸对齐模块分别与人脸识别模块和存储模块连接,用于将人脸识别模块检测到 的立体人脸图像进行裁剪和对齐,使人脸部分固定于图像中指定的区域中,并将对齐后的 立体人脸图像发送给所述存储模块; 所述存储模块与控制模块、人脸识别模块、人脸对齐模块和图像合成模块连接,用于存 储对齐后的立体人脸图像; 所述图像合成模块与控制模块和存储模块连接,用于根据控制模块的指令从存储模块 中提取指定人的立体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行 输出。2. 根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述 相机姿态调整模块由不少于一个舵机组成,所述控制模块能够对每个舵机分别进行特定角 度的调整。3. 根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述 控制模块,在采集图像时接收双目视觉采集模块采集得到的图像,将其转发给人脸识别模 块,并根据人脸识别模块返回的偏移参数计算相机姿态调整模块的调整角度,然后将该调 整角度发送给相机姿态调整模块,带动双目视觉采集模块持续追踪人脸,直到采集到正面 清晰人脸图像;在展示时向图像合成模块发出从存储模块提取特定人立体人脸图像的指 令。4. 根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述 人脸识别模块从控制模块接收图像后首先判断图像中是否包含人脸信息,如果包含则计算 人脸中心点与图像中心点之间的偏移,并将该偏移参数返回给控制模块,直至连续多次采 集到的人脸中心点与图像中心点之间的偏移小于预先设定的阈值,确保双目视觉采集模块 拍摄到稳定的人脸图像;进而分析该人脸图像中的生物特征,并与存储模块所存储的已注 册人脸数据库进行比对,判断是否为已注册用户,若已注册则将该人脸图像和注册用户ID 发送到人脸对齐模块进行后续处理,若为未注册用户则进入注册模式,为使用者创建新的 用户ID。5. 根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述 存储模块包括已注册人脸数据库和使用数据库,所述已注册人脸数据库用于保存使用者注 册信息,所述使用数据库的数据结构中至少包括用户ID、立体人脸图像存储位置和图像采 集时间,以存储多个使用者的人脸数据。6. 根据权利要求1所述的可用于非特定人的双目视觉图像合成装置,其特征在于:所述 人脸对齐模块提取立体人脸图像中的特征关键点,并将其在图像中的坐标位置与模板位置 进行比较,利用裁剪、缩放、拉伸、平移将人脸位置固定于立体人脸图像中指定的相同区域 内。7. -种利用权利要求1所述可用于非特定人的双目视觉图像合成装置进行双目视觉图 像合成的方法,其特征在于,所述方法包括以下步骤: 步骤301:双目视觉采集模块按照设定采样频率进行采样,并将采集到的图像数据经控 制模块传输给人脸识别模块,所述人脸识别模块4检测图像中是否存在人脸图像并将检测 结果以及人脸在图像中的位置信息发送给控制模块3; 步骤302:所述控制模块根据人脸在图像中的位置计算姿态调整角度生成姿态调整命 令,并将所述姿态调整命令发送给相机姿态调整模块,对所述双目视觉采集模块进行姿态 调整,以持续追踪正面人脸; 步骤303:若判断在连续多次采集的图像中,人脸位置居中且偏移量小于一指定阈值, 则所述控制模块向双目视觉采集模块发出拍照指令,否则返回所述步骤302; 步骤304:人脸识别模块对所采集图像中的人脸进行识别,得到立体人脸图像,并将其 与存储模块存储的已注册人脸数据库进行比对,寻找所述立体人脸图像的匹配结果; 步骤305:通过提取所述立体人脸图像中的人脸关键点将人脸位置固定于立体人脸图 像中指定的相同区域内; 步骤306:将对齐后的立体人脸图像进行储存,并在存储模块的使用数据库中添加一条 包含用户ID、立体人脸图像存储位置、图像采集时间信息的数据记录; 步骤307:根据控制模块的指令从存储模块的使用数据库中提取指定用户ID的全部立 体人脸图像,并按照时间顺序合成为可连续播放的动态图像或视频进行输出。8. 根据权利要求7所述的方法,其特征在于:所述步骤304中所述人脸识别模块4将得到 立体人脸图像与存储模块6存储的已注册人脸数据库进行比对的步骤进一步包括: 步骤3041:判断当前用户是否为已注册用户; 步骤3042:若为已注册用户则将该立体人脸图像和注册用户ID发送到人脸对齐模块进 行后续处理; 步骤3043:若为未注册用户则进入注册模式,为当前用户创建新的用户ID,并采集其多 幅人脸图像存储到已注册人脸数据库中。9. 根据权利要求7所述的方法,其特征在于:所述步骤305进一步包括: 步骤3051:比较当前立体人脸图像中人脸关键特征点与模板图像人脸关键特征点的位 置和偏差; 步骤3052:对当前立体人脸图像进行裁剪、缩放、拉伸、平移处理,使当前立体人脸图像 与模板图像中的人脸关键特征点对齐。
【文档编号】G06K9/00GK105893965SQ201610197497
【公开日】2016年8月24日
【申请日】2016年3月31日
【发明人】刘东昌, 吕石磊, 郭宇智, 倪晚成, 刘禹
【申请人】中国科学院自动化研究所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1