一种基于fpga的人脸检测与跟踪方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，特别是一种基于FPGA的人脸检测与跟踪方法。
【背景技术】
[0002]目前，人脸的检测方法的检测对象是静态图像，而无法准确地检测并跟踪视频序 列中的人脸。有的人脸检测，如果背景图像较复杂，要从其它物体中区分出人脸较困难；有 的在不同的光照条件下的检测结果受很大的影响；有的在人脸被遮挡三分之一以上就难以 检测出来。现有人脸检测的处理系统不像FPGA是并行处理的，因此检测和跟踪的实时性受 限。
【发明内容】
[0003] 有鉴于此，本发明的目的是提出一种基于FPGA的人脸检测与跟踪方法，克服了现 有人脸检测的成本以及检测与跟踪的实时性问题。
[0004] 本发明采用以下方案实现：一种基于FPGA的人脸检测与跟踪方法，具体包括以下 步骤： 步骤Sl :采集视频； 步骤S2 :进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像； 步骤S3 :进行空间滤波，确定肤色像素； 步骤S4 :进行时间滤波，得到当前帧的像素的平均值； 步骤S5 :过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果； 步骤S6 :采用VGA实时显示。
[0005] 进一步的，所述的步骤Sl具体为：采用CMOS图像传感器获取视频图像，使用FPGA 设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像 传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR 存储器中。
[0006] 进一步的，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U分量 在20〈U〈74范围内的像素的像素值设为1，否则设为0,进而将采集到的视频数据由YUV格 式转换为二进制图像。
[0007] 进一步的，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一 像素点P邻近的9 X 9像素块，若该9 X 9像素块中有超过75%的像素点的像素值为1，则认 为该像素点P是肤色像素，否则不是。
[0008] 进一步的，所述步骤S4具体为：对每帧图像中的每个像素点使用公式
进行再一次滤波处理，其中，data是步骤S3中当前帧空 间滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值， 进而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式
,利用移位运算 可得 avg_out = avg_in_avg_in > > 2+data > > 2。如果 avg_out 大于 0· 06,则认为该像 素是皮肤，否则该像素不是皮肤。
[0009] 较佳地，由于人的手也是肤色，利用肤色分割进行人脸检测时，需滤除人手的干 扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧图像的肤色连 通区域，滤除面积小于已检测出的最大肤色连通区域面积的26%的其它连通区域，将剩下 的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的 平均值，得到实时人脸检测结果。
[0010] 进一步的，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域 通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时显 不。
[0011]与现有技术相比，本发明采用FPGA设备来实现人脸检测的功能，肤色阈值检测可 以减小每帧图像的搜索区域；空间滤波和时间滤波提高了人脸检测并跟踪的准确性；FPGA 的数据处理都是并行的。因此本发明提出的人脸检测和跟踪的算法较简单，而准确性、速度 和实时性都较高，系统成本较低。
【附图说明】
[0012] 图1为本发明的方法流程示意图。
【具体实施方式】
[0013] 下面结合附图及实施例对本发明做进一步说明。
[0014] 如图1所示，本实施例提供了一种基于FPGA的人脸检测与跟踪方法，具体包括以 下步骤： 步骤Sl :采集视频； 步骤S2 :进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像； 步骤S3 :进行空间滤波，确定肤色像素； 步骤S4 :进行时间滤波，得到当前帧的像素的平均值； 步骤S5 :过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果； 步骤S6 :采用VGA实时显示。
[0015] 在本实施例中，所述的步骤Sl具体为：采用CMOS图像传感器获取视频图像，使用 FPGA设备配置所述CMOS图像传感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS 图像传感器协议和时序采集所述视频数据，并将采集到的视频数据存储到所述FPGA设备 的DDR存储器中。
[0016] 在本实施例中，所述步骤S2具体为：将步骤S1采集到的YUV格式的视频数据的U 分量在20〈U〈74范围内的像素的像素值设为1，否则设为0,进而将采集到的视频数据由YUV 格式转换为二进制图像。
[0017] 在本实施例中，所述步骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的 任一像素点P邻近的9X9像素块，若该9X9像素块中有超过75%的像素点的像素值为1， 则认为该像素点P是肤色像素，否则不是。
[0018] 在本实施例中，所述步骤S4具体为：对每帧图像中的每个像素点使用公式
进行再一次滤波处理，其中，data是步骤S3中当前帧空间 滤波后的像素值，avg_in是先前帧的像素平均值，avg_out是当前帧的像素平均值，进 而得到肤色连通区域。特别的，FPGA的硬件语言没有除法运算，因此可以将所述公式
利用移位运算 可得 avg_out = avg_in_avg_in > > 2+data > > 2。如果 avg_out 大于 0· 06,则认为该像 素是皮肤，否则该像素不是皮肤。
[0019] 较佳地，在本实施例中，由于人的手也是肤色，利用肤色分割进行人脸检测时，需 滤除人手的干扰，人手的肤色区域小于人脸的肤色区域，因此比较步骤S4处理后的每一帧 图像的肤色连通区域，滤除小于上述已检测出的最大肤色连通区域26%的其它连通区域， 将剩下的肤色连通区域确定为人脸的肤色区域，并计算所述人脸的肤色区域的X坐标和Y 坐标的平均值，得到实时人脸检测结果。
[0020] 在本实施例中，所述步骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区 域通过FPGA硬件语言写入DDR存储器中，然后从DDR中取出图像数据在VGA显示器上实时 显不O
[0021] 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与 修饰，皆应属本发明的涵盖范围。
【主权项】
1. 一种基于FPGA的人脸检测与跟踪方法，其特征在于包括以下步骤： 步骤Sl:采集视频； 步骤S2 :进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像； 步骤S3 :进行空间滤波，确定肤色像素； 步骤S4 :进行时间滤波，得到当前帧的像素的平均值； 步骤S5 :过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果； 步骤S6 :采用VGA实时显示。2. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述的 步骤Sl具体为：采用CMOS图像传感器获取视频图像，使用FPGA设备配置所述CMOS图像传 感器输出的YUV格式的视频数据，所述FPGA设备根据CMOS图像传感器协议和时序采集所 述视频数据，并将采集到的视频数据存储到所述FPGA设备的DDR存储器中。3. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步 骤S2具体为：将步骤Sl采集到的YUV格式的视频数据的U分量在20〈U〈74范围内的像素 的像素值设为1，否则设为〇,进而将采集到的视频数据由YUV格式转换为二进制图像。4. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步 骤S3具体为：检测经步骤S2处理后的一帧二进制图像中的任一像素点p邻近的9X9像素 块，若该9X9像素块中有超过75%的像素点的像素值为1，则认为该像素点p是肤色像素， 否则不是。5. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步次滤波处理，其中，data是步骤S3中当前帧空间滤波后的像素值，avg_in是先前帧的像素 平均值，avg_〇ut是当前帧的像素平均值，如果avg_〇ut大于0. 06,则认为该像素是皮肤，否 则该像素不是皮肤，进而得到多个肤色连通区域。6. 根据权利要求5所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述公用移位运算可得avg_out=avg_in_avg_in>> 2+data>> 2〇7. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步 骤S5具体为：比较步骤S4处理后的每一帧图像的各个肤色连通区域，滤除面积小于已检 测出的最大肤色连通区域面积的26%的其它连通区域，将剩下的肤色连通区域确定为人脸 的肤色区域，并计算所述人脸的肤色区域的X坐标和Y坐标的平均值，得到实时人脸检测结 果。8. 根据权利要求1所述的一种基于FPGA的人脸检测与跟踪方法，其特征在于：所述步 骤S6具体为：将步骤S5中检测到的每帧图像的最终人脸区域通过FPGA硬件语言写入DDR 存储器中，然后从DDR中取出图像数据在VGA显示器上实时显示。
【专利摘要】本发明涉及一种基于FPGA的人脸检测与跟踪方法，首先采集视频，接着进行肤色阈值检测，将采集到的视频数据由YUV格式转换为二进制图像，再进行空间滤波，确定肤色像素，然后进行时间滤波，得到当前帧的像素的平均值，进一步确定肤色像素，接着过滤其它肤色干扰，进行人脸跟踪，得到实时人脸检测结果，最后采用VGA实时显示。本发明克服了现有人脸检测的成本以及检测与跟踪的实时性问题，算法较简单，而准确性、速度和实时性都较高，系统成本较低。
【IPC分类】G06K9/00
【公开号】CN105046222
【申请号】CN201510408497
【发明人】程树英, 张义群, 林培杰
【申请人】福州大学
【公开日】2015年11月11日
【申请日】2015年7月14日