基于深度信息与CNN的人眼检测方法与流程

文档序号:20755371发布日期:2020-05-15 17:22阅读:来源:国知局

技术特征:

1.一种基于深度信息与cnn的人眼检测方法,其特征在于,所述人眼检测方法包括:

步骤s1、输入图像及其深度图像;

步骤s2、对深度图像按照检测距离范围进行预处理,去除非检测距离范围内背景;

步骤s3、对预处理后的深度图进行深度直方图分割,获得目标候选区域;

步骤s4、对候选区域用头肩模板进行匹配验证,确定人脸候选区域;

步骤s5、对人脸候选框的重叠区域进行比较,将满足设定阈值的候选框合并;

步骤s6、在人脸候选区域对应的图像区域内用训练好的cnn模型中做人脸框回归与关键点回归计算,得到人眼的位置。

2.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s2中,将深度图中深度值提取出检测范围的像素点,转化为像素值设置为255,其余为0的掩膜,与深度图点乘,去除范围外的背景像素。

3.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s3中,将经过掩膜后的深度图深度值转换到0-255,将深度图从屏幕坐标系的xy轴映射到xz轴平面,对映射后的图像分别对xz轴做投影,分割出物体范围;分割出的范围对应x轴区域范围与z轴区域范围,并根据对应的深度范围的中间值得到区域模板匹配对应尺度的模板图像。

4.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s3中,充分利用不同物体位置深度值的差异,首先将xy轴的屏幕坐标系转换到xz轴,将场景中物体做了xz的二维垂直投影,再根据物体投影图上x轴的垂直投影,找出投影的波峰与波谷,认为每个波峰位置表示物体存在,在每个波峰前后的波谷作为分割的阈值,对场景上的物体做x轴的分割;

对分割出来的每个x轴区域做z轴上的垂直投影,找出投影的波峰波谷,将每个波峰作为物体所在深度,将波峰前后的波谷作为分割阈值,与x轴的分割组成每个物体的分割范围,将场景中每个物体分割开。

5.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s3中,采用自适应深度值匹配模板尺度的方法;根据不同物体得到的深度范围值,取范围的中间值作为该物体的深度,选择与其深度值匹配的头肩模板图像。

6.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s4中,将深度图分成多个检测部分,对这多个深度区域并行做检测,采用模板匹配的方法,通过步长为1的滑窗,将当前深度值对应的头肩模板图像与输入的深度图进行相似度检测,得到的值存放到result图中。

7.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s5中,采用非极大值抑制方法,将result图中的候选框做合并,将得到的候选框根据头肩比例做头部的分割,将深度图中分割的位置映射到图像中作为cnn模型的输入图像。

8.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s6中,将图像分割得到的人脸区域resize到与训练图像相同的训练尺度的大小作为cnn模型的输入图像。

9.根据权利要求1所述的基于深度信息与cnn的人眼检测方法,其特征在于:

所述步骤s6中,采用四层卷积层,两层全连接层的模型进行人脸二分类以及人脸框与关键点回归,人脸二分类采用softmaxloss函数,人脸框与人脸关键点回归采用最小均方误差函数训练出模型;将训练好的模型导入网络结构,结合深度信息分割出的人脸图像输入,得到新的人脸框位置与人脸关键点。


技术总结
本发明揭示了一种基于深度信息与CNN的人眼检测方法,包括:步骤S1、输入图像及其深度图像;步骤S2、对深度图像按照检测距离范围进行预处理,去除非检测距离范围内背景;步骤S3、对预处理后的深度图进行深度直方图分割,获得目标候选区域;步骤S4、对候选区域用头肩模板进行匹配验证,确定人脸候选区域;步骤S5、对人脸候选框的重叠区域进行比较,将满足设定阈值的候选框合并;步骤S6、在人脸候选区域对应的图像区域内用训练好的CNN模型中做人脸框回归与关键点回归计算,得到人眼的位置。本发明提出的基于深度信息与CNN的人眼检测方法,可提高检测精确度,减少计算复杂度,提高检测效率,保证检测实时性与准确性,满足裸眼3D显示器的要求。

技术研发人员:朱志林;张伟香;王禹衡;方勇
受保护的技术使用者:上海易维视科技有限公司
技术研发日:2019.12.31
技术公布日:2020.05.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1