一种基于人脸识别的恐龙机器人视线跟踪方法及系统

本发明涉及机器人视线跟踪，尤其涉及一种基于人脸识别的恐龙机器人视线跟踪方法及系统。

背景技术：

1、目前，恐龙机器人无法做到与游客互动，并进行视线跟踪，而要实现恐龙机器人与游客的互动，现有的人脸识别算法存在以下问题：

2、1.基于adaboost的人脸检测，adaboost人脸检测算法，是基于积分图、级联检测器和adaboost算法的方法，该方法能够检测出正面人脸且检测速度快。其核心思想是自动从多个弱分类器的空间中挑选出若干个分类器，构成一个分类能力很强的强分类器。缺点：而在复杂背景中，adaboost人脸检测算法容易受到复杂环境的影响，导致检测结果并不稳定，极易将类似人脸区域误检为人脸，误检率较高。

3、2.基于pca的人脸检测，pca通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。缺点：在对数据完全无知的情况下，pca变换并不能得到较好的保留数据信息。对降维最终得到的数目，也就是潜在的隐变量的数目，不能很好的估计。pca原理主要是为了消除变量之间的相关性，并且假设这种相关性是线性的，对于非线性的依赖关系则不能得到很好的结果。pca假设变量服从高斯分布，当变量不服从高斯分布(如均匀分布)时，会发生尺度缩放与旋转。

4、3.基于lbp的人脸检测，lbp是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。可用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。缺点：它只覆盖了一个固定半径范围内的小区域，不能满足不同尺寸和频率纹理的需要。

5、4.基于hog的人脸检测，hog特征检测算法，一种解决人体目标检测的图像描述算子，是一种用于表征图像局部梯度方向和梯度强度分布特性的描述符。其主要思想是：在边缘具体位置未知的情况下，边缘方向的分布也可以很好的表示行人目标的外形轮廓。缺点：描述子生成过程冗长，导致速度慢，实时性差；很难处理遮挡问题。由于梯度的性质，该描述子对噪点相当敏感。

6、5.基于haar的人脸检测，haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征。缺点：对尺度很敏感，不具备几何尺度不变性，提取的角点是像素级。

7、6.基于sift的人脸检测，检测尺度空间极值就是搜索所有尺度上的图像位置，通过高斯微分函数来识别对于尺度和旋转不变的兴趣点。缺点：实时性不高，并且对于边缘光滑目标的特征点提取能力较弱。

8、7.基于svm的人脸检测，寻找到一个超平面使样本分成两类，并且间隔最大。缺点：对于核函数的高维映射解释力不强，尤其是径向基函数；对缺失数据敏感；大规模数据计算复杂度大。

技术实现思路

1、本发明的目的是提供一种基于人脸识别的恐龙机器人视线跟踪方法及系统，以解决如何实现恐龙机器人与游客视线跟踪的技术问题。

2、本发明是采用以下技术方案实现的：一种基于人脸识别的恐龙机器人视线跟踪方法，包括如下步骤：

3、s1：获取恐龙机器人摄像头可拍摄区域，并进行拍摄；

4、s2：利用mtcnn算法获取可拍摄区域内人脸位置；

5、s3：利用facenet算法将人脸数据库中的所有人脸与恐龙机器人所拍摄的人脸进行对比；

6、s4：根据对比结果，控制恐龙机器人对目标人物进行视线跟踪。

7、进一步的，步骤s2包括如下子步骤：

8、s21：对恐龙机器人所拍摄的图像进行不同尺度的缩放生成图像金字塔；

9、s22：将图像金字塔传入多级cnn网络进行识别，最后输出人脸位置。

10、进一步的，步骤s22包括如下子步骤：

11、s221：将图像金字塔传入第一级cnn网络p-net，生成多张人脸候选框；

12、s222：将多张人脸候选框截出的图像传入第二级cnn网络r-net，获得相对正确的人脸框；

13、s223：将人脸框传入第三级cnn网络o-net，输出人脸位置。

14、进一步的，所述第二级cnn网络r-net会对图像中是否真正存在人脸进行判断评分，同时对原有的人脸候选框进行修正，以得到相对正确的人脸框。

15、进一步的，步骤s3包括如下步骤：

16、s31：从恐龙机器人所拍摄的图片中截取出人脸图片；

17、s32：利用facenet从人脸图片中提取出特征向量；

18、s33：将人脸数据库中所有人脸的特征向量与facenet提取出的特征向量进行对比。

19、进一步的，步骤s33具体为：将人脸数据库中所有人脸的特征向量与facenet提取出的特征向量进行对比，最终选取距离最短，并且小于预设阈值的人脸作为检测结果。

20、进一步的，步骤s33包括如下子步骤：

21、s331：如果检测结果匹配上，则进行视线跟踪步骤；

22、s332：如果检测结果没有匹配上，则显示未知，不进行视线跟踪步骤。

23、一种基于人脸识别的恐龙机器人视线跟踪系统，包括恐龙机器人摄像头、mtcnn算法模块、facenet算法模块和控制模块，所述恐龙机器人摄像头用以获取可拍摄区域，并进行拍摄；所述mtcnn算法模块用以获取可拍摄区域内人脸位置；所述facenet算法模块用以将人脸数据库中的所有人脸与恐龙机器人所拍摄的人脸进行对比；所述控制模块用以根据对比结果，控制恐龙机器人对目标人物进行视线跟踪。

24、本发明的有益效果在于：本发明利用mtcnn算法结合facenet算法检测到人脸并实现标定+跟踪后，计算出目标人物的标定框的中心坐标，得到在像素坐标系下的坐标，然后与摄像头拍摄的区域中心坐标在像素坐标系下进行差值运算，利用tcp/ip协议将所得差值传输给控制台中心，再根据pid协议让恐龙机器人的两个自由度跟踪目标人脸的标定框使目标人脸的标定框始终处于拍摄画面的中心。

25、本发明利用人脸识别与跟踪技术可为恐龙文化的传承与发展注入新的动力，增加新的发展方向，并跟当地产业结合，应用于休闲娱乐方面，此摄像头可置于恐龙机器人的头顶，用户可输入人脸照片，利用此摄像头识别跟踪此人，体现恐龙博物馆的趣味性，带来经济效益。

26、本发明可用于在实时视频监控中的身份识别、追踪，利用一种远距离且用户非配合状态下的快速身份识别技术，从监控视频中实时查找人脸，并与人脸数据库进行实时比对，以达到一种实现快速身份识别并且进行追踪的效果。利用mtcnn+facenet算法可以大大提升恐龙机器人识别跟踪人脸的速率，mtcnn通过图像金字塔+三阶段级联cnn使得网络的运行时间更少，时效性增强。

技术特征：

1.一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，步骤s2包括如下子步骤：

3.如权利要求2所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，步骤s22包括如下子步骤：

4.如权利要求3所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，所述第二级cnn网络r-net会对图像中是否真正存在人脸进行判断评分，同时对原有的人脸候选框进行修正，以得到相对正确的人脸框。

5.如权利要求1所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，步骤s3包括如下步骤：

6.如权利要求5所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，步骤s33具体为：将人脸数据库中所有人脸的特征向量与facenet提取出的特征向量进行对比，最终选取距离最短，并且小于预设阈值的人脸作为检测结果。

7.如权利要求6所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，步骤s33包括如下子步骤：

8.一种基于人脸识别的恐龙机器人视线跟踪系统，用以实现权利要求1~7任意一项所述的一种基于人脸识别的恐龙机器人视线跟踪方法，其特征在于，包括恐龙机器人摄像头、mtcnn算法模块、facenet算法模块和控制模块，所述恐龙机器人摄像头用以获取可拍摄区域，并进行拍摄；所述mtcnn算法模块用以获取可拍摄区域内人脸位置；所述facenet算法模块用以将人脸数据库中的所有人脸与恐龙机器人所拍摄的人脸进行对比；所述控制模块用以根据对比结果，控制恐龙机器人对目标人物进行视线跟踪。

技术总结
本发明公开了一种基于人脸识别的恐龙机器人视线跟踪方法及系统，该方法包括如下步骤：S1：获取恐龙机器人摄像头可拍摄区域，并进行拍摄；S2：利用MTCNN算法获取可拍摄区域内人脸位置；S3：利用FACENET算法将人脸数据库中的所有人脸与恐龙机器人所拍摄的人脸进行对比；S4：根据对比结果，控制恐龙机器人对目标人物进行视线跟踪。本发明可以让恐龙机器人在多个自由度跟踪目标人脸的标定框，并使目标人脸的标定框始终处于拍摄画面的中心。

技术研发人员：赵俊,赵杨武,邱婷,梁宝迩,唐磊,胡浩成,杨韩,熊兴中
受保护的技术使用者：四川轻化工大学
技术研发日：
技术公布日：2024/1/13