人脸跟踪方法、装置、存储介质以及设备与流程

本发明涉及人脸跟踪技术领域，特别是涉及一种人脸跟踪方法、系统、存储介质以及设备。

背景技术：

随着机器人技术的发展，智能机器人产品已经越来越多地深入到人们生活的各个方面。机器人不只用来帮助使用者高效地完成指定的工作，更被设计为能够与使用者进行语言、动作以及情感的交互的伙伴，其中，教育机器人作为可以激发学生学习兴趣、培养学生综合能力为目标的智能机器受到了广泛推广。

人脸作为一种重要的视觉图像，可以传递使用者的年龄、性别、身份以及大部分情感与情绪信息等。因此，在人机交互过程中，教育机器人通过对人脸的定位与跟踪，能够更加有效地对人脸信息进行采集与分析，并更准确地获知使用者的意图，提高人机交互体验，进而提升学生的学习兴趣。

发明人在进行本发明的创造过程中发现：教育机器人对于人脸跟踪仅仅是基于颜色识别跟踪的阶段，导致跟踪不准确的问题，降低了交互体验。

技术实现要素：

基于此，本发明的目的在于，提供一种人脸跟踪方法，其具有可提高人脸跟踪的准确度，提高了用户交互体验的优点。

一种人脸跟踪方法，包括如下步骤：

步骤s1：获取当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；

步骤s2：从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；

步骤s3：根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；

步骤s4：根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；

步骤s5：根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；

步骤s6：根据所述水平位置调节信号和垂直位置调节信号调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，回到步骤s1，继续确定水平位置调节信号和垂直位置调节信号。

本发明根据包围人脸的最小矩形的左下角点的坐标、包围人脸的最小矩形的对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，从而确定水平位置调节信号和垂直位置调节信号，进而实时动态地调节人脸在视频帧图像中的位置，使人脸在视频帧图像中的位置尽量保持不变，以实现动态地跟踪人脸，提高了人脸跟踪的准确度，提高了用户交互体验。

在一个实施例中，在获取当前视频帧图像后，还判断当前视频帧图像是否为第一帧视频帧图像：

若当前视频帧图像是第一帧视频帧图像，则从当前视频帧图像中确定出人脸，且确定当前视频帧图像的水平方向偏差和垂直方向偏差，再获取下一帧视频帧图像作为当前视频帧图像，以第一帧视频帧图像作为上一帧视频帧图像；

若当前视频帧图像不是第一帧视频帧图像，才获取上一帧视频帧图像的水平方向偏差和垂直方向偏差。

在一个实施例中，所述根据包围人脸的最小矩形，确定最小矩形的对角线长度的方式为：

m＝sqrt((x+h)*(x+h)+(y+w)*(y+w))

其中，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标；h表示所述最小矩形的宽；w表示所述最小矩形的长；sqrt()表示求括号内数值的平方根。

在一个实施例中，所述根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差的方式为：

tx＝x-160；

ty＝y-120；

其中，tx表示当前视频帧图像的水平方向偏差，ty表示当前视频帧图像的垂直方向偏差，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标。

在一个实施例中，所述确定水平位置调节信号的步骤，包括：

步骤s511：根据对角线长度、当前视频帧图像的水平方向偏差、以及上一帧视频帧图像的水平方向偏差，获得水平方向的增量信号；

步骤s512：根据水平方向的增量信号，获得水平方向的pwm调节信号；

其中，获得所述水平方向的增量信号的计算方式为：

pwmx当前帧＝pwmx上一帧+tx*px+(tx-lx)*dx；

上述公式中，pwmx当前帧表示根据当前视频帧图像确定的水平方向的增量信号；pwmx上一帧表示根据上一帧视频帧图像确定的水平增量信号；tx表示当前视频帧图像的水平方向偏差，单位为像素；px为水平方向的比例系数，当0<m<230像素时，px＝0.02-0.00002*m；当m≥230像素时，px＝0.0154，m表示对角线长度，单位为像素；lx表示上一帧的水平方向偏差，单位为像素；dx为水平方向的微分系数，且dx＝0.01。

在一个实施例中，所述确定垂直位置调节信号的步骤，包括：

根据对角线长度、当前视频帧图像的垂直方向偏差、以及上一帧视频帧图像的垂直方向偏差，获得垂直方向的增量信号；

根据垂直方向的增量信号，获得垂直方向的pwm调节信号；

其中，获得所述垂直方向的增量信号的计算方式为：

pwmy当前＝pwmy上一帧+ty*py+(ty-ly)*dy；

上述公式中，pwmy当前帧表示根据当前视频帧图像确定的垂直方向的增量信号；pwmy上一帧表示根据上一帧视频帧图像确定的垂直方向的增量信号；ty表示当前视频帧图像的垂直方向偏差，单位为像素；py为垂直方向的比例系数，当0<m<230像素时，px＝0.02-0.00006*m，当m≥230像素时，px＝0.0062，m表示对角线长度，单位为像素；lx表示上一帧的垂直方向偏差，单位为像素；dx为垂直方向的微分系数，且dy＝0.01。

本发明还提供一种人脸跟踪装置，包括机器人；所述机器人包括云台、第一摄像头、处理器、第一舵机以及第二舵机；

所述第一摄像头嵌设在所述云台上并用于拍摄视频帧图像；

所述处理器固定在所述云台内，并与所述第一摄像头信号连接，且获取所述第一摄像头拍摄的当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；

所述处理器从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；

所述处理器根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；

所述处理器根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；

所述处理器根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号；

所述处理器将所述水平位置调节信号和垂直位置调节信号分别传送给第一舵机和第二舵机，所述第一舵机接收所述水平位置调节信号，并驱动所述云台在水平方向转动；所述第二舵机接收所述水平位置调节信号，并驱动所述云台在垂直方向上转动；

所述处理器以当前视频帧图像作为上一帧视频帧图像，以调节云台位置后第一摄像头拍摄的视频帧图像作为当前视频帧图像，继续确定水平位置调节信号和垂直位置调节信号。

本发明还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的人脸跟踪方法的步骤。

本发明还提供一种计算机设备，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的人脸跟踪方法的步骤为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明实施例中人脸跟踪方法的流程图；

图2为本发明实施例中确定水平位置调节信号的流程图；

图3为本发明实施例中确定垂直位置调节信号的流程图；

图4为本发明实施例中人脸跟踪装置的原理框图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

请参阅图1，一种人脸跟踪方法，包括如下步骤：

步骤s1：获取当前视频帧图像以及上一帧视频帧图像的水平方向偏差和垂直方向偏差。

本实施例中，“水平方向”为面对视频帧图像时由左往右或由右至左的方向为水平方向，“垂直方向”为面对视频帧图像时垂直于水平方向由上至下或者由下至上的方向为垂直方向。

步骤s2：从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形。

在一个可选的实施例中，通过opencv库中的人脸识别函数来识别并确定出人脸。具体的，将当前视频帧图像转换为灰度图像，再进行人脸匹配，确定出人脸以及包围人脸的最小矩形。

步骤s3：根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度。

本实施例中，所述最小矩形的左下角点的坐标为面对视频帧图像时，且最小矩形在视频帧图像中时的左下角的点的横坐标和纵坐标。

步骤s4：根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差。

步骤s5：根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号。

步骤s6：根据所述水平位置调节信号和垂直位置调节信号调节视频帧图像的获取位置，并以当前视频帧图像作为上一帧视频帧图像，以调节视频帧图像的获取位置后获取的视频帧图像作为当前视频帧图像，回到步骤s1，继续确定水平位置调节信号和垂直位置调节信号。

本发明根据包围人脸的最小矩形的左下角点的坐标、包围人脸的最小矩形的对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，从而确定水平位置调节信号和垂直位置调节信号，进而实时动态地调节人脸在视频帧图像中的位置，使人脸在视频帧图像中的位置尽量保持不变，以实现动态地跟踪人脸，提高了人脸跟踪的准确度，提高了用户交互体验。

在一个可选的实施例中，步骤s1中在获取当前视频帧图像后，还判断当前视频帧图像是否为第一帧视频帧图像：

若当前视频帧图像是第一帧视频帧图像，则从当前视频帧图像中确定出人脸，且确定当前视频帧图像的水平方向偏差和垂直方向偏差，再获取下一帧视频帧图像作为当前视频帧图像，以第一帧视频帧图像作为上一帧视频帧图像；

若当前视频帧图像不是第一帧视频帧图像，才获取上一帧视频帧图像的水平方向偏差和垂直方向偏差。

在一个可选的实施例中，步骤s3中所述根据包围人脸的最小矩形，确定最小矩形的对角线长度的方式为：

m＝sqrt((x+h)*(x+h)+(y+w)*(y+w))

其中，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标；h表示所述最小矩形的宽；w表示所述最小矩形的长；sqrt()表示求括号内数值的平方根。

在一个可选的实施例中，所述根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差的方式为：

tx＝x-160；

ty＝y-120；

其中，tx表示当前视频帧图像的水平方向偏差，单位为像素；ty表示当前视频帧图像的垂直方向偏差，单位为像素；x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标，单位为像素。其中，“160”、“120”为本实施例中设定的人脸应该在视频帧图像中的参考坐标，以通过水平位置调节信号和垂直位置调节信号，使人脸在视频帧图像中的位置尽量保持不变。

请参阅图2，在一个可选的实施例中，所述确定水平位置调节信号的步骤，包括：

步骤s511：根据对角线长度、当前视频帧图像的水平方向偏差、以及上一帧视频帧图像的水平方向偏差，获得水平方向的增量信号。

步骤s512：根据水平方向的增量信号，获得水平方向的pwm调节信号。

其中，获得所述水平方向的增量信号的计算方式为：

pwmx当前帧＝pwmx上一帧+tx*px+(tx-lx)*dx。

上述公式中，pwmx当前帧表示根据当前视频帧图像确定的水平方向的增量信号；pwmx上一帧表示根据上一帧视频帧图像确定的水平增量信号；tx表示当前视频帧图像的水平方向偏差，单位为像素；px为水平方向的比例系数，当0<m<230像素时，px＝0.02-0.00002*m；当m≥230像素时，m表示对角线长度，单位为像素；px＝0.0154；lx表示上一帧的水平方向偏差，单位为像素；dx为水平方向的微分系数，且dx＝0.01。

请参阅图3，在一个可选的实施例中，所述确定垂直位置调节信号的步骤，包括：

步骤s521：根据对角线长度、当前视频帧图像的垂直方向偏差、以及上一帧视频帧图像的垂直方向偏差，获得垂直方向的增量信号。

步骤s522：根据垂直方向的增量信号，获得垂直方向的pwm调节信号。

其中，获得所述垂直方向的增量信号的计算方式为：

pwmy当前＝pwmy上一帧+ty*py+(ty-ly)*dy；

上述公式中，pwmy当前帧表示根据当前视频帧图像确定的垂直方向的增量信号；pwmy上一帧表示根据上一帧视频帧图像确定的垂直方向的增量信号；ty表示当前视频帧图像的垂直方向偏差，单位为像素；py为垂直方向的比例系数，当0<m<230像素时，px＝0.02-0.00006*m，当m≥230像素时，px＝0.0062，m表示对角线长度，单位为像素；lx表示上一帧的垂直方向偏差，单位为像素；dx为垂直方向的微分系数，且dy＝0.01。

在一个可选的实施例中，还设置pwmx当前帧的上下限阈值，而且当pwmx当前帧大于12.5时，均将pwmx当前帧取值为12.5；当pwmx当前帧小于2.5时，均将pwmx当前帧取值为2.5，进而将pwmx当前帧的值都规定在(2.5，12.5)范围内，因为根据wiringpi的软件pwm输出函数的定义，水平方向转动0-180度的pwmx当前帧取值范围为(2.5，12.5)。还设置pwmy当前帧的上下限阈值，而且当pwmy当前帧大于7时，均将pwmy当前帧取值为7；当pwmy当前帧小于2.5时，均将pwmy当前帧取值为2.5，进而将pwmy当前帧的值设置在(2.5，7)范围内，因为根据wiringpi的软件pwm输出函数的定义，垂直方向转动0-90度的pwm取值范围为(2.5，7)；再获得pwmx当前帧与pwmy当前帧后，利用wiringpi库中的软件输出pwm函数，将pwmx当前帧与pwmy当前帧转化为相应的pwm信号，以调节水平方向的跟踪位置和垂直方向的跟踪位置。

请参阅图4，本发明还提供一种人脸跟踪装置，包括机器人；所述机器人包括云台、处理器1、第一舵机2、第二舵机3以及第一摄像头4。

所述第一摄像头4嵌设在所述云台上并用于拍摄视频帧图像；

所述处理器1固定在所述云台内，并与所述第一摄像头4信号连接，且获取所述第一摄像头4拍摄的当前视频帧图像、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差；

所述处理器1从当前视频帧图像中确定出人脸，并根据所述人脸确定包围人脸的最小矩形；

所述处理器1根据包围人脸的最小矩形，确定最小矩形的左下角点的坐标以及最小矩形的对角线长度；

所述处理器1根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差；

所述处理器1根据对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，确定水平位置调节信号和垂直位置调节信号。

所述处理器1将所述水平位置调节信号和垂直位置调节信号分别传送给第一舵机2和第二舵机3，所述第一舵机2接收所述水平位置调节信号，并驱动所述云台在水平方向转动；所述第二舵机3接收所述水平位置调节信号，并驱动所述云台在垂直方向上转动。

所述处理器1以当前视频帧图像作为上一帧视频帧图像，以调节云台位置后第一摄像头4拍摄的视频帧图像作为当前视频帧图像，继续确定水平位置调节信号和垂直位置调节信号。

本发明根据包围人脸的最小矩形的左下角点的坐标、包围人脸的最小矩形的对角线长度、当前视频帧图像的水平方向偏差和垂直方向偏差、以及上一帧视频帧图像的水平方向偏差和垂直方向偏差，从而确定水平位置调节信号和垂直位置调节信号，进而实时动态地调节人脸在视频帧图像中的位置，使人脸在视频帧图像中的位置尽量保持不变，以实现动态地跟踪人脸，提高了人脸跟踪的准确度，提高了用户交互体验。

在一个可选的实施例中，所述处理器1可为树莓派板，其为一种微型电脑，型号为raspberrypi3b+；该型号的cpu主频为1.4ghz，运算内存为1gb，运行linux系统，可实现实时进行数据的处理，进而实现实时调节云台位置，实现对人脸的实施跟踪。在一个可选的实施例中，所述第一舵机2和第二舵机3的型号可采用sg90。sg90型号的舵机价格便宜，体积较小，在云台的承载重量较轻的情况下，可以减少了空间占用，减轻云台的负载，方便云台的转动。在一个可选的实施例中，第一舵机2和第二舵机3的vcc口均与树莓派板的5v电源引脚相连，以给第一舵机2和第二舵机3供电。所述第一舵机2和第二舵机3的gnd口均与树莓派的gnd引脚相连，使舵机与树莓派板共地。所述第一舵机2的信号输入口与树莓派板的gpio.2口相连，以获取树莓派板传送的水平位置调节信号。所述第二舵机3的信号输入口与树莓派的gpio.3口相连，以获取树莓派板传送的调节跟踪人脸的垂直位置调节信号，通过选择树莓派板的gpio.2和gpio.3是因为两个引脚相邻，且与树莓派板上的gnd引脚相邻，与vcc引脚接近，可实现方便的接线。

在一个可选的实施例中，所述处理器在获取当前视频帧图像后，还判断当前视频帧图像是否为第一帧视频帧图像：

若当前视频帧图像是第一帧视频帧图像，则从当前视频帧图像中确定出人脸，且确定当前视频帧图像的水平方向偏差和垂直方向偏差，再获取下一帧视频帧图像作为当前视频帧图像，以第一帧视频帧图像作为上一帧视频帧图像；

若当前视频帧图像不是第一帧视频帧图像，才获取上一帧视频帧图像的水平方向偏差和垂直方向偏差。

在一个可选的实施例中，通过opencv库中的摄像头读取函数来获得当前视频帧图像。

在一个可选的实施例中，通过opencv库中的人脸识别函数来识别并确定出人脸。具体的，将当前视频帧图像转换为灰度图像，再进行人脸匹配，得到人脸坐标。

在一个可选的实施例中，通过opencv库中的分辨率设置函数设置视频帧图像分辨率为320*240，以在确保人脸分辨效果的前提下，提高处理速度。

在一个可选的实施例中，通过opencv库中的矩形绘画函数确定包围人脸的最小矩形，并从所述最小矩形中确定对角线长度，其中，确定对角线长度的方式为：

m＝sqrt((x+h)*(x+h)+(y+w)*(y+w))

其中，x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标；h表示所述最小矩形的宽；w表示所述最小矩形的长；sqrt()表示求括号内数值的平方根。

在一个可选的实施例中，所述根据所述最小矩形的左下角点的坐标，确定当前视频帧图像的水平方向偏差和垂直方向偏差的方式为：

tx＝x-160；

ty＝y-120；

其中，tx表示当前视频帧图像的水平方向偏差，单位为像素；ty表示当前视频帧图像的垂直方向偏差，单位为像素；x，y分别表示包围人脸的最小矩形的左下角点的横坐标和纵坐标，单位为像素。其中，“160”、“120”为本实施例中设定的人脸应该在视频帧图像中的参考坐标，以通过水平位置调节信号和垂直位置调节信号，使人脸在视频帧图像中的位置尽量保持不变。

在一个可选的实施例中，所述处理器1确定水平位置调节信号时，包括：

根据对角线长度、当前视频帧图像的水平方向偏差、以及上一帧视频帧图像的水平方向偏差，获得水平方向的增量信号。

根据水平方向的增量信号，获得水平方向的pwm调节信号。

其中，获得所述水平方向的增量信号的计算方式为：

pwmx当前帧＝pwmx上一帧+tx*px+(tx-lx)*dx。

上述公式中，pwmx当前帧表示根据当前视频帧图像确定的水平方向的增量信号；pwmx上一帧表示根据上一帧视频帧图像确定的水平增量信号；tx表示当前视频帧图像的水平方向偏差，单位为像素；px为水平方向的比例系数，当0<m<230像素时，px＝0.02-0.00002*m；当m≥230像素时，px＝0.0154，m表示对角线长度，单位为像素；lx表示上一帧的水平方向偏差，单位为像素；dx为水平方向的微分系数，且dx＝0.01。

在一个可选的实施例中，所述处理器1确定垂直位置调节信号时，包括：

根据对角线长度、当前视频帧图像的垂直方向偏差、以及上一帧视频帧图像的垂直方向偏差，获得垂直方向的增量信号。

根据垂直方向的增量信号，获得垂直方向的pwm调节信号。

其中，获得所述垂直方向的增量信号的计算方式为：

pwmy当前帧＝pwmy上一帧+ty*py+(ty-ly)*dy；

上述公式中，pwmy当前帧表示根据当前视频帧图像确定的垂直方向的增量信号；pwmy上一帧表示根据上一帧视频帧图像确定的垂直方向的增量信号；ty表示当前视频帧图像的垂直方向偏差，单位为像素；py为垂直方向的比例系数，当0<m<230像素时，px＝0.02-0.00006*m，当m≥230像素时，px＝0.0062，m表示对角线长度，单位为像素；lx表示上一帧的垂直方向偏差，单位为像素；dx为垂直方向的微分系数，且dy＝0.01。

在一个可选的实施例中，还设置pwmx当前帧的上下限阈值，而且当pwmx当前帧大于12.5时，均将pwmx当前帧取值为12.5；当pwmx当前帧小于2.5时，均将pwmx当前帧取值为2.5，进而将pwmx当前帧的值都规定在(2.5，12.5)范围内，因为根据wiringpi的软件pwm输出函数的定义，水平方向转动0-180度的pwmx当前帧取值范围为(2.5，12.5)。还设置pwmy当前帧的上下限阈值，而且当pwmy当前帧大于7时，均将pwmy当前帧取值为7；当pwmy当前帧小于2.5时，均将pwmy当前帧取值为2.5，进而将pwmy当前帧的值设置在(2.5，7)范围内，因为根据wiringpi的软件pwm输出函数的定义，垂直方向转动0-90度的pwm取值范围为(2.5，7)；再获得pwmx当前帧与pwmy当前帧后，利用wiringpi库中的软件输出pwm函数，将pwmx当前帧与pwmy当前帧转化为相应的pwm信号，以调节水平方向的跟踪位置和垂直方向的跟踪位置。

在一个可选的实施例中，还可以设置第二摄像头5，以将第一摄像头4和第二摄像头5分别拍摄的视频帧图像拼接为全屏图像，以拓宽视频拍摄范围。

在一个可选的实施例中，还包括显示器6，所述显示器6设置在所述云台上，并与所述处理器1连接，以显示拍摄的视频帧图像。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。