一种基于人脸检测的鼠标键盘控制方法与流程

1.本发明涉及人机交互技术领域，尤其涉及一种基于人脸检测的鼠标键盘控制方法。


背景技术：

2.鼠标和键盘在一定程度上实现了人机交互的功能，能够使人完成移动、点击、按键等操作，这些功能为设备使用者提供了极大的方便，在现阶段是一个不可替代的设备。但目前仍有相当一部分失去双臂的残疾人士，无法通过双手来操控鼠标和键盘，严重影响了人机交互体验，给他们通过计算机学习、工作、休闲、娱乐、创造等造成困扰。
3.现有技术主要采取设计特殊类型的鼠标，来满足残疾人士的人机交互需求。但需额外购买硬件，且需要根据残疾人士的残疾程度进行量身定制，难以做到普及推广。


技术实现要素：

4.本发明的目的是针对现有技术中存在的上述问题，提供一种基于人脸检测的鼠标键盘控制方法。
5.本发明所采用的技术方案是：一种基于人脸检测的鼠标键盘控制方法，包括以下步骤：捕捉每帧图像人脸的关键点；计算人脸关键点几何关系；根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令；根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。
6.进一步地，捕捉每帧图像人脸的关键点，具体通过以下方式实现：捕捉摄像头每帧图像人脸中左右两侧耳垂部、额头顶中部、下巴底中部、鼻尖部，上下嘴唇中部7个关键点。
7.进一步地，计算人脸关键点几何关系，具体通过以下方式步骤实现：计算人脸宽度，即为人脸左右两侧耳垂部之间的距离差w；计算人脸高度，即为人脸额头顶中部与下巴底中部之间的距离差h；计算人脸转动坐标，即为鼻尖部与左（右）一侧耳垂部之间的坐标差（x,y）；计算嘴张开距离，即为上下嘴唇中部之间的距离h。
8.进一步地，根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令，具体通过以下方式步骤实现：计算人脸高度h和嘴张开距离h之比r；若r大于阈值则判定嘴巴为紧闭状态，若r小于阈值则判定嘴巴为张开状态；初始状态下启动鼠标移动控制模式，当嘴巴连续张开两次时启动键盘控制模式，
当嘴巴持续张开时间达到阈值时启动鼠标拖拽控制模式；在鼠标移动控制模式下，嘴巴张开一次时发送鼠标“单击”指令；在键盘控制模式下，嘴巴张开一次时重新切换至鼠标移动控制模式。
9.进一步地，根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘，具体通过以下方式步骤实现：计算人脸宽、高度（w，h）与人脸转动坐标（x,y）之比（a,b）；在键盘控制模式下，当a、b均在阈值区间内，则判定头部在中心位置没有移动，并持续记录时间戳t1；当a大于阈值区间最大值、小于阈值区间最小值，则判定头部左、右水平移动，对应发送键盘“左”“右”按键控制指令；当b大于阈值区间最大值时停止记录时间，回到阈值区间内再次开始记录时间戳t2，时间差t0=t2
‑
t1；当t0大于阈值，且b在阈值区间内，则判定头部向上移动，发送键盘“上”按键控制指令。若b小于阈值区间最小值，则判定头部向下移动，发送键盘“下”按键控制指令。若t0小于阈值，且b小于阈值区间最小值时，则判定头部是在短时间内连续向上向下移动，表示“点头”，发送键盘“回车”按键控制指令。
10.进一步地，根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘，还通过以下方式步骤实现：计算最新n帧图像人脸大小与其转动坐标比值（a,b），即（a1,b1）（a2,b2）
……
（a
n
,b
n
）的平均值为（α,β），其中n为可调常数；在鼠标移动和拖拽模式下，鼠标在屏幕中的绝对坐标为（s
x
,s
y
），其中s
x
=k1×
α+b1；s
y
=k2×
β+b2。其中k1、k2、b1、b2为调节人脸转动幅度与鼠标移动幅度的比例系数和常数。
11.本发明的有益效果是：基于人脸检测，让失去双臂的残疾人士仅通过旋转头部，并配合张嘴动作，即可实现鼠标移动、点击、拖拽和键盘“上”“下”“左”“右”及“回车”按键控制功能，大幅度提升人机交互能力。
附图说明
12.图1为本技术实施例提供的一种基于人脸检测的鼠标键盘控制方法的流程示意图。
13.图2为人脸检测中关键点的分布示图。
14.图3为人脸关键点几何关系示图。
15.图4为根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令流程示意图。
具体实施方式
16.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
17.请参阅图1，为本发明实施例提供的一种基于人脸检测的鼠标键盘控制方法的流
程示意图，为了便于说明，仅示出了与本实施例相关的部分。
18.s1、捕捉每帧图像人脸的关键点。
19.具体地，如图2所示，捕捉摄像头每帧图像人脸中左右两侧耳垂部、额头顶中部、下巴底中部、鼻尖部，上下嘴唇中部7个关键点，其中左右两侧耳垂部关键点为p1、p2，额头顶中部关键点为p3，下巴底中部关键点为p4，鼻尖部关键点为p5，上下嘴唇中部关键点分别为p6、p7。
20.s2、计算人脸关键点几何关系。
21.具体地，如图3所示，计算人脸宽度，即为人脸左右两侧耳垂部之间的距离差w；计算人脸高度，即为人脸额头顶中部与下巴底中部之间的距离差h；计算人脸转动坐标，即为鼻尖部与左侧耳垂部之间的坐标差（x,y）；计算嘴张开距离，即为上下嘴唇中部之间的距离h。
22.s3、根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令。
23.具体地，如图4所示，计算人脸高度h和嘴张开距离h之比r，即：r=h/h,r代表嘴张开的幅度。若r大于阈值则判定嘴巴为紧闭状态，若r小于阈值则判定嘴巴为张开状态；初始状态下启动鼠标移动控制模式，当嘴巴连续张开两次时启动键盘控制模式，当嘴巴持续张开时间达到阈值时启动鼠标拖拽控制模式。在鼠标移动控制模式下，嘴巴张开一次时发送鼠标“单击”指令；在键盘控制模式下，嘴巴张开一次时重新切换至鼠标移动控制模式。
24.s4、根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。
25.具体地，计算人脸宽、高度（w，h）与人脸转动坐标（x,y）之比（a,b），即：a=w/x，b=h/y,其中a和b分别代表人脸在水平和垂直方向上移动的幅度。
26.在键盘控制模式下，当a、b均在阈值区间内，即a∈（kamin，kamax）、b∈（kbmin，kbmax）,则判定头部在中心位置没有移动，并持续记录时间戳t1。
27.当a大于阈值区间最大值、小于阈值区间最小值,即a>kamax、a<kamin，则判定头部左、右水平移动，对应发送键盘“左”“右”按键控制指令。
28.当b大于阈值区间最大值，即b>kbmax时停止记录时间，等待b回到阈值区间内,即b∈（kbmin，kbmax）再次开始记录时间戳t2，时间差t0=t2
‑
t1，t0代表人脸向上移动后，回到中间位置停留的时间。
29.当t0大于阈值，且b在阈值区间内，即b∈（kbmin，kbmax），说明头部向上移动后，回到中间位置停留时间较长，则判定头部向上移动，发送键盘“上”按键控制指令。若b小于阈值区间最小值，即b<kbmin，则判定头部向下移动，发送键盘“下”按键控制指令。若t0小于阈值，且b小于阈值区间最小值时，即b<kbmin，说明头部向上移动，在中间位置短暂停留后，又迅速向下移动，判定头部为“点头”，发送键盘“回车”按键控制指令。
30.计算最新n帧图像人脸大小与其转动坐标比值（a,b），即（a1,b1）（a2,b2）
……
（a
n
,b
n
）的平均值为（α,β），其中n为可调常数。为提高计算效率，每当捕捉到第n+1帧图像（a
n+1
,b
n+1
）值时，将舍弃第1帧图像的（a1,b1）值，即只需计算（a2,b2）（a3,b3）
……
（a
n
,b
n
）（a
n+1
,b
n+1
）共n组数据的平均值（α,β），如此反复，即可保证控制算法的高效性。
31.在鼠标移动和拖拽模式下，鼠标在屏幕中的绝对坐标为（s
x
,s
y
），其中s
x
=k1×
α+b1；
s
y
=k2×
β+b2。其中k1、k2、b1、b2为调节人脸转动幅度与鼠标移动幅度的比例系数和常数，其值大小与所控制屏幕的尺寸大小相关。通过调节n的大小，可控制人脸控制鼠标移动的灵敏度和稳定度。当n越大时，灵敏度越低，稳定度越高；当n越小时，灵敏度越高，稳定度越低。
32.综上所述，本实施例中的一种基于人脸检测的鼠标键盘控制方法，通过捕捉每帧图像人脸的关键点，计算人脸关键点几何关系；利用嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令；根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。本方案在使用时，可完全摆脱传统用手部控制计算机的方式，仅通过人脸旋转和嘴巴闭合，便实现鼠标移动、点击、拖拽和键盘“上”“下”“左”“右”及“回车”按键控制功能，能够为失去双臂的残疾人士大幅度提升人机交互能力。
33.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。