用于手势控制的连续帧校正方法、装置、电子设备和介质与流程

1.本发明涉及隔空手势控制技术，特别涉及一种用于手势控制的连续帧校正方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着电子技术的不断发展，用户对各种电子设备的使用方式不再局限于通过接触触摸屏来进行操作。目前，越来越多的电子设备可以通过装载摄像头等视频采集装置，以识别用户在三维空间内执行的手势动作(即隔空手势)，从而实现对电子设备中一些功能的隔空操作。隔空手势控制(简称手势控制)技术使得用户在操控电子设备时摆脱了传统的外接设备或者遥控设备，也无需采用触摸屏这样的近距离触控方式，电子设备的操控方式越来越多元化、简易便捷、更趋于人性化，因而隔空手势控制技术也在各种应用场景中得到广泛使用，例如智能家居、车载控制系统、虚拟现实交互等。
3.视频是由一系列静止的图像组成的，这些静止的图像被称为帧。手势控制是在连续帧中确定每一帧图像中包含的手部区域、手势类型或者音频指令，并根据手势类型和音频指令对图像进行计算处理，常规的计算策略中，采用隔空手势控制系统都需要正确地检测出整个手部动作中每一帧的手势状态，才能对用户做出准确及时的响应。但由于手部的运动速度变化较快、手势类型变化多样，再加上周围环境的光照特点和各种干扰等因素，使得手势控制系统很难避免发生误检、丢帧的问题，如果手部的动作序列中有一帧图像发生手势识别检测错误或者完全没有检测到用户的手势，这就会导致隔空手势控制系统无法正确理解用户的手势，从而不能执行正确的指令，严重影响到用户体验。


技术实现要素：

4.基于上述现状，本发明的主要目的在于提供一种用于手势控制的连续帧校正方法、装置、电子设备和计算机可读存储介质，能够在连续的多帧图像中判断得到手势类型异常突变的末尾帧和中间帧，并根据前后连续图像帧的手势类型和控制属性对这些误检帧的手势类型进行校正，以确保得到正确的控制指令。
5.为实现上述目的，本发明采用的技术方案如下：
6.根据本发明的第一方面，一种用于手势控制的连续帧校正方法，所述校正方法包括如下步骤：
7.从采集得到的原始视频中获取连续n帧图像；
8.对每帧图像进行手势识别并获取该帧的手势类型，所述手势类型包括不可识别手势类型以及分别具有不同控制属性的若干可识别手势类型；
9.对以当前帧为末尾帧的连续n帧图像进行末尾帧手势类型校正和中间帧手势类型校正，其中，
10.所述末尾帧手势类型校正包括：若前n-1帧的手势类型均为第一手势类型，且末尾第n帧的手势类型为第二手势类型，则
11.若所述第一手势类型为不可识别手势类型，且所述第二手势类型为可识别手势类型，则第n帧的手势类型校正为不可识别手势类型；
12.若所述第一手势类型为可识别手势类型，则根据所述第一手势类型的控制属性对所述第n帧的手势类型进行校正；
13.所述中间帧手势类型校正包括：若前k-1帧和后n-k帧的手势均为第三手势类型，且中间第k帧的手势类型为第四手势类型，则根据所述第三手势类型对所述第k帧的手势类型进行校正。
14.进一步地，所述控制属性包括开关型和连续型；
15.所述根据所述第一手势类型的控制属性对所述第n帧的手势类型进行校正包括：
16.若所述第一手势类型的控制属性为开关型，则不对所述第n帧的手势类型进行校正；
17.若所述第一手势类型的控制属性为连续型，则所述第n帧的手势类型校正为所述第一手势类型。
18.进一步地，所述对每帧图像进行手势识别还包括获取该帧手势的位置信息；
19.所述根据所述第一手势类型的控制属性对所述第n帧的手势类型进行校正还包括：
20.若所述第一手势类型的控制属性为连续型，则所述第n帧的手势位置相对于第n-1帧的手势位置保持不变。
21.进一步地，所述中间帧手势类型校正包括：
22.若所述第三手势类型为不可识别手势类型，且所述第四手势类型为可识别手势类型，则不对所述第k帧的手势类型进行校正；
23.若所述第三手势类型为可识别手势类型，则将所述第k帧的手势类型校正为所述第三手势类型。
24.进一步地，所述校正方法还包括，
25.若所述连续n帧图像的中间帧未识别到手势类型，则将所述中间帧的手势类型设置为不可识别手势类型，并根据所述中间帧手势类型校正对所述连续n帧图像进行校正。
26.进一步地，所述校正方法还包括，
27.若所述连续n帧图像的末尾帧未识别到手势类型，则将所述末尾帧的手势类型设置为不可识别手势类型，并根据所述末尾帧手势类型校正对所述连续n帧图像进行校正。
28.进一步地，所述末尾帧校正后的手势类型和所述中间帧校正后的手势类型仅用于在所述末尾帧的计算周期内计算控制指令。
29.根据本发明的第二方面，一种用于手势控制的连续帧校正装置，所述校正装置包括：
30.采集模块，用于采集视频并获取连续的多帧图像；
31.识别模块，用于对每帧图像进行手势识别并获取该帧的手势类型；所述手势类型包括不可识别手势类型以及分别具有不同控制属性的多种可识别手势类型；
32.末尾帧判断模块，用于判断以当前帧为末尾帧的连续n帧图像是否为前n-1帧的手势类型为第一手势类型，且末尾第n帧的手势类型为第二手势类型，并用于判断所述第一手势类型和所述第二手势类型是否为可识别手势类型和/或不可识别手势类型；
33.末尾帧校正模块，用于在所述第一手势类型为不可识别手势类型且所述第二手势类型为可识别手势类型时，将所述第n帧的手势类型校正为不可识别手势类型；并用于在所述第一手势类型为可识别手势类型时，根据所述第一手势类型的控制属性对所述第n帧的手势类型进行校正；
34.中间帧判断模块，用于判断以当前帧为末尾帧的连续n帧图像是否为前k-1帧和后n-k帧的手势类型为第三手势类型，且中间第k帧的手势类型为第四手势类型；
35.中间帧校正模块，用于根据所述第三手势类型对所述第k帧的手势类型进行校正。
36.进一步地，所述控制属性包括开关型和连续型；
37.第一处理单元，用于根据所述第一手势类型的控制属性对所述第n帧的手势类型进行校正，并用于在所述第一手势类型的控制属性为开关型时不对所述第n帧的手势类型进行校正，并用于在所述第一手势类型的控制属性为连续型时将所述第n帧的手势类型校正为第一手势类型。
38.进一步地，所述识别模块还用于获取每帧图像的手势的位置信息；
39.所述末尾帧校正模块还包括：
40.第二处理单元，用于在所述第一手势类型的控制属性为连续型时将所述第n帧的手势位置相对于所述第n-1帧的手势位置设置为保持不变。
41.进一步地，所述中间帧校正模块包括：
42.第三处理单元，用于在所述第三手势类型为不可识别手势类型，且所述第四手势类型为可识别手势类型时，不对所述第k帧的手势类型进行校正，并用于在所述第三手势类型为可识别手势类型时，将所述第k帧的手势类型校正为所述第三手势类型。
43.进一步地，所述中间帧校正模块还包括：
44.第四处理单元，用于在所述连续n帧图像的中间帧未识别到手势类型时，将所述中间帧的手势类型设置为不可识别手势类型，并用于根据所述中间帧手势类型校正对所述连续n帧图像进行校正。
45.进一步地，所述末尾帧校正模块还包括：
46.第五处理单元，用于在所述连续n帧图像的末尾帧未识别到手势类型，将所述末尾帧的手势类型设置为不可识别手势类型，并用于根据所述末尾帧手势类型校正对连续n帧图像进行校正。
47.根据本发明的第三方面，一种电子设备，包括处理器、存储器和存储在所述存储器上并在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的用于手势控制的连续帧校正方法。
48.根据本发明的第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于运行以实现如上述第一方面所述的用于手势控制的连续帧校正方法。
49.本发明的用于手势控制的连续帧校正方法，通过预设的判断条件能在连续的多帧图像中有效地判断出发生异常突变的末尾帧和中间帧(即误检帧)，并能根据前后连续帧的手势类型和/或控制属性对误检帧的手势类型进行校正，使得手势类型变化连续且不存在异常突变，并且每帧的计算周期内根据校正后的手势类型进行控制指令的计算，即使连续多帧图像中存在误检帧，也能确保得到正确的控制指令，能提高手势控制的准确性，增强手势控制的有效性，减少视频采集过程中因误检帧而干扰到控制手势识别的情况，有助于改
善隔空手势控制过程中的用户体验。
50.本发明的用于手势控制的连续帧校正装置，采用上述用于手势控制的连续帧校正方法，应用于隔空手势控制系统中，通过对连续多帧图像的手势进行判断，能够对手势类型发生异常突变的末尾帧和中间帧进行校正，能显著提高手势控制的准确性和有效性，有助于改善用户体验。
51.本发明的电子设备和计算机可读存储介质，其上存储的计算机程序均用于运行以实现上述的用于手势控制的连续帧校正方法，应用于隔空手势控制的场景下，能减少多帧图像中存在误检、丢帧等问题对手势控制的干扰，能有效提高手势控制的准确性和有效性。
52.本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
53.以下将参照附图对根据本发明的用于手势控制的连续帧校正方法的优选实施方式进行描述。图中：
54.图1为本发明的用于手势控制的连续帧校正方法的流程示意图；
55.图2为本发明的末尾帧和前序多帧的手势类型不同的示意图；
56.图3为本发明的中间帧和前后多帧的手势类型不同的示意图；
57.图4为本发明的中间帧存在未识别到手势的示意图。
具体实施方式
58.参见图1，本发明提供了一种用于手势控制的连续帧校正方法，用于隔空手势控制系统，所述校正方法包括如下步骤：
59.s100，从采集得到的原始视频中获取连续n帧图像。其中，通过采集模块对预设范围内进行视频拍摄并获取连续的多帧图像。在隔空手势控制系统中，一般是通过连续多帧的手势数据来综合计算控制指令，例如第m帧的计算周期内，需要使用第m帧的前序的连续n帧(即第m-n+1帧至第m帧)的手势类型以判断手势变化和计算控制指令。需要说明的是，在每一帧的计算周期内，连续n帧的手势类型均来自于原始图像中的手势数据。
60.s200，对每帧图像进行手势识别并获取该帧的手势类型，所述手势类型包括不可识别手势类型以及分别具有不同控制属性的多种可识别手势类型。
61.其中，通过识别模块对每帧图像进行手势识别，如能识别出手势则获取相应的手势类型。一般地，可识别手势类型一般用于需要对系统进行控制的手势(即控制手势)，可识别手势类型有多种并可赋予不同的控制属性，不可识别手势类型则用于非控制手势。
62.s300，对以当前帧为末尾帧的连续n帧图像进行末尾帧手势类型校正和中间帧手势类型校正，其中，
63.所述末尾帧手势类型校正包括：参见图2，若前n-1帧的手势类型为第一手势类型，且末尾第n帧的手势类型为第二手势类型，则
64.若第一手势类型为不可识别手势类型，且第二手势类型为可识别手势类型，则第n帧的手势类型校正为不可识别手势类型；
65.若第一手势类型为可识别手势类型，则根据第一手势类型的控制属性对第n帧的手势类型进行校正。
66.所述中间帧手势类型校正包括：参见图3，若前k-1帧和后n-k帧的手势均为第三手势类型，且中间第k帧的手势类型为第四手势类型，则根据第三手势类型对第k帧的手势类型进行校正。
67.需要说明的是，这里的第一手势类型和第二手势类型是在末尾帧校正处理时用于说明两种不同的手势类型，类似地，第三手势类型和第四手势类型是在中间帧校正处理时用于说明两种不同的手势类型，但并不限定第一手势类型和第三手势类型必须不同，也不限定第二手势类型和第四手势类型必须不同。
68.通过上述步骤，对连续的多帧图像进行手势识别并获取相应的手势类型，并在手势类型变化满足预设条件时对连续多帧图像中存在的误检帧进行判断，若发现某个图像帧的手势类型发生异常突变，则根据该图像帧前后连续的图像帧的手势类型和/或手势类型的控制属性对该图像帧的手势类型进行校正，能减少多帧图像中因存在误检帧而对手势控制造成的不利影响，校正后的手势类型用于计算控制指令能确保控制指令的准确性，也使得手势控制的有效性显著提高。
69.作为可选的实施例，所述控制属性包括开关型和连续型。
70.s310，根据第一手势类型的控制属性对第n帧的手势类型进行校正包括：
71.若第一手势类型的控制属性为开关型，则不对第n帧的手势类型进行校正；
72.若第一手势类型的控制属性为连续型，则第n帧的手势类型校正为第一手势类型。
73.其中，开关型用于在手势满足某些触发条件时执行开关型指令的操作，例如，触发条件可以是保持拳头状态并静止3秒、以拳头状态向右移10cm、从拳头状态变为手掌状态等，开关型指令可以是亮屏/息屏、静音/取消静音、开启录像/关闭录像等。连续型用于在手势保持特定手势类型时通过手势的位置信息来执行连续型指令的操作，例如，触发条件可以是保持拳头状态进行移动、保持大拇指向上竖起状态进行转动等，手势的位置信息可以是手部的移动量或者时手部的转动量，连续型指令可以是调节背光亮度、调节音量大小、移动光标等。
74.若第一手势类型的控制属性为开关型，则暂时忽略第n帧的手势类型，并在第n+1帧为当前帧时再进行判断，也就相当于在第n+1帧的计算周期内将第n帧作为中间帧进行校正处理，具体地，若第n+1帧(作为末尾帧)的手势类型也为第一手势类型，则将第n帧的手势类型校正为第一手势类型；若第n+1帧的手势类型为另一种可识别手势类型或不可识别手势类型，则认为用于控制的手势做出了主动变化，因而不对第n帧(作为中间帧)的手势类型进行校正。
75.若第一手势类型的控制属性为连续型，则将第n帧的手势类型校正为第一手势类型。
76.通过上述步骤，能在连续多帧图像中判断出发生异常手势类型突变的末尾误检帧，并根据该末尾误检帧的前序图像帧手势类型的控制属性对末尾误检帧的手势类型进行校正，由此将该末尾误检帧的校正后的手势类型用于控制指令的计算，能确保得到正确的控制指令，并且能有效减少末尾误检帧对控制手势处理的干扰，有助于提高手势控制的有效性。
77.作为可选的实施例，所述对每帧图像进行手势识别还包括获取该帧手势的位置信息；所述根据第一手势类型的控制属性对第n帧的手势类型进行校正还包括：
78.s320，若第一手势类型的控制属性为连续型，则第n帧的手势位置相对于第n-1帧的手势位置保持不变。
79.其中，在将第n帧的手势类型校正为第一手势类型时，同时，考虑到第一手势类型为连续型，则第n帧手势的位置信息相对于第n-1帧手势的位置信息，其移动量或者转动量都设置为0。
80.通过上述步骤，在对末尾误检帧进行判断并做出相应的校正处理时，通过及时的位置信息修正，能有效限制校正处理可能存在的误控制带来的影响。
81.作为可选的实施例，所述中间帧手势类型校正包括：
82.s330，若第三手势类型为不可识别手势类型，且第四手势类型为可识别手势类型，则不对第k帧的手势类型进行校正。若第三手势类型为可识别手势类型，不论第四手势类型为可识别手势类型或者为不可识别手势类型，都将第k帧的手势类型校正为第三手势类型。
83.需要说明的是，不论是开关型控制或者是连续型控制，都需要满足特定的手势序列才能触发相应的操作，也就是连续多帧图像中的手势需满足一定的造型和顺序，仅有一帧图像中存在可识别手势类型不会触发控制指令，因而在上述这种情况下，不对第k帧的手势类型进行校正，如若强制校正，反而会影响到后续图像帧计算周期内控制指令的计算。
84.通过上述步骤，能在连续多帧图像中判断出手势类型发生异常突变的中间误检帧，并根据该中间误检帧的前后连续图像帧的手势类型对中间误检帧的手势类型进行校正，该中间误检帧校正后的手势类型用于控制指令的计算，能确保得到正确的控制指令，并且能有效减少中间误检帧对控制手势处理的干扰，有助于提高手势控制的有效性。
85.作为可选的实施例，所述校正方法还包括，
86.s340，参见图4，若连续n帧图像的中间帧未识别到手势类型，则认为所述中间帧发生丢帧，并将中间帧的手势类型设置为不可识别手势类型，并根据上述中间帧手势类型校正对连续n帧图像进行校正。
87.其中，由于中间第k帧未检测到手势，则无法获得该帧中的手势类型，从而影响其他图像帧的处理，因而在这种情况下，先将第k帧的手势类型设置为不可识别手势类型，也就是把第k帧作为中间误检帧，并按照上述中间帧手势类型校正的方法对第k帧的手势类型进行校正。
88.通过上述步骤，能在连续多帧图像中判断出中间帧发生丢帧，将该中间帧作为误检帧进行处理，具体的校正处理步骤和中间误检帧相同，处理逻辑保持一致，便于实现，亦能有效减少丢帧对控制手势处理的干扰，有助于提高手势控制的有效性。
89.作为可选的实施例，所述校正方法还包括，
90.s350，若连续n帧图像的末尾帧未识别到手势类型，则将末尾帧的手势类型设置为不可识别手势类型，并根据末尾帧手势类型校正对所述连续n帧图像进行校正。
91.通过上述步骤，能及时发现末尾帧存在的丢帧情况，在第n帧的计算周期内及时将末尾帧的手势类型修正为不可识别手势类型，并采用末尾帧手势类型校正方法对末尾帧进行相应的校正，能提高末尾帧校正的时效性，并减少因末尾帧丢帧造成的控制手势识别错误的几率。
92.作为可选的实施例，所述末尾帧校正后的手势类型和所述中间帧校正后的手势类型仅用于在所述末尾帧的计算周期内计算控制指令。
93.由此，通过上述步骤得到的末尾帧校正后的手势类型和中间帧校正后的手势类型，仅用于该末尾帧的计算周期内，能有效控制对后序图像帧的手势判断和计算结果的影响，避免校正误差的累积和放大，即使发生校正误差，其对手势控制整个处理过程的影响也是相对较小的。
94.本发明还提供了一种用于手势控制的连续帧校正装置，应用于隔空手势控制系统，所述装置包括采集模块、识别模块、末尾帧判断模块、末尾帧校正模块、中间帧判断模块和中间帧校正模块。
95.采集模块用于采集视频并获取连续的多帧图像。
96.识别模块用于对每帧图像进行手势识别并获取该帧的手势类型，其中，所述手势类型包括不可识别手势类型以及分别具有不同控制属性的多种可识别手势类型。
97.末尾帧判断模块用于判断以当前帧为末尾帧的连续n帧图像是否为前n-1帧的手势类型为第一手势类型，且末尾第n帧的手势类型为第二手势类型，并用于判断第一手势类型和第二手势类型是否为可识别手势类型和/或不可识别手势类型。
98.末尾帧校正模块，用于在第一手势类型为不可识别手势类型且第二手势类型为可识别手势类型时，将第n帧的手势类型校正为不可识别手势类型；并用于在第一手势类型为可识别手势类型时，根据第一手势类型的控制属性对第n帧的手势类型进行校正。
99.中间帧判断模块，用于判断以当前帧为末尾帧的连续n帧图像是否为前k-1帧和后n-k帧的手势类型为第三手势类型，且中间第k帧的手势类型为第四手势类型。
100.中间帧校正模块，用于根据第三手势类型对第k帧的手势类型进行校正。
101.需要说明的是，末尾帧判断模块和中间帧判断模块可以是相对独立的模块，也可以是一个模块，类似地，末尾帧校正模块和中间帧校正模块可以是相对独立的模块，也可以是一个模块。
102.由此，所述连续帧校正装置应用于隔空手势控制系统，能在连续多帧图像中判断出末尾误检帧和中间误检帧，并能根据误检帧的前后连续图像帧的手势类型和/或控制属性对末尾误检帧和中间误检帧的手势类型进行校正，能提高手势控制的准确性和有效性。
103.作为可选的实施例，所述控制属性包括开关型和连续型。其中，开关型用于在手势满足某些触发条件时执行开关型指令的操作。连续型用于在手势保持特定手势类型时通过手势的位置信息来执行连续型指令的操作。
104.所述末尾帧校正模块包括第一处理单元。
105.第一处理单元用于根据第一手势类型的控制属性对第n帧的手势类型进行校正，并用于在第一手势类型的控制属性为开关型时不对第n帧的手势类型进行校正，并用于在第一手势类型的控制属性为连续型时将第n帧的手势类型校正为第一手势类型。
106.由此，装置中的校正模块能在连续多帧图像中判断出手势类型发生异常突变的末尾误检帧，并根据该末尾误检帧的前序图像帧手势类型的控制属性对末尾误检帧的手势类型进行校正，由此该末尾误检帧校正后的手势类型用于控制指令的计算，能确保得到正确的控制指令，并且能减少末尾误检帧对控制手势处理的干扰，有助于提高手势控制的有效性。
107.作为可选的实施例，所述识别模块还用于获取每帧图像的手势的位置信息。所述末尾帧校正模块还包括第二处理单元。
108.第二处理单元用于在第一手势类型的控制属性为连续型时，设置第n帧的手势位置相对于第n-1帧的手势位置保持不变。
109.作为可选的实施例，所述中间帧校正模块包括第三处理单元。
110.第三处理单元用于在第三手势类型为不可识别手势类型，且第四手势类型为可识别手势类型时，不对第k帧的手势类型进行校正，并用于在第三手势类型为可识别手势类型时，将第k帧的手势类型校正为第三手势类型。
111.由此，中间帧校正模块能在连续多帧图像中判断出手势类型发生异常突变的中间误检帧，并根据该中间误检帧的前后连续图像帧的手势类型对中间误检帧的手势类型进行校正，由此中间误检帧校正后的手势类型用于控制指令的计算，能确保得到正确的控制指令，并且能有效减少中间误检帧对控制手势处理的干扰，有助于提高手势控制的有效性。
112.作为可选的实施例，中间帧校正模块还包括第四处理单元。
113.第四处理单元用于在连续n帧图像的中间帧未识别到手势类型时，将中间帧的手势类型设置为不可识别手势类型，并用于根据中间帧手势类型校正对连续n帧图像进行校正。
114.由此，中间帧校正模块能在连续多帧图像中判断出中间帧发生丢帧，将该中间帧作为误检帧进行处理，具体的校正处理步骤和中间误检帧相同，处理逻辑保持一致，便于实现，亦能有效减少丢帧对控制手势处理的干扰，有助于提高手势控制的有效性。
115.作为可选的实施例，末尾帧校正模块还包括第五处理单元。
116.第五处理单元用于在连续n帧图像的末尾帧未识别到手势类型，将末尾帧的手势类型设置为不可识别手势类型，并用于根据末尾帧手势类型校正对连续n帧图像进行校正。
117.由此，末尾帧校正模块能及时发现末尾帧存在的丢帧情况，在第n帧的计算周期内及时将末尾帧的手势类型修正为不可识别手势类型，并采用末尾帧手势类型校正方法对末尾帧进行相应的校正，能提高末尾帧校正的时效性，并减少因末尾帧丢帧造成的控制手势识别错误的几率。
118.本发明还提供了一种电子设备，包括处理器、存储器和存储在所述存储器上并在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述实施例所述的用于手势控制的连续帧校正方法。
119.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于运行以实现上述实施例所述的用于手势控制的连续帧校正方法。
120.本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
121.应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。