一种基于手势识别的智能电力交互系统及方法与流程

本发明涉及电力交互，具体涉及一种基于手势识别的智能电力交互系统及方法。

背景技术：

1、随着电力系统的规模不断扩大，电网结构的复杂性逐渐增加，智能电力设备的维护、操作和监控变得越发重要；通常一些智能电力设备的维护、操作和监控需要人工接触来进行执行和控制，这无疑会造成极大的安全隐患和风险；此外，人工接触往往工作效率低下，不利于智能电力设备的长期维护。

技术实现思路

1、本发明解决了目前智能电力设备的维护、操作和监控采用人工接触来进行执行和控制造成极大的安全隐患和风险的问题，提出一种基于手势识别的智能电力交互系统及方法，本发明能够实现人与智能电力设备之间的自然交互，从而提升操作效率、降低人为错误，并为电力培训和维护提供解决方案。

2、为了实现上述目的，本发明采用以下技术方案：一种基于手势识别的智能电力交互系统，包括

3、传感器检测模块，初始识别并标记手势的若干个标准区域，利用传感器采集基于标准区域的偏移程度以及速度变化情况，判断标准区域是否均在识别范围内；

4、视频采集模块，若标准区域均在识别范围内时，采集并截取含有手势信息的视频数据，并提取手势的逐帧特征信息；

5、手势关联模块，将手势的逐帧特征信息的输入到手势关联网络模型中，输出最接近的标准手势以及标准手势的逐帧特征信息；

6、电力设备及场景关联模块，根据标准手势以及标准手势的逐帧特征信息将手势划分为第一手势和第二手势，第一手势利用当前电力设备以及场景进行执行控制，第二手势调取符合要求的电力设备以及场景进行执行控制。

7、本技术方案中，传感器检测模块能够利用传感器对手势进行初步的采集以及情况分析，即确定该手势是否能够被本发明的智能电力交互系统所识别，主要基于手势的偏移程度以及速度变化情况，若均符合标准则手势能够被识别；视频采集模块能够获取基于手势信息的完全视频数据，并且能够对含有手势信息的视频信息进行逐帧分析，得到相应的逐帧特征信息；在手势关联模块中，设置有手势关联网络模型，输出最接近的标准手势，标准手势的偏差均在一定范围内；在电力设备及场景关联模块中，将标准手势划分为第一手势和第二手势，两种手势分别对应不同的方式进行执行控制；本发明的系统能够基于手势来执行控制相应电力设备以及应用场景，从而实现人机之间的自然交互，操作便捷且安全性高。

8、本发明还进一步设置为：所述传感器检测模块包括

9、标记单元，红外识别初始手势，标记若干个标准区域，并对标准区域进行编号；

10、检测单元，检测得到基于标准区域的速度信息、位移以及角度偏移信息；

11、判断单元，根据速度信息、位移以及角度偏移信息，判断所有的标准区域的计算值是否均大于预设识别阈值，若是，则判断为可识别手势。

12、本技术方案中，标记单元通过其内的红外识别能够来确定若干个标准区域，标准区域的小于均相同，标记标准区域后，为了便于数据整理和后续的判断对标准区域进行编号；在编号完成之后，利用检测单元获取得到速度信息(包括加速度信息)以及位移角度偏移信息；最后在判断单元进行手势是否为可识别的判断，在所有的标准区域均达标后，该手势为可识别，当其中一个或者多个标准区域未达标时，则该手势直接为不可识别，即也无法进行后续的操作。

13、本发明还进一步设置为：所述视频采集模块包括

14、指令单元，与传感器检测模块连接，在标准区域均在识别范围内时，触发开启指令；

15、视频处理单元，采集视频数据，并截取含有手势信息的视频数据；

16、分析单元，分析含有手势信息的视频数据，提取手势的逐帧特征信息，并记录关键参数的变化时间。

17、本技术方案中，指令单元与视频处理单元连接，视频处理单元与分析单元连接，指令单元能够发出开启指令，触发开启采集视频数据；视频处理单元能够完成视频的采集以及相应包含手势信息的视频数据；分析单元能够提取出手势的逐帧特征信息，并对特征信息中关键参数的变化时间进行记录，本发明的关键参数指的是相关时间内幅度变化较大的参数。

18、本发明还进一步设置为：所述手势关联模块包括

19、预处理单元，对手势的逐帧特征信息按时间顺序进行整理，并剔除无关信息；

20、比对单元，与预处理单元连接，内置有手势关联网络模型，该模型以手势的逐帧特征信息以及标准手势的逐帧特征信息作为训练样本。

21、本技术方案中，在手势关联模块中，预处理单元与比对单元连接，在完成预处理的步骤后，在比对单元进行关于逐帧特征信息的比对，比对具体进行比对单元之中的手势关联网络模型之中进行，该模型具有深度学习功能，在输入手势的逐帧特征信息后，模型首先根据逐帧特征信息来遍历整个模型数据库中的标准手势，在找到相应的若干个标准手势之后，再根据逐帧特征信息的各项指标偏差来确定最接近的标准手势。

22、本发明还进一步设置为：所述最接近的标准手势包括有唯一标准手势以及不唯一标准手势，所述唯一标准手势所对应的模型输入的手势的逐帧特征信息的各项指标与唯一标准手势的各项指标偏差均在设定范围内，所述不唯一手势所对应的模型输入的手势的逐帧特征信息的部分指标与不唯一手势不在设定范围内。

23、本技术方案中，对于最接近的标准手势，主要分为唯一标准手势以及不唯一标准手势，唯一标准手势与输入的手势的逐帧特征信息的各项指标的偏差均在设定范围之内，该种手势在后续的电力设备及场景关联时，无需验证或者选择核验；而不唯一标准手势即对应有至少一个结果，多个结果的原因是不唯一手势所对应的模型输入的手势的逐帧特征信息的部分指标与不唯一手势不在设定范围内，即只有部分指标在设定范围之内，该种手势在后续的电力设备及场景关联时，需要用户进行选择或者进行再次的验证。

24、本发明还进一步设置为：所述电力设备及场景关联模块包括

25、手势划分单元，根据标准手势的逐帧特征信息中是否出现加速度大于紧急阈值，将手势划分为第一手势和第二手势；

26、验证单元，对第一手势和第二手势中属于不唯一标准手势均进行验证，确定唯一的结果；执行单元，对于第一手势，其加速度小于或者等于紧急阈值，第一手势利用当前电力设备以及场景进行执行控制，对于第二手势，其加速度大于紧急阈值，第二手势调取符合要求的电力设备以及场景进行执行控制。

27、本技术方案中，手势划分单元与验证单元连接，验证单元与执行单元连接，手势划分单元根据加速度来划分第一手势和第二手势，第一手势为加速度小的情况，第二手势为加速度大的情况，验证单元能够对属于不唯一标准手势的分类进行验证，验证也可以采用用户二次选择的方式；执行单元执行控制，对于第一手势，仅可在当前的电力设备以及场景下进行控制，即在当前的控制界面进行执行控制，而对于第二手势，可根据需求进行控制界面的调取，调取出符合要求的电力设备以及场景来进行控制。

28、本发明还进一步设置为：所述标准区域的计算值表达式为：

29、

30、其中，u为标准区域的计算值，a和b分别为速度变化情况和偏移程度的权重系数，v为检测达到的速度，v1为预设速度，δt为单位时间，h为检测到的角度位移，h1为预设角度位移。

31、本技术方案中，在所有的标准区域的计算值均大于预设识别阈值后，则标准区域均在识别范围内，该手势为可识别手势。

32、一种基于手势识别的智能电力交互方法，适用上述的一种基于手势识别的智能电力交互系统，包括以下步骤：

33、s1，初始识别并标记手势的若干个标准区域，利用传感器采集基于标准区域的偏移程度以及速度变化情况，判断标准区域是否均在识别范围内；

34、s2，采集并截取含有手势信息的视频数据，并提取手势的逐帧特征信息；

35、s3，将手势的逐帧特征信息的输入到手势关联网络模型中，输出最接近的标准手势以及标准手势的逐帧特征信息；

36、s4，根据标准手势以及标准手势的逐帧特征信息将手势划分为第一手势和第二手势，第一手势利用当前电力设备以及场景进行执行控制，第二手势调取符合要求的电力设备以及场景进行执行控制。

37、本技术方案中。

38、本发明还进一步设置为：所述步骤s2包括以下步骤：

39、s21，指令单元触发开启指令使视频处理单元开启；

40、s22，视频处理单元采集视频数据，并截取含有手势信息的视频数据；

41、s23，分析单元分析视频数据，提取手势的逐帧特征信息，记录关键参数的变化时间。

42、本技术方案中，在指令单元进行触发之后，视频处理单元开始工作，采集处理单元在采集到视频数据之后，对视频进行截取处理，删除未含有手势信息的视频数据，仅仅保留含有手势信息的视频数据；分析单元对截取之后的视频数据进行特征提取，提取到逐帧特征信息以及其中关键参数的变化时间信息。

43、本发明还进一步设置为：所述步骤s4包括以下步骤：

44、s41，根据标准手势的逐帧特征信息中是否出现加速度大于紧急阈值，将手势划分为第一手势和第二手势；

45、s42，对第一手势和第二手势中属于不唯一标准手势均进行验证，确定唯一的结果；

46、s43，第一手势利用当前电力设备以及场景进行执行控制，第二手势调取符合要求的电力设备以及场景进行执行控制。

47、本技术方案中，首先判断在经过比对后的标准手势的逐帧特征信息中是否有加速度大于紧急阈值的情况，紧急阈值的具体设定根据实际情况进行设定，根据人的手势习惯、平时手势挥动情况来决定；一般的，在紧急阈值之下的加速度均被视为平成的手势动作，而大于紧急阈值的加速度被认为是刻意动作；随后对第一手势和第二手势中的不唯一标准手势进行验证，验证的方式为系统验证或者用户选择；最后基于不同的手势对电力设备以及场景进行不同方式的执行控制。

48、本发明具有如下的有益效果：

49、1、本发明涉及的一种基于手势识别的智能电力交互系统以及其控制的方法，能够实现人与智能电力设备之间的自然交互，从而提升操作效率、降低人为错误，并为电力培训和维护提供解决方案；

50、2、本发明涉及的一种基于手势识别的智能电力交互系统，采用传感器检测模块和视频采集模块进行准确采集和判定，保证手势的可识别性和准确性；

51、3、本发明涉及的一种基于手势识别的智能电力交互系统，采用的手势关联模块，能够进行精确比对找出标准手势以及标准手势的逐帧特征信息；采用的电力设备及场景关联模块，能够与电力设备以及其应用场景进行准确关联，并进行快速的执行控制。