一种手势识别方法、装置、设备和介质与流程

1.本发明涉及动作识别技术领域，尤其涉及一种手势识别方法、装置、设备和介质。


背景技术：

2.智能眼镜，也称智能镜，是指具有独立的操作系统，可以由用户安装软件、游戏等软件服务商提供的程序，可以通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入的这样一类眼镜的总称。
3.在不适合语音操控智能眼镜的环境下，由于没有配备键盘或者触屏，动作操控智能眼镜成为智能眼镜在使用过程中面临的一个难点，在这种情况下，智能眼镜的手势识别功能应运而生。
4.目前在智能眼镜端实现手势识别的方案包括基于专用芯片的定制方案或者基于深度摄像头的2d方案。但二者均存在一定缺陷，比如，基于专用芯片的定制方案可扩展性差；基于深度摄像头的2d方案成本高昂，不适合推广应用。


技术实现要素：

5.本发明提供一种手势识别方法、装置、系统、设备和介质，用以解决现有技术中手势识别装置的可扩展性差以及成本高昂的缺陷，可以增强手势识别装置的可拓展性，降低生产成本，便于推广应用。
6.第一方面，本发明提供了一种手势识别方法，包括：根据至少三个距离传感器采集的距离信息，记录采集所述距离信息的时间戳；其中，三个所述距离传感器位于同一个平面内三个不共线的位置；判断所述时间戳的时间间隔的最大值是否大于第一预设阈值；若所述时间戳的时间间隔的最大值小于或等于第一预设阈值，根据所述时间戳，按照时间的先后顺序，对所述至少三个距离传感器进行排序，得到所述至少三个距离传感器的排列顺序；若所述时间戳的时间间隔的最大值大于第一预设阈值，根据所述至少三个距离传感器采集的距离信息，记录采集所述距离信息的时间戳；将所述至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与所述至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
7.根据本发明提供的手势识别方法，所述根据所述时间戳，按照时间的先后顺序对所述至少三个距离传感器进行排序，得到所述至少三个距离传感器的排列顺序，包括：判断所述时间戳的时间间隔的最小值是否小于第二预设阈值；若所述时间戳的时间间隔的最小值小于第二预设阈值，将得到所述时间戳的时间间隔的最小值的距离传感器，确定为具有相同时间戳的距离传感器；若所述时间戳的时间间隔的最小值大于或等于第二预设阈值，根据所述时间戳，按照时间的先后顺序，对所述至少三个距离传感器进行排序，得到所述至少三个距离传感器的排列顺序。
8.第二方面，本发明还提供了一种手势识别装置，包括：记录模块，用于根据至少三个距离传感器采集的距离信息，记录采集所述距离信息的时间戳；其中，三个所述距离传感器位于同一个平面内三个不共线的位置；排序模块，用于判断所述时间戳的时间间隔的最大值是否大于第一预设阈值；若所述时间戳的时间间隔的最大值小于或等于第一预设阈值，根据所述时间戳，按照时间的先后顺序，对所述至少三个距离传感器进行排序，得到所述至少三个距离传感器的排列顺序；若所述时间戳的时间间隔的最大值大于第一预设阈值，根据所述至少三个距离传感器采集的距离信息，记录采集所述距离信息的时间戳；匹配模块，用于将所述至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与所述至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
9.第三方面，本发明还提供了一种头戴式设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的手势识别方法的步骤。
10.根据本发明提供的头戴式设备，包括智能眼镜和智能头盔中的一种。
11.根据本发明提供的头戴式设备，三个所述距离传感器分别设置于所述智能眼镜的左右两个镜框前侧的位置以及连接所述左右两个镜框的横梁前侧的位置，其中，两个所述距离传感器在所述左右两个镜框前侧的设置位置对称，且设置于左镜框前侧的位置的距离传感器与设置于所述横梁前侧的位置的距离传感器之间的距离同设置于右镜框前侧的位置的距离传感器与设置于所述横梁前侧的位置的距离传感器之间的距离相等。
12.第四方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的手势识别方法的步骤。
13.本发明提供的一种手势识别方法、装置、设备和介质，通过根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置；判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。通过至少三个距离传感器采集距离信息，记录采集距离信息的时间戳，并根据时间戳确定至少三个距离传感器的排列顺序，根据至少三个距离传感器的排列顺序识别手势的方法可扩展性强，且至少三个距离传感器的成本较低，便于推广生产。
附图说明
14.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附
图获得其他的附图。
15.图1是本发明提供的一种手势识别方法实施例的流程示意图；图2是本发明提供的飞行时间传感器采集距离信息的原理图；图3是本发明提供的距离传感器相对位置的示意图；图4是本发明提供的一种距离传感器顺序排列方法实施例的流程示意图；图5是本发明提供的设置测量模式方法实施例的流程示意图；图6是本发明提供的校准方法实施例的流程示意图；图7是本发明提供的另一种手势识别方法实施例的流程示意图；图8是本发明提供的一种手势识别装置实施例的组成结构示意图；图9是本发明提供的一种头戴式设备的结构示意图；图10是本发明提供的具有距离传感器的智能眼镜示意图；图11是本发明提供的距离传感器的硬件设计图。
具体实施方式
16.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.图1是本发明提供的一种手势识别方法实施例的流程示意图。如图1所示，该手势识别方法包括：s101，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置。
18.在步骤s101中，距离传感器可以包括飞行时间传感器、激光雷达传感器、毫米波传感器和超声波传感器。以飞行时间传感器为例，说明距离传感器的测距原理。利用飞行时间传感器采集距离信息的原理如图2所示。位于飞行时间传感器上的激光发射器发射光子，光子入射至目标后被目标反射，反射的光子被飞行时间传感器接收，飞行时间传感器设置有计时装置。飞行时间传感器距目标的距离等于光子二分之一的飞行时间与光速的乘积。时间戳(timestamp)，通常是一个字符序列，用于唯一地标识某一刻的时间。图3是本发明提供的距离传感器相对位置的示意图。由图3可以看出，三个距离传感器位于同一平面内，左侧距离传感器和右侧距离传感器位于同一直线上，与中间距离传感器不共线。
19.s102，判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳。
20.在步骤s102中，时间戳的时间间隔为每两个距离传感器之间的时间戳的差值。第一预设阈值可以取1秒，或者可以取1.5秒。本发明实施例对第一预设阈值不作限定。判断时间戳的时间间隔的最大值是否大于第一预设阈值是为了确定手势是否是有效的。如果时间戳的时间间隔的最大值小于或等于第一预设阈值，确定手势为有效的，根据时间戳对距离
传感器进行排序，得到距离传感器序列。如果时间戳的时间间隔的最大值大于第一预设阈值，确定手势是无效的，因此，需要继续执行至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳的步骤。
21.由于至少三个距离传感器中每个距离传感器具有特定的测量范围，手势的运动轨迹被不同的距离传感器捕捉到的先后顺序不同，可以根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序。
22.s103，将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
23.在步骤s103中，将至少三个距离传感器进行位置标记，便于区分不同的传感器。以图3中的三个距离传感器为例，从左至右将三个距离传感器依次标记为s1，s2和s3。手势滑动时，手势的运动轨迹可以被三个距离传感器捕捉到，按照时间戳的先后顺序对距离传感器进行排序，得到距离传感器的序列。比如，距离传感器的序列可以为s2 s1 s3，将该序列与预设手势模型库中手势对应的距离传感器的排列顺序进行匹配，得到匹配的距离传感器的序列。在匹配的过程中包括距离传感器序列的匹配以及不同传感器之间时间戳差值的匹配。可以根据匹配的距离传感器的序列确定目标手势。
24.本发明提供的手势识别方法，通过根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置，并且在三个不共线的位置中任意两个位置之间的距离相等；根据时间戳，确定至少三个距离传感器的排列顺序；将至少三个距离传感器的排列顺序与预设手势模型库中手势对应的距离传感器的排列顺序进行匹配，确定与至少三个距离传感器的排列顺序相匹配的目标手势。通过至少三个距离传感器采集距离信息，记录采集距离信息的时间戳，并根据时间戳确定至少三个距离传感器的排列顺序，根据至少三个距离传感器的排列顺序识别手势的方法可扩展性强，且至少三个距离传感器的成本较低，便于推广生产。
25.图4是本发明提供的一种距离传感器顺序排列方法实施例的流程示意图。如图4所示，该距离传感器的顺序排列方法包括：s401，判断时间戳的时间间隔的最小值是否小于第二预设阈值。
26.s402，若时间戳的时间间隔的最小值小于第二预设阈值，将得到时间戳的时间间隔的最小值的距离传感器，确定为具有相同时间戳的距离传感器。
27.s403，若时间戳的时间间隔的最小值大于或等于第二预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序。
28.在步骤s401至步骤s403中，第二预设阈值可以取200毫秒，或者也可以取500毫秒，本发明实施例对第二预设阈值不作限定。通过判断时间戳的时间间隔的最小值是否小于第二预设阈值确定是否存在不同的距离传感器的时间戳是相同的。对距离传感器进行排序时，被认为具有相同时间戳的距离传感器按照实际的时间戳进行排序，但认为对应的距离传感器是被同时触发的。以图3为例，被认为具有相同时间戳的距离传感器的情况通常出现在手势的运动轨迹平行于三个距离传感器所在的平面，且不在左侧距离传感器与右侧距离传感器所在的直线上。
29.可选地，在根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳之前，还包括设置距离传感器的测量模式。图5是本发明提供的设置测量模式方法实施例的流程示意图。如图5所示，该方法包括以下步骤：步骤1，开机，通过上电使硬件处于待机状态；步骤2，固件初始引导，软件待机；步骤3，设置测量模式，测量模式包括定时测量、连续测量和单次测量；其中，单次测量模式下，单次测量结束后，软件处于待机状态；连续测量模式下，上次测量结束自动开始下次测量，直至测量次数满足预设的次数，测量结束后软件处于待机状态；定时测量模式下，完成每一次测量后预设的测量时间还没到达，继续下一次测量，测量完成后软件处于待机状态。
30.可选地，在设置距离传感器的测量模式之前还包括对距离传感器进行校准。图6是本发明提供的校准方法实施例的流程示意图。如图6所示，该校准方法包括以下步骤：步骤1，对设备进行初始化设置；步骤2，进行spads 二极管校准；步骤2，进行温度校准，温度每超过8摄氏度进行一次校准；步骤3，进行测距偏移校准；步骤4，进行交叉对话校准。通过上述校准，可以提高距离传感器的灵敏度和测量的准确性。
31.图7是本发明提供的另一种手势识别方法实施例的流程示意图。如图7所示，该方法包括以下步骤：步骤1，接通电源并开机，使硬件初始化；步骤2，对距离传感器进行校准，设置测量模式；步骤3，初始化手势标志位，也就是标记不同的距离传感器；步骤4；判断距离传感器是否有触发，如果检测不到信号触发，返回步骤3，检测到信号触发，记录中断时间戳并对其进行排序，相应的，根据时间戳的顺序对距离传感器进行排序，得到距离传感器的序列，中断时间戳代表不同的距离传感器之间的时间戳的差值；步骤5，判断中断时间戳的最大值，也就是最大时间间隔是否在预设范围内，如果不在预设范围内，返回步骤3，如果在预设范围内，继续判断中断时间戳的最小值是否是相同的，如果存在相同的情况，认为中断时间戳的最小值对应的距离传感器是同时触发的；步骤6，判断测量次数是否满足时间戳状态机，如果不满足时间戳状态机，返回步骤3，如果满足时间戳状态机，将对应的距离传感器的序列与预设的手势模型库进行匹配，输出手势标志，测量手势状态机完成一次测量。
32.图8是本发明提供的一种手势识别装置实施例的组成结构示意图。如图8所示，该手势识别装置，包括：第一记录模块801，用于根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置；排序模块802，用于判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；匹配模块803，用于将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
33.可选地，排序模块802，包括：
判断单元，用于判断时间戳的时间间隔的最小值是否小于第二预设阈值；确定单元，用于若时间戳的时间间隔的最小值小于第二预设阈值，将得到时间戳的时间间隔的最小值的距离传感器，确定为具有相同时间戳的距离传感器；排序单元，用于若时间戳的时间间隔的最小值大于或等于第二预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序。图9是本发明提供的一种头戴式设备的结构示意图。如图9所示，该头戴式设备可以包括：处理器(processor)901、通信接口(communications interface)902、存储器(memory)903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。处理器901可以调用存储器903中的逻辑指令，以执行手势识别方法，该方法包括：根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置；判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
34.此外，上述的存储器903中的逻辑指令可以通过软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
35.可选地，该头戴式设备，包括智能眼镜和智能头盔中的一种。图10是本发明提供的具有距离传感器的智能眼镜示意图。如图10所示，该头戴式设备为智能眼镜。其中，该头戴式设备的三个距离传感器s1、s2和s3分别设置于智能眼镜的左右两个镜框前侧的位置以及连接左右两个镜框的横梁前侧的位置，其中，两个距离传感器s1和s2在左右两个镜框前侧的设置位置对称，且设置于左右两个镜框前侧位置的两个距离传感器s1和s2分别与设置于横梁前侧的位置的距离传感器s3的距离相等。两个距离传感器s1和s2在左右两个镜框前侧的设置位置可以高于距离传感器s3在横梁前侧的设置位置，或者两个距离传感器s1和s2在左右两个镜框前侧的设置位置可以低于距离传感器s3在横梁前侧的设置位置，本发明实施例对此不作限定。
36.图11是本发明提供的距离传感器的硬件设计图。如图11所示，u1代表cpu，u2、u3和u4分别代表三个距离传感器。其中，u1包括有控制端口gpio、通信协议scl以及通信总线sda; u2、u3和u4均包括有信号复位端xshut、控制端口gpio、通信协议scl、通信总线sda以
及电路的电源端vdd和接地端gnd。cpu通过控制端口获取距离传感器的电路信号，当距离传感器的电路的信号传送至cpu后，cpu的通过控制端口控制距离传感器的信号复位端，使距离传感器采集新的信号。
37.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的手势识别方法，该方法包括：根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置；判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
38.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的手势识别方法，该方法包括：根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；其中，三个距离传感器位于同一个平面内三个不共线的位置；判断时间戳的时间间隔的最大值是否大于第一预设阈值；若时间戳的时间间隔的最大值小于或等于第一预设阈值，根据时间戳，按照时间的先后顺序，对至少三个距离传感器进行排序，得到至少三个距离传感器的排列顺序；若时间戳的时间间隔的最大值大于第一预设阈值，根据至少三个距离传感器采集的距离信息，记录采集距离信息的时间戳；将至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值与预设手势模型库中手势对应的距离传感器的排列顺序以及不同传感器之间时间戳差值进行匹配，确定与至少三个距离传感器的排列顺序以及不同传感器之间时间戳差值相匹配的目标手势。
39.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
40.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
41.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。