一种增强现实装置及其控制方法、计算机可读存储介质与流程

本发明涉及增强现实技术领域，特别涉及一种增强现实装置、一种增强现实装置的控制方法及一种计算机可读存储介质。

背景技术：

ar(augmentedreality)即增强现实技术，可以广泛应用于教育、工业、制造、军事和娱乐等领域。

相关技术中，增强现实装置通过手势识别传感器识别特定区域的手势动作，进而实现无触摸操控增强显示装置。但是上述识别手势动作的过程中容易受到环境中其他非装置佩戴者的抬手动作影响，导致手势误识别。

因此，如何防止外界因素对于手势识别的干扰，提高手势识别的准确性是本领域技术人员目前需要解决的技术问题。

技术实现要素：

本申请的目的是提供一种增强现实装置、一种增强现实装置的控制方法及一种计算机可读存储介质，能够防止外界因素对于手势识别的干扰，提高手势识别的准确性。

为解决上述技术问题，本申请提供一种增强现实装置，该增强现实装置包括：

动作检测器，用于判断第一目标区域是否存在抬手动作；

处理器，用于当所述第一目标区域存在抬手动作时，启动手势识别传感器对应的工作流程；

所述手势识别传感器，用于对第二目标区域执行手势识别操作并将手势识别结果发送至所述处理器，以便所述处理器根据手势识别结果执行相应的处理操作。

可选的，所述动作检测器具体为超声波传感器或红外传感器。

可选的，还包括：

骨振传感器，用于采集所述增强现实装置佩戴位置的骨振信号，并将所述骨振信号发送至所述处理器，以便所述处理器判断是否启动语音识别模块对应的工作流程；

所述语音识别模块，用于当接收到处理器发送的启动信号后，执行语音识别操作。

可选的，还包括：

眼球追踪装置，用于获取第三目标区域的眼球动作信息。

可选的，所述眼球追踪装置包括：

红外发光二极管，用于向第三目标区域发射红外光；

眼动跟踪相机，用于接收的红外反射光，并根据所述红外反射光生成眼球动作信息。

可选的，该增强现实装置还包括镜片；其中，所述镜片包括光学镜片和设置于光学镜片内外两侧的红外滤光片。

本申请还提供了一种增强现实装置的控制方法，应用于所述增强现实装置的处理器，该控制方法包括：

接收动作检测器发送的通知信息；其中，所述通知信息为所述动作检测器判定所述第一目标区域存在抬手动作时发送的信息；

向手势识别传感器发送手势识别启动指令，以便控制所述手势识别传感器对第二目标区域执行手势识别操作；

接收所述手势识别传感器返回的手势识别结果，并根据所述手势识别结果执行相应的处理操作。

可选的，在接收所述手势识别传感器返回的手势识别结果之后，还包括：

延时预设时长，判断是否接收到所述手势识别传感器返回的新手势识别结果；

若否，则向手势识别传感器发送手势识别关闭指令，以便关闭所述手势识别传感器。

可选的，还包括：

接收骨振传感器采集的骨振信号，判断所述骨振信号是否与预设骨振信号匹配；

若是，向语音识别模块发送语音识别启动指令，以便控制所述语音识别模块执行语音识别操作；

接收所述语音识别模块发送的语音识别结果，根据所述语音识别结果执行相应的处理操作。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述增强现实装置的控制方法执行的步骤。

本申请提供了一种增强现实装置，包括动作检测器，用于判断第一目标区域是否存在抬手动作；处理器，用于当所述第一目标区域存在抬手动作时，启动手势识别传感器对应的工作流程；所述手势识别传感器，用于对第二目标区域执行手势识别操作并将手势识别结果发送至所述处理器，以便所述处理器根据手势识别结果执行相应的处理操作。

本申请提供的增强现实装置首先利用动作检测器判断是否存在抬手动作，若存在抬手动作说明用户将要进行某些手势动作，因此处理器在检测到第一目标区域存在抬手动作时启动手势识别传感器对应的工作流程，以便进行手势动作的识别过程。由于本申请中启动手势识别传感器的条件为动作检测器在第一目标区域检测到抬手动作，因此能够保证用户存在抬手动作的前提下进行手势识别，可以有效避免周围环境中非增强显示装置佩戴者的抬手动作的对手势识别的干扰，提高手势识别的准确性。本申请同时还提供了一种增强现实装置的控制方法和一种计算机可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种增强现实装置的结构示意图；

图2为本申请实施例所提供的一种ar眼镜的结构示意图；

图3为本申请实施例所提供的一种ar眼镜的正视图；

图4为本申请实施例所提供的一种ar眼镜的眼球追踪装置的结构示意图；

图5为本申请实施例所提供的一种增强现实装置的控制方法的流程图；

图6为本申请实施例所提供的一种增强现实装置的控制系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面请参见图1，图1为本申请实施例所提供的一种增强现实装置的结构示意图，该增强现实装置可以包括：

动作检测器100，用于判断第一目标区域是否存在抬手动作；

其中，动作检测器为用于检测第一目标区域是否存在抬手动作的装置，具体的，该动作检测器100可以为超声波传感器或红外传感器。本实施例中提到的动作检测器为增强现实装置中的设备，第一目标区域为用户佩戴增强显示装置时动作检测器的检测区域。作为一种可行的实施方式，动作检测器的中轴线与垂直向下方向的夹角为正5度或负5度，以便第一目标区域为包括用户手臂抬起、举起等运动过程中经过区域的空间。

可以理解的是，动作检测器100可以根据以下两个标准实现判断第一目标区域是否存在抬手动作，标准一为第一目标区域存在手臂，标准二为目标时间段内手臂的特定方向的动作幅度大于预设标准，当动作检测器检测到第一目标区域的手臂符合标准一和标准二时，可以判定第一目标区域存在抬手动作。

当然，本实施例不限定增强显示装置的种类，该增强显示装置可以为ar眼镜、ar头盔等ar头戴设备。

处理器200，用于当所述第一目标区域存在抬手动作时，启动手势识别传感器对应的工作流程；

其中，本实施例中可以存在动作检测器200在判定第一目标区域存在抬手动作时，向处理器200发送相应电平信号的操作。可以理解的是，在佩戴增强显示装置的用户进行手势动交互之前，用户需要抬起或举起手臂。因此当第一目标区域存在抬手动作时，说明佩戴该增强显示，装置的用户将要进行手势动作的演示，此时可以启动手势识别传感器对应的工作流程。

可以理解的是，在检测到第一目标区域存在抬手动作之前手势识别传感器可以处于非工作状态，即使第二目标区域存在手势动作也不会进行识别操作。也就是说，本实施例将第一目标区域是否存在抬手动作作为是否启动手势识别传感器的判断条件，通过上述方案能够使得只有在增强现实装置佩戴者抬手时才启动手势识别的工作流程，可以有效避免由于佩戴者所处环境中其他人的抬手动作带来的手势误识别，提高了增强现实装置手势识别功能的抗干扰能力。

手势识别传感器300，用于对第二目标区域执行手势识别操作并将手势识别结果发送至所述处理器，以便所述处理器根据手势识别结果执行相应的处理操作。

手势识别传感器300是一种基于手势识别技术的传感器，通过数学算法来识别人类手势。本实施例中的手势识别传感器300可以对平面维度的手势进行识别，也可以对三维手势进行识别，在此不进行限定。其中，平面维度的手势可以为手部上下左右的移动，三维手势可以包括手部的前后动作。

作为一种可行的实施方式，手势识别传感器300可以使用pixart的手势传感器paj7635u2方案，该手势传感器集成了红外发光二极管和coms(complementarymetaloxidesemiconductor，互补金属氧化物半导体)感光阵列，在正常工作时红外发光二极管发射红外光，当红外光遇到物体后进行反射，由高精度的coms感光阵列接收反射光，根绝反射光的特性识别抬手动作，该传感器能够识别左、右、上、下、前、后、顺时针旋转、逆时针旋转、挥手和盘旋10种动作，充分满足基本指令的需求。

本实施例中手势识别传感器的识别区域为第二目标区域，本实施例不限定第一目标区域与第二目标区域的位置关系，作为一种可行的实施方式，第二目标区域可以位于第一目标区域上方。第二目标区域可以为方便用户演示手势动作的区域，例如当增强显示装置为ar眼镜时，第二目标区域可以为镜片正前方的区域。

本实施例提供的增强现实装置首先利用动作检测器判断是否存在抬手动作，若存在抬手动作说明用户将要进行某些手势动作，因此处理器在检测到第一目标区域存在抬手动作时启动手势识别传感器对应的工作流程，以便进行手势动作的识别过程。由于本实施例中启动手势识别传感器的条件为动作检测器在第一目标区域检测到抬手动作，因此能够保证用户存在抬手动作的前提下进行手势识别，可以有效避免周围环境中非增强显示装置佩戴者的抬手动作的对手势识别的干扰，提高手势识别的准确性。

作为一种可行的实施方式，上述增强现实装置还可以包括：

骨振传感器，用于采集所述增强现实装置佩戴位置的骨振信号，并将所述骨振信号发送至所述处理器，以便所述处理器判断是否启动语音识别模块对应的工作流程；

所述语音识别模块，用于当接收到处理器发送的启动信号后，执行语音识别操作。

由于在用户在说话时会存在骨骼振动的现象，因此可以将骨振传感器采集的骨振信号作为判断用户是否正在说话的依据。骨振传感器在采集骨振信号后可以将骨振信号发送至处理器，处理器判断所述骨振信号是否与预设骨振信号匹配；若匹配，则可以向语音识别模块发送启动信号，以便启动语音识别操作。通过设置骨振传感器和语音识别模块能够使增强现实装置在佩戴者说话时开启语音识别功能，可以避免由于环境杂音导致的语音识别功能误触发现象。

作为一种可行的实施方式，上述增强现实装置还可以包括眼球追踪装置，用于获取第三目标区域的眼球动作信息。眼球追踪装置是基于眼球追踪技术的装置，眼球追踪装置可以根据眼球和眼球周边的特征变化进行眼球跟踪得到眼球动作信息，还可以根据虹膜角度变化进行眼球跟踪得到眼球动作信息，也可以通过主动投射红外线等光束到虹膜的方式提取特征进行眼球追踪得到眼球动作信息。本实施例不限定眼球追踪装置获取眼球动作信息的具体方式。

作为一种眼球追踪装置的可行的实现方式，该眼球追踪装置可以包括：红外发光二极管和眼动跟踪相机。其中，红外发光二极管用于向第三目标区域发射红外光；眼动跟踪相机用于接收的红外反射光并根据所述红外反射光生成眼球动作信息。眼球追踪技术可以通过红外发光二极管和眼动跟踪相机的配合完成，红外发光二极管阵列对着眼球发射红外光，由眼动跟踪相机接收红外反射光，通过处理反射红外光识别眼球动作，达到眼球追踪功能，可以实现简单的上、下、左、右和长时间不动的简单动作，处理器可以通过i2c控制红外发光二极管的驱动芯片，达到控流和过流保护的功能，驱动芯片输出供电给红外发光二极管。

进一步的，当增强显示装置为ar眼镜时，所述增强现实装置还包括镜片、镜框和眼镜腿等结构；其中，所述镜片包括光学镜片和设置于光学镜片内外两侧的红外滤光片。红外滤光片的原理是吸收红外光，只允许红外光之外的光线通过，这样就可以避免手势识别传感器和眼球追踪装置相互之间的红外光线干扰，提高系统稳定性。

下面通过在实际应用中的实施例说明上述实施例描述的增强显示装置的结构，请参见图2和图3，图2为本申请实施例所提供的一种ar眼镜的结构示意图，图3为本申请实施例所提供的一种ar眼镜的正视图。1表示ar眼镜设备的镜片部分、2表示ar眼镜设备的侧体部分、3-1表示手势识别传感器模组、3-2表示超声波传感器模组、4-1表示骨传导传感器模组、5-1表示眼球追踪模块的红外发光二极管(irled)阵列、5-2表示eye-trackingcamera眼动跟踪相机。

需要说明的是，为了保证超声波传感器模组检测抬手动作的准确性，超声波模组的装配角度需要符合一定的条件，例如超声波传感器模组传感器中轴线与垂直向下方向的夹角为正负5度，以便精确探测手臂抬起的动作。当然，为保证手臂抬起动作探测的精准度，可以在ar眼镜左右两边底部各装配一个超声波传感器模组，两边超声波传感器模组同时并行工作。当然，超声波传感器只是实现本申请的一种实现方式，还可以选用其他能够达到探测手臂抬起动作的传感器，比如红外传感器。本实施例中3-1手势识别传感器模组既可以装配在两个镜片中间连接部分的壳体外，也可装配在壳体内，在此不进行限定。当需要识别手势时，超声波传感器首先检测眼镜的右下方20cm内是否有手臂抬起的动作，当检测到抬起动作后通知mcu(microcontrollerunit，微控制单元)，mcu向手势识别传感器发送开始识别手势的指令，手势传感器检测到抬手动作后将相应寄存器中的数据发通过spi(serialperipheralinterface，串行外设接口)发送给mcu，mcu下达相应指令；若超声波传感器没有检测到抬手动作，则不进行手势识别，这样可以有效的避免外界环境干扰导致的误触发，提高系统精准度和抗干扰性。

请参见图4，图4为本申请实施例所提供的一种ar眼镜的眼球追踪装置的结构示意图，图4中5-3表示红外发光二极管，5-1表示的红外发光二极管阵列是贴有红外发光二极管的fpc(flexibleprintedcircuit，柔性电路板)，由于眼球追踪的精确性要求，需对fpc的形状有一定要求，需要fpc尽量能够全的围绕眼睛周围，其通常装配在眼镜壳体内部，只露出led部分接口。需要说明的是，红外发光二极管的方向需对准眼球。5-2中眼动跟踪相机的摄像头也可以对准眼球，具体装配角度不进行限定，只要能够根据具体情况对准眼球即可。

由于手势识别和眼球追踪都使用了红外发光二极管，所以两个模块的红外光可能会在一定情况下透过镜片对互相产生干扰，从而会产生误触发，所本实施例中设计了红外滤光片如图4所示，其中1-1表示红外滤光片、1-2表示ar眼镜设备的光学镜片、1-3表示ar眼镜的镜框，用来固定滤光片和镜片。红外滤光片的原理是吸收红外光，只让红外光之外的光线通过，这样就可以避免镜片两侧的手势识别模块和眼球追踪模块相互之间的红外光线干扰，提高系统稳定性。

作为一种可行的实施方式，本实施例可使用icroute的ld332系列语音识别方案，该方案采用spi实现控制，8路并行通信接口实现数据传输；骨传导技术可使用sonion的vpu14aa01方案，该方案由传感器输出模拟信号，经过比较器输出数字高低电平，处理器通过供电对传感器实现控制。

上述ar眼镜将手势识别、语音识别和眼球追踪技术相结合，提出了一种综合的无需触碰设备的操作方案，该ar眼镜无需用户直接触摸操作，可减小设备接触静电风险。ar眼镜中的超声波传感器可以提高手势识别技术精准度和抗干扰性。

下面请参见图5，图5为本申请实施例所提供的一种增强现实装置的控制方法的流程图，该控制方法可以应用于所述增强现实装置的处理器，具体步骤可以包括：

s101：接收动作检测器发送的通知信息；

其中，所述通知信息为所述动作检测器判定所述第一目标区域存在抬手动作时发送的信息；

s102：向手势识别传感器发送手势识别启动指令，以便控制所述手势识别传感器对第二目标区域执行手势识别操作；

s103：接收所述手势识别传感器返回的手势识别结果，并根据所述手势识别结果执行相应的处理操作。

本实施例将第一目标区域是否存在抬手动作作为是否启动手势识别传感器的参考条件，当第一目标区域存在抬手动作时可以启动手势识别传感器进行手势识别的相关操作。本实施例能够保证用户存在抬手动作的前提下进行手势识别，可以有效避免周围环境中非增强显示装置佩戴者的抬手动作的对手势识别的干扰，提高手势识别的准确性。

作为一种可行的实施方式，在上述实施例接收所述手势识别传感器返回的手势识别结果之后，还包括以下操作：延时预设时长，判断是否接收到所述手势识别传感器返回的新手势识别结果；若否，则向手势识别传感器发送手势识别关闭指令，以便关闭所述手势识别传感器。其中，在延时预设时长后若没有新手势识别结果则说明此时用户没有演示新的手势动作，因此可以关闭手势识别传感器，以便节约电能。

作为另一种可行的实施方式，上述实施例还包括以下操作：接收骨振传感器采集的骨振信号，判断所述骨振信号是否与预设骨振信号匹配；若是，向语音识别模块发送语音识别启动指令，以便控制所述语音识别模块执行语音识别操作；接收所述语音识别模块发送的语音识别结果，根据所述语音识别结果执行相应的处理操作。由于在用户在说话时会存在骨骼振动的现象，因此可以将骨振传感器采集的骨振信号作为判断用户是否正在说话的依据。骨振传感器在采集骨振信号后可以将骨振信号发送至处理器，处理器判断所述骨振信号是否与预设骨振信号匹配；若匹配，则可以向语音识别模块发送启动信号，以便启动语音识别操作。通过设置骨振传感器和语音识别模块能够使增强现实装置在佩戴者说话时开启语音识别功能，可以避免由于环境杂音导致的语音识别功能误触发现象。

请参见图6，图6为本申请实施例所提供的一种增强现实装置的控制系统的结构示意图；该装置可以应用于所述增强现实装置的处理器，具体结构可以包括：

信息接收模块201，用于接收动作检测器发送的通知信息；其中，所述通知信息为所述动作检测器判定所述第一目标区域存在抬手动作时发送的信息；

控制模块202，用于向手势识别传感器发送手势识别启动指令，以便控制所述手势识别传感器对第二目标区域执行手势识别操作；

识别结果处理模块203，用于接收所述手势识别传感器返回的手势识别结果，并根据所述手势识别结果执行相应的处理操作。

本实施例将第一目标区域是否存在抬手动作作为是否启动手势识别传感器的参考条件，当第一目标区域存在抬手动作时可以启动手势识别传感器进行手势识别的相关操作。本实施例能够保证用户存在抬手动作的前提下进行手势识别，可以有效避免周围环境中非增强显示装置佩戴者的抬手动作的对手势识别的干扰，提高手势识别的准确性。

进一步的，还包括：

延时判断模块，用于延时预设时长，判断是否接收到所述手势识别传感器返回的新手势识别结果；若否，则向手势识别传感器发送手势识别关闭指令，以便关闭所述手势识别传感器。

进一步的，还包括：

骨振信号处理模块，用于接收骨振传感器采集的骨振信号，判断所述骨振信号是否与预设骨振信号匹配；

语音识别启动模块，用于当骨振信号与预设骨振信号匹配时，向语音识别模块发送语音识别启动指令，以便控制所述语音识别模块执行语音识别操作；

语音识别结果处理模块，用于接收所述语音识别模块发送的语音识别结果，根据所述语音识别结果执行相应的处理操作。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。