在头戴式显示器中利用身体握手的制作方法_2

文档序号:9204195阅读:来源:国知局
的两个条件都成立,S卩,感测的EMG信号指示可能的握手以及加速计数据确认握手,则身体接触检测设备104向用户接口设备102传送:在该用户和一个人之间的身体接触已经发生。然后,用户接口设备102使用其场景摄像头进行拍照,以捕捉该用户接触的这个人的图像。然后,用户接口设备104检查面部数据库,该数据库包括该用户先前已经接触的人的图像。如果在面部数据库中没有发现该面部,则将其添加到该数据库中。添加面部可以包括:存储这个人的图像连同与这个人的初次接触的音频和/或视频记录,以及存储该图像连同这个人的名字的音频记录。
[0022]该系统的检索方面涉及:全天跟踪该AR眼镜的视野中的面部。如果视野中的面部的图像大于该视野的百分之X,其中,越大的百分比对应于越大的图像,转而其对应于该面部越靠近该用户,则用户接口设备102使用场景摄像头对该面部进行拍照(捕捉其图像),并确定该面部是否已经在该面部数据库中,例如通过图像比较。如果该面部已经在数据库中,则用户接口设备102执行查找,S卩,确定用户是否已经将该面部标记为认识的面部。如果该面部不是认识的面部,则用户接口设备102检索并显示与该面部一起存储的内容,例如,名字、用户何时遇见这个人、那次接触的缩略图、那次接触的视频。
[0023]图2是详细地说明了管理用于用户接口设备的信息的上面方法的流程图。如上面所提及的,该过程针对于检测用户和一个人之间的接触,并对关于这个人的信息(如果有的话)的呈现进行智能的挑选。该过程可以由图1的AR系统来执行。为此,在步骤202处,身体接触检测设备104检测用户接口设备102的用户与一个人之间的当前身体接触,同时用户接口设备102的组件检测该用户与一个人之间的非身体接触。
[0024]关于当前身体接触的检测,身体接触检测设备104基于所感测的用户身体的电活动和用户身体的运动中的一个或多个,来检测这样的接触。在一种配置中,身体接触检测设备104首先检查肌肉电活动,该活动指示通常与该用户和一个人之间的身体触碰相对应的第一动作。一旦检测到该第一动作,身体接触检测设备104就检查运动活动,该活动指示通常与该用户和这个人之间的身体交互相对应的第二动作。例如,第一动作可以是用户抓紧物体,而第二动作可以是晃动该物体。共同地,第一动作和第二动作可以被视为与用户和一个人之间的握手交互相对应,其中,第一动作是用户抓紧这个人的手,而第二动作是用户摇晃这个人的手。这仅仅是第一动作和第二动作以及相应的交互的一个例子。
[0025]如上面所提及的,可以使用上面所描述的EMG传感器来完成第一动作的检测。图3是描绘当用户抓紧另一个人的手时,随时间变化的EMG信号幅度的图300。该波形示出:与在放松状态下相比,用户的手部肌肉做更多的工作。高度波动的波形302表示用户的特定动作。在这种情况下,该动作对应于用户轻轻地握着并挤压物体。可以将该动作解释为用户与一个人之间的潜在握手。相对平坦的波形304表示本底噪声。基于实验的EMG信号数据,可以建立指示特定的第一动作的标准。例如,在该动作期间测量的EMG信号的峰-峰电压、动态范围或频率可以用作可以与稍后获得的EMG信号的测量值进行比较的标准。就这一点而言,身体接触检测设备104可以通过在用户轻轻地握着并挤压另一个人的手同时,记录若干EMG信号,并根据那些采样值生成模板,来针对个别用户进行操练。身体接触检测设备104的处理器118将所获得的信号的测量值与实验数据定义的门限进行比较。如果满足该门限或者当满足该门限时,处理器118推断第一动作发生了。如果不满足该门限或者当不满足该门限时,处理器118推断第一动作没有发生。
[0026]如上面所提及的,可以使用上面所描述的运动传感器来完成第二动作的检测。图4是描绘随时间变化的运动传感器(例如,加速计)的图400,其中,这些信号对应于用户的特定动作,在这种情况下,用户按照与握手相对应的运动使他的手向上和向下移动。在X轴和z轴信道二者上存在较强的和相关的频率分量,沿着y轴具有最小的频率分量,其中y轴是与手臂长度平行的轴。这仅仅是可以通过实验获得的很多信号形式或者动作模板中的一种。
[0027]处理器118包括这些动作模板的库,并将获得的运动传感器信号与动作模板的库进行比较。如果所获得的运动信号的形式与这些动作模板中的一个动作模板紧密匹配,则处理器118推断动作发生了。所获得的运动信号与动作模板之间的接近的程度定义上面所描述的标准。例如,获得的运动信号和动作模板的逐点电压比较或者波形区域比较可以产生波形之间的百分比匹配。在这种情况下,该标准可以是百分比,例如90%,并且处于或者高于该标准的产生的百分比可以视为造成了动作检测。
[0028]关于当前非身体接触的检测,用户接口设备102的组件基于一个人的属性,检测用户接口设备的用户和这个人之间的接近。在一种配置中,用户接口设备102(例如,AR目艮镜)确定该眼镜的视野中的人的图像是否满足与用户和这个人之间的紧密空间关系相对应的标准。例如,用户接口设备102的场景摄像头组件可以捕捉视野中的人的图像。AR眼镜的处理器108可以识别该图像的面部部分;相对于AR眼镜的透镜的大小来确定该面部部分的大小;以及当该大小满足门限标准时,推断在用户和这个人之间存在紧密的空间关系。例如,可以将该门限设置为30%,在该情况下,如果图像的面部部分占据显示器的至少30%,则认为满足该门限。
[0029]在另一种配置中,用户接口设备102的麦克风组件可以捕捉这个人的声音,例如这个人的语音;确定该声音的电平(以分贝为单位);以及如果或者当该声音电平满足门限标准时,推断在用户和这个人之间存在紧密的空间关系。例如,可以将该门限设置为50dB,在该情况下,如果或者当这个人的声音电平是至少50dB时,则认为满足该门限。
[0030]在又一种配置中,用户接口设备102基于图像和声音二者来检测该接口设备和一个人之间的紧密接近。在这种情况下,将用户接口设备102的图像捕捉组件(例如,摄像头)维持在低功耗模式或者断电模式,而将该用户接口设备的较低功耗的声音捕捉组件(例如,麦克风)保持在加电模式。在捕捉到声音处于超过某个门限的电平(例如,用户的正常语音的电平)时,摄像头打开并捕捉图片。用户接口设备102的处理器108如上所述地继续分析该图像大小。
[0031]在步骤204处,如果或者当没有检测到当前身体接触时,即,检测到非身体接触,该过程进行至步骤212,其中,用户接口设备102的处理器108确定该用户是否认识这个人。下面将进一步描述该步骤的细节。然而,如果在步骤204处检测到当前身体接触,则身体接触检测设备104向用户接口设备102发送用于指示这样的检测的信号,并且该过程进行至步骤206,其中,用户接口设备102确定当前身体接触是初次接触还是后续接触。例如,用户接口设备102可以捕捉处于其视野中的人的图像。处理器108将所捕捉的图像与用户先前接触的人的图像的数据库中的图像进行比较。如果或者当视野中的人的图像与数据库中的图像不匹配时,处理器108推断当前身体接触是初次接触。另一方面,如果或者当这个人的图像与数据库中的图像匹配时,处理器108推断当前身体接触是后续接触。
[0032]在步骤208处,如果或者在当前身体接触是初次接触时,该过程进行至步骤210,其中,将与这个人相关联的内容添加到先前接触的人的数据库中。这样的内容可以是在初次接触期间捕捉的这个人的图像、在初次接触期间用户和这个人之间的会话的声音记录或者初次接触的视频。内容是使用公知的技术来收集的,并作为现有联系人的目录存储在数据库中。随后,用户可以向该目录中的条目增加信息,所述信息进一步标识这个人或者这次接触的本质和环境。该信息可以具有文本或者音频记录的形式。用户还可以将某些人标记为该用户认识的。该过程的步骤206、208和210共同地提供用户所接
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1