运动感测和成像设备的制造方法
【技术领域】
[0001]公开的技术涉及用于在能够使用成像或者其它传感器来检测在三维(3D)感测空间中的手势并且向用户呈现3D扩充的现实的可佩带传感器系统中使用的高度功能/高度准确的感测和成像设备。
【背景技术】
[0002]一类设备(比如Google Glass)提供用于呈现在由用户佩戴的透视(seethrough)屏幕上叠加的信息的能力。另一类型的设备(比如Oculus Rift)向用户提供虚拟现实显示，该用户没有来自围绕用户的现实世界的信息。然而，这两个类型的设备无法充分地提供向反映围绕佩戴者的环境的实时图像流中集成虚拟(例如，计算)信息。因此，存在对于能够采集景物的成像信息并且向用户至少提供成像信息的接近实时直通传递(pass-through)的高度功能的感测和成像设备的需要。感测和成像设备理想地可以親合到可佩戴或者便携设备以创建能够向佩戴者呈现用信息的虚拟化或者创建的呈现来扩充的成像信息的可佩带感测系统。迄今已知的设备未提供这些能力。
【实用新型内容】
[0003]存在对于能够采集景物的成像信息并且向用户至少提供成像信息的接近实时直通传递的高度功能的运动感测和成像设备的需要。该运动感测和成像设备理想地可以耦合到可佩戴或者便携设备以创建能够向佩戴者呈现用信息的虚拟化或者创建的呈现来扩充的成像信息的可佩带感测系统。
[0004]根据本实用新型的各种实施例，公开了一种运动感测和成像设备，其特征在于，包括:多个成像传感器，被布置为提供用于正被查看的景物的立体成像信息；在该成像传感器周围布置的一个或者多个照射源；以及耦合到该成像传感器和照射源以控制其操作的控制器，采集景物的成像信息、向用户至少提供成像信息的接近实时直通传递。
[0005]在该运动感测和成像设备中，其中该控制器还提供:捕获用于在该成像传感器的视点内的控制对象的成像信息，其中用于感兴趣的控制对象的该成像信息用来确定向在控制之下的机器指示命令的手势信息。
[0006]在该运动感测和成像设备中，其中该捕获还包括:将从对IR光灵敏的像素接收的信息与从对例如RGB的可见光灵敏的像素接收的信息分离；处理来自IR传感器的将用于手势识别的图像信息；以及处理来自RGB传感器的将经由呈现界面作为实况视频馈送被提供的图像信息。
[0007]在该运动感测和成像设备中，其中该处理来自RGB传感器的图像信息还包括:使用分别捕获在该景物中的照射的红色、绿色和蓝色分量的RGB像素来提取现实世界空间的粗略特征。
[0008]在该运动感测和成像设备中，其中该处理来自IR传感器的图像信息还包括:使用捕获在该景物中的照射的红外线分量的IR像素来提取现实世界空间的细微特征。
[0009]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括该现实世界空间的表面纹理。
[0010]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括该现实世界空间的边缘。
[0011]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括该现实世界空间的曲率。
[0012]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括在该现实世界空间中的对象的表面纹理。
[0013]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括在该现实世界空间中的对象的边缘。
[0014]在该运动感测和成像设备中，其中该现实世界空间的细微特征包括在该现实世界空间中的对象的曲率。
[0015]在该运动感测和成像设备中，其中该控制器还提供:确定环境照明条件；以及基于确定的该条件调整输出的显示，确定该传感器在第一时间和第二时间相对于固定点的第一定位信息和第二定位信息。
[0016]在该运动感测和成像设备中，还包括:运动传感器；并且其中该控制器还提供:确定在来自该运动传感器的第一定位信息和第二定位信息之间的差值信息；以及基于该差值信息计算用于该设备的相对于固定点的移动信息。
[0017]在该运动感测和成像设备中，还包括:将该成像传感器和该照射源紧固到在可佩带呈现设备中的装配表面的一个或者多个紧固器。
[0018]在该运动感测和成像设备中，还包括:将该成像传感器和该照射源紧固到在可佩带呈现设备中的腔的一个或者多个紧固器。
[0019]在该运动感测和成像设备中，还包括:将该成像传感器和该照射源紧固到在便携呈现设备中的装配表面的一个或者多个紧固器。
[0020]在该运动感测和成像设备中，还包括:将该成像传感器和该照射源紧固到在便携呈现设备中的腔的一个或者多个紧固器。
[0021]所公开的技术的实现方式通过提供一种能够采集景物的成像信息并且向用户至少提供成像信息的接近实时直通传递的运动感测和成像设备来解决这些和其它问题。感测和成像设备可以被单独使用或者耦合到可佩带或者便携设备以创建能够向佩戴者呈现用信息的虚拟化或者创建的呈现来扩充的成像信息的可佩带感测系统。
[0022]运动感测和成像设备的一个实现方式包括:多个成像传感器，被布置为提供用于正被查看的景物的立体成像信息；在成像传感器周围布置的一个或者多个照射源；以及耦合到成像传感器和照射源以控制其操作的控制器。控制器使该设备能够采集景物的成像信息并且向用户至少提供成像信息的接近实时直通传递。该设备可以耦合到可佩带设备以创建能够向佩戴者呈现用信息的虚拟化或者创建的呈现来扩充的成像信息的可佩带感测系统。
[0023]在一个实现方式中，一种运动感测和成像设备的控制器还提供捕获用于在成像传感器的视点内的控制对象(包括比如人类手部的控制对象)的成像信息。用于感兴趣的控制对象的成像信息可以用来确定向在控制之下的机器指示命令的手势信息。在实现方式中，该设备支持用毫米以下准确度检测围绕该设备的佩戴者的对象的定位、姿态和运动并且提供这一信息以用于集成到向佩戴者提供的呈现中。
[0024]在一个实现方式中，一种运动感测和成像设备包括用于将从对IR光灵敏的像素接收的信息与从对可见光(例如，RGB(红色、绿色和蓝色))灵敏的像素接收的信息分离并且处理来自IR(红外线)传感器的将用于手势识别的图像信息以及处理来自RGB传感器的将经由呈现界面作为实况视频馈送被提供的图像信息的能力。例如，使用具有RGB像素集合和IR像素集合的相机来捕获视频流，该视频流包括在现实世界中的景物的图像序列。分理出来自IR灵敏像素的信息以用于处理以识别手势。向可佩带设备(HUD、HMD等)的呈现界面提供来自RGB灵敏像素的信息作为向呈现输出的实况视频馈送。向可佩带设备的用户显示呈现输出。一个或者多个虚拟对象可以与视频流图像集成以形成呈现输出。因而，使该设备能够提供手势识别、现实世界对象的经由直通传递视频馈送的现实世界呈现和/或包括与现实世界视图集成的虚拟对象的扩充的现实中的任何项。
[0025]在一个实现方式中，一种运动感测和成像设备可以用于使用相机的RGB和IR像素的组合来跟踪该设备本身的运动。具体而言，它涉及使用RGB像素来捕获现实世界空间的粗略或者粗糙特征和对应的特征值并且使用IR像素来捕获现实世界空间的细微或者精确特征和对应的特征值。一旦被捕获，则基于在不同时间实例检测到的特征值之间的比较来确定可佩带传感器系统相对于景物的至少一个特征而言的运动信息。例如，现实世界空间的特征是在现实世界空间中的给定的方位的对象，并且然后特征值可以是在现实世界空间中的对象的定位的三维(3D)坐标。如果定位坐标的值在成对图像帧或者其它图像体积之间改变，则这可以用来确定可佩带感测系统相对于其定位在图像帧之间改变的对象的运动信息。
[0026]在另一示例中，现实世界空间的特征是在现实世界空间中的墙壁，并且对应的特征值是如由与可佩带传感器系统接合(engage)的查看者感知的墙壁的定向。在这一示例中，如果在由电子地耦合到可佩带传感器系统的相机捕获的相继图像帧之间配准(register)墙壁的定向改变，则这可以指示查看墙壁的可佩带传感器系统的定位的改变。
[0027]根据一个实现方式，来自相机的RGB像素的信息可以用来将在现实世界空间中的对象与对象的显著或者粗略特征一起从图像或者图像序列(比如在现实世界空间中的对象的对象轮廓、形状、体积模型、骨架模型、廓影、总体布置和结构)中标识。这可以通过测量区域的平均像素强度或者区域的可变纹理被实现。因此，RGB像素允许采集现实世界空间和/或在现实世界空间中的对象的粗糙估计。
[0028]另外，来自IR像素的数据可以用来捕获现实世界空间的细微或者精确特征，这些细微或者精确特征增强从RGB像素提取的数据。细微特征的示例包括现实世界空间和在现实世界空间中的对象的表面纹理、边缘、曲率和其它微弱特征。在一个示例中，当RGB像素捕获手部的实心模型时，IR像素用来捕获手部的血管和/或动脉图案或者指纹。
[0029]一些其它实现方式可以包括通过在不同组合和排列中使用RGB和IR像素来捕获图像数据。例如，一个实现方式可以包括同时激活RGB和IR像素以执行图像数据的全比例采集而未在粗糙或者细节特征之间区分。另一实现方式可以包括间歇地使用RGB和IR像素。又一实现方式可以包括根据二次或者高斯函数激活RGB和IR像素。一些其它实现方式可以包括使用IR像素来执行第一扫描、跟随有RGB扫描并且反之亦然。
[0030]在一个实现方式中，确定并且可以使用环境照明条件以调整输出的显示。例如，在正常照明条件中显示