利用假定的距离的立体对象检测的制作方法
【专利说明】利用假定的距离的立体对象检测
[0001]置量
[0002]计算系统使用各种不同的输入机制来从用户接收命令。例如，许多计算系统使用允许用户控制计算系统的键盘和计算机鼠标。更自然的输入机制可能是有益的，但是难以实现的。
[0003]概沭
[0004]提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
[0005]一种对象检测的方法包括接收第一立体相机所拍摄的第一图像，接收第二立体相机所拍摄的第二图像，将第一图像相对于第二图像偏移达一所选的偏移距离，以便如果对象位点(locus)位于相距第一立体相机以及第二立体相机的假定的距离处，偏移第一图像和偏移第二图像的每一个对应的像素描绘相同对象位点。该方法进一步包括定位偏移第一图像和偏移第二图像中的目标对象。
[0006]附图简沐
[0007]图1示出了被配置成检测手指姿势的示例头戴式显示器。
[0008]图2示出了对象检测的示例方法。
[0009]图3A - 3C示出了第一立体相机所拍摄的第一图像、第二立体相机所拍摄的第二图像，以及偏移第一图像和偏移第二图像。
[0010]图4不出了分析偏移第一图像和偏移第二图像的不例方法。
[0011]图5A示出了被训练成用于检测偏移第一图像和偏移第二图像中的不同大小的的对象的多个不同的经机器学习训练的分类器。
[0012]图5B示出了分析同一图像的不同缩放的版本的示例经机器学习训练的分类器。
[0013]图6A示出了被训练成用于检测不同朝向的对象的多个不同的经机器学习训练的分类器。
[0014]图6B示出了分析同一图像的不同旋转的版本的示例经机器学习训练的分类器。
[0015]图7示出了组合偏移第一图像和偏移第二图像中的经相关的置信度以得到对象检测的经组合的置信度的示例方法。
[0016]图8示出了用于对象检测的示例计算系统。
[0017]详细描沐
[0018]此处所描述的方法和系统可以用于使用立体图像的准确的手指检测。本公开利用假定的距离(例如，用户典型可及范围(reach)长度)来使用在相机之间具有已知距离的立体相机来检测手指。
[0019]图1示出了被配置成检测手指姿势和/或其他对象的示例头戴式显示器100。示例头戴式显示器100包括被配置成捕捉手指104的第一图像的第一立体相机102，以及被配置成捕捉手指104的第二图像的第二立体相机106。如图所示，第一立体相机102与第二立体相机106相距距离108。
[0020]头戴式显示器100也可以包括被配置成向用户112显示扩增现实图像的透视显示器110。这样的扩增现实图像可包括可以被来自用户112的手指姿势激活或以别的方式参与的交互式目标。
[0021]图2示出了使用立体图像来进行手指检测的示例方法200。方法200可以用于通过头戴式显示器100或通过从第一立体相机和第二立体相机接收图像和/或包括第一立体相机和第二立体相机的任何设备来进行手指检测。进一步，方法200可以被用来检测几乎任何类型的对象。手指检测是作为非限制性示例提供的。
[0022]在202，方法200包括接收第一立体相机所拍摄的第一图像，在204，方法200包括接收第二立体相机所拍摄的第二图像。在图1所示出的示例中，第一立体相机102是左立体相机，而第二立体相机106是右立体相机。图3A示出了分别由图1的第一立体相机102和第二立体相机106捕捉到的左图像300和右图像302的示例。
[0023]第一图像和第二图像的相对位置处的对象描绘了当对象位于假定的距离并且第一和第二图像偏移达从此距离导出的一个量时的相同对象位点。例如，如图3A-3C所示，假定的距离是用户可及范围的近似长度，目标对象是用户的手指104。由于目标对象是手指104，因此，左图像300和右图像302可能会偏移达偏移距离304，以便在偏移左图像300’和偏移右图像302’中的相同区域描绘手指104。图3B示出了被裁剪达偏移距离304的偏移左图像300’和偏移右图像302’，它们允许相同对象位点在偏移图像的相同区域中被描绘。偏移左图像300’的左部分被裁剪，而偏移右图像302’的右部分被裁剪。如图3C所示，在左图像300’和偏移右图像302’中的相同区域306描绘了手指104。然而，由于背景树308不在假定的距离处或在其附近，因此，在偏移左图像和偏移右图像中的相同区域中没有描绘背景树308。
[0024]对象在左图像和右图像之间的差异与立体相机和目标对象之间的距离逆相关。例如，与立体相机相对靠近的对象将看起来比与立体相机相对远的对象具有较大的所描绘的对象之间的差异。
[0025]在某些示例中，区域306可以是偏移左图像300’和偏移右图像302’中的对应的像素。例如，在将图像裁剪达偏移距尚304之后，在左图像和右图像中，区域306可以是相同像素(例如，像素Nx，Ny)。相应地，在206，图2的方法200包括将第一图像相对于第二图像偏移达一所选偏移距离，以便如果对象位点位于相距第一和第二立体相机的假定的距离处，则偏移第一图像和偏移第二图像的每一个对应的像素都描绘相同对象位点。
[0026]可以使用任何合适的距离作为假定的距离。在上面的示例中，假定的距离是当执行手指姿势时，用户可及范围的近似长度。作为另一个示例，当扩增现实图像是被用户的手指姿势激活的交互式目标时，假定的距离可以是到这样的扩增现实交互式目标的视距。
[0027]在208，方法200包括定位偏移第一图像和偏移第二图像中的目标对象。图4示出了定位偏移第一图像和偏移第二图像中的目标对象的示例方法400。定位目标对象可包括独立地分析偏移第一图像和偏移第二图像的若干操作。因此，在402，方法400包括分析偏移第一图像和偏移第二图像中的第一图像，而在404，方法400包括分析偏移第一图像和偏移第二图像中的第二图像。
[0028]对偏移第一图像和偏移第二图像的分析可包括应用被训练用于使用训练对象(即，多个不同的手指)来进行对象检测的多个不同的经机器学习训练的分类器。经机器学习训练的分类器可以被配置成分析图像，并输出热图，该热图包括与被分析图像中的对应像素相关的每一个像素的对象检测的相对置信度。当训练对象类似于正在被检测的对象时，得到高置信度。然而，在形状、大小，以及朝向方面不同于训练对象的对象可能会导致低置信度。
[0029]例如，为适应对象大小的变化，可以将相同图像输入到被训练用于检测与多个经机器学习训练的分类器中的其他分类器大小不同的对象的多个不同的经机器学习训练的分类器中的每一个。例如，图5A示出了向被训练用于检测各种手指大小(例如，大小A-D)的多个不同的经机器学习训练的分类器输入的偏移左图像300’。图5A还示出了多个不同的经机器学习训练的分类器，每一个分类器都输出偏移左图像300’的在X轴方向从图像的左边缘的34%以及在y轴方向从图像的顶部边缘的36%处的区域的对象检测的置信度(例如，82%，96%，72%，以及69% )。如图所示，34%, 36%处的区域的对象检测的最高置信度由被训练用于检测大小B的手指的经机器学习训练的分类器计算。可以输出对于被分析图像的每一个区域饿这样的