光学传感器系统中的对象检测的制作方法

文档序号:13261325阅读:120来源:国知局
背景计算设备可被配置成包括用于检测对象的邻近度以发起一个或多个动作的触摸功能。例如,触摸功能可被利用来检测用户的手的手指或其他对象到显示设备的邻近度作为识别姿势以发起计算设备的一个或多个功能一部分。各种不同类型的传感器可被利用来检测该邻近度,其一个示例包括对光学传感器的使用。光学传感器的效力通常取决于操作这些光学传感器的环境照明条件。因此,光学传感器在这样的环境中的常规使用可失败,由此在整体上削弱了用户的体验以及计算设备的可用性,尤其是在其中触摸功能被配置成供与计算设备联用的主要输入技术的情况下。概述描述了供结合光学传感器使用的对象检测技术。在一个或多个实现中,多个输入被接收,这些输入中的每一者接收自多个光学传感器中的相应光学传感器。使用机器学习根据输入是否指示对象由相应的光学传感器检测到来对多个输入中的每一者进行分类。在一个或多个实现中,系统包括多个光学传感器和至少部分地用硬件实现的一个或多个模块。此一个或多个模块被配置成实现第一分类器、第二分类器和对象候选模块。第一分类器被配置成生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第一概率图。该概率图是通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成的。第二分类器被配置成至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第二概率图。对象候选模块被配置成使用第一和第二概率图来确定对象是否已被检测到。在一个或多个实现中,一种或多种计算机可读存储介质包括存储于其上的响应于计算设备的执行而使得所述计算设备执行操作的指令。操作包括生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第一概率图,该概率图通过将包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像取作输入来生成。操作还包括至少部分地基于具有包括红外光和环境光两者的图像的输入来生成描述对象被多个光学传感器中的相应光学传感器检测到的可能性的第二概率图。操作还包括使用第一和第二概率图确定对象是否已被检测到。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征,亦非旨在用作辅助确定要求保护的主题的范围。附图简述参考附图来描述具体实施方式。在附图中,附图标记最左边的数字标识该附图标记首次出现的附图。在说明书和附图的不同实例中使用相同的附图标记可指示相似或相同的项目。图1是一示例实现中的可用于采用对象检测技术以供在光学传感器系统中使用的环境的图示。图2解说示出使用图1的光学传感器捕捉到的图像的示例。图3解说示出使用图1的光学传感器捕捉到并使用基于局部极值的方法处理的图像的示例。图4更详细地解说了示出图1的光学传感器系统的示例系统。图5描绘触摸概率图的示例。图6描绘级联滤波方法的示例。图7是描绘示例实现中的过程的流程图,其中经由光学传感器检测到的输入被使用机器学习来分类。图8是描绘示例实现中的过程的流程图,其中分类器被利用来生成可用于确定对象是否是使用多个触摸传感器检测到的概率图。图9示出了可被实现为如参考图1-8来描述的任何类型的便携式和/或计算机设备来实现此处描述的对象检测技术的各实施例的示例设备的各个组件。详细描述概览光学传感器用于对象检测的常规使用的准确性通常取决于光学传感器被放置在的环境的照明条件。例如,环境照明条件可对设备的将一个对象(例如,用户的手的指尖)与设备的周围环境区分开的能力具有影响。描述了针对光学传感器系统的对象检测技术。光学传感器可按检测对象的邻近度的各种方式来配置,如作为显示设备的一部分合并在像素传感器设计中。通过传感器收集的图像可随后被处理以检测对象是否邻近传感器中的相应传感器。各种不同的技术可以被用于执行这种处理。例如,机器学习技术可被利用来为多个传感器中的每一者回答“对象是否被检测到”的问题,其可被表达为概率图。在另一示例中,多个分类器可被利用来执行该处理。例如,第一分类器可处理包括红外光和环境光两者的图像以及具有从红外光减去环境光的图像以生成概率图。第二分类器可单独处理包括红外光和环境光两者的图像以生成另一概率图。这些图可随后被利用来检测对象是否被检测到的可能性以及那个对象在何处被检测到。这一对象检测可随后被利用来支持各种不同的功能,诸如识别姿势、标识特定对象等等。这些和其它技术的进一步讨论可以参考以下各章节中找到。在以下讨论中,首先描述可用于采用此处描述的对象检测技术的示例环境。随后描述本发明技术和过程的示例图示,该技术和过程可在该示例环境中以及在其他环境中采用。因此,该示例环境并不限于执行该示例技术和过程。同样,该示例技术和过程并不限于在该示例环境中的实现。示例环境图1是一示例实现中的可用于采用对象检测技术以供在光学传感器系统中使用的环境100的图示。所示的环境100包括可通过各种方式来配置的计算设备102的示例。例如,计算设备102可被配置成传统的计算机(例如,台式个人计算机等)、移动通信设备(例如,如示出的平板、移动电话、便携式游戏设备、便携式音乐设备、或其他被配置成被用户的一个或多个手持有的移动配置)、娱乐装置、通信地耦合到电视机的机顶盒、无线电话、上网本、游戏控制台以及如关于图9中进一步描述的那些。这样,计算设备102的范围可以是从具有充足存储器和处理器资源的全资源设备(例如,个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(例如,常规机顶盒、手持式游戏控制台)。计算设备102还可关于致使计算设备102执行一个或多个操作的软件以及涉及设备的组合,例如,姿势捕捉设备与游戏控制台、机顶盒与遥控器等。计算设备102被示为包括输入/输出模块104。输入/输出模块104表示与计算设备102的输入有关的功能。例如,输入/输出模块104可被配置成从键盘、鼠标接收输入以标识姿势并且使得对应于姿势的操作得以执行,等等。输入可由输入/输出模块104以各种不同的方式来标识。例如,输入/输出模块104可被配置成识别经由显示设备106的触摸屏功能接收的输入以检测如邻近显示设备106的对象,诸如如邻近计算设备102的显示设备106的用户的手108的手指、指示笔等。该输入可以有各种不同的形式,诸如来识别用户的手108的手指在显示设备106上的移动,诸如,轻击、绘制线等。在各实现中,这些输入可被姿势模块110识别为姿势。各种不同类型的姿势可由姿势模块110识别,诸如从单类输入识别的姿势(例如,触摸姿势)以及涉及多类输入的姿势。例如,计算设备102可被配置成基于哪个对象被使用来执行姿势(例如,以上描述的指示笔或手指)来检测输入并在输入之间进行区分。附加地,虽然描述了触摸输入,但是将对象识别为接近显示设备106可在不接触显示设备106的情况下(例如,如“悬停”)作出。附加地,尽管以下讨论可描述输入的具体示例,但在各实例中,输入的类型可被切换(例如,触摸可被用于替换指示笔,悬停可被用于代替物理接触)而不背离其精神和范围。此外,尽管在以下讨论中的实例中姿势被示为使用触摸屏功能来输入,但姿势可由各种不同的设备使用各种不同的技术来输入以检测对象的接近度。一个这样的可被利用来检测对象的邻近度的示例被显示为光学传感器系统112。光学传感器系统112包括传感器处理模块114,该传感器处理模块114代表用于针对光学传感器116中的每一个作出关于对象是否被置于邻近传感器的判定的功能。例如,光学传感器116可作为内嵌有对应像素的传感器阵列被配置为显示设备106的一部分以将对象接近度检测为像素内传感器(SIP)面板。例如,光学传感器116可被配置成被配置成检测红外(IR)光的红外传感器以支持与计算设备102交互的光学模式。在这种IR配置中的光学传感器116被内嵌在显示设备106中来捕捉显示设备106周围环境的IR图像以及甚至将计算设备102作为整体来捕捉,尤其在对象接触显示设备时(例如,用户触摸屏幕)。由光学传感器116进行的光学检测以及由传感器处理模块114进行的后续处理允许光学传感器系统112将对象位置和运动映射到可被姿势模块110识别为姿势的和/或支持其他交互(诸如对象标识等)的动作。在示出的示例中,传感器处理模块114被示出为包括第一和第二分类器模块118、120以及对象候选模块122。第一和第二分类器模块118、120表示用于分类相应的光学传感器116是否检测到如邻近传感器的对象(例如,用户的手108的手指)的可能性的功能。这可按各种方式执行,诸如以处理由光学传感器116捕捉到的图像以生成概率图,如以下所描述的。概率图可随后由对象候选模块122处理以使用该概率图来确定对象是否已被检测到。结合图4更详细地描述了采用第一和第二分类器模块118、120和对象候选模块122的系统400的示例。传统触摸检测方法假设红外(IR)光被手指反射回并在传感器所捕捉的SIP图像上形成相对较亮的斑点,其中背景(非手指区域)相对较暗。因此,这些传统方法基于传感器所捕捉的强度景观中的局部极值。然而,在实践中,IR图强烈依赖于环境中的环境光照明条件。如图2的示例200所示,背景可以是亮的,并且可存在由手所投的阴影。存在可从光学传感器116中直接读出的不同类型的图像。例如,第一类型可涉及具有IR光和环境光两者的图像。第二类型是仅包括环境光的图像。这两种类型的图像在下面分别使用“Field_0”和“Field_1”来表示。理论上,可执行Field_0减去Field_1以生成IR分量,在本讨论的其余部分中该IR分量可被表示为Field_IR。该Field_IR图像(在理论上)预期是环境照明条件不变的。然而,该环境抵销技术存在实际问题。首先,Field_0和Field_1是在同时取得的。因此,在对象移动时,在Field_IR中对象边界附近的像素可以是亮的,这使得基于常规局部极值的方法失败,如图3中所示的示例300所示。第二,测得的Field_0和Field_1图像在空间和时间两者上都可以是嘈杂的。这样的噪音是取决于内容的,并因此可能难以通过传统的滤波方法来移除。此外,像素强度值相对于传感器积分时间而言不是线性的,并且因此环境抵销并不简单。因此,运动伪像、传感器噪声和光学传感器的非线性响应使得对Field_IR的斑点检测不可靠,并导致低劣的检测准确性,这也在图3的示例300中示出。因此,光学传感器系统112可被配置成采用机器学习分类技术来稳健地检测对象位置,其来自在各种各样的照明条件下从光学传感器116中实时接收到的输入。机器学习分类器可被利用来回答每一传感器(例如,每一像素传感器)问题“该光学传感器正在检测邻近该传感器的对象吗?”可利用各种不同的技术,诸如随机化决策森林(RDF)分类器或其他类型的机器学习分类器。在下面,描述了包括以下的技术:在检测对象时使用机器学习分类器来分类像素,使用在来自光学传感器116的不同信号上训练的多个分类器来增加检测准确性,使用多个类型的分类分割函数来增加检测准确性,以及使用分割函数。虽然在以下作为示例描述了触摸输入,但应当容易明白,也可在不涉及对象(例如,用户的手108的手指)和与显示设备106或光学传感器116相关联的表面之间的实际物理接触的情况下检测这些输入。为了由光学传感器116在某范围的照明条件下高效并稳健地检测对象位置,机器学习辨别式分类在以下被利用来回答如以上描述的每一光学传感器问题,也就是:“该光学传感器正在检测邻近该传感器的对象吗?”在给定类集合“C={c1,c2,…,ck
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1