用于检测在空间上不同的时间模式的非参数化模型的制作方法

相关申请的交叉引用

本申请要求于2014年11月6日提交且题为“nonparametricmodelfordetectionofspatiallydiversetemporalpatterns(用于检测在空间上不同的时间模式的非参数化模型)”的美国临时专利申请no.62/076,319的权益，其公开内容通过援引全部明确纳入于此。

背景技术：

本公开的某些方面一般涉及机器学习，且更具体地涉及改进检测在空间上不同的时间模式的系统和方法。

背景

诸如蜂窝电话或个人数字助理(pda)等移动设备具有若干功能，这些功能中的每一者可通过用户选择唯一键序列或使用屏上菜单来激活。给定移动设备上能够提供的有限数目的控件，在移动设备提供增加的特征集时，访问所有特征可变得愈加复杂。

最近，一些移动设备已被设计成包括通过识别用户控制的姿势来接收用户输入的能力。一些设备可通过触摸屏界面接收用户控制的姿势，而其他设备可被配置成通过获取图像并实现计算机视觉办法以跟踪用户输入来接收用户控制的姿势。姿势识别的一个重要方面是识别所得的轨迹数据中的已知模式的能力。然而，比划或打手势来作出输入姿势的方法或表现通常随用户而变，或甚至随同一用户的每一次比划而变。例如，轻微差异可存在于不同用户比划特定字符(例如，数字“2”)的方式中。由于这些差异，识别轨迹数据中的模式依然是重大挑战。

概览

在本公开的一方面，提出了一种生成用于时空模式识别的时空模式模型的计算机实现的方法。该方法包括接收多个训练轨迹。训练轨迹中的每一者包括表示时空模式的多个不同数据点。接收到的训练轨迹定义一区域。该方法还包括将该区域划分成多个观察到的集群和一非观察到的补充性集群。该方法进一步包括生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群。

在本公开的另一方面，提出了一种生成用于时空模式识别的时空模式模型的装置。该装置包括存储器以及耦合至该存储器的至少一个处理器。(各)处理器被配置成接收训练轨迹。训练轨迹中的每一者包括表示时空模式的不同数据点。接收到的训练轨迹定义一区域。(各)处理器被进一步配置成将该区域划分成各观察到的集群和一非观察到的补充性集群。(各)处理器进一步包括生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群。

在本公开的又一方面，提出了一种用于生成用于时空模式识别的时空模式模型的设备。该设备包括用于接收训练轨迹的装置。训练轨迹中的每一者包括表示时空模式的不同数据点。接收到的训练轨迹定义一区域。该设备还包括用于将该区域划分成各观察到的集群和一非观察到的补充性集群的装置。该设备进一步包括用于生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群的装置。

根据本公开的又一方面，提出了一种非瞬态计算机可读介质。该非瞬态计算机可读介质上编码有用于生成用于时空模式识别的时空模式模型的程序代码。该程序代码由处理器执行且包括用于接收训练轨迹的程序代码。训练轨迹中的每一者包括表示时空模式的不同数据点。接收到的训练轨迹定义一区域。该程序代码还包括用于将该区域划分成各观察到的集群和一非观察到的补充性集群的程序代码。该程序代码进一步包括用于生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群的程序代码。

本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述

在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。

图1a和1b分别解说了移动平台的正面和背面。

图2解说了移动平台接收字母数字用户输入。

图3解说了根据本公开的某些方面的使用片上系统(soc)(包括通用处理器)来设计神经网络的示例实现。

图4解说了根据本公开的各方面的系统的示例实现。

图5是解说根据本公开的各方面的根据dirichlet过程的经划分空间区域的示图。

图6是解说根据本公开的各方面的根据pitman-yor过程的经划分空间区域的示图。

图7a是解说用于上下颠倒地呈现的字母数字字符“2”的训练轨迹集合的示图。

图7b是图7a的训练轨迹的高斯过程协方差的示图。

图7c是解说图7a的训练轨迹的另一高斯过程协方差的示图，其具有与用于图7b的长度-尺度相比增加的长度-尺度。

图7d是图7c的高斯过程协方差的三维(3d)表示。

图8a-c是解说根据本公开的各方面的根据应用于图7a的训练轨迹的pitman-yor过程的经划分空间区域的示图。

图9是用于识别时空模式的方法的图形解说。

图10是解说能够经由前向相机接收用户输入的移动平台的功能框图。

图11是解说根据本公开的各方面的用于生成用于时空模式识别的时空模式模型的方法的流程图。

图12是解说根据本公开的各方面的用于生成时空模式模型的过程的流程图。

图13是解说根据本公开的各方面的用于时空模式识别的方法的流程图。

详细描述

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。

基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。

措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。

尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。

本公开的各方面涉及生成用于时空模式识别的模型。即，在检测到持续观察的多维变量内的时间模式时，知晓该变量是否背离所评估的模式以及背离得多少是合乎需要的。时间模式可包括字母数字字符、物体、语音、姿势、股票市场活动、气象模式、以及其它时间模式或时空模式。在接受或拒绝时间模式之前可考虑差异量。换言之，时间模式中的空间差异可能足够显著以使得原本可接受模式被拒绝，或反之。相应地，本公开的各方面提供了通过建模过程对可接受差异量的控制。

根据本公开的各方面，非参数化模型可被用于检测具有空间多样性的习得时间流形(manifold)。在一些方面，该模型可以基于随机过程，诸如称为pitman-yor过程的两参数dirichlet过程。例如，空间多样性可通过pitman-yor过程在第二参数上施加协方差回归过程(例如，高斯过程协方差回归)来建模。给定混合模型的各分量的序列，隐马尔科夫模型可被应用来对各流形的时间动态性进行建模。这允许评估给定流形并拒绝任意序列，这在其中要在连续观察序列内发现各模式(例如，连续手部移动内的时间模式)的应用中是非常重要的。

时间流形被用在许多应用中，包括手部跟踪、姿势识别以及人类动作识别。常规隐马尔科夫模型(hmm)已被用来检测许多应用(包括语音和姿势识别)中的时间事件。存在hmm的不同版本，包括在其中各观察以空间多样性发生的应用中使用的具有离散和连续密度发射的hmm。

空间数据对于许多应用而言起重要作用，诸如用于流检测和姿势识别的轨迹的识别。用于对空间数据进行建模的一些常规方法包括k均值和高斯混合模型(gmm)，其中数据点被编组在一起以定义集群集合，每一集群表示字母表中的一个符号。在单词词汇表(例如，英语单词、口语单词、轨迹、或姿势)中，来自字母表的各个符号序列可以创建有意义的不同单词(流形、姿势，等等)。

检测时空模式的一个问题涉及拒绝不与习得模式的词汇表的任何成员相类似的移动。这在语音和姿势识别中尤其重要。对于诸如姿势和动作识别等应用，姿势/动作被定义为多维空间内的移动，其中该移动的所有部分应当被完成才能被认为是词汇表中的习得模型之一。这意味着例如如果经训练模式或移动看起来是空间中的圆，则部分类似于圆的曲线(例如，圆的60％)不是可接受的且被拒绝。在检测连续移动内的模式时，这尤其重要，因为任意移动频繁发生且它们中的许多可能部分类似于经训练模式中的一些。

相应地，本公开的各方面提供了用于将各模式局部化并拒绝不与词汇表中的任何模式相类似的轨迹的观察和移动的非参数化模型。各模式的时间动态性可以用隐马尔科夫模型来建模并且用带高斯发射的dirichlet过程混合(dpm)模型对它们的空间变化进行建模。高斯的混合允许适于空间上不同的模式的观察的无限集合。dpm可被用于对各观察进行群集。该混合的分量标记可进而被用在hmm中以用于对每一模式的时间动态性进行建模。

此外，本文的配置被用于检测或拒绝一序列。因此，接受和拒绝区之间的清晰且强烈的分隔间隙是合乎需要的。例如，来自可接受区的数据产生显著大于由来自拒绝区的数据所产生的似然性的大似然性是合乎需要的。例如，如果接受的似然性是-100及以上且拒绝的似然性是-300及以下，则存在足够间隔来避免混淆。然而，如果接受的似然性是-100及以上且拒绝的似然性是-115及以下，则间隙很小，以致一些可接受输入可造成似然性稍小于-115并且因此被拒绝。

因为清晰且强烈的分隔间隙是合乎需要的，所以该模型可在不使用连续密度发射hmm(cdhmm)的情况下被配置。在cdhmm中，发射的概率通过概率密度函数(诸如高斯)和混合系数向量的混合来呈现。因此，远离密度中心的观察将产生小似然性，这造成hmm似然性方面的损失。cdhmm作出从接受到拒绝区的平滑移动，使得接受区与拒绝区之间的分隔含糊且不清。相反，根据本公开的各方面，接受区与拒绝区之间的间隙可通过考虑来自补充性集群的使得hmm产生非常小的似然性的观察而被放大。不具有来自补充性集群的数据点的序列具有较大似然性。

图1a和1b分别解说了被配置成经由前向相机110接收用户输入的移动平台100的正面和背面。移动平台100被解说为包括前向显示器102、扬声器104、以及话筒106。移动平台100进一步包括用于捕捉环境的图像的后向相机108和前向相机110。移动平台100可进一步包括包含诸如邻近度传感器、加速度计、陀螺仪、邻近度传感器、触摸传感器/触摸屏等传感器的传感器系统，这可被用来辅助确定移动平台100的位置和/或相对运动或触摸手指在屏幕上的位置。

如本文中所使用的，移动平台是指任何便携式电子设备，诸如蜂窝或其它无线通信设备、个人通信系统(pcs)设备、个人导航设备(pnd)、个人信息管理器(pim)、个人数字助理(pda)、或者其它合适的移动设备。移动平台可被配置成接收无线通信和/或导航信号(诸如导航定位信号)。移动平台可包括诸如通过短程无线、红外、有线连接、或其他连接与个人导航设备(pnd)通信的设备，不管卫星信号接收、辅助数据接收、和/或定位相关处理是发生在该设备上还是pnd上。在一些方面，移动平台还可包括电子设备，包括无线通信设备、计算机、膝上型设备、平板计算机、头戴式设备、可穿戴计算机等等，它们能够经由前向相机或触摸传感器来光学地或通过触摸跟踪用户引导的对象以用于识别用户输入。

图2解说了经由相机(例如，参见图1a的前向相机110)接收字母数字用户输入的示例性移动平台100的俯视图。移动平台100使用其相机捕捉用户引导的对象的图像序列。在这一配置中，用户引导的对象是用户202的指尖204。然而，在其他方面，用户引导的对象可包括书写工具，诸如用户的整个手指、指示笔、笔、铅笔、刷、或其它书写工具。

移动平台100捕捉图像系列或序列并且响应于此，在用户202在表面200上四处移动指尖204时跟踪用户引导的对象(例如，指尖204)。在一种配置中，表面200是平坦表面且与移动平台100分开并在其外部。例如，表面200可以是桌面或台面。在另一配置中，用户202可以简单地在移动平台100的视野中移动指尖204而不接触表面(例如，开放空间)以由移动平台100跟踪。在这一配置中，输入序列可以例如跟踪用户指尖204关于显示器102的表面的移动。在又一配置中，表面200可以是触摸屏，诸如触敏显示器102，其中基于与显示器的表面的接触来指示输入。在这一配置中，输入序列可以例如跟踪用户指尖204沿着和/或与显示器102的表面的接触。

移动平台100对用户引导的对象的跟踪数据可由移动平台100分析以生成轨迹数据。在一个示例中，轨迹数据是在时间上排序且在空间上不同的数据点的集合。移动平台100可以分析所有或部分轨迹数据以识别各种类型的用户输入。例如，轨迹数据可以指示诸如字母数字字符(例如，字母、数字、以及符号)、姿势、和/或鼠标/触摸控制输入等用户输入。在图2的示例中，用户202被示为正通过跨表面200引导指尖204完成字母数字字符206(例如，数字“2”)的一个或多个笔画。通过在用户202画出虚拟数字“2”时捕捉图像系列或记录跨触敏显示器102的移动，移动平台100可以跟踪指尖204并随后分析轨迹数据以识别该字符输入。

图3解说根据本公开的某些方面使用片上系统(soc)300进行前述的生成用于时空模式识别的时空模式模型的示例实现，soc300可包括通用处理器(cpu)或多核通用处理器(cpu)302。变量(例如，神经信号和突触权重)、与计算设备(例如，带有权重的神经网络)相关联的系统参数、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(npu)308相关联的存储器块中、与cpu302相关联的存储器块中、与图形处理单元(gpu)104相关联的存储器块中、与数字信号处理器(dsp)306相关联的存储器块中、专用存储器块318中，或可跨多个块分布。在通用处理器302处执行的指令可从与cpu302相关联的程序存储器加载或可从专用存储器块318加载。

soc300还可包括为具体功能定制的附加处理块(诸如gpu304、dsp306、连通性块310(其可包括第四代长期演进(4glte)连通性、无执照wi-fi连通性、usb连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器312。在一种实现中，npu实现在cpu、dsp、和/或gpu中。soc300还可包括传感器处理器314、图像信号处理器(isp)、和/或导航320(其可包括全球定位系统)。

soc300可基于arm指令集。在本公开的一方面，加载到通用处理器302中的指令可包括用于接收训练轨迹的代码。训练轨迹中的每一者包括表示时空模式的不同数据点并且接收到的训练轨迹定义一区域。加载到通用处理器302的指令还可包括用于将该区域划分成各观察到的集群和一非观察到的补充性集群的代码。此外，加载到通用处理器302的指令可包括用于生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群的代码。

图4解说了根据本公开的某些方面的系统400的示例实现。如图4中所解说的，系统400可具有可执行本文所描述的方法的各种操作的多个局部处理单元402。每个局部处理单元402可包括局部状态存储器404和可存储机器学习模型的参数的局部参数存储器406。另外，局部处理单元402可具有用于存储局部模型程序的局部(例如，神经元)模型程序(lmp)存储器408、用于存储局部学习程序的局部学习程序(llp)存储器410、以及局部连接存储器412。此外，如图4中所解说的，每个局部处理单元402可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元414对接，并且与提供各局部处理单元402之间的路由的路由连接处理单元416对接。

图5是解说根据dirichlet过程的经划分空间区域502的示图。如图5中所示，空间区域502已被划分成八个区a1-a8。

根据本公开的各方面，不合需要的观察和序列可被拒绝。在一些方面，dirichlet过程混合模型可被施加在观察的无限空间上以定义接受区和拒绝区。dirichlet过程可被用来通过作为正实数的θ和α来定义观察的空间的各分区，使得对于θ上的任何有限可测量分区a1,a2,…,ak，a1∪a2∪…∪ak＝θ，并且g是θ上的随机概率测量(g(a1),g(a2),…,g(ak))～dirichlet(αh(a1),αh(a2),…,αh(ak))。根据这一定义，观察的空间(例如，空间区域)可被划分成数个区，例如如图5中所示。如果g是根据dirichlet过程(dp)分布的(例如，g～dp(α,h)，则来自g的比划是θi，其中θi|g～g，i＝1,2,…,n，并且dirichlet过程的后验如下给出：

通过将g边缘化，预测分布由下式给出：

其中|θ|是当前分区数目，nk是分区k处的观察的数目，n是观察的总数，δ(θ，θk)是增量函数(例如，kronecker增量函数)，且α是对称dirichlet分布的参数。

根据式2，新观察将以概率被指派给任何当前填充(非空)分区或集群k。另选地，新观察能以概率被指派给新未填充(空)分区。因而，如果α与当前分区处的观察的数目相比很小，则更可能的是新观察被指派给当前分区之一(而非新分区)。

应用随机过程(例如，pitman-yor过程)，预测概率分布可由下式给出：

其中d是用于控制各区或集群的面积的参数。

在式3中，参数d可以例如被定义为使得0≤d<1且α>-d。在这一示例中，参数d可以控制具有一个或非常少观察(轨迹)的区或集群的数目。即，d的值越大，具有较少数目的观察(轨迹)的区或集群越多。另外，d越大，具有大量观察的区或集群的数目越少，并且每一区内的观察(轨迹)的数目越大。

在一个示例性方面，在空间上分布的数据点可由高斯集群来建模。诸如pitman-yor过程等随机过程可被用来限制高斯集群的范围。用于词汇表中的一单词的训练数据点群可以与高斯混合模型群集在一起。pitman-yor过程(pyp)可被用来将空间群集成有限数目的集群或区。如此，观察的空间可被划分成有限数目的区或集群，其中某些集群具有指派给它的训练数据点，具有增长更多集群的潜力或能力。将不具有所指派的数据点的无限集群集合共同地认为是单个集群，pitmanyor过程可被用来将空间群集成以下集合：

其中是经训练高斯分区(例如，区或集群)。

图6是解说根据诸如pitman-yor过程等随机过程的经划分空间区域602的示图。参考图6，空间区域602已被划分成四个观察到的区a1、a2、a3以及a4和一个非观察到的补充区acomplement。虽然图6中示出了四个观察到的区，但这仅仅是为了易于解释并且本公开不限于此。如本文所示，任何数目的区可被用来划分观察空间。在一个配置中，补充区acomplement笼统地表示可由式4的pyp发起的所有未观察到的分区。

在数据点i+1相当不可能由经训练分量之一生成时，式4的pyp可被用来限制每一高斯集群的范围并评估新集群的创建。由pitman-yor过程发起的新集群的位置因此可以是任何位置。在一些方面，式4的基础分布可以是高斯族，因为混合模型是高斯。

混合模型中高斯的均值和协方差两者可以是未知的且采样自共轭先验。因为协方差矩阵是正定的(对于每一非零列向量而言，转置是正的)，对于均值固定的情形而言其共轭先验具有逆wishart分布λ～iw(v,δ)，这是单维高斯采样的逆伽马-正态共轭先验的多维类似。在一些方面，多维均值和协方差矩阵是不确定的。因此，这一情形的正确先验是正态逆wishart分布，其密度表达为：λ～w(v，δ)和

其中v表示自由度且一般被选择成大于数据的维数，δ是其中v作为其数据集的大小的伪协方差矩阵，且k是具有期望均值v的先验的伪数据集的大小。观察x^*的预测似然性可根据具有自由度的student-t分布来分布。因而，预测似然性随后可由均值为且协方差为的正态分布来近似地给出。

相应地，使用pitman-yor过程并且具有用于基础正态分布的共轭先验的所确定的正确分布，该分布可被采样以用于推断。在一个示例性方面，gibbs采样器过程可被用于训练并用于从pyp推断。pyp似然性对隐马尔科夫模型的发射进行建模，其中每一集群的分区标记被认为是观察。不属于具有所指派的数据点的任一分区的观察数据点的pyp似然性允许将观察延伸到不具有任何观察的无限分区集合，这可被称为补充分区或区(例如，acomplement)。因此，可以向不可能来自被占据分区的观察给出补充分区的标记。hmm因而被修改以容纳这些观察。因为在词汇表的群集过程中和hmm的训练中没有这样的观察的实例，所以补充分区(例如，acomplement)以从其它观察共同减去的非常小的概率被添加到观察的每一hmm的表(这确保发射矩阵保持随机)。例如，如果bw是单词w的hmm的发射矩阵，则来自补充分区的观察的概率随后由下式给出：

其中是状态为s的观察ok针对单词w的经调整发射概率。表示来自补充分区的所有观察，且|kw|表示对于单词w而言混合模型中被占据分区的数目。虽然单词间分区交叠是可能的，但对于观察序列分开地推断每一单词的pyp，并且因此每一单词的pyp的分区是根据训练数据针对该单词的观察的最高值表示。因此，每一分区处的数据点的空间变化由该单词的相关联的训练数据来表示。

在一些方面，dirichlet过程能以概率将新成员吸引到已占据或填充的集群或区。因此，在关于新观察进行推断时，新分区被发起并被这一观察占据的似然性可能非常低。换言之，dirichlet过程往往产生许多大分区。然而，从已占据分区集合排除数据点是合乎需要的，如果它更可能来自补充分区的话。此外，因为数据可在各区域处不同，使用相同的限制因子来限制混合的所有分量可能是不合理的。因此，代替等同地限制各混合分量，在一些方面，pitman-yor过程的第二参数(例如，参数d)可根据数据来被设置并允许分量协方差控制每一分量的范围。

由于数据点的空间性质，空间模型可被使用来提供pyp的第二参数(例如，参数d)。为此，其中数据的空间变化由非参数化协方差回归来建模的模型可被采用。考虑多维高斯变量的条件分布，给定具有相同维度的高斯变量集合，如果x*是d维变量且x表示高斯变量集合，则条件分布p(x*|x)的均值和协方差由下式给出：

为避免高维数据回归的计算负担，在一些方面，数据的均值和协方差可由从某些先验分布采样的函数来建模。因而，可在潜在无限维高斯空间为数据创建高斯模型(例如，μ(x1),…,μ(xn)～n((m(x1),…,m(xn),k(x1,…,xn)))，这是高斯过程(gp)。认为数据是固定的是合理的，因为模式与观察的位置无关。因此，固定协方差函数(诸如平方指数)可被使用：

其中τ是量值且l是协方差函数的平滑度。在一些方面，只有给定数据点的条件分布的协方差可被考虑。

cov(x^*|x)＝k(x^*，x^*)-k(x^*，x)t(k(x，x)+σ²i)-1k(x^*，x)(10)

在一些配置中，可能没有与将数据认为是表示高斯过程的数据点相关联的任何输出。因此，在这种情形中，数据点x^*的gp的期望没有意义。然而，协方差回归可由将项(k(x,x)+σ²i)倒转的期望来支配。但是，它可被合理快地计算，因为该项与观察x^*无关且可被存储。如此，协方差回归的过程也可以是快速的。

在一些方面，式9的协方差函数的超参数(τ和l)可被设置，使得对于pitman-yor过程而言，该回归是有用的。因为没有针对数据点的输出，给定数据x和高斯过程的超参数，输出的边际似然性不能被最大化。因此，在一些方面，试探法也可被使用。

例如，为使式3中的参数d遵守约束0≤d<1，协方差函数的量值τ可被设置成小于1但接近1的值(例如，τ＝0.99)。这实际上可能不足以确保回归的协方差在任何位置都小于1。另选地，在一些方面，量值τ可被设置成更小的值。回归的值也可针对所有数据点同等地缩小。

另一方面，平滑度参数l(本文中也称为长度尺度)可被设置成表示数据如何平滑地变化的适当值。

式10中的协方差回归函数可被解释为各基础函数的混合的条件似然性，每一基础函数以来自给定数据集x的数据点为中心。每一基础函数的方差随后由长度尺度参数l来控制。为适当地设置l以使得各基本函数的混合不会对该数据过度拟合或拟合不足，在一些方面，长度尺度参数l可被设置成等于各观察之间的平均最小距离乘以一系数，例如由下式给出：

对于全部其中系数η可被用来调整(例如，扩张或缩减)集群的面积。

回归过程产生0和1之间的值(不包括1)。对于接近给定数据集x或在给定数据集x中的点，回归的协方差非常小，而对于远离该数据集中的项的点而言，它将很大。

图7a-7d解说了具有不同η值的、轨迹的协方差回归的示例。图7a是解说用于上下颠倒地呈现的字母数字字符“2”的训练轨迹(例如，704a-c)集合702的示图。训练轨迹可被归一化以提供可被用于识别的训练模式。图7b是图7a的训练轨迹的高斯过程协方差的绘图。图7c是解说图7a的训练轨迹的另一高斯过程协方差的示图，其具有与用于图7b的长度-尺度(例如，l＝0.0244)相比增加的长度-尺度(例如，l＝0.0488)。图7d是图7c的高斯过程协方差的三维(3d)表示。

从图7b和7c示出针对给定集合x的1-cov(x*|x)的值的结果，可以确定η系数越大，l越大(因为是正的)且集合x上的混合覆盖的越平滑。实际上，混合覆盖的边缘也由超参数l控制。参考图7b，在数字“2”的轨迹的开始处，该模型具有其间有间隙的两个脱节分支708和710。另外，在图7b，示出了分开的样本之间的空区域712。然而，具有高斯基础分布的dirichlet过程可被用来预测并计入将来变化。在一些方面，第二参数(参数d)可被设置成样本的gp协方差乘以可调整系数。这可向pyp提供极好提示以包括并预见变化，同时每一分布的范围被控制。如上所示，式3中的小参数d可造成给定数据点被指派给已占据分量(例如，区或集群)的较高概率。相反地，较高d可使得该过程允许生成新分量，如果该数据点不可能足够由已占据分量之一生成的话。因此，在一些方面，给定数据点x^*处的gp协方差可被用作pitman-yor过程的d。如此，如果x^*足够远离已占据分量，则该过程可以指派从基础分布h(θ)采样的新分量。

图8a-8c示出基于图7a的轨迹应用于经训练模型的pitman-yor过程的示例。图8a是解说根据基于图7a的轨迹(其中参数d被设置成0)应用于经训练模型的pitman-yor过程的经划分空间区域的示图。参考图8b，基于图7a的训练轨迹集合应用dirichlet过程以产生经群集的空间。集群a1-a7连同acomplement一起示出。图8c是解说根据基于图7a的轨迹(其中参数d基于高斯过程协方差来被设置(例如，gp协方差具有长度-尺度l＝0.0244))应用于经训练模型的pitman-yor过程的经划分空间区域的示图。如图8b所示，区a1-a7的区域是宽舒的，使得模式仍然是可检测的但可导致假肯定。图8c是解说根据基于图7a的训练轨迹(其中参数d乘以大于1的系数(d>1.0))应用于经训练模型的pitman-yor过程的经划分空间区域的示图。如图8a中所示，定义该模式的各集群的区域非常宽舒，使得数字2不再是可辨别的。

图9是时空模式识别的模型的图形表示。在图9的模型中，dirichlet过程混合模型(dpm)连同参数α、d以及基础分布h一起被示出。隐马尔科夫模型接收来自dpm的观察序列，这是由dpm提取的分量标记的序列。

在一些方面，所识别模式的正确度可被验证。验证给定数据点序列中的所识别模式的正确度包括验证该模式的所有区域被正确地满足。为了验证，经训练模型中的大多数分区贯穿给定轨迹来被满足。即，如果一模式具有沿由pyp指派给给定模式的集群的轨迹的数据点，则它被满足。在一些方面，hmm可进一步标识满足各分区的轨迹序列处于正确的次序。

因为pyp将给定序列的数据点指派给各集群，所以指派给每一集群的数据点的数目可以是清楚的。此外，确切地知晓pyp向新集群给出多少数据点，从而意味着它们属于共同表示没有被经训练集群覆盖的区域的补充分区。使用计数方案来确保每一分区接收到某最小数目的所分配的数据点，并且补充分区的所分配的点低于可容许最小值，满足这些准则的分区的数目被认为是给定序列是否正确地满足经训练模型的所有区域的量度。

图10是解说被配置用于识别时间模式的移动平台1000的功能框图。移动平台1000是图1a和1b的移动平台100的一个可能实现。移动平台1000包括相机1002以及用户接口1006。用户接口1006包括显示器1026，它可被配置用于显示由相机1002捕捉的预览图像以及字母数字字符，如上所述。用户接口1006也可包括按键板1028，用户可以通过它将信息输入到移动平台1000中。如果需要，可通过利用相机1002来消除按键板1028，如上所述。另外，为向用户提供多种方式来提供时空模式，例如在一些方面，移动平台1000可包括用于经由显示器1026接收触摸姿势输入的触摸传感器。用户接口1006还可包括话筒1030和扬声器1032(例如，如果移动平台是蜂窝电话)。

移动平台1000包括被配置成执行对象引导的跟踪的跟踪单元1018。在一个示例中，跟踪单元1018被配置成跟踪对象(例如，指尖、指示笔、书写工具或其它对象)的移动，如以上讨论的，以生成轨迹数据。

移动平台1000还包括控制单元1004，该控制单元1004被连接至相机1002以及用户接口1006连同其他部件(诸如，跟踪单元1018和姿势识别单元1022)并与它们通信。姿势识别单元1022接受并处理从跟踪单元1018接收到的轨迹数据以将用户输入识别为符号和/或姿势。控制单元1004可由处理器1008和相关联的存储器1014、硬件1010、软件1016及固件1012提供。

如果需要，控制单元1004还可以包括用于将期望ar数据渲染在显示器1026中的图形引擎1024，其可以是例如游戏引擎。为清楚起见，跟踪组件1018和姿势识别组件1022被分开地解说并且与处理器1008分开，但是可以是单个单元和/或基于在处理器1008中运行的软件1016中的指令而实现在处理器1008中。处理器1008以及跟踪单元1018、姿势识别单元1022和图形引擎1024中的一者或多者可以但不一定包括一个或多个微处理器、嵌入式处理器、控制器、专用集成电路(asic)、高级数字信号处理(adsp)等等。术语处理器描述由系统实现的功能而非具体硬件。此外，如本文所使用的，术语“存储器”是指任何类型的计算机存储介质，包括长期、短期、或与移动平台1000相关联的其他存储器，且并不限于任何特定类型的存储器或特定数目的存储器、或记忆存储在其上的介质的类型。

在一种配置中，机器学习模型被配置成用于接收训练轨迹。该模型还被配置用于将该区域划分成各观察到的集群和一非观察到的补充性集群。该模型进一步被配置用于生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群。该模型包括接收装置、划分装置、和/或生成装置。在一个方面，接收装置、划分装置、和/或生成装置可以是配置成执行所叙述功能的通用处理器302、与通用处理器302相关联的程序存储器、存储器块318、局部处理单元402、和/或路由连接处理单元316。在另一配置中，接收装置、划分装置和/或生成装置可经由处理器1008、硬件1010、固件1012和/或软件1016来实现。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。

本文中所描述的过程取决于应用可藉由各种手段来实现。例如，这些过程可在硬件1010、固件1012、软件1016、或其任何组合中实现。对于硬件实现，这些处理单元可以在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、电子器件、设计成执行本文中所描述功能的其他电子单元、或者其组合内实现。

根据本公开的某些方面，每个局部处理单元402可被配置成基于模型的一个或多个期望功能特征来确定模型的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。

图11是解说根据本公开的各方面的用于生成用于时空模式识别的时空模式模型的方法1100。在框1102，该过程接收训练轨迹。训练轨迹中的每一者可包括表示时空模式的不同数据点。时空模式可以例如包括表示字母数字字符、符号、鼠标/触摸控制中的至少一者的相机输入或输入姿势。接收到的训练轨迹定义一区域。

在框1104，该过程将该区域划分成各观察到的集群和一非观察到的补充性集群。此外，在框1106，该过程生成时空模式模型以包括各观察到的集群和该非观察到的补充性集群。

该区域可通过应用诸如例如两参数pitman-yor过程等随机过程来被划分。在一些方面，协方差回归(诸如高斯过程协方差回归)可针对训练轨迹中包括的数据点中的两者或更多者而被执行并且可进而被用于确定一个或多个随机过程参数。

随机过程可被用来确定哪一集群(包括非观察到的补充性集群)对应于给定轨迹的每一数据点。观察到的集群中的每一者的范围还可基于一个或多个随机过程参数来确定。另外，在一些方面，时空模式模型可通过基于随机过程创建隐马尔科夫模型(hmm)来生成。

此外，该过程可修改hmm的观察表以包括非观察到的补充性集群。在又一些方面，在隐马尔科夫模型的似然性高于预定阈值时，该过程可将接收到的轨迹识别为时空匹配。

图12是解说根据本公开的各方面的用于生成时空模式识别的模型的示例性过程1200的流程图。在框1202，该过程接收训练轨迹(例如，图7a的训练轨迹704a-c)。训练轨迹中的每一者包括表示输入姿势的在空间上不同的数据点。在框1204，高斯过程(例如，图7c)随后被应用于训练轨迹并且在可任选过程框1206，高斯过程被用来确定随机过程参数(例如，pitman-yor过程的参数d)。如上所述，过程框1206是可任选的且在训练模型时可被省略。因而，在一个示例中，高斯过程协方差回归只被用于识别而不被用于训练。随机过程(例如，pitman-yor过程)随后在过程框1208中被应用以将轨迹的空间区域划分成各观察到的区和一非观察到的补充性区。各观察到的区中的每一者的范围(例如，大小)可以基于上述随机过程参数。在框1210，该过程生成用于时空模式识别的模型，它使用各观察到的区和该非观察到的补充性区来确定模式匹配。

图13是解说时空模式识别的过程1300的流程图。在框1302，该过程接收轨迹。接收到的轨迹可包括数据点。轨迹的各数据点可以与输入姿势、股票市场相关数据、语音、天气数据、或其它时空数据相关。

在框1304，该过程评估接收到的轨迹以确定接收到的轨迹的各数据点落入经训练时空模式模型中的哪一集群(例如，观察到的集群和补充集群)。在数据点落入观察到的集群中时，该过程指派一标记。在数据点处于补充集群中时，该数据点可能不是可接受的。然而，根据本公开的各方面，一些差异可被容忍。

在框1306，该过程找出每一集群和补充集群中的数据点。包括补充集群的每一集群的所指派的标记可被提供给对应的隐马尔科夫模型以确定似然性。通过考虑补充集群的数据点，hmm所产生的似然性可被降低。

每一hmm可以输出可在框1308与阈值相比较的似然性值。如果输出高于阈值，则接收到的轨迹可在框1310被识别为时空匹配。否则，在框1312，接收到的轨迹不被认为是匹配。

在一些方面，观察的次序也可被评估。即，在一些方面，hmm可以用正确的观察次序来训练并可被用来评估时空模式。例如，如果hmm是使用用于画出数字2的正确次序来训练的，如果数字2以逆序画出，则该hmm所生成的似然性可非常小并且因而可指示该输入不是匹配。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(asic)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。

如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。而且，“确定”可包括解析、选择、选取、确立及类似动作。

如本文中所使用的，引述一列项目“中的至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。

结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协同的一个或多个微处理器、或任何其它此类配置。

结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(ram)、只读存储器(rom)、闪存、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、寄存器、硬盘、可移动盘、cd-rom，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。

本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域中是众所周知的，因此将不再进一步描述。

处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、dsp处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(ram)、闪存、只读存储器(rom)、可编程只读存储器(prom)、可擦式可编程只读存储器(eprom)、电可擦式可编程只读存储器(eeprom)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。

在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。

处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(asic)来实现，或者用一个或多个现场可编程门阵列(fpga)、可编程逻辑器件(pld)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。

机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到ram中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。

如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或无线技术(诸如红外(ir)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、dsl或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(cd)、激光碟、光碟、数字多用碟(dvd)、软盘、和碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。

因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。

此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，ram、rom、诸如压缩碟(cd)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。

将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。