经由单次学习的群体分析法的制作方法

本发明涉及经由单次学习的群体分析法。

背景技术：

对个体层面或群体层面行为的理解是一个重要的研究领域，并且可能促进行为检测。对个人行为进行检测可以实现减少犯罪，和/或增强群体通常聚集的各种位置，例如，机场、火车站、体育馆、电影院等的安全性。现在普遍认识到，用来在个人进行某一行为之前检测所述行为的改进技术是合乎需要的。

技术实现要素：

范围与最初要求保护的主题相一致的某些实施例总结如下。这些实施例不希望限制要求保护的主题的范围，相反，这些实施例仅希望提供本发明的可能形式的简短总结。实际上，所公开的技术可以涵盖可能类似于或不同于下文所述实施例的各种形式。

在一个实施例中，提供一种包括以下步骤的方法：从环境中的一个或多个相机接收数据；产生从数据产生的一个或多个视频分析流的元数据；基于元数据产生值的一个或多个时间序列；产生一个或多个时间序列的一个或多个情绪评分；基于一个或多个情绪评分产生表示观察到的行为的第一特征标志；通过确定第一特征标志是否匹配指示查询行为的第二特征标志来执行成对匹配；以及当第一特征标志匹配第二特征标志时，执行动作。

优选的，其中成对匹配是在获得查询行为的例子的仅单个观察结果之后执行。

优选的，其中成对匹配包括根据以下表达式推导成对匹配评分：

其中d为距离测量，b为观察到的行为，sg为信号产生器，n为信号产生器的数目，且w为与每一信号产生器相关联的权重。

优选的，其中一个或多个相机包括捕获位置和肢体运动的估计的红绿蓝深度(RGB+D)相机，以及捕获面部成像的固定相机和摇摄俯仰变焦(PTZ)相机。

优选的，其中视频分析流包括对个体的地点坐标位置、个体的运动特征标志、个体的表情概况、个体的视线方向或其某一组合进行编码的个人描述符集合。

优选的，其中视频分析流是通过以下操作产生：经由一个或多个相机跟踪个体；基于空时兴趣点产生每一个体的运动特征标志；使用一个或多个相机来捕获面部图像；以及基于面部图像来估计面部表情和视线方向。

优选的，其中时间序列中的值介于0到1的范围内。

优选的，其中一个或多个情绪评分介于0到1的范围内。

优选的，其中元数据、值的一个或多个时间序列、一个或多个情绪评分和特征标志的产生是由信号产生器组模块执行。

优选的，其中执行动作包括在第一特征标志匹配第二特征标志时，发出声音报警、呼叫紧急服务、触发警报、发送消息、显示警报，或其某一组合。

在另一实施例中，提供一种有形的非暂时性计算机可读媒体。有形的非暂时性计算机可读媒体存储计算机指令，指令在由一个或多个处理器执行时使得一个或多个处理器：从环境中的一个或多个相机接收数据；产生从数据产生的一个或多个视频分析流的元数据；基于元数据产生值的一个或多个时间序列；产生一个或多个时间序列的一个或多个情绪评分；基于一个或多个情绪评分产生表示观察到的行为的第一特征标志；通过确定第一特征标志是否匹配指示查询行为的第二特征标志来执行成对匹配；以及当第一特征标志匹配指示查询行为的第二特征标志时，提供输出。

优选的，其中成对匹配是在获得查询行为的例子的仅单个观察结果之后执行。

优选的，其中计算机指令使得一个或多个处理器通过以下操作产生视频分析流：经由一个或多个相机跟踪个体；基于空时兴趣点产生每一个体的运动特征标志；使用一个或多个相机来捕获面部图像；以及基于面部图像来估计面部表情和视线方向。

优选的，其中成对匹配包括根据以下表达式推导成对匹配评分：

其中d为距离测量，b为观察到的行为，sg为信号产生器，n为信号产生器的数目，且w为与每一信号产生器相关联的权重。

优选的，其中时间序列中的值介于0到1的范围内，并且一个或多个情绪评分介于0到1的范围内。

在另一实施例中，提供一种系统，其包括捕获与一个或多个个体在环境中的行为相关的数据的一个或多个相机。系统还包括一个或多个计算装置，其包括进行以下操作的一个或多个处理器：从一个或多个相机接收数据；使用数据执行单次学习，以确定一个或多个个体的观察到的行为是否匹配查询行为，其中单次学习包括执行在获得查询行为的例子的仅单个观察结果之后执行的成对匹配；以及当观察到的行为匹配查询行为时，执行动作。

优选的，其中一个或多个相机包括捕获位置和肢体运动的估计的红绿蓝深度(RGB+D)相机，以及捕获面部成像的固定相机和摇摄俯仰变焦(PTZ)相机。

优选的，其中一个或多个计算装置包括智能电话、智能手表、平板电脑、笔记本电脑、台式计算机、基于云的计算系统中的服务器，或其某一组合。

优选的，其中所述动作包括发出声音报警、呼叫紧急服务、触发警报、发送消息、显示警报，或其某一组合。

附图说明

当参考附图阅读下面的具体实施方式时，本发明的这些及其它特征、方面和优点将变得更好理解，在所有图中，类似的标记表示类似的部件，在附图中：

图1为根据实施例的社交行为辨识系统的图示；

图2为根据实施例的适于产生视频分析流的方法的流程图；

图3为根据实施例的适于经由单次学习检测行为的方法的流程图；

图4为根据实施例的用于执行单次学习的实例模块的框图；

图5为根据实施例的用于单次学习的十三对行为的矩阵表示；

图6为根据实施例的基于十三对观察到的行为和各自能够产生每一行为的情绪评分的十八个信号产生器的秩矩阵；以及

图7为根据实施例的各种单次学习实验的累计匹配特征性曲线。

具体实施方式

下面将描述一个或多个特定实施例。为了提供这些实施例的简要描述，并不在本说明书中描述实际实施方案的所有特征。应了解，任何工程或设计项目中的任何这种实际实施方案的开发、大量的针对实施方案的决定都必须实现开发者的具体目标，例如遵守可能在各个实施方案中变化的与系统有关和与商业有关的约束。此外，应了解，这样的开发工作可能是复杂且耗时的，但对于受益于本发明的所属领域的技术人员来说，这些都是设计、制造和生产中的常规任务。

在介绍本发明的各种实施例的元素时，词“一个”、“一种”和“所述”希望表示存在这些元素中的一个或多个。术语“包括(comprising、including)”和“具有”希望为包括性的并且意味着可能有除了所列元素之外的额外元素。

本发明的实施例大体上涉及用于行为辨识的单次学习框架。单次学习准许基于一个行为观察结果或很少的行为观察结果来辨识行为类别或类型。在给出查询行为(例如闲荡(loitering))的例子的单个观察结果的情况下，社交行为辨识系统可以将任何后续观察结果分类为是这类行为的另一实例还是并非这类行为。从辨识角度来说，所述技术可能类似于面部辨识问题，在面部辨识中，系统在任何时间处接收表示两个面部的数据，系统决定所述两个面部是来自同一个体还是来自不同个体。类似地，本说明书中公开比较任一对观察到的行为，并且确定所述两个行为是否相同的单次行为辨识系统。

一些实施例可以实现使用远距视频分析方法来理解群体层面行为。特定来说，社交行为辨识系统可以用于捕获并且分析个人在个体和/或群体/群组层面交互中的非语言线索。此外，社交行为辨识系统可以基于如下概念来使用单次学习方法：可以用少到单个实例来辨识新的行为。社交行为辨识系统可以实施如下方法，例如群体中的个人跟踪、动态摇摄-俯仰-变焦(PTZ)相机控制、远距离面部分析法(例如，视线估计和/或表情辨识)、上半身情感姿态分析，和社交状态推断(例如，融洽、敌对等)。在一些实施例中，由社交行为辨识系统推导的线索可以用于建构语义上有意义的行为描述符(descriptor)或行为情绪(affects)，其允许行为之间的特征标志匹配，这可以视为一种单次学习形式。

在某些实施例中，本说明书中所使用的术语可以如下理解：

单次学习：在给出查询行为(例如群组形成)的例子的单个观察结果的情况下，将任何后续观察结果分类为是这类行为的另一实例还是并非这类行为。

行为：由人执行的事件序列。

视频分析流：由基本视频分析法产生的数据，例如每个人的位置、视线方向、表情和/或运动场地(这些数据可能是不断变化的)。

信号产生器：对例如事件的观察结果的数据以及所测量的量的各种解读。信号产生器可以经参数化，并且可以被视为介于0与1之间的单个可变时间序列。

情绪(affects)：行为的语义上有意义描述符；信号产生器可以产生介于0与1之间的单个情绪评分。

特征标志：用于表征行为的结构。特征标志对观察到的情绪进行编码。特征标志也可以考虑观察到每一情绪的时间，这是因为情绪的序列可以辅助行为检测。

行为的观察结果：由原始视频加上视频分析流组成。

在记住前述内容后，图1为根据实施例的社交行为辨识系统10的图示。社交辨识系统10可以考虑广泛多种视觉线索，例如面部表情、视线方向、身体姿势和运动，以及其它线索。基于视觉线索，社交辨识系统10可以用完全自动的方式来估计复杂群组层面的社交状态。在一些实施例中，社交行为辨识系统10可以将社交交互分析评估为潜在可变的推断问题。此外，在一些实施例中，社交行为辨识系统10可以包括在不受限制的环境16中自由运行的相机12，其捕获关于一个或多个人14的数据。社交辨识系统10可以用作视频分析元数据的来源。如下文较全面描述，社交行为辨识系统10可以具体为实时的远距或独立(例如，与个体分离)端对端社交交互分析系统。

如所描绘，社交行为辨识系统10包括经启用以捕获静态图像、视频或这两个的一个或多个相机12。相机12可以安装在不受限制的环境16的任何合适位置中，例如墙壁、天花板、地板等上。一个或多个相机12可以被实施为身体相机。此外，系统10也可能能够将外部相机12用作数据来源。举例来说，系统10可以配置成从环境获得作为到视频分析法的输入数据的社交媒体图像或视频。不受限制的环境16可以包括一个或多个人14。举例来说，环境16中可能存在单个人14，或环境16中可能存在一群人14。相机12可以经编程或控制以捕获与人14相关的数据。在一些实施例中，相机12可以可通信地连接到基于云的计算系统18和/或计算装置20。因而，相机12能够将所获得数据发射到基于云的计算系统18和/或计算装置20。发射频率可以是周期性的(例如，每分钟、每5分钟、每30分钟、每60分钟、每天、每周等)或为流式发射(例如，连续实时发射或近实时发射)。在一些实施例中，计算装置20可以实施为智能电话、智能手表、平板电脑、笔记本电脑、台式计算机等，或可由所述装置接入。

经由相机12获得的数据可以由基于云的计算系统18的一个或多个服务器22接收，并且存储在服务器22的一个或多个存储器24中，或存储在基于云的计算系统18中包括的在服务器22外部的一个或多个数据库26中。服务器22可以可通信地彼此连接，并且可以在彼此之间分配各种任务以更有效地执行任务。服务器22还可以包括一个或多个处理器28和通信组件30。通信组件30可以是无线或有线通信组件，其能够促进基于云的计算系统18、相机12和/或计算装置20之间的通信。

处理器28可以是能够执行计算机可执行代码的任何类型的计算机处理器或微处理器。处理器28还可以包括能够执行下文所描述的操作的多个处理器。存储器24可以是能够充当存储处理器可执行代码、数据、数据分析等的非暂时性媒体的任何合适制品。这些制品可以表示计算机可读媒体(例如，任何合适形式的存储器或存储装置)，所述计算机可读媒体可以存储由处理器28用来执行本发明所公开的技术的处理器可执行代码。通常，处理器28可以基于经由相机12所获得的数据来辨识行为，如下文所详细描述。归因于基于云的计算系统18中的服务器22的分布式本质，服务器22的共享资源使得能够进行并行处理以实现实时反馈。举例来说，每一服务器22可以在大体上相同时间负责处理数据的不同部分，并且可以由单个服务器22来收集结果，所述单个服务器对结果进行组合并且将结果输出到计算装置20。以这种方式，任一服务器22都不会经受计算成本高的任务，并且可以减少处理时间。

数据库26可以存储由相机12所捕获的图像和/或视频数据。并且，数据库26可以存储其它信息，例如可以与视频分析流元数据比较以确定是否存在行为匹配的已知行为特征标志。此外，数据库26和/或存储器24可以存储由相机12所获得的历史视频和/或图像数据。

计算装置20可以存储提供图形用户接口(GUI)的应用程序，所述图形用户接口显示是否检测到一个或多个人14的一定行为，以及与人14相关的任何相关信息和/或将采取的动作(例如，呼叫紧急服务、声音报警、触发警报、发送消息、显示警报等)。即，在一些实施例中，所述应用程序可能并不执行任何处理，例如行为辨识方法。实际上，在一些实施例中，所述应用程序可能仅充当由基于云的计算系统18执行的行为辨识技术的数据和结果的前端显示器。举例来说，在客户端-服务器架构中，可以经由计算装置20上的浏览器来接入网站，并且所述网站可以充当精简客户端，这是因为其仅显示由基于云的计算系统18提供的信息，而实际上并不执行任何建模。然而，在一些实施例中，存储在计算装置20上的应用程序可以从相机12接收数据，并且执行本说明书中所公开的行为辨识技术。

尽管已关于基于云的计算系统18的服务器22来论述上文所描述的组件，但应注意，类似组件可以构成计算装置20。此外，应注意，所列举组件是作为实例组件而提供，并且本说明书中所描述的实施例不限于参考图1所描述的组件。

相机12可以包括固定红绿蓝与深度(RGB+D)相机，其产生位置和肢体运动的估计。并且，相机12可以包括摇摄-俯仰-变焦(PTZ)相机，其可以负责基于这类跟踪结果来捕获高分辨率面部成像的任务。执行面部特征点拟合和跟踪，以便提取面部表情和视线方向。社交行为辨识系统10可以将特定个人线索流提取成独立于所观察个体的配置和数目的地点层面的汇总统计数据集合。这类测量结果可以包括情感情绪(从观察到的面部表情推导)、接近度(从跟踪位置推导)、活动运动(从运动推导)和参与度(从位置和视线方向推导)。社交行为辨识系统10可以连续地产生这些统计数据，从而得到时间序列表示。基于云的计算系统18和/或计算装置20可以使用图形模型的集合来处理这些测量结果，借此得到各种群组层面社交状态(例如融洽和敌对)的连续估计。

应注意，社交行为辨识系统10可以包括用于其系统架构的模块化设计。在一些实施例中，社交行为辨识系统10的组件可以利用如下输入：例如来自相机12的原始视频馈入和由其它模块产生的元数据。随后，每一模块可以产生插入到消息传递发布与订用架构中的元数据。在使用多个计算平台的情况下，实时社交行为辨识系统10可以包括多相机跟踪、PTZ控制、面部分析、数据合并和社交状态推断。这种类型的模块化设计可以使得能够将多个第三方能力并入到社交行为辨识系统10中。

基于云的计算系统18和/或计算装置20的一个或多个处理器可以执行被实施为计算机指令的各种模块。所述模块可以包括跟踪模块、肢体运动(articulated motion)分析模块、PTZ相机控制模块、面部分析模块和/或推断模块。

从跟踪模块开始，可以使用检测与跟踪范例来估计位于特定关注区域(例如，环境16)中的每一主体(例如，人14)的位置和轨迹。可以最初相对于世界坐标系统来校准多个RGB+D相机12。来自每一相机12的成像可以用于独立地产生个人检测结果和相关联外观特征标志的集合。可以将这些检测结果与现有跟踪器匹配。与现有跟踪器不关联的检测结果可以用于初始化新的跟踪器。可以终止持续无法与新的检测结果相关联的跟踪器。

另外，基于云的计算系统18和/或计算装置20可以执行肢体运动分析模块。除跟踪之外，RGB+D相机成像还可以用于提取被称作“空时拐角(space-time-corner)”的运动线索。这些线索可以与基于每一主体的所测量位置和高度界定的空间直方图相关联。这些空间/频率分布可以基于用PTC相机12捕获的RGB成像而用作肢体运动的表示。

关于PTZ相机控制模块，可以最初相对于世界坐标系统来测量每一PTZ相机12的位置。校准程序可以用于将摇摄(P)、俯仰(T)和变焦(Z)值映射到世界坐标系统中的(X，Y，Z)坐标，使得如果面部定位于(X，Y，Z)处，那么来自PTZ相机12的所得成像可以实现各种形式的面部分析。跟踪模块可以用地平面坐标(X，Y)来产生每个人的位置。可以基于主体高度的估计来确定Z值。优化算法可以用于自动地指派PTZ相机12来跟踪主体。

关于面部分析模块，在给出由PTZ相机12产生的高分辨率成像的情况下，可以执行以下操作：(1)使用面部检测器来产生主体面部的限界框，(2)使用眼睛检测器来定位主体的眼睛，(3)如果检测到两只眼睛，那么将面部特征点模型拟合到主体面部，(4)可以基于所拟合的特征点模型的形状来计算竖直和水平视线方向的估计，(5)计算水平眼球位置的估计，从而允许检测例如“躲闪目光”的事件，(6)可以使用所拟合的特征点模型来合成主体面部的正视图，以及(7)可以使用粗糙面部表情模型来估计常见面部表情的集合。

关于推断模块，在给出与每个人14相关联的元数据流(例如，位置、肢体运动、视线方向、面部表情)的情况下，可以产生汇总社交信号的集合。出于推断例如融洽和敌对的群组层面社交概念的目的，可以使用图形模型来推理汇总社交信号，从而得到与每一社交概念相关联的机率分布的实时估计。

图2为根据实施例的适于产生视频分析流的方法30的流程图。尽管参考基于云的计算系统18的一个或多个服务器22的处理器28来描述方法30的以下描述，但请注意，方法30可以由安置在可能能够与相机12和/或基于云的计算系统18通信的其它装置上的一个或多个其它处理器来执行，所述其它装置例如计算装置20或与社交行为辨识系统10相关联的其它组件。另外，尽管以下方法30描述可以执行的数种操作，但请注意，可以用多种合适次序来执行方法30，并且可能并不执行所有操作。应了解，方法30可以分布在基于云的计算系统18的服务器20之间。请注意，各种模块(例如，跟踪、肢体运动分析、PTZ相机控制、面部分析和/或推断)可以用于执行方法30。

现参考方法30，处理器28可以在环境16中经由PTZ相机12来跟踪(框32)个体14。处理器28还可以基于空时兴趣点产生(框34)每一个体14的运动特征标志。处理器28还可以通过控制PTZ相机12来捕获(框36)高分辨率面部图像。并且，处理器28可以基于面部图像来估计(框38)面部表情和视线方向。处理器28接着可以产生(框40)视频分析流。对于每一帧，视频分析流可以由个人描述符的集合组成，所述描述符对下列各项进行编码：(1)地点坐标位置，(2)运动特征标志，(3)表情概况(开心、害怕、惊讶、沮丧、愤怒)和(4)视线方向(竖直和水平)。另外，每一个体14可以经由跟踪ID联系到先前的个人观察结果，这可以实现时间分析。

使用视频分析流，基于云的计算系统18和/或计算装置20可以执行单次学习来确定是否辨识出了特定行为。因此，图3为根据实施例的适于经由单次学习检测行为的方法50的流程图。尽管参考基于云的计算系统18的一个或多个服务器22的处理器26来描述方法50的以下描述，但请注意，方法50可以由安置在可能能够与相机12和/或基于云的计算系统18通信的其它装置上的一个或多个其它处理器来执行，所述其它装置例如计算装置20或与社交行为辨识系统10相关联的其它组件。另外，尽管以下方法50描述可以执行的数种操作，但请注意，可以用多种合适次序来执行方法50，并且可能并不执行所有操作。应了解，在一些实施例中，方法50可以分布在基于云的计算系统18和计算装置20的服务器22之间。

现参考方法50，处理器28可以接收(框52)上文由图2的方法30产生的视频分析流。在一些实施例中，信号产生器模块可以接收视频分析流。执行信号产生器模块的处理器28可以从视频分析流产生(框54)元数据。信号产生器模块还可以基于元数据产生(框56)时间序列。即，时间序列可以每帧包括范围介于0到1的值。信号产生器模块可以基于时间序列产生(框58)范围介于0到1的情绪评分。信号产生器模块可以包括界定模块行为的参数集合。通过允许对每一信号产生器进行参数表示，用户可以实例化给定信号产生器的特定变型。相反地，可以通过考虑信号产生器参数的排列来产生信号产生器的多个变型。信号产生器组可以包括众多信号产生器，并且使得能够维持可以用于表征给定行为的信号产生器的集合。

一旦信号产生器模块或信号产生器组已处理行为，就基于情绪评分产生(框60)特征标志。在一些实施例中，特征标志可以包括由每一信号产生器模块产生的情绪评分。特征标志可以提供给定行为的描述。处理器28可以确定(框62)特征标志是否匹配另一行为特征标志。可以经由机器学习(例如，受管理或无管理的)来实现特征标志对之间的匹配。受监督机器学习可以涉及对由各种规定行为组成的训练和测试数据集的收集。机器学习算法可以产生基于标记为正(positive)(相同类型行为的两个实例)或负(negative)(不同行为的两个实例)的行为对的模型。机器学习算法接着可以界定情绪权重，以便在正行为对与负行为对之间作出判别。

可以将新观察到的行为与可能匹配所观察行为的特征性或查询行为进行相似性评定，所述特征性或查询行为例如犯罪行为(例如，闲荡、恶意破坏、袭击、偷窃、非法入侵)或犯罪前或冲突前行为(攻击)。举例来说，非法入侵行为在特征性上可能不同于经授权呆在某一位置的个体的行为。相对于经授权个体，非法入侵者可能展现特征性视线方向改变(例如，察看观察者肩部)。因此，所述行为特征标志可能包括与鬼鬼祟祟相关联的情绪。可以经由视频分析流捕获这些视线方向和其随时间推移的改变，并且将其用于产生与鬼鬼祟祟相关联的时间序列值。另一实例可能包括与产生涂鸦相关联的行为。与这种行为相关联的情绪可能包括重复运动(与喷漆罐的运动相关联的往复运动)以及与望风相关联的情绪。观察到的行为或查询行为也可以是有益或无私的行为，例如旁观者提供医疗护理。如本说明书中所提供的成对匹配可以在袭击情况与医疗情况之间作出区分，即使所述两种情况都可以从视频数据分析产生指示俯卧个体和位于俯卧个体旁的第二个体的特征标志。区分情绪可能与关心或恐慌概念相关联。

图4为根据实施例的用于执行单次学习的实例模块的框图。所述模块可以存储为服务器22和/或计算装置20的存储器24中的计算机指令，并且可由服务器22和/或计算装置20的处理器28执行。所述模块可以包括可用于测试目的的数据模拟器70。举例来说，数据模拟器70可以包括产生大量行为的基于代理的模拟器。所述模块还可以包括可以连接到数据模拟器70或社交行为辨识系统10的数据收集器72。数据收集器72可以从相机12收集视频分析流以及其相关联原始视频数据。

另一模块可以包括使用户能够建构信号产生器组的信号产生器组建立器74。用户可以从现有信号产生器原型的集合进行选择，并且可以界定特定参数设定集合或指导社交行为辨识系统10产生给定信号产生器的任何数目个排列。信号产生器原型的初始集合可以包括情绪效价、视线标准差、视线参与度、位置接近度、位置速度和运动幅度。

另一模块可以包括视频分析流观察仪76，其使开发者能够视觉地分析给定视频分析流和相关联原始视频。这种模块可以支持建构新的信号产生器。另外，可以使用信号产生器组观察仪78模块，其使开发者能够相对于观察到的行为视觉地分析给定信号产生器的行为。

各种实验是使用所公开的单次学习技术来执行。所述实验涉及收集十三对行为，并且实例化十八个信号产生器的初始集合。更具体来说，指定十三种行为，并且要求三个志愿者14执行每一行为的两种版本，从而得到二十六个观察到的行为或13对行为。选定行为是三个人14(彼此认识)刚经过、陌生人擦肩而过、朋友间的邂逅(愉快)、两个人正等待第三个朋友(其会面迟到)、形成一群人并且以斗殴开始并结束争吵、两个人接近毒贩并且购买毒品、两个人迷路了并且向旁观者问路、标签游戏(一个人尝试给其它人贴标签)、三个陌生人站在一起(一个人昏倒并且其它人试图提供帮助)、乞丐乞讨零钱、街头艺人(杂耍人或乐师)获得小费、跟踪者开始尾随一对人，以及两个人14开始给墙壁喷漆(涂鸦)同时一个人望风。

产生具有十八个信号产生器的信号产生器组。这能通过针对六个信号产生器原型中的每一个任意地选择三个参数设定来实现。并且，利用在任何两个观察到的行为之间产生距离测量的单次学习。这可以通过针对每一观察到的行为产生特征向量描述符，并且接着计算每一特征向量描述符之间的欧几里得距离(Euclidean distance)来实现。在一些实施例中，特征向量可以由信号产生器中的每一个产生的情绪评分组成。

可以参考图5到7描述将初始信号产生器组应用于观察到的测试序列的结果。从图5开始，描绘根据实施例的用于单次学习的十三对行为的矩阵表示80。如所描绘，第i行为与第i行(第一试验)和第i列(第二试验)相关联。使用单次学习距离测量，可以计算每一列与每一行的匹配等级。因此，最优执行可以得到跨越秩矩阵的对角线的秩值1。

为此目的，图6描绘根据实施例的基于十三对观察到的行为和各自能够产生每一行为的情绪评分的十八个信号产生器的所得秩矩阵90。如所描绘，跨越秩矩阵的对角线92包括接近1的相当一致的秩值。

图7为根据实施例的上文所描述的单次学习实验的累计匹配特征性(CMC)曲线100。CMC曲线100的Y值可以表示与X的等级的正确匹配数目或更好数目。最优CMC曲线100为其中对于所有X，Y等于十三的直线。曲线102表示单独使用机会函数将预期到的性能，曲线104表示使用统一的加权函数w(每一信号产生器同等地起作用)观察到的性能，且曲线106表示使用优化加权函数w观察到的性能。如所描绘，单次学习技术的性能(例如，曲线104和曲线106)是次优的，但好于机会函数。

CMC曲线100捕获使用以下距离评分计算出的成对匹配评分：

其中d为距离测量，b为观察到的行为，sg为信号产生器，n为信号产生器的数目，且w为与每一信号产生器相关联的权重。对于初始实验，加权函数w被设定成统一值，这使得所有信号产生器针对距离度量同等地起作用。在给出这种距离度量的情况下，计算成对匹配评分并且测量所有真实匹配的秩。计算额外匹配结果以获得优化加权函数。

所述实验的执行是为了确定通过调整与每一信号产生器相关联的权重w是否可以改进真实匹配性能。为此目的，将整个性能度量界定为与真实匹配相关联的平均秩。由于随w而变的与这种性能测量相关联的表面为非凸面的，因此使用随机数产生器来探测搜索空间。执行由各自表示任意产生的权重向量w的一千个试验构成的实验。对于具有统一值的w，观察到平均真实等级为3.7。在所述一千个试验搜索之后，这个值减小到2.1。如可以从CMC曲线100看出，具有秩1的真实匹配的数目从4变到7。所述优化方法得到大约一半的行为接收到与其真实匹配的最好匹配。相反地，如果使用完全随机的匹配函数，那么将预期13个行为中仅有1个行为接收到其真实匹配的最好等级。

本发明的技术效果包括实例化用于行为辨识的单次学习框架。在给出查询行为(例如，接头滞留)的例子的单个观察结果的情况下，社交行为辨识系统10可以将任何后续观察结果分类为是这类行为的另一实例还是并非这类行为。因此，可以用标称(例如，单个例子)量的数据来训练社交行为辨识系统10。社交行为辨识系统10可以获得任一对观察到的行为，并且确定所述两个行为是否匹配。社交行为辨识系统10可以使用并非由任何个体随身携带(例如，远离人14定位)的各种相机12。相机12可以用于捕获并且分析个人14在群体/群组层面交互中的非语言线索(例如，情感情绪、接近度、活动/运动、参与度)。

本书面描述用实例来公开包括最佳模式的实施例，并且还使所属领域的技术人员能实践所公开的主题，包括制造和使用任何装置或系统以及执行任何包括在内的方法。发明主题的可专利性范围由权利要求书界定，并且可以包括所属领域的技术人员能够得到的其它实例。如果这种其它实例具有与所附权利要求的字面语言相同的结构元件，或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件，那么这种其它实例希望在权利要求的范围内。