在监控系统中捕获一系列事件的制作方法

监控系统可以包括传感器、相机等，以监控和记录在环境内发生的活动。例如，商业场所(例如，仓库)可以包括相机(例如，固定的、可移动的)和/或传感器，相机(例如，固定的、可移动的)和/或传感器响应于在商业场所内和/或周围发生的活动。记录可以被提供为存储在计算机可读文件(例如，图像文件、视频文件、音频文件)中的数字记录。记录的长度可以跨越数十、数百甚至数千个小时。例如，监控系统可以提供环境的24小时记录，并且产生的记录可以存储数天、数周、数月甚至数年。进一步地，可以提供多个记录，每个记录(或记录集)来自监控系统的相应的记录设备(例如，相机)。

在一些实例中，响应于事件，可以察看一个或多个记录，以便解决事件。例如，如果产品在仓库中的运输期间丢失，则可以回顾可能已经捕获了产品穿过仓库的移动的记录，以帮助找到丢失的产品。作为另一示例，如果发生事故，可以回顾记录以帮助了解事故的原因。然而，记录的多样性和记录的长度可能需要时间密集并且资源密集的回顾，以发现(多个)记录的相关区段。

技术实现要素：

本公开的实施方式总体上涉及在监控系统中捕获一系列事件。更特别地，本公开的实施方式涉及从由多设备监控系统所记录的数据的主体中提供数据序列和相应描述。

在一些实施方式中，动作包括：接收多维数据集的至少一部分，多维数据集与由多设备监控系统所记录的数据相对应，多维数据集包括针对多设备监控系统的设备集中的每个设备、在相应的时间段内和在设备集中的设备上的特征集；处理多维数据中的至少一部分多维数据，以标识由多设备监控系统的设备集中的相应的设备所记录的特征集；在位置维度上将第一设备的特征集相对于第二设备的特征集进行比较，以确定第一设备的特征集中的第一特征对应于第二设备的特征集中的第二特征；通过基于比较从多维数据集中选择适当的特征集，来提供特征集的序列，序列在设备集的特征集之间提供对象的前进的顺序；以及生成包括多个节点的图形，每个节点对应于位置并且包括相应的记录数据和描述。该方面的其它实施方式包括对应的系统、装置和计算机程序，其被配置为执行在计算机存储设备上编码的方法的动作。

这些和其它实施方式可以各自可选地包括以下特征中的一个或多个特征：通过使用机器学习(ml)模型处理记录数据，来基于特征提取提供多维数据集；ml模型被提供为卷积神经网络(cnn)；提供序列包括基于设备标识后续设备、以及标识潜在后续设备集，每个潜在后续设备与概率相关联；第一设备的特征集相对于第二设备的特征集在时间维度上进行比较，以确定第一设备的特征集中的第一特征对应于第二设备的特征集中的第二特征；使用机器学习技术将第一设备的特征集相对于第二设备的特征集进行比较；动作进一步包括使用知识图来确定相对于第二设备的位置的第一设备的位置；相应的记录数据包括由该位置处的相应设备所捕获的图像；以及根据知识图来确定描述，并且该描述指示位置。

本公开还提供了计算机可读存储介质，其被耦合到一个或多个处理器，并且具有在其上存储的指令，该指令在由一个或多个处理器执行时使得一个或多个处理器根据本文中所提供的方法的实施方式来执行操作。

本公开还提供了用于实现本文中所提供的方法的系统。系统包括一个或多个处理器、以及被耦合到一个或多个处理器的计算机可读存储介质，该计算机可读存储介质具有在其上存储的指令，该指令在由一个或多个处理器执行时使得一个或多个处理器根据本文中所提供的方法的实施方式来执行操作。

应当理解，根据本公开的方法可以包括本文中所描述的方面和特征的任何组合。即，根据本公开的方法不限于本文中具体描述的方面和特征的组合，还包括所提供的方面和特征的任何组合。

在附图和下面的描述中阐述了本公开的一个或多个实施方式的细节。根据说明书和附图以及根据权利要求，本公开的其它特征和优点将是显而易见的。

附图说明

图1描绘了可以执行本公开的实施方式的示例系统。

图2描绘了根据本公开的实施方式的示例模块架构。

图3描绘了示例知识图的示例部分。

图4描绘了根据本公开的实施方式所提供的示例序列。

图5描绘了根据本公开的实施方式的示例图。

图6描绘了可以在本公开的实施方式中执行的示例过程。

具体实施方式

本公开的实施方式总体上涉及在监控系统中捕获一系列事件。更具体地，本公开的实施方式涉及序列生成平台，序列生成平台从由多设备监控系统所记录的数据的主体中提供数据序列和相应描述。实施方式包括以下动作：接收多维数据集的至少一部分，多维数据集与由多设备监控系统所记录的数据相对应，多维数据集包括针对多设备监控系统的设备集中的每个设备、在相应的时间段内和在设备集中的设备上的特征集；处理多维数据中的至少一部分多维数据，以标识由多设备监控系统的设备集中的相应设备所记录的特征集；在位置维度上将第一设备的特征集相对于第二设备的特征集进行比较，以确定第一设备的特征集中的第一特征对应于第二设备的特征集中的第二特征；通过基于比较从多维数据集中选择适当的特征集，来提供特征集的序列，序列在设备集的特征集之间提供对象的前进的顺序；以及生成包括多个节点的图形，每个节点对应于位置并且包括相应的记录数据和描述。

为了提供针对本公开的实施方式的情境，可以由包括传感器、相机等的监控系统来监控环境，以记录在环境内发生的活动。例如，商业场所(例如，仓库、办公楼、机场)可以包括相机(例如，固定的、可移动的)和/或传感器，相机(例如，固定的、可移动的)和/或传感器响应于在商业场所内和/或周围发生的活动。记录可以被认为是策略性的，因为它们可以包含能够用于解决事件和/或提高效率和/或环境的安全性的有用信息。然而，在记录中所提供的相关信息通常隐藏在数百或者甚至数千小时的记录中。检索相关信息可能需要时间密集并且资源密集的记录回顾，这可能容易出错(例如，错过记录内的相关信息)。

鉴于此，并且如本文进一步详细描述的，本公开的实施方式提供了序列生成平台，其利用计算机视觉和强化学习来标识捕获事件或者捕获感兴趣的事件(例如，事故)中的至少一部分事件的记录内的记录数据(例如，图像、声音)的序列。在一些实施方式中，基于示例记录，序列生成平台使用机器学习以预测监控系统(例如，(多个)相机)的哪个(或哪些)部件在给定时间最相关，并且建立表示事件的连贯的图像和/或音频序列。在一些实施方式中，用户可以向序列生成平台查询记录的相关部分，并且基于与被查询的事件相关的机器学习(ml)模型来自动标识和检索数据(例如，图像和/或音频)的序列。

图1描绘了可以执行本公开的实施方式的示例系统100。示例系统100包括计算设备102、后端系统108和网络110。在一些示例中，网络110包括局域网(lan)、广域网(wan)、因特网或其组合，并且连接网站、设备(例如，计算设备102)和后端系统(例如，后端系统108)。在一些示例中，可以通过有线和/或无线通信链路访问网络110。例如，诸如智能电话的可移动计算设备可以利用蜂窝网络来访问网络110。

在所描绘的示例中，后端系统108包括至少一个服务器系统112和数据存储114(例如，数据库和知识图(knowledgegraph)结构)。在一些示例中，至少一个服务器系统112托管用户可以使用计算设备与其交互的一个或多个计算机实现服务。例如，根据本公开的实施方式，服务器系统112可以托管用于执行预测模型以及解释预测模型的结果的计算机实现服务。

在一些示例中，计算设备102可以包括任何适当类型的计算设备，诸如台式计算机、膝上型计算机、手持计算机、平板计算机、个人数字助理(pda)、蜂窝电话、网络设备、相机、智能电话、增强型通用分组无线电服务(egprs)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、或者这些设备或其它数据处理设备中的任何两个或更多个的适当组合。

示例系统100包括其中具有多个位置122、124、126、128的场所120。例如，场所120可以包括商业场所，并且位置122、124、126、128可以包括商业场所内的相应的部门(例如，制造、装配、存储、装运)。根据本公开的实施方式，场所120被监控，并且其中发生的活动由监控系统130记录。在所描绘的示例中，监控系统130包括固定相机132、134、136、138和可移动相机140。在所描绘的示例中，可移动相机140由无人机142承载。然而，可以设想，相机可以通过附接到任何适当的可移动交通工具(例如，固定翼飞机、轮式车辆、履带车辆)而是可移动的。

在所描绘的示例中，监控系统130包括中央单元146，该中央单元146与固定相机132、134、136、138和可移动相机140中的每个相机进行通信(例如，有线、无线)。例如，相机132、134、136、138、140中的每个相机可以记录图像、视频和/或音频，并且可以向中央单元146提供图像、视频和/或音频。在一些示例中，中央单元146可以在网络110上将图像、视频和/或音频传送到后端系统108，用于根据本公开的实施方式来处理。在一些实施方式中，监控系统130记录实体150穿过场所120的移动。在一些示例中，实体150可以包括对象(例如，包裹、零件、货板、交通工具)和/或人(例如，雇员、访客)。

在一些实施方式中，后端系统108托管序列生成平台，用于从由监控系统130提供的图像、视频和/或音频中捕获一系列事件。更特别地，后端系统108可以处理图像和/或视频，以提供数据序列和相应的描述。在一些示例中，可以提供数据序列和相应的描述用于用户回顾。例如，用户160可以在计算设备102上回顾数据序列和相应的描述。

本文中参照示例情境进一步详细描述了本公开的实施方式。示例情境包括对象穿过商业场所的移动。例如，对象可以包括被移动穿过制造场所的产品。然而，可以设想，可以在任何适当的情境中实现本公开的实施方式。其它示例情境包括实体穿过场所(例如，零售场所、机场、火车站、装运场、家)的移动。

根据本公开的实施方式，监控系统(例如，监控系统130)的设备(例如，图1的相机132、134、136、138、140)的类型、位置和/或移动性可以被提供为知识图或者知识图的一部分。简单来说，在知识图内提供了监控系统的映射。

在一些示例中，知识图是数据合集，并且基于表示实体和实体之间关系的模式而相关。数据可以在逻辑上描述为图形(即使还以表格形式来提供)，其中每个不同的实体由相应的节点表示，并且一对实体之间的每个关系由节点之间的边表示。每个边与关系相关联，并且边的存在表示在由边连接的节点之间存在相关联的关系。例如，如果节点a表示人alpha，节点b表示人beta，并且边e与“是……的父亲”的关系相关联，然后边e在图形中在从节点a至节点b的方向上连接节点，表示了alpha是beta的父亲的事实。在一些示例中，可以使用模式相关知识来扩展知识图(例如，alpha是概念人，beta是概念人，并且“是……的父亲”是概念人的两个实体/实例之间的属性或关系)。添加模式相关信息有助于评估推理结果。

可以通过各种物理数据结构中的任何物理数据结构来表示知识图。例如，知识图可以由三元组来表示，每个三元组表示按顺序的两个实体以及从第一实体到第二实体的关系；例如，[alpha,beta,是……的父亲]，或者[alpha,是……的父亲,beta]是表示相同事实的备选方式。每个实体和每个关系可以并且将一般地被包括在多个三元组中。

在一些示例中，每个实体可以作为节点存储一次，例如作为记录或对象，并且可以通过链表数据结构来链接到实体具有的所有关系以及实体所关联的所有其它实体。更具体地，知识图可以被存储为邻接列表，其中邻接信息包括关系信息。在一些示例中，用相应的唯一标识符来表示每个不同的实体和每个不同的关系。

由知识图表示的实体不一定是有形的事物或者具体的人。实体可以包括特定的人、地点、事物、艺术作品、概念、事件或者其它类型的实体。因此，知识图可以包括限定人员之间的关系的数据(例如，电影中的联合主演)；限定人员和事物之间的关系的数据(例如，特定歌手录制了特定歌曲)；限定地点和事物之间的关系的数据(例如，特定类型的酒来自特定地理位置)；限定人员和地点之间的关系的数据(例如，特定的人出生在特定的城市)；以及实体之间的其它种类的关系。

在一些实施方式中，每个节点具有基于节点所代表的实体的种类的类型；并且类型可以各自具有指定数据种类的模式，数据种类可以被维护为关于由该类型的节点所表示的实体以及应该如何存储数据。例如，用于表示人的类型的节点可以具有限定诸如出生日期、出生地点等信息的字段的模式。这种信息可以由具体类型数据结构中的字段或者由看起来像节点-关系-节点三元组(例如，[人标识符、出生于、日期])的三元组或者以任何其它方便的预定义方式来表示。在一些示例中，由类型模式所指定的信息中的一些或所有信息可以在知识图中由到节点的链接来表示，例如[一个人标识符、……的孩子、另一人标识符]，其中其他人标识符是图形中的节点。

图2描绘了根据本公开的实施方式的示例模块架构200。示例模块架构200包括序列生成平台202，序列生成平台202处理输入数据214以提供输出数据216。在一些示例中，输入数据214包括记录数据集。在一些示例中，记录数据集包括从监控系统(例如，图1的监控系统120)的两个或更多个部件提供的记录数据。在一些示例中，针对给定的时间段(例如，24小时、48小时、72小时、周、月)提供记录数据集。在一些示例中，输出数据216包括序列图，该序列图具有基于记录数据子集的相关联的描述，如本文中进一步详细描述的。在所描述的示例中，序列生成平台202包括特征提取模块204、活动检测器模块206、图形构建器模块208和强化学习模块210。示例模块架构200还包括知识图212。

图3描绘了知识图302的示例部分300a、300b，知识图302表示监控系统的设备的至少一部分。在图3的示例中，与示例情境相对应的概念被提供为节点，并且概念之间的关系被提供为边。示例概念包括监控系统的部件(例如，相机)、部件的类型(例如，移动的、固定的)、以及环境内的位置(例如，分发、包装、交付)。

示例部分300a、300b表示概念之间的相应的时间关系。例如，示例部分300a对应于第一时间或者第一时间范围，并且示例部分300b对应于第二时间或者第二时间范围。在所描绘的示例中，相机_1和相机_4都是移动的相机(例如，在环境内的位置之间可移动)，并且相机_2和相机_3都是固定的(例如，在环境内永久监控相应的位置)。参照示例部分300a，在第一时间或者在第一时间范围内，相机_1监控包装位置，并且相机_4监控分发位置，而相机_2和相机_3分别监控包装位置和交付位置。参照示例部分300b，在第二时间或者在第二时间范围内，相机_1监控交付位置，并且相机_4监控包装位置，而相机_2和相机_3分别监控包装位置和交付位置。

根据本公开的实施方式，记录数据是从监控环境的监控系统(例如，作为图2的输入数据214中的至少一部分)提供的，并且提供了知识图，该知识图表示空间和/或时间关系中的环境与监控系统的部件(例如，相机)的映射。提供了计算机视觉模型，其处理记录数据(例如，图像)，并且将标记应用于记录数据。在一些示例中，标记对应于在记录数据中所捕获的活动和/或对象。提供了强化学习模型，其标识可以在给定的时间处相关的一个或多个相机。在一些示例中，强化是基于结构化的用户反馈，其指示与特定查询(例如，包裹穿过环境的移动)相关的数据(例如，图像)的一个或多个序列。

提供了输出(例如，作为图2的输出数据216的至少一部分)，其捕获事件序列。在一些示例中，输出被提供为序列图，其中图形中的每个节点对应于记录数据(例如，图像)的实例以及相关联的时间戳(例如，捕获图像的时间/日期)。每个节点与提供在相应的图像中所捕获的一个或多个活动的描述相关联。在一些示例中，第一节点对应于发生的事件的第一实例(例如，对象第一次出现在记录数据中)，并且最后一个节点对应于发生的事件的最后一个实例(例如，对象最后一次出现在记录数据中)。

在一些实施方式中，从监控系统提供记录数据(例如，具有或者不具有音频的视频)。例如，图1的监控系统120向图2的序列生成平台202提供记录数据来作为输入数据214。在一些示例中，输入数据214被提供为记录数据集，每个记录数据集对应于监控系统的部件(例如，相机)。例如，针对n个相机的记录数据集(d)(例如，图像)可以提供为：

dc1,dc2,…,dcn

每个相机对应于在知识图中所记录的概念(例如，参见图3以及以上的讨论)。以该方式，每个相机与环境的空间和/或时间关系是已知的。例如，在第一时间，可以从知识图302确定，相机_4正在监控分发，相机_4正在监控包装。相应地，每个记录数据集可以与指示环境内的关系(例如，dc2→包装处的相机_2)的元数据相关联。

在一些实施方式中，每个记录数据集包括在时间段m(例如，数秒)内所记录的数据。在一些示例中，可以向序列生成平台202提供时间段。例如，用户可以提供输入(例如，被包括在输入数据214中)，根据该输入可以确定时间段(例如，指示序列生成平台202分析从第一时间戳到第二时间戳的记录数据的输入，其对应于时间范围，事件被预期在该时间范围内已发生)。

在一些实施方式中，对于每个记录数据集，在图像内(例如，视频数据帧)标识一个或多个特征。这可以被称为特征提取，其可以由图2的特征提取模块204来执行。示例特征包括移动穿过环境的对象(诸如产品)和/或在环境内发生的活动。

更详细地，可以使用计算机视觉模型来执行特征提取(例如，通过图2的特征提取模块204)。在一些示例中，计算机视觉模型是基于历史数据所训练的ml模型。在本情境中，历史数据可以包括对象的图像和/或在环境内发生的活动。在一些实施方式中，计算机视觉模型被提供为神经网络。通常，神经网络包括输入层、输出层和输入层与输出层之间的多个隐藏层。每个层包括与另一层的一个或多个节点连接的一个或多个节点。在一些示例中，基于神经网络的训练(例如，还称为学习)建立并加强(加权(weighted))节点之间的连接。在一些实施方式中，神经网络是卷积神经网络(cnn)。在一些示例中，cnn基于输入数据仅仅为图像数据的明确假设，其提高了处理效率，并且减少了cnn内的参数数目。使用诸如cnn的神经网络的特征提取在本领域中是已知的。因此，目前不再进行通过cnn处理图像以标识图像中的特征的详细讨论。

在一些实施方式中，特征提取的输出(例如，特征提取模块204的特征提取的输出)包括聚合成多维数据集的多个特征集(例如，针对每个图像的特征集)。在一些实施方式中，多维数据集包括部件(例如，相机)、时间(图像)和特征的维度。相应地，多维数据集中的每个数据点对应于部件、时间和特征(例如，对象)，如果有特征(例如，对象)的话，其被记录在与部件和时间相关联的图像中。简单来说，多维数据集记录由哪些摄像机记录以及何时记录的特征。

根据本公开的实施方式，提供多维数据集作为用于活动检测和强化学习的输入。例如，特征提取模块204将多维数据集作为输入提供给活动检测器模块206和强化学习模块210。在一些实施方式中，活动检测包括分析多维数据集的相应维度切片。在一些实施方式中，每个维度切片是与相应特征(例如，对象活动)相对应的二维切片，二维切片包括部件维度和时间(图像)维度。简单来说，每个维度切片是针对每个特征(例如，对象)的部件(例如，相机)和数据(例如，图像)的矩阵。

在一些实施方式中，分析每个维度切片以将特征标识为一个或多个图像内的特定类型的特征。例如，如上所述的特征提取可以指示特征存在于图像中，并且维度切片被分析以确定特征的具体类型(例如，在图像中所记录的包裹)。

在一些实施方式中，活动检测的输出包括矢量集，每个矢量对应于图像的特征，以及分配给特征的一个或多个标记，每个标记包括指示特征确实与相应标记相对应的可能性的相应置信度分数。例如，标记可以对应于相应的活动，并且矢量可以指示与活动相对应的特征的可能性(例如，分发，0.6；移除，0.1；打开，0.05)。矢量集被提供用于强化学习。例如，活动检测器模型206将矢量集提供给强化学习模块210。

在一些实施方式中，执行强化学习以标识在给定时间处可能相关的一个或多个部件(例如，相机)，并且强化学习基于结构化用户反馈，该结构化用户反馈指示与特定查询(例如，包裹穿过环境的移动)相关的一个或多个数据序列(例如，图像)。强化学习提供了输出，该输出包括部件(例如，相机)的序列。例如，强化学习模块210向图形构建器模块208提供输出。

参考图4描述示例强化学习，图4描绘了从监控系统的相机集提供的示例序列。在所描绘的示例中，相机集提供相应的图像400(例如，帧)，相应的图像400具有捕获特征(例如，对象)的图像。在一些实施方式中，基于用户输入提供策略(例如，被提供给强化学习模块210作为输入数据214的至少一部分)。在一些示例中，用户输入可以被提供作为预期的图像序列(例如，相机序列)。例如，用户输入可以针对移动穿过环境的对象限定预期的图像序列。参考图1，预期序列可以与物体150穿过位置122、124、126、128的预期移动相对应。示例序列可包括从制造到装配，到存储，返回到装配，然后到装运的移动。最终，预期的图像序列可以来自相机132、来自相机134、来自相机136、来自相机134以及来自相机138。

参考图4的示例，用户输入可以包括1、2、3、4、5、6、7的序列，其用于训练策略。策略对应于图4的图像402。策略可以与记录数据一起使用，并且信息形成知识图以向当前考虑的记录数据提供相机序列。使用图4的示例，示例序列420可以包括8、9、10、11、12和13，其对应于图4的图像404(例如，捕获感兴趣对象的图像404的相机c2、cn-1和cn)。在一些示例中，示例序列基于从知识图提供的相机和位置之间的关系。

根据本说明书的实施方式，知识图指示哪些相机覆盖哪些区域。根据相机的性质，覆盖范围可能是永久的或暂时的。在一些示例中，通过遵循知识图的逻辑(例如，从打包到分发，然后到交付区域)来标识事件序列。在知识图中编码活动的序列。图形负责评估潜在序列的一致性(由区域引导，并由静态/动态相机流式传输(streamed))。例如，由于物理限制，知识图对从包装到交付的移动进行编码是不可能的(不一致的)(例如，分发区域受到监控；通过遵循知识图逻辑，从包装移动到交付的任何事物都会在分发区域中被注意到)。

在一些示例中，提供序列用于向用户显示，并且用户提供指示序列是否准确的用户输入。在图4的示例中，用户输入指示示例序列420的8、9、10部分是不正确的，而示例序列420的11、12、13部分是正确的。

根据本公开的实施方式，用户输入被提供为用于强化学习的反馈，其改进了序列的预测。强化学习可以基于奖励范例来执行，其中学习了最大化奖励值的策略(π)。在一些示例中，如果预测值(例如，序列中的相机)是正确的，则奖励值递增(例如，增加1)，并且如果预测值是不正确的，则奖励值保持静态(或可以递减)。对于图4的示例序列420，奖励值可以被提供为三(3)(例如，3个相机对于序列中提供的6个相机是正确的)。相应地，可以调整策略，使得在未来序列中序列部分8、9、10不在序列部分11、12、13之前加权(weighted)。

在一些示例中，策略可以提供表示给定当前相机的序列中的后续相机的可能性的一系列概率。例如，如果在序列中标识第一相机(例如，在第一时间由第一相机提供的图像中检测到感兴趣的对象)，则可以基于多个相机的相应的概率来确定序列中的下一相机。在一些示例中，基于特征(例如，对象、活动)来确定概率。例如，对于给定的相机ci和给定的特征，序列中的下一相机ci+1可以基于相关联的概率来确定。在一些示例中，相机集可以包括相关联的概率c1,p1；c2,p2；…；cn,pn。在一些示例中，相关联的概率取决于正被考虑的特征。例如，对于第一特征(例如，对象)，p1可以包括第一值，并且对于第二特征(例如，活动)，p1可以包括与第一值不同的第二值。在一些实施方式中，具有最高概率的相机被选择为序列中的下一相机。

相应地，强化学习提供相机(图像)的序列作为输出以提供图形。例如，强化学习模块210向图形构建器模块208提供序列。在一些实施方式中，图形构建器模块208提供序列中的每个相机作为节点，其中在节点之间的边表示时间顺序。每个节点与由相应的相机所提供的图像相关联，图像捕获了特征(例如，对象、活动)。每个节点与基于知识图中所记录的信息的描述相关联。在一些示例中，节点的描述被提供为知识图中相应的相机所涉及的位置。

图5描绘了根据本公开的实施方式的示例图500。示例图500包括节点502，每个节点502对应于相机并且具有与其相关联的图像504和描述506。相应地，示例图500提供来自记录数据的更大主体的概要，概要表示环境内特征的时间序列，并且以时间顺序提供记录数据(例如，图像)。在图5的示例中，示例图500指示感兴趣的特征(例如，对象)穿过环境从制造移动到装配，到存储，到装配，以及到装运，从而提供记录数据(图像)作为针对序列中的每个步骤的证据。

图6描绘了可以在本公开的实施方式中执行的示例过程600。在一些示例中，使用由一个或多个计算设备(例如，图1的后端系统108)执行的一个或多个计算机可执行程序来提供示例过程600。示例过程600可以被执行以从由多设备监控系统所记录的数据主体中提供数据序列以及相应的描述，如本文所描述的。

一个或多个记录数据集被接收(602)。例如，图2的序列生成平台202接收记录数据集作为输入数据214(例如，来自图1的监控系统120)。多维数据集基于特征提取而被提供(604)。例如，特征提取模块204处理输入数据214的至少一部分，以执行特征提取，并且提供多维数据集，如本文所描述的。一个或多个矢量基于活动检测而被确定(606)。例如，活动检测器模块206基于多维数据集来提供一个或多个矢量，如本文所描述的。

序列基于强化学习而被提供(608)。例如，强化学习模块210基于一个或多个矢量和多维数据集来提供序列，如本文所描述的。图形基于序列和知识图而被生成(610)。例如，图形构建器模块208基于序列和知识图来提供图形(例如，图5的示例图500)，如本文所描述的。图形被传送(612)。例如，序列生成平台202提供图形作为输出数据216的至少一部分。在一些示例中，图形被传送用于在计算设备上向用户显示。

本说明书中所描述的实施方式和所有功能操作可以在数字电子电路、或者在计算机软件、固件或硬件中实现，其包括本说明书中所公开的结构及其结构等同、或者它们中的一个或多个的组合。实施方式可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置执行或者以控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合、或它们中的一个或多个的组合。术语“计算系统”包括用于处理数据的所有装置、设备和机器，作为示例包括可编程处理器、计算机、或者多个处理器或计算机。除了硬件之外，装置还可以包括为所讨论的计算机程序(例如，代码)创建执行环境的代码，该执行环境构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合。传播信号是人工生成的信号(例如，机器生成的电信号、光信号或电磁信号)，其被生成以对信息进行编码以便传送到合适的接收器装置。

计算机程序(还称为程序、软件、软件应用、脚本、或代码)可以以适当形式的编程语言(包括编译或解释语言)编写，并且它可以以任何适当的形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以被存储在文件的一部分中，该文件保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)，程序可以被存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。可以部署计算机程序以在一个计算机上、或者在位于一个场所或分布在多个场所并通过通信网络互连的多个计算机上执行。

本说明书中所描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程还可以由专用逻辑电路(例如，fpga(现场可编程门阵列)或asic(专用集成电路))执行，并且装置也可以实现为专用逻辑电路(例如，fpga(现场可编程门阵列)或asic(专用集成电路))。

适合用于实行计算机程序的处理器作为示例包括通用微处理器和专用微处理器以及任何适当种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁、磁光盘或光盘)，或者可操作地被耦合以从该一个或多个大容量存储设备接收数据或将数据传送到该一个或多个大容量存储设备或者两者皆有。然而，计算机不需要具有这种设备。此外，计算机可以被嵌入另一设备(例如，移动电话、个人数字助理(pda)、移动音频播放器、全球定位系统(gps)接收器)中。适合用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为示例包括半导体存储器设备(例如，eprom、eeprom和闪存设备)、磁盘(例如，内部硬盘或可移动盘)、磁光盘以及cdrom和dvd-rom盘。处理器和存储器可以由专用逻辑电路补充或者并入专用逻辑电路中。

为了提供与用户的交互，实施方式可以在计算机上实现，该计算机具有用于向用户显示信息的显示设备(例如，crt(阴极射线管)、lcd(液晶显示器)、led(发光二极管)监视器)、以及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。其它种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何适当形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；可以以任何适当的形式接收来自用户的输入，包括声学、语音或触觉输入。

实施方式可以在包括后端部件(例如，作为数据服务器)的计算系统、或者包括中间件部件(例如，应用服务器)的计算系统、或者包括前端部件(例如，具有图形用户界面或者网络浏览器的客户端计算机，用户可以通过图形用户界面或者网络浏览器与实施方式交互)的计算系统、或者一个或多个这种后端、中间件、或前端部件的任何适当的组合中实现。系统的部件可以通过数字数据通信的适当的方式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)和广域网(“wan”)(例如，因特网)。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。

虽然本说明书包含许多细节，但是这些细节不应被解释为对本公开或可以要求保护的范围的限制，而是作为特定实施方式特有的特征的描述。在分离的实施方式的上下文中在本说明书中所描述的某些特征也可以在单个实施方式中组合实现。相反，在单个实施方式的上下文中所描述的各种特征也可以分离地或以任何合适的子组合在多个实施方式中实现。此外，尽管特征在上文中被描述为以某些组合甚至是最初所要求保护的那样来起作用，但是在一些情况中，可以从所要求保护的组合中删除来自组合的一个或多个特征，并且所要求保护的组合可以涉及子组合或者子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应该被理解为要求以所示的特定顺序或按序列顺序执行这种操作，或者执行所有图示的操作，以实现期望的结果。在某些情况中，多任务并行处理可以是有利的。此外，在上述实施方式中各种系统部件的分离不应该被理解为在所有实施方式中都要求这种分离，并且应当理解，所描述的程序组件和系统通常可以在单个软件产品中集成在一起或者打包成多个软件产品。

已经描述了大量实施方式。然而，应当理解，可以在不脱离本公开的精神和范围的情况下进行各种修改。例如，可以通过重新排序、添加或移除步骤来使用上面示出的各种形式的流程。相应地，其它实施方式在所附的权利要求的范围内。