监视系统中的更新的分析程序的验证的制作方法

1.本发明涉及包括多个监视设备的监视系统中的更新的分析程序的评估。


背景技术：

2.监视系统，包括多个监控/监视设备(诸如比如相机、雷达设备和音频设备)， 被广泛地用于了解特定环境或场景中的对象和事件。这种多设备系统中的监视设备 在地理上可以是分布式的，以允许例如检测未经授权的访问和犯罪行为，以及跟踪 被监视的环境或场景内的运动。
3.监视设备获取的监视数据通常经过计算机辅助分析程序，该计算机辅助分析程 序用于检测和识别被监视的环境或场景中的物体、声音、运动和变化。优选地，分 析程序由专门为此目的开发的软件定义。然而，众所周知，此类软件的开发人员面 临着测试和验证新版本，以确定和纠正软件故障的问题。软件故障可能由于程序员 的错误或失误而发生，从而导致软件代码中的错误。如果执行此故障，在特定情况 下系统将产生错误的结果甚至停止工作，从而导致系统故障或停机。
4.因此，测试新开发的事物是常见的做法。理想情况下，新开发在尽可能多的输 入和先决条件的组合下进行测试。然而，软件测试的一个基本挑战是，在输入、状 态和硬件类型的所有组合下进行测试通常是不可行的，因此，开发人员使用一些策 略来选择在可用时间和资源内可行的测试。
5.一种策略是让软件的新版本由选定的用户子集进行测试，诸如一小组已安装的 监视系统。如果性能令人满意，则可以将新版本推出至剩余的用户或系统。尽管该 策略可以提供有关被测软件质量的一些信息，但仍然难以确保测试足以避免故障和 系统停机，并且难以确保所选的监控/监视系统集能够代表所有可能的环境和硬件 类型。现有技术的示例在us 2020/0159685 a1中公开，其涉及用于确定性地再现 数据处理管道的行为的协调组件接口控制框架，以及在us 10,896,116 b1中公开， 其涉及用于控制自动驾驶汽车的软件中的性能回归的检测。


技术实现要素：

6.本发明的目的是提供用于评估包括多个监视设备的监视系统中的更新的分析 程序的方法，其克服或缓解已知方法中的至少一些问题。
7.独立权利要求1、12和15对本发明进行了定义。因此，根据第一方面，提供 了用于评估监视系统中的更新的分析程序的方法，其中，该系统包括多个监视设备， 其中至少一些被布置用于监视相似的环境。该方法包括以下：
8.识别监视系统中的可用处理资源；
9.从多个监视设备中选择第一监视设备，用于该第一监视设备的可用处理资源已 被识别到；
10.从多个监视设备中选择第二监视设备；
11.由第二监视设备获取监视数据；
12.对监视数据执行当前分析程序，从而产生第一结果；
13.将监视数据发送至第一监视设备；
14.在第一监视设备中对监视数据执行更新的分析程序，从而产生第二结果；
15.基于第一结果计算第一性能值，该第一性能值指示第二监视设备在执行当前分 析程序时的性能；
16.基于第二结果计算第二性能值，该第二性能值指示第一监视设备在执行更新的 分析程序时的性能；以及
17.基于第一性能值与第二性能值之间的比较来评估更新的分析程序。
18.若干优点与本方面相关。首先，通过基于可用处理资源来选择用于执行更新的 分析程序的监视设备，可以有效地使用多余的资源进行评估。这使得评估在减少对 系统整体性能影响的情况下执行。第二，使用第一监视设备对第二监视设备所获取 的监视数据执行更新的分析程序，允许在不干扰或影响第二监视设备的操作的情况 下对更新的分析程序进行评估。因此，可能比第二监视设备具有更多可用资源的第 一监视设备可用于评估更新的分析程序，而不会增加第二监视设备的负担。第三， 可以认为评估对于被布置为监视与第二监视设备相似的环境的一些或所有监视设 备有效。换句话说，本方面允许在将更新推广到第二监视设备和/或监视与第二监 视设备相同或相似的环境的其他监视该设备之前，使用由第二监视设备获取的监视 数据在第一监视设备中对更新进行测试。
19.评估更新的分析程序大体意味着执行分析程序，目的是发现故障并验证其是否 适合使用。更具体地说，这可以涉及验证更新后的版本中没有增加错误，并且进一 步验证分析程序的性能没有受到损害。如下文更详细讨论的，在一些示例中，分析 程序的性能可以是指程序本身的性能，即程序结果在准确性和可靠性方面的质量， 并且在一些示例中是指所利用的处理资源或时间。
20.监视系统可用于保持环境(诸如地理位置或区域)处于监控或观察之下。在本 公开中，术语监控和监视可以互换使用。
21.环境(或场景)可以理解为被监视设备监视或“看到”的任何物理位置、区域或 空间。监视相同(或至少部分相同)物理位置的两个监视设备可能因此获取可能略 有不同(例如，由于不同的视角和视距)但仍被认为相似的表示环境的监视数据， 因为它们(至少部分)源自相同的物理位置，即相同的地理区域或空间。特别地， 环境可以是由监视系统的监视相机成像的场景，或者分别是由雷达-或雷达的音频 设备-或音频系统监视的区域。在一些实施方式中，多个监视设备在地理上可以是 分布式的，并布置成从不同的位置或角度监视相同的物理位置或对象，或者至少部 分地重叠相同的部分。因此，这些环境可以被认为是相似的，如各个监视设备所观 察到的。可替换地，多个监视设备可以监视不同的物理位置、对象或音频环境。在 这种情况下，“相似的环境”可以理解为由监视设备监视的满足相似性要求的位置或 对象。例如，可以认为特定类型的被监视环境相似，诸如室内环境或室外环境。特 定类型的被监视的室内环境或室外环境，诸如办公环境、电梯、楼梯、停车场、车 道等也可以被认为是相似的。例如，可以使用场景分类方法来确定相似度，该方法 旨在将监视区域或这种区域的图像分类为多个预定义场景类别之一。例如，d.zheng 等人在2021年计算机视觉和模式识别中的“场景分类的深度学习：调查”中描述了 此类方法的示例。因
更新的分析程序时用作输入。任何这些措施的增加都可能表明更新的分析程序相比 于当前分析程序受到了损害。
30.可替换地或附加地，第一性能值和第二性能值可以分别指示当前分析程序和更 新的分析程序的准确性或可靠性。例如，性能值可以与正确识别被监视环境中的物 体、动作或声音的能力有关，并且对更新的分析程序的评估可能有助于确保性能不 会因用更新的分析程序替换当前分析程序而受到损害。
31.通常，该构思是利用第一监视设备(用于该第一设备的可用处理资源已被识别 到)来对监视数据执行(可能消耗资源)更新的分析程序。然而，应当理解，剩余 的计算和操作，诸如当前分析程序、第一性能值和第二性能值的计算以及两者的比 较，可以在别处执行，例如通过第二监视设备或通过位于远程的处理装置(也称为 中央处理装置、中央处理器或中央电路)，具体取决于监视系统的架构和通常的可 用处理资源。因此，当前分析程序可以由第二监视设备或由已安装当前分析程序的 中央处理装置执行。此外，基于来自当前和更新的分析程序的结果的第一性能值和 第二性能值的计算，可以分别由第一监视设备、第二监视设备或中央处理装置执行。
32.因此，在一实施例中，第二监视设备可以对监视数据执行当前分析程序，并将 第一结果发送至计算第一性能值的第一监视设备。第一监视设备可以进一步基于第 二结果计算第二性能值。
33.在另一实施例中，第一监视设备可以将第二结果发送至第二监视设备，第二监 视设备可以计算第一性能值和第二性能值。
34.如以上所指示的，更新的分析程序的评估包括第一性能值与第二性能值之间的 比较，可以由第一监视设备和第二监视设备中的一个或由中央处理装置来执行，第 一性能值和第二性能值可以从执行相应性能值的计算的监视设备发送至中央处理 装置。
35.如果评估表明有改进，或至少更新的分析程序符合规范和要求从而实现了其预 期目的，则可以将更新的分析程序发送至第二监视设备和/或用于监视与第二监视 设备监视相同或相似环境的其他监视设备，诸如第三监视设备。换言之，更新的分 析程序可以在第一监视设备中经过验证和确认后，推广到监视系统中剩余的监视设 备中的一个或几个。更新的分析程序可以被认为对于系统的所有与第二监视设备监 视相同或相似的环境的监视设备都已验证和确认。如将在下文进一步讨论的，监视 相同或相似环境的监视设备可以优选地具有类似的硬件类型，以便进一步增加验证 的可靠性。
36.更新的分析程序的传输或升级可以在评估完成后立即在预定或计划的时间点 自动执行，或者根据用户的请求手动执行。
37.如果评估表明更新的分析程序不符合规范和要求，更新的分析程序可以从第一 监视设备回滚并替换(例如，利用当前分析程序)，以免干扰第一监视设备后续的 操作。
38.可以选择系统的多个监视设备中被确定为具有足够的处理资源来执行(并且可 能评估)更新的分析程序的监视设备为第一监视设备。所需的资源可以包括作为与 更新的分析程序一起提交的规范或要求，例如由提供更新的开发人员或实体提交， 或者基于执行当前分析程序所需的资源进行估计。在另一个示例中，可以在更新的 分析程序的执行期间监视所使用的处理资源，并将其用作未来更新的输入。
39.优选地，第一监视设备和第二监视设备可以是类似类型的，以确保第一监视设 备
中更新的分析程序的评估对第二监视设备也有效。这也适用于要评估更新的分析 程序的其他监视设备。因此，监视设备可以是类似的、类似类型的或者包括类似的 硬件。更具体地，类似的监视设备可以包括类似机制或机制类型用于执行分析程序。 类似的监视设备，诸如比如第一监视设备和第二监视设备，例如可以包括类似的硬 件，即硬件加速器、中央处理单元(cpu)或执行分析程序的图形处理单元(gpu)。 硬件加速器的示例包括神经网络(nn)加速器、神经处理器、深度学习处理器(dlp) 和人工智能(ai)加速器。
40.分析程序可以通过深度学习方法来执行，深度学习方法可以理解为一种类型的 机器学习，可能涉及训练模型，通常称为深度学习模型。因此，分析程序可以使用 深度学习模型来执行，该模型被配置和训练以执行手头的分析程序。在一般层面上 看，至这种深度学习模型的输入可以是要被分析的监控或监视数据(诸如图像数据、 雷达数据或音频数据)，并且输出可能是一个张量，其表示数据层级的监控数据的 一个或多个分析结果的置信度分数。在监控数据是图像数据并且分析程序是对象检 测程序的情况下，输出张量可以表示像素级图像数据的一个或多个对象类别的置信 度分数。换言之，深度学习模型可以针对每个像素确定像素描绘一个或多个对象类 中的每个对象的概率。
41.在训练深度学习模型之后，分析程序可被视为已更新。例如，可以通过访问新 的输入数据来激发训练。如果可用于设计、训练和与深度学习模型以及硬件交互的 深度学习框架已被修改或更新，则可以进一步认为分析程序已更新。例如，如果框 架提供商发布了新版本的深度学习框架，就可能出现这种情况。在一些示例中，深 度学习框架的变化可以激发对深度学习模型的新的训练。更新的分析程序因此可以 被理解为正在更新的深度学习模型和深度学习框架中的至少一个，或者至少与当前 分析程序的深度学习模型和深度学习框架不同。因此，根据一些示例，更新的分析 程序可以使用在深度学习框架中操作的深度学习模型来执行，其中深度学习模型和 深度学习框架中的至少一个已更新。
42.将理解的是，在一些实施方式中，监视系统或监控系统可以是或包括被布置为 查看类似场景的相机系统。因此，第一监视设备可以包括第一相机并且第二监视设 备可以包括第二相机。此外，被监视的环境在一些示例中可以是由相机的至少部分 重叠的视场定义的场景。监视数据因此可以包括由第二相机捕获的图像或图像流。
43.监视系统还可以包括采用激光来确定距离并对环境进行成像的光探测和测距 (lidar)系统。
44.在一些实施方式中，监视系统可以是或包括雷达系统，包括作为第一监视设备 的第一雷达设备和作为第二监视设备的第二雷达设备。在这种情况下，监视数据可 以包括无线电波信息。
45.此外，在一些实施方式中，监视系统可以是或包括用于监视环境中的声音的音 频系统。第一监视设备因此可以包括第一音频设备，第二监视设备包括第二音频设 备，并且监视数据包括由第二音频设备捕获的声音信息。
46.根据第二方面，提供了评估系统，其被配置为评估监视系统中的更新的分析程 序，诸如相机系统、雷达系统或音频系统，监视系统包括多个监视设备，其中至少 一些被布置为监视相似的环境。评估系统包括电路，被配置为执行：
47.识别功能，被配置为识别监视系统中的可用处理资源，
48.选择功能，被配置为从多个监视设备中选择第一监视设备，用于该第一监视设 备
的可用处理资源已被识别到，并且被配置为进一步从多个监视设备中选择第二监 视设备，以及
49.监视数据获取功能，被配置为使用第二监视设备获取监视数据。该电路进一步 被配置为执行：
50.监视数据发送功能，被配置为将监视数据发送至第一监视设备，
51.分析程序执行功能，被配置为对监视数据执行当前分析程序，从而产生第一结 果，并且进一步使用第一监视设备对监视数据执行更新的分析程序，从而产生第二 结果，
52.计算功能，被配置为基于第一结果计算指示第二监视设备在执行当前分析程序 时的性能的第一性能值，并且进一步基于第二结果计算指示第一监视设备在执行更 新的分析程序时的性能的第二性能值，以及
53.评估功能，被配置为基于第一性能值与第二性能值之间的比较来评估更新的分 析程序。
54.根据第三方面，提供了一种非暂时性计算机可读介质，该非暂时性计算机可读 介质上存储有计算机代码指令，该计算机代码指令被适配为在由具有处理能力的设 备(诸如结合第二方面讨论的电路)执行时，执行第一方面的方法。
55.根据第一方面的方法的上述可选附加特征，在适用时也适用于第二和第三方面。 为了避免不必要的重复，请参考上述内容。
56.从下面给出的详细描述中，本发明的进一步适用范围将变得显而易见。然而， 应该理解的是，表明本发明的优选实施例的详细描述和具体示例仅作为说明给出， 因为本发明范围内的各种变化和修改对于本领域技术人员来说将从该详细描述中 变得显而易见。
57.因此，应当理解，本发明不限于所描述的方法的特定行为，因为这些方法可以 变化。还应理解，本文使用的术语仅用于描述特定实施例的目的，而不是限制性的。 必须注意的是，在说明书和所附权利要求中，冠词“一”、“一个”、“该”和“所述”旨 在表示存在一个或多个元素，除非上下文另有明确规定。因此，例如，提及“一个 单元”或“该单元”可以包括若干设备等。此外，“包括”、“包含”、“含有”和类似措辞 不排除其他元素或步骤。
附图说明
58.现在将参照附图更详细地描述本发明的上述和其他方面。附图不应被认为是限 制性的，而是用于解释和理解如所附权利要求中定义的本发明。相同的附图标记始 终指代相同的元件。
59.图1示出根据一些实施例的用于评估监视系统中更新的分析程序的示例性评 估系统。
60.图2a和图2b是用于评估包括多个监视设备的监视系统中的更新的分析程序的 方法的实施例的流程图。
61.图3示出根据本公开一实施例的示例性系统。
62.图4示出根据本公开另一实施例的示例性系统。
具体实施方式
63.下面将参照附图更全面地描述本发明，其中示出了本发明的当前优选实施例。 然
而，本发明可以以许多不同的形式来实施，并且不应被解释为限于本文所阐述的 实施例。相反，提供这些实施例是为了彻底性和完整性，并向技术人员传达如在所 附权利要求中定义的本发明的范围。
64.图1图示了本发明的实施例，包括评估系统200，其可用于测试和验证更新的 分析程序，诸如用于识别由监视系统10监视的相同或相似物理位置中的对象或动 作的计算机辅助方法。更新的分析程序在被识别为具有可用处理资源的选定的监视 设备12上进行评估。如果更新的分析程序的评估成功，则可以将更新推广到系统 10的其他监视设备14、16。
65.将理解的是，监视系统10可以包括或者可以是例如雷达系统、音频系统或相 机系统。在图1的以下描述中，公开了包括相机系统10的示例性实施例。相机系 统10包括多个相机12、14、16。在本示例中，可以认为所有三个相机12、14、16 都监视相似的环境或场景。第一相机12和第二相机14从稍微不同的角度和位置监 视相同的三维空间20或物理位置，具有至少部分重叠的视场fov。因此，由第一 相机12和第二相机14捕获的各个场景在视角方面可能略有不同，但在共同描述符 (即，特征)方面仍被认为是相似的。第三相机16监视不同的三维空间22，但是 假设两个被监视的物理位置20、22属于同一分类和/或共享一组共同特征，则第三 相机16捕获的结果场景(或图像)可以被认为与第一相机12和第二相机14捕获 的场景相似。
66.然而，将理解的是，在替换的配置中的第一相机12可以被布置为监视与第二 相机14所监视的环境不同的环境。在这样的配置中，第一相机12可以主要针对其 可用的处理资源(其可以用于执行更新的分析程序)而被采用。
67.评估系统200包括被配置为执行评估系统200的功能的电路210，即，与即将 结合图2a和图2b描述的方法步骤相对应的功能。此外，评估系统可以包括或可通 信地连接到非暂时性计算机可读介质或存储用于执行上述方法步骤的计算机代码 指令的存储器217。在一些实施例中，评估系统200可以分布在监视设备12、14、 16中的一个或几个之间，或者在结构上与监视系统10分离。在后者的情况下，评 估系统200可以布置为远离监视系统10，因此可以称为中央评估系统200，包括中 央处理装置或中央电路。
68.图2a至图2b示出用于评估如上所述的更新的分析程序的方法100的实施例的 流程图，即，在包括多个监视设备的监控或监视系统中，其中至少一些被布置为对 相似的场景进行成像。在下文中，监视系统将以相机系统为例，该相机系统至少包 括第一相机12和第二相机14，如在图1中图示的。
69.方法100包括识别s110相机系统中可用处理资源的动作，例如通过监视实际 的处理器利用率或通过基于历史数据估计处理器利用率，目的是识别和选择适合于 执行更新的分析程序的第一相机。可用处理资源还可以被识别为一段时间，在该一 段时间期间，监视特定场景的重要性较低。作为具体的图示的示例，可以考虑包括 铁路站台的场景。在这种情况下，重要性较低的时间段可以由一列火车离开站台之 后，直到下一列火车到达的时间段表示。在此期间，事故风险可能被确定为相对较 低，因此监视现场的重要性可能较低(从安全的角度来看)。
70.一旦识别s110出可用处理资源，就选择s120具有可用处理资源的第一相机。 优选地，可以选择s120具有足够可用或多余资源以执行更新的分析程序的相机作 为第一相机。
71.方法100还包括从多个相机中选择第二相机s130。例如，第二相机可以是已 经确
定需要升级当前分析程序的相机。例如，与系统中的其他相机相比，第二相机 可能表现出受损的性能。该第二相机可以用于捕获s140图像，该图像可以被发送 s155至第一相机。在本示例中，可以通过第二相机对图像执行s150当前分析程序。 然而，应当理解，一些示例中的当前分析程序也可以由另一实体执行，诸如中央处 理装置或第一相机。
72.当前分析程序的结果可称为第一结果，其例如可包括关于图像中识别到的对象 或动作的信息。
73.一旦在第一相机处接收到图像，就通过更新的分析程序分析图像，执行s160 更新的分析程序以产生第二结果。与上述类似，第二结果可以包括关于图像中识别 到的对象或动作的信息。
74.第一结果用于计算s170第一性能值，指示第二相机在执行当前分析程序时的 性能。例如，第一性能值可以被认为是量化当前分析程序的准确性或可靠性的质量 度量，或指示用于执行当前分析程序的处理器利用率或时间消耗的度量。
75.类似地，第二结果用于计算s180第二性能值，其对于更新的分析程序可以指 示与上述当前分析程序类似的度量。计算s170、s180可以在第一相机或第二相机 处执行，或者在诸如中央处理器之类的位于中央的处理装置处执行。在本示例中， 第一结果被发送s157至可以计算s170第一性能值的第一相机。此外，如在图2b 中图示的，可以将第二结果发送s165至可以计算s180第二性能值的第二相机。
76.由于当前和更新的分析处理都已对由第二相机拍摄的同一图像执行，因此通过 比较第一性能值和第二性能值来评估s190更新的分析程序。例如，评估可以考虑 分别执行当前和更新的分析程序所花费的时间。在进一步的示例中，性能值可以指 示分别在执行当前和更新的分析程序时所使用的功耗。例如，评估的结果可能指示 有改进，或至少表明更新的分析程序符合规范和要求，从而实现其预期目的。优选 地，第一相机和第二相机(以及可能的其他相机，诸如相机系统的所有相机)可以 是相同或相似的硬件类型，即，包括用于执行分析程序的相同或相似类型的硬件， 以便使更新的分析程序在第一相机上的性能对相机系统的第二(和更多)相机更具 代表性。
77.因此，该方法可以包括将更新的分析程序发送s195至第二相机的进一步动作， 假设评估表明有改进，或者更新后的分析程序满足与分析程序相关的规范和要求。 要求和规范可以根据具体情况定义，例如由安装人员或操作员根据监视系统的其他 和总体要求来定义。
78.图3是评估系统200的实施例的示意框图，该评估系统200用于评估监视系统 中的更新后的分析程序，包括例如如上所述的相机系统、雷达系统、激光雷达系统 或音频系统。评估系统200包括被配置为执行评估系统200的功能的电路210，例 如与关于图2a至图2b描述的方法步骤相对应的功能。电路210可以包括处理器215， 诸如中央处理单元(cpu)、微控制器或微处理器。评估系统200还可以包括非暂 时性计算机可读存储介质，诸如存储器217。存储器217可以是缓冲器、闪存、硬 盘驱动器、可移动介质、易失性存储器、非易失性存储器、随机存取存储器(ram) 或其他合适的设备中的一个或多个。在典型的布置中，存储器217可以包括用于长 期数据存储的非易失性存储器和用作电路217的系统存储器的易失性存储器。存储 器217可以通过数据总线与电路210交换数据。存储器217与电路210之间还可以 存在伴随控制线和地址总线。存储器可以包括程序代码形式的指令219，其被配置 为在
由处理器215执行时执行评估系统200的功能。评估系统200的功能例如可以 是识别监视系统中的可用处理资源，诸如相机系统10，从多个监视设备中选择第 一监视设备(用于该第一监视设备的可用处理资源已被识别到)，诸如第一相机 12，从多个监视设备其中选择第二监视设备(诸如第二相机14)获取监视数据(诸 如图像)，使用第二相机14，将图像发送至第一相机12，对图像执行当前分析程 序以产生第一结果，使用第一相机12，对图像执行更新后的分析程序，产生第二 结果，基于第一结果计算第一性能值，基于第二结果计算第二性能值，并基于第一 性能值与第二性能值之间的比较来评估更新后的分析程序。
79.在一些示例中，相机系统10的相机12、14可以构成评估系统200的一部分。 在其他示例中，相机系统10的相机12、14可以在结构上与评估系统200分离。在 后者的情况下，评估系统200可以远离相机系统10布置。在进一步的示例中，评 估系统200或评估系统200的部分可以分布在相机系统10上，诸如在第一相机12、 第二相机中14和/或远程位置中。
80.图4是评估系统200的实施例的示意框图，其可以被类似地配置为与上面结合 图3讨论的评估系统。如图4所示，电路210被配置为至少执行识别功能220、选 择功能230、图像捕获功能240、图像发送功能250、分析程序执行功能260、计算 功能270和评估功能280。
81.分析程序执行功能260可以采用深度学习方法，其可以被理解为一种可能涉及 训练模型的机器学习，通常称为深度学习模型。深度学习模型可以基于一组算法， 这些算法旨在通过使用多个处理层对数据中的抽象进行建模。处理层可以由非线性 变换组成，并且每个处理层可以在将变换后的数据传递至后续处理层之前对数据进 行变换。数据的变换可以通过处理层的权重和偏差来执行。处理层可以是全连接的。 作为示例而非限制，深度学习模型可以包括神经网络和卷积神经网络。卷积神经网 络可以由可训练滤波器的层次结构组成，与非线性和池化交织。卷积神经网络可用 于大规模对象识别任务。
82.深度学习模型可以在有监督或无监督的环境中进行训练。在有监督环境中，深 度学习模型使用标记数据集进行训练，以准确分类数据或预测结果。当输入数据被 输入深度学习模型时，模型会调整其权重，直到模型得到适当的拟合，这是交叉验 证过程的一部分。在无监督环境中，深度学习模型使用未标记的数据集进行训练。 从未标记的数据集中，深度学习模型发现可用于将数据集中的数据聚类成具有共同 属性的数据组的模式。常见的聚类算法有分层、k均值和高斯混合模型。因此，可 以训练深度学习模型来学习数据的表示。
83.深度学习模型的输入因此可以是监控或监视数据，诸如，在图4中指示的本示 例中，来自相机系统的相机设备的图像数据。
84.有许多不同的深度学习网络适用于对监控数据执行分析程序，并且，输入和输 出的详细形式，即输入数据需要哪种格式以及输出张量具有哪种格式，在这些网络 之间可能会有所不同。可以使用阈值技术来解释来自深度学习模型的输出，其中通 过为每个分析结果，例如为每个分类或类别，设置置信度分数阈值来解释来自深度 学习模型的张量输出。阈值设置了将数据解释为特定分析结果所需的最小置信度分 数，例如，在分析程序是对象检测程序的情况下，属于特定对象类别。
85.在训练深度学习模型之后，分析程序可被视为已更新，例如响应于对新输入数 据的访问。通过更新或修改用于设计、训练和与深度学习模型交互的深度学习框架， 可以进一步认为分析程序已被更新。
86.本领域技术人员了解，本发明不限于上述实施例。相反，在所附权利要求的范 围内，许多修改和变化都是可能的。通过研究附图、本公开和所附权利要求，本领 域技术人员在实践要求保护的发明时，可以理解和实现这些修改和变化。