测试方法及装置、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种测试方法及装置、电子设备及计算机可读存储介质。


背景技术：

2.随着计算视觉技术的快速发展，各种具备不同功能的计算机视觉模型应运而生，例如，人脸识别模型可用于进行人脸识别，物体检测模型可用于检测物体，动作监测模型可用于监测是否发生特定动作。
3.基于此，电子设备使用计算机视觉模型对视频进行处理，可确定视频中是否有违规事件发生，其中，上述违规事件包括：违章停车、垃圾满溢等等。在检测到违规事件时，可输出告警提示信息，以提示相关人员有违规事件发生。因此，如何对计算机视觉模型的告警提示信息进行评价，具有非常重要的意义。


技术实现要素：

4.本技术提供一种测试方法及装置、电子设备及计算机可读存储介质。
5.第一方面，提供了一种测试方法，所述方法包括：
6.获取测试视频；
7.将测试视频输入待测试模型，获取所述待测试模型基于预设的时间间隔输出的目标事件的告警信息；
8.获取所述测试视频中所述目标事件的标注信息；
9.根据所述告警信息和所述标注信息，确定所述告警信息中的正确告警信息；
10.依据所述正确告警信息，确定所述待测试模型的测试指标。
11.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的漏检数；
12.依据所述正确告警信息，确定所述待测试模型的测试指标，包括：
13.确定正确告警信息的次数；
14.依据所述标注信息和所述时间间隔，确定与所述标注信息对应的告警次数；
15.确定所述正确告警信息的次数和与所述标注信息对应的告警次数的差，得到所述待测试模型的漏检数。
16.结合本技术任一实施方式，所述依据所述标注信息和所述时间间隔，确定与所述标注信息对应的告警次数，包括：
17.依据所述标注信息，确定所述目标事件在所述测试视频中的至少一个发生时间段；
18.依据所述至少一个发生时间段，确定所述目标事件在所述测试视频中的发生时长；
19.依据所述发生时长和所述时间间隔，得到与所述标注信息对应的告警次数。
20.结合本技术任一实施方式，所述时间间隔包括：
21.激活时间；或者，
22.激活时间和冷却时间。
23.结合本技术任一实施方式，在所述时间间隔包括激活时间和冷却时间的情况下，所述依据所述发生时长和所述时间间隔，得到与所述标注信息对应的告警次数，包括：
24.确定所述激活时间与所述冷却时间的和，得到第一值；
25.确定所述发生时长与所述第一值的商，得到第二值；
26.对所述第二值向上取整，得到与所述标注信息对应的告警次数。
27.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的误检数；
28.所述依据所述正确告警信息，确定所述待测试模型的测试指标，包括：
29.确定所述待测试模型输出所述告警信息的次数与所述待测试模型输出所述正确告警信息的次数的差，得到所述待测试模型的误检数。
30.结合本技术任一实施方式，所述待测试模型的测试指标还包括所述待测试模型的误检率；
31.所述依据所述正确告警信息，确定所述待测试模型的测试指标，还包括：
32.确定所述待测试模型的误检数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的误检率。
33.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的检出率；
34.所述依据所述正确告警信息，确定所述待测试模型的测试指标，包括：
35.确定所述待测试模型输出所述正确告警信息的次数与所述标注信息对应的告警次数的商，得到所述待测试模型的检出率。
36.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的正确率；
37.所述依据所述正确告警信息，确定所述待测试模型的测试指标，包括：
38.确定所述待测试模型输出所述正确告警信息的次数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的正确率。
39.结合本技术任一实施方式，所述告警信息包括告警时间、所述告警信息对应的第一图像和所述第一图像的检测框；所述标注信息包括所述测试视频的各帧图像的检测框；
40.所述根据所述告警信息和所述标注信息，确定所述告警信息中的正确告警信息，包括：
41.从所述测试视频中确定距离所述告警时间最近的至少一张第二图像；
42.合并所述至少一张第二图像中的检测框，得到所述目标事件的检测范围；
43.根据所述目标事件的检测范围和所述第一图像的检测框，确定所述告警信息中的正确告警信息。
44.结合本技术任一实施方式，所述根据所述目标事件的检测范围和所述第一图像的检测框，确定所述告警信息中的正确告警信息，包括：
45.在所述目标事件的检测范围与所述第一图像的检测框的重合度大于或等于阈值
的情况下，确定所述告警信息为所述正确告警信息。
46.结合本技术任一实施方式，所述获取所述测试视频中所述目标事件的标注信息，包括：
47.获取对象检测模型；
48.通过使用所述对象检测模型检测所述测试视频的多个视频帧，得到所述目标事件的标注信息。
49.第二方面，提供了一种测试装置，所述装置包括：
50.获取单元，用于获取测试视频；
51.第一处理单元，用于将测试视频输入待测试模型，获取所述待测试模型基于预设的时间间隔输出的目标事件的告警信息；
52.所述获取单元，还用于获取所述测试视频中所述目标事件的标注信息；
53.第二处理单元，用于根据所述告警信息和所述标注信息，确定所述告警信息中的正确告警信息；
54.第三处理单元，用于依据所述正确告警信息，确定所述待测试模型的测试指标。
55.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的漏检数；
56.所述第三处理单元，用于：
57.确定正确告警信息的次数；
58.依据所述标注信息和所述时间间隔，确定与所述标注信息对应的告警次数；
59.确定所述正确告警信息的次数和与所述标注信息对应的告警次数的差，得到所述待测试模型的漏检数。
60.结合本技术任一实施方式，所述第三处理单元，用于：
61.依据所述标注信息，确定所述目标事件在所述测试视频中的至少一个发生时间段；
62.依据所述至少一个发生时间段，确定所述目标事件在所述测试视频中的发生时长；
63.依据所述发生时长和所述时间间隔，得到与所述标注信息对应的告警次数。
64.结合本技术任一实施方式，所述时间间隔包括：
65.激活时间；或者，
66.激活时间和冷却时间。
67.结合本技术任一实施方式，在所述时间间隔包括激活时间和冷却时间的情况下，所述第三处理单元，用于：
68.确定所述激活时间与所述冷却时间的和，得到第一值；
69.确定所述发生时长与所述第一值的商，得到第二值；
70.对所述第二值向上取整，得到与所述标注信息对应的告警次数。
71.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的误检数；
72.所述第三处理单元，用于：
73.确定所述待测试模型输出所述告警信息的次数与所述待测试模型输出所述正确
告警信息的次数的差，得到所述待测试模型的误检数。
74.结合本技术任一实施方式，所述待测试模型的测试指标还包括所述待测试模型的误检率；
75.所述第三处理单元，用于：
76.确定所述待测试模型的误检数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的误检率。
77.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的检出率；
78.所述第三处理单元，用于：
79.确定所述待测试模型输出所述正确告警信息的次数与所述标注信息对应的告警次数的商，得到所述待测试模型的检出率。
80.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的正确率；
81.所述第三处理单元，用于：
82.确定所述待测试模型输出所述正确告警信息的次数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的正确率。
83.结合本技术任一实施方式，所述告警信息包括告警时间、所述告警信息对应的第一图像和所述第一图像的检测框；所述标注信息包括所述测试视频的各帧图像的检测框；
84.所述第二处理单元，用于：
85.从所述测试视频中确定距离所述告警时间最近的至少一张第二图像；
86.合并所述至少一张第二图像中的检测框，得到所述目标事件的检测范围；
87.根据所述目标事件的检测范围和所述第一图像的检测框，确定所述告警信息中的正确告警信息。
88.结合本技术任一实施方式，所述第二处理单元，用于：
89.在所述目标事件的检测范围与所述第一图像的检测框的重合度大于或等于阈值的情况下，确定所述告警信息为所述正确告警信息。
90.结合本技术任一实施方式，所述获取单元，用于：
91.获取对象检测模型；
92.通过使用所述对象检测模型检测所述测试视频的多个视频帧，得到所述目标事件的标注信息。
93.第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
94.第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
95.第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有
计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
96.第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
97.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
98.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
99.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
100.图1为本技术实施例提供的一种测试方法的流程示意图；
101.图2为本技术实施例提供的一种测试装置的结构示意图；
102.图3为本技术实施例提供的一种测试装置的硬件结构示意图。
具体实施方式
103.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
104.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
105.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。字符“/”还可表示数学运算中的除号，例如，a/b＝a除以b；6/3＝2。“以下至少一项(个)”或其类似表达。
106.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
107.随着计算视觉技术的快速发展，各种具备不同功能的计算机视觉模型应运而生，例如，人脸识别模型可用于进行人脸识别，物体检测模型可用于检测物体，动作监测模型可用于监测是否发生特定动作。
108.基于此，电子设备使用计算机视觉模型对视频进行处理，可确定视频中是否有违规事件发生，其中，上述违规事件包括：违章停车、垃圾满溢等等。在检测到违规事件时，可输出提示信息，以提示相关人员有违规事件发生。
109.在使用计算机视觉模型检测视频中是否存在违规事件之前，需要对计算机视觉模型进行测试，进而可依据测试结果确定计算机视觉模型的性能，从而依据计算机视觉模型的性能选取合适的计算机视觉模型检测测试视频中是否有违规事件发生。
110.传统方法在测试计算机视觉模型的性能时，依据测试视频的标注数据，确定针对测试视频中的违规事件的应提示次数，再将该应提示次数与计算机视觉模型对测试视频进行处理得到的提示次数进行比较，确定计算机视觉模型是否漏检，其中，漏检指漏掉对违规事件的提示。
111.但由于依据测试视频的标注数据，确定针对测试视频中的违规事件的应提示次数的速度慢，通过传统方法测试漏检的效率低。
112.基于此，本技术实施例提供了一种技术方案，以提高测试待测试模型是否漏检的效率。
113.本技术实施例的执行主体为测试装置，其中，测试装置可以是任意一种可执行本技术方法实施例所公开的技术方案的电子设备。可选的，测试装置可以是以下中的一种：手机、计算机、平板电脑、可穿戴智能设备。
114.应理解，本技术方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本技术实施例中的附图对本技术实施例进行描述。请参阅图1，图1是本技术实施例提供的一种测试方法的流程示意图。
115.101、获取测试视频。
116.本技术实施例中，测试视频可以是离线视频，也可以是在线视频。其中，离线视频可以是通过摄像头或移动智能设备采集获得的视频。在线视频可以是摄像头实时获得视频，例如，测试装置可与一个或一个以上摄像头之间具有通信连接，测试装置可将从摄像头获取的实时采集的视频作为测试视频。
117.在一种获取测试视频的实现方式中，测试装置将用户通过输入组件输入的视频作为测试视频。上述输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器。
118.在另一种获取测试视频的实现方式中，测试装置接收终端发送的视频作为测试视频。上述终端可以是以下任意一种：手机、计算机、平板电脑、服务器。
119.在又一种获取测试视频的实现方式中，测试装置包括摄像头。测试装置通过摄像头采集得到测试视频。
120.102、将测试视频输入待测试模型，获取上述待测试模型基于预设的时间间隔输出的目标事件的告警信息。
121.本技术实施例中，待测试模型为可以实现事件检测的计算机视觉模型，利用待测试模型对视频进行处理，可检测视频中是否包含目标事件。
122.例如，待测试模型可以检测视频中是否存在人员聚集事件；又例如，待测试模型可
以检测视频中是否存在垃圾满溢事件；再例如，待测试模型既可检测视频中是否出在垃圾满溢事件，又可检测视频中是否存在违章停车事件。
123.本技术实施例中，可以通过算法模板规定待测试模型的输出格式，虽然待测试模型检测的目标为持续发生的事件，但告警信息依然为单个时间点。待测试模型返回的信息中需要提取的信息包括告警事件、告警时间节点、以及事件目标在画面中的范围即检测框。在输出格式固定的条件下，可以自动化序列化输出为标注类似的格式，方便后续的自动化比对。
124.本技术实施例中，目标事件的告警信息包括至少一个告警时间。其中，目标事件可以是任意事件。例如，目标事件为违章停车。又例如，目标事件为打架斗殴。再例如，目标事件为猫狗非法入侵。
125.告警时间表征目标事件的发生时间。例如，目标事件为违章停车，违章停车的发生时间为测试视频的第2分3秒，那么告警时间为测试视频的第2分3秒。
126.本技术实施例中，时间间隔包括激活时间。时间间隔或包括激活时间和冷却时间。
127.目标事件的发生包括事件主体和持续时长，待测试模型的激活时间即为目标事件的最低持续时长。例如，目标事件为违章停车，判断车辆是否违章停车的依据是车辆处于违章停车区域内持续时长是否超过1分钟。此时，持续时长为1分钟，即激活时间为1分钟。
128.冷却时间指对目标事件进行报警的最短时间间隔。例如，冷却时间为10秒，若在2022年1月27日10点42分10秒对目标事件的发生进行告警，那么在2022年1月27日10点42分10秒～2022年1月27日10点42分20秒之间不会再对目标事件进行报警，以及不会计算是否满足激活时间。
129.待测试模型在确定当前次目标事件已发生，且当前次目标事件的发生时间距离前一次目标事件结束的时间超过冷却时间的情况下，对当前次目标事件进行报警，可减少重复报警的次数。例如，在2022年1月27日10点42分20秒时，再重新计算是否满足激活时间，如果满足激活时间，则进行报警。
130.本技术实施例中，待测试模型基于预设的时间间隔输出目标事件的告警信息，可避免频繁告警，提升告警的合理性。
131.103、获取上述测试视频中上述目标事件的标注信息。
132.本技术实施例中，测试视频中目标事件的标注信息包括目标事件的至少一个发生时间段，其中，每个发生时间段包括目标事件在测试视频中的起始时间和结束时间。
133.例如，目标事件的发生时间段为第2分3秒至第2分50秒，那么目标事件在测试视频中的起始时间为第2分3秒，结束时间是第2分50秒。
134.由于目标事件在测试视频中的发生次数可能大于1，目标事件在测试视频中的发生时间段的数量为至少一个。
135.又例如，至少一个发生时间段包括时间段a和时间段b，其中，时间段a为1分5秒～2分3秒，时间段b为3分5秒～6分23秒。此时，在测试视频的1分5秒～2分3秒和3分5秒～6分23秒内，均发生了目标事件。
136.在一种获取标注信息的实现方式中，测试装置接收用户通过输入组件输入的标注信息。
137.在另一种获取标注信息的实现方式中，测试装置接收终端发送的标注信息。
138.104、根据上述告警信息和上述标注信息，确定上述告警信息中的正确告警信息。
139.本技术实施例中，标注信息可视为客观正确的信息。测试装置通过将告警信息和标注信息进行比对，可确定告警信息中与标注信息匹配的告警时间，进而确定告警信息中的正确告警信息。
140.例如，告警信息包括告警时间a、告警时间b和告警时间c，标注信息包括发生时间段d、发生时间段e，其中，告警时间a处于发生时间段d内，告警时间c处于发生时间段e内。
141.此时，告警时间a和告警时间c均为与标注信息匹配的告警时间，告警信息中的正确告警信息包括告警时间a和告警时间c。
142.105、依据上述正确告警信息，确定上述待测试模型的测试指标。
143.本技术实施例中，待测试模型的测试指标表征待测试模型检测目标事件的性能。具体的，待测试模型输出的告警信息越准确，待测试模型检测目标事件的性能越好。而依据正确告警信息，可确定待测试模型输出的告警信息是否准确，进而可确定待测试模型的测试指标。
144.本技术实施例中，待测试模型基于预设的时间间隔输出目标事件的告警信息，可提高目标事件的告警信息的准确度。于是根据告警信息和标注信息确定告警信息中的正确告警信息，可提高正确告警信息的准确度。由此依据正确告警信息，确定待测试模型的测试指标，可确定待测试模型检测目标事件的性能的准确度。
145.作为一种可选的实施方式，待测试模型的测试指标包括待测试模型的漏检数。测试装置在执行步骤105的过程中执行以下步骤：
146.201、确定正确告警信息的次数。
147.本技术实施例中，正确告警信息的次数即为待测试模型在目标事件的发生时间段内输出正确告警的次数。判断一个告警信息是否为正确告警，需要判断告警时间是否准确，以及告警时输出图像的事件检测框是否准确。
148.例如，告警信息中的至少一个告警时间包括1分15秒和2分23秒，标注信息中的至少一个发生时间段包括时间段a和时间段b，其中时间段a的起始时间为58秒，时间段a的结束时间为1分20秒，时间段b的起始时间为2分24秒，时间段b的结束时间为3分50秒。
149.由于1分15秒处于时间段a内，2分23秒既不处于时间段a内也不处于时间段b内，即2分23秒未处于任意一个发生时间段内。此时，1分15秒为正确告警信息，即正确告警信息的次数为1。
150.202、依据上述标注信息和上述时间间隔，确定与上述标注信息对应的告警次数。
151.本技术实施例中，标注信息对应的告警次数，即为测试视频中的目标事件的应告警次数。测试装置依据标注信息，确定目标事件在测试视频中的至少一个发生时间段。依据至少一个发生时间段，确定目标事件在测试视频中的发生时长。依据发生时长和时间间隔，得到与标注信息对应的告警次数。
152.在一种可能实现的方式中，时间间隔包括激活时间和冷却时间。测试装置依据标注信息中的至少一个发生时间段确定目标事件的发生时长。测试装置确定激活时间和冷却时间的和，得到第一值。确定发生时长与第一值的商，得到第二值。对第二值向上取整，得到标注信息对应的告警次数。
153.例如，至少一个发生时间段包括时间段a和时间段b，其中，时间段a的发生时长为4
分钟，时间段b的发生时长为3分钟。若激活时间为2分钟，冷却时间为3分钟。此时，发生时长为7分钟，第一值为5分钟，第二值为7/5。对7/5向上取整得到的结果为2，即标注信息对应的告警次数为2。
154.在另一种可能实现的方式中，时间间隔包括激活时间。测试装置依据标注信息中的至少一个发生时间段确定目标事件的发生时长。测试装置确定发生时长与激活时间的商，得到第三值。对第三值向上取整，得到标注信息对应的告警次数。
155.例如，至少一个发生时间段包括时间段a和时间段b，其中，时间段a的发生时长为4分钟，时间段b的发生时长为3分钟。若激活时间为2分钟。此时，发生时长为7分钟，第三值为7/2。对7/2向上取整得到的结果为4，即标注信息对应的告警次数为4。
156.在一种可能实现的方式中，时间间隔包括激活时间和冷却时间。测试装置依据标注信息中的至少一个发生时间段确定每个发生时间段的目标事件的发生时长。
157.例如，至少一个发生时间段包括时间段a和时间段b，其中，时间段a的发生时长为4分钟，时间段b的发生时长为3分钟。若激活时间为2分钟，冷却时间为3分钟。此时，按照激活时间和冷却时间推理各个时间段的告警信息，其中，在时间段a产生一次告警，在时间段b产生一次告警，总共告警次数为2次。
158.在另一种可能实现的方式中，时间间隔包括激活时间。测试装置依据标注信息中的至少一个发生时间段确定各个时间段的目标事件的发生时长。测试装置按照激活时间推理各个时间段的告警信息，得到标注信息对应的告警次数。
159.例如，至少一个发生时间段包括时间段a和时间段b，其中，时间段a的发生时长为4分钟，时间段b的发生时长为3分钟。若激活时间为2分钟。此时，时间段a产生了2次告警，时间段b产生了1次告警，一共产生了3次告警。
160.203、确定上述正确告警信息的次数和与上述标注信息对应的告警次数的差，得到上述待测试模型的漏检数。
161.测试装置在正确告警信息的次数和标注信息对应的告警次数不同的情况下，确定待测试模型对目标事件的检测出现了漏检。
162.在确定待测试模型漏检的情况下，测试装置可进一步通过确定正确告警信息的次数和与标注信息对应的告警次数的差，确定待测试模型的漏检数，由此提升测试指标的准确度，进而提升待测试模型的测试效果。
163.例如，标注信息对应的告警次数为10，正确告警信息的次数为8，通过计算正确告警信息的次数和与标注信息对应的告警次数的差确定漏检数为2。
164.作为一种可选的实施方式，上述待测试模型的测试指标包括上述待测试模型的误检数。测试装置在执行步骤105的过程中执行以下步骤：确定上述待测试模型输出上述告警信息的次数与上述待测试模型输出上述正确告警信息的次数的差，得到上述待测试模型的误检数。
165.例如，待测试模型输出的告警信息的次数为8，待测试模型输出的正确告警信息的次数为5，通过计算告警信息的次数与正确告警信息的次数的差确定误检数为3。
166.本技术实施例中，测试装置可进一步确定待测试模型的误检数，由此提升测试指标的准确度，进而提升待测试模型的测试效果。
167.作为一种可选的实施方式，上述待测试模型的测试指标还包括上述待测试模型的
误检率。测试装置在执行步骤105的过程中执行以下步骤：
168.确定上述待测试模型的误检数与上述待测试模型输出上述告警信息的次数的商，得到上述待测试模型的误检率。
169.在得到待测试模型的误检数的情况下，测试装置可进一步通过计算误检数与告警信息的次数的商，确定待测试模型的误检率。
170.例如，误检数为4，告警信息的次数为8，通过计算误检数与告警信息的次数之间的商确定误检率为1/2。
171.本技术实施例中，测试装置可进一步确定待测试模型的误检率，由此提升测试指标的准确度，进而提升待测试模型的测试效果。
172.作为一种可选的实施方式，上述待测试模型的测试指标包括上述待测试模型的检出率。测试装置在执行步骤105的过程中执行以下步骤：
173.确定上述待测试模型输出上述正确告警信息的次数与上述标注信息对应的告警次数的商，得到上述待测试模型的检出率。
174.在得到待测试模型的正确告警信息的次数的情况下，测试装置可通过计算正确告警信息的次数与标注信息对应的告警次数的商，确定待测试模型的检出率。
175.例如，正确告警信息的次数为4，与标注信息对应的告警次数为10，通过计算正确告警信息的次数与标注信息对应的告警次数之间的商确定检出率为2/5。
176.本技术实施例中，测试装置可进一步确定待测试模型的检出率，由此提升测试指标的准确度，进而提升待测试模型的测试效果。
177.作为一种可选的实施方式，上述待测试模型的测试指标包括上述待测试模型的正确率；测试装置在执行步骤105的过程中执行以下步骤：
178.确定上述待测试模型输出上述正确告警信息的次数与上述待测试模型输出上述告警信息的次数的商，得到上述待测试模型的正确率。
179.在得到待测试模型的正确告警信息的次数的情况下，测试装置可通过计算正确告警信息的次数与待测试模型输出的告警信息的次数的商，确定待测试模型的正确率。
180.例如，正确告警信息的次数为4，待测试模型输出的告警信息的次数为8，通过计算正确告警信息的次数与待测试模型输出的告警信息的次数之间的商确定正确率为1/2。
181.本技术实施例中，测试装置可进一步确定待测试模型的正确率，由此提升测试指标的准确度，进而提升待测试模型的测试效果。
182.作为一种可选的实施方式，上述告警信息包括告警时间、上述告警信息对应的第一图像和上述第一图像的检测框。其中，与告警信息对应的第一图像，即模型输出的告警信息中的告警时间对应的第一图像。
183.本技术实施例中，检测框包括目标事件的发生主体。例如，目标是违章停车，违章停车的发生主体为车辆，此时，检测框包括车辆。
184.检测框的形状可以是任意形状，本技术对检测框的形状不做限定。可选的，检测框的形状包括以下一种或一种以上：矩形、菱形、圆形、椭圆形、多边形。
185.在该种实施方式中，标注信息包括测试视频的各帧图像的检测框。即标注信息包括目标事件的发生主体在测试视频的各帧图像中的位置。
186.测试装置在执行步骤104的过程中执行以下步骤：
187.501、从上述测试视频中确定距离上述告警时间最近的至少一张第二图像。
188.本技术实施例中，至少一张第二图像为测试视频中时间距离告警时间最近的至少一张图像。测试视频中的图像的时间表征图像在测试视频中的播放时间。
189.例如，测试视频包括图像a和图像b，其中，图像a的播放时间为2秒，图像b的播放时间为2.05秒。此时，在测试视频播放至第2秒时播放图像a，在测试视频播放至第2.05秒时播放图像b。
190.在一种可能实现的方式中，测试装置确定告警时间对应的测试视频的播放时间。根据测试视频的播放时间，以及测试视频的播放速率，确定测试视频中与告警时间对应的第二图像。具体地，可以将测试视频的播放时间乘以播放速率，计算出对应的第二图像，例如，测试视频的播放时间为第10秒，播放速率为24帧每秒，那么，对应的第二图像为第240帧。
191.在另一种可能实现的方式中，由于待测试模型输出的告警时间可能存在延时，为提高第一图像的准确度，测试装置从测试视频中确定时间与告警时间的差为预设时间差的视频帧，作为第一图像。
192.可选的，预设时间差的具体取值可依据实际需求确定。例如，待测试模型输出告警时间的延时为0.2秒，那么预设时间差为0.2秒。
193.在测试视频包括目标事件的情况下，测试装置通过从测试视频中确定时间距离告警时间最近的至少一张第二图像，可从测试视频中确定包括目标事件的至少一张张第二图像。
194.例如，目标事件的告警时间为3.3秒，n＝1，第十帧图像的时间为3.27秒，第十一帧图像的时间为3.31秒。此时，距离告警时间最近的1张图像为第十一帧图像，即测试视频中包括目标事件的图像为第十一帧图像，即至少一张第二图像为第十一帧图像。
195.又例如，目标事件的告警时间为3.3秒，n＝3，第九帧图像的时间为3.23秒，第十帧图像的时间为3.27秒，第十一帧图像的时间为3.31秒，第十二帧图像的时间为3.35秒。此时，距离目标事件的告警时间最近的3张图像为第十帧图像、第十一帧图像和第十二帧图像。
196.应理解，本技术实施例中，告警时间可以是测试视频中的某一帧图像对应的时间，告警时间也可以不是测试视频中的某一帧图像对应的时间。
197.例如，测试视频包括第一帧图像、第二帧图像和第三帧图像，其中，第一帧图像的时间为0，第二帧图像的时间为0.04秒，第三帧图像的时间为0.08秒。模型输出的告警时间为0.04秒。
198.又例如，测试视频包括第一帧图像、第二帧图像和第三帧图像，其中，第一帧图像的时间为0，第二帧图像的时间为0.04秒，第三帧图像的时间为0.08秒。模型输出的告警时间为0.05秒。
199.502、合并上述至少一张第二图像中的检测框，得到上述目标事件的检测范围。
200.由于目标事件的发生需要发生主体的存在。因此，测试装置通过合并至少一张第二图像的检测框，可得到发生主体在目标事件发生时的行动范围，即目标事件的检测范围。
201.通常地，视频播放速度为20-30帧每秒，在几帧或者几十帧的范围内，视频内容变化不会很大，因此，可以采用合并至少一张第二图像的检测框的方式得到目标事件的检测
范围。
202.具体地，采用极大值抑制算法合并至少一张第二图像的检测框，得到目标事件的检测范围。
203.合并后的检测范围可以理想地认为包含了当前告警时间节点所有可能的检测框，在对比事件和物体出现时具有很好的参考意义。
204.503、根据上述目标事件的检测范围和上述第一图像的检测框，确定上述告警信息中的正确告警信息。
205.若第一图像的检测框与目标事件的检测范围的匹配度高，说明待测试模型确定的检测框的准确度高，进而说明告警信息的准确度高。因此，测试装置可根据目标事件的检测范围和第一图像的检测框，确定告警信息中的正确告警信息。
206.本技术实施例中，测试装置在得到第一图像的检测框和目标事件的检测范围的情况下，根据目标事件的检测范围和第一图像的检测框，确定告警信息中的正确告警信息，可提高正确告警信息的准确度。
207.作为一种可选的实施方式，测试装置在执行步骤503的过程中执行以下步骤：在目标事件的检测范围与第一图像的检测框的重合度大于或等于阈值的情况下，确定告警信息为正确告警信息。
208.目标事件的检测范围与第一图像的检测框的重合度大于或等于阈值，说明待测试模型确定的第一图像的检测框的准确度高，进而说明与第一图像对应的告警信息正确，从而确定与第一图像对应的告警信息为正确告警信息。
209.本技术实施例中，测试装置依据第一图像的检测框与目标事件的检测范围的重合度，确定与第一图像对应的告警信息是否正确，可提高正确告警信息的准确度。
210.作为一种可选的实施方式，测试装置在执行步骤103的过程中执行以下步骤：
211.601、获取对象检测模型。
212.本技术实施例中，对象检测模型为用于检测目标事件的发生主体和目标事件的计算机视觉模型。
213.在一种获取对象检测模型的实现方式中，测试装置将用户通过输入组件输入的计算机视觉模型作为对象检测模型。
214.在另一种获取对象检测模型的实现方式中，测试处理装置接收终端发送的计算机视觉模型作为对象检测模型。
215.602、通过使用上述对象检测模型检测上述测试视频的多个视频帧，得到上述目标事件的标注信息。
216.测试装置使用对象检测模型检测测试视频的多个视频帧，确定包括目标事件的发生主体的类别，以及检测框在多个视频帧中的位置，作为标注信息。
217.例如，在检测框的形状为矩形的情况下，检测框的位置可以包括矩形中任意一对对角的坐标，其中，一对对角指过矩形的对角线上的两个顶点。又例如，在检测框的形状为矩形的情况下，检测框的位置可以包括：矩形的几何中心的位置、矩形的长和矩形的宽。再例如，在检测框的形状为圆形的情况下，检测框的位置可以包括：检测框的圆心的位置、检测框的半径。
218.由于事件的检测均涉及事件主体，因此，在计算正确告警信息时，可以根据对象检
测模型对单个视频帧的检测结果，对待测试模型输出的告警信息进行检测。
219.本技术实施例中，测试装置在确定包括目标事件的发生主体的类别和检测框在多个视频帧中的位置之后，根据目标事件的发生主体的类别和检测框在多个视频帧中的位置，生成目标事件在测试视频中的至少一个发生时间段。
220.本技术实施例中，测试装置通过使用对象检测模型分别检测测试视频中的多个视频帧，分析对象检测模型检测的各视频帧输出的类别信息和检测框的位置信息，结合人工修正和人工标引，合并多帧的检测对象得到目标事件发生的时间段，作为目标事件的又一标注信息，该方法相比于人工标注的方法，能够提高得到标注信息的效率，降低得到标注信息的成本。
221.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
222.上述详细阐述了本技术实施例的方法，下面提供了本技术实施例的装置。
223.请参阅图2，图2为本技术实施例提供的一种测试装置的结构示意图，该测试装置1包括获取单元11、第一处理单元12、第二处理单元13、第三处理单元14。具体的：
224.获取单元11，用于获取测试视频；
225.第一处理单元12，用于将测试视频输入待测试模型，获取所述待测试模型基于预设的时间间隔输出的目标事件的告警信息；
226.所述获取单元11，还用于获取所述测试视频中所述目标事件的标注信息；
227.第二处理单元13，用于根据所述告警信息和所述标注信息，确定所述告警信息中的正确告警信息；
228.第三处理单元14，用于依据所述正确告警信息，确定所述待测试模型的测试指标。
229.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的漏检数；
230.所述第三处理单元14，用于：
231.确定正确告警信息的次数；
232.依据所述标注信息和所述时间间隔，确定与所述标注信息对应的告警次数；
233.确定所述正确告警信息的次数和与所述标注信息对应的告警次数的差，得到所述待测试模型的漏检数。
234.结合本技术任一实施方式，所述第三处理单元14，用于：
235.依据所述标注信息，确定所述目标事件在所述测试视频中的至少一个发生时间段；
236.依据所述至少一个发生时间段，确定所述目标事件在所述测试视频中的发生时长；
237.依据所述发生时长和所述时间间隔，得到与所述标注信息对应的告警次数。
238.结合本技术任一实施方式，所述时间间隔包括：
239.激活时间；或者，
240.激活时间和冷却时间。
241.结合本技术任一实施方式，在所述时间间隔包括激活时间和冷却时间的情况下，
所述第三处理单元14，用于：
242.确定所述激活时间与所述冷却时间的和，得到第一值；
243.确定所述发生时长与所述第一值的商，得到第二值；
244.对所述第二值向上取整，得到与所述标注信息对应的告警次数。
245.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的误检数；
246.所述第三处理单元14，用于：
247.确定所述待测试模型输出所述告警信息的次数与所述待测试模型输出所述正确告警信息的次数的差，得到所述待测试模型的误检数。
248.结合本技术任一实施方式，所述待测试模型的测试指标还包括所述待测试模型的误检率；
249.所述第三处理单元14，用于：
250.确定所述待测试模型的误检数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的误检率。
251.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的检出率；
252.所述第三处理单元14，用于：
253.确定所述待测试模型输出所述正确告警信息的次数与所述标注信息对应的告警次数的商，得到所述待测试模型的检出率。
254.结合本技术任一实施方式，所述待测试模型的测试指标包括所述待测试模型的正确率；
255.所述第三处理单元14，用于：
256.确定所述待测试模型输出所述正确告警信息的次数与所述待测试模型输出所述告警信息的次数的商，得到所述待测试模型的正确率。
257.结合本技术任一实施方式，所述告警信息包括告警时间、所述告警信息对应的第一图像和所述第一图像的检测框；所述标注信息包括所述测试视频的各帧图像的检测框；
258.所述第二处理单元13，用于：
259.从所述测试视频中确定距离所述告警时间最近的至少一张第二图像；
260.合并所述至少一张第二图像中的检测框，得到所述目标事件的检测范围；
261.根据所述目标事件的检测范围和所述第一图像的检测框，确定所述告警信息中的正确告警信息。
262.结合本技术任一实施方式，所述第二处理单元13，用于：
263.在所述目标事件的检测范围与所述第一图像的检测框的重合度大于或等于阈值的情况下，确定所述告警信息为所述正确告警信息。
264.结合本技术任一实施方式，所述获取单元11，用于：
265.获取对象检测模型；
266.通过使用所述对象检测模型检测所述测试视频的多个视频帧，得到所述目标事件的标注信息。
267.在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执
行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
268.图3为本技术实施例提供的一种测试装置的硬件结构示意图。该测试装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本技术实施例对此不作限定。应当理解，本技术的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
269.处理器21可以是一个或多个图形处理器(graphics processing unit，gpu)，在处理器21是一个gpu的情况下，该gpu可以是单核gpu，也可以是多核gpu。可选的，处理器21可以是多个gpu构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本技术实施例不作限定。
270.存储器22可用于存储计算机程序指令，以及用于执行本技术方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器用于相关指令及数据。
271.输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
272.可理解，本技术实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的测试视频，又或者该存储器22还可用于存储通过处理器21得到的测试指标等等，本技术实施例对于该存储器中具体所存储的数据不作限定。
273.可以理解的是，图3仅仅示出了一种测试装置的简化设计。在实际应用中，测试装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本技术实施例的测试装置都在本技术的保护范围之内。
274.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
275.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本技术各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
276.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或
讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
277.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
278.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
279.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatile disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
280.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，rom)或随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的介质。