一种视频分析算法的自动化评估系统及方法与流程

本发明涉及ai算法技术领域，尤其涉及一种视频分析算法的自动化评估系统及方法。

背景技术：

随着国家对科技技术的大量投入及支持，ai市场经过了第三次的热潮，从原先的“符号主义”到“机器学习、神经网络”再到现在的“人工智能（大数据、芯片、算法）”的深度学习。因此市场上也出现大量算法生产厂商提供各个场景的算法（人脸算法、车辆算法、图像识别算法等），在算法进入市场化前各厂商都会对各自的算法进行评估测试，以此确保算法的性能，但是评估的范围存在于局限性，同一算法的不同厂商提供的评估结果，由于评估的方式不同等其他因素导致了算法之间的评估结果可比性价值偏低。总之，传统算法评估需要一个一个算法进行评估，效率低，而且评估方法不统一。

目前缺少对算法评估方法进行有效管理，对评估规则的统一制定，相同算法在不同的评估规则体系得出的评估结果准确性就会存在差异。另外，评估结果只能通过厂商或者繁琐的程序后才能获得，增加了前期的调研难度，对于评估结果无法实现有据可循。

技术实现要素：

本发明的目的在于提供一种视频分析算法的自动化评估系统及方法。

本发明采用的技术方案是：

一种视频分析算法的自动化评估系统，其包括评估调度任务装置、数据采集装置和算法测评装置，

评估调度任务装置包括以下模块：

评估调度任务新建模块，确立评估的算法对象并添加算法评估调度任务，

评估规则生成模块，用于自定义算法测评规则并存入规则仓库，

评估模板生成模块，调用规则仓库的评估规则创建评估模板并存入评估模板仓库，

数据采集装置设有算法分析标准库和样本资源库，数据采集装置通过算法分析标准库和样本资源库提供评估模板所需的标准化测试数据，标准化测试数据包括厂家算法和样本数据；

算法测评装置与评估调度任务装置对接，并调用评估模板对接入的算法分析标准库的算法进行自动化评估，并以图文方式输出算法评估结果。

进一步地，算法分析标准库通过支持多厂家算法的接口转换模块以接入多厂家算法，样本资源库通过外接样本数据采集系统的获取样本数据。

进一步地，算法评估结果包括表征度量值、实际性能以及感知能力。

一种视频分析算法的自动化评估方法，其包括以下步骤：

步骤1，确立评估的算法对象并判断是否存在对应的评估调度任务；是则，执行步骤6；否则，执行步骤2添加算法评估调度任务；

步骤2，评估调度任务新建模块新增评估调度任务；

步骤3，查询当前评估模板仓库是否存在对应的评估模块；是则，执行步骤6；否则，执行步骤4；

步骤4，查询评估规则仓库判断是否存在创建对评估模板所需的评估规则；是则，执行步骤5；否则，创建新的评估规则存入评估规则仓库并执行步骤5，

步骤5，基于该评估规则创建模板并存入评估模块仓库；

步骤6，根据当前评估调度任务设置评估模板的参数并导出评估模板；

步骤7，算法测评装置调用评估模板，并评估模板从数据采集装置自动采集获取标准化测试数据进行算法自动化评估，

步骤8，算法测评装置以图文方式输出算法评估结果。

进一步地，标准化测试数据包括厂家算法和样本数据。

进一步地，算法分析标准库通过支持多厂家算法的接口转换模块以接入多厂家算法，样本资源库通过外接样本数据采集系统的获取样本数据。

本发明采用以上技术方案，能实时、有可比性的对算法进行评估考察，保证算法指标的公开性，增加可比性。本发明解决同算法多厂商算法接入的不确定性评估风险，降低算法接入风险，提供接入参考价值。本发明同时解决多厂商多算法的分散管理，实现了算法分析单元标准库的集中化管理，保证算法计入松耦合、高可用。本发明最大化的节省算法评估的成本，既实现了算法的规范化接入算法分析单元标准库，又便捷了算法样本库自动化评估。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种视频分析算法的自动化评估系统的架构示意图；

图2为本发明一种视频分析算法的自动化评估方法的流程示意图；。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。

如图1或图2所示，本发明公开了一种视频分析算法的自动化评估系统，其包括评估调度任务装置、数据采集装置和算法测评装置，

评估调度任务装置包括以下模块：

评估调度任务新建模块，确立评估的算法对象并添加算法评估调度任务，

评估规则生成模块，用于自定义算法测评规则并存入规则仓库，

评估模板生成模块，调用规则仓库的评估规则创建评估模板并存入评估模板仓库，

数据采集装置设有算法分析标准库和样本资源库，数据采集装置通过算法分析标准库和样本资源库提供评估模板所需的标准化测试数据，标准化测试数据包括厂家算法和样本数据；

算法测评装置与评估调度任务装置对接，并调用评估模板对接入的算法分析标准库的算法进行自动化评估，并以图文方式输出算法评估结果。

进一步地，算法分析标准库通过支持多厂家算法的接口转换模块以接入多厂家算法，样本资源库通过外接样本数据采集系统的获取样本数据。

进一步地，算法评估结果包括表征度量值、实际性能以及感知能力。

如图2所示，一种视频分析算法的自动化评估方法，其包括以下步骤：

步骤1，确立评估的算法对象并判断是否存在对应的评估调度任务；是则，执行步骤6；否则，执行步骤2添加算法评估调度任务；

步骤2，评估调度任务新建模块新增评估调度任务；

步骤3，查询当前评估模板仓库是否存在对应的评估模块；是则，执行步骤6；否则，执行步骤4；

步骤4，查询评估规则仓库判断是否存在创建对评估模板所需的评估规则；是则，执行步骤5；否则，创建新的评估规则存入评估规则仓库并执行步骤5，

步骤5，基于该评估规则创建模板并存入评估模块仓库；

步骤6，根据当前评估调度任务设置评估模板的参数并导出评估模板；

步骤7，算法测评装置调用评估模板，并评估模板从数据采集装置自动采集获取标准化测试数据进行算法自动化评估，

步骤8，算法测评装置以图文方式输出算法评估结果。

进一步地，标准化测试数据包括厂家算法和样本数据。

进一步地，算法分析标准库通过支持多厂家算法的接口转换模块以接入多厂家算法，样本资源库通过外接样本数据采集系统的获取样本数据。

本发明能高效统筹评估算法的安全性、准确性、稳定性、价值性。本发明提供算力自动化评估模块，能够根据不同种类的算法评估规则生成的评估模板，并按评估模版实现对算法的性能、成本、感知等算法指标进行自动化评估。本发明法突破传统算法评估办法的局限性，解决了同一类算法下不同提供厂商的快速评估难题，可针对多个厂商的同类算法按统一规则模板进行自动化评估，并以报表+图表的形式直观体现。本发明适用于实时、持续的智能视频算法评估场景，使用方便，用户通过自定义算法评估规则设置就可实现智能视频算法的自动化评估。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。