一种性能评测方法和装置与流程

文档序号:23068465发布日期:2020-11-25 17:56阅读:来源:国知局

技术特征:

1.一种性能评测方法,其特征在于,所述方法包括:

获取仿真场景数据;

对所述仿真场景数据进行真值标注;

运行感知融合追踪模型,获取所述仿真场景数据对应的融合追踪结果;其中,所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知;

根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测,并输出评测结果。

2.根据权利要求1所述的方法,其特征在于,所述真值标注包括下述之一或任意组合:

仿真结果帧数、检测框、目标物体的追踪标识trackid。

3.根据权利要求2所述的方法,其特征在于,当对所述仿真场景数据进行的真值标注包括仿真结果帧数时,所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测,包括:

根据所述融合追踪结果的帧数和标注的仿真结果帧数计算融合追踪ft丢帧率;

若所述ft丢帧率小于第一预设阈值,则确定针对所述感知融合追踪模型的ft丢帧率检测通过;否则,确定针对所述感知融合追踪模型的ft丢帧率检测不通过。

4.根据权利要求3所述的方法,其特征在于,所述根据所述融合追踪结果的帧数和标注的仿真结果帧数计算ft丢帧率,包括:

计算标注的仿真结果帧数与融合追踪结果的帧数的差值;

计算所述差值与标注的仿真结果帧数的比值;

将所述比值作为ft丢帧率。

5.根据权利要求2所述的方法,其特征在于,当对所述仿真场景数据进行的真值标注包括检测框时,所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测,包括:

将标注的真值和融合追踪结果按时间戳同步;

对融合追踪结果和真值标注的检测框进行逐帧匹配;

根据匹配结果计算平均交并比iou、平均中心距离、检测框漏检率和误检率;

若所述平均iou的值大于第二预设阈值、所述平均中心距离的值小于第三预设阈值、所述检测框漏检率的值小于第四预设阈值,且所述检测框的误检率小于第五预设阈值,则确定针对所述感知融合追踪模型的ft精度检测通过;否则,确定针对所述感知融合追踪模型的ft精度检测不通过。

6.根据权利要求5所述的方法,其特征在于,所述根据匹配结果计算平均iou、平均中心距离、检测框漏检率和误检率,包括:

计算匹配到的帧的检测框的iou,并计算匹配到的所有帧的检测框的iou的平均iou;

计算匹配到的帧的检测框的中心点之间的距离,并计算匹配到的所有帧的检测框中心点之间的距离的平均值,作为平均中心距离;

通过下式计算检测框漏检率:(n-m)/n;其中,n为融合追踪结果中的检测框个数,m为将真值标注的检测框检测出的个数;

通过下式计算检测框误检率:(n-x)/n;其中,x为融合追踪结果中检测出的,且在真值标注中不存在的检测框的个数。

7.根据权利要求2所述的方法,其特征在于,当对所述仿真场景数据进行的真值标注包括目标物体的trackid时,所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测,包括:

对融合追踪结果和真值标注的目标物体的trackid进行逐帧匹配;

根据匹配结果计算trackid切换率和trackid平均切换次数;

若所述trackid切换率的值小于第六预设阈值,且所述trackid平均切换次数小于第七预设阈值,则确定针对所述感知融合追踪模型的trackid切换率检测通过;否则,确定针对所述感知融合追踪模型的trackid切换率检测不通过。

8.根据权利要求7所述的方法,其特征在于,所述根据匹配结果计算trackid切换率和trackid平均切换次数,包括:

通过下式计算trackid切换率:

a/s;

其中,a为真值标注的,且通过融合追踪检测出的目标物体中切换过trackidd的目标物体的个数;s为真值标注的,且通过融合追踪检测出的目标物体的个数;

通过下式计算trackid平均切换次数:

b/s;

其中,b为真值标注的,且通过融合追踪检测出的目标物体中切换trackid的次数之和;s为真值标注的,且通过融合追踪检测出的目标物体的个数。

9.一种性能评测装置,其特征在于,所述装置包括:第一获取单元、标注单元、第二获取单元、评测单元和输出单元;

所述第一获取单元,用于获取仿真场景数据;

所述标注单元,用于对所述第一获取单元获取的仿真场景数据进行真值标注;

所述第二获取单元,用于运行感知融合追踪模型,获取所述第一获取单元获取的仿真场景数据对应的融合追踪结果;其中,所述感知融合追踪模型用于对无人驾驶场景进行仿真测试;

所述评测单元,用于根据所述第二获取单元获取的融合追踪结果和所述标注单元标注的真值对所述感知融合追踪模型进行性能评测;

所述输出单元,用于根据所述评测单元进行的性能评测输出评测结果。

10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8任一项所述的方法。


技术总结
本申请提供了一种性能评测方法和装置,所述方法包括:获取仿真场景数据;对所述仿真场景数据进行真值标注;运行感知融合追踪模型,获取所述仿真场景数据对应的融合追踪结果;其中,所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知;根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测,并输出评测结果。该方法能够大大缩短开发周期,并降低测试成本;促进感知融合追踪模型性能的提升。

技术研发人员:张慧
受保护的技术使用者:北京京东叁佰陆拾度电子商务有限公司
技术研发日:2020.08.19
技术公布日:2020.11.24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1