目标跟踪自评测方法及装置与流程
本公开一般地涉及目标检测领域，具体涉及一种目标跟踪自评测方法、目标跟踪自评测装置、电子设备和计算机可读存储介质。
背景技术：
多目标跟踪任务(multi-objecttracking，mot)是在给定的视频中同时跟踪多个目标对象，例如行人、车辆等，因此在视频监控和自动驾驶等许多应用中都发挥着重要作用，在计算机视觉领域受到了广泛的关注。其主要难点在于目标数量不确定，目标的高速运动和形变，新目标的出现和旧目标的消失，目标之间的交互和遮挡处理等。
多目标跟踪任务主要通过目标检测模型基于检测的跟踪方法实现，即首先在视频的每帧中获取目标检测结果，然后提取图像特征来量化目标之间的相似度，最后通过数据关联算法将检测结果联结成一条条独立的轨迹。设计一种在各种视频场景下均能表现良好的跟踪算法是很困难的，但是在现有跟踪算法上调整几个能够显著影响跟踪性能的参数可以以相对容易的方式达到同样出色的性能。为了找到最佳参数，需要一个通用的评测过程来测量跟踪性能。
而现有的评测方式都需要标注好的真实跟踪结果作为参照，而在实际场景中，不能保证目标跟踪模型的性能为最佳。
技术实现要素：
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种目标跟踪自评测方法，其中，方法包括：获取多条轨迹，多条轨迹通过目标跟踪模型对视频进行目标跟踪得到；基于多条轨迹，确定轨迹的数量n和每条轨迹的帧数；根据轨迹的数量n、每条轨迹的帧数、以及每条轨迹的目标特征，得到目标跟踪模型的评测结果。
在一例中，方法还包括：基于轨迹的帧数和轨迹中的多个目标特征，检测轨迹中是否存在有效目标，确定第一错误参数f，并筛选得到初筛轨迹；基于每条初筛轨迹中的多个目标特征，检测初筛轨迹中是否包括多个目标，并确定第二错误参数d；基于初筛轨迹中任一第一轨迹和任一第二轨迹分别的多个目标特征，检测第一轨迹和第二轨迹是否包括同一目标，并确定第三错误参数s；根据轨迹的数量n、每条轨迹的帧数、以及每条轨迹的目标特征，得到目标跟踪模型的评测结果，包括：根据轨迹的数量n、每条轨迹的帧数、第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一例中，方法还包括：基于评测结果，调整目标跟踪模型的参数。
在一例中，参数包括：重识别阈值和/或轨迹合并阈值。
在一例中，基于轨迹的帧数和轨迹中的多个目标特征，检测轨迹中是否存在有效目标，确定第一错误参数f，并筛选得到初筛轨迹，包括：基于轨迹中的目标特征，得到轨迹中多个两帧之间的第一目标特征距离；根据第一目标特征距离的分布确定距离标准差；若距离标准差大于第一错误阈值，则轨迹中不存在有效目标，更新第一错误参数f＝f+1；若距离标准差小于或等于第一错误阈值，则轨迹中存在有效目标，将轨迹作为初筛轨迹。
在一例中，基于轨迹的帧数和轨迹中的多个目标特征，检测轨迹中是否存在有效目标，确定第一错误参数f，并筛选得到初筛轨迹，还包括：判断轨迹的帧数是否小于预设帧数阈值，若轨迹的帧数小于预设帧数阈值，则执行基于轨迹中的目标特征，得到轨迹中多个两帧之间的第一目标特征距离。
在一例中，基于每条初筛轨迹中的多个目标特征，检测初筛轨迹中是否包括多个目标，并确定第二错误参数d，包括：基于初筛轨迹中的多个目标特征，确定多个两帧之间的第二目标特征距离；基于第二目标特征距离，通过两类高斯模型，将多个第二目标特征距离分为第一组和第二组；若第一组的平均距离值与第二组的平均距离值的差的绝对值大于第二错误阈值，则初筛轨迹中包括多个目标，更新第二错误参数d＝d+1，其中，第一组的平均距离值为第一组的全部第二目标特征距离的平均值，第二组的平均距离值为第二组的全部第二目标特征距离的平均值。
在一例中，基于初筛轨迹中任一第一轨迹和任一第二轨迹分别的多个目标特征，检测第一轨迹和第二轨迹是否包括同一目标，并确定第三错误参数s，包括：基于第一轨迹中的多个目标特征、以及第二轨迹中的多个目标特征，确定多个第三目标特征距离，其中，第三目标特征距离为第一轨迹中一帧的目标特征与第二轨迹中一帧的目标特征之间的距离；基于第三目标特征距离，通过两类高斯模型进行拟合，将多个第三目标特征距离分为第三组和第四组；若第三组的平均距离值与第四组的平均距离值的差的绝对值大于第三错误阈值，则第一轨迹和第二轨迹包括同一目标，更新第三错误参数s＝s+1，其中，第三组的平均距离值为第三组的全部第三目标特征距离的平均值，第四组的平均距离值为第四组的全部第三目标特征距离的平均值。
在一例中，根据轨迹的数量n、每条轨迹的帧数、第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果，包括：根据轨迹的数量n、及每条轨迹的帧数，确定平均帧数l；基于平均帧数l，确定第一系数k1；根据轨迹的数量n、平均帧数l、第一系数k1，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一例中，根据轨迹的数量n、每条轨迹的帧数、第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果，还包括：根据目标跟踪模型，确定第二系数k2的值，其中，若目标跟踪模型通过重识别阈值确定轨迹，则第二系数k2的值为第一值，若目标跟踪模型通过轨迹合并阈值确定轨迹，则第二系数k2的值为第二值；根据轨迹的数量n、平均帧数l、第一系数k1，第二系数k2，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一例中，通过以下公式计算得到评测结果：
其中，sqe为评测结果。
本公开的第二方面提供一种目标跟踪自评测装置，装置包括：获取模块，用于获取多条轨迹，多条轨迹通过目标跟踪模型对视频进行目标跟踪得到；确定模块，用于基于多条轨迹，确定轨迹的数量n和每条轨迹的帧数；评测模块，用于根据轨迹的数量n、每条轨迹的帧数、以及每条轨迹的目标特征，得到目标跟踪模型的评测结果。
本公开的第三方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行如第一方面的目标跟踪自评测方法。
本公开的第四方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的目标跟踪自评测方法。
本公开提供的目标跟踪自评测方法、目标跟踪自评测装置、电子设备和计算机可读存储介质，通过目标跟踪模型对视频进行目标跟踪得到多条轨迹，以及多条轨迹的数量、帧数以及轨迹中的目标特征等参数，即可得到评测结果，无需获取带有标注的轨迹，或人工标注。从而能够实现在任意场景中，评价目标跟踪模型，能够判断目标跟踪模型在不同场景中的性能，并且能够实现参数的优化。
附图说明
通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示出了根据本公开一实施例目标跟踪自评测方法的流程示意图；
图2示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图3示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图4示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图5示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图6示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图7示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图8示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图9示出了根据本公开一实施例目标跟踪自评测方法的效果示意图；
图10示出了根据本公开另一实施例目标跟踪自评测方法的流程示意图；
图11示出了根据本公开一实施例目标跟踪自评测方法的一评测效果对比示意图；
图12示出了根据本公开一实施例目标跟踪自评测方法的另一评测效果对比示意图；
图13示出了根据本公开一实施例目标跟踪自评测方法的另一评测效果对比示意图；
图14示出了根据本公开一实施例目标跟踪自评测方法的另一评测效果对比示意图；
图15示出了根据本公开一实施例目标跟踪自评测方法的另一评测效果对比示意图；
图16示出了根据本公开一实施例的目标跟踪自评测装置示意图。
图17示出了根据本公开另一实施例的目标跟踪自评测装置示意图。
图18示出了根据本公开另一实施例的目标跟踪自评测装置示意图。
图19是本公开实施例提供的一种电子设备示意图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
在一些相关技术中，采用基于事件的clearmot评测方法(参见《evaluatingmultipleobjecttrackingperformance:theclearmotmetrics》，journalonimageandvideoprocessing，2008，bernardink，stiefelhagenr)，通过motp(multipleobjecttrackingprecision)多目标跟踪的精确度，体现在确定目标位置上的精确度；mota(multipleobjecttrackingaccuracy)多目标跟踪的准确度，体现在确定目标的个数，以及有关目标的相关属性方面的准确度。同时，两者共同衡量算法连续跟踪目标的能力，即，在连续帧中能准确判断目标的个数，精确的划定其位置，从而实现不间断的连续跟踪。
在另一些相关技术中，采用基于特征识别的idf1评测方法(参见
《performancemeasuresandadatasetformulti-target,multi-cameratracking》，europeanconferenceoncomputervision.springer，2016，ristanie,soleraf,zour,etal.)，通过误识别指数idp、漏识别指数idr、以及多目标跟踪的准确度mota进行品侧。
上述两个方法，均是根据目标跟踪模型得到的轨迹，结合视频的标注轨迹进行评测，因此需要基于训练数据，或者通过人工标注的方式才能够对目标跟踪模型对当前视频的性能进行评测。对于在一个实际场景中，通过目标跟踪模型对实际场景获取的视频进行的目标跟踪，则难于评测目标跟踪模型。
为了解决上述问题，本公开实施例提供了一种目标跟踪自评测方法10，能够基于目标检测模型获取的轨迹信息，进行自评测，无需标注数据，从而方便的获知目标跟踪模型在当前实际场景中的性能，图1示出了本公开实施例提供的一种目标跟踪自评测方法10，包括：步骤s11-步骤s13。下文分别对上述步骤进行详细说明：
步骤s11，获取多条轨迹，其中，多条轨迹通过目标跟踪模型对视频进行目标跟踪得到。
获取的轨迹可以是目标跟踪模型在对任一视频进行目标跟踪得到的，视频可以是带有标注的训练视频，也可以是任一实际场景中获取的不带有标注的视频。通过目标跟踪模型，对视频进行目标检测，对视频中的同一目标在不同帧中通过标注框等形式进行标注形成轨迹，而对多个目标分别进行的目标跟踪，得到多条轨迹。
步骤s12，基于多条轨迹，确定轨迹的数量n和每条轨迹的帧数。
在获取目标跟踪模型对视频进行目标跟踪得到的多条轨迹后，确定轨迹的数量n，并确定每条轨迹的帧数，或称长度。由于不同视频中，目标的数量不同，目标在视频中出现的帧数也不同。通过轨迹的数量n和每条轨迹的帧数，能够更准确、客官的评测目标跟踪模型的性能。
步骤s13，根据轨迹的数量n、每条轨迹的帧数、以及每条轨迹的目标特征，得到目标跟踪模型的评测结果。
根据目标跟踪模型获取的轨迹的数量n、每条轨迹的帧数，同时结合每条轨迹的目标特征，在无需视频标注的情况下，即可通过自测评得到目标跟踪模型的评测结果。其中，每条轨迹是由目标跟踪模型通过目标检测，将模型判定的同一目标的帧进行组合形成的，而每一帧中的目标具有目标特征。本公开实施例中每条轨迹的目标特征可以是通过目标跟踪模型直接获取，也可以通过另外的目标检测模型对轨迹中的目标进行特征提取得到。并且，轨迹的目标特征可以包括轨迹中每一帧的目标特征，该种方式可以最全面的进行评测，得到的结果更加准确；另一方面，轨迹的目标特征也可以包括轨迹中间隔的部分帧的目标特征，该种方式虽然评测的准确性可能不如前种方式，但能够有效的降低计算成本。
在一实施例中，如图2所示，目标跟踪自评测方法10还可以包括步骤s14-s16，且步骤s13可以包括：根据轨迹的数量n、每条轨迹的帧数、第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。具体而言：
步骤s14，基于轨迹的帧数和轨迹中的多个目标特征，检测轨迹中是否存在有效目标，确定第一错误参数f，并筛选得到初筛轨迹。
在步骤s14中，基于轨迹的帧数以及轨迹中存在的目标特征，判断在一条轨迹中，是否存在一个有效目标，若不存在一个有效目标，则说明该条轨迹是错误的。其中目标特征可以包括轨迹的每一帧的目标特征，也可以包括轨迹中间隔的部分帧的目标特征。由于图像质量或其他目标检测的原因，在目标跟踪模型获取的某轨迹中，可能存在不包括一有效目标的情况，即原先识别出的目标并非有效目标，该轨迹为虚警轨迹，第一错误参数f即反映该种情况，并且，由于虚警轨迹不存在一个有效目标，因此为了避免影响后续评测，将虚警轨迹剔除，得到剩余的初筛轨迹。
在一实施例中，如图3所示，步骤s14可以包括：步骤s141，基于轨迹中的目标特征，得到轨迹中多个两帧之间的第一目标特征距离；步骤s142，根据第一目标特征距离的分布确定距离标准差；步骤s143，若距离标准差大于第一错误阈值，则轨迹中不存在有效目标，更新第一错误参数f＝f+1；步骤s144，若距离标准差小于或等于第一错误阈值，则轨迹中存在有效目标，将轨迹作为初筛轨迹。
本实施中，计算轨迹中的两帧之间的目标特征的距离，本公开中的距离可以是两个目标特征之间的欧式距离，也可以是其他距离。可以将轨迹中，每两帧的特征距离均计算得到，也可以间隔或随机选取轨迹中部分的帧进行计算。在得到多个第一目标特征距离后，根据分布情况，计算分布的标准差。距离分布的标准差越大，则表明距离的分布越分散，即特征之间的距离有远有近，如果标准差超过第一错误阈值时，则可以认为该轨迹中不实际存在一个有效目标，在该种情况下，更新第一错误参数f＝f+1，即在原数值基础上加一。如果标注差没有超过第一错误阈值，则可以认为轨迹中存在有效目标，该轨迹可以作为初筛轨迹，用于后续进一步评测。其中，第一错误阈值可以设置为0.2。
在又一实施例中，如图4所示，步骤s14还可以包括：步骤s145，判断轨迹的帧数是否小于预设帧数阈值，若轨迹的帧数小于预设帧数阈值，则执行步骤s141。
本实施例中，首先判断轨迹的帧数是否小于一预设帧数阈值，在帧数较少的轨迹中，可能其中的一些帧存在一定偏差，避免了在轨迹的帧数过少的情况下，而导致前述的标准差过大，总体轨迹中却实际存在有效目标。因此，先判断轨迹帧数，能够使得在判断是否存在一个有效目标时，判断结果更加准确和可靠。其中，预设帧数阈值可以设置为15。
步骤s15，基于每条初筛轨迹中的多个目标特征，检测所筛轨迹中是否包括多个目标，并确定第二错误参数d。
步骤s15中，基于经过步骤s14得到的初筛轨迹，根据轨迹中的目标特征检测一条轨迹中是否存在多个目标，从而确定是否存在错误。在一条合格的轨迹中，应该有且仅有一个目标，前述的步骤s14已经判断了轨迹是否存在有效目标，而步骤s15则用来判断一条轨迹中是否仅有一个目标，如果存在多个目标，则存在错误。
在一实施例中，如图5所示，步骤s15可以包括：步骤s151，基于初筛轨迹中的多个目标特征，确定多个两帧之间的第二目标特征距离；步骤s152，基于第二目标特征距离，通过两类高斯模型，将多个第二目标特征距离分为第一组和第二组；步骤s153，若第一组的平均距离值与第二组的平均距离值的差的绝对值大于第二错误阈值，则初筛轨迹中包括多个目标，更新第二错误参数d＝d+1，其中，第一组的平均距离值为第一组的全部第二目标特征距离的平均值，第二组的平均距离值为第二组的全部第二目标特征距离的平均值。其中，第二错误阈值可以设置为0.3
本实施例中，基于初筛轨迹中的目标特征，计算得到多个两帧之间的特征距离，如前述实施例类似的，可以计算一条初筛轨迹中，每两帧之间的距离，也可以随机或间隔的选取部分的帧进行计算。距离可以是目标特征之间的欧式距离也可以是其他距离计算方式。在得到多个第二目标特征距离后，通过两类高斯模型进行拟合，将特征距离的分布拟合成两组数值，分别确定两组数值的平均值。如果轨迹中存在两个目标，则前述计算的距离呈现两极化，即同一目标的特征距离很近，而两个目标之间的特征相对较远，通过两类高斯模型拟合后的两组数值出现分化，而两组数值的平均值也会相对较大，通过第二错误阈值进行判断，如果第一组的平均距离值与第二组的平均距离值的差的绝对值大于第二错误阈值，则说明该初筛轨迹中存在多个目标，在此情况下，更新第二错误参数d＝d+1，即在原值的基础上加一。另一方面，如果轨迹中仅存在一个目标，即使通过两类高斯模型拟合，分组出的距离也相对较近，平均值差别并不会太大。因此通过此方式，能够通过自评测准确判断轨迹中是否存在多个目标。
步骤s16，基于初筛轨迹中任一第一轨迹和任一第二轨迹分别的多个目标特征，检测第一轨迹和第二轨迹是否包括同一目标，并确定第三错误参数s。
在步骤s16中，通过两个初筛轨迹的目标特征，判断两个初筛轨迹中是否存在同一个目标，进而确定是否存在此类错误。在一个理想的目标跟踪模型得到的多条轨迹中，同一个目标应仅存在一条轨迹中，而由于阈值设置、图像质量或跟踪算法问题，可能会出现多个轨迹中均包括同一目标。通过步骤s16进行检测这一状况，从而更加准确地评测目标跟踪模型的性能。其中，第三错误阈值可以设置为0.3
在一实施例中，如图6所示，步骤s16可以包括：步骤s161，基于第一轨迹中的多个目标特征、以及第二轨迹中的多个目标特征，确定多个第三目标特征距离，其中，第三目标特征距离为第一轨迹中一帧的目标特征与第二轨迹中一帧的目标特征之间的距离；步骤s162，基于第三目标特征距离，通过两类高斯模型进行拟合，将多个第三目标特征距离分为第三组和第四组；步骤s163，若第三组的平均距离值与第四组的平均距离值的差的绝对值大于第三错误阈值，则第一轨迹和第二轨迹包括同一目标，更新第三错误参数s＝s+1，其中，第三组的平均距离值为第三组的全部第三目标特征距离的平均值，第四组的平均距离值为第四组的全部第三目标特征距离的平均值。
本实施例中，在初筛轨迹中，可以将每两个轨迹进行检测，也可以随机选取部分进行对比检测。选取得到第一轨迹和第二轨迹后，将第一轨迹中的一帧的目标特征，与第二轨迹中的一帧的目标特征进行计算距离，得到一个第三目标特征距离。可以最大化的进行对比，即将第一轨迹中的每一帧和第二轨迹中的每一帧进行距离计算，也可以分别在第一轨迹和第二轨迹中分别选取部分帧进行距离计算。在得到多个第三目标特征距离后，通过两类高斯模型进行拟合，将第三目标特征距离的分布拟合成两组数值，分别确定两组数值的平均值。如果两个轨迹中，存在同一目标，则存在该目标的帧的目标特征距离会相对较近，而在不同目标的帧之间的距离相对较远，通过两类高斯模型拟合后的两组数值会出现分化，两组数值的平均值会相对较大，通过第三错误阈值进行判断，如果第三组的平均距离值与第四组的平均距离值的差的绝对值大于第三错误阈值，则说明两个初筛轨迹中可能部分的存在同一目标的情况，在此情况下，更新第二错误参数s＝s+1，即在原值的基础上加一。另一方面，如果两个轨迹不存在同一目标，则两个轨迹之间的第三目标特征距离均会相对较远，因此分布会相对集中，通过两类高斯模型拟合出的两组数值不会出现分化，平均值之间的差的绝对值会小于第三错误阈值。因此通过此方式，能够通过自评测准确判断两个轨迹中是否存在相同目标。
在一实施例中，如图7所示，步骤s13还可以包括：步骤s131，根据轨迹的数量n、及每条轨迹的帧数，确定平均帧数l；步骤s132，基于平均帧数l，确定第一系数k1；步骤s133，根据轨迹的数量n、平均帧数l、第一系数k1，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
本实施例中，设置了第一系数k1以适应一些不同情况。在一般情况下，轨迹的数量n×平均帧数l，基本恒定保持在检测框总数附近，这两个变量具有相反的变化趋势，一般取决于目标的移动速度和目标的密度，对于一般场景，如街道视频上的行人跟踪，轨迹的数量n和平均帧数l的量级基本相同，此时第一系数k1可以取值为1。而在一些极端情况下，如重识别阈值过高或过低导致的轨迹过度碎片化(n远大于l)或串联在一起(l远大于n)的情况，使得轨迹的数量n和平均帧数l之间数量不平衡，为了避免这极端情况导致的自测评结果偏差，此时通过第一系数k1调整轨迹的数量n和平均帧数l数量级，使得轨迹的数量n和平均帧数l的量级近似相等。
在一实施例中，如图8所示，步骤s13还可以包括：步骤s134，根据目标跟踪模型，确定第二系数k2的值，其中，若目标跟踪模型通过重识别阈值确定轨迹，则第二系数k2的值为第一值，若目标跟踪模型通过轨迹合并阈值确定轨迹，则第二系数k2的值为第二值；步骤s135，根据轨迹的数量n、平均帧数l、第一系数k1，第二系数k2，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
本实施例中，设置了第二系数k2，以针对目标跟踪模型的类型不同进行相应的调整，使得测评结果更加准确可靠。目标跟踪模型在进行目标检测后，通过重识别阈值或轨迹合并阈值进行轨迹的整合。其中，重识别阈值，用于确定是否允许建立目标间的数据关联，若目标特征距离大于该重识别阈值，则认为不是同一目标，则将不进行轨迹匹配；轨迹合并阈值，用于确定两条轨迹之间的关系，若两条轨迹的特征距离大于轨迹合并阈值则不允许合并两条轨迹，反之，如果两条轨迹的特征距离小于或等于轨迹合并阈值则说明两条轨迹是同一目标的轨迹，则将两轨迹进行合并。在对于目标跟踪模型的评测中，通过设置第二系数k2能够适应不同的目标跟踪模型，其中，重识别阈值设置第二系数k2＝2，对于轨迹合并阈值设置为第二系数k2＝10可以达到最佳效果。
在一实施例中，可以通过以下公式计算得到评测结果：
其中，sqe(selfqualityevaluation)为评测结果。
本实施例中，通过调和平均的方式确定自测评的结果，可见，如果第一错误参数f、第二错误参数d、第三错误参数s的值越大，反映出该目标跟踪模型在此视频进行检测得到的轨迹中出现的问题较多，则测评结果sqe的值越小，体现出该模型的性能较低，可能需要调整参数，或不适合当前场景。
在利用深度神经网络提取目标特征时，由于输入图像可能含有的噪声会产生不确定的估计，使得特征提取结果在真实值附近波动，将特征分布建模为多元高斯分布：
其中z是n维特征向量，μ和σ2分别代表各个维度的特征理想值和不确定性。假设各个维度都服从独立的高斯分布，那么一对特征(zi,zj)的欧式距离就可以计算为：
根据独立高斯随机变量的性质，可以得到：
因此如果该距离对来自同一个目标，则μik-μjk＝0，
如果该距离对来自两个不同的目标，则有：
对于一个理想的目标跟踪模型，应满足同一条轨迹只对应同一个目标，不同的轨迹对应不同的目标，因此理想的轨迹内部和轨迹之间的目标特征距离分布都应呈现单峰形态。相对地，如果一条轨迹在目标a和b之间发生了id切换，则可以认为该轨迹是低质量的。为了便于分析，假设每个目标和特征的维度都具有相同的方差。那么根据上述推导，a和b各自帧的内部距离服从中心卡方分布，而a和b相互之间的距离(za,zb)服从非中心卡方分布，偏移量为
在实际中，由于一些客观的非理想因素，距离分布可能不完全符合卡方分布：第一，均值和方差的真实值未知，在做标准化时用样本统计量代替会引入偏差；第二，深度神经网络提取出的重识别特征各个维度很可能不是相互独立的，但是，不同质量的轨迹仍然表现出可区分的单峰和多峰形态，如图9所示。高质量轨迹，例如始终跟踪同一目标的id0和两个不同的目标id0与id1，距离分布呈现单峰形态；而低质量轨迹，例如跟踪错误目标的id9和发生了目标重叠的id3与id220，距离分布呈现双峰形态。因此，根据本公开提供的目标跟踪自评测方法10前述实施例中，通过根据距离分布拟合一个两类的高斯混合模型，若其均值差超过一定值，则认为该轨迹为低质量轨迹，是合理并且有效的。
在一实施例中，如图10所示，目标跟踪自评测方法10还可以包括：步骤s17，基于评测结果，调整目标跟踪模型的参数。
本实施例中，可以根据前述实施例得到的评测结果，对目标跟踪模型的参数进行调整，其中，目标跟踪模型的参数可以包括重识别阈值和/或轨迹合并阈值。通过对重识别阈值和/或轨迹合并阈值进行调整，从而提高目标检测模型对视屏中场景的适应能力，从而提高性能。
本公开前述任一实施例提供的目标跟踪自评测方法10，通过实际检测，本公开提出的目标跟踪自评测方法10能够无需视频的标注数据的情况下，准确的对目标跟踪模型的性能进行检测。
为进一步说明本公开实施例提供的目标跟踪自评测方法10的效果，通过以下实验数据进行说明。对于目标检测模型对一视频获取的轨迹，通过不同方式进行评测，结果呈现正相关关系，可以说明本公开提供的目标跟踪自评测方法10的有效性。
通过在数据集mot16(公开视频数据资源，视频带有标注信息)上进行实验，一个显著影响跟踪性能的参数是重识别(reid，re-identification)阈值，idf1和sqe在mot16简单场景09视频上的结果如图11所示，在mot16复杂场景02视频上的结果如图12所示，可以看到两者表现出很好的正相关关系。
为了进一步验证，对deepsort多目标跟踪算法进行评测，deepsort是近年来公认的多目标跟踪算法之一，其中重识别阈值对应匹配余弦阈值，实验结果如图13所示，可以看到两者表现出很好的正相关关系。
另一个显著影响跟踪性能的参数是轨迹合并阈值，同样idf1和sqe在mot16简单场景09视频上的结果如图14所示，在mot16复杂场景02视频上的结果如图15所示，也可以明显看出正相关性。
通过上述实验数据，可以看出本公开提供的目标跟踪自评测方法10得到的评测结果sqe能够准确的评测目标跟踪模型的性能，同时相比于其他评测手段，无需视频的标注信息即可完成自评测。
同时，本公开提供的目标跟踪自评测方法10，基于得到的评测结果sqe能够对目标跟踪模型的参数调整，使得目标跟踪模型的性能提升，并且相比于现有的方式，能够得到更准确的参数。实验方式如下：
模拟一个测试环境，用mot16训练集的前4个视频作为测试数据，后3个视频作为训练数据，用三种不同的方式确定重识别阈值和轨迹合并阈值参数，比较使用这些参数时在每个测试视频上得到的现有指标分数：1.在有真实跟踪结果的情况下，4个视频基于idf1的参数寻优结果，记作gt；2.在没有真实跟踪结果的情况下，利用在3个训练视频上优化好的参数，记作baseline；3.在没有真实跟踪结果的情况下，4个视频基于本公开提供的目标跟踪自评测方法10得到的评测结果sqe的进行参数寻优结果，记作sqe(ours)。结果如表1所示，可见，本公开提供的目标跟踪自评测方法10能够比baseline找到更好的参数组合，获得性能上的提升，使得结果更加接近各个视频的最佳结果。
表1。
基于同一发明构思，本公开还提供一种目标跟踪自评测装置100，如图16所示，目标跟踪自评测装置100包括：获取模块110，用于获取多条轨迹，多条轨迹通过目标跟踪模型对视频进行目标跟踪得到；确定模块120，用于确定轨迹的数量n和每条轨迹的帧数；评测模块130，用于根据轨迹的数量n、每条轨迹的帧数、以及每条轨迹的目标特征，得到目标跟踪模型的评测结果。
在一实施例中，如图17所示，目标跟踪自评测装置100还包括：第一检测模块140，用于基于轨迹的帧数和轨迹中的多个目标特征，检测轨迹中是否存在有效目标，确定第一错误参数f，并筛选得到初筛轨迹；第二检测模块150，用于基于每条初筛轨迹中的多个目标特征，检测初筛轨迹中是否包括多个目标，并确定第二错误参数d；第三检测模块160，用于基于初筛轨迹中任一第一轨迹和任一第二轨迹分别的多个目标特征，检测第一轨迹和第二轨迹是否包括同一目标，并确定第三错误参数s；评测模块130用于：根据轨迹的数量n、每条轨迹的帧数、第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一实施例中，如图18所示，目标跟踪自评测装置100还包括：调整模块170，用于基于评测结果，调整目标跟踪模型的参数。
在一实施例中，参数包括：重识别阈值和/或轨迹合并阈值。
在一实施例中，第一检测模块140用于：基于轨迹中的目标特征，得到轨迹中多个两帧之间的第一目标特征距离；根据第一目标特征距离的分布确定距离标准差；若距离标准差大于第一错误阈值，则轨迹中不存在有效目标，更新第一错误参数f＝f+1；若距离标准差小于或等于第一错误阈值，则轨迹中存在有效目标，将轨迹作为初筛轨迹。
在一实施例中，第一检测模块140还用于：判断轨迹的帧数是否小于预设帧数阈值，若轨迹的帧数小于预设帧数阈值，则执行基于轨迹中的目标特征，得到轨迹中多个两帧之间的第一目标特征距离。
在一实施例中，第二检测模块150用于：基于初筛轨迹中的多个目标特征，确定多个两帧之间的第二目标特征距离；基于第二目标特征距离，通过两类高斯模型，将多个第二目标特征距离分为第一组和第二组；若第一组的平均距离值与第二组的平均距离值的差的绝对值大于第二错误阈值，则初筛轨迹中包括多个目标，更新第二错误参数d＝d+1，其中，第一组的平均距离值为第一组的全部第二目标特征距离的平均值，第二组的平均距离值为第二组的全部第二目标特征距离的平均值。
在一实施例中，第三检测模块160用于：基于第一轨迹中的多个目标特征、以及第二轨迹中的多个目标特征，确定多个第三目标特征距离，其中，第三目标特征距离为第一轨迹中一帧的目标特征与第二轨迹中一帧的目标特征之间的距离；基于第三目标特征距离，通过两类高斯模型进行拟合，将多个第三目标特征距离分为第三组和第四组；若第三组的平均距离值与第四组的平均距离值的差的绝对值大于第三错误阈值，则第一轨迹和第二轨迹包括同一目标，更新第三错误参数s＝s+1，其中，第三组的平均距离值为第三组的全部第三目标特征距离的平均值，第四组的平均距离值为第四组的全部第三目标特征距离的平均值。
在一实施例中，评测模块130还用于：根据轨迹的数量n、及每条轨迹的帧数，确定平均帧数l；基于平均帧数l，确定第一系数k1；根据轨迹的数量n、平均帧数l、第一系数k1，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一实施例中，评测模块130还用于：根据目标跟踪模型，确定第二系数k2的值，其中，若目标跟踪模型通过重识别阈值确定轨迹，则第二系数k2的值为第一值，若目标跟踪模型通过轨迹合并阈值确定轨迹，则第二系数k2的值为第二值；根据轨迹的数量n、平均帧数l、第一系数k1，第二系数k2，第一错误参数f、第二错误参数d以及第三错误参数s得到目标跟踪模型的评测结果。
在一实施例中，通过以下公式计算得到评测结果：
其中，sqe为评测结果。
关于上述实施例中的目标跟踪自评测装置100，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
如图19所示，本公开的一个实施方式提供了一种电子设备200。其中，该电子设备200包括存储器201、处理器202、输入/输出(input/output，i/o)接口203。其中，存储器201，用于存储指令。处理器202，用于调用存储器201存储的指令执行本公开实施例的目标跟踪自评测方法。其中，处理器202分别与存储器201、i/o接口203连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器201可用于存储程序和数据，包括本公开实施例中涉及的目标跟踪自评测方法的程序，处理器202通过运行存储在存储器201的程序从而执行电子设备200的各种功能应用以及数据处理。
本公开实施例中处理器202可以采用数字信号处理器(digitalsignalprocessing，dsp)、现场可编程门阵列(field-programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现，所述处理器202可以是中央处理单元(centralprocessingunit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器201可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(randomaccessmemory，ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)等。
本公开实施例中，i/o接口203可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备200的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中i/o接口203可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。
- 还没有人留言评论。精彩留言会获得点赞！