本公开涉及一种系统和方法，用于将未标记的视频数据与标记的图像数据相组合，以创建鲁棒的对象检测器，从而减少错误检测和遗漏检测，并有助于减少对注释的需求。
背景技术：
1、还设想具有半监督学习(ssl)的深度神经网络(dnn)可能可操作以改进对象检测问题。尽管如此，由传统的基于ssl的对象检测模型根据未标记的数据生成的伪标签可能不总是可靠的，并且因此它们不能总是被直接应用于检测器训练过程以改进其。例如，由于所选择的对象检测器的性能瓶颈，在伪标签中可能出现遗漏检测和错误检测问题。此外，可能需要驻留在未标记序列数据中的运动信息来帮助提高伪标签生成的质量。
技术实现思路
1、公开了一种用于生成鲁棒伪标签数据集的系统和方法。该系统和方法可以使用接收到的标记源数据集来训练教师神经网络。可以生成伪标记数据集作为来自教师神经网络的输出。伪标记数据集和未标记数据集可以被提供给相似性感知加权框融合算法。鲁棒伪标签数据集可以从相似性感知加权框融合算法生成，该算法使用伪标记数据集和未标记数据集进行操作。可以使用鲁棒伪标签数据集来训练学生神经网络。此外，教师神经网络可以用学生神经网络替换。
2、该系统和方法还可以使用标记的源数据集调谐学生神经网络。标记的源数据集可以包括至少一个图像和至少一个人类注释。人类注释可以包括限定至少一个图像内的对象的置信度分数的边界框。教师神经网络也可以被配置为预测标记的源数据集的帧内的像素的运动矢量。并且，可以使用用于对象检测的损失函数来训练教师神经网络。
3、还设想损失函数包括分类损失和回归损失，用于预测边界框内的置信度分数。可以使用预测函数来重新训练教师神经网络。相似性感知加权框融合算法可以进一步被配置为运动预测算法，其可操作来将鲁棒伪标签数据集的质量提高到第一预定义阈值。相似性感知加权框融合算法可以进一步被配置为抗噪声伪标签融合算法，其可操作来将鲁棒伪标签数据集的质量提高到第二预定义阈值。
4、该系统和方法还可以使用sdc-net算法预测未标记数据集内多个帧内的像素的运动矢量。此外，可以使用多个帧来训练sdc-net算法，其中在没有人工标签的情况下训练sdc-net算法。设想相似性感知加权框融合算法可以包括相似性算法，该相似性算法可操作来降低在伪标记数据集内被错误检测到的对象的置信度分数。相似性算法还可以包括伪标记数据集的至少一帧内的边界框的类别分数、位置分数和置信度分数。相似性算法可以进一步采用基于特征的策略，当确定对象在定义的类别内时，该策略提供预确定的分数。相似性感知加权框融合算法还可能可操作以减少被确定为冗余的边界框，并减少假阳性结果的置信度分数。最后，相似性感知加权框融合算法可能可操作以对伪标记数据集内检测到的对象的之前帧、当前帧和未来帧的定位值和置信度分数进行平均。
1.一种用于生成鲁棒伪标签数据集的方法，包括：
2.根据权利要求1所述的方法，进一步包括：使用标记的源数据集调谐学生神经网络。
3.根据权利要求1所述的方法，其中所述标记的源数据集包括至少一个图像和至少一个人类注释。
4.根据权利要求3所述的方法，其中所述至少一个人类注释包括限定所述至少一个图像内的对象的置信度分数的边界框。
5.根据权利要求4所述的方法，其中所述教师神经网络被配置为预测标记的源数据集的帧内的像素的运动矢量。
6.根据权利要求4所述的方法，其中使用用于对象检测的损失函数来训练教师神经网络。
7.根据权利要求6所述的方法，其中所述损失函数包括用于预测边界框内置信度分数的分类损失和回归损失。
8.根据权利要求1所述的方法，进一步包括：使用预测函数重新训练教师神经网络。
9.根据权利要求1所述的方法，其中所述相似性感知加权框融合算法被配置为运动预测算法，所述运动预测算法可操作来将鲁棒伪标签数据集的质量提高到第一预定义阈值。
10.根据权利要求9所述的方法，其中所述相似性感知加权框融合算法被配置为抗噪声伪标签融合算法，所述抗噪声伪标签融合算法可操作来将鲁棒伪标签数据集的质量提高到第二预定义阈值。
11.根据权利要求1所述的方法，进一步包括：使用sdc-net算法预测未标记数据集内多个帧内的像素的运动矢量。
12.根据权利要求11所述的方法，进一步包括：使用所述多个帧来训练sdc-net算法，其中所述sdc-net算法在没有人工标签的情况下被训练。
13.根据权利要求12所述的方法，其中所述相似性感知加权框融合算法包括相似性算法，所述相似性算法可操作来降低在伪标记数据集内被错误检测到的对象的置信度分数。
14.根据权利要求13所述的方法，其中所述相似性算法包括伪标记数据集的至少一帧内的边界框的类别分数、位置分数和置信度分数。
15.根据权利要求14所述的方法，其中所述相似性算法采用基于特征的策略，当确定对象在定义的类别内时，所述策略提供预确定的分数。
16.根据权利要求15所述的方法，其中所述相似性感知加权框融合算法可操作来减少被确定为冗余的边界框，并减少假阳性结果的置信度分数。
17.根据权利要求16所述的方法，其中所述相似性感知加权框融合算法可操作来对在伪标记数据集内检测到的对象的之前帧、当前帧和未来帧的定位值和置信度分数进行平均。
18.一种用于生成鲁棒伪标签数据集的方法，包括：
19.根据权利要求18所述的方法，进一步包括：使用标记数据集调谐学生卷积神经网络。
20.一种用于生成鲁棒伪标签数据集的系统，包括：