视频匹配方法、装置、计算机设备和存储介质与流程

本申请涉及图像处理技术领域，特别是涉及一种视频匹配方法、装置、计算机设备和存储介质。

背景技术：

行人重识别(personre-identification，简称re-id)也称为跨镜追踪技术，是指通过计算机视觉技术检索不同摄像头下的同一个目标人物。在利用计算机视觉技术实现行人重识别时，一般是通过深度学习网络对视频中的每个视频帧上的目标物进行特征提取，得到每个视频帧的提取特征，然后将每个视频帧的提取特征进行融合，得到一个融合特征，并将该融合特征和其他视频对应的融合特征进行匹配检测，确定不同视频中的目标物是否是同一个目标物。

在上述对每个视频帧的提取特征进行融合时，通常是采用注意力机制为一个视频序列中的不同视频帧赋予不同的权重，并采用加权融合的方式得到最终的融合特征。

然而上述技术存在得到的融合特征不准确的问题，从而会导致最终得到的视频匹配结果不准确。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够提高视频匹配结果准确性的视频匹配方法、装置、计算机设备和存储介质。

一种视频匹配方法，该方法包括：

将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

在其中一个实施例中，上述相似度提取网络包括差分子网络和相似度计算子网络，上述将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度，包括：

将各视频帧对应的特征图输入至差分子网络中，对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图；

将各相邻两个视频帧各自对应的差分特征图输入至相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

在其中一个实施例中，上述对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图，包括：

获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧；

基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图。

在其中一个实施例中，上述基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图，包括：

获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值；

将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图；

将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

在其中一个实施例中，上述基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征，包括：

对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量；

基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

在其中一个实施例中，上述特征提取网络的训练过程包括：

获取至少一个样本视频源；样本视频源包括至少一个样本视频帧，每个样本视频帧均已标注类别概率分布；

将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征向量；

将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布；

基于每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布，对初始特征提取网络进行训练，得到特征提取网络。

在其中一个实施例中，上述相似度提取网络的训练过程包括：

将各个样本视频帧输入至特征提取网络或初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图；

将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度；

计算各相邻两个样本视频帧的预测类别概率分布之间的散度，并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度；

基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，对初始相似度提取网络进行训练，得到相似度提取网络。

一种视频匹配装置，该装置包括：

特征提取模块，用于将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

计算模块，用于将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

融合模块，用于基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

匹配模块，用于根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

上述视频匹配方法、装置、计算机设备和存储介质，通过对获取的视频源中的每个视频帧进行特征提取，得到每个视频帧对应的特征图和特征向量，通过相似度提取网络对每个视频帧的特征图进行相似度计算，得到其中各相邻两个视频帧之间的相似度，并通过各相邻两个视频帧之间的相似度对各个视频帧的特征向量进行融合处理，得到视频源对应的融合特征，基于该视频源的融合特征在预设的视频库中得到视频源对应的目标视频序列。在该方法中，由于在对每个视频帧的特征向量进行融合时，可以通过计算的视频源中各相邻两帧之间的相似度来对各视频帧的特征向量赋予权重，即该方法可以综合考虑各个视频帧之间的关系，这样可以为各个视频帧赋予更合适的权重，避免为相似度不高的视频帧赋予过高的权重，导致融合特征中噪声增多的问题，从而可以使最终得到的融合特征更加准确，这样在利用该更加准确的融合特征去匹配视频序列时，匹配到的目标视频序列也就更加准确。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中视频匹配方法的流程示意图；

图3为另一个实施例中视频匹配方法的流程示意图；

图3a为另一个实施例中差分处理的过程示意图；

图4为另一个实施例中视频匹配方法的流程示意图；

图5为一个实施例中特征提取网络训练方法的流程示意图；

图6为一个实施例中相似度提取网络训练方法的流程示意图；

图7为另一个实施例中视频匹配方法的实例流程示意图；

图8为一个实施例中视频匹配装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

视频re-id(re-identification，再识别)是图片re-id的一个衍生任务，在现实生活中更符合实际的场景需求。在视频re-id中，一般针对的是一段目标视频或者多个视频帧组成的图片序列，这些视频序列中包含同一个目标人物或者车辆，视频re-id的目的在于：给定目标人物或者车辆的视频序列，在待检索的视频序列中，匹配到在其他摄像头中出现的包含目标人物的视频序列。由于现实场景中，监控设备的部署不断完善，视频资源也更加丰富，通过视频序列可以获取目标人物更加丰富的特征，所以，相较于传统的图片re-id人物，视频re-id则更加具备应用前景。与此同时，随着可用信息的增加，在图片序列中包含噪声的可能性也会增加，噪声所带来的影响主要在于，在视频re-id中，一般是通过深度学习网络对视频中的每个视频帧上的目标物进行特征提取，得到每个视频帧的提取特征，然后将每个视频帧的提取特征进行融合，得到一个融合特征，并将该融合特征和其他视频对应的融合特征进行匹配检测，确定不同视频中的目标物是否是同一个目标物。在上述对每个视频帧的提取特征进行融合时，通常是采用注意力机制为一个视频序列中的不同视频帧赋予不同的权重，并采用加权融合的方式得到最终的融合特征。然而该技术中并没有考虑到帧与帧之间的关系，即所谓的与其他帧不一致的图片所带来的噪声，这样就会导致得到的融合特征不准确的问题，从而也会导致最终得到的视频匹配结果不准确。本申请提供一种视频匹配方法、装置、计算机设备和存储介质，可以解决上述技术问题。

本申请提供的视频匹配方法，可以应用于计算机设备，该计算机设备可以是终端或服务器。以计算机设备为终端为例，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频匹配方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

需要说明的是，本申请实施例的执行主体可以是计算机设备，也可以是视频匹配装置，下面就以计算机设备为执行主体进行说明。

在一个实施例中，提供了一种视频匹配方法，本实施例涉及的是如何计算视频源中各帧之间的相似度，并利用计算的相似度对各帧视频帧的特征向量进行融合，以利用得到的融合特征对视频库中的视频源进行匹配，得到目标视频序列的具体过程。如图2所示，该方法可以包括以下步骤：

s202，将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象。

其中，待检测对象可以是人、动物、植物、物体等等。相应地，视频源就可以是对该人、动物、植物、物体等进行图像采集得到的视频源。视频源采集的视频帧的数量可以根据实际情况而定，例如10个视频帧、20个视频帧等等，这里视频源包括的各个视频帧之间具有时间连续性，示例地，视频源中的第二个视频帧是在第一个视频帧之后采集的，且是连续的两个时刻采集到的帧图像。这里的视频源也可以称为图片序列，各个视频帧也可以称为图片序列中的各个图片。另外，每个视频帧中都包括待检测对象，不过包括的待检测对象的姿态等可以相同或不相同。本实施例主要针对的是待检测对象为行人，视频源为行人的图片序列。计算机设备可以通过与其相连的图像采集设备(例如摄像机、抓拍机、相机等)来对待检测对象进行图像采集，得到待检测对象的视频源，并将该待检测对象的视频源传输给计算机设备，计算机设备就可以得到视频源。

另外，特征提取网络可以是神经网络，例如可以是resnet(残差网络)模型、senet(squeeze-and-excitationnetworks，压缩和激励网络)模型、googlenet(googleinceptionnet，谷歌初始网络，属于卷积神经网络)模型等，当然也可以是其他神经网络，本实施例主要使用的是resnet50网络。

具体的，可以将获取得到的视频源输入至特征提取网络中，对每个视频帧上待检测对象的特征进行提取，得到每个视频帧对应的特征图，然后将每个视频帧的特征图进行向量转化，将每个视频帧的特征图转化为对应的特征向量。

s204，将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度。

其中，这里的相似度提取网络也可以是神经网络，优选地，本实施例的相似度提取网络可以是孪生网络。

具体的，计算机设备在得到视频源中各个视频帧的特征图之后，可以分别对其中每组相邻的两个视频帧进行相似度计算，以一组相邻的两个视频帧来说，在计算这相邻的两个视频帧之间的相似度时，可以将该相邻的两个视频帧的特征图分别输入孪生网络的两个分支中进行卷积处理，并进行后续的拼接、池化、分类操作等处理，就可以得到相邻两个视频帧之间的相似度；可以对每组相邻的两个视频帧都进行此操作，就可以得到视频源中各相邻两个视频帧之间的相似度。

示例地，假设一个视频源有4个视频帧，分别为1、2、3、4帧，那么这里就需要计算1帧和2帧之间的相似度、2帧和3帧之间的相似度、3帧和4帧之间的相似度。

s206，基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征。

在本步骤中，在融合处理时，可以将相邻两个视频帧之间的相似度作为这相邻两帧各自的权重，对于视频源中间的视频帧，这样会得到多个权重，那么可以对其对应的多个权重进行加权平均或直接平均，就可以得到其对应的权重，这样就可以得到每个视频帧对应的权重，然后利用每个视频帧对应的权重和其对应的特征向量进行加权融合，就可以得到视频源对应的融合特征。

当然也可以是对各相邻的两个视频帧的特征向量进行加权平均或直接平均，得到相邻两个视频帧对应的平均特征向量，然后将各组相邻的两个视频帧之间的相似度作为各组视频帧对应的权重，然后对各组视频帧对应的平均特征向量进行加权融合，就可以得到视频源对应的融合特征。当然还可以是其他方式，本实施例对此不作具体限定。

s208，根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

在本步骤中，可以将视频库中的各个视频源都通过本实施例的s202-s206的步骤得到其各自对应的融合特征，然后将s206得到待检测对象的视频源对应的融合特征(记为待匹配的融合特征)和这多个视频库的视频源对应的融合特征进行匹配，得到待匹配的融合特征和这多个融合特征之间各自的匹配得分，然后将匹配得分靠前的几个融合特征对应的视频源记为目标视频源，这里匹配得分可以表征匹配程度，得分越高，匹配程度越高。

当然也可以是在视频库中存储各个视频源时，同时也存储各个视频源对应的融合特征，然后就可以将待匹配的融合特征之间和视频库中的融合特征进行匹配，得到匹配的融合特征，进而得到匹配的目标视频源。当然也可以是其他匹配方式，这里不作具体限定。

另外，这里多个目标视频源就可以构成目标视频序列。

上述视频匹配方法中，通过对获取的视频源中的每个视频帧进行特征提取，得到每个视频帧对应的特征图和特征向量，通过相似度提取网络对每个视频帧的特征图进行相似度计算，得到其中各相邻两个视频帧之间的相似度，并通过各相邻两个视频帧之间的相似度对各个视频帧的特征向量进行融合处理，得到视频源对应的融合特征，基于该视频源的融合特征在预设的视频库中得到视频源对应的目标视频序列。在该方法中，由于在对每个视频帧的特征向量进行融合时，可以通过计算的视频源中各相邻两帧之间的相似度来对各视频帧的特征向量赋予权重，即该方法可以综合考虑各个视频帧之间的关系，这样可以为各个视频帧赋予更合适的权重，避免为相似度不高的视频帧赋予过高的权重，导致融合特征中噪声增多的问题，从而可以使最终得到的融合特征更加准确，这样在利用该更加准确的融合特征去匹配视频序列时，匹配到的目标视频序列也就更加准确。

在另一个实施例中，提供了另一种视频匹配方法，本实施例涉及的是若上述相似度提取网络包括差分子网络和相似度计算子网络，那么如何对各视频帧对应的特征图进行相似度计算的具体过程。在上述实施例的基础上，如图3所示，上述s204可以包括以下步骤：

s302，将各视频帧对应的特征图输入至差分子网络中，对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图。

在本步骤中，差分子网络也可以是神经网络，在对各相邻两个视频帧对应的特征图进行差分处理时可以采用如下步骤a1和步骤a2进行：

步骤a1，获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧。

其中，每组相邻的两个视频帧中的一个视频帧都可以称为第一视频帧，另一个视频帧都可以称为第二视频帧，第一视频帧上的各第一特征值可以相同，也可以不同，不过一般都是不同的，同样的，第二视频帧上的各第二特征值可以相同，也可以不同，不过一般都是不同的。在得到第一视频帧和第二视频帧各自的特征图之后，就可以得到特征图上各个网格上的特征值。

步骤a2，基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图。

其中，预设的差分方式包括差分方向，例如利用第一视频帧和第二视频帧进行差分或者利用第二视频帧和第一视频帧进行差分，当然还可以包括进行差分的视频帧上网格的尺寸大小等等。在利用特征图上的特征值具体进行差分时，可选的，可以获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值；将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图；将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

第一目标特征值可以是在第一视频帧的特征图上选取一个网格尺寸之后，该网格尺寸内设定位置上的特征值，该设定位置可以是中心网格、左上角网格、左下角网格、右上角网格、右下角网格等等。相应地，第二目标特征值可以是在第二视频帧的特征图上选取一个网格尺寸之后，该网格尺寸内设定位置上的特征值，特定位置可以和第一目标特征值的相同。

示例地，参见图3a所示，其中w、h分比为视频帧对应的特征图的宽和高，假设第一视频帧的特征图为m1，第二视频帧的特征图为m2，选取的网格尺寸大小为3*3，其网格上的特征值如图中所示，在m1中，可以以该3*3网格内的中心元素3为中心，基于该中心元素将其他8个网格上的元素进行补全，得到p1图，然后基于补全后的p1图与另一张特征图m2上的对应网格位置上的第二特征值进行差分，得到最后的差分图d1，重复此操作，最后得到的差分图d1就可以作为第一视频帧对应的差分特征图。由于差分是单向的运算，相应地，也可以在m2中，以3*3网格内的中心元素值为中心，对其他8个元素进行补全，并基于得到的不全图和特征图m1进行差分，得到差分图d2，同样重复此操作，最终得到的差分图d2就可以作为第二视频帧对应的差分特征图。

s304，将各相邻两个视频帧各自对应的差分特征图输入至相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

在本步骤中，在得到每组相邻的两个视频帧各自的差分特征图之后，可以将每组相邻的两个视频帧各自的差分特征图分别输入孪生网络的两个分支中进行卷积处理，并进行后续的拼接、池化、分类操作等处理，就可以得到每组相邻两个视频帧之间的相似度。

本实施例提供的视频匹配方法，若上述相似度提取网络包括差分子网络和相似度计算子网络，那么可以采用差分子网络得到每组相邻的两个视频帧的差分特征图，并采用相似度计算子网络对相邻两个视频帧的差分特征图进行相似度计算，得到相邻两个视频帧之间的相似度。在本实施例中，由于在计算相邻两个视频帧之间的相似度时采用的是差分特征图进行计算的，这样可以避免因视频帧原本的特征图的位置偏移所带来的计算误差，从而可以提高计算的相似度的准确性。

在另一个实施例中，提供了另一种视频匹配方法，本实施例涉及的是如何基于相邻两个视频帧之间的相似度对其对应的特征向量进行融合的具体过程。在上述实施例的基础上，如图4所示，上述s206可以包括以下步骤：

s402，对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量。

在本步骤中，需要对每组相邻的两个视频帧的特征向量都进行取均值处理，这里的取均值处理可以是两个特征向量进行求和平均的方式，当然也可以是其他加权求和方式等等。

示例地，假设一个视频源有4个视频帧，分别为1、2、3、4帧，那么这里就需要对1帧和2帧的特征向量进行取均值处理、对2帧和3帧的特征向量进行取均值处理、对3帧和4帧的特征向量进行取均值处理，得到1帧和2帧对应的平均特征向量、2帧和3帧的平均特征向量、3帧和4帧的平均特征向量。

s404，基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

在本步骤中，在上述s204中计算得到各相邻两个视频帧之间的相似度之后，可以将各组相邻的两个视频帧之间的相似度作为各组视频帧对应的权重，然后对各组视频帧对应的平均特征向量进行加权融合，就可以得到视频源对应的融合特征。

示例地，继续以上述s402的示例为例，那么通过s204可以得到1帧和2帧之间的相似度、2帧和3帧之间的相似度、3帧和4帧之间的相似度，那么可以将1帧和2帧之间的相似度与1帧和2帧对应的平均特征向量相乘，将2帧和3帧之间的相似度与2帧和3帧的平均特征向量相乘，将3帧和4帧之间的相似度与3帧和4帧的平均特征向量相乘，并将得到的三个乘积进行平均或求和等，得到的平均值或和值就可以作为视频源对应的融合特征。

本实施例提供的视频匹配方法，可以对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量，并基于基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。在本实施例中，由于可以对各相邻两个视频帧对应的特征向量进行均值处理，这样就可以和相邻两个视频帧之间的相似度对应起来，从而可以便于计算视频源的融合特征。

在另一个实施例中，提供了另一种视频匹配方法，本实施例涉及的是特征提取网络和相似度提取网络如何训练的具体过程。在上述实施例的基础上，首先，如图5所示，上述特征提取网络的训练过程可以包括以下步骤：

s502，获取至少一个样本视频源；样本视频源包括至少一个样本视频帧，每个样本视频帧均已标注类别概率分布。

在本步骤中，样本视频源的数量可以是1个、2个、3个...100个、200个等等，每个样本视频源中均包括样本对象，样本对象可以是人或动物、植物等等，每个样本视频源包括的样本对象一般是不同的，这样可以提高网络的泛化能力。每个样本视频源中可以包括至少一个样本视频帧。

每个样本视频帧均包括已标注类别概率分布，类别概率分布指的是属于各个类别的概率的集合。例如有100个样本视频源，其对应有4个类别，分别为a、b、c、d，假设一个样本视频源的类别为b，那么该样本视频源中的任意一个样本视频帧对应的已标注类别概率分布就可以记为[0,1,0,0]。

s504，将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征向量。

在本步骤中，需要对每个样本视频源中的各个视频帧都进行特征提取。

s506，将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布。

在本步骤中，分类器可以是神经网络、随机森林、支持向量机等等，该分类器在使用之前已经训练好，在此不赘述其训练过程。

另外，这里每个样本视频帧对应的预测类别概率分布中可以包括小数，例如一个样本视频帧对应预测类别概率分布可以是[0.01,0.85,0.04,0.1]。

s508，基于每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布，对初始特征提取网络进行训练，得到特征提取网络。

在本步骤中，可以计算每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布之间的损失，然后对所有样本视频帧的损失进行加权求和/取均值/直接求和，并用得到的均值/和值作为损失函数的值，对初始特征提取网络进行训练。这里损失可以是每个样本视频帧的已标注类别概率分布和预测类别概率分布之间的误差、方差、范数等，或者损失函数可以是交叉熵损失函数等。在训练特征提取网络时，当特征提取网络的损失函数的值小于预设的阈值时，或者当损失函数的值基本稳定时，则可以确定特征提取网络已经训练好，否则还要继续训练，当训练好时可以固定特征提取网络的参数，便于下一步使用。

接着，如图6所示，上述相似度提取网络的训练过程可以包括以下步骤：

s602，将各个样本视频帧输入至特征提取网络或初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图。

在本步骤中，可以将每个样本视频帧输入上述初始特征提取网络中，同时得到每个样本视频帧对应的特征图和特征向量，即特征提取网络和相似度提取网络同时训练(即联合训练)；也可以是在上述特征提取网络训练完成之后，再将上述样本视频源中的每个视频帧都输入至训练好的特征提取网络中，得到每个视频帧对应的特征图，即先训练好特征提取网络，再训练相似度提取网络(即两个网络单独训练)。

s604，将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度。

s606，计算各相邻两个样本视频帧的预测类别概率分布之间的散度，并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度。

在本步骤中，可以用如下散度计算公式(1)计算各相邻两个样本视频帧的预测类别概率分布之间的散度，如下：

其中，i表示样本视频帧的索引，n为样本视频帧的总数量，dkl为散度，p(x)来表示样本的真实分布，q(x)来表示模型所预测的分布，在本实施例中，p(x)和q(x)为相邻两个样本视频帧的预测类别概率分布，具体哪个为p(x)，哪个为q(x)，这里不作具体限定。

另外，这里将相邻两个视频帧之间的散度作为标准相似度，所谓标准相似度，即标签值或参考值。

s608，基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，对初始相似度提取网络进行训练，得到相似度提取网络。

在本步骤中，可以计算每组相邻两个样本视频帧之间的相似度和其对应的标准相似度之间的损失，然后对各组样本视频帧的损失进行加权求和/取均值/直接求和，并用得到的均值/和值作为损失函数的值，对初始相似度提取网络进行训练。这里损失可以是每组相邻两个样本视频帧之间的相似度和其对应的标准相似度之间的误差、方差、范数等。在训练相似度提取网络时，当相似度提取网络的损失函数的值小于预设的阈值时，或者当损失函数的值基本稳定时，则可以确定相似度提取网络已经训练好，否则还要继续训练，当训练好时可以固定相似度提取网络的参数，便于下一步使用。

如果上述特征提取网络和相似度提取网络联合训练，那么可以在两个网络都基本稳定时再固定两个网络的参数，也可以是先固定好特征提取网络的参数，再固定好相似度提取网络的参数。

本实施例提供的视频匹配方法，可以通过多个样本视频源对特征提取网络和相似度提取网络进行训练，其中特征提取网络的样本标签为已标注类别概率分布，相似度提取网络的标签为对特征提取网络的输出结果进行计算得到的标签，通过这两部分标签和样本对这两个网络进行训练，就可以得到训练好的特征提取网络和相似度提取网络。在本实施例中，由于采用的是半监督学习的方式对两个网络进行训练的，从而可以减少标签的噪声对网络准确性的影响，从而可以使训练的特征提取网络和相似度提取网络更加准确。

在另一个实施例中，为了便于对本申请的技术方案进行更详细的说明，以下结合一个更加详细的实施例加以说明，该方法可以包括以下步骤s1-s17：

s1，获取至少一个样本视频源；样本视频源中的每个样本视频帧均已标注类别概率分布。

s2，将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图和特征向量。

s3，将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度。

s4，将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布。

s5，计算每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布之间的第一损失。

s6，计算各相邻两个样本视频帧的预测类别概率分布之间的散度，得到各相邻两个样本视频帧之间的标准相似度。

s7，基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，得到第二损失。

s8，利用第一损失和第二损失对初始特征提取网络和初始相似度提取网络进行训练，得到训练好的特征提取网络和训练好的相似度提取网络。

s9，将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量。

s10，将各视频帧对应的特征图输入至相似度提取网络的差分子网络中，获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧。

s11，获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值。

s12，将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图。

s13，将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

s14，对各相邻两个视频帧各自对应的差分特征图输入至相似度提取网络的相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

s15，对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量。

s16，基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

s17，根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列。

下面给出一个实例，参见图7所示，假设有3个视频源，分别为ida、idb、idc，每个视频源中包含4帧图片(即4个视频帧，对应图中的imageandid，其中ida对应的4帧图片分别为ia1、ia2、ia3、ia4，idb对应的4帧图片分别为ib1、ib2、ib3、ib4，idc对应的4帧图片分别为ic1、ic2、ic3、ic4)，每个视频源分别有一个id，不同id代表不同的目标，同一序列中的不同帧具有一样的id标签(即图中的i-lable，ida、idb、idc)。在训练网络时，可以将ida、idb、idc输入特征提取网络(即图中的featureembeddingnetwork)，得到每帧图片对应的特征图(即图中的feature，fa1、fa2...fc4)和每帧图片对应的特征向量(即图中的framevector，va1、va2...vc4)，然后利用分类器对各个特征向量进行分类，得到每帧图片对应的类别概率分布(即图中的probability，pa1、pa2、...、pc4)，之后可以计算probability和i-lable之间的交叉熵损失lc来进行网络训练。同时可以将每帧图片对应的特征图(即图中的feature，fa1、fa2...fc4)输入相似度计算网络中进行差分处理(也可以称为补全差分处理，为图7中的simimarityembeddingnetwork，需要说明的是，图7中feature中的fa1是与featureembeddingnetwork中的fa1连接的，feature中的fa2是与featureembeddingnetwork中的fa2连接的)，得到相邻两个图片的差分特征图，然后进行卷积，拼接，池化以及分类等操作，得到各相邻两个图片之间的相似度(即图中的simimarity，sa12、sa23、...、sb23、...、sc23、sc34)，在训练相似度提取网络时，可以计算各相邻两个预测概率分布之间的散度，例如pa1、pa2之间的散度、pa2、pa3之间的散度等等，得到标准相似度(如图中的s_lable，ka12、ka23、...、kb23、...、kc23、kc34)，之后可以计算s_lable和probability中对应元素的损失对相似度ls提取网络进行训练。在使用或测试test时，只需要输出相似度和特征向量就可以了(如图中的trackletvector，ta、tb、tc)。

需要说明的是，上述pa1、pa2、...、pc4中，pa1表示ia1图片对应的类别概率分布，pa2表示ia2图片对应的类别概率分布，pa3表示ia3图片对应的类别概率分布，pa4表示ia4图片对应的类别概率分布，pb1表示ib1图片对应的类别概率分布，pb2表示ib2图片对应的类别概率分布，pb3表示ib3图片对应的类别概率分布，pb4表示ib4图片对应的类别概率分布，pc1表示ic1图片对应的类别概率分布，pc2表示ic2图片对应的类别概率分布，pc3表示ic3图片对应的类别概率分布，pc4表示ic4图片对应的类别概率分布。上述fa1、fa2...fc4以及上述va1、va2...vc4，均可以按照此方式类推表示。

上述sa12、sa23、...、sb23、...、sc23、sc34中，sa12表示ia1图片和ia2图片之间的相似度，sa23表示ia2图片和ia3图片之间的相似度，sa34表示ia3图片和ia4图片之间的相似度，sb12表示ib1图片和ib2图片之间的相似度，sb23表示ib2图片和ib3图片之间的相似度，sb34表示ib3图片和ib4图片之间的相似度，sc12表示ic1图片和ic2图片之间的相似度，sc23表示ic2图片和ic3图片之间的相似度，sc34表示ic3图片和ic4图片之间的相似度。

上述ka12、ka23、...、kb23、...、kc23、kc34中，ka12表示pa1和pa2之间的散度，ka23表示pa2和pa3之间的散度，ka34表示pa3和pa4之间的散度，kb12表示pb1和pb2之间的散度，kb23表示pb2和pb3之间的散度，kb34表示pb3和pb4之间的散度，kc12表示pc1和pc2之间的散度，kc23表示pc2和pc3之间的散度，kc34表示pc3和pc4之间的散度。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种视频匹配装置，包括：特征提取模块10、计算模块11、融合模块12和匹配模块13，其中：

特征提取模块10，用于将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

计算模块11，用于将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

融合模块12，用于基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

匹配模块13，用于根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

关于视频匹配装置的具体限定可以参见上文中对于视频匹配方法的限定，在此不再赘述。

在另一个实施例中，提供了一种视频匹配装置，在上述实施例的基础上，若上述相似度提取网络包括差分子网络和相似度计算子网络，上述计算模块11包括差分单元和计算单元，其中：

差分单元，用于将各视频帧对应的特征图输入至差分子网络中，对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图；

计算单元，用于将各相邻两个视频帧各自对应的差分特征图输入至相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

可选的，上述差分单元包括获取子单元、确定子单元，其中，获取子单元，用于获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧；计算子单元，用于基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图。

可选的，计算子单元，还用于获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值；将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图；将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

在另一个实施例中，提供了一种视频匹配装置，在上述实施例的基础上，上述融合模块12可以包括均值单元和融合单元，其中：

均值单元，用于对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量；

融合单元，用于基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

在另一个实施例中，提供了一种视频匹配装置，在上述实施例的基础上，上述装置还可以包括第一网络训练模块和第二网络训练模块，其中：

第一网络训练模块，用于获取至少一个样本视频源；样本视频源包括至少一个样本视频帧，每个样本视频帧均已标注类别概率分布；将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征向量；将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布；基于每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布，对初始特征提取网络进行训练，得到特征提取网络。

第二网络训练模块，用于将各个样本视频帧输入至特征提取网络或初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图；将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度；计算各相邻两个样本视频帧的预测类别概率分布之间的散度，并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度；基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，对初始相似度提取网络进行训练，得到相似度提取网络。

关于视频匹配装置的具体限定可以参见上文中对于视频匹配方法的限定，在此不再赘述。

上述视频匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将各视频帧对应的特征图输入至差分子网络中，对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图；将各相邻两个视频帧各自对应的差分特征图输入至相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧；基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值；将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图；将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量；基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取至少一个样本视频源；样本视频源包括至少一个样本视频帧，每个样本视频帧均已标注类别概率分布；将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征向量；将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布；基于每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布，对初始特征提取网络进行训练，得到特征提取网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将各个样本视频帧输入至特征提取网络或初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图；将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度；计算各相邻两个样本视频帧的预测类别概率分布之间的散度，并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度；基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，对初始相似度提取网络进行训练，得到相似度提取网络。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

将获取的视频源输入至特征提取网络中进行特征提取，得到视频源中各个视频帧对应的特征图和特征向量；视频源包括至少一个视频帧，每个视频帧中均包括待检测对象；

将各视频帧对应的特征图输入至相似度提取网络中进行相似度计算，得到视频源中各相邻两个视频帧之间的相似度；

基于各相邻两个视频帧之间的相似度，对各个视频帧对应的特征向量进行融合处理，得到视频源对应的融合特征；

根据视频源对应的融合特征和预设的视频库，在视频库中确定与视频源匹配的目标视频序列；目标视频序列包括至少两个目标视频源。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将各视频帧对应的特征图输入至差分子网络中，对其中的各相邻两个视频帧对应的特征图进行差分处理，得到各相邻两个视频帧各自对应的差分特征图；将各相邻两个视频帧各自对应的差分特征图输入至相似度计算子网络中进行相似度计算，得到各相邻两个视频帧之间的相似度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取第一视频帧对应的特征图上各个网格的第一特征值以及第二视频帧对应的特征图上各个网格的第二特征值；第一视频帧和第二视频帧为相邻的两个视频帧；基于各第一特征值和各第二特征值以及预设的差分方式，得到第一视频帧的差分特征图和第二视频帧的差分特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取各第一特征值中的第一目标特征值，以及获取各第二特征值中的第二目标特征值；将各第一特征值均替换为第一目标特征值，并将替换后的各新的第一特征值和各第二特征值进行差分处理，得到第一视频帧对应的差分特征图；将各第二特征值均替换为第二目标值，并将替换后的各新的第二特征值和各第一特征值进行差分处理，得到第二视频帧对应的差分特征图。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对视频源中各相邻两个视频帧对应的特征向量进行取均值处理，得到各相邻两个视频帧对应的平均特征向量；基于各相邻两个视频帧之间的相似度，对各相邻两个视频帧对应的平均特征向量进行加权融合处理，得到视频源对应的融合特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取至少一个样本视频源；样本视频源包括至少一个样本视频帧，每个样本视频帧均已标注类别概率分布；将各个样本视频帧输入至初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征向量；将每个样本视频帧对应的特征向量输入至分类器中，得到每个样本视频帧对应的预测类别概率分布；基于每个样本视频帧对应的预测类别概率分布和每个样本视频帧的已标注类别概率分布，对初始特征提取网络进行训练，得到特征提取网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将各个样本视频帧输入至特征提取网络或初始特征提取网络中进行特征提取，得到每个样本视频帧对应的特征图；将每个样本视频帧对应的特征图输入至初始相似度提取网络中进行相似度计算，得到各相邻两个样本视频帧之间的预测相似度；计算各相邻两个样本视频帧的预测类别概率分布之间的散度，并将得到的各相邻两个样本视频帧之间的散度确定为各相邻两个样本视频帧之间的标准相似度；基于各相邻两个样本视频帧之间的预测相似度和各相邻两个视频帧之间的标准相似度，对初始相似度提取网络进行训练，得到相似度提取网络。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(staticrandomaccessmemory，sram)或动态随机存取存储器(dynamicrandomaccessmemory，dram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。