基于视频的对象相似度比较方法和检索方法及其系统与流程

技术特征：

1.一种基于视频的对象相似度比较方法，其特征在于，包括以下步骤：

从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点，并根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：

在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；

将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；

计算所述超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。

2.根据权利要求1所述的基于视频的对象相似度比较方法，其特征在于，所述“在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征”的步骤包括以下子步骤：

对于每一帧图像，确定在该帧图像中对象的位置；

根据对象的位置对每一帧图像进行采样；

根据采样结果提取特征作为该对象在一个视角的特征。

3.根据权利要求2所述的基于视频的对象相似度比较方法，其特征在于，所述根据采样结果提取特征作为该对象在一个视角的特征的步骤包括以下子步骤：

提取属于该对象的稠密关键点特征，对所述稠密关键点特征进行降维并映射为低维子空间特征；

提取属于该对象的基于卷积神经网络的特征；

将所述降维后的稠密关键点特征与基于卷积神经网络的特征进行级联，形成所述对象在一个视角的特征。

4.根据权利要求2所述的基于视频的对象相似度比较方法，其特征在于，所述确定在该帧图像中对象的位置的步骤，包括以下子步骤：

提取出对象的候选框，对于每个候选框使用基于卷积神经网络的检测方法对感兴趣对象进行初步定位；

使用边界框回归技术进一步精细化定位对象位置。

5.根据权利要求1所述的基于视频的对象相似度比较方法，其特征在于，所述根据第一和第二对象的典型参考点计算第一和第二对象的相似度的步骤包括以下子步骤：

将第一和第二对象每个典型参考点映射为二进制串，作为第一和第二对象的特征码；

将第一和第二对象的典型参考点对应的特征码看作二分图中的两组特征点集合，将两组特征点集合进行匹配得到每个特征点的最佳匹配特征点；

使用如下公式计算相似度：

其中，表示所有匹配上的特征点的集合，表示待检索对象中没有匹配上的特征点的集合，表示数据库对象中没有匹配上的特征点的集合；p_u，p_v表示特征码，H(p_u，p_v)表示p_u，p_v之间的Hamming距；|p_u|表示集合中每个特征码的长度，|p_v|表示集合中每个特征码的长度，α和β用于控制非匹配结果与匹配结果之间的重要性。

6.一种基于视频的对象检索方法，其特征在于，包括以下步骤：

根据权利要求1至5中任一项所述的对象相似度比较的方法计算待检索 对象与数据库中对象之间的相似度；

将相似度大于阈值的对象作为所述待检索对象的检索结果。

7.一种基于视频的对象相似度比较系统，其特征在于，包括以下模块：

典型参考点获取模块，用于从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点；

相似度计算模块，用于根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，

所述典型参考点获取模块通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：

对象特征提取模块，用于在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；

曲线拟合模块，用于将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；

参考点选取模块，用于计算所述超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。

8.根据权利要求7所述的基于视频的对象相似度比较系统，其特征在于，所述对象特征提取模块包括以下子模块：

对象位置确定子模块，用于对每一帧图像确定在该帧图像中对象的位置；

采样子模块，用于根据对象的位置对每一帧图像进行采样；

提取特征子模块，用于根据采样结果提取特征作为该对象在一个视角的特征。

9.根据权利要求8所述的基于视频的对象相似度比较系统，其特征在于，所述提取特征子模块进一步包括以下子模块：

第一特征提取子模块，用于提取属于该对象的稠密关键点特征，对所述稠密关键点特征进行降维并映射为低维子空间特征；

第二特征提取子模块，用于提取属于该对象的基于卷积神经网络的特征；

特征级联子模块，用于将所述降维后的稠密关键点特征与基于卷积神经网络的特征进行级联，形成所述对象在一个视角的特征。

10.根据权利要求8所述的基于视频的对象相似度比较系统，其特征在于，所述对象位置确定子模块进一步包括以下子模块：

初步定位子模块，用于提取出对象的候选框，对于每个候选框使用基于卷积神经网络的检测方法对感兴趣对象进行初步定位；

精细定位子模块，用于使用边界框回归技术进一步精细化定位对象位置。

11.根据权利要求7所述的基于视频的对象相似度比较系统，其特征在于，所述相似度计算模块包括以下子模块：

映射子模块，用于将第一和第二对象每个典型参考点映射为二进制串，作为第一和第二对象的特征码；

匹配子模块，用于将第一和第二对象的典型参考点对应的特征码看作二分图中的两组特征点集合，将两组特征点集合进行匹配得到每个特征点的最佳匹配特征点；

计算子模块，用于使用如下公式计算相似度：

其中，表示所有匹配上的特征点的集合，表示待检索对象中没有匹配上的特征点的集合，表示数据库对象中没有匹配上的特征点的集合；p_u，p_v表示特征码，H(p_u，p_v)表示p_u，p_v之间的Hamming距；|p_u|表示集合中每个特征码的长度，|p_v|表示集合中每个特征码的长度，α和β用于控制非匹配结果与匹配结果之间的重要性。

12.一种基于视频的对象检索系统，其特征在于，包括以下模块：

相似度比较模块，用于根据权利要求7至11中任一项所述的对象相似度比较系统，计算待检索对象与数据库中对象之间的相似度；

检索结果选取模块，用于将相似度大于阈值的对象作为所述待检索对象的检索结果。