多视频关联方法及装置与流程

1.本申请涉及媒体文件处理技术领域，尤其涉及一种多视频关联方法及装置。


背景技术：

2.目前视频检索在大型互联网视频网站或者短视频app的发展应用广泛。
3.视频检索技术可以理解为从视频中搜索有用或者需要的资料，其主要是通过对输入的视频文件进行视频场景边界检测、视频镜头检测、关键帧提取、索引建立、索引存储等操作，最后将相似度匹配的视频片段进行关联。
4.在实现现有技术的过程中，发明人发现：
5.目前视频检索仅针对短视频进行相似度匹配计算，且无法对多视频进行关联。
6.因此，需要提供一种多视频关联方法及装置，用于实现若干长视频关联匹配。


技术实现要素：

7.本申请实施例提供一种多视频关联方法及装置，用于实现若干长视频关联匹配。
8.在本申请提供的一种多视频关联方法，包括以下步骤：
9.获取至少两个视频文件；
10.根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割，至少生成第三视频子文件、第四视频子文件；
11.根据第二视频文件视频帧的色彩特征相似度，对第二视频文件进行分割，至少生成第五视频子文件、第六视频子文件；
12.以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息；
13.比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度；
14.确定相对于第三视频子文件特征索引相似度超过第二预设阈值的第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件，作为中间视频子文件；
15.将中间视频子文件与所述第三视频子文件关联，生成关联信息。
16.进一步的，根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割，至少生成第三视频子文件、第四视频子文件，具体包括：
17.逐帧比较第一视频文件内视频帧的灰度值；
18.当下一帧与当前帧的灰度值相似度超过第一预设阈值，选定当前帧作为第一视频帧，下一帧作为第二视频帧；
19.以所述第一视频帧作为第一视频文件新增视频结束端点；
20.以所述第二视频帧作为第一视频文件新增视频起始端点；
21.所述第一视频帧、第二视频帧分割第一视频文件，至少生成第三视频子文件、第四
视频子文件。
22.进一步的，逐帧比较第一视频文件内视频帧的灰度值，具体包括：
23.将第一视频文件内视频帧单个颜色的灰度等级从256级降低至16级；
24.将三个颜色中的任意两个颜色值按4字节存储，用于表示第一视频文件的视频帧灰度值；
25.当使用巴氏系数计算公式计算第一视频文件内视频帧灰度值相似度时，得到优化算法后的第一视频文件视频帧的色彩特征相似度。
26.进一步的，以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息，具体包括：
27.提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一种特征；
28.以预设的数据结构分别储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的视频特征，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引；
29.其中，所述预设的数据结构头部数据为摘要字段，后面每若干位分别存储色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
30.进一步的，比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度，具体包括：
31.分别比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的摘要字段相似度；或
32.分别比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一项特征向量相似度。
33.本申请提供的一种多视频关联装置，包括：
34.获取模块，用于获取至少两个视频文件；
35.分割模块，用于根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割，至少生成第三视频子文件、第四视频子文件；
36.根据第二视频文件视频帧的色彩特征相似度，对第二视频文件进行分割，至少生成第五视频子文件、第六视频子文件；
37.索引模块，用于以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息；
38.比较模块，用于比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度；
39.关联模块，用于确定相对于第三视频子文件特征索引相似度超过第二预设阈值的第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件，作为中间视频子文件；
40.将中间视频子文件与所述第三视频子文件关联，生成关联信息。
41.进一步的，分割模块用于根据第一视频文件视频帧的色彩特征相似度，对第一视
频文件进行分割，至少生成第三视频子文件、第四视频子文件，具体用于：
42.逐帧比较第一视频文件内视频帧的灰度值；
43.当下一帧与当前帧的灰度值相似度超过第一预设阈值，选定当前帧作为第一视频帧，下一帧作为第二视频帧；
44.以所述第一视频帧作为第一视频文件新增视频结束端点；
45.以所述第二视频帧作为第一视频文件新增视频起始端点；
46.所述第一视频帧、第二视频帧分割第一视频文件，至少生成第三视频子文件、第四视频子文件。
47.进一步的，所述分割模块还包括优化子模块；
48.所述优化子模块具体用于：
49.将第一视频文件内视频帧单个颜色的灰度等级从256级降低至16级；
50.将三个颜色中的任意两个颜色值按4字节存储，用于表示第一视频文件的视频帧灰度值；
51.当使用巴氏系数计算公式计算第一视频文件内视频帧灰度值相似度时，得到优化算法后的第一视频文件视频帧的色彩特征相似度。
52.进一步的，所述索引模块用于以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息，具体用于：
53.提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一种特征；
54.以预设的数据结构分别储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的视频特征，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引；
55.其中，所述预设的数据结构头部数据为摘要字段，后面每若干位分别存储色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
56.进一步的，所述比较模块用于比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度，具体用于：
57.分别比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的摘要字段相似度；或
58.分别比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一项特征向量相似度。
59.本申请提供的实施例至少具有以下有益效果：
60.本申请可用于实现若干长视频关联匹配。
61.经过优化的计算方法，可以节省将近50％的计算量，提升计算效率。
62.经过设计的向量存储格式，可以方便总体的计算和分向量计算。比如可以进行整体视频的相似度计算，也可以依据不同的特征进行相似度计算。方便了操作者在检索查找及关联的方法和性能。
附图说明
63.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
64.图1为本申请实施例提供的实现多视频关联方法的流程框图。
65.图2为本申请实施例提供的实现多视频关联装置的结构示意框图。
66.附图标记：
67.100
ꢀꢀꢀꢀꢀ
多视频关联装置
68.11
ꢀꢀꢀꢀꢀꢀ
获取模块
69.12
ꢀꢀꢀꢀꢀꢀ
分割模块
70.121
ꢀꢀꢀꢀꢀ
优化子模块
71.13
ꢀꢀꢀꢀꢀꢀ
索引模块
72.14
ꢀꢀꢀꢀꢀꢀ
比较模块
73.15
ꢀꢀꢀꢀꢀꢀ
关联模块
具体实施方式
74.为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
75.目前视频检索在大型互联网视频网站或者短视频app的发展应用广泛。另外，视频检索在监控视频领域中也有比较广泛的应用。
76.视频检索技术可以理解为从视频中搜索有用或者需要的资料，其主要是通过对输入的视频文件进行视频场景边界检测、视频镜头检测、关键帧提取、索引建立、索引存储等操作，最后将相似度匹配的视频片段进行关联。
77.但目前视频检索仅针对短视频进行相似度匹配计算，可以处理的视频文件数量也仅为两个，无法对多视频进行关联。
78.因此，需要提供一种多视频关联方法及装置，用于实现若干长视频中关联片段的匹配。
79.请参照图1，本申请提供了一种多视频关联方法，包括以下步骤：
80.s110：获取至少两个视频文件。
81.需要指出的是，区别于现有技术中仅可获取两个短视频文件至系统进行相似度匹配计算，本申请提供的多视频关联方法可以输入多个长视频文件进行关联。
82.具体的，所述视频文件可以是包含了实时的音频、视频信息的多媒体文件。所述视频文件的文件格式可以是mpeg、avi、asf、mov、3gp、wmv、rm、 rmvb、flv/f4v。
83.在具体的应用场景中，所述视频文件可以是从记录仪获取的需要关联的若干视频、需要关联的若干监控视频、需要关联的若干采访视频等。
84.这类视频的录制时间较长，并且会有多个机位进行录制。因此在关联时，系统往往会获取到至少两个长视频文件。
85.s120：根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割，至
少生成第三视频子文件、第四视频子文件。
86.可以理解的是，系统获取的视频文件可以有多个。为使描述简洁，此处仅以系统获取两个视频文件进行描述，并不能因此而理解为对发明专利范围的限制。
87.为便于表示，此处将系统获取的两个视频文件其中一个视频文件记作第一视频文件。
88.需要指出的是，考虑到所述视频文件是从记录仪获取的需要关联的若干视频、需要关联的若干监控视频、需要关联的若干采访视频等情形下，由于每次录制视频的场景区别会很大，摄像机采集到的视频也会有很多不同的视角镜头。因此系统需要对第一视频文件镜头切换时进行分割。
89.而系统判断第一视频文件镜头切换最直接的方法就是比较第一视频文件视频帧的色彩特征相似度。
90.所述色彩特征相似度可以是，计算第一视频文件视频帧的灰度值相似度。
91.具体的，系统可以计算第一视频文件各视频帧的灰度值，之后系统计算第一视频文件内相邻视频帧的灰度值相似度。
92.当相邻视频帧的灰度值相似度超过第一预设阈值，系统将选定所述灰度值相似度超过第一预设阈值的相邻两帧分别作为新增视频结束端点和新增视频起始端点。其中，当相邻视频帧的灰度值相似度超过第一预设阈值，表示第一视频文件中当前帧与下一帧的色彩特征差异比较大，因此可以判定第一视频文件中的镜头进行了切换。
93.具体的，第一视频文件视频帧的灰度值需要考虑rgb三个通道。因此，第一视频文件视频帧的灰度空间有256*256*256＝16777216个。
94.在计算第一视频文件视频帧的灰度值时，系统将针对于第一视频文件每一视频帧的各灰度等级进行计算。考虑系统的计算量非常大，通常把三个颜色的灰度等级从256级降低到16级，然后把rgb的值按4字节存储，如下：
95.int value＝(r/16)*16*15+(g/16)*15+(b/16)。
96.之后根据巴氏系数计算公式计算第一视频文件视频帧灰度值相似度值，巴氏系数公式如下：
[0097][0098]
公式中p、p
′
分别代表源与候选的图像数据，对每个相同i的数据点乘积开平方以后相加得出的结果即为灰度值相似度值，即巴氏系数因子值。数值范围在0到1之间，且数值越接近0，表明图像越相似。
[0099]
需要强调的是，上述计算方法是计算第一视频文件视频帧的灰度值的传统方法。考虑到大部分视频的独特特征集中在视频画面中央2/3处，且r值对特征影响非常小，于是本申请对灰度值以及巴氏系数的计算方法进行了优化。
[0100]
具体的，优化后的结果为：
[0101]
short value＝(g/16)*15+b/16
[0102][0103]
需要特别强调的是，所述第一视频文件可以进行多段分割。为使描述简洁，此处仅
以第一视频文件分割生成的两个视频子文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0104]
为便于表示，此处将第一视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第一视频帧与第二视频帧。
[0105]
系统将以所述第一视频帧作为第一视频文件新增视频结束端点，系统以所述第二视频帧作为第一视频文件新增视频起始端点。
[0106]
为便于表示，此处将所述第一视频帧、第二视频帧分割第一视频文件后，生成的两个视频子文件分别记作第三视频子文件、第四视频子文件。
[0107]
可以理解的是，以上所述的灰度值相似度超过第一预设阈值的相邻两帧可以有多组，所述第一视频文件也可以生成多个视频子文件。为使描述简洁，未对实施例中可能的组合都进行描述，并不能因此而理解为对发明专利范围的限制。
[0108]
s130：根据第二视频文件视频帧的色彩特征相似度，对第二视频文件进行分割，至少生成第五视频子文件、第六视频子文件。
[0109]
可以理解的是，系统获取的视频文件可以有多个。为使描述简洁，此处仅以系统获取两个视频文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0110]
为便于表示，此处将系统获取的两个视频文件中除第一视频文件外的另一个视频文件记作第二视频文件。
[0111]
需要指出的是，考虑到所述视频文件是从记录仪获取的需要关联的若干视频、需要关联的若干监控视频、需要关联的若干采访视频等情形下，由于每次录制视频的场景区别会很大，摄像机采集到的视频也会有很多不同的视角镜头。因此系统需要对第二视频文件镜头切换时进行分割，系统判断第二视频文件镜头切换最直接的方法就是比较第二视频文件视频帧的色彩特征相似度。
[0112]
所述色彩特征相似度可以是，计算第二视频文件视频帧的灰度值相似度。
[0113]
具体的，系统将计算第二视频文件各视频帧的灰度值，之后系统计算第二视频文件内相邻视频帧的灰度值相似度。
[0114]
系统计算第二视频文件各视频帧的灰度值的方法同上所述，此处不再进行详细赘述。
[0115]
当相邻视频帧的灰度值相似度超过第一预设阈值，系统将选定所述灰度值相似度超过第一预设阈值的相邻两帧分别作为新增视频结束端点和新增视频起始端点。其中，当相邻视频帧的灰度值相似度超过第一预设阈值，表示第二视频文件中当前帧与下一帧的色彩特征差异比较大，因此可以判定第二视频文件中的镜头进行了切换。
[0116]
需要特别强调的是，所述第二视频文件可以进行多段分割。为使描述简洁，此处仅以第二视频文件分割生成的两个视频子文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0117]
为便于表示，此处将第二视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第三视频帧与第四视频帧。
[0118]
系统将以所述第三视频帧作为第二视频文件新增视频结束端点，系统以所述第四视频帧作为第二视频文件新增视频起始端点。
[0119]
为便于表示，此处将所述第三视频帧、第四视频帧分割第二视频文件后，生成的两
个视频子文件分别记作第五视频子文件、第六视频子文件。
[0120]
可以理解的是，以上所述的灰度值相似度超过第一预设阈值的相邻两帧可以有多组，所述第二视频文件也可以生成多个视频子文件。为使描述简洁，未对实施例中可能的组合都进行描述，并不能因此而理解为对发明专利范围的限制。
[0121]
s140：以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息。
[0122]
需要指出的是，为了针对多个视频子文件进行视频之间的关联，系统需要对第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件进行特征的提取。
[0123]
在系统提取第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征信息后，为了便于检索、比较、关联第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件。系统还需要对提取到的第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征以预设的存储格式来存储多项属性特征值。
[0124]
具体的，系统将提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一种特征。
[0125]
在系统提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征的情形下，色彩特征可以是计算视频子文件每一视频帧的灰度值相似度。
[0126]
在系统提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的纹理特征时，纹理特征的计算可以采用lbp局部二值模式算法进行计算。
[0127]
在系统提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的目标特征的情形下，目标特征可以采用yolov3的深度学习训练成熟模型进行提取。
[0128]
在系统提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的运动特征的情形下，运动特征可以基于openpose姿态识别对人员姿态进行提取。
[0129]
在系统提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的音频特征的情形下，音频特征可以通过语谱图计算每一帧语音的fft值，然后求绝对值得出。
[0130]
之后系统以预设的数据结构分别储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的视频属性特征值，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0131]
具体的，所述预设的数据结构头部数据为摘要字段，后面每若干位分别存储色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
[0132]
在本申请提供的一种具体实施例中，所述预设的数据结构可以设计为头部数据的16位为摘要(summary)字段，后面每16位存储一项特征向量的存储结构。
[0133]
summary字段要计算方法如下：
[0134][0135]
公式中w
i
为不同的向量权重值，x
i
为不同的特征值。
[0136]
summary向量可以直接进行余弦相似度计算，计算公式如下：
[0137][0138]
公式中x
i
表示向量中的每一个特征值，y
i
表示第二个向量中的每一个特征值。
[0139]
s150：比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度。
[0140]
需要指出的是，系统将根据储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的数据结构，分别读取第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0141]
需要特别指出的是，系统可以将第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件中任意一个视频子文件作为比较对象。为使描述简洁，此处仅以第三视频子文件作为比较对象进行描述，并不能因此而理解为对发明专利范围的限制。
[0142]
当以第三视频子文件为比较对象时，分别计算第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度。
[0143]
需要强调的是，所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引可以是第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的摘要字段。
[0144]
或者所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引可以是第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
[0145]
可以理解的是，系统可以将第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件中任意一个视频子文件作为比较对象。因此，系统也可以比较第三视频子文件、第五视频子文件、第六视频子文件相对于第四视频子文件的特征索引相似度。
[0146]
或者系统也可以比较第三视频子文件、第四视频子文件、第六视频子文件相对于第五视频子文件的特征索引相似度。
[0147]
或者系统也可以比较第三视频子文件、第四视频子文件、第五视频子文件相对于第六视频子文件的特征索引相似度。
[0148]
s160：确定相对于第三视频子文件特征索引相似度超过第二预设阈值的第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件，作为中间视频子文件。
[0149]
需要指出的是，系统将根据所述第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度，确定相对于第三视频子文件的特征索引相似度超过第二阈值的所述第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件作为中间视频子文件。
[0150]
需要强调的是，如果相对于第三视频子文件的特征索引相似度超过第二阈值的视频子文件只有一个，所述中间视频子文件可以是具有单个元素的文件。如果相对于第三视频子文件的特征索引相似度超过第二阈值的视频子文件有多个，所述中间视频子文件也可以是多个视频子文件的合集。可以理解的是，只要所述第四视频子文件、第五视频子文件、第六视频子文件任意一个视频子文件相对于第三视频子文件的特征索引相似度超过第二阈值，均视为是中间视频子文件。
[0151]
s170：将中间视频子文件与所述第三视频子文件关联，生成关联信息。
[0152]
需要指出的是，系统将中间视频子文件与所述第三视频子文件关联，生成关联信息。
[0153]
还需要指出的是，系统还可以根据所述关联信息，展示中间视频子文件和第三视频子文件。
[0154]
在本申请提供的具体实施方式中，有两个视频长时间连续、动作幅度大的记录视频。
[0155]
系统在获取两个视频长时间连续、动作幅度大的记录视频后，分别记作第一视频文件和第二视频文件。
[0156]
之后系统可以计算第一视频文件各视频帧的灰度值，并确定出第一视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第一视频帧与第二视频帧。并以所述第一视频帧作为第一视频文件新增视频结束端点，以所述第二视频帧作为第一视频文件新增视频起始端点。
[0157]
以第一视频帧、第二视频帧分割第一视频文件后，生成的两个视频子文件分别记作第三视频子文件、第四视频子文件。
[0158]
然后系统将计算第二视频文件各视频帧的灰度值，并确定出第二视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第三视频帧与第四视频帧。并以所述第三视频帧作为第二视频文件新增视频结束端点，以所述第四视频帧作为第二视频文件新增视频起始端点。
[0159]
以第三视频帧、第四视频帧分割第二视频文件后，生成的两个视频子文件分别记作第五视频子文件、第六视频子文件。
[0160]
再然后，系统以16位为摘要(summary)字段，后面每16位存储一项特征向量，共计96位的数据结构，分别存储第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征，作为第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0161]
再然后，系统将以第三视频子文件为比较对象，分别计算第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的摘要字段相似度。
[0162]
再然后，系统将相对于第三视频子文件的特征索引相似度超过第二阈值的第六视频子文件作为中间视频子文件。并将所述中间视频子文件与第三视频子文件关联，生成关联信息。
[0163]
最后，系统根据所述关联信息，展示与第六视频子文件和第三视频子文件。
[0164]
为支持多视频关联方法，本申请提供了一种多视频关联装置100。
[0165]
请参照图2，本申请提供的一种多视频关联装置100，包括：
[0166]
获取模块11，用于获取至少两个视频文件。
[0167]
需要指出的是，区别于现有技术中仅可获取两个短视频文件进行相似度匹配计算，本申请提供的多视频关联装置100可以通过获取模块11获取多个长视频文件进行关联。
[0168]
具体的，所述视频文件可以是包含了实时的音频、视频信息的多媒体文件。所述视频文件的文件格式可以是mpeg、avi、asf、mov、3gp、wmv、rm、 rmvb、flv/f4v。
[0169]
在具体的应用场景中，所述视频文件可以是从记录仪获取的需要关联的若干视频、需要关联的若干监控视频、需要关联的若干采访视频等。
[0170]
这类视频的录制时间较长，并且会有多个机位进行录制。因此在关联时，获取模块11往往会获取到至少两个长视频文件。
[0171]
分割模块12，用于根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割，至少生成第三视频子文件、第四视频子文件；
[0172]
根据第二视频文件视频帧的色彩特征相似度，对第二视频文件进行分割，至少生成第五视频子文件、第六视频子文件。
[0173]
需要指出的是，由于获取模块11可以获取多个长视频文件，为使描述简洁，此处仅以获取模块11获取两个长视频文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0174]
为便于表示，此处将获取模块11获取的两个长视频文件分别记作第一视频文件与第二视频文件。
[0175]
需要指出的是，考虑到所述视频文件是从记录仪获取的需要关联的若干视频、需要关联的若干监控视频、需要关联的若干采访视频等情形下，由于每次录制视频的场景区别会很大，摄像机采集到的视频也会有很多不同的视角镜头。因此多视频关联装置100需要通过分割模块12对第一视频文件、第二视频文件镜头切换时进行分割。
[0176]
而分割模块12判断第一视频文件镜头切换最直接的方法就是比较第一视频文件视频帧的色彩特征相似度。
[0177]
分割模块12将根据第一视频文件视频帧的色彩特征相似度，对第一视频文件进行分割。
[0178]
需要指出的是，所述色彩特征相似度可以是，计算第一视频文件视频帧的灰度值相似度。
[0179]
具体的，分割模块12可以计算第一视频文件各视频帧的灰度值，之后分割模块12计算第一视频文件内相邻视频帧的灰度值相似度。
[0180]
在本申请提供的具体实施方式中，分割模块12可以使用传统的巴氏系数计算公式对所述第一视频文件视频帧的灰度值进行计算。
[0181]
而考虑到大部分视频的独特特征集中在视频画面中央2/3处，分割模块12 还包括优化子模块121。
[0182]
所述优化子模块121可以使用改进的巴氏系数计算公式对所述第一视频文件视频帧的灰度值进行计算。
[0183]
具体的，所述优化子模块121将第一视频文件内视频帧单个颜色的灰度等级从256级降低至16级。
[0184]
之后所述优化子模块121仅将三个颜色中的任意两个颜色值按4字节存储，用于表示第一视频文件的视频帧灰度值。
[0185]
然后优化子模块121将使用改进的巴氏系数计算公式计算第一视频文件内视频帧灰度值相似度。
[0186]
具体的，所述改进的巴氏系数计算公式为：
[0187]
short value＝(g/16)*15+b/16
[0188]
[0189]
由公式可知，所述改进的巴氏系数计算公式仅针对第一视频文件视频帧 2/3的图像数据进行计算。
[0190]
最后优化子模块121将得到优化算法后的第一视频文件视频帧的灰度值相似度。
[0191]
当相邻视频帧的灰度值相似度超过第一预设阈值，分割模块12将选定所述灰度值相似度超过第一预设阈值的相邻两帧分别作为新增视频结束端点和新增视频起始端点。其中，当相邻视频帧的灰度值相似度超过第一预设阈值，表示第一视频文件中当前帧与下一帧的色彩特征差异比较大，因此分割模块12 可以判定第一视频文件中的镜头进行了切换。
[0192]
需要特别强调的是，分割模块12可以对第一视频文件进行多段分割。为使描述简洁，此处仅以分割模块12分割第一视频文件生成的两个视频子文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0193]
为便于表示，此处将灰度值相似度超过第一预设阈值的相邻两帧分别记作第一视频帧与第二视频帧。
[0194]
则分割模块12将以所述第一视频帧作为第一视频文件新增视频结束端点，分割模块12将以所述第二视频帧作为第一视频文件新增视频起始端点。
[0195]
为便于表示，此处将所述第一视频帧、第二视频帧分割第一视频文件后，生成的两个视频子文件分别记作第三视频子文件、第四视频子文件。
[0196]
需要指出的是，分割模块12判断第二视频文件镜头切换最直接的方法就是比较第二视频文件视频帧的色彩特征相似度。而所述色彩特征相似度可以是计算第二视频文件视频帧的灰度值相似度。
[0197]
分割模块12对所述第二视频文件视频帧的灰度值进行计算，计算方法同上所述，此处将不再赘述。
[0198]
需要特别指出的是，分割模块12可以对第二视频文件进行多段分割。为使描述简洁，此处仅以分割模块12分割第二视频文件生成的两个视频子文件进行描述，并不能因此而理解为对发明专利范围的限制。
[0199]
具体的，当相邻视频帧的灰度值相似度超过第一预设阈值，分割模块12将选定所述灰度值相似度超过第一预设阈值的相邻两帧分别作为新增视频结束端点和新增视频起始端点。其中，当相邻视频帧的灰度值相似度超过第一预设阈值，表示第二视频文件中当前帧与下一帧的色彩特征差异比较大，因此可以判定第二视频文件中的镜头进行了切换。
[0200]
为便于表示，此处将灰度值相似度超过第一预设阈值的相邻两帧分别记作第三视频帧与第四视频帧。
[0201]
则分割模块12将以所述第三视频帧作为第二视频文件新增视频结束端点，分割模块12将以所述第四视频帧作为第二视频文件新增视频起始端点。
[0202]
为便于表示，此处将所述第一视频帧、第二视频帧分割第二视频文件后，生成的两个视频子文件分别记作第五视频子文件、第六视频子文件。
[0203]
索引模块13，用于以预设的数据结构，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引，以便检索第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的信息。
[0204]
需要指出的是，经过分割模块12分割第一视频文件、第二视频文件，生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件后，为了针对多个视频子文件
进行视频之间的关联，多视频关联装置100还需要通过检索模块13对每个视频子文件进行特征的提取。
[0205]
在检索模块13提取第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征信息后，为了便于检索、比较、关联第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件。检索模块13还需要对提取到的第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征以预设的存储格式来存储多项属性特征值。
[0206]
具体的，索引模块13将提取所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中至少一种特征。
[0207]
之后索引模块13以预设的数据结构分别储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的视频特征，分别生成第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0208]
所述预设的数据结构头部数据为摘要字段，后面每若干位分别存储色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
[0209]
比较模块14，用于比较第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度。
[0210]
需要指出的是，比较模块14将根据储存第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的数据结构，分别读取第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0211]
需要特别指出的是，比较模块14可以将第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件中任意一个视频子文件作为比较对象。为使描述简洁，此处仅以第三视频子文件作为比较对象进行描述，并不能因此而理解为对发明专利范围的限制。
[0212]
当比较模块14以第三视频子文件为比较对象，比较模块14将分别计算第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度。
[0213]
需要强调的是，所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引可以是第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的摘要字段。
[0214]
或者所述第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引可以是第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征中的一项特征向量。
[0215]
可以理解的是，比较模块14可以将第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件中任意一个视频子文件作为比较对象。因此，比较模块14也可以比较第三视频子文件、第五视频子文件、第六视频子文件相对于第四视频子文件的特征索引相似度。
[0216]
或者比较模块14也可以比较第三视频子文件、第四视频子文件、第六视频子文件相对于第五视频子文件的特征索引相似度。
[0217]
或者比较模块14也可以比较第三视频子文件、第四视频子文件、第五视频子文件相对于第六视频子文件的特征索引相似度。
[0218]
关联模块15，用于确定相对于第三视频子文件特征索引相似度超过第二预设阈值
的第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件，作为中间视频子文件；
[0219]
将中间视频子文件与所述第三视频子文件关联，生成关联信息。
[0220]
需要指出的是，关联模块15将根据所述第四视频子文件、第五视频子文件、第六视频子文件相对于第三视频子文件的特征索引相似度，确定相对于第三视频子文件的特征索引相似度超过第二阈值的所述第四视频子文件、第五视频子文件、第六视频子文件中至少一个视频子文件作为中间视频子文件。
[0221]
需要强调的是，如果相对于第三视频子文件的特征索引相似度超过第二阈值的视频子文件只有一个，所述中间视频子文件可以是具有单个元素的文件。如果相对于第三视频子文件的特征索引相似度超过第二阈值的视频子文件有多个，所述中间视频子文件也可以是多个视频子文件的合集。可以理解的是，只要所述第四视频子文件、第五视频子文件、第六视频子文件任意一个视频子文件相对于第三视频子文件的特征索引相似度超过第二阈值，均视为是中间视频子文件。
[0222]
之后关联模块15将所述中间视频子文件与第三视频子文件关联，生成关联信息。
[0223]
还需要指出的是，多视频关联装置100还可以根据所述关联信息，展示中间视频子文件和第三视频子文件。
[0224]
在本申请提供的具体实施方式中，有两个视频长时间连续、动作幅度大的记录视频。
[0225]
获取模块11在获取两个视频长时间连续、动作幅度大的记录视频后，分别记作第一视频文件和第二视频文件。
[0226]
之后分割模块12将计算第一视频文件各视频帧的灰度值，并确定出第一视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第一视频帧与第二视频帧。并且分割模块12将以所述第一视频帧作为第一视频文件新增视频结束端点，以所述第二视频帧作为第一视频文件新增视频起始端点。
[0227]
分割模块12以第一视频帧、第二视频帧分割第一视频文件后，生成的两个视频子文件分别记作第三视频子文件、第四视频子文件。
[0228]
然后分割模块12将计算第二视频文件各视频帧的灰度值，并确定出第二视频文件内灰度值相似度超过第一预设阈值的相邻两帧分别记作第三视频帧与第四视频帧。并且分割模块12将以所述第三视频帧作为第二视频文件新增视频结束端点，以所述第四视频帧作为第二视频文件新增视频起始端点。
[0229]
分割模块12以第三视频帧、第四视频帧分割第二视频文件后，生成的两个视频子文件分别记作第五视频子文件、第六视频子文件。
[0230]
再然后，索引模块13以16位为摘要(summary)字段，后面每16位存储一项特征向量，共计96位的数据结构，分别存储第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的色彩特征、纹理特征、目标特征、运动特征、音频特征，作为第三视频子文件、第四视频子文件、第五视频子文件、第六视频子文件的特征索引。
[0231]
再然后，比较模块14将以第五视频子文件为比较对象，分别计算第三视频子文件、第四视频子文件、第六视频子文件相对于第五视频子文件的色彩特征相似度。
[0232]
再然后，关联模块15确定相对于第五视频子文件的色彩特征相似度超过第二阈值
的第三视频子文件和第四视频子文件作为中间视频子文件。
[0233]
关联模块15将第三视频子文件、第四视频子文件与第五视频子文件关联，生成关联信息。
[0234]
最后，多视频关联装置100根据所述关联信息，展示第三视频子文件、第四视频子文件和第五视频子文件。
[0235]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0236]
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0237]
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。