基于AIGC的视频素材匹配方法与流程

本发明涉及视频素材检索匹配，更具体地说，本发明涉及基于aigc的视频素材匹配方法。

背景技术：

1、视频具有丰富的信息量，生动直观的视觉效果，被广泛地应用于各种领域，而从大量的视频信息中检索出自己需要的视频素材也是目前的热点。

2、传统的视频素材检索匹配方法都是基于文本和关键词的方法来进行检索，即通过对视频信息人工加工以文本和关键词注释，提取视觉特征来匹配所需的视频素材，此类方法忽略了视频丰富的语意信息，例如人物间的社交关系、人物与场景间的从属关系，仅仅通过视觉特征的一一对应关系来匹配所需视频素材，往往会导致视频素材的匹配结果不尽人意，并且若两个视频之间在视觉特征上非常相似但在语义上不相关，这可能导致错误匹配。

3、为了解决上述缺陷，现提供一种技术方案。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供基于aigc的视频素材匹配方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于aigc的视频素材匹配方法，包括如下步骤：

4、步骤s1，对用户输入的参考视频进行结构化分解，提取参考视频的视觉特征，根据提取的视觉特征与数据库中的视频素材进行一次匹配；

5、步骤s2，根据特征信息和质量信息，建立视频素材初筛指数，将视频素材初筛指数与视频素材初筛指数参考阈值进行比较，对视频素材匹配集合中的视频素材进行筛选，得到初次筛选集合；

6、步骤s3，分别对参考视频以及初次筛选集合中的视频素材所提取的视觉特征进行聚类分析得到不同的主类特征，根据文本字幕处理信息以及视觉交互信息，建立语意联系指数，评估不同的视觉特征主类之间语意联系程度，并根据语意联系指数将参考视频与初次筛选集合中的视频素材进行二次匹配。

7、在一个优选地实施方式中，步骤s1中，还包括如下步骤：

8、步骤s1-1：根据镜头检测技术对用户输入的参考视频进行镜头分解；

9、步骤s1-2：根据镜头分解集合中的镜头单元，采用关键帧提取技术从每一个分解好的镜头单元中提取关键帧；

10、步骤s1-3：根据关键帧集合中的参考视频帧采用特征提取技术，提取出参考视频的视觉特征；

11、步骤s1-4：将获取的视觉特征与数据库中的视觉特征素材，采用特征描述符匹配方法进行一次匹配，并提取匹配成功的视觉特征素材所在的视频素材，得到视频素材匹配集合。

12、在一个优选地实施方式中，步骤s2中，视频素材的特征信息包括视觉特征一致性量化值、视觉特征过剩占比率，质量信息包括视频素材的模糊度量系数，将视觉特征一致性量化值、视觉特征过剩占比率、视频素材的模糊度量系数分别标记为yz、sz、mh，同时归一化处理并通过公式计算得到视频素材初筛指数。

13、在一个优选地实施方式中，视觉特征一致性量化值的获取逻辑为：若视频素材中提取的视觉特征能够全部包含参考视频中提取的视觉特征，则视觉特征一致性量化值的取值为1；反之，若视频素材中提取的视觉特征无法全部包含参考视频中提取的视觉特征，则视觉特征一致性量化值的取值为0。

14、在一个优选地实施方式中，视觉特征过剩占比率的获取逻辑为：视频素材中提取的视觉特征与参考视频中提取的视觉特征经过比较后，若仍有剩余的部分视觉特征存在，则将剩余的部分视觉特征标记为si，i表示剩余的部分视觉特征的种类编号，i＝{1、2、...、e}，e为正整数，视觉特征过剩占比率的计算表达式如下：其中zl为视频素材中提取的视觉特征种类总数。

15、在一个优选地实施方式中，视频素材的模糊度量系数mh的计算公式为：其中，为每一帧图像均方误差的平均值，获取的表达式为：表示每一帧图像的次序编号，j＝{1、2、...、u}，u为正整数，msej为每一帧图像的均方误差。

16、在一个优选地实施方式中，将视频素材初筛指数于视频素材初筛指数参考阈值进行比较；

17、若视频素材初筛指数大于等于视频素材初筛指数参考阈值，则将该视频素材进行删除得到视频素材初次筛选集合。

18、在一个优选地实施方式中，步骤s3中，文本字幕处理信息包括自然语言处理成功率，视觉交互信息包括视觉特征交互值；将自然语言处理成功率、视觉特征交互值归一化处理并通过公式计算语意联系指数。

19、本发明的技术效果和优点：

20、1、本发明通过对用户输入的参考视频进行结构化分解，提取参考视频的视觉特征，根据提取的视觉特征与数据库中的视频素材进行一次匹配，得到初次匹配的视频素材集合，同时根据特征信息和质量信息，建立视频素材初筛指数，将视频素材初筛指数与视频素材初筛指数参考阈值进行比较，对视频素材匹配集合中的视频素材进行筛选，提高视频素材匹配集合中的视频素材经过聚类分析后得到的主类特征与用户输入参考视频经过聚类分析后得到的主类特征之间的精准度，并根据文本字幕处理信息以及视觉交互信息，建立语意联系指数，评估不同的视觉特征主类之间语意联系程度，并进行二次匹配，增加视频素材匹配的成功率，提高用户的体验感，避免基于视觉特征的一一对应关系来匹配所需视频素材，结合视频中语意信息优化匹配机制，降低错误匹配的概率。

技术特征：

1.基于aigc的视频素材匹配方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于aigc的视频素材匹配方法，其特征在于：步骤s1中，还包括如下步骤：

3.根据权利要求1所述的基于aigc的视频素材匹配方法，其特征在于：步骤s2中，视频素材的特征信息包括视觉特征一致性量化值、视觉特征过剩占比率，质量信息包括视频素材的模糊度量系数，将视觉特征一致性量化值、视觉特征过剩占比率、视频素材的模糊度量系数分别标记为yz、sz、mh，同时归一化处理并通过公式计算得到视频素材初筛指数。

4.根据权利要求3所述的基于aigc的视频素材匹配方法，其特征在于：视觉特征一致性量化值的获取逻辑为：若视频素材中提取的视觉特征能够全部包含参考视频中提取的视觉特征，则视觉特征一致性量化值的取值为1；反之，若视频素材中提取的视觉特征无法全部包含参考视频中提取的视觉特征，则视觉特征一致性量化值的取值为0。

5.根据权利要求4所述的基于aigc的视频素材匹配方法，其特征在于：

6.根据权利要求5所述的基于aigc的视频素材匹配方法，其特征在于：视频素材的模糊度量系数mh的计算公式为：其中，为每一帧图像均方误差的平均值，获取的表达式为：u，j表示每一帧图像的次序编号，j＝{1、2、...、u}，u为正整数，msej为每一帧图像的均方误差。

7.根据权利要求3所述的基于aigc的视频素材匹配方法，其特征在于：将视频素材初筛指数与视频素材初筛指数参考阈值进行比较；

8.根据权利要求1所述的基于aigc的视频素材匹配方法，其特征在于：步骤s3中，文本字幕处理信息包括自然语言处理成功率，视觉交互信息包括视觉特征交互值；将自然语言处理成功率、视觉特征交互值归一化处理并通过公式计算语意联系指数。

技术总结
本发明公开了基于AI GC的视频素材匹配方法，具体涉及视频素材检索匹配技术领域，所述处理方法包括如下步骤：对用户输入的参考视频进行结构化分解并进行初次匹配，得到初次匹配的视频素材集合，根据特征信息和质量信息建立视频素材初筛指数，对匹配的视频素材进行筛选，提高匹配的视频素材经过聚类分析后得到的主类特征与用户输入参考视频经过聚类分析后得到的主类特征之间的精准度，根据文本字幕处理信息和视觉交互信息建立语意联系指数，评估不同的视觉特征主类之间语意联系程度，进行二次匹配增加视频素材匹配的成功率提高用户的体验感，避免基于视觉特征的一一对应关系来匹配所需视频素材，结合视频中语意信息优化匹配机制，降低错误匹配的概率。

技术研发人员：刘巍,沈妍琪,叶佳伟
受保护的技术使用者：广州简灿科技有限公司
技术研发日：
技术公布日：2024/4/7