一种针对生成类图像视频进行评估的方法和系统与流程

本发明涉及人工智能，特别地，涉及一种针对生成类图像视频进行评估的方法和系统。

背景技术：

1、图像和视频类的内容生成(aigc)是人工智能技术的一个重要领域，最近该类技术取得较大进展，技术逐渐的成熟和得到广泛的应用。该类技术涉及到多种类型的任务，如以文生成图像视频、以图生成图像视频，以文字来生成图像视频、文字结合图像视频的修复等。这些任务都需要高质量的图像视频输出，以满足人类的视觉感知等不同的需求。现有技术中存在的主要问题是：目前并没有一个有效主观和客观的评估方法来对生成的图像视频的质量和效果相关内容进行评估和测试，一方面阻碍了生成类相关产业的应用和发展，同时也导致产业界和学术界难以对比和评估不同的方法和模型，制约了技术的进步。

2、解决以上问题及缺陷的难度为：当前流行的fid(有参照的)和clipscore(无参照的)评价方法已经存在过时且和人类主观值有很大的差异当，前还没有成熟的主观和客观评估方法可以参照，解决该问题难度较大

3、解决以上问题及缺陷的意义为：本发明提出的生成类图像视频进行评估的方法和系统可以有效当前图像视频生成相关方法、应用等提供主观和客观有效的评估及反馈，可以的促进相关算法和整个行业的进步和发展

技术实现思路

1、本发明提供了一种针对生成类图像视频进行评估的方法和系统，该方法和系统能够对生成类图像视频的质量和效果进行客观和主观的评价，通过结合主观评估和客观评估，以促进生成类相关技术和产业的发展。

2、本发明的技术方案如下：

3、根据本发明的一个方面，提供了一种针对生成类图像视频进行评估的方法，包括以下步骤：s1.数据采集和标注：采集不同类型的图像视频，对图像视频进行文字描述；s2.数据生成：将步骤s1中的文字描述作为生成类模型的输入，进行数据的生成并保持和步骤s1中的同时标注的图像视频的技术参数一致；s3.数据对齐：将数据按照原始的文字描述、原始图像视频数据、生成数据进行对齐，保证其相互对应一致；s4.主观评估数据：将对齐后的数据按照主观评估主要维度和内容进行逐个评估和打分，并得出各项评估的得分，形成主观打分数据集；s5.特征对比模型训练：利用步骤s4形成的主观打分数据集对客观方法中的特征对比模型进行训练；s6.输出特征对比模型：将训练好的特征对比模型输出并用于客观评估子系统的客观评估中。

4、可选地，在上述针对生成类图像视频进行评估的方法中，在步骤s1中，按照图像视频中的主体、图像视频中的细节、对图像视频中内容的修饰以及图像视频风格的描述顺序来对图像视频进行文字描述，同时并标注图像视频的分辨率、编码格式，形成有参照数据集；同时，仅使用自然语言对不同场景进行描述，形成无参照数据集。

5、可选地，在上述针对生成类图像视频进行评估的方法中，在步骤s4中，评估和打分的步骤包括：a1.准备设备：准备至少两台显示器、数据播放设备和光线可控的房间；a2.准备数据：准备好需要评估的生成数据和源数据；a3.是否有参照：数据中是否有参照的数据，如果有参照数据则进入步骤a4，如果没有参照数据则进入步骤a5；a4.有参照评估：针对有参照的评估则需要向若干评估人员显示源数据、参照数据和待评估数据，并按照固定时长播放数据，评估人员进行观看；a5.无参照评估：针对无参照的评估则需要向若干评估人员显示源数据和待评估数据，并按照固定时长播放数据，评估人员进行观看；a6.选择评估项：根据不同的要求，选择不同的评估选项进行组合评估；a7.评价打分：按照评估要求结合主观感受对评估的数据进行主观打分；a8.结果计算：将所有评估人员的打分进行汇总，按照一定的规则计算评估对象的得分。

6、可选地，在上述针对生成类图像视频进行评估的方法中，在步骤s6中，客观评估子系统进行客观评估的步骤包括：t1.选择评估内容：选择需要评估的维度和内容进行客观评估；t2.设定特征提取网络：根据被步骤t1中选择的评估的内容设定不同的特征提取网络和其他模块进行组合；t3.设定特征对比模型：根据不同的评估要求为模型设定不同的特征对比模型；t4.计算评估得分：每次只进行一项内容的评估，计算该项的得分后再返回步骤t1中，选择其他选项进行评估，待将将所有评估的选项评估完成后，汇总不同评估项的单独得分和计算总体得分；t5.输出评估结果：客观评估将评估结果进行输出，以和主观评估结果进行结合和互补。

7、可选地，在上述针对生成类图像视频进行评估的方法中，在步骤t2中，组合方法为：根据不同的评估需求对网络进行组合，采用双流的或者多流的转换器特征网络来实现对不同数据的特征提取。

8、可选地，在上述针对生成类图像视频进行评估的方法中，在步骤t3中，设计特征对比模型来进行不同的特征对比，特征对比模型包含特征空间转换和特征相似度计算，特征空间转换将不同的模态的特征投影到一个相同的特征空间里，以进行相似度比较，并且设计自适应权重的特征对比方法，根据不同的评估要求，特征对比模型自适应给不同层数的特征和不同模态的特征赋予不同的权重，然后进行特征相似度计算输出相关的对比结果。

9、根据本发明的另一个方面，提供了一种针对生成类图像视频进行评估的方法，包括三个子系统：数据子系统、主观评估子系统和客观评估子系统，其中，数据子系统，用于数据的收集、数据的生成以及数据的标注；主观评估子系统，用于利用主观评估的方法对生成的图像视频进行主观评估；客观评估子系统，用于利用主观评估的相关数据进行对设计好的特征提取网络、特征对比模型进行训练。

10、根据本发明的技术方案，产生的有益效果是：

11、本发明针对图像和视频类的内容生成属于新兴热点技术领域，主要为人类主观提供服务。相比于以往针对图像视频评估只是针对图像视频的质量进行评估，本发明主要针对新兴的利用人工智能技术生成的图像视频进行评估，不仅从图像视频的质量这个单一的维度进行评估，还进行图像视频是否是生成的判定评估，生成的图像视频和生成源的判定评估，还从生成的图像视频的情绪和安全进行评估，生成的图像视频的数据偏见和审美等方面进行评估，实现从主观到客观多维度全面有效的针对智能生成图像视频评估的方法和系统，提高生成类图像视频的综合评价的科学性和实用性，使得生成类图像视频的质量和效果能根据用户需求和偏好进行不断优化和改进。

12、为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：

技术特征：

1.一种针对生成类图像视频进行评估的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的针对生成类图像视频进行评估的方法，其特征在于，在步骤s1中，按照所述图像视频中的主体、所述图像视频中的细节、对所述图像视频中内容的修饰以及所述图像视频风格的描述顺序来对所述图像视频进行文字描述，同时并标注所述图像视频的分辨率、编码格式，形成有参照数据集；同时，仅使用自然语言对不同场景进行描述，形成无参照数据集。

3.根据权利要求1所述的针对生成类图像视频进行评估的方法，其特征在于，在步骤s4中，所述评估和打分的步骤包括：

4.根据权利要求1所述的针对生成类图像视频进行评估的方法，其特征在于，在步骤s6中，所述客观评估子系统进行客观评估的步骤包括：

5.根据权利要求4所述的针对生成类图像视频进行评估的方法，其特征在于，在步骤t2中，所述组合方法为：根据不同的评估需求对网络进行组合，采用双流的或者多流的转换器特征网络来实现对不同数据的特征提取。

6.根据权利要求4所述的针对生成类图像视频进行评估的方法，其特征在于，在步骤t3中，设计所述特征对比模型来进行不同的特征对比，所述特征对比模型包含特征空间转换和特征相似度计算，所述特征空间转换将不同的模态的特征投影到一个相同的特征空间里，以进行相似度比较，并且设计自适应权重的特征对比方法，根据不同的评估要求，所述特征对比模型自适应给不同层数的特征和不同模态的特征赋予不同的权重，然后进行特征相似度计算输出相关的对比结果。

7.一种针对生成类图像视频进行评估的方法，其特征在于，包括三个子系统：数据子系统、主观评估子系统和客观评估子系统，其中，

技术总结
本发明提供了一种针对生成类图像视频进行评估的方法和系统，方法包括：S1.数据采集和标注；S2.数据生成：将步骤S1中的文字描述作为生成类模型的输入，进行数据的生成并保持和步骤S1中的同时标注的图像视频的技术参数一致；S3.数据对齐；S4.主观评估数据；S5.数据模型训练：利用步骤S4形成的主观打分数据集对方法中的特征对比模型进行训练；S6.输出特征对比模型：将训练好的特征对比模型输出并用于客观评估子系统的客观评估中。该方法和系统能够对生成类图像视频的质量和效果进行客观和主观的评价，通过结合主观评估和客观评估，以促进生成类相关技术和产业的发展。

技术研发人员：张伟民,张世雄,龙仕强,肖铁军,魏文应,邓严萍
受保护的技术使用者：广东博华超高清创新中心有限公司
技术研发日：
技术公布日：2024/1/15