一种基于图像数据处理的新媒体素材内容采集系统的制作方法

本发明涉及多媒体，特别涉及一种基于图像数据处理的新媒体素材内容采集系统。

背景技术：

1、图像数据处理是利用图像数据去噪、图形分割、图像数据增强等手段根据需求对图像数据进行处理的技术，近年来，图像处理技术日趋成熟，被航空航天、军事、生物医学及人工智能等广泛应用；

2、科学技术的发展不断推动新媒体的快速发展，素材内容采集是新媒体中不可缺少的一环，采集到的素材内容良莠不齐，甚至存在违规内容，然而在现有技术中，素材库中存在违规内容的素材数量较少，缺乏多样性，导致有些素材中的违规内容无法被识别出来，通过人工方式对素材内容进行审核所需的人力成本和时间成本都很大，导致素材的审核效率较低；

3、例如授权公告号为cn110248198b的中国专利公开了一种媒体信息汇聚方法、装置和系统，其中，信息汇聚方法包括以下步骤：接收步骤：接收并存储第一用户通过网络发送的带有标签的媒体素材；分类步骤：根据所述标签对所述媒体素材进行分类，将同一类别的所述媒体素材进行汇集；和处理步骤：根据汇集后的所述媒体素材的类别对所述媒体素材进行处理，能够实现新闻素材采集的规模化和实时采集，能够汇聚大量的一线新闻素材，对新闻内容的制作提供更多的一线素材；

4、例如申请公开号为cn109151360a的中国专利公开了一种多媒体内容的预览方法及装置，在基于第一多媒体内容和第二多媒体内容进行合拍过程中，若接收到合拍预览指令，则根据所述合拍预览指令获取第一合拍素材和第二合拍素材，所述第一合拍素材为合拍过程中所述终端通过采集设备采集到的第一多媒体内容的副本，第二合拍素材为第二多媒体内容的副本；将所述第一合拍素材和所述第二合拍素材合成为预览内容；播放所述预览内容。通过基于第一多媒体内容的副本和第二多媒体内容的副本合成预览内容，能够实现合拍过程中多媒体内容的预览；

5、本发明是为了解决本背景技术中存在的技术问题，提出一种基于图像数据处理的新媒体素材内容采集系统。

技术实现思路

1、本发明的目的在于提供一种基于图像数据处理的新媒体素材内容采集系统，用以解决上述背景技术中存在的技术问题：采集到的素材内容良莠不齐，甚至存在违规内容，然而在现有技术中，素材库中存在违规内容的素材数量较少，缺乏多样性，导致有些素材中的违规内容无法被识别出来，通过人工方式对素材内容进行审核所需的人力成本和时间成本都很大，导致素材的审核效率较低。

2、为实现上述目的，本发明采取的技术方案为：

3、一种基于图像数据处理的新媒体素材内容采集系统，包括素材采集端口、素材分析端口、素材处理端口、素材分类端口和素材储存端口；

4、所述素材采集端口用于采集和存储素材；

5、所述素材储存端口用于储存素材分类端口分类后的素材和存在违规内容的素材片段；

6、本发明的进一步改进在于，所述素材分析端口用于将素材中的图像分帧，通过python软件计算出分帧后的图像和素材库中已采集的涉及违规内容的图像的相似度，将相似度大于对比值的片段组成违规片段，将违规片段提交给管理员确认是否存在违规信息；

7、所述素材处理端口用于通过图像处理公式对管理员确认存在违规信息的片段中的图像向量变换后，对图像进行替换处理；

8、所述素材分类端口用于将分帧后的图像和素材库素材中的图像进行对比，将采集到的素材与和素材相似度最高的素材库中的素材分为同一类。

9、所述素材分析端口包括图像提取模块、第一色彩特征向量提取模块、违规图像相似度计算模块、数据反馈模块和第一数据传输模块，所述图像提取模块用于将素材进行分帧处理，提取每一帧中的图像；所述第一色彩特征向量提取模块用于通过python软件提取素材中每一帧图像和素材库中已采集的涉及违规内容的片段中的图像的色彩特征向量；所述违规图像相似度计算模块通过违规图像相似度计算公式计算每一帧图像与素材库中已采集的涉及违规内容片段中的图像的相似度；所述数据反馈模块用于将违规图像相似度α大于对比值的片段提交给管理员，管理员确认是否存在违规信息；所述第一数据传输模块用于图像提取模块、第一色彩特征向量提取模块、违规图像相似度计算模块和数据反馈模块之间的数据传输。

10、本发明的进一步改进在于，素材分析端口中所述的违规图像相似度为：其中余弦相似度所以其中ai为素材库中已采集的涉及违规内容的片段中的图像的色彩特征向量，bi为每一帧图像的色彩特征向量，ti为采集到的素材中涉及违规内容的时长，n为将分帧后的图像分为n等分，设定α的对比值为0.8，xi的对比值为0.8。

11、所述素材处理端口包括第一数据采集和储存模块、图像处理模块和第二数据传输模块，所述第一数据采集和储存模块用于采集和存储素材分析端口计算出的每一帧图像的色彩特征向量bi和余弦相似度xi；所述图像处理模块用于通过python软件中的图像处理公式，对素材中涉及违规内容的片段中余弦相似度xi大于对比值的图像进行处理，得到处理后的违规图像的色彩向量，用处理后的违规图像的色彩向量所构成的图片替换素材中的违规图像；所述第二数据传输模块用于第一数据采集和储存模块与图像处理模块之间的数据传输。

12、本发明的进一步改进在于，所述图像处理公式为b1＝xb,其中b为经过素材中存在违规信息的图像的n阶色彩特征向量(b1，b2，b3，…，bn)，x为定义的n阶变换矩阵，作为变换矩阵(z1，z2，z3，…，zn)，b1为变换后的素材中存在违规信息的图像的色彩向量；处理后的违规图像的色彩向量y＝db1,其中d为python软件随机生成的n阶矩阵(d1，d2，d3，…，dn)，处理后的违规图像的色彩向量y为(y1，y2，y3，…，yn),使得处理后的违规图像的色彩向量y与经过素材中存在违规信息的图像的n阶色彩特征向量b满足替换条件。

13、本发明的进一步改进在于，所述替换条件为：设定φ的对比值为0.5，当φ小于0.5时，即为满足替换条件，其中b为经过素材中存在违规信息的图像的n阶色彩特征向量(b1，b2，b3，…，bn)，y为处理后的违规图像的色彩向量(y1，y2，y3，…，yn)。

14、所述素材分类端口包括素材采集模块、第二色彩特征向量提取模块、素材相似度计算模块、素材分类模块和第三数据传输模块，所述素材采集模块用于对素材处理端口处理后的图像进行采集；所述第二色彩特征向量提取模块用于提取采集到的素材中的图像的色彩特征向量；所述素材相似度计算模块通过素材相似度计算公式计算采集到的素材与素材库中的素材的相似度β；所述素材分类模块用于将采集到的素材根据素材相似度β进行分类，将采集到的素材和素材相似度β最大的素材库中的素材分为同一类素材；所述第三数据传输模块用于素材采集模块、第二色彩特征向量提取模块、素材相似度计算模块和素材分类模块之间的数据传输。

15、本发明的进一步改进在于，素材分类端口中所述的素材相似度公式为：其中其中ei为素材库中已采集的素材中图像的色彩特征向量，fi为采集的素材中的图像的色彩特征向量，t为采集到的素材的时长,m为将分帧后的图像分为m等分。

16、所述素材储存端口包括第二数据采集和存储模块、素材储存模块、违规片段储存模块和第四数据传输模块，所述第二数据采集和存储模块用于采集和存储素材处理端口的数据，包括变换后的素材中存在违规信息的图像的向量b1、处理后的违规图像的向量y、变换矩阵x和python软件随机生成的n阶矩阵d；所述素材储存模块用于根据素材分类端口的分类结果将同一类别的图像储存在素材库相应的类别中；所述违规片段储存模块通过在python软件中输入图像还原公式将处理后的存在违规信息的图像的向量进行还原，并根据还原后的存在违规信息的图像的向量得到违规片段，将违规片段储存进素材库中的违规片段库中；所述第四数据传输模块用于第二数据采集和存储模块、素材储存模块和违规片段储存模块之间的数据传输。

17、本发明的进一步改进在于，所述图像还原公式为：b1＝yd-1,其中d-1为python软件随机生成的n阶矩阵d的逆矩阵，y为处理后的违规图像的向量，b＝b1x-1，其中b1为变换后的素材中存在违规信息的图像的向量，x为定义的n阶变换矩阵，x-1为python软件随机生成的n阶矩阵x的逆矩阵。

18、与现有技术相比，本发明具有如下的有益效果：

19、1.本发明提供了一种基于图像数据处理的新媒体素材内容采集系统，能够通过系统对素材中的违规内容进行比对后提交给管理员确认，大大减少了人工审核素材内容所需的人力成本和时间成本，提高了素材审核的效率。

20、2.本发明提供了一种基于图像数据处理的新媒体素材内容采集系统，能够对审核到的存在违规内容的素材进行处理，并将违规片段存储进素材库中增加素材的多样性，使得违规内容更容易被识别。

21、3.本发明提供了一种基于图像数据处理的新媒体素材内容采集系统，能够对采集到的素材和素材库中素材的相似度进行计算，对素材进行较为准确的分类。