一种多媒体信息处理方法、装置、电子设备及存储介质与流程

1.本发明涉及多媒体信息处理技术，尤其涉及多媒体信息处理方法、装置、电子设备及存储介质。


背景技术：

2.相关技术中，多媒体信息的形式多种多样，多媒体信息的需求量呈现爆发式增长，多媒体信息服务器所接收的多媒体信息数量和种类也越来越多，长视频应用为例，视频服务器通过相应的匹配算法可以识别视频间的相似关系，但是随着视频编辑工具的普及和发展，对视频的音频编辑方法越来愈多，加速变声，多层音轨叠加以逃避版权审查，视频的算法辨别愈加困难，在这种经过音频编辑的视频，侵权内容，人工审核速度较慢，影响了用户的使用。


技术实现要素：

3.有鉴于此，本发明实施例提供一种多媒体信息处理方法、装置、电子设备及存储介质，能够通过分类多媒体信息中的目标音频，利用多媒体信息处理模型对目标音频进行处理，判断目标多媒体信息中的目标音频的类型。
4.本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种多媒体信息处理方法，包括：
6.获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频；
7.对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图；
8.通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量；
9.通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量；
10.基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型。
11.本发明实施例还提供了一种多媒体信息处理装置，其特征在于，所述装置包括：
12.信息传输模块，用于获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频；
13.信息处理模块，用于对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图；
14.所述信息处理模块，用于通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量；
15.所述信息处理模块，用于通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量；
16.所述信息处理模块，用于基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型。
17.上述方案中，所述信息处理模块，用于对所述目标多媒体信息进行解析，获取所述目标多媒体信息的时序信息；
18.所述信息处理模块，用于根据所述目标多媒体信息的时序信息，对所述目标多媒体信息所对应的视频参数进行解析，获取与所述目标多媒体信息对应的播放时长参数与音轨信息参数；
19.所述信息处理模块，用于基于所述目标多媒体信息对应的播放时长参数与音轨信息参数，对所述目标多媒体信息进行抽取以获取所述目标多媒体信息对应的目标音频。
20.上述方案中，所述信息处理模块，用于对所述目标音频进行声道转换处理，形成单声道音频数据；
21.所述信息处理模块，用于基于与多媒体信息处理模型相对应的加窗函数，对所述单声道音频数据进行短时傅里叶变换，形成相应的频谱图；
22.所述信息处理模块，用于确定所述多媒体信息处理模型相对应的时长参数；
23.所述信息处理模块，用于根据所述时长参数，对所述频谱图进行处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图。
24.上述方案中，所述信息处理模块，用于将与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图转换为相对应的灰度图像；
25.所述信息处理模块，用于根据所述灰度图像，通过多媒体信息处理模型中的第一子模型网络中的卷积神经网络提取梅尔频谱图的特征向量；
26.所述信息处理模块，用于通过第一子模型网络中的门控循环单元，对所述梅尔频谱图的特征向量进行处理，确定所述目标音频对应的第一音频特征向量。
27.上述方案中，所述信息处理模块，用于基于所述梅尔频谱图的数量，确定所述第一子模型网络中的门控循环单元的通道数量；
28.所述信息处理模块，用于根据所述目标音频的时域特征和频域特征，确定时间序列参数；
29.所述信息处理模块，用于基于所述第一子模型网络中的门控循环单元通道数量和所述时间序列参数，确定所述第一子模型网络中的循环神经网络；
30.所述信息处理模块，用于通过所述第一子模型网络中的循环神经网络确定所述目标音频对应的第一音频特征向量。
31.上述方案中，所述信息处理模块，用于基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，通过所述多媒体信息处理模型中的第二子模型网络中的残差网络确定平均池化层网络的输出信息；
32.所述信息处理模块，用于根据所述平均池化层网络的输出信息，对所述第二子模型网络中的图像分类网络的参数进行调整；
33.所述信息处理模块，用于通过第二子模型网络中的图像分类网络，基于与所述目
标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量。
34.上述方案中，
35.所述信息处理模块，用于根据所述目标多媒体信息的信息来源，建立数据存储映射；
36.所述信息处理模块，用于响应于所建立的数据存储映射，对所述目标音频的文件格式进行调整，以实现与所述信息来源相匹配。
37.上述方案中，训练模块，用于获取第一训练样本集合，其中所述第一训练样本集合为通过终端采集的视频信息中的音频样本；
38.所述训练模块，用于对所述第一训练样本集合进行噪声添加，以形成相应的第二训练样本集合；
39.所述训练模块，用于通过多媒体信息处理模型对所述第二训练样本集合进行处理，以确定所述多媒体信息处理模型的初始参数；
40.所述训练模块，用于响应于所述多媒体信息处理模型的初始参数，通过所述多媒体信息处理模型对所述第二训练样本集合进行处理，确定所述多媒体信息处理模型的更新参数；
41.根据所述多媒体信息处理模型的更新参数，通过所述第二训练样本集合对所述多媒体信息处理模型的网络参数进行迭代更新。
42.上述方案中，所述训练模块，用于确定所述多媒体信息处理模型的使用环境相匹配的动态噪声类型；
43.所述训练模块，用于根据所述动态噪声类型，对所述第一训练样本集合进行噪声添加，以改变所述第一训练样本集合中音频样本的背景噪音、音量或者采样率，形成相应的第二训练样本集合。
44.上述方案中，所述训练模块，用于将所述第二训练样本集合中不同音频样本，代入所述多媒体信息处理模型的第一子模型网络和第二子模型网络所分别对应的损失函数；
45.所述训练模块，用于确定所述损失函数满足相应的收敛条件时对应所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别对应的参数；
46.所述训练模块，用于将所述第一子模型网络和第二子模型网络所分别对应的参数作为所述多媒体信息处理模型的更新参数。
47.上述方案中，所述训练模块，用于确定与所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别相匹配的收敛条件；
48.所述训练模块，用于对所述第一子模型网络和第二子模型网络所分别对应的参数进行迭代更新，直至第一子模型网络和第二子模型网络所分别对应的损失函数满足对应的收敛条件。
49.上述方案中，所述信息处理模块，用于对所述第一音频特征向量和所述第二音频特征向量进行向量融合处理；
50.所述信息处理模块，用于基于所述向量融合处理的结果，确定所述目标多媒体信息中的目标音频的类型，其中，所述目标音频的类型包括至少以下之一：
51.合规音频、加速变声音频和多层音轨叠加音频。
52.上述方案中，所述信息处理模块，用于确定与所述目标多媒体信息相对应的源多媒体信息；
53.所述信息处理模块，用于基于所述目标多媒体信息的目标音频与所述源多媒体信息的源音频，通过所述第一音频特征向量和所述第二音频特征向量，确定对应的帧间相似度参数集合；
54.所述信息处理模块，用于获取帧间相似度参数集合中达到相似度阈值的音频帧数量；
55.所述信息处理模块，用于基于达到相似度阈值的音频帧数量，确定所述目标多媒体信息与源多媒体信息的相似度。
56.上述方案中，所述信息处理模块，用于当确定所述目标多媒体信息与源多媒体信息相似时，获取所述目标多媒体信息的版权信息；
57.所述信息处理模块，用于通过所述目标多媒体信息的版权信息和所述源多媒体信息的版权信息，确定所述目标多媒体信息的合法性；
58.所述信息处理模块，用于当所述目标多媒体信息的版权信息和所述源多媒体信息的版权信息不一致时，发出警示信息。
59.上述方案中，所述信息处理模块，用于当确定所述目标多媒体信息与源多媒体信息不相似时，将所述目标多媒体信息添加至多媒体信息源；
60.所述信息处理模块，用于对所述多媒体信息源中的待推荐多媒体信息的召回顺序进行排序；
61.所述信息处理模块，用于基于所述待推荐多媒体信息的召回顺序的排序结果向目标用户进行多媒体信息推荐。
62.上述方案中，所述信息处理模块，用于将目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型送至区块链网络，以使
63.所述区块链网络的节点将所述目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。
64.本发明实施例还提供了一种电子设备，所述电子设备包括：
65.存储器，用于存储可执行指令；
66.处理器，用于运行所述存储器存储的可执行指令时，实现前序的多媒体信息处理方法。
67.本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其所述可执行指令被处理器执行时实现前序的多媒体信息处理方法。
68.本发明实施例具有以下有益效果：
69.本发明实施例获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频；对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图；通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量；通过多媒体信息处理模型中的第二子模型网络，基于与
所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量；基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型，由此，可以目标多媒体信息中的目标音频的类型，减少人工审核的工作量，提升多媒体信息审核的速度与准确率，提升用户的使用体验。
附图说明
70.图1是本发明实施例提供的一种多媒体信息处理方法的使用环境示意图；
71.图2为本发明实施例提供的电子设备的组成结构示意图；
72.图3为本发明实施例相关技术中短视频播放的示意图；
73.图4为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图；
74.图5为本发明实施例中的多媒体信息处理模型对于音频的处理过程示意图；
75.图6为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图；
76.图7为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图；
77.图8为本发明实施例中目标音频的类型判定一个可选的示意图；
78.图9是本发明实施例提供的区块链网络的架构示意图；
79.图10是本发明实施例提供的区块链网络200中区块链的结构示意图；
80.图11是本发明实施例提供的区块链网络200的功能架构示意图；
81.图12为本发明实施例提供的多媒体信息处理方法的使用场景示意图；
82.图13为本发明实施例中多媒体信息处理方法的使用过程示意图。
具体实施方式
83.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
84.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
85.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
86.1)响应于：用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
87.2)目标视频：互联网中可获取的各种形式的视频信息，如客户端或者智能设备中呈现的视频文件、多媒体信息等。
88.3)客户端：终端中实现特定功能的载体，例如移动客户端(app)是移动终端中特定功能的载体，例如执行线上直播(视频推流)的功能或者是在线视频的播放功能。
89.4)短时傅里叶变换：短时傅里叶变换(stft，short
‑
time fourier transform)是和傅里叶变换相关的一种数学变换，用以确定时变信号其局部区域正弦波的频率与相位。
90.5)梅尔频谱(mbf mel bank features)：由于得到的声谱图较大，为了得到合适大
小的声音特征，通常将它通过梅尔尺度滤波器组(mel
‑
scale filter banks)，变为梅尔频谱。
91.6)信息流，按照特定规格样式的上下排布的一种内容组织形态。从展示排序角度而言，常见的有时间顺序、热度、算法排序。
92.7)音频特征向量，即音频01向量，是基于音频生成的二值化的特征向量。
93.8)交易(transaction)：等同于计算机术语“事务”，交易包括了需要提交到区块链网络执行的操作，并非单指商业语境中的交易，鉴于在区块链技术中约定俗成地使用了“交易”这一术语，本发明实施例遵循了这一习惯。
94.例如，部署(deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用；调用(invoke)交易用于通过调用智能合约在区块链中追加交易的记录，并对区块链的状态数据库进行操作，包括更新操作(包括增加、删除和修改状态数据库中的键值对)和查询操作(即查询状态数据库中的键值对)。
95.9)区块链(block chain)：是由区块(block)形成的加密的、链式的交易的存储结构。
96.例如，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，从而基于哈希值实现区块中交易的防篡改和防伪造；新产生的交易被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长。
97.10)区块链网络(block chain network)：通过共识的方式将新区块纳入区块链的一系列的节点的集合。
98.11)账本(ledger)：是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
99.其中，区块链是以文件系统中的文件的形式来记录交易；状态数据库是以不同类型的键(key)值(value)对的形式来记录区块链中的交易，用于支持对区块链中交易的快速查询。
100.12)智能合约(smart contracts)：也称为链码(chain code)或应用代码，部署在区块链网络的节点中的程序，节点执行接收的交易中所调用的智能合约，来对账本数据库的键值对数据进行更新或查询的操作。
101.13)共识(consensus)：是区块链网络中的一个过程，用于在涉及的多个节点之间对区块中的交易达成一致，达成一致的区块将被追加到区块链的尾部，实现共识的机制包括工作量证明(po w，proof of work)、权益证明(pos，proof of stake)、股份授权证明(d po s，delegated proof
‑
of
‑
stake)、消逝时间量证明(po et，proof of elapsed time)等。
102.14)多媒体信息：包括但不限于：长视频(用户上传的视频)、短视频(用户上传的视频长度小于1分钟的视频)、音频(例如带固定画面的mv或者唱片)。
103.图1为本发明实施例提供的多媒体信息处理方法的使用环境示意图，参见图1，终端(包括终端10
‑
1和终端10
‑
2)上设置有能够执行不同功能的客户端，其中，所述终端(包括终端10
‑
1和终端10
‑
2)通过网络300从相应的服务器200中利用不同的业务进程获取不同的视频信息进行浏览，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10
‑
1和终端10
‑
2)通过网络300从相应的服务器200
中所获取的多媒体信息类型并不相同，其中多媒体信息：包括但不限于：长视频(例如用户上传的视频，或者用户需要进行版权验证的已有视频)、短视频(例如用户上传的视频长度小于1分钟的视频)、音频(例如带固定画面的mv或者唱片)，例如：终端(包括终端10
‑
1和终端10
‑
2)既可以通过网络300从相应的服务器200中获取长视频(即视频中携带视频信息或相应的视频链接)，也可以通过同一视频客户端或者微信小程序利用网络300从相应的服务器400中获取短视频进行浏览。服务器200和服务器400中可以保存有不同类型的视频。其中，本技术中不再对不同类型的视频的播放环境进行区分。在这一过程中向用户的客户端推送的视频信息应该是版权合规的视频信息，因此对于数量众多的视频，需要判断哪些视频是相似的，并进一步地对相似视频的版权信息进行合规检测，避免推送重复或者侵权的视频信息。
104.以短视频为例，本发明所提供的多媒体信息处理模型可以应用于短视频播放，在短视频播放中通常会对不同数据来源的不同短视频进行处理，最终在用户界面ui(user interface)上呈现出与相应的用户相对应的待推荐多媒体信息，如果推荐的视频是版权不合规的盗播视频将直接影响用户体验。视频播放的后台数据库每天都会收到大量不同来源的视频数据，所得到与向目标用户进行多媒体信息推荐的不同视频还可以供其他应用程序调用(例如短视频推荐进程的推荐结果迁移至长视频信息推荐进程或者新闻推荐进程)，当然，与相应的目标用户相匹配的多媒体信息处理模型也可以迁移至不同的多媒体信息推荐进程(例如网页多媒体信息推荐进程、小程序多媒体信息推荐进程或者长视频客户端的多媒体信息推荐进程)。
105.其中，本技术实施例所提供的多媒体信息处理方法是基于人工智能实现的，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
106.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
107.在本技术实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(speech technology)中的语音识别技术(automatic speech recognition，asr)，其中包括语音信号预处理(speech signal preprocessing)、语音信号频域分析(speech signal frequency analyzing)、语音信号特征提取(speech signal feature extraction)、语音信号特征匹配/识别(speech signal feature matching/recognition)、语音的训练(speech training)等。
108.例如可以涉及机器学习(machine learning，ml)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用
遍及人工智能的各个领域。机器学习通常包括深度学习(deep learning)等技术，深度学习包括人工神经网络(artificial neural network)，例如卷积神经网络(convolutional neural network，cnn)、循环神经网络(recurrent neural network，rnn)、深度神经网络(deep neural network，dnn)等。
109.下面对本发明实施例的电子设备的结构做详细说明，电子设备可以各种形式来实施，如带有多媒体信息处理功能的终端例如运行视频客户端的手机，其中经过训练的多媒体信息处理模型可以封装在终端的存储介质中，也可以为带有多媒体信息处理功能的服务器或者服务器群组，其中经过训练的多媒体信息处理模型可以部署在服务器中，例如前述图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了电子设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
110.本发明实施例提供的电子设备可以包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。电子设备20中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
111.其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
112.可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10
‑
1)的操作。这些数据的示例包括：用于在终端(如10
‑
1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
113.在一些实施例中，本发明实施例提供的多媒体信息处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的多媒体信息处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的多媒体信息处理方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件。
114.作为本发明实施例提供的多媒体信息处理装置采用软硬件结合实施的示例，本发明实施例所提供的多媒体信息处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线系统205的其他组件)完成本发明实施例提供的多媒体信息处理方法。
115.作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
116.作为本发明实施例提供的多媒体信息处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件执行实现本发明实施例提供的多媒体信息处理方法。
117.本发明实施例中的存储器202用于存储各种类型的数据以支持电子设备20的操作。这些数据的示例包括：用于在电子设备20上操作的任何可执行指令，如可执行指令，实现本发明实施例的从多媒体信息处理方法的程序可以包含在可执行指令中。
118.在另一些实施例中，本发明实施例提供的多媒体信息处理装置可以采用软件方式实现，图2示出了存储在存储器202中的多媒体信息处理装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括多媒体信息处理装置2020，多媒体信息处理装置2020中包括以下的软件模块：信息传输模块2081，信息处理模块2082。当多媒体信息处理装置2020中的软件模块被处理器201读取到ram中并执行时，将实现本发明实施例提供的多媒体信息处理方法，下面对多媒体信息处理装置2020中各个软件模块的功能进行介绍：
119.信息传输模块2081，用于获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频。
120.信息处理模块2082，用于对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图。
121.所述信息处理模块2082，用于通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量。
122.所述信息处理模块2082，用于通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量。
123.所述信息处理模块2082，用于基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型。
124.根据图2所示的电子设备，在本技术的一个方面中，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述多媒体信息处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
125.结合图2示出的电子设备20说明本发明实施例提供的多媒体信息处理方法，在介绍本发明提供的多媒体信息处理方法之前，首先介绍相关技术的缺陷，这一过程中，虽然现有的视频服务器通过相应的匹配算法可以识别视频间的相似关系，但是随着视频编辑工具的普及和发展，视频画面攻击种类变得更加复杂，参考图3，图3为本发明实施例相关技术中短视频播放的示意图，在图3所示的经过裁剪的视频中，单纯的依赖视频图像指纹难以解决部分对画面改变较多的视频重复/侵权内容，视频中的音频经过加速变声，多层音轨叠加很
难被识别。相关技术中，可以通过音频指纹算法对视频中的音频信息进行比较，以判定视频是否相似，但是对于音频经过加速变声，多层音轨叠加的使用环境无法实现准确识别，例如：对于变音攻击的使用环境，由于landmark依赖频率峰值点，变音视频中改变了音频的频率，会导致生成的hash不同，相似性检索失败；同样的对于倍速/慢速攻击的使用环境来说，由于landmark中的组合hash依赖于dt(t2
‑
t1)，倍速慢速的dt改变，会导致生成的hash不同。
126.为了克服上述缺陷，参见图4，图4为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行多媒体信息处理装置的各种电子设备执行，例如可以是多媒体信息处理功能的终端、服务器或者服务器集群，当运行多媒体信息处理装置运行在终端中时，可以触发终端中的微信小程序进行多媒体信息相似性检测，当多媒体信息处理装置运行在长视频版权检测服务器、音乐播放软件服务器中时，可以对相应的长视频版权或者音乐信息版权进行检测，下面针对图4示出的步骤进行说明。
127.步骤401：多媒体信息处理装置获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频。
128.其中，可以根据所述目标多媒体信息的信息来源，建立数据存储映射；响应于所建立的数据存储映射，对所述目标音频的文件格式进行调整，以实现与所述信息来源相匹配。
129.在本发明的一些实施例中，获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述目标多媒体信息中所包括的目标音频，可以通过以下方式实现：
130.对所述目标多媒体信息进行解析，获取所述目标多媒体信息的时序信息；根据所述目标多媒体信息的时序信息，对所述目标多媒体信息所对应的视频参数进行解析，获取与所述目标多媒体信息对应的播放时长参数与音轨信息参数；基于所述目标多媒体信息对应的播放时长参数与音轨信息参数，对所述目标多媒体信息进行抽取以获取所述目标多媒体信息对应的目标音频。其中，可以首先通过客户端向多媒体信息处理装置发送所要处理的多媒体信息以多媒体信息为长视频信息为，可以首先获取视频数据中的音频同步包；之后获取对应的播放时长参数与音轨信息参数可以通过解析音频同步包中的音频头解码数据aacdecoderspecificinfo和音频数据配置信息audiospecificconfig。其中，音频数据配置信息audiospecificconfig用于生成adst(包括音频数据中的采样率、声道数、帧长度数据)。，基于音轨信息获取视频数据中的其他音频包，并解析出原始音频数据，最后通过音频数据头aac解码器把aac的es流打包成adts的格式，其中，是在aac es流前添加7个字节的头文件adtsheader，实现抽取以获取目标多媒体信息对应的目标音频。
131.步骤402：多媒体信息处理装置对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图。
132.在本发明的一些实施例中，对所述目标音频进行转换处理，形成与目标音频相对应的梅尔频谱图，可以通过以下方式实现：
133.对所述目标音频进行声道转换处理，形成单声道音频数据；基于与多媒体信息处理模型相对应的加窗函数，对所述单声道音频数据进行短时傅里叶变换，形成相应的频谱图；确定所述多媒体信息处理模型相对应的时长参数；根据所述时长参数，对所述频谱图进行处理，形成与目标音频相对应的梅尔频谱图。其中，以视频中的音频信息处理为例，可以首先将音频重采样为16khz单身道音频；之后使用25ms的hann时窗，以10ms的帧移，周期性
hann窗口对音频进行短时傅里叶变换得到相应的频谱图；通过将频谱图映射到64阶的mel滤波器组中计算mel声谱，其中，mel bins的范围为125
‑
7500hz；计算log(mel
‑
spectrum+0.01)，得到稳定的mel声谱，所加的0.01的偏置是为了避免对0取对数；将获得的这些特征以0.96s的特征进行组帧，并且没有帧的重叠，每一帧都包含64个mel频带，时长10ms(共96帧)，由此实现提取相应的梅尔频谱图。
134.进一步地，将音频数据转换为梅尔频谱图中的数据时，由于频率的单位是赫兹(hz)，人耳能听到的频率范围是20
‑
20000hz，但人耳对hz这种标度单位并不是线性感知关系。例如，如果人们适应了1000hz的音调，如果把音调频率提高到2000hz，那耳朵只能觉察到频率提高了一点点，根本察觉不到频率提高了一倍。如果将普通的频率标度转化为梅尔频率标度，则人耳对频率的感知度就成了线性关系。也就是说，在梅尔标度下，如果两段语音的梅尔频率相差两倍，则人耳可以感知到的音调大概也相差两倍，由此，可以实现具备将音频数据实现可视化的有益技术效果。
135.步骤403：多媒体信息处理装置通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量。
136.在本发明的一些实施例中，通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量，可以通过以下方式实现：
137.将与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图转换为相对应的灰度图像；根据所述灰度图像，通过多媒体信息处理模型中的第一子模型网络中的卷积神经网络提取梅尔频谱图的特征向量；通过第一子模型网络中的门控循环单元，对所述梅尔频谱图的特征向量进行处理，确定所述目标音频对应的第一音频特征向量。其中，基于所述梅尔频谱图的数量，确定所述第一子模型网络中的门控循环单元的通道数量；根据所述目标音频的时域特征和频域特征，确定时间序列参数；基于所述第一子模型网络中的门控循环单元通道数量和所述时间序列参数，确定所述第一子模型网络中的循环神经网络；通过所述第一子模型网络中的循环神经网络确定所述目标音频对应的第一音频特征向量。
138.参考图5，图5为本发明实施例中的多媒体信息处理模型对于音频的处理过程示意图，可以通过vggish网络进行特提取，其中，多媒体信息处理模型的特征提取可以通过视觉几何组网络(vggish，visual geometry group)实现，例如对于视频中的音频信息，可以进行音频文件的抽取，得到音频文件，针对音频文件，获取对应的梅尔频谱图，然后针对梅尔频谱图，经过vggish网络进行音频特征的抽取，对抽取得到的向量通过空间局部聚合向量(netvlad net vector oflocally aggregated descriptors)聚类编码，得到音频特征向量。netvlad可以保存的每个特征点与离它最近的聚类中心的距离，并将其作为新的特征。
139.继续以长视频处理为例进行说明，vggish网络支持从相应的音频信息中提取具有语义的128维embedding特征向量。具体包括：将音频片段转换成梅尔频谱图的三元组样本作为vggish模型的输入，具体包括：利用信号幅值计算音频片段的声谱图，将音频片段的声谱映射到64阶梅尔滤波器组中计算梅尔频谱，得到n个从hz映射到梅尔频谱图的三元组样本，特征维度为n*96*64；然后，采用基于tensorflow的vggish模型作为音频特征提取器，将三元组样本作为输入，利用vggish网络模型进行特征提取，得到n*128的音频片段对应的音
频特征向量。
140.步骤404：多媒体信息处理装置获通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量。
141.在本发明的一些实施例中，通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量，可以通过以下方式实现：
142.基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，通过所述多媒体信息处理模型中的第二子模型网络中的残差网络确定平均池化层网络的输出信息；根据所述平均池化层网络的输出信息，对所述第二子模型网络中的图像分类网络的参数进行调整；通过第二子模型网络中的图像分类网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量。
143.步骤405：多媒体信息处理装置基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型。
144.其中，可以对所述第一音频特征向量和所述第二音频特征向量进行向量融合处理；基于所述向量融合处理的结果，确定所述目标多媒体信息中的目标音频的类型，其中，所述目标音频的类型包括至少以下之一：
145.合规音频、加速变声音频和多层音轨叠加音频。
146.继续参考图6，图6为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图，可以理解地，图6所示的步骤可以由运行多媒体信息处理装置的各种电子设备执行，例如可以是多媒体信息处理功能的终端、服务器或者服务器集群，当运行多媒体信息处理装置运行在终端中时，可以触发终端中的微信小程序进行多媒体信息相似性检测，当多媒体信息处理装置运行在短视频版权检测服务器、音乐播放软件服务器中时，可以对相应的短视频版权或者音乐信息版权进行检测。下面针对图6示出的步骤进行说明。
147.步骤601：确定与所述目标多媒体信息相对应的源多媒体信息。
148.步骤602：基于所述目标多媒体信息的目标音频与所述源多媒体信息的源音频，通过所述第一音频特征向量和所述第二音频特征向量，确定对应的帧间相似度参数集合。
149.步骤603：获取帧间相似度参数集合中达到相似度阈值的音频帧数量。
150.步骤604：确定达到相似度阈值的音频帧数量，并与数量与之进行比对，当超过数量阈值时，执行步骤605，否则执行步骤606。
151.步骤605：确定所述目标多媒体信息与源多媒体信息相似，提示提供版权信息。
152.步骤606：确定所述目标多媒体信息与源多媒体信息不同，进入相应的推荐进程。
153.在本发明的一些实施例中，当确定所述目标多媒体信息与源多媒体信息相似时，获取所述目标多媒体信息的版权信息；通过所述目标多媒体信息的版权信息和所述源多媒体信息的版权信息，确定所述目标多媒体信息的合法性；当所述目标多媒体信息的版权信息和所述源多媒体信息的版权信息不一致时，发出警示信息。
154.在本发明的一些实施例中，当确定所述目标多媒体信息与源多媒体信息不相似时，将所述目标多媒体信息添加至多媒体信息源；对所述多媒体信息源中的待推荐多媒体信息的召回顺序进行排序；基于所述待推荐多媒体信息的召回顺序的排序结果向目标用户
进行多媒体信息推荐。
155.继续结合图2示出的电子设备20说明本发明实施例提供的多媒体信息处理方法，参见图7，图7为本发明实施例提供的多媒体信息处理方法一个可选的流程示意图，可以理解地，图7所示的步骤可以由运行多媒体信息处理装置的各种电子设备执行，例如可以是多媒体信息处理功能的终端、服务器或者服务器集群，当多媒体信息处理装置运行在长视频版权检测服务器、音乐播放软件服务器中对相应的长视频版权或者音乐信息版权进行检测时，经过训练的多媒体信息处理可以部署在服务器中，对上传的视频的相似性进行检测，以确定是否对视频的版权信息进行合规检测，当然，在部署多媒体信息处理模型之前还需要对多媒体信息处理模型进行训练，具体包括以下步骤：
156.步骤701：获取第一训练样本集合，其中所述第一训练样本集合为通过终端采集的视频信息中的音频样本。
157.步骤702：对所述第一训练样本集合进行噪声添加，以形成相应的第二训练样本集合。
158.在本发明的一些实施例中，对所述第一训练样本集合进行噪声添加，以形成相应的第二训练样本集合，可以通过以下方式实现：
159.确定所述多媒体信息处理模型的使用环境相匹配的动态噪声类型；根据所述动态噪声类型，对所述第一训练样本集合进行噪声添加，以改变所述第一训练样本集合中音频样本的背景噪音、音量或者采样率，形成相应的第二训练样本集合。其中，其中，由于音频信息攻击包括但不限于：音频频率改变进行攻击、视频倍速改变进行攻击，因此训练样本集合构造的过程中，可以根据常见的音频攻击类型，制作音频增强数据集，常见的音频增强形式包括：变音，增加背景噪音，音量改变，采样率改变，音质改变等，设定不同的参数可得到不同的增强音频。需要说明的是，在本发明的一些实施例中，训练样本集合的构造不使用视频时长改变或者有帧移导致帧对不整齐的情况。
160.根据音频增强数据制作训练样本集合，例如一个原始音频对应20个攻击音频，此处每个攻击音频和原音频的时长相同并且没有帧移(即对应时间点音频相同)，音频时长为dur，以0.96s为step，则每一组音频(原始音频+对应攻击音频)会产生dur/0.96个标签，相同时间点的标签相同。
161.步骤703：通过多媒体信息处理模型对所述第二训练样本集合进行处理，以确定所述多媒体信息处理模型的初始参数。
162.步骤704：响应于所述多媒体信息处理模型的初始参数，通过所述多媒体信息处理模型对所述第二训练样本集合进行处理，确定所述多媒体信息处理模型的更新参数。
163.在本发明的一些实施例中，响应于所述多媒体信息处理模型的初始参数，通过所述多媒体信息处理模型对所述第二训练样本集合进行处理，确定所述多媒体信息处理模型的更新参数，可以通过以下方式实现：
164.将所述第二训练样本集合中不同音频样本，代入所述多媒体信息处理模型的第一子模型网络和第二子模型网络所分别对应的损失函数；确定所述损失函数满足相应的收敛条件时对应所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别对应的参数；将所述第一子模型网络和第二子模型网络所分别对应的参数作为所述多媒体信息处理模型的更新参数。
165.步骤705：根据所述多媒体信息处理模型的更新参数，通过所述第二训练样本集合对所述多媒体信息处理模型的网络参数进行迭代更新。
166.具体来说，确定与所述多媒体信息处理模型中第一子模型网络和第二子模型网络所分别相匹配的收敛条件；对所述第一子模型网络和第二子模型网络所分别对应的参数进行迭代更新，直至第一子模型网络和第二子模型网络所分别对应的损失函数满足对应的收敛条件。
167.图8为本发明实施例中目标音频的类型判定一个可选的示意图。其中，随着视频的播放过程，视频在播放过程中随着时间轴推移而改变的所显示的画面区域，所显示的画面区域中有不同的视频目标，通过多媒体信息处理模型对音频信息处理，判定是是否出现加速变声，多层音轨叠加，实现对大规模短视频的辅助审核，进而通过视频目标的检测结果，确定待检测视频是否合规，或者是否符合版权信息要求，避免用户上传的视频被盗播。
168.由于多媒体信息服务器的多媒体信息数量不断增加，因此，可以将多媒体信息的版权信息保存在区块链网络或者云服务器中，实现对多媒体信息相似性的判断。其中，本发明实施例可结合云技术或区块链网络技术实现，云技术(cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如多媒体信息网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
169.需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(iaas，infrastructure as a service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
170.在本发明的一些实施例中，还可以将目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型送至区块链网络，以使
171.所述区块链网络的节点将所述目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。
172.上述方案中，所述方法还包括：
173.接收所述区块链网络中的其他节点的数据同步请求；响应于所述数据同步请求，对所述其他节点的权限进行验证；当所述其他节点的权限通过验证时，控制当前节点与所述其他节点之间进行数据同步，以实现所述其他节点获取目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型。
174.上述方案中，所述方法还包括：响应于查询请求，解析所述查询请求以获取对应的用户标识；根据所述用户标识，获取区块链网络中的目标区块内的权限信息；对所述权限信
息与所述用户标识的匹配性进行校验；当所述权限信息与所述用户标识相匹配时，在所述区块链网络中获取相应的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型；响应于所述查询请求，将所获取的相应的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型向相应的客户端进行推送，以实现所述客户端获取所述区块链网络中所保存的相应的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型。
175.继续参见图9，图9是本发明实施例提供的区块链网络的架构示意图，包括区块链网络200(示例性示出了共识节点210
‑
1至共识节点210
‑
3)、认证中心300、业务主体400和业务主体500，下面分别进行说明。
176.区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。
177.在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易(例如，用于上链存储数据或查询链上数据)功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性(例如，取决于业务主体的具体业务需求)地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。
178.区块链网络200中的共识节点接收来自不同业务主体(例如前序实施中示出的业务主体400和业务主体500)的客户端节点(例如，前序实施例中示出的归属于业务主体400的客户端节点410、以及归属于数据库运营商系统的客户端节点510)提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。
179.例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。
180.下面以多个业务主体接入区块链网络以实现对指令信息以及与所述指令信息相匹配的业务进程管理为例，说明区块链网络的示例性应用。
181.参见图9，管理环节涉及的多个业务主体，如业务主体400可以是多媒体信息处理装置，业务主体500可以是带有多媒体信息处理装功能的显示系统，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络200请求接入而成为客户端节点。
182.业务主体400的客户端节点410用于将目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型送至区块链网络，以使所述区块链网络的节点将所述目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部。
183.其中，将相应的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当确定目标多媒体信息与源多媒体信息不相似时，客户端节点410将待处理的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的转换进程信息，并将其发送至区块链网络200。在发送时，客户端节点410根据目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名(例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。
184.区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署共识节点210自己的数字签名(例如，使用共识节点210
‑
1的私钥对交易的摘要进行加密得到)，并继续在区块链网络200中广播。
185.区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新待处理的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的进程触发信息的交易，在状态数据库中添加包括目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的进程触发信息的键值对。
186.业务主体500的业务人员在客户端节点510中登录，输入目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型查询请求，客户端节点510根据目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名(例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到)，并将交易广播到区块链网络200中的共识节点210。
187.区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一多媒体信息的版权信息数据信息对应的人工识别结果的交易，根据人工识别结果更新状态数据库中该多媒体信息的版权信息数据信息对应的键值对；对于提交的查询某个多媒体信息的版权信息数据信息的交易，从状态数据库中查询目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型对应的键值对，并返回交易结果。
188.值得说明的是，在图9中示例性地示出了将目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的进程触发信息直接上链的过程，但在另一些实施例中，对于目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型数据量较大的情况，客户端节点410可目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型的哈希以及相应的目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型的哈希成对上链，将目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的进程触发信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到目标多媒体信息标识、目标多媒体信息的第一音频特征向量、第一音频特征向量和所述目标多媒体信息的目标音频的类型以及相应的进程触发信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。
189.作为区块链的示例，参见图10，图10是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。
190.下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图11，图11是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。
191.资源层205封装了实现区块链网路200中的各个共识节点210的计算资源、存储资源和通信资源。
192.数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
193.网络层203封装了点对点(p2p，point to point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
194.其中，p2p网络协议实现区块链网络200中共识节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现共识节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络
200的业务主体的身份、以及权限(例如能够发起的交易的类型)。
195.共识层202封装了区块链网络200中的共识节点210对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括pos、pow和dpos等共识算法，支持共识算法的可插拔。
196.交易管理用于验证共识节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息)；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。
197.账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号(例如交易的哈希值)查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号(向量号)查询业务主体的账号数据；根据通道名称查询通道中的区块链。
198.应用层201封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。
199.由此，经过相似性识别的目标多媒体信息的版权信息可以保存在区块链网络中，当新的用户上传多媒体信息至多媒体信息服务器中时，多媒体信息服务器可以调用区块链网络中的版权信息(此时用户上传的目标多媒体信息可以作为源多媒体信息)，对多媒体信息的版权合规性进行验证。
200.图12为本发明实施例提供的多媒体信息处理方法的使用场景示意图，其中，多媒体信息为短视频，终端(包括终端10
‑
1和终端10
‑
2)上设置有能够显示相应短视频的软件的客户端，例如短视频播放的客户端或插件，用户通过相应的客户端可以获得目标视频并进行展示；终端通过网络300连接短视频服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。当然，用户也可以通过终端中的微信小程序上传视频以供网络中的其他用户观看，这一过程中运营商的视频服务器需要对用户上传的视频进行检测，对不同的视频信息进行比对和分析，确定用户上传的视频版权是否合规，并对合规视频向不同的用户进行推荐，避免用户的短视频被盗播。
201.本发明提供一种信息处理方法，下面对本发明所提供的多媒体信息处理方法的使用过程进行说明，其中，参考图13，图13为本发明实施例中多媒体信息处理方法一个可选的的使用过程示意图，具体包括以下步骤：
202.步骤1301：获取目标短视频对应的音频信息，并通过预处理进程对音频信息进行预处理。
203.步骤1302：获取多媒体信息处理模型的训练样本集合。
204.步骤1303：对多媒体信息处理模型进行训练，确定相应的模型参数。
205.步骤1304：将经过训练的多媒体信息处理模型部署在相应的视频检测服务器中。
206.步骤1305：通过多媒体信息处理模型对不同的视频信息中的音频进行检测，以确
定目标短视频的音频是否合规。
207.当确定目标短视频的音频合规时，获取所述目标短视频的版权信息；例如视频上传用户通过终端10
‑
1所运行的微信小程序上传相应的版权信息，或者视频版权信息在云服务器网络中的存储位置。通过所述目标短视频的版权信息和所述源视频的版权信息，确定所述目标短视频的合法性；当所述目标短视频的版权信息和所述源视频的版权信息不一致时，发出警示信息。同时当确定所述目标短视频与源视频不相似时，将所述目标短视频添加至视频源；对所述视频源中的所有待推荐视频的召回顺序进行排序；基于所述待推荐视频的召回顺序的排序结果向目标用户进行视频推荐，更加有利于原创视频的推送。
208.有益技术效果：
209.本发明各实施例通过获取目标多媒体信息，并对所述目标多媒体信息进行解析以实现分离出所述多媒体信息中所包括的目标音频；对所述目标音频进行转换处理，形成与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图；通过多媒体信息处理模型中的第一子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第一音频特征向量；通过多媒体信息处理模型中的第二子模型网络，基于与所述目标音频的时域特征和频域特征相匹配的梅尔频谱图，确定所述目标音频对应的第二音频特征向量；基于所述第一音频特征向量和所述第二音频特征向量，确定所述目标多媒体信息中的目标音频的类型，由此，可以目标多媒体信息中的目标音频的类型，减少人工审核的工作量，提升多媒体信息审核的速度与准确率，提升用户的使用体验。
210.以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。