音频处理方法、装置、处理设备及存储介质与流程

文档序号:32220061发布日期:2022-11-16 08:50阅读:56来源:国知局
音频处理方法、装置、处理设备及存储介质与流程

1.本发明涉及计算机技术领域,具体而言,涉及一种音频处理方法、装置、处理设备及存储介质。


背景技术:

2.随着科学技术的发展,可以通过各种各样的智能设备采集视频,例如相机、手机等,一些采集视频对应的音频不嘈杂或者存在声音缺失,因此,对于视频添加音频也成为了研究的热点。
3.相关技术中,需要对视频添加音频时,在视频剪辑应用程序中,人工手动为视频添加模板音乐。
4.但是,相关技术中,手动添加的模板音乐与视频的关联性较弱,为视频所添加的音频效果不佳,还浪费了不必要的人力资源。


技术实现要素:

5.本发明的目的在于,针对上述现有技术中的不足,提供一种音频处理方法、装置、处理设备及存储介质,以便解决相关技术中,手动添加的模板音乐与视频的关联性较弱,为视频所添加的音频效果不佳,还浪费了不必要的人力资源的问题。
6.为实现上述目的,本发明实施例采用的技术方案如下:
7.第一方面,本发明实施例提供了一种音频处理方法,所述方法包括:
8.对待处理视频中的多个视频帧进行画面识别,得到所述多个视频帧的画面内容,每个视频帧的画面内容包括:所述每个视频帧的画面元素;
9.根据所述每个视频帧的画面元素,从预设素材库中获取所述画面元素对应的音频为所述每个视频帧对应的目标音频;
10.为所述多个视频帧添加所述多个视频帧对应的目标音频。
11.可选的,所述每个视频帧的画面内容还包括:所述画面元素的位置信息,所述为所述多个视频帧添加所述多个视频帧对应的目标音频之前,所述方法还包括:
12.根据连续至少两个视频帧中所述画面元素的位置信息,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
13.可选的,所述根据连续至少两个视频帧中所述画面元素的位置信息,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频,包括:
14.根据所述连续至少两个视频帧中所述画面元素的位置信息,确定所述画面元素的运动方向;
15.根据所述运动方向,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
16.可选的,在所述对待处理视频中的多个视频帧进行画面识别之前,所述方法还包
括:
17.将所述待处理视频划分为多个时间段,每个时间段具有对应的多个初始视频帧;
18.从所述每个时间段的多个初始视频帧中确定一个视频帧,得到所述多个视频帧。
19.可选的,所述方法还包括:
20.根据所述每个时间段的多个初始视频帧,计算所述每个时间段内所述画面元素的移动速度;
21.所述根据所述运动方向,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频,包括:
22.根据所述运动方向以及所述画面元素的移动速度,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
23.可选的,所述根据所述运动方向以及所述画面元素的移动速度,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频,包括:
24.若所述运动方向为:第一预设方向,则根据所述画面元素的移动速度以及所述第一预设方向对所述连续至少两个视频帧对应的音频的声道进行调整,得到所述连续至少两个视频帧对应的目标音频。
25.可选的,所述根据所述运动方向以及所述画面元素的移动速度,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频,包括:
26.若所述运动方向为:第二预设方向,则根据所述画面元素的移动速度以及所述第二预设方向对所述连续至少两个视频帧对应的音频的音量进行调整,得到所述连续至少两个视频帧对应的目标音频。
27.可选的,若所述多个视频帧中存在目标视频帧的画面元素为多个,所述目标视频帧的画面内容还包括:所述目标视频帧中多个元素的位置信息;
28.在所述为所述多个视频帧添加所述多个视频帧对应的目标音频之前,所述方法还包括:
29.根据所述多个元素的位置信息,确定所述多个元素在所述目标视频帧中的画面占比;
30.根据所述画面占比,对所述目标视频帧对应音频的音量进行调整,得到所述目标视频帧对应的目标音频。
31.第二方面,本发明实施例还提供了一种音效处理装置,所述装置包括:
32.画面识别模块,用于对待处理视频中的多个视频帧进行画面识别,得到所述多个视频帧的画面内容,每个视频帧的画面内容包括:所述每个视频帧的画面元素;
33.获取模块,用于根据所述每个视频帧的画面元素,从预设素材库中获取所述画面元素对应的音频为所述每个视频帧对应的目标音频;
34.添加模块,用于为所述多个视频帧添加所述多个视频帧对应的目标音频。
35.可选的,所述每个视频帧的画面内容还包括:所述画面元素的位置信息,所述装置还包括:
36.调整模块,用于根据连续至少两个视频帧中所述画面元素的位置信息,对所述连
续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
37.可选的,所述调整模块,还用于根据所述连续至少两个视频帧中所述画面元素的位置信息,确定所述画面元素的运动方向;根据所述运动方向,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
38.可选的,所述装置还包括:
39.划分模块,用于将所述待处理视频划分为多个时间段,每个时间段具有对应的多个初始视频帧;
40.第一确定模块,用于从所述每个时间段的多个初始视频帧中确定一个视频帧,得到所述多个视频帧。
41.可选的,所述装置还包括:
42.计算模块,用于根据所述每个时间段的多个初始视频帧,计算所述每个时间段内所述画面元素的移动速度;
43.所述调整模块,还用于根据所述运动方向以及所述画面元素的移动速度,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
44.可选的,所述调整模块,还用于若所述运动方向为:第一预设方向,则根据所述画面元素的移动速度以及所述第一预设方向对所述连续至少两个视频帧对应的音频的声道进行调整,得到所述连续至少两个视频帧对应的目标音频。
45.可选的,所述调整模块,还用于若所述运动方向为:第二预设方向,则根据所述画面元素的移动速度以及所述第二预设方向对所述连续至少两个视频帧对应的音频的音量进行调整,得到所述连续至少两个视频帧对应的目标音频。
46.可选的,若所述多个视频帧中存在目标视频帧的画面元素为多个,所述目标视频帧的画面内容还包括:所述目标视频帧中多个元素的位置信息;
47.所述装置还包括:
48.第二确定模块,用于根据所述多个元素的位置信息,确定所述多个元素在所述目标视频帧中的画面占比;
49.第一调整模块,用于根据所述画面占比,对所述目标视频帧对应音频的音量进行调整,得到所述目标视频帧对应的目标音频。
50.第三方面,本发明实施例还提供了一种处理设备,包括:存储器和处理器,所述存储器存储有所述处理器可执行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法。
51.第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被读取并执行时,实现上述第一方面任一项所述的方法。
52.本发明的有益效果是:本发明实施例提供一种音频处理方法,该方法包括:对待处理视频中的多个视频帧进行画面识别,得到多个视频帧的画面内容,每个视频帧的画面内容包括:每个视频帧的画面元素;根据每个视频帧的画面元素,从预设素材库中获取画面元素对应的音频为每个视频帧对应的目标音频;为多个视频帧添加多个视频帧对应的目标音频。对待处理视频的多个视频帧进行识别得到每个视频帧的画面元素,将预设素材库中画
面元素对应的音频作为每个视频帧对应的目标音频,目标音频是与视频帧的画面元素相匹配的,两者关联性较强,为多个视频帧添加多个视频帧对应的目标音频,使得添加的目标音频与多个视频帧更加匹配,为多个视频帧添加的目标音频效果也更佳。
附图说明
53.为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
54.图1为本发明实施例提供的一种音频处理方法的流程示意图;
55.图2为本发明实施例提供的一种音频处理方法的流程示意图;
56.图3为本发明实施例提供的一种音频处理方法的流程示意图;
57.图4为本发明实施例提供的一种音频处理方法的流程示意图;
58.图5为本发明实施例提供的一种音频处理方法的流程示意图;
59.图6为本发明实施例提供的一种音频处理装置的结构示意图;
60.图7为本发明实施例提供的一种处理设备的结构示意图。
具体实施方式
61.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
62.因此,以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围,而是仅仅表示本技术的选定实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
63.在本技术的描述中,需要说明的是,若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本技术的限制。
64.此外,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
65.需要说明的是,在不冲突的情况下,本技术的实施例中的特征可以相互结合。
66.相关技术中,需要对视频添加音频时,在视频剪辑应用程序中,人工手动为视频添加模板音乐。但是,相关技术中,手动添加的模板音乐与视频的关联性较弱,为视频所添加
的音频效果不佳,还浪费了不必要的人力资源。
67.本技术实施例提供一种音频处理方法,该方法包括:对待处理视频的多个视频帧进行识别得到每个视频帧的画面元素,将预设素材库中画面元素对应的音频作为每个视频帧对应的目标音频,目标音频是与视频帧的画面元素相匹配的,两者关联性较强,为多个视频帧添加多个视频帧对应的目标音频,使得添加的目标音频与多个视频帧更加匹配,为多个视频帧添加的目标音频效果也更佳。
68.以下对本技术实施例提供的一种音频处理方法进行解释说明。
69.图1为本发明实施例提供的一种音频处理方法的流程示意图,如图1所示,该方法可以包括:
70.s101、对待处理视频中的多个视频帧进行画面识别,得到多个视频帧的画面内容。
71.其中,每个视频帧的画面内容可以包括:每个视频帧的画面元素。
72.在一些实施方式中,处理设备可以分别对多个视频帧中的每个视频帧进行画面识别,得到每个视频帧的画面内容,其中包括每个视频帧的画面元素,画面元素可以为画面中的对象。
73.示例的,画面元素可以为画面中的鸟、花、人、猫、风扇等等,不同的视频其中所包含的画面元素不同,本技术实施例对此不进行具体限制。
74.需要说明的是,处理设备可以同时对每个视频帧进行画面识别,也可以依次对每个视频帧进行画面识别,还可以采用其他次序对每个视频帧进行画面识别,本技术实施例对此不进行具体限制。
75.s102、根据每个视频帧的画面元素,从预设素材库中获取画面元素对应的音频为每个视频帧对应的目标音频。
76.其中,预设素材库中包括多个预设元素,以及每个预设元素对应的预设音频。
77.在一些实施方式中,处理设备可以根据每个视频帧的画面元素,从预设素材库中查找与每个视频帧的画面元素匹配的目标预设元素,将目标预设元素对应的预设音频作为每个视频帧对应的目标音频。
78.另外,若每个视频帧的画面元素相同,则每个视频帧对应的目标音频也相同,即多个视频帧具有一种音频,若一些视频帧的画面元素不同,则视频帧对应的目标音频也不同,即多个视频帧具有多种音频。
79.s103、为多个视频帧添加多个视频帧对应的目标音频。
80.在本技术实施例中,为多个视频帧添加多个视频帧对应的目标音频,将多个视频帧与多个视频帧对应的目标音频进行关联,在通过显示设备播放多个视频帧时,可以采用扬声器播放对应的目标音频。
81.需要说明的是,多个视频帧中包括具有先后顺序的多个第一视频帧以及多个第二视频帧,若多个第一视频帧的画面元素与多个第二视频帧的画面元素不同,在播放多个第一视频帧时播放的目标音频,与在播放多个第一视频帧时播放的目标音频不同。
82.综上所述,本发明实施例提供一种音频处理方法,该方法包括:对待处理视频中的多个视频帧进行画面识别,得到多个视频帧的画面内容,每个视频帧的画面内容包括:每个视频帧的画面元素;根据每个视频帧的画面元素,从预设素材库中获取画面元素对应的音频为每个视频帧对应的目标音频;为多个视频帧添加多个视频帧对应的目标音频。对待处
理视频的多个视频帧进行识别得到每个视频帧的画面元素,将预设素材库中画面元素对应的音频作为每个视频帧对应的目标音频,目标音频是与视频帧的画面元素相匹配的,两者关联性较强,为多个视频帧添加多个视频帧对应的目标音频,使得添加的目标音频与多个视频帧更加匹配,为多个视频帧添加的目标音频效果也更佳。
83.在上述s101中对待处理视频中的多个视频帧进行画面识别的过程之前,该方法还可以包括:处理设备可以获取待处理视频,待处理视频可以没有原音频或者具有原音频;
84.在一些实施方式中,若待处理视频具有原音频,处理是被可以判断原音频的声音大小是否小于预设声音阈值,若是,则确定原音频不可用;若原音频的声音大小大于或者等于预设声音阈值,则判断原音频是否清晰,若判断结果指示原音频不清晰,则确定原音频不可用,则原音频不可用时,可以采用上述s101至s103的过程为待处理视频中的多个视频帧添加音频。
85.另外,若待处理视频不具有原音频或者原音频效果不佳,也可以采用上述s101至s103的过程为待处理视频中的多个视频帧添加音频,本技术实施例对此不进行具体限制。
86.需要说明的是,预设声音阈值可以为15分贝,也可以为18分贝,也可以根据经验值或者实际需求进行设置,本技术实施例对此不进行具体限制。
87.可选的,每个视频帧的画面内容还可以包括:画面元素的位置信息。
88.上述s103中为多个视频帧添加多个视频帧对应的目标音频的过程之前,该方法还可以包括:
89.根据连续至少两个视频帧中画面元素的位置信息,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频。
90.其中,画面元素的位置信息可以为坐标信息。至少两个视频帧中可以包括相同的画面元素。
91.在一些实施方式中,处理设备针对每个视频帧建立标准坐标轴,确定画面元素的元素中心在标准坐标轴中的位置,将画面元素的元素中心在标准坐标轴中的位置,作为画面元素的位置信息。
92.在本技术实施例中,处理设备根据至少两个视频帧中画面元素的位置信息,对连续至少两个视频帧对应的音频声道和/或音频音量进行调整,得到连续至少两个视频帧对应的目标音频。
93.可选的,图2为本发明实施例提供的一种音频处理方法的流程示意图,如图2所示,上述根据连续至少两个视频帧中画面元素的位置信息,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频的过程,可以包括:
94.s201、根据连续至少两个视频帧中画面元素的位置信息,确定画面元素的运动方向。
95.其中,连续至少两个视频帧具有先后顺序,可以根据连续至少两个视频帧中画面元素的位置信息的变化信息,确定画面元素的运动方向。
96.可选的,画面元素的运动方向可以为:第一预设方向和/或第二预设方向,具体是指,画面元素仅向第一预设方向运动,或者,画面元素仅向第二预设方向运动,或者,画面元素同时向第一预设方向和第二方向运动。其中,第一预设方向和第二预设方向为不同的运动方向。
97.s202、根据运动方向,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频。
98.在一些实施方式中,声音播放参数包括多类参数,根据运动方向,从多类参数中确定待调整的至少一个目标播放参数,继而对连续至少两个视频帧对应的音频的至少一个目标播放参数进行调整,得到连续至少两个视频帧对应的目标音频。
99.综上所述,根据画面元素的运动方向,对连续至少两个视频帧对应的音频的声音播放参数进行调整得到连续至少两个视频帧对应的目标音频,使得目标音频与画面元素的运动方向更加切合,提升了目标音频的播放效果。
100.可选的,图3为本发明实施例提供的一种音频处理方法的流程示意图,如图3所示,在上述s101中对待处理视频中的多个视频帧进行画面识别的过程之前,该方法还可以包括:
101.s301、将待处理视频划分为多个时间段。
102.其中,每个时间段具有对应的多个初始视频帧。
103.在一些实施方式中,待处理视频中包括多个初始视频帧,待处理视频也具有对应的时长,根据预设时长将待处理视频划分为多个时间段,每个时间段的时长为预设时长,则每个时间段中具有对应的多个初始视频帧,多个初始视频帧具有先后顺序。
104.可选的,每个时间段可以为1秒,也可以为1.5秒,还可以根据实际需求进行设置,本技术实施例对此不进行具体限制。
105.s302、从每个时间段的多个初始视频帧中确定一个视频帧,得到多个视频帧。
106.其中,每个时间段的多个初始视频帧具有先后顺序。
107.在一些实施方式中,处理设备可以确定每个时间段的多个初始视频中第n个初始视频帧,将第n个初始视频帧作为一个视频帧,则多个时间段对应多个视频帧。
108.示例的,n可以为1,也可以为2,还可以为其他数值,该数值的设定不能超过一个时间段内初始视频帧的总数量。
109.可选的,图4为本发明实施例提供的一种音频处理方法的流程示意图,如图4所示,该方法还可以包括:
110.s401、根据每个时间段的多个初始视频帧,计算每个时间段内画面元素的移动速度。
111.在一些实施方式中,识别每个时间段的多个初始视频帧中的画面元素,以及画面元素的位置,根据画面元素的位置确定画面元素在每个时间段内移动的距离,将距离与时间段的比值,作为每个时间段内画面元素的移动速度。
112.示例的,一个时间段可以为一秒,画面元素的移动速度可以记录为xx时xx秒至xx时xx秒,画面元素每秒的平均速度分别为aa、bb、cc、dd
……
nn。
113.上述s202中根据运动方向,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频的过程,可以包括:
114.s402、根据运动方向以及画面元素的移动速度,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频。
115.其中,对声音播放参数进行调整可以包括:对声音播放参数的参数值小大的调整,以及对声音播放参数变化速度的调整。
116.在本技术实施例中,可以根据运动方向对连续至少两个视频帧对应的音频的声音播放参数的参数值,根据画面元素的移动速度对连续至少两个视频帧对应的音频的声音播放参数的参数值变化速度进行调整,得到连续至少两个视频帧对应的目标音频。
117.综上所述,根据画面元素的运动方向以及画面元素的移动速度,对连续至少两个视频帧对应的音频的声音播放参数进行调整得到连续至少两个视频帧对应的目标音频,使得目标音频与画面元素的运动方向以及运动速度更加切合,提升了目标音频的播放效果。
118.上述s402中根据运动方向以及画面元素的移动速度,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频的过程,可以包括:
119.若运动方向为:第一预设方向,则根据画面元素的移动速度以及第一预设方向对连续至少两个视频帧对应的音频的声道进行调整,得到连续至少两个视频帧对应的目标音频。
120.其中,第一预设方向可以为横向运动方向,例如,可以为画面元素从左向右移动,或者从右向左移动,或者从左上方向右下方移动,或者从右上方向左下方移动等等。
121.在一些实施方式中,根据第一预设方向对连续至少两个视频帧对应的音频的左声道和右声道的参数值进行调整,根据画面元素的移动速度对左声道和右声道的参数值的变化速度进行调整,得到连续至少两个视频帧对应的目标音频。
122.示例的,画面元素可以为鸟,则运动方向以及画面元素的移动速度可以表示为:xx时xx秒至xx时xx秒,鸟从左到右移动,每秒的平均速度分别为aa、bb、cc、dd
……
nn。
123.可选的,上述s402中根据运动方向以及画面元素的移动速度,对连续至少两个视频帧对应的音频的声音播放参数进行调整,得到连续至少两个视频帧对应的目标音频的过程,可以包括:
124.若运动方向为:第二预设方向,则根据画面元素的移动速度对连续至少两个视频帧对应的音频的音量进行调整,得到连续至少两个视频帧对应的目标音频。
125.其中,第二预设方向可以为由近到远移动,或者由远到近移动。
126.需要说明的是,若画面元素的面积大则表示较近,若画面元素的面积小则表示较远;若至少两个视频帧中画面元素的面积由大变小,则近到远移动;若至少两个视频帧中画面元素的面积由小变大,则远到仅移动。其中可以根据画面元素在坐标中的位置确定画面元素的面积。
127.在一些实施方式中,根据第二预设方向对连续至少两个视频帧对应的音频的音量的参数值进行调整,根据画面元素的移动速度对音量的参数值的变化速度进行调整,得到连续至少两个视频帧对应的目标音频。
128.示例的,画面元素可以为鸟,则运动方向以及画面元素的移动速度可以表示为:xx时xx秒至xx时xx秒,鸟从近到远移动,每秒的平均速度分别为aa、bb、cc、dd
……
nn。
129.可选的,若多个视频帧中存在目标视频帧的画面元素为多个,目标视频帧的画面内容还包括:目标视频帧中多个元素的位置信息。
130.图5为本发明实施例提供的一种音频处理方法的流程示意图,如图5所示,在上述s104中为多个视频帧添加多个视频帧对应的目标音频的过程之前,该方法还可以包括:
131.s501、根据多个元素的位置信息,确定多个元素在目标视频帧中的画面占比。
132.在一些实施方式中,每个元素的位置信息,计算每个元素在目标视频帧中的面积,并计算每个面积与目标视频帧总面积的比值,得到每个元素在目标视频帧中的画面占比。
133.s502、根据画面占比,对目标视频帧对应音频的音量进行调整,得到目标视频帧对应的目标音频。
134.其中,每个元素在目标视频帧中的画面占比,可以称为每个元素对应的第一画面占比。
135.在一些实施方式中,对每个元素对应的第一画面占比进行排序,得到排序结果;将第一画面占比最大的元素作为目标元素,计算目标视频帧中每个其他元素与目标元素的画面占比,得到每个其他元素对应的第二画面占比。其中,其他元素为目标视频帧中除目标元素之外的元素。
136.在本技术实施例中,将目标元素对应音频的音量调整为:最大音量乘以100%,根据其他元素对应的第二画面占比调整其他元素对应音频的音量,示例的,将每个其他元素对应音频的音量调整为:最大音量乘以第二画面占比;目标视频帧对应的目标音频可以包括:每个元素对应音频的叠加,该音频为调整音量后的音频。
137.需要说明的是,对每个元素在目标视频帧中的画面占比进行排序的方式,可以是从小到大排序,也可以是从大到小排序,本技术实施例对此不进行具体限制。
138.综上所述,本发明实施例提供一种音频处理方法,该方法包括:对待处理视频中的多个视频帧进行画面识别,得到多个视频帧的画面内容,每个视频帧的画面内容包括:每个视频帧的画面元素;根据每个视频帧的画面元素,从预设素材库中获取画面元素对应的音频为每个视频帧对应的目标音频;为多个视频帧添加多个视频帧对应的目标音频。对待处理视频的多个视频帧进行识别得到每个视频帧的画面元素,将预设素材库中画面元素对应的音频作为每个视频帧对应的目标音频,目标音频是与视频帧的画面元素相匹配的,两者关联性较强,为多个视频帧添加多个视频帧对应的目标音频,使得添加的目标音频与多个视频帧更加匹配,为多个视频帧添加的目标音频效果也更佳。
139.而且,根据运动方向以及画面元素的移动速度,对音频的声音播放参数进行调整,可以提升为视频帧添加的音效效果,提升了用户沉浸感。
140.下述对用以执行本技术所提供的音频处理方法的音频处理装置、处理设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述方法的相关内容,下述不再赘述。
141.图6为本发明实施例提供的一种音频处理装置的结构示意图,如图6所示,该装置可以包括:
142.画面识别模块601,用于对待处理视频中的多个视频帧进行画面识别,得到所述多个视频帧的画面内容,每个视频帧的画面内容包括:所述每个视频帧的画面元素;
143.获取模块602,用于根据所述每个视频帧的画面元素,从预设素材库中获取所述画面元素对应的音频为所述每个视频帧对应的目标音频;
144.添加模块603,用于为所述多个视频帧添加所述多个视频帧对应的目标音频。
145.可选的,所述每个视频帧的画面内容还包括:所述画面元素的位置信息,所述装置还包括:
146.调整模块,用于根据连续至少两个视频帧中所述画面元素的位置信息,对所述连
续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
147.可选的,所述调整模块,还用于根据所述连续至少两个视频帧中所述画面元素的位置信息,确定所述画面元素的运动方向;根据所述运动方向,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
148.可选的,所述装置还包括:
149.划分模块,用于将所述待处理视频划分为多个时间段,每个时间段具有对应的多个初始视频帧;
150.第一确定模块,用于从所述每个时间段的多个初始视频帧中确定一个视频帧,得到所述多个视频帧。
151.可选的,所述装置还包括:
152.计算模块,用于根据所述每个时间段的多个初始视频帧,计算所述每个时间段内所述画面元素的移动速度;
153.所述调整模块,还用于根据所述运动方向以及所述画面元素的移动速度,对所述连续至少两个视频帧对应的音频的声音播放参数进行调整,得到所述连续至少两个视频帧对应的目标音频。
154.可选的,所述调整模块,还用于若所述运动方向为:第一预设方向,则根据所述画面元素的移动速度以及所述第一预设方向对所述连续至少两个视频帧对应的音频的声道进行调整,得到所述连续至少两个视频帧对应的目标音频。
155.可选的,所述调整模块,还用于若所述运动方向为:第二预设方向,则根据所述画面元素的移动速度以及所述第二预设方向对所述连续至少两个视频帧对应的音频的音量进行调整,得到所述连续至少两个视频帧对应的目标音频。
156.可选的,若所述多个视频帧中存在目标视频帧的画面元素为多个,所述目标视频帧的画面内容还包括:所述目标视频帧中多个元素的位置信息;
157.所述装置还包括:
158.第二确定模块,用于根据所述多个元素的位置信息,确定所述多个元素在所述目标视频帧中的画面占比;
159.第一调整模块,用于根据所述画面占比,对所述目标视频帧对应音频的音量进行调整,得到所述目标视频帧对应的目标音频。
160.上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
161.以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,简称asic),或,一个或多个微处理器(digital singnal processor,简称dsp),或,一个或者多个现场可编程门阵列(field programmable gate array,简称fpga)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,简称cpu)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称soc)的形式实现。
162.图7为本发明实施例提供的一种处理设备的结构示意图,如图7所示,该处理设备
包括:处理器701、存储器702。
163.其中,存储器702用于存储程序,处理器701调用存储器702存储的程序,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
164.可选地,本发明还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
165.在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
166.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
167.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
168.上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文:read-only memory,简称:rom)、随机存取存储器(英文:random access memory,简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
169.以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1