一种视频图像处理方法、计算机可读存储介质和终端与流程

文档序号:14881401发布日期:2018-07-07 09:48阅读:140来源:国知局

本发明涉及图像处理技术领域,具体而言,本发明涉及一种视频图像处理方法、计算机可读存储介质和终端。



背景技术:

随着互联网技术以及音频、图像处理技术的不断发展,在短视频、视频直播等视频应用领域中,通常会在播放视频中播放音乐,所播放的音乐可由用户选定,以给予用户在观看视频过程中的听觉享受,进而提高用户的体验满意度。

然而,传统技术中,可选择的音乐通常只能是终端本地的或视频应用中的音乐文件,且播放视频中的视频图像与所播放的音乐往往没有关联性,音乐仅是简单的加入到播放视频中,在播放视频中播放的音乐在听觉以及视觉上没有足够的感染力,进而影响了用户的体验满意度。



技术实现要素:

为克服以上技术问题,特别是现有技术中音乐获取方式单一、无法实现播放视频中视频图像与所播放音乐紧密关联的问题,特提出以下技术方案:

本发明的实施例根据一个方面,提供了一种视频图像处理方法,包括:

识别播放视频中声音的音频特征;

从服务器下载与所述音频特征匹配的音乐和所述音乐的节拍点对应的特效;

在所述播放视频中播放所述音乐,确定在所述音乐的当前播放位置出现节拍点;

根据所确定的节拍点对应的特效对播放视频中的图像进行处理,获得包含所述特效的视频图像。

优选地,所述在所述播放视频中播放所述音乐,确定在所述音乐的当前播放位置出现节拍点之前,还包括:

从服务器下载记录所述音乐的音乐播放位置与节拍点的对应关系的节拍点描述文件;

所述确定在所述音乐的当前播放位置出现节拍点,包括:

根据所述节拍点描述文件中的对应关系,确定在所述音乐的当前播放位置出现节拍点。

优选地,所述在所述播放视频中播放所述音乐,确定在所述音乐的当前播放位置出现节拍点之前,还包括:

获取所述音乐的音乐信号;根据所述音乐信号检测出所述音乐的节拍点;记录所述音乐播放位置与节拍点的对应关系;

所述确定在所述音乐的当前播放位置出现节拍点,包括:

根据所述对应关系,确定在所述音乐的当前播放位置出现节拍点。

优选地,所述视频为直播视频;

所述识别播放视频中声音的音频特征,包括:

在直播视频中接收客户端发送的观众哼唱点歌请求;

接收客户端发送的观众哼唱声音;

识别所述观众哼唱声音的音频特征;

获得包含所述特效的视频图像之后,还包括:

向客户端发送处理后的视频图像。

优选地,所述视频为直播视频;

所述识别播放视频中声音的音频特征,包括:

在直播视频中接收主播发送的哼唱下载歌曲指令;

接收主播发送的主播哼唱声音;

识别所述主播哼唱声音的音频特征。

优选地,所述节拍点包括强节拍点和弱节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱;

根据所述频谱,确定检测点的能量变化值;

根据能量变化值,检测出检测点出现强节拍点或弱节拍点。

优选地,所述节拍点包括强节拍点和弱节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

对所述音乐信号进行加权处理,获得加权后的音乐信号;

根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点。

优选地,所述节拍点包括强节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据所述音乐信号的能量强度值获得候选节拍点;

根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔;

根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点。

优选地,所述节拍点包括强节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据检测点的音乐信号的能量变化差值,获得候选节拍点;

根据所述候选节拍点,以各相邻两个候选节拍点作为信号起始点截取两段音乐信号;

根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点。

优选地,所述获取所述音乐的音乐信号;根据所述音乐信号检测出所述音乐的节拍点,包括:

获取所述音乐信号,判断检测强节拍点,还是检测强节拍点和弱节拍点;

若检测强节拍点,判断采用强度值检测还是变化值检测;

若采用强度值检测,根据所述音乐信号的能量强度值获得候选节拍点,根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔,根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点;

若采用变化值检测,根据检测点的音乐信号的能量变化差值,获得候选节拍点,根据所述候选节拍点,以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号,根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点;

若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测;

若采用强度值检测,对所述音乐信号进行加权处理,获得加权后的音乐信号,根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点;

若采用变化值检测,对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱,根据所述频谱,确定检测点的能量变化值,根据能量变化值,检测出检测点出现弱节拍点或强候选节拍点;

所述判断检测强节拍点,还是检测强节拍点和弱节拍点,包括:

获取视频所需特效类型,根据视频所需特效类型判断检测强节拍点,还是检测强节拍点和弱节拍点;

所述若检测强节拍点,判断采用强度值检测还是变化值检测,包括:

若检测强节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测;

所述若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测,包括:

若检测强节拍点和弱节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测。

优选地,所述根据所确定的节拍点对应的特效对播放视频中的图像进行处理,获得包含所述特效的视频图像,包括:

获取所述特效中的素材,以图层叠加方式把素材与所述播放视频中的图像进行合成,获得包含所述特效的视频图像。

本发明的实施例根据另一个方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述的视频图像处理方法。

本发明的实施例根据又一个方面,还提供了一种终端,所述终端包括一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行上述的视频图像处理方法。

本发明与现有技术相比,具有以下有益效果:

本发明提供的视频图像处理方法,通过识别播放视频中的声音,可获知用户欲播放的音乐,用户在播放视频中播放的音乐不再局限于现有的音乐文件,可通过哼唱歌曲片段快速获取对应的音乐,继而在音乐播放过程中根据音乐的节拍点在视频图像中显示相应的特效,进而实现在播放视频中播放该音乐并获得包含与所述音乐节拍点对应的特效的视频图像。该方法扩展了获取音乐的方式,可实现快速便捷地获取欲播放的音乐,用户与视频应用的互动性强,且视频图像上显示的特效与该通过声音输入获取的音乐的节拍点紧密关联,进而提高了在视频中播放的音乐在听觉以及视觉上的感染力,显著增加了视频应用的趣味性并提高了用户体验满意度。

此外,本发明提供的视频图像处理方法,在应用于直播领域时,可通过识别主播或观众的哼唱声音确认欲在直播视频中播放的音乐,能够满足直播的需求,烘托直播氛围,促进主播与观众的互动,进一步增加视频应用的趣味性;本发明可通过节拍点描述文件和实时检测节拍点来确认音乐播放位置与节拍点的对应关系,其中还包括多个节拍点检测方法,可实现快速、准确地检测出播放视频中声音对应的音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与播放视频中声音对应的音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例的一种视频图像处理方法的方法流程图;

图2为本发明实施例的一种终端的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

实施例一

本发明实施例提供了一种视频图像处理方法,如图1所示,该方法包括:

步骤S101、识别播放视频中声音的音频特征。

步骤S102、从服务器下载与所述音频特征匹配的音乐和所述音乐的节拍点对应的特效。

对于本实施例,用户获取欲在播放视频中播放的音乐的方式不再局限于选取终端或视频应用中现有的音乐文件,而是通过对播放视频中的声音进行识别,进而匹配确定所述声音对应的音乐并从服务器中下载所述音乐,实现欲播放音乐的获取。具体地,终端录取播放视频中的声音并提取所述声音的音频特征,随后将所述音频特征发送至服务器,以使服务器把所述音频特征跟其保存有的预置音乐库中的音乐进行遍历匹配,进而确定所述声音的音频特征对应的音乐。其中,所述声音可以是用户在播放视频中发出的声音,也可以是其他终端设备外放的声音。

对于本实施例,在进行识别播放视频中声音的音频特征的动作之前,还需要判断用户是否发送音频特征识别请求。例如,当用户触发视频应用界面的听歌识曲功能键时,终端才开始执行所述识别播放视频中声音的音频特征的动作。

对于本实施例,所述特效可以为烟花、爱心、雪花等素材,所述素材的具体表现形式在本实施例中不做限定。同一素材可设置不同的外形特征参数,所述外形特征参数包括尺寸参数、颜色参数等,在本实施例中不做限定。此外,一首音乐中的所述节拍点包括强节拍点和弱节拍点,所述强节拍点和弱节拍点对应的特效中的所述素材相同,但素材的外形特征参数不相同。在步骤102中从服务器下载的所述音乐的节拍点对应的特效指的是所述音乐的强节拍点和弱节拍点分别对应的不同外形特征参数的素材,其中,所述特效可以是用户预先设置与所述音乐对应的特效,也可以是服务器默认的与所述音乐对应的特效。

步骤S103、在所述播放视频中播放所述音乐,确定在所述音乐的当前播放位置出现节拍点。

对于本实施例,通过预先获取所述音乐播放位置与节拍点的对应关系,在播放视频中播放所述音乐时,可根据所述对应关系判断音乐当前播放位置是否出现节拍点,并确定该节拍点为强节拍点还是弱节拍点。

步骤S104、根据所确定的节拍点对应的特效对播放视频中的图像进行处理,获得包含所述特效的视频图像。

对于本实施例,通过获取在步骤S102中从服务器下载的与该节拍点对应的所述特效中的素材,并以图层叠加方式将所述素材与所述播放视频中的图像进行合成,得到包含所述特效中的素材的视频图像。在其他实施方式中,还可以采用将特效与图像进行数据整合或根据特效中素材的外形特征参数修改图像等其他方式实现获得所述包含所述特效的视频图像。

例如,在视频直播领域中,可以将特效的数据与图像数据进行数据整合得到视频图像数据包,并将所述数据包发送至客户端,以使客户端显示包含该特效的视频图像。

又例如,可以通过获取特效中素材的外形特征参数,根据所述参数对图像进行缩放处理,以获得可实现特效效果凸显的视频图像。

本发明提供的视频图像处理方法,通过识别播放视频中的声音,可获知用户欲播放的音乐,用户在播放视频中播放的音乐不再局限于现有的音乐文件,可通过哼唱歌曲片段快速获取对应的音乐,继而在音乐播放过程中根据音乐的节拍点在视频图像中显示相应的特效,进而实现在播放视频中播放该音乐并获得包含与所述音乐节拍点对应的特效的视频图像。该方法扩展了获取音乐的方式,可实现快速便捷地获取欲播放的音乐,用户与视频应用的互动性强,且视频图像上显示的特效与该通过声音输入获取的音乐的节拍点紧密关联,进而提高了在视频中播放的音乐在听觉以及视觉上的感染力,显著增加了视频应用的趣味性并提高了用户体验满意度。

实施例二

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例二所示的步骤,其中,

所述步骤S103之前,还包括:

从服务器下载记录所述音乐的音乐播放位置与节拍点的对应关系的节拍点描述文件;

所述确定在所述音乐的当前播放位置出现节拍点,包括:

根据所述节拍点描述文件中的对应关系,确定在所述音乐的当前播放位置出现节拍点。

对于本实施例,通过从服务器下载预置的与所述音乐对应的节拍点描述文件,可在播放视频中播放音乐时,通过获取所述节拍点描述文件中记录的音乐播放位置与节拍点的对应关系来确定所述音乐的当前播放位置出现节拍点,且还可确定所述节拍点为强节拍点还是弱节拍点。采用节拍点描述文件可实现快速便捷地获得所述对应关系,只需在极短暂的文件加载时间后便可进一步获得包含与所述音乐节拍点对应的特效的视频图像,可进一步提高用户体验满意度。

实施例三

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例三所示的步骤,其中,

所述步骤S103之前,还包括:

获取所述音乐的音乐信号;根据所述音乐信号检测出所述音乐的节拍点;记录所述音乐播放位置与节拍点的对应关系;

所述确定在所述音乐的当前播放位置出现节拍点,包括:

根据所述对应关系,确定在所述音乐的当前播放位置出现节拍点。

对于本实施例,所述根据所述音乐信号检测出所述音乐的节拍点可采用多种方法实现。

例如,对于本方法,所述节拍点包括强节拍点和弱节拍点;该方法包括:对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱;根据所述频谱,确定检测点的能量变化值;根据能量变化值,检测出检测点出现强节拍点或弱节拍点。

又例如,对于本方法,所述节拍点包括强节拍点和弱节拍点;该方法包括:对所述音乐信号进行加权处理,获得加权后的音乐信号;根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点。

又例如,对于本方法,所述节拍点包括强节拍点;该方法包括:根据所述音乐信号的能量强度值获得候选节拍点;根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔;根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点。

再例如,对于本方法,所述节拍点包括强节拍点;该方法包括:根据检测点的音乐信号的能量变化差值,获得候选节拍点;根据所述候选节拍点,以各相邻两个候选节拍点作为信号起始点截取两段音乐信号;根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点。

对于本实施例,可通过实时检测节拍点来确认音乐播放位置与节拍点的对应关系,多个节拍点检测方法均可实现快速、准确地检测出播放视频中声音对应的音乐的节拍点,继而获得包含与所述音乐节拍点对应的特效的视频图像,可进一步提高用户体验满意度。

实施例四

本发明实施例的另一种可能的实现方式,在实施例三所示的基础上,还包括实施例四所示的步骤,其中,

获取所述音乐信号,判断检测强节拍点,还是检测强节拍点和弱节拍点;

若检测强节拍点,判断采用强度值检测还是变化值检测;若采用强度值检测,根据所述音乐信号的能量强度值获得候选节拍点,根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔,根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点;若采用变化值检测,根据检测点的音乐信号的能量变化差值,获得候选节拍点,根据所述候选节拍点,以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号,根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点;

若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测;若采用强度值检测,对所述音乐信号进行加权处理,获得加权后的音乐信号,根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点;若采用变化值检测,对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱,根据所述频谱,确定检测点的能量变化值,根据能量变化值,检测出检测点出现弱节拍点或强候选节拍点;

对于本实施例,针对不同的所需检测节拍点的类型以及检测标准,对应有不同的节拍检测方法。

其中,所述判断检测强节拍点,还是检测强节拍点和弱节拍点,包括:

获取视频所需特效类型,根据视频所需特效类型判断检测强节拍点,还是检测强节拍点和弱节拍点;所述若检测强节拍点,判断采用强度值检测还是变化值检测,包括:若检测强节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测;所述若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测,包括:若检测强节拍点和弱节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测。

对于本实施例,可通过获取的视频所需特效类型来判断所需检测节拍点的类型的。所述视频所需特效类型为用户选择的或视频应用默认的特效类型。例如,用户希望在播放视频中有层出不穷的特效,故根据其视频所需特效类型判断出既要检测强节拍点,也要检测弱节拍点。

对于本实施例,可通过获取声音对应的音乐的类型来判断检测标准的。例如,所获取声音对应的音乐的类型为摇滚,该音乐类型的音乐信号往往都有很高的强度值,但其变化值不明显,故根据其类型选择通过检测强度值来检测该音乐的节拍点。

对于本实施例,可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与音乐节拍点的紧密关联性,进一步提高用户体验的满意度。

实施例五

对于本实施例,所述视频为直播视频,即本实施例中的方法主要应用于视频直播领域。

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例五所示的步骤,其中,

所述步骤S101,包括:

在直播视频中接收客户端发送的观众哼唱点歌请求;接收客户端发送的观众哼唱声音;识别所述观众哼唱声音的音频特征;

所述步骤S104之后,还包括:

向客户端发送处理后的视频图像。

对于本实施例,在直播视频中增加了主播与观众的点歌互动环节,观众在观看直播视频过程中,除了发言、点赞和送礼物等常见互动行为以外,还可以向直播端发送观众哼唱点歌请求。在主播通过某一位观众的哼唱点歌请求后,该观众客户端与直播端进行连麦,直播端接收观众在视频直播中的哼唱声音并提取该声音的音频特征,随后将所述音频特征发送至服务器,以使服务器把所述音频特征跟其保存有的预置音乐库中的音乐进行遍历匹配,进而确定与观众的哼唱声音的音频特征对应的音乐。观众可通过付费来获得该观众哼唱点歌机会,主播也可将该哼唱点歌机会作为礼物赠送给直播间内的观众,该方案能够满足直播的需求,烘托直播氛围,显著增加主播与观众之间的互动,进一步增加视频应用的趣味性。

实施例六

对于本实施例,所述视频为直播视频,即本实施例中的方法主要应用于视频直播领域。

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例六所示的步骤,其中,

所述步骤S101,包括:

在直播视频中接收主播发送的哼唱下载歌曲指令;接收主播发送的主播哼唱声音;识别所述主播哼唱声音的音频特征。

对于本实施例,在直播视频中增加了主播与观众的点歌互动环节,主播可以在发送哼唱下载歌曲指令之后通过哼唱方便快速地获取到与哼唱声音对应的音乐。直播端接收主播在视频直播中的哼唱声音并提取该声音的音频特征,随后将所述音频特征发送至服务器,以使服务器把所述音频特征跟其保存有的预置音乐库中的音乐进行遍历匹配,进而确定与主播的哼唱声音的音频特征对应的音乐。主播可以根据观众的弹幕信息选择哼唱视频直播期间观众呼声最高的歌曲,以实现在直播视频中播放该音乐并呈现包含所述音乐节拍点对应的特效的视频图像,该方案能够满足直播的需求,烘托直播氛围,显著增加主播与观众之间的互动,进一步增加视频应用的趣味性。

此外,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现以上实施例一至六所述的视频图像处理方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。

本发明实施例提供的一种计算机可读存储介质,可实现:通过识别播放视频中的声音,可获知用户欲播放的音乐,用户在播放视频中播放的音乐不再局限于现有的音乐文件,可通过哼唱歌曲片段快速获取对应的音乐,继而在音乐播放过程中根据音乐的节拍点在视频图像中显示相应的特效,进而实现在播放视频中播放该音乐并获得包含与所述音乐节拍点对应的特效的视频图像。其扩展了获取音乐的方式,可实现快速便捷地获取欲播放的音乐,用户与视频应用的互动性强,且视频图像上显示的特效与该通过声音输入获取的音乐的节拍点紧密关联,进而提高了在视频中播放的音乐在听觉以及视觉上的感染力,显著增加了视频应用的趣味性并提高了用户体验满意度。此外,所述计算机可读存储介质还可实现:在应用于直播领域时,可通过识别主播或观众的哼唱声音确认欲在直播视频中播放的音乐,能够满足直播的需求,烘托直播氛围,促进主播与观众的互动,进一步增加视频应用的趣味性;可通过节拍点描述文件和实时检测节拍点来确认音乐播放位置与节拍点的对应关系,其中还包括多个节拍点检测方法,可实现快速、准确地检测出播放视频中声音对应的音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与播放视频中声音对应的音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明实施例提供的计算机可读存储介质可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。

此外,本发明实施例还提供了一种终端,如图2所示,所述终端可以包括一个或者一个以上的处理器201,还包括存储器202、WiFi(wireless fidelity,无线保真)电路203、RF(Radio Frequency,射频)电路204、音频电路205、传感器206、输出设备207、输入设备204、电源209,处理器201是终端的控制中心,利用各种接口和线路连接以上各部分。本领域技术人员可以理解,图2中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

WiFi电路203可为用户提供无线局域网或互联网访问;其可包括天线、WiFi模块等。RF电路204可收发信息,或在通话过程中信号的接收和发送;其可包括天线、至少一个放大器、调谐器、一个或多个振荡器、耦合器、双工器等。音频电路205可将接收到的音频数据转换成电信号,传输到扬声器,也可将传声器收集的声音信号转换为音频数据,发给处理器201处理;其可设置扬声器、传声器、耳机接口等。传感器206可用于感应外界信号,并发给处理器201处理;其可包括运动传感器、光传感器等。输出设备207可用于显示各种信号;其可为采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。输入设备204可用于输入数字和字符等信息;其可为物理按键、触控面板等。电源209可为终端各部分供电,通过电源管理系统与处理器209逻辑连接;其可包括一个或一个以上的直流或交流电源、充电系统、电源状态指示器等组件。存储器202可用于存储软件程序以及模块;其可为计算机可读存储介质,具体的为硬盘、闪存等。处理器是终端的控制中心,通过运行或执行存储在存储器202内的软件程序和/或模块,以及调用存储在存储器202的数据,执行终端各种功能、处理终端数据。

作为一个实施例,终端包括:一个或多个处理器201,存储器202,一个或多个应用程序,其中所述一个或多个应用程序被存储在存储器202中并被配置为由所述一个或多个处理器201执行,所述一个或多个程序配置用于执行以上实施例一至六所述的视频图像处理方法。

本发明实施例提供的一种终端,可实现:通过识别播放视频中的声音,可获知用户欲播放的音乐,用户在播放视频中播放的音乐不再局限于现有的音乐文件,可通过哼唱歌曲片段快速获取对应的音乐,继而在音乐播放过程中根据音乐的节拍点在视频图像中显示相应的特效,进而实现在播放视频中播放该音乐并获得包含与所述音乐节拍点对应的特效的视频图像。其扩展了获取音乐的方式,可实现快速便捷地获取欲播放的音乐,用户与视频应用的互动性强,且视频图像上显示的特效与该通过声音输入获取的音乐的节拍点紧密关联,进而提高了在视频中播放的音乐在听觉以及视觉上的感染力,显著增加了视频应用的趣味性并提高了用户体验满意度。此外,所述终端还可实现:在应用于直播领域时,可通过识别主播或观众的哼唱声音确认欲在直播视频中播放的音乐,能够满足直播的需求,烘托直播氛围,促进主播与观众的互动,进一步增加视频应用的趣味性;可通过节拍点描述文件和实时检测节拍点来确认音乐播放位置与节拍点的对应关系,其中还包括多个节拍点检测方法,可实现快速、准确地检测出播放视频中声音对应的音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与播放视频中声音对应的音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明实施例提供的终端可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1