视频图像处理方法、计算机可读存储介质及终端与流程

文档序号:14881406发布日期:2018-07-07 09:48阅读:174来源:国知局

本发明涉及图像处理技术领域,具体而言,本发明涉及一种视频图像处理方法、计算机可读存储介质及终端。



背景技术:

随着互联网技术以及音频、图像处理技术的不断发展,在短视频、视频直播等视频应用领域中,通常会在播放视频中播放音乐,所播放的音乐可由用户选定,以给予用户在观看视频过程中的听觉享受,进而提高用户的体验满意度。

然而,传统技术中,播放视频中的视频图像与所播放的音乐往往没有关联性,音乐仅是简单的加入到播放视频中,在播放视频中播放的音乐在听觉以及视觉上没有足够的感染力,进而影响了用户的体验满意度。



技术实现要素:

为克服以上技术问题,特别是现有技术无法实现播放视频中视频图像与所播放音乐紧密关联的问题,特提出以下技术方案:

本发明的实施例根据一个方面,提供了一种视频图像处理方法,包括:

获取欲在播放视频中播放的音乐的音乐信号;

判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件;若是,获取所述节拍点描述文件;若否,根据所述音乐信号检测出所述音乐的节拍点,根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件;

根据所述节拍点描述文件,确定在播放视频中播放音乐时,在当前播放位置出现节拍点;

获取所述节拍点对应的特效;根据所述特效对播放视频中的图像进行处理,获得包含所述特效的视频图像。

优选地,所述判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件;若是,获取所述节拍点描述文件;包括:

判断本地文件中是否预存有节拍点描述文件,若是,从本地文件中获取所述节拍点描述文件;或

判断服务器是否预存有节拍点描述文件,若是,从服务器中下载所述节拍点描述文件;或

判断本地文件中是否预存有节拍点描述文件,若是,从本地文件中获取所述节拍点描述文件;若否,判断服务器是否预存有节拍点描述文件,若是,从服务器中下载所述节拍点描述文件。

优选地,所述获取所述节拍点描述文件之后,还包括:

若所述节拍点描述文件为从服务器下载的节拍点描述文件,根据所述音乐信号检测出所述音乐的节拍点,根据检测出的节拍点对所述节拍点描述文件进行校对,在本地文件中保存所述校对后的节拍点描述文件。

优选地,所述根据所述音乐信号检测出所述音乐的节拍点,根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件之后,还包括:

将所述节拍点描述文件上传到服务器。

优选地,所述视频为直播视频;

所述获取所述节拍点对应的特效之前,还包括:

获取直播端的主播设置的所述音乐的节拍点对应的特效信息,将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中;生成包含特效信息的节拍点描述文件;

所述获取所述节拍点对应的特效,包括:

根据所述包含特效信息的节拍点描述文件,获取所述节拍点对应的特效。

进一步地,所述生成包含特效信息的节拍点描述文件之后,还包括:

向连麦的另一直播端发送所述音乐、所述包含特效信息的节拍点描述文件、所述节拍点对应的特效,以使另一直播端在播放所述音乐时显示与本直播端相同特效。

优选地,所述节拍点包括强节拍点和弱节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱;

根据所述频谱,确定检测点的能量变化值;

根据能量变化值,检测出检测点出现强节拍点或弱节拍点。

优选地,所述节拍点包括强节拍点和弱节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

对所述音乐信号进行加权处理,获得加权后的音乐信号;

根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点。

优选地,所述节拍点包括强节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据所述音乐信号的能量强度值获得候选节拍点;

根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔;

根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点。

优选地,所述节拍点包括强节拍点;

所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据检测点的音乐信号的能量变化差值,获得候选节拍点;

根据所述候选节拍点,以各相邻两个候选节拍点作为信号起始点截取两段音乐信号;

根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点。

优选地,所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据获取的所述音乐信号,判断检测强节拍点,还是检测强节拍点和弱节拍点;

若检测强节拍点,判断采用强度值检测还是变化值检测;

若采用强度值检测,根据所述音乐信号的能量强度值获得候选节拍点,根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔,根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点;

若采用变化值检测,根据检测点的音乐信号的能量变化差值,获得候选节拍点,根据所述候选节拍点,以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号,根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点;

若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测;

若采用强度值检测,对所述音乐信号进行加权处理,获得加权后的音乐信号,根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点;

若采用变化值检测,对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱,根据所述频谱,确定检测点的能量变化值,根据能量变化值,检测出检测点出现弱节拍点或强候选节拍点;

所述判断检测强节拍点,还是检测强节拍点和弱节拍点,包括:

获取视频所需特效类型,根据视频所需特效类型判断检测强节拍点,还是检测强节拍点和弱节拍点;

所述若检测强节拍点,判断采用强度值检测还是变化值检测,包括:

若检测强节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测;

所述若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测,包括:

若检测强节拍点和弱节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测。

优选地,所述根据所述特效对播放视频中的图像进行处理,获得包含所述特效的视频图像,包括:

获取所述特效中的素材,以图层叠加方式把素材与所述播放视频中的图像进行合成,获得包含所述特效的视频图像。

本发明的实施例根据另一个方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述的视频图像处理方法。

本发明的实施例根据又一个方面,还提供了一种终端,所述终端包括一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行上述的视频图像处理方法。

本发明与现有技术相比,具有以下有益效果:

本发明提供的视频图像处理方法、计算机可读存储介质及终端,通过获取音乐的节拍点描述文件或根据音乐信号智能生成节拍点描述文件,获得根据节拍点描述文件确定的节拍点对应的特效,以使视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联,进而提高在视频中播放的音乐在听觉及视觉上的感染力,增加视频应用的趣味性并提高用户体验的满意度。

此外,本发明还可实现对从服务器获取的节拍点描述文件进行校对,以确保所述节拍点描述文件的准确性,进而确保节拍点与音乐播放位置的对应关系的准确性,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点的关联性;且当本发明应用于直播领域时,所述节拍点对应的特效可实现自定义设置及共享,能够满足直播的需求,进一步增加视频应用的趣味性;本发明还结合多个节拍点检测方法,实现快速、准确地检测出所选定视频播放音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例提供的视频图像处理方法的方法流程图;

图2为本发明实施例提供的终端的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

实施例一

本发明实施例提供了一种视频图像处理方法,如图1所示,该方法包括:

步骤S101:获取欲在播放视频中播放的音乐的音乐信号。

对于本实施例,所述欲在播放视频中播放的音乐可以是从视频应用中的预存音乐选定的音乐,也可以是从用户终端的预存音乐选定加载于视频应用中的音乐,还可以是在视频应用中通过麦克风获取的采用其他设备播放的现场音乐,所述音乐的来源在本实施例中不做限定。

对于本实施例,所述获取音乐信号的动作执行于用户选定欲在播放视频中播放的音乐之后,而选定所述音乐的动作可在播放视频前执行,也可在播放视频中执行。

例如,应用于视频直播领域时,所述音乐可在视频直播前或视频直播中选定,终端会随即获取所选定的音乐的音乐信号,并执行后续预置步骤。

又例如,应用于短视频的录制时,所述音乐在播放视频前,即视频录制前选定,在选定音乐后终端会立刻获取所选定的音乐的音乐信号,并执行后续预置步骤。

步骤S102:判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件;若是,获取所述节拍点描述文件;若否,根据所述音乐信号检测出所述音乐的节拍点,根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件。

对于本实施例,为实现在音乐播放时在播放视频中对应音乐各节拍点添加特效,需明确在音乐当前播放位置是否出现节拍点。本发明采用节拍点描述文件确定音乐的节拍点与音乐播放位置的对应关系。

其中,所述判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件;若是,获取所述节拍点描述文件;包括:判断本地文件中是否预存有节拍点描述文件,若是,从本地文件中获取所述节拍点描述文件;或,判断服务器是否预存有节拍点描述文件,若是,从服务器中下载所述节拍点描述文件;或,判断本地文件中是否预存有节拍点描述文件,若是,从本地文件中获取所述节拍点描述文件;若否,判断服务器是否预存有节拍点描述文件,若是,从服务器中下载所述节拍点描述文件。

对于本实施例,所述节拍点描述文件可以从本地文件中获取,也可以从服务器中获取,用户也可以在本地获取失败后尝试从服务器中获取节拍点描述文件。

对于本实施例,在未能获取到现有的节拍点描述文件时,则需要根据音乐信号智能生成节拍点描述文件,具体地,根据所述音乐信号检测出所述音乐的节拍点,根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件。在智能生成所述节拍点描述文件之后,还可将所述节拍点描述文件上传到服务器,以便于各用户下载使用。其中,所述根据所述音乐信号检测出所述音乐的节拍点可采用多种方法实现。

例如,对于本方法,所述节拍点包括强节拍点和弱节拍点;该方法包括:对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱;根据所述频谱,确定检测点的能量变化值;根据能量变化值,检测出检测点出现强节拍点或弱节拍点。

又例如,对于本方法,所述节拍点包括强节拍点和弱节拍点;该方法包括:对所述音乐信号进行加权处理,获得加权后的音乐信号;根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点。

又例如,对于本方法,所述节拍点包括强节拍点;该方法包括:根据所述音乐信号的能量强度值获得候选节拍点;根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔;根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点。

再例如,对于本方法,所述节拍点包括强节拍点;该方法包括:根据检测点的音乐信号的能量变化差值,获得候选节拍点;根据所述候选节拍点,以各相邻两个候选节拍点作为信号起始点截取两段音乐信号;根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点。

步骤S103:根据所述节拍点描述文件,确定在播放视频中播放音乐时,在当前播放位置出现节拍点。

对于本实施例,所述节拍点描述文件采用终端能够读取并理解的信息符号对音乐的节拍点与音乐播放位置的对应关系进行记录,在播放音乐时,通过加载所述节拍点描述文件中的数据并对数据进行分析,根据数据分析结果可以获知音乐当前播放位置是否出现节拍点,并确定该节拍点为强节拍点还是弱节拍点。

步骤S104:获取所述节拍点对应的特效;根据所述特效对播放视频中的图像进行处理,获得包含所述特效的视频图像。

对于本实施例,所述特效可以为烟花、爱心、雪花等素材,所述素材的具体表现形式在本实施例中不做限定。同一素材可设置不同的外形特征参数,所述外形特征参数包括尺寸参数、颜色参数等,在本实施例中不做限定。

对于本实施例,一首音乐中所述节拍点包括强节拍点和弱节拍点,所述强节拍点和弱节拍点对应的特效中的所述素材相同,但素材的外形特征参数不相同。

对于本实施例,通过获取所述特效中的素材,并以图层叠加方式将所述素材与所述播放视频中的图像进行合成,得到包含所述特效中的素材的视频图像。在其他实施方式中,还可以采用将特效与图像进行数据整合或根据特效中素材的外形特征参数修改图像等其他方式实现获得所述包含所述特效的视频图像。

例如,在视频直播领域中,可以将特效的数据与图像数据进行数据整合得到视频图像数据包,并将所述数据包发送至客户端,以使客户端显示包含该特效的视频图像。

又例如,可以通过获取特效中素材的外形特征参数,根据所述参数对图像进行缩放处理,以获得可实现特效效果凸显的视频图像。

本发明提供的视频图像处理方法,通过获取音乐的节拍点描述文件或根据音乐信号智能生成节拍点描述文件,获得根据节拍点描述文件确定的节拍点对应的特效,以使视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联,进而提高在视频中播放的音乐在听觉及视觉上的感染力,增加视频应用的趣味性并提高用户体验的满意度。

实施例二

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例二所示的步骤,其中,

步骤S102中所述获取所述节拍点描述文件之后,还包括:

若所述节拍点描述文件为从服务器下载的节拍点描述文件,根据所述音乐信号检测出所述音乐的节拍点,根据检测出的节拍点对所述节拍点描述文件进行校对,在本地文件中保存所述校对后的节拍点描述文件。

对于本实施例,从服务器中下载的节拍点描述文件保存有所述音乐的节拍点与音乐播放位置的对应关系,但可能存在该节拍点描述文件中对应的音乐与当前欲播放的音乐不完全一致的问题,例如,在视频应用中,用户可以对选定的音乐进行截取并选择在播放视频中播放截取后的音乐片段,而从服务器中下载的节拍点描述文件对应的是整首音乐的节拍点与音乐播放位置的对应关系。因此需要根据检测出的节拍点对节拍点描述文件进行校对,并在本地文件中保存所述校对后的节拍点描述文件以便终端用户使用。

对于本实施例,通过对从服务器获取的节拍点描述文件进行校对,可确保所述节拍点描述文件的准确性,进而确保节拍点与音乐播放位置的对应关系的准确性,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点的关联性。

实施例三

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例三所示的步骤,其中,

所述步骤S102中所述根据所述音乐信号检测出所述音乐的节拍点,包括:

根据获取的所述音乐信号,判断检测强节拍点,还是检测强节拍点和弱节拍点;

若检测强节拍点,判断采用强度值检测还是变化值检测;若采用强度值检测,根据所述音乐信号的能量强度值获得候选节拍点,根据各候选节拍点,统计各相邻两个候选节拍点所在帧之间的时间间隔,根据所述时间间隔,检测出候选节拍点对应检测点出现强节拍点;若采用变化值检测,根据检测点的音乐信号的能量变化差值,获得候选节拍点,根据所述候选节拍点,以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号,根据两段音乐信号的对比结果,检测出候选节拍点对应检测点出现强节拍点;

若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测;若采用强度值检测,对所述音乐信号进行加权处理,获得加权后的音乐信号,根据所述加权后的音乐信号的能量强度值,检测出检测点出现强节拍点或弱节拍点;若采用变化值检测,对所述音乐信号进行滤波,滤波后进行短时傅立叶变换,获得频谱,根据所述频谱,确定检测点的能量变化值,根据能量变化值,检测出检测点出现弱节拍点或强候选节拍点;

对于本实施例,针对不同的所需检测节拍点的类型以及检测标准,对应有不同的节拍检测方法。

其中,所述判断检测强节拍点,还是检测强节拍点和弱节拍点,包括:

获取视频所需特效类型,根据视频所需特效类型判断检测强节拍点,还是检测强节拍点和弱节拍点;所述若检测强节拍点,判断采用强度值检测还是变化值检测,包括:若检测强节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测;所述若检测强节拍点和弱节拍点,判断采用强度值检测还是变化值检测,包括:若检测强节拍点和弱节拍点,获取所述音乐的类型,根据类型判断采用强度值检测还是变化值检测。

对于本实施例,可通过获取的视频所需特效类型来判断所需检测节拍点的类型的。所述视频所需特效类型为用户选择的或视频应用默认的特效类型。例如,用户希望在播放视频中有层出不穷的特效,故根据其视频所需特效类型判断出既要检测强节拍点,也要检测弱节拍点。

对于本实施例,可通过获取的音乐的类型来判断检测标准的。例如,所获取的音乐的类型为摇滚,该音乐类型的音乐信号往往都有很高的强度值,但其变化值不明显,故根据其类型选择通过检测强度值来检测该音乐的节拍点。

对于本实施例,可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

实施例四

对于本实施例,所述视频为直播视频,即本实施例中的方法主要应用于视频直播领域。

本发明实施例的另一种可能的实现方式,在实施例一所示的基础上,还包括实施例四所示的步骤,其中,

步骤S104之前,还包括:

获取直播端的主播设置的所述音乐的节拍点对应的特效信息,将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中;生成包含特效信息的节拍点描述文件;

步骤S104中所述获取所述节拍点对应的特效,包括:

根据所述包含特效信息的节拍点描述文件,获取所述节拍点对应的特效。

对于本实施例,所述节拍点描述文件不仅保存有节拍点与音乐播放位置的对应关系,还保存有两者与特效信息的对应关系。所述特效信息携带有用户随机选择或自定义设置的素材信息,以及针对素材设置的外形特征参数,所述素材及其外形特征参数的定义参见实施例一中步骤S104所述内容,此处不再赘述。

在其他实施例中,所述特效信息还可以由观看直播的用户设置,用户可向直播端发送特效设置请求以实现特效设置。

对于本实施例,将本发明提供的视频图像处理方法应用于直播领域,可实现通过节拍点描述文件记录自定义设置的节拍点对应的特效,能够满足直播的需求,进一步增加视频应用的趣味性。

实施例五

本发明实施例的另一种可能的实现方式,在实施例四所示的基础上,还包括实施例五所示的步骤,其中,

所述生成包含特效信息的节拍点描述文件之后,还包括:

向连麦的另一直播端发送所述音乐、所述包含特效信息的节拍点描述文件、所述节拍点对应的特效,以使另一直播端在播放所述音乐时显示与本直播端相同特效。

对于本实施例,所述连麦指当前直播端的主播在视频直播期间,还与另一直播端的主播进行互动,而观看当前主播直播的用户可同时观看到互动主播的视频直播画面。通过实现节拍点对应的特效在多端直播端中共享,可有效烘托直播氛围,提高各互动直播端的直播间人气值,能够满足直播的需求,进一步增加视频应用的趣味性。

此外,本发明实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现以上实施例一至四所述的视频图像处理方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。

本发明提供的计算机可读存储介质,可实现:通过获取音乐的节拍点描述文件或根据音乐信号智能生成节拍点描述文件,获得根据节拍点描述文件确定的节拍点对应的特效,以使视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联,进而提高在视频中播放的音乐在听觉及视觉上的感染力,增加视频应用的趣味性并提高用户体验的满意度。此外,本发明提供的计算机可读存储介质还可实现:对从服务器获取的节拍点描述文件进行校验,以确保所述节拍点描述文件的准确性,进而确保节拍点与音乐播放位置的对应关系的准确性,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点的关联性;且当本发明应用于直播领域时,所述节拍点对应的特效可实现自定义设置及共享,能够满足直播的需求,进一步增加视频应用的趣味性;本发明还结合多个节拍点检测方法,实现快速、准确地检测出所选定视频播放音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明实施例提供的计算机可读存储介质可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。

此外,本发明实施例还提供了一种终端,如图2所示,所述终端可以包括一个或者一个以上的处理器201,还包括存储器202、WiFi(wireless fidelity,无线保真)电路203、RF(Radio Frequency,射频)电路204、音频电路205、传感器206、输出设备207、输入设备204、电源209,处理器201是终端的控制中心,利用各种接口和线路连接以上各部分。本领域技术人员可以理解,图2中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

WiFi电路203可为用户提供无线局域网或互联网访问;其可包括天线、WiFi模块等。RF电路204可收发信息,或在通话过程中信号的接收和发送;其可包括天线、至少一个放大器、调谐器、一个或多个振荡器、耦合器、双工器等。音频电路205可将接收到的音频数据转换成电信号,传输到扬声器,也可将传声器收集的声音信号转换为音频数据,发给处理器201处理;其可设置扬声器、传声器、耳机接口等。传感器206可用于感应外界信号,并发给处理器201处理;其可包括运动传感器、光传感器等。输出设备207可用于显示各种信号;其可为采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。输入设备204可用于输入数字和字符等信息;其可为物理按键、触控面板等。电源209可为终端各部分供电,通过电源管理系统与处理器209逻辑连接;其可包括一个或一个以上的直流或交流电源、充电系统、电源状态指示器等组件。存储器202可用于存储软件程序以及模块;其可为计算机可读存储介质,具体的为硬盘、闪存等。处理器是终端的控制中心,通过运行或执行存储在存储器202内的软件程序和/或模块,以及调用存储在存储器202的数据,执行终端各种功能、处理终端数据。

作为一个实施例,终端包括:一个或多个处理器201,存储器202,一个或多个应用程序,其中所述一个或多个应用程序被存储在存储器202中并被配置为由所述一个或多个处理器201执行,所述一个或多个程序配置用于执行以上实施例一至五所述的视频图像处理方法。

本发明提供的终端,可实现:通过获取音乐的节拍点描述文件或根据音乐信号智能生成节拍点描述文件,获得根据节拍点描述文件确定的节拍点对应的特效,以使视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联,进而提高在视频中播放的音乐在听觉及视觉上的感染力,增加视频应用的趣味性并提高用户体验的满意度。此外,本发明提供的终端还可实现:对从服务器获取的节拍点描述文件进行校验,以确保所述节拍点描述文件的准确性,进而确保节拍点与音乐播放位置的对应关系的准确性,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点的关联性;且当本发明应用于直播领域时,所述节拍点对应的特效可实现自定义设置及共享,能够满足直播的需求,进一步增加视频应用的趣味性;本发明还结合多个节拍点检测方法,实现快速、准确地检测出所选定视频播放音乐的节拍点;且本发明可根据视频所需特效类型和音乐的类型来选择所需检测节拍点的类型以及检测节拍点的方法,以实现采用合适的方法来得到准确的节拍点,且可减少运算量,缩短检测时长,进一步保证视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联性,进一步提高用户体验的满意度。

本发明实施例提供的终端可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1