一种用于可穿戴设备的语音处理方法及装置与流程

文档序号:13675527阅读:178来源:国知局

本发明实施例涉及一种数据匹配技术,尤其涉及一种用于可穿戴设备的语音处理方法及装置。



背景技术:

每一部优秀的影视作品都会在合适的场景配置适宜的背景音乐和/或音效,增添了符合情节的音效能够使得影视作品更具有感染力,能够更好的烘托气氛。

现如今为视频配置合适的背景音乐和/或音效不单单应用于影视作品,也出现在日常生活中,为视频配置合适的背景音乐和/或音效是制作优秀的视频的必要条件,语音的输出,一般都需要通过后期配音,当配音员/录音员录好语音之后,为了避免语音的单调,都会配上合适的音效和/或背景音乐,让语音效果的气氛更好。

但目前技术,后期音效和/或背景音乐的制作,都是技术人员手动选择配置音效,个人主观意识比较强,效率较低。



技术实现要素:

本发明实施例提供一种用于可穿戴设备的语音处理方法及装置,能够在录音过程中,自动匹配音效库中的音效和/或背景音乐。

第一方面,本发明实施例提供了一种用于可穿戴设备的语音处理方法,包括:

于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息;

根据所述用户的生理信息确定与之对应的情感种类;

获取与所述情感种类相匹配的音效和/或背景音乐;

将所述语音信息与所述音效和/或背景音乐进行合成。

进一步的,根据所述用户的生理信息确定与之对应的情感种类包括:

根据所述用户的生理信息获取生理信息变化节点;

根据所述生理信息变化节点对所述生理信息进行分段;

获取每一段生理信息对应的情感种类;

相应的,获取与所述情感种类相匹配的音效和/或背景音乐包括:

获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。

进一步的,根据所述用户的生理信息确定与之对应的情感种类包括:

根据所述用户的生理信息获取生理信息变化节点;

根据所述用户的生理信息变化节点确定情感种类变化节点;

相应的,将所述语音信息与所述音效和/或背景音乐合成为目标音频信息包括:

获取所述情感种类变化节点对应的时间节点;

根据所述时间节点将所述语音信息分段;

将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。

进一步的,于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前,还包括:

建立关于生理信息与情感种类的对应关系的数据列表;

相应的,根据所述用户的生理信息确定与之对应的情感种类包括:

根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。

进一步的,于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前,还包括:

建立关于情感种类与音效和/或背景音乐的对应关系的数据库;

相应的,获取与所述情感种类相匹配的音效和/或背景音乐包括:

在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。

第二方面,本发明实施例还提供了一种用于可穿戴设备的语音处理装置,该装置包括:

第一获取模块,用于于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息;

确定模块,用于根据所述用户的生理信息确定与之对应的情感种类;

第二获取模块,用于获取与所述情感种类相匹配的音效和/或背景音乐;

合成模块,用于将所述语音信息与所述音效和/或背景音乐进行合成。

进一步的,所述确定模块包括:

节点获取单元,用于根据所述用户的生理信息获取生理信息变化节点;

分段单元,用于根据所述生理信息变化节点对所述生理信息进行分段;

种类获取单元,用于获取每一段生理信息对应的情感种类;

相应的,所述第二获取模块具体用于:

获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。

进一步的,所述确定模块具体用于:

根据所述用户的生理信息获取生理信息变化节点;

根据所述用户的生理信息变化节点确定情感种类变化节点;

相应的,所述合成模块具体用于:

获取所述情感种类变化节点对应的时间节点;

根据所述时间节点将所述语音信息分段;

将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。

进一步的,还包括:

列表建立模块,用于建立关于生理信息与情感种类的对应关系的数据列表;

相应的,所述确定模块具体用于:

根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。

进一步的,还包括:

数据库建立模块,用于建立关于情感种类与音效和/或背景音乐的对应关系的数据库;

相应的,所述第二获取模块具体用于:

在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。

本发明实施例通过于可穿戴设备处于佩戴状态时,获取语音信息以及通过可穿戴设备采集用户的生理信息;根据用户的生理信息确定与之对应的情感种类;获取与情感种类相匹配的音效和/或背景音乐;将语音信息与音效和/或背景音乐进行合成,能够在录音过程中,自动匹配音效库中的音效和/或背景音乐。

附图说明

图1是本发明实施例一中的一种用于可穿戴设备的语音处理方法的流程图;

图2是本发明实施例二中的一种用于可穿戴设备的语音处理方法的流程图;

图3是本发明实施例三中的一种用于可穿戴设备的语音处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种用于可穿戴设备的语音处理方法的流程图,本实施例可适用于用于可穿戴设备的语音处理的情况,该方法可以由本发明实施例提供的用于可穿戴设备的语音处理装置来执行,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何需要语音处理的终端设备中,如图1所示,该方法具体包括如下步骤:

s110,于可穿戴设备处于佩戴状态时,获取语音信息以及通过可穿戴设备采集用户的生理信息。

其中,确定可穿戴设备处于佩戴状态可以通过采集可穿戴设备上的心率传感器获得,例如,若采集到心率曲线,则说明用户正在佩戴可穿戴设备。也可以通过皮肤电传感器获得,例如,若采集到电流,则说明用户正在佩戴可穿戴设备。本发明实施例对此不进行限制。

其中,获取语音信息的方式可以为通过麦克风采集用户的声音数据。所述麦克风可以为可穿戴设备上的麦克风,也可以为其他智能终端上的麦克风,所述其他终端设备能够与可穿戴设备进行数据传输。例如,其他终端设备上的麦克风获取语音信息,并将获取的语音信息发送至可穿戴设备。或者可以为直接通过可穿戴设备上的麦克风获取语音信息。

其中,所述可穿戴设备可以为智能手表;可穿戴设备通过心率传感器、运动传感感器采集用户的生理信息;运动传感器可以为加速度传感器。

其中,所述生理信息为用户的体征数据根据时间的变化曲线,用户的体征数据可以为心率、呼吸率和血压等。

具体的,在用户佩戴可穿戴设备时,通过可穿戴设备上的传感器采集用户的生理信息。

s120,根据用户的生理信息确定与之对应的情感种类。

其中,所述情感种类可以分为快乐、狂喜、愤怒、悲伤、恐惧、绝望、暴怒等。

其中,根据用户的心率、呼吸率以及血压等可以确定用户的情感种类,例如,一般情况下,用户开心的时候,用户的心率会加快,因此可以根据心率的变化情况确定用户的当前的情感种类。

具体的,由于录音员配音时,配音员的情感变化会导致配音员的生理信息发生相应的变化,因此根据配音员的生理信息的变化情况就可以确定用户当时的情感种类。

s130,获取与情感种类相匹配的音效和/或背景音乐。

其中,所述音效就是指由声音所制造的效果,是指为增进场面之真实感、气氛或戏剧讯息,而加于声带上的杂音或声音。所谓的声音则包括了乐音和效果音。包括数字音效、环境音效、mp3音效(普通音效、专业音效)。

其中,所述背景音乐(backgroundmusic,简称bgm),也称配乐,通常是指在电视剧、电影、动画、电子游戏、网站中用于调节气氛的一种音乐,插入于对话之中,能够增强情感的表达,达到一种让观众身历其境的感受。另外,在一些公共场合(如酒吧、咖啡厅、商场)播放的音乐也称背景音乐。

具体的,根据录音员配音时的情感种类,确定录音员配音的音效和/或背景音乐。

s140,将语音信息与音效和/或背景音乐进行合成。

其中,所述语音信息为获取的语音信息,也就是需要录制的语音信息。

其中,所述音效和/或背景音乐为与录制的语音信息相对应的音效和/或背景音乐。

具体的,将语音信息与音效和/或背景音乐进行合成的方式可以为将语音信息按照用户的情感种类进行分段,每一段情感种类对应一种音效和/或背景音乐,将音效和/或背景音乐按照语音信息的长度对应剪切,将剪切后的与每段语音信息相匹配的每段音效和/或背景音乐按照语音信息的时间顺序进行拼接,将语音信息与拼接后的音效和/或背景音乐进行合成;也可以为将语音信息按照用户的情感种类进行分段,每一段情感种类对应一种音效和/或背景音乐,将音效和/或背景音乐按照语音信息的长度对应剪切,将剪切后的与每段语音信息相匹配的每段音效和/或背景音乐与每段语音信息进行合成,将合成后的语音按照语音信息的时间顺序进行拼接。

具体的,将语音信息与和语音信息相匹配的音效和/或背景音乐进行合成。例如可以是,若某一段录制的语音信息时用户的情感种类为快乐,则将背景音乐设置为欢快的乐曲,若之后某一段录制的语音信息时用户的情感种类为悲伤,则将背景音乐设置为悲伤的曲调。

可选的,于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前,还包括:

建立关于生理信息与情感种类的对应关系的数据列表;

相应的,根据所述用户的生理信息确定与之对应的情感种类包括:

根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。

可选的,于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息之前,还包括:

建立关于情感种类与音效和/或背景音乐的对应关系的数据库;

相应的,获取与所述情感种类相匹配的音效和/或背景音乐包括:

在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。

可选的,根据所述用户的生理信息确定与之对应的情感种类包括:

根据所述用户的生理信息获取生理信息变化节点;

根据所述用户的生理信息变化节点确定情感种类变化节点;

其中,所述情感种类变化节点为用户的情感种类发生变化的节点,例如在节点a之前,用户的情感种类为开心,在节点a之后,用户的情感种类为悲伤。

相应的,将所述语音信息与所述音效和/或背景音乐合成为目标音频信息包括:

获取所述情感种类变化节点对应的时间节点;

具体的,根据情感种类变化节点获取与所述节点对应的时间节点。

根据所述时间节点将所述语音信息分段;

具体的,根据时间节点将用户录制的语音信息进行分段。

将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。

具体的,先将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成,然后将合成的语音进行叠加。

本实施例的技术方案,通过于可穿戴设备处于佩戴状态时,获取语音信息以及通过可穿戴设备采集用户的生理信息;根据用户的生理信息确定与之对应的情感种类;获取与情感种类相匹配的音效和/或背景音乐;将语音信息与音效和/或背景音乐进行合成,能够在录音过程中,自动匹配音效库中的音效和/或背景音乐。

实施例二

图2为本发明实施例二中的一种用于可穿戴设备的语音处理方法的流程图,本实施例以前述实施例一为基础进行优化,提供了优选的用于可穿戴设备的语音处理方法,具体是,根据所述用户的生理信息确定与之对应的情感种类包括:根据所述用户的生理信息获取生理信息变化节点;根据所述生理信息变化节点对所述生理信息进行分段;获取每一段生理信息对应的情感种类;相应的,获取与所述情感种类相匹配的音效和/或背景音乐包括:获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。

相应的,本实施例的方法具体包括如下步骤:

s210,于可穿戴设备处于佩戴状态时,获取语音信息以及通过可穿戴设备采集用户的生理信息。

s220,根据用户的生理信息获取生理信息变化节点。

其中,所述生理信息变化节点为根据用户的生理信息确定的相邻数据之间的差值大于预设差值的时间点,例如可以是,若用户在2:00的时候的心率数值为a,在2:01的时候的的心率数值为b,b与a的差值大于预设差值,则将b点作为生理信息变化节点。

可选的,所述生理信息变化节点为情感种类变化节点。例如可以是,若用户在2:00的时候的心率数值为b,b与a的差值大于预设差值b之前相距时间最短的心率数值的差值大于预设差值,则将b点作为生理信息变化节点,所述b点也为情感种类变化节点,也就是说用户在b点之前为一钟情感,在b点之后为另一种情感。

s230,根据生理信息变化节点对生理信息进行分段。

其中,所述生理信息为用户的体征数据根据时间的变化曲线。

具体的,根据生理信息变化节点将生理信息分为至少一段,例如可以是,若用户在2:00的时候的心率数值为b,b与b之前相距时间最短的心率数值的差值大于预设差值,则将b点作为生理信息变化节点,根据b点,将用户的心率变化曲线分段,在b点之前为一段,在b点之后为一段,若在b点后还有生理信息变化节点c点,则将在b点之前为一段,在b点之后到c点之前看作为一段,在c点之后为一段。

s240,获取每一段生理信息对应的情感种类。

具体的,根据每一段生理信息确定每一段生理信息对应的情感种类。

具体的,对每一段生理信息进行分析,确定每一段生理信息对应的情感种类。

s250,获取与每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。

具体的,根据每一段生理信息对应的情感种类获取与所述情感种类相匹配的音效和/或背景音乐。

s260,将语音信息与音效和/或背景音乐进行合成。

本发明实施例的应用场景为录音员配音时,一般会带上耳机,在耳机上内置传感器,在录音过程中,可实时监测录音员的心率、血压、皮肤电等生理信号,获取生理信号所对应的情感信息,根据情感信息,自动匹配音效库中的音效/背景音乐,使语音配乐的后期制作更准确,更高效。录音员也可以佩戴智能手表,根据智能手表所识别的情感信号,在录音过程中,自动匹配音效库中的音效/背景音乐。

在一个具体的例子中,录音员佩戴耳机/智能手表,开启生理信号检测功能,开始录音。在录音过程中,实时检测录音员的生理信号,根据生理信号与人类情感的映射关系,获取录音员的情感信息。根据录音员的情感变化的起伏,综合判断出相应篇幅、段落的语音信息对应的情感特点。根据情感特点,从音效库中,自动调取相应的音效/背景音乐。技术人员可根据调取的音效/背景音乐,选择一键合成语音(录制的语音+音效库音效)。

本发明实施例在录音员配音时,且佩戴可穿戴设备时,在录音过程中,可通过可穿戴设备实时监测录音员的心率、血压、皮肤电等生理信号,获取生理信号所对应的情感信息,根据情感信息,自动匹配音效库中的音效/背景音乐,使语音配乐的后期制作更准确,更高效。

本实施例的技术方案,通过于可穿戴设备处于佩戴状态时,获取语音信息以及通过可穿戴设备采集用户的生理信息,根据用户的生理信息获取生理信息变化节点,根据生理信息变化节点对生理信息进行分段,获取每一段生理信息对应的情感种类,获取与每一段生理信息对应的情感种类相匹配的音效和/或背景音乐,将语音信息与音效和/或背景音乐进行合成,能够在录音过程中,自动匹配音效库中的音效和/或背景音乐。

实施例三

图3为本发明实施例三的一种用于可穿戴设备的语音处理装置的结构示意图。本实施例可适用于用于可穿戴设备的语音处理的情况,该装置可采用软件和/或硬件的方式实现,该装置可集成在任何提供语音处理功能的设备中,如图3所示,所述用于可穿戴设备的语音处理装置具体包括:第一获取模块310、确定模块320、第二获取模块330和合成模块340。

其中,第一获取模块310,用于于可穿戴设备处于佩戴状态时,获取语音信息以及通过所述可穿戴设备采集用户的生理信息;

确定模块320,用于根据所述用户的生理信息确定与之对应的情感种类;

第二获取模块330,用于获取与所述情感种类相匹配的音效和/或背景音乐;

合成模块340,用于将所述语音信息与所述音效和/或背景音乐进行合成。

可选的,所述确定模块包括:

节点获取单元,用于根据所述用户的生理信息获取生理信息变化节点;

分段单元,用于根据所述生理信息变化节点对所述生理信息进行分段;

种类获取单元,用于获取每一段生理信息对应的情感种类;

相应的,所述第二获取模块具体用于:

获取与所述每一段生理信息对应的情感种类相匹配的音效和/或背景音乐。

可选的,所述确定模块具体用于:

根据所述用户的生理信息获取生理信息变化节点;

根据所述用户的生理信息变化节点确定情感种类变化节点;

相应的,所述合成模块具体用于:

获取所述情感种类变化节点对应的时间节点;

根据所述时间节点将所述语音信息分段;

将每一段语音信息与所述每一段语音信息对应的音效和/或背景音乐进行合成以及按照时间顺序进行叠加。

可选的,还包括:

列表建立模块,用于建立关于生理信息与情感种类的对应关系的数据列表;

相应的,所述确定模块具体用于:

根据所述用户的生理信息在所述数据列表中查找与之对应的情感种类。

可选的,还包括:

数据库建立模块,用于建立关于情感种类与音效和/或背景音乐的对应关系的数据库;

相应的,所述第二获取模块具体用于:

在所述数据库中查找与所述情感种类相匹配的音效和/或背景音乐。

本实施例的技术方案,通过于移动终端处于锁屏界面时,接收对锁屏界面控制人选项的触发请求;发送解密请求至锁屏界面控制人选项对应的控制人的移动终端;接收控制人的移动终端发送的解密指令;控制移动终端解锁,能够在保证移动终端安全性的前提下解决使用不便捷的问题。

上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。

注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1