电子装置及其控制方法与流程

文档序号:20889516发布日期:2020-05-26 17:48阅读:来源:国知局

技术特征:

1.一种电子装置,其包括:

存储器,其用于存储分别在多个卷积神经网络cnn中训练的多个滤波器;以及

处理器,其配置成:

获取对应于受损音频信号的第一频谱图,

将所述第一频谱图输入到对应于每个频带的cnn,以分别应用在所述多个cnn中训练的所述多个滤波器,

通过合并其中应用了所述多个滤波器的cnn的输出值来获取第二频谱图,以及

获取基于所述第二频谱图重构的音频信号。

2.如权利要求1所述的电子装置,其中

所述多个cnn包括第一cnn和第二cnn,其中第一频带的第一频谱图输入到所述第一cnn,以及第二频带的第一频谱图输入到所述第二cnn,

所述多个滤波器包括在所述第一cnn中训练的第一滤波器和第二滤波器以及在所述第二cnn中训练的第三滤波器和第四滤波器,

基于所述第一频带训练所述第一滤波器和所述第三滤波器,并且基于所述第二频带训练所述第二滤波器和所述第四滤波器,

所述处理器还配置成:

通过合并其中应用了所述第一滤波器的所述第一cnn的输出值和其中应用了所述第三滤波器的所述第二cnn的输出值来获取对应于所述第一频带的第二频谱图,并且通过合并其中应用了所述第二滤波器的所述第一cnn的输出值和其中应用了所述第四滤波器的所述第二cnn的输出值来获取对应于所述第二频带的第二频谱图。

3.如权利要求1所述的电子装置,其中所述处理器还配置成:

以帧为单位识别所述第一频谱图,

以预定数量对当前帧和前一帧进行分组,以将所述分组的帧输入到对应于每个频带的所述cnn,以及

通过分别合并所述cnn的输出值,获取重构的当前帧。

4.如权利要求1所述的电子装置,其中所述多个cnn包括在第一cnn层中,

其中所述处理器还配置成:

通过将所述第一cnn层的输出值输入到包括多个其它cnn的第二cnn层来获取所述第二频谱图,以及

包括在所述第二cnn层中的滤波器的尺寸不同于包括在所述第一cnn层中的滤波器的尺寸。

5.如权利要求1所述的电子装置,其中所述处理器还配置成通过将所述第一频谱图分别按照其中应用所述多个滤波器的频带输入到sigmoid门,并且通过将从所述sigmoid门输出的第一频谱图按照频带合并来获取所述第二频谱图。

6.如权利要求1所述的电子装置,其还包括:

输入器,

其中所述处理器还配置成:

基于时间和频率将通过所述输入器输入的所述受损音频信号转换为所述第一频谱图,以及

通过基于时间和幅度将所述第二频谱图逆变换成音频信号来获取所述重构的音频信号。

7.如权利要求6所述的电子装置,其中所述处理器还配置成通过获取所述第一频谱图中的幅度分量并按照频带输入到相应的cnn来获取补偿幅度分量,以及通过组合所述第一频谱图的相位分量和所述补偿幅度分量来获取所述第二频谱图。

8.如权利要求1所述的电子装置,其中所述处理器配置成将所述第一频谱图的频带中大于或等于预定幅度的频带输入到相应的cnn。

9.如权利要求1所述的电子装置,其中所述处理器还配置成按照频带将所述第一频谱图归一化并输入到相应的cnn,对所述第二频谱图进行去归一化,以及基于所述去归一化的第二频谱图获取所述重构的音频信号。

10.一种控制电子装置的方法,所述方法包括:

获取对应于受损音频信号的第一频谱图;

将所述第一频谱图输入到对应于每个频带的卷积神经网络cnn;

将分别在对应于每个频带的所述cnn中训练的多个滤波器应用于所述输入的第一频谱图;

通过合并其中应用了所述多个滤波器的cnn的输出值来获取第二频谱图;以及

获取基于所述第二频谱图重构的音频信号。

11.如权利要求10所述的方法,其中:

所述多个cnn包括第一cnn和第二cnn,其中第一频带的第一频谱图输入到所述第一cnn,以及第二频带的第一频谱图输入到所述第二cnn,

所述多个滤波器包括在所述第一cnn中训练的第一滤波器和第二滤波器以及在所述第二cnn中训练的第三滤波器和第四滤波器,

基于所述第一频带训练所述第一滤波器和所述第三滤波器,并且基于所述第二频带训练所述第二滤波器和所述第四滤波器,

所述第二频谱图的所述获取包括通过合并其中应用了所述第一滤波器的所述第一cnn的输出值和其中应用了所述第三滤波器的所述第二cnn的输出值来获取对应于所述第一频带的第二频谱图,并且通过合并其中应用了所述第二滤波器的所述第一cnn的输出值和其中应用了所述第四滤波器的所述第二cnn的输出值来获取对应于所述第二频带的第二频谱图。

12.如权利要求10所述的方法,其中所述输入包括以帧为单位识别所述第一频谱图,以预定数量对当前帧和前一帧进行分组,以将所述分组的帧输入到对应于每个频带的所述cnn,

其中所述第二频谱图的获取包括通过分别合并所述cnn的输出值来获取重构的当前帧。

13.如权利要求10所述的方法,其中所述多个cnn包括在第一cnn层中,以及

其中所述第二频谱图的获取包括通过将所述第一cnn层的输出值输入到包括多个其它cnn的第二cnn层来获取所述第二频谱图,以及

其中包括在所述第二cnn层中的滤波器的尺寸不同于包括在所述第一cnn层中的滤波器的尺寸。

14.如权利要求10所述的方法,其中所述第二频谱图的获取包括通过将所述第一频谱图分别按照其中应用所述多个滤波器的频带输入到sigmoid门,并且通过将从所述sigmoid门输出的第一频谱图按照频带合并来获取所述第二频谱图。

15.一种非暂态性计算机可读介质,其中存储有由电子装置的处理器执行的计算机指令以执行方法,所述方法包括:

获取对应于受损音频信号的第一频谱图;

将所述第一频谱图输入到对应于每个频带的卷积神经网络cnn;

将分别在对应于每个频带的所述cnn中训练的多个滤波器应用于所述输入的第一频谱图;

通过合并其中应用了所述多个滤波器的所述cnn的输出值来获取第二频谱图;以及

获取基于所述第二频谱图重构的音频信号。


技术总结
本文公开了一种电子装置。所述电子装置包括:存储器,其用于存储分别在多个卷积神经网络(CNN)中训练的多个滤波器;以及处理器,其配置成获取对应于受损音频信号的第一频谱图,将所述第一频谱图输入到对应于每个频带的CNN,以分别应用在所述多个CNN中训练的所述多个滤波器,通过合并其中应用了所述多个滤波器的所述CNN的输出值来获取第二频谱图,以及获取基于所述第二频谱图重构的音频信号。

技术研发人员:朱基岘;A.波洛夫;郑钟勋;成昊相;吴殷美;柳宗烨
受保护的技术使用者:三星电子株式会社
技术研发日:2018.07.19
技术公布日:2020.05.26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1