电子装置及其控制方法与流程

本公开涉及一种电子装置及其控制方法，并且更具体地，涉及一种能够重构音频的声音质量的电子装置及其控制方法。

背景技术：

人工智能(ai)系统是一种实现人类级别智能的计算机系统，更是一种机器学习、判断和变得智能的系统，并且不同于现有的基于规则的智能系统。随着人工智能系统使用的改进，可以更准确地执行识别率和对用户喜好的理解或预测。如此，现有的基于规则的智能系统正在被基于深度学习的ai系统代替。

ai技术包括机器学习(例如，深度学习)和利用机器学习的基本技术。

机器学习是能够分类或学习输入数据特征的算法技术。元素技术(elementtechnology)是使用机器学习算法(诸如深度学习)的技术。机器学习由诸如语言理解、视觉理解、推理、预测、知识表示、运动控制等技术领域组成。

其中应用人工智能技术的各个领域如下所示。语言理解是用于识别、应用和/或处理人类的语言或字符的技术，并且包括自然语言处理、机器翻译、对话系统、查询和应答、语音识别或合成等等。视觉理解是用于如人类视觉一样识别和处理对象的技术，包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像改进等等。推断预测是用于判断以及逻辑推断和预测信息的技术，包括基于知识和基于概率的推断、优化预测、基于偏好的计划、推荐等等。知识表示是用于将人类经验信息自动化为知识数据的技术，包括知识构建(数据生成或分类)、知识管理(数据利用)等等。运动控制是用于控制车辆的自主运行和机器人的运动的技术，包括运动控制(导航、碰撞、驾驶)、操作控制(行为控制)等等。

随着硬件技术和计算机能力的发展使得大数据收集和存储成为可能，并且用于对其进行分析的技术变得更加智能并加速发展，近来已经对机器学习进行了积极的研究，机器学习是一种能够像人一样识别对象并理解信息的算法。特别地，在机器学习技术领域，已经使用神经网络对自主学习方案中的深度学习进行了积极的研究。

神经网络是一种算法，其用于通过将激活函数与通过将多个输入乘以权重获得的和的特定边界值进行比较来确定最终输出，此算法基于积极模仿人脑功能的意图并且通常由多个层构成。代表性示例包括广泛用于图像识别的卷积神经网络(cnn)、广泛用于语音识别的递归神经网络(rnn)等。

本公开提供了一种使用神经网络学习音频数据并重构受损音频数据的方法。当压缩或传输音频信号时，为了实现有效压缩或传输，某些频带的音频信号可能会丢失。与丢失之前的音频信号相比，其中丢失了某个频带中的数据的音频信号可能已经降低了音质或改变了音调。

汽车是其中主要消费音乐的典型场所，但是由于压缩/降级声源的广泛使用，用户不得不收听音质普遍降级的音乐。

因此，如果要将包括丢失频带的音频信号重现为接近具有高音质的原始声音，则需要有效地重构丢失频带中的音频信号。

技术实现要素：

技术问题

本公开提供了一种电子装置及其控制方法，其中在该电子装置中执行有效的重构，使得用户即使在压缩或降级的声源中也可以享受高质量的声音。

技术方案

根据一个实施例的电子装置包括：存储器，其用于存储分别在多个卷积神经网络(cnn)中训练的多个滤波器；以及处理器，其配置成获取对应于受损音频信号的第一频谱图，将第一频谱图输入到对应于每个频带的cnn，以分别应用在多个cnn中训练的多个滤波器，通过合并其中应用了多个滤波器的cnn的输出值来获取第二频谱图，以及获取基于第二频谱图重构的音频信号。

多个cnn包括其中输入第一频带的第一频谱图的第一cnn和其中输入第二频带的第一频谱图的第二cnn，多个滤波器包括在第一cnn中训练的第一滤波器和第二滤波器以及在第二cnn中训练的第三滤波器和第四滤波器，可以基于第一频带训练第一滤波器和第三滤波器并且基于第二频带训练第二滤波器和第四滤波器，并且处理器配置成通过合并其中应用了第一滤波器的第一cnn的输出值和其中应用了第三滤波器的第二cnn的输出值来获取对应于第一频带的第二频谱图，以及通过合并其中应用了第二滤波器的第一cnn的输出值和其中应用了第四滤波器的第二cnn的输出值来获取对应于第二频带的第二频谱图。

处理器配置成以帧为单位识别第一频谱图，以预定数量对当前帧和前一帧进行分组来将分组后的帧输入到对应于每个频带的cnn中，并通过分别合并cnn的输出值来获取重构的当前帧。

多个cnn可以包括在第一cnn层中，并且处理器配置成通过将第一cnn层的输出值输入到包括多个其它cnn的第二cnn层来获取第二频谱图，并且包括在第二cnn层中的滤波器的尺寸不同于包括在第一cnn层中的滤波器的尺寸。

处理器配置成通过将第一频谱图分别按照其中应用多个滤波器的频带输入到sigmoid门，并且通过将从所述sigmoid门输出的第一频谱图按照频带合并来获取第二频谱图。

电子装置还可以包括输入器，并且处理器配置成基于时间和频率将通过输入器输入的受损音频信号转换成第一频谱图，并且通过基于时间和幅度将第二频谱图逆转换成音频信号来获取重构的音频信号。

处理器配置成通过获取第一频谱图中的幅度分量并通过频带输入到相应的cnn来获取补偿幅度分量，以及通过组合第一频谱图的相位分量和补偿幅度分量来获取第二频谱图。

处理器配置成将第一频谱图的频带中大于或等于预定幅度的频带输入到相应的cnn。

处理器配置成通过频带将第一频谱图归一化并输入到相应的cnn，对第二频谱图进行去归一化，以及基于去归一化的第二频谱图获取重构的音频信号。

根据一个实施例，一种控制电子装置的方法包括：获取对应于受损音频信号的第一频谱图，将第一频谱图输入到对应于每个频带的cnn，将分别在对应于每个频带的cnn中训练的多个滤波器应用于输入的第一频谱图，通过合并其中应用了多个滤波器的cnn的输出值来获取第二频谱图，以及获取基于第二频谱图重构的音频信号。

多个cnn可以包括其中输入第一频带的第一频谱图的第一cnn和其中输入第二频带的第一频谱图的第二cnn，多个滤波器可以包括在第一cnn中训练的第一滤波器和第二滤波器以及在第二cnn中训练的第三滤波器和第四滤波器，可以基于第一频带训练第一滤波器和第三滤波器并且基于第二频带训练第二滤波器和第四滤波器，获取第二频谱图可以包括：通过合并其中应用了第一滤波器的第一cnn的输出值和其中应用了第三滤波器的第二cnn的输出值来获取对应于第一频带的第二频谱图，以及通过合并其中应用了第二滤波器的第一cnn的输出值和其中应用了第四滤波器的第二cnn的输出值来获取对应于第二频带的第二频谱图。

输入可以包括以帧为单位识别第一频谱图，以预定数量对当前帧和前一帧进行分组来将分组后的帧输入到对应于每个频带的cnn中，并且获取第二频谱图可以包括通过分别合并cnn的输出值来获取重构的当前帧。

多个cnn可以包括在第一cnn层中，并且获取第二频谱图可以包括通过将第一cnn层的输出值输入到包括多个其它cnn的第二cnn层来获取第二频谱图，并且其中包括在第二cnn层中的滤波器的尺寸不同于包括在第一cnn层中的滤波器的尺寸。

获取第二频谱图可以包括通过将第一频谱图分别按照其中应用多个滤波器的频带输入到sigmoid门，以及通过将从所述sigmoid门输出的第一频谱图按照频带合并来获取第二频谱图。

控制方法可以包括接收受损音频信号，基于时间和频率将输入音频信号转换成第一频谱图，以及通过基于时间和幅度将第二频谱图逆转换成音频信号来获取重构的音频信号。

输入可以包括获取第一频谱图中的幅度分量，并通过频带输入到相应的cnn中，并且获取第二频谱图可以包括通过将第一频谱图的相位分量与cnn补偿的幅度分量进行组合来获取第二频谱图。

输入可以包括将第一频谱图的频带中大于或等于预定幅度的频带输入到相应的cnn。

方法还可以包括通过频带将第一频谱图归一化并输入到相应的cnn，对第二频谱图进行去归一化，以及基于去归一化的第二频谱图获取重构的音频信号。

一种非暂态性计算机可读介质，其中存储有由电子装置的处理器执行的计算机指令以执行方法，该方法包括：获取对应于受损音频信号的第一频谱图，将第一频谱图输入到对应于每个频带的卷积神经网络(cnn)，将分别在对应于每个频带的cnn中训练的多个滤波器应用于输入的第一频谱图，通过合并其中应用了多个滤波器的cnn的输出值来获取第二频谱图，以及获取基于第二频谱图重构的音频信号。

发明效果

根据各种实施例，即使由于压缩而降级的声源也可以使得用户能够享受原始声音级别的声音，并且可以减少由于高带宽数据传输而造成的无线电资源浪费。

附图说明

图1是简要地示出根据实施例的电子装置的配置的框图；

图2是示出根据实施例的受损音频信号的频谱图的视图；

图3是示出根据实施例将受损音频信号转换成频谱图格式的过程的视图；

图4是示出根据实施例将受损音频信号的频谱图通过每个频带的数据划分的视图；

图5是示出根据实施例使用cnn重构受损音频信号的方法的视图；

图6和图7是示出根据另一个实施例使用cnn重构受损音频的方法的视图；

图8是示出根据实施例的设计用于重构受损音频信号的cnn的方法的视图；以及

图9是描述根据实施例的用于控制电子装置的方法的流程图。

具体实施方式

在指定实施例之前，将描述本公开和附图的起草方法。

本说明书和权利要求中使用的术语是考虑到本公开的各种实施例的功能而标识的一般术语。然而，这些术语可以根据相关领域技术人员的意图、法律或技术解释、新技术的出现等等而变。另外，可以存在由申请人任意标识的一些术语。除非存在术语的具体定义，否则可以基于整体内容和相关领域技术人员的技术常识来解释术语。

此外，相似的附图标记指示贯穿说明书的基本上执行相同功能的相似组件。为便于描述和理解，不同的实施例中使用并描述相同的附图标记或符号。换句话说，尽管具有相同附图标记的元件在多个图中全部示出，但多个图并不意味着一个实施例。

诸如“第一”、“第二”等术语可以用于描述各种元件，但是元件不应受这些术语的限制。术语仅用于区分不同元件的目的。例如，与序数相关联的元件不应受数字顺序或使用顺序限制。如果必要，各序数可以彼此替代。

除非另外说明，否则单数措辞包括复数措辞。应理解，诸如“包括(comprise)”、“包含(include)”或“由……组成(consistof)”的术语在本文中用来指定存在特性、数字、步骤、操作、元件、组件或其组合，并且不排除存在其他特性、数字、步骤、操作、元件、组件或其组合中的一个或多个或者添加特性、数字、步骤、操作、元件、组件或其组合中的一个或多个的可能性。

诸如“模块”、“单元”、“部分”等术语用来指代执行至少一个功能或操作的元件，并且此类元件可以实施为硬件或软件或者硬件和软件的组合。此外，除了多个“模块”、“单元”、“部分”等中的每一个需要在单独硬件中实现的情况以外，组件可以集成在至少一个模块或芯片中并且可以在至少一个处理器(未示出)中实现。

另外，当任何部件连接到另一个部件时，这包括直接连接和通过另一个介质的间接连接。此外，当某一部分包括某一元件时，除非指明相反的情况，否则这意味着可以另外包括另一个元件，而不是排除另一个元件。

在下文中，将参考附图更详细地描述实施例。

图1是简要地示出根据实施例的电子装置的配置的框图。

参考图1，根据实施例的电子装置100包括存储器110和处理器120。

电子装置100可以实现为电子装置，诸如智能手机、平板个人计算机(pc)、汽车音频、诸如mp3播放器的音频专用播放器、个人数字助理(pda)等。电子装置100可以实现为能够再现音频的各种电子装置。

存储器110可以存储多个卷积神经网络(cnn)模型和在多个cnn模型的每一个模型中训练的多个滤波器。

cnn模型可以设计成在计算机上模拟人脑结构，并且可以包括模拟人类神经网络的神经元并具有权重的多个网络模式。多个网络节点可以各自建立连接关系，使得神经元模拟通过突触(synapse)发送和接收信号的突触活动。在学习cnn模型时，多个网络节点位于不同的深度(或层)处，并且可以根据卷积连接关系交换数据。例如，除了cnn之外，学习模型可以包括递归神经网络(rnn)和双向递归深层神经网络(brdnn)，但不限于此。

过滤器是具有权重的掩码，其定义为数据矩阵，并且可以称之为窗口或内核。

例如，可以将滤波器应用于输入到cnn的输入数据，并且可以将通过将输入数据分别乘以滤波器而获得的值的总和(卷积运算)确定为输出数据(特征映射)。可以通过多个过滤器将输入数据提取成多个数据，并且可以根据过滤器的数量导出多个特征映射。可以由形成多个层的多个cnn重复进行此种卷积操作。

如上所述，通过组合能够提取不同特征的多个滤波器并将这些滤波器应用到输入数据中，可以确定输入的原始数据包括哪个特征。

每个层可能具有多个cnn，并且可以单独存储在每个cnn中训练或学习的滤波器。

处理器120配置成控制电子装置100的整体操作。处理器120配置成获取对应于受损音频信号的频谱图，并且通过将在多个cnn中训练的多个滤波器应用于所获取的频谱图来输出重构的音频信号。

具体地，处理器120获取对应于受损音频信号的第一频谱图。如图2所示，处理器120可以将受损音频信号的波形转换成由时间和频率表示的第一频谱图。第一频谱图表示受损音频信号的频率和幅度随时间的变化。

处理器120可以基于修改的离散余弦变换(mdct)和修改的离散正弦变换(mdst)执行受损音频信号的变换，并且可以使用正交镜像滤波器(qmf)将受损音频信号表示为频谱图数据。

图3的(a)和(b)示出了音频信号(原始声音)被损坏之前的频谱图和由于压缩等原因而受损的音频信号的频谱图。

如图3的(b)所示，压缩音频包括由于压缩引起的信号失真，诸如前回声(前向回声)和后回声、瞬时失真、谐波失真、量化噪声和其它。特别地，经常在高频区域产生这些信号。

处理器120将第一频谱图输入到每个频带的相应的cnn。然而，考虑到cnn和音频信号的特征，处理器120可以从第一频谱图中提取幅度分量和相位分量，并且仅将提取的幅度分量输入到每个频带的相应的cnn。也即，受损音频信号的重构是相对于幅度进行的，并且可以原样使用受损音频信号的相位。

处理器120可以基于频率和时间使用cnn(频率-时间相关的cnn(ftd-cnn))来执行压缩音频的幅度分量的重构。

图4是示出根据实施例将受损音频信号的频谱图通过每个频带的数据划分的视图。

处理器120可以通过频带(第一频带到第n频带)划分预定时区的第一频谱图，以预定时间间隔的帧单位识别第一频谱图，并且通过帧单位将第一频谱图划分为第一帧到第k帧。也即，将第一帧到第k帧分组为输入到cnn的单位，并且一个组可以形成k个时隙。这里，第一频谱图的第k帧对应于要重构的当前帧。

处理器120可以对第一频谱图的整个频带的幅度分量执行重构，或者可以将第一频谱图的频带中仅与预定幅度以上的频带(高频带)相对应的数据输入到cnn，并且将与预定幅度以下的频带(低频带)相对应的数据保持不重构。

处理器120可以对于每个频带相对于输入到每个cnn的第一频谱图应用存储在存储器110中的多个滤波器，并且通过合并其中应用了多个滤波器的每个cnn的输出值来获取第二频谱图。

处理器120基于如上所示获取的第二频谱图获取重构的音频信号。

图5是示出根据实施例使用cnn重构受损音频信号的方法的视图。

如图5所示，在划分的频带中，对应于第一频带到第k频带的频谱图的数据可以分别输入到形成第一层的第一cnn到第kcnn的每一个cnn。

也即，第一频带的频谱图输入到第一cnn，并由对应于第一cnn的预训练滤波器11至1k进行滤波。类似地，第二频带的频谱图输入到第二cnn，并由对应于第二cnn的预训练滤波器21至2k进行滤波。通过这个过程，第k频带的频谱图输入到第kcnn，并由对应于第kcnn的预训练滤波器k0至kk进行滤波。

如上所述，在每个cnn中，将对应于划分频带的数量(k)的滤波器的数量应用于每个频带的频谱图。这里，每个cnn的滤波器11、21至k1是基于第一频带训练的滤波器，以及滤波器12、22至k2是基于第二频带训练的滤波器。类似地，每个cnn的滤波器1k、2k至kk指的是基于第k频带训练的滤波器。此外，每个过滤器具有相同的尺寸。

可以基于整个频带的结果来执行滤波器的学习。例如，通过将11、21…、和k1的结果相加而生成的第一频带的频谱图和组合通过将1k、2k、和kk的结果相加而生成的第k频带的频谱图的结果进行组合，可以确定滤波器值。如果以这种方式确定滤波器值，则可以在时间轴上考虑相邻频谱，并且可以考虑整个频带来执行信号生成。因此，根据实施例，可以考虑全局频率关系来处理本地时间关系。

虽然在附图中省略，但是可以通过多个层执行过滤过程，诸如第二层和第三层，其方式与第一层相同。也即，通过堆叠多个层来配置最终网络，可以基于整个层的结果在最小化期望目标频谱和处理频谱之间的误差的方向上训练预定义滤波器中的每个预定义滤波器。

处理器120可以通过合并输出值来获取对应于第一频带的第二频谱图，其中在输出值中，通过基于第一频带训练的滤波器11到k1对每个cnn中的第一频带到第k频带的频谱图进行滤波。

类似地，处理器120可以通过合并输出值来获取对应于第二频带的第二频谱图，其中在输出值中，通过由第二频带训练的滤波器12到k2对每个cnn中的第一频带到第k频带的频谱图进行滤波。

处理器120可以通过合并输出值来获取对应于第k频带的第二频谱图，其中在输出值中，通过基于第k频带训练的滤波器1k至kk对每个cnn中的第一频带到第k频带的频谱图进行滤波。

处理器120可以相应地获取对应于整个频带的第二频谱图。

根据实施例，通过对第一频谱图执行填充，第二频谱图可以具有与第一频谱图相同的幅度。

由于省略了填充操作，第二频谱图可以具有比第一频谱图更小的幅度。例如，如果第一频谱图的幅度是8，也即，当第一频谱图由8个帧组成时，如果滤波器的大小是2，则第二频谱图的幅度变成“7”。如果应用了填充，则第二频谱图的幅度保持为“8”。

如图6所示，可以将sigmoid函数应用于从多个cnn的每个层输出的结果值或者从最终层输出的结果值(特征映射)。为此目的，如图6所示，可以附加地包括sigmoid门，其中由每个滤波器过滤的输出值被输入到每个层或最终层中的每个cnn的末端。sigmoid门可以设置在每个端子处，其中输出值由应用在多个层的每个cnn处的滤波器通过该端子输出。

根据图7的另一个实施例，可以将l个滤波器应用于每个频带的频谱图，而不是在每个cnn中划分的k个频带。在这种情况下，输出的第二频谱图可以是其中频率扩展到l频带的数据。

图8是示出根据实施例的设计用于重构受损音频信号的cnn的方法的视图。

如图8所示，处理器120对受损音频信号的频谱图(第一频谱图)执行归一化，并提取其中对其执行归一化的第一频谱图中的幅度分量。处理器120可以将对应于提取的第一频谱图的幅度分量的输入数据输入到由至少一个cnn组成的多个cnn层中。

根据图8，输入数据可以通过多个cnn层。多个cnn层中的第一层81和第二层82通过填充保持输入数据的幅度，以及第三层83可以将通过第二层82的输入数据的幅度减少到6。第四层84可以将通过第三层83的输入数据的大小减小到4。第五层85可以将通过第四层84的输入数据的大小减小到2，以及第六层86可以将通过第五层85的输入数据的大小减小到1。

也即，由多个cnn层应用于输入数据的滤波器的大寸彼此不同，并且多个cnn层可以设置成使得大寸为1的输出数据最终被输出。

处理器120可以对通过多个cnn层的输出数据进行去归一化，以获取对应于幅度分量的输入数据的重构数据。当对输入数据执行归一化时，处理器120可以使用存储的归一化信息对输出数据执行去归一化。

图9是描述根据实施例的用于控制电子装置的方法的流程图。

在操作s910中，获取对应于受损音频信号的第一频谱图。可以输入受损音频信号，并且可以基于时间和频率将输入的音频信号转换成第一频谱图。

此后，在操作s920中，对于每个频带，将第一频谱图输入到相应的cnn。以帧为单位识别第一频谱图，并且当前帧和预定数量的先前帧被分组并输入到每个频带的相应的cnn。此外，可以在第一频谱图中获取幅度分量，并将其输入到每个频带的相应的cnn。可以将第一频谱图的频带中大于或等于预定幅度的频带输入到相应的cnn。

在操作s930中，将在cnn中对应于每个频带的每个cnn中训练的多个滤波器应用于输入的第一频谱图。

在操作s940中，合并其中应用了多个滤波器的每个cnn的输出值以获取第二频谱图。此时，可以合并每个cnn的输出值以获取重构的当前帧。根据实施例，将其中应用了多个滤波器的每个频带的第一频谱图输入到sigmoid门，并且可以合并从sigmoid门输出的每个频带的第一频谱图以获取第二频谱图。也可以通过组合第一频谱图的相位分量和由cnn补偿的幅度分量获取第二频谱图。

在操作s950中，基于第二频谱图获取重构的音频信号。此时，可以基于时间和幅度将第二频谱图逆变换成音频信号，以获取重构的音频信号。

根据如上所述的各种实施例，即使由于压缩而降级的声源也可以使得用户能够享受原始声音级别的声音，并且可以减少由于高带宽数据传输而造成的无线电资源浪费。因此，可以充分利用用户拥有的音频设备。

根据上述各种实施例的控制方法可以实现为程序并存储在各种记录介质中。也即，可以以存储在记录介质中的状态使用计算机程序，计算机程序可以由各种处理器处理以执行上述各种控制方法。

作为示例，可以提供一种在其中存储程序的非暂态性计算机可读介质，该程序用于执行以下步骤：获取对应于受损音频信号的第一频谱图，针对每个频带将第一频谱图输入到对应的cnn，应用在cnn中的对应于输入的第一频谱图中的每个频带的每个cnn中训练的多个滤波器，合并其中应用了多个滤波器的每个cnn的输出值以获取第二频谱图，以及基于第二频谱图获取重构的音频信号。

非暂态性计算机可读介质是指半永久性地存储数据而非在很短时间内存储数据的介质，诸如，寄存器、高速缓存器、存储器等，并且可由设备读取。上述各种应用或程序可以存储在非暂态性计算机可读介质中，例如，光盘(cd)、数字多功能盘(dvd)、硬盘、蓝光光盘、通用串行总线(usb)、存储卡、只读存储器(rom)和其它，并且可以提供所述应用或程序。

虽然已参考本公开的各种实施例示出并描述本公开，但是本领域技术人员将理解，在不脱离如由以下权利要求和其等效物所限定的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种改变。