用于使用加速度计数据预测声音感知的模型的系统和方法与流程

本发明涉及一种机器学习网络，其包括与带有电驱动机器的设备相关联的机器学习网络。

背景技术：

1、人类对机电系统(ems)——诸如电驱动(ed)、致动器、泵等——产生的声音的感知是影响包含ems的产品的可用性以及客户的产品购买决定的重要特性。通常，人类感知分数是使用来自陪审团测试的人类输入来测量的，在陪审团测试中，要求选定数量的人重复地对声音愉悦度进行评级，或者选择2种声音中的哪一种被感知为“更好”或更愉悦。然而，执行这样的陪审团测试是昂贵的，因为每个声音需要由多人手动判断多次。手动评分的一种替代方案是开发一种自动评分模型，所述模型基于先前看到的标记数据预测人类感知分数。然而，在一些情况下，诸如在装配工厂进行生产线末端(eol)测试，由于记录条件不足(例如高背景噪音)，很难记录产品声音。尽我们所知，当前还没有能够在这样的情况下估计人类感知分数的方法。这里，我们提出了一种基于加速度计数据或其他在eol测试环境中容易记录的模态来估计人类声音感知的虚拟感测方法。

2、大多数当前虚拟感测方法依赖于基于物理的模型，该模型开发麻烦，难以适用于其设计针对的狭窄系统范围之外的使用，并且在其能够学习的传感器之间的关系的复杂性方面受限于当中所实现的传感器。新颖的基于深度学习的方法也已经被开发用于各种虚拟感测应用，诸如声音分离、噪声语音增强等。这些数据驱动的方法是通用的，并且可以学习复杂的数据关系。然而，还没有开发出这样的方法来使用加速度计数据预测人类对声音的感知。

技术实现思路

1、根据第一实施例，一种计算机实现的方法，包括从与设备相关联的一个或多个传感器接收声音信息和振动数据；利用至少振动信息和与振动信息相关联的声音感知分数生成训练数据集，其中所述训练数据集被发送至未训练的机器学习模型；响应于满足未训练的机器学习模型的收敛阈值，输出经训练的机器学习模型；从设备接收实时振动信息；并且基于经训练的机器学习模型和实时振动信息，输出指示与从设备发出的声音相关联的特性的实时声音感知分数。

2、根据第二实施例，一种计算机实现的方法，包括从第一环境中的设备接收第一组声音信息和第一组振动信息；利用至少第一组振动信息和相关联的声音感知分数生成训练数据集，其中所述训练数据集被发送至未训练的机器学习模型；响应于满足未训练的机器学习模型的收敛阈值，输出经训练的机器学习模型；从第二环境中的设备接收实时振动信息；并且基于经训练的机器学习模型和实时振动信息，输出指示与从设备发出的声音相关联的特性的实时声音感知分数。

3、根据第三实施例，一种系统，包括处理器，其中所述处理器被编程为从第一环境中的设备接收声音信息和振动信息；利用至少振动信息和与振动信息的对应声音相关联的声音感知分数生成训练数据集，其中所述训练数据集被馈送到未训练的机器学习模型中；响应于满足未训练的机器学习模型的收敛阈值，输出经训练的机器学习模型；在第二环境中接收来自设备的实时振动信息；并且基于实时振动信息作为经训练的机器学习模型的输入，输出指示与从设备发出的声音相关联的特性的实时声音感知分数。

技术特征：

1.一种计算机实现的方法，包括：

2.根据权利要求1所述的计算机实现的方法，其中仅利用振动信息并最小化由未训练的机器学习模型输出的分数预测误差来训练经训练的机器学习模型。

3.根据权利要求1所述的计算机实现的方法，其中所述经训练的机器学习模型经由间接方法训练，其中机器学习模型的第一神经网络利用声音信息训练，并且第二神经网络利用振动信息训练以预测测量的声音并获得预测的声音；

4.根据权利要求1所述的计算机实现的方法，其中所述训练数据利用从无噪声环境中获得的声音信息和加速度计数据。

5.根据权利要求1所述的计算机实现的方法，其中所述声音感知评分是响应于声音信息而手动生成的。

6.根据权利要求1所述的计算机实现的方法，其中所述振动信息是加速度计数据。

7.根据权利要求1所述的计算机实现的方法，其中所述机器学习模型是u-net或transformer网络。

8.根据权利要求1所述的计算机实现的方法，其中仅利用实时振动信息来生成实时声音感知分数。

9.根据权利要求1所述的计算机实现的方法，其中所述机器学习模型是深度学习网络。

10.一种计算机实现的方法，包括：

11.根据权利要求10所述的计算机实现的方法，其中所述振动数据包括加速度计数据。

12.根据权利要求10所述的计算机实现的方法，其中所述机器学习模型是u-net或transformer网络。

13.根据权利要求10所述的计算机实现的方法，其中仅利用实时振动数据来生成实时声音感知分数。

14.根据权利要求10所述的计算机实现的方法，其中所述机器学习模型是深度学习网络。

15.根据权利要求10所述的计算机实现的方法，其中所述第一环境是实验室环境，并且所述第二环境是生产线末端工厂环境。

16.一种系统，包括：

17.根据权利要求16所述的系统，其中所述振动信息包括三维信息。

18.根据权利要求16所述的系统，其中所述处理器进一步被编程为利用振动信息和声音信息这两者来生成训练数据集。

19.根据权利要求16所述的系统，其中机器学习模型包括用于输出实时声音感知分数的两个或更多个神经网络。

20.根据权利要求16所述的系统，其中所述第一环境和第二环境不是同一环境。

技术总结
用于使用加速度计数据预测声音感知的模型的系统和方法。一种系统，包括处理器，其中所述处理器被编程为从第一环境中的设备接收声音信息和振动信息；利用至少振动信息和与振动信息的对应声音相关联的声音感知分数生成训练数据集，其中所述训练数据集被馈送到未训练的机器学习模型中；响应于满足未训练的机器学习模型的收敛阈值，输出经训练的机器学习模型；在第二环境中接收来自设备的实时振动信息；并且基于实时振动信息作为经训练的机器学习模型的输入，输出指示与从设备发出的声音相关联的特性的实时声音感知分数。

技术研发人员：I·巴塔洛夫,T·阿尔贝尔,F·J·C·孔德萨,F·郎,F·舍恩,C·欧,M·胡贝尔,D·瑙姆金,M·库卡,B·利普奇克,M·博舍特,A·亨克
受保护的技术使用者：罗伯特·博世有限公司
技术研发日：
技术公布日：2024/4/7