一种基于深度相机的双耳定位及有源降噪方法

本发明属于有源噪声控制的领域，具体涉及有源降噪头枕的双耳定位方法。

背景技术：

1、局部有源噪声控制(anc)系统可以在嘈杂的环境中产生一个相对安静的区域，但这个安静区域的范围往往是有限的。对于单通道控制系统而言，10db静区的直径一般不超过扩散场中声波波长的十分之一。有源降噪头枕是一种广泛应用的局部anc系统，它在人头附近布放次级源扬声器，在人耳周围产生一个安静区域，从而达到降噪的效果弱化，它可以应用于汽车、飞机以及居室等各种场景。但是，当人头移动时人耳往往会偏离这个安静区域，从而导致降噪效果的降低。因此，有必要实时定位双耳的位置，适时切换不同的控制滤波器，从而改变静区位置，以实现人头平动或转动情况下，双耳均在静区范围内的目的，保持较好的降噪效果。

2、为了提高在人头移动情况下有源降噪头枕降噪的鲁棒性，现有技术主要包括以下几种。第一种，基于红外传感器进行人头定位。在飞机座位上安装一个利用红外技术的热成像模块(cheng-yuan chang,chia-tseng chuang,sen m kuo,and chia-hao lin,“multi-functional active noise control system on headrest of airplane seat,”mechanical systems and signal processing,vol.167,pp.108552,2022.)，用于确定乘客头部的位置，然而，通过温度感知实现的定位精度对环境敏感，且受限于传感器的图像分辨率；设计一种基于红外传感器阵列的头部定位系统(rong han,ming wu,chen gong,shangshuai jia,tieli han,hongling sun,and jun yang,“combination of robustalgorithm and head-tracking for a feedforward active headrest,”appliedsciences,vol.9,no.9,pp.1760,2019.)，其实验结果显示，人体处于躺姿时，可以实现头部在一个平面内平动情况下的定位，进而对宽带噪声有效控制，但是，该系统需要的传感器很多，需要多达9个传感器来进行头部定位。第二种，利用可穿戴设备来辅助定位。将两个麦克风附于帽子或者肩带上以使得误差传声器可以随头部运动而移动(santosh kumarbehera,debi prasad das,and bidyadhar subudhi,“head movement immune activenoise control with head mounted moving microphones,”the journal of theacoustical society of america,vol.142,no.2,pp.573–587,2017.)；利用激光多普勒振动计和耳腔附近的轻型反射晶片来实时确定耳朵中的声音(tong xiao,xiaojun qiu,andbenjamin halkon,“ultrabroadband local active noise control with remoteacoustic sensing,”scientific reports,vol.10,no.1,pp.20784,2020.)；然而，以上两种技术需要用户额外佩戴晶片或帽子等物品，在实际应用中并不方便。第三种，利用相机追踪人头位置。如使用kinect相机追踪人头位置，利用获得的人头位置信息，更新远程传感技术中的控制滤波器和观测滤波器(stephen j elliott,woomin jung,and jordan cheer,“head tracking extends local active control of broadband sound to higherfrequencies,”scientific reports,vol.8,no.1,pp.5403,2018.)，该研究关注的声音频率范围为1khz以下，且只能用于人头平动的场合，无法用于人头转动的情况。综上，现有的提高人头移动情况下有源降噪头枕的鲁棒性方法都有一定的局限性：过于复杂或实用性不强。此外，现有的设计方法，主要关注人头平动的情况，较少关注同样重要的人头转动场景。即便是人头平动情况，也仅考虑了二维平面内的运动，没有研究人头在三维空间内的运动。因此，设计一种简单实用的可以解决人头平动以及转动情况，用于有源降噪头枕系统的双耳定位方法具有重要意义。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于深度相机的双耳定位及有源降噪方法，该方法能够在人头平动和转动情况下，实时获取双耳的位置坐标，并基于此进行控制滤波器的更新，从而获得鲁棒的降噪效果。

2、为解决上述技术问题，本发明采用了以下技术方案：一种基于深度相机的双耳定位方法，包括以下步骤：

3、步骤s1，通过深度相机实时采集人体头部姿态的彩色图像和深度图像；

4、步骤s2，基于人体姿态估计神经网络模型对彩色图像进行二维人体姿态估计，得到人体头部关键点在彩色图像中的二维坐标；

5、步骤s3，将所述深度图像与彩色图像进行对齐操作，通过步骤s2得到的人体关键点在彩色图像中的二维坐标，从而得到其在深度图像中的对应的三维坐标；

6、步骤s4，数据后处理：当人体头部关键点出现被遮挡情况时，基于人脸对称性，由未被遮挡的人体头部关键点的三维坐标计算得到被遮挡的人体头部关键点的三维坐标。

7、进一步的，所述人体头部关键点包括双耳、双眼和鼻子5个关键点。

8、进一步的，步骤s4所述数据后处理的具体过程如下：

9、(1)分别计算得到左耳和右耳到鼻子的三维欧氏距离l1和l2，并构建双眼关键点连线的中垂面a；

10、(2)比较l1和l2的大小，数值较小的对应耳朵为被遮挡，未被遮挡的另一只耳朵的关于所述中垂面a的对称点的三维坐标即为被遮挡耳朵的三维坐标。

11、另外，本发明还提供了一种基于上述双耳定位方法的有源降噪方法，还包括以下步骤：

12、步骤s5，数据传输，将步骤s4得到的人体头部关键点的三维坐标通信传输至控制器；

13、步骤s6，所述控制器收到人体头部关键点的三维坐标后，确定与双耳距离最近的空间采样点；

14、步骤s7，所述控制器调用与双耳距离最近的空间采样点处预存的控制滤波器进行降噪。

15、进一步的，步骤s6中与双耳距离最近的空间采样点，是通过计算所有空间采样点与耳朵的三维欧氏距离，并将三维欧氏距离最小值对应的空间采样点作为最近的空间采样点。

16、有益效果：相对于现有技术，本发明提出了一种基于深度相机并结合人体姿态估计神经网络模型进行实时双耳定位的方法，在此基础上设计有源降噪头枕系统，具有简单实用的特点，在人头平动和转动的情况下均可有效提升降噪效果。