一种基于超声波声学的物体检测和分类方法与流程
本发明涉及物体的检测和分类在计算机科学领域和安全领域的应用，具体而言，涉及一种基于超声波声学的物体检测和分类方法。
背景技术：
物体和材料的分类器材对于实现与数字设备的日常近距离交互的新方法非常重要。设想一个移动设备(例如智能手机)与房间里的一些智能照明设备之间进行通信，并能依照其自身位置在桌子上或者在床上来打开或者关闭这些照明设备。类似的，操纵智能设备在一个区域内的工作能够通过将智能手机放在几个不同的位置并将所需要的环境因素映射到手机中来完成。这些利用物体和材料分类的地理防护相关的应用例子能够让我们持有的计算设备更多的了解它周围的环境，尤其是用户通常移动的环境。当今的视觉计算对目标检测需要以环境的知识和经验来完成复杂任务。例如与工具性对象的交互现在能够通过post-wimp(“窗户，图标，菜单，光标”)完成，包括对用户界面的工作，大多数是图形用户界面，这些界面试图超越窗口、图标、菜单和光标设备的界限。对比之下，可触摸的用户接口设备依赖于实际的物品，大多是连接传感器，需要我们对多个传感器协同工作和测量的配置方法的理解。类似的，泛在计算的视觉依赖于分布式感知来支持有意义的交互和情景感知。对现实世界更先进的感知和学习能够实现新的形式和风格的交互方法，这样就形成了一个全新种类的用户接口。例如一个基于物体检测系统的智能雷达能够帮我们来监测和清除种植区域的外来物种(如图1，为现有技术中一个检测蔬菜园中物体的雷达系统的例图)，移除战斗地区的爆破设备，或者是判决一条道路是否足够干净来让自动驾驶车辆行驶。这篇论文中，我们探讨了商用现货(cots)计算设备识别所接触到的物体和材料的潜力和可能性。我们使用超声波声学特征和新型的感知机制来探索同一个传输设备所收到的声音反射信号的变化。超声波位于人耳很难发觉的频谱范围，同时也拥有一些其他声音频率范围所没有的独特的性质。这些性质让从特定物体反射的反射超声波有着很明显的特征。由于每个物体都是由不同厚度和几何形状的不同特征材料组成的，使得超声信号的反射、折射和散射具有唯一性。反射信号的特征被提取出来然后我们也使用机器学习的方法来区分这些材料。我们证明了从反射信号中提取有意义并且丰富的特征是可行的，这些特征提供了声音信号从反射目标反射回来的信息，从而为新的交互应用提供了可能性，可以方便地移植到cots设备上。图2为现有技术中给基于超声波的智能手机系统的目标应用图。
除了人机交互(hci)的应用场景，我们的论证也为在导航系统，顾客交互，工业自动化等领域提供新的机遇，同时也能够以此来帮助有视觉障碍的用户们。据我们所知，没有其他论文论证使用超声波来检测和预测用户环境中的物品信息。目前我们还没有在超声声频范围内发现这种方法，但是在典型的雷达范围内提出了很多方法可以用来检测运动抑或是静止的对象。这些雷达方面的方法已经应用到了飞机的追踪，非破坏性的测试和评估，安检扫描和数不清的其他应用中。使用雷达的一个劣势是为了一些应用，我们必须使用专用的甚至很庞大的硬件模块，例如追踪室内的一个移动的物体。比较而言，我们证明了用cots设备的超声波能够完成一些基础的物体识别的功能，这样也能够在各种应用中实现一些全新的交互方式。以下我们列举出我们的几点贡献：
(1)探究了超声波信号来获取详细的能够揭示物体类型的特征信息。
(2)扩展了cots设备上的超声波使用的潜能来实现一个物品分类的基本功能，这项功能在过去只有在昂贵的硬件和技术下才有可能实现。
(3)通过他们的材料特性区分一系列的日常物品和其构成材料。
(4)大量的研究表明我们的信号处理方法足够精确到能够来检测并区分不同的物体，同时在现实的生活场景中有很好的用处。
(5)鉴别不同现实场景中的潜在应用程序和用例。
(6)鉴别与智能设备(如智能手机、智能手表等)一起使用的环境感知应用程序。
(7)我们特别用三个有趣的应用程序来测试我们的系统，(i)对象分类(ii)干壁检测和(iii)检测空旷的一盒充用不同大小的对象(图2)。
目前技术的局限：
材料和物体检测的应用在现在并不是个新的话题。之前的关于物体和材料检测的工作由于以下几点原因难以应用：
(1)基于雷达的方法利用发送的电磁波，这些电磁波在碰到了移动或者静止的会反射回来。这种方法需要专门的硬件来作为发送方和接收方，这两方工作在相同的频率上。此外，雷达的工作频率从1ghz变化到300ghz，由于大部分雷达器件工作在不同的频段，所以多种不同雷达信号的检测硬件之间不能相互兼容。而且它们需要在复数参数中进行准确的计算，例如多普勒效应的计算，信号的传播时间等，来让物体的识别变为可能。还有一点是雷达的硬件设备尺寸变动大，最大能到一辆轿车的尺寸。基于雷达的方法来说，最关键的限制是当需要自定设置是非常难以布置而且非常昂贵。
(2)基于视觉的方法依赖与被检测的物体是否能够较好的被看到和照明。基于视觉的方法可能还需要物体在设备的范围之内以便能够取得被检测物体的各个角度的高分辨度的照片。一旦那个物品的图片被照下，系统就会运行一个复杂的算法组来提取图片中的特征，这通常都会比其他的物体检测的设备和技术花费更多的时间和资源。对于基于视觉和声音的方法，最关键的限制是它们会造成隐私入侵；进一步来说，基于视觉的方法需要好的灯光照射。
(3)基于传感器的方法变化较多，从简单的非破坏性的图片到破坏性的应用。这种基于传感器的物体检测方法的例子有射频频率识别(rfid)，快速响应(qr)码，超声波和近红外的应用。所有的这些方法还是需要特别的硬件和物品的曝光，例如qr码要求目标标签准确的在扫描器前面，而且不能以不易阅读的角度出现。
(4)wifi或者蓝牙信号也用来做物体检测。wifi信号通常对最微小的环境变化都很敏感。使用60ghz的wigi信号也需要专门的方向性的收发器因为信号很容易由于物体远离检测设备而变得衰弱。进一步说，这些信号很容易被一些人类在房间的移动遮挡屏蔽，因而让物体检测的应用变得更加不可靠。图3为现有技术中超声波信号和不同材料的交互图。
技术实现要素：
针对现有技术中存在的问题，本发明提出一个基于超声波信号的物体识别和材料区分的方法，使用cots设备(例如智能手机，笔记本电脑，智能手表)来实现其功能。一个典型的基于超声波的物体检测系统包括一个同时拥有麦克风和扬声器的设备或者各自拥有麦克风和扬声器的两个设备，这两个设备要根据应用场景放在彼此的旁边(图2)。扬声器被用来产生频率范围在17khz到22khz之间的超声波的声波信号，具体的频率要根据硬件所支持的范围，而麦克风被用来接收相同的频率范围内的超声波信号。超声波信号在不同的时间间隔来(例如5，10，15秒)发出。
基于超声波的物体检测系统背后在于超声波所在的频率范围不容易被人耳所察觉，同时越高的频率意味着更多的信息能够被插入到或者从信号中提取出，例如500khz。由于超声波信号波是沿纵向传播的，例如压缩和膨胀，而不是横向的运动(边到边)，他们有更高的几率被不同的材料依据其特性来遮挡，反射或者散射(图3)。如果所有的这些信号中的变化在不同的物体中是不同的，那么提取出其中的特征来表示这些接收信号的扰动是很有可能的。最后，利用接收信号的改变和变动，我们能够使用机器学习的技术来分类或区分不同的物体(图4)。我们基于超声波的方法处理的当前技术的局限。与基于视觉的方法相比，我们的方法是对于保护隐私非常友好并且能够在黑暗中完成工作，因此不需要任何的物体光照。与基于雷达的方法相比，我们的方法方便部署因为用到的仅仅是cots设备同时也不需要改造设备。与基于wifi信号的方法相比，我们的方法在快速移动或者急速变化的环境中能够保持更好的鲁棒性，这是因为基于移动的声波噪声仅仅能够对12khz以下的声音频率造成影响。图4为本发明实施例的基于超声波的物体检测系统总览图。
第一个创造性是从有一定特性的设备产生超声波声波信号。我们从不同频率的正弦波聚合在一起形成的信号来生成线性空间矩阵(单音)。我们使用超过17khz(超声波频率从这个频率开始)的频率并且限制其单音的频率在20khz以下，这是因为大部分的cots设备的扬声器和麦克风在20khz处有一个截止频率，尽管有一些高端的设备的截止频率可以设置成为22khz。
第二个创造性是要消除反射超声波中的噪声。尽管我们在超声波频段产生信号，但是没有办法在硬件级别上滤除这部分的频率，所以我们在软件层使用了一个低通滤波器来得到我们所需要的频率范围(例如17khz-20khz)。这也减少了高频噪声的成分。这个反射回来的声音会由于接触材料的不规则性和材料的密度而在相位和振幅方面有变动。这回导致一些噪声存在于所有的声谱上，同时也可能收到超声波产生和接受硬件的不完善以及声学产生和接受的麦克风、扬声器的供电的影响。我们也使用中值滤波器来去除反射信号中的瞬变或尖峰。
第三个创造性是需要从超声波信号中选择和提取出鲁棒的特性为接下来的物体检测和分来使用。我们决定寻找频域上的特性，并通过将时域信号做快速傅里叶变换(fft)来得到信号的频域表示。我们必须提出，分析信号的频域特征的时候并不包含时域序列的典型特征。我们决定从信号中使用超过十个的典型特征组然后将其放入多于一个的分类器来得到一个总体的结果，这是为了保持鲁棒性。我们也仅仅在我们所感兴趣的频率(例如他17khz-20khz)上分片过的信号来执行特征提取。
第四个创造性是需要决定一个在连续记录的信号数据(例如扫面一个墙壁来区分这是干燥的墙壁或者是坚固的木头)上的特征变化量。为了完成这个目的，我们将整个信号分成到更小的窗口尺寸中，然后决定每个窗口的信号特征成分。我们会因此得到一个多维的特征矩阵。接下来我们在这个多维特征矩阵上执行一个小型算法来得到一个在目前得到的特征向量窗口上的主要变动。为了跟踪特征集方差，我们在以前的信号窗口之间保持一个平均方差值，然后将其与当前的特征窗口进行比较。如果变动很显著，那么接下来我们将确定更改是否会在接下来的几个特性窗口中持续。如果不是，则记录为噪声，否则记录为扫描底层材料的变化。
为了实现上述发明目的，本发明采用的技术方案为：一种基于超声波声学的物体检测和分类方法，参见图5。
(1)系统的第一步是通过扬声器来广播超声波信标，之后这些超声波信标会被靠近发送设备的物体反射给发送设备(智能手机或者笔记本电脑)。
(2)系统的第二步是通过麦克风收到反射回来的超声波信标。
(3)系统的第三步是将信号通过滤波器以滤除噪声和尖峰。
(4)系统的第四步是将我们所感兴趣的频率范围切片。
(5)在系统的下一步，我们从所受到的并被滤波之后的超声波信号所形成的帧中提取出频域特征。
(6)最后，我们在提取出来的特征上使用一定数量的分类器来得到一个鲁棒且精准的总体分类器，然后区分物体。
(7)对于连续超声信号包含多个反射源信息的应用(如干壁应用)，我们将信号划分为较小的帧，并运行检测算法对特征发生显著变化的帧进行识别。
图5为本发明实施例的超声波物体检测的系统构架图。
有益效果：本发明在cots智能手机上搭建了一个基于超声波的物体检测的系统。我们总共从10个不同类别的物体收集了个5000个超声波反射样本，这些类别有塑料，书本，玻璃，木头，棉花，金属，硬纸板，牛仔裤，橡胶和混凝土。我们也在不同的环境中搜集了样本来确认系统的鲁棒性，特别是为了干墙的检测。实验结果表明我们的系统能够高效的区分10种材料，并且准确度达到91.8％。最常见的预测材料包括玻璃、金属、木材和混凝土。当我们实验不同数量的超声波信标，我们总结了20个以上的信标，然后得到了一个91％的准确率。对于干墙应用，我们得出20个信标可以区分干壁和实木边界，准确率84％。干墙检测的最佳结果是在一个开放的环境中(如卧室、电视休息室)，而不是拥挤的环境，如洗手间、厨房和办公室。
附图说明
图1为现有技术中一个检测蔬菜园中物体的雷达系统的例图。
图2为现有技术中给基于超声波的智能手机系统的目标应用图。
图3为现有技术中超声波信号和不同材料的交互图。
图4为本发明实施例的基于超声波的物体检测系统总览图。
图5为本发明实施例的超声波物体检测的系统构架图。
图6为本发明实施例的超声波信标帧的性质(a)信号频谱的振幅(b)信号的频谱(c)周波功率谱密度估计(d)信号的概率分布图。
图7为本发明实施例的滤波之前和滤波之后的超声波信标帧(a)有噪声的信号频谱(b)去噪后的频谱(c)有噪声信号的功率密度(d)去噪后信号的功率密度(e)有噪声信号的fft(f)去噪后信号的fft图。
图8为本发明实施例的接收到的超声波信标帧样本图【(a)分片操作之前(b)分片操作之后】。
图9为本发明实施例的最多的五种物品的混淆矩阵(金属，书本，木头，混凝土，玻璃)图。
图10为本发明实施例的基于超声波系统的分类准确度图。
图11为本发明实施例的基于超声波的物体检测准确度和使用信标数量的关系图。
图12为本发明实施例的基于超声波的干墙检测的准确度和所用信标的个数图。
图13为发明实施例的基于超声波的干墙检测准确度和所用信标个数的关系图。
图14为发明实施例的针对放在尺寸为24x24x34英寸的空盒子中的不同物体基于超声波的深度检测的准确度图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细阐述。
本发明将基于超声波的物体检测的相关工作分为四种不同的研究类别，包含材料区分，物体检测，上下文相关计算和基于超声波的工作。
材料类别区分：对于材料类型的区分，大多数是使用破坏性方法。这些方法包括取得这个物体的实体样本并且对其使用化学的分析，并使用多种不同的光谱学和色层分析法来进行分析。这些方法更多的依赖单一材料或者是针对复合材料的各个方面做足够的采样来识别整体的对象类型。这些破坏性方法的进一步分类包括局部破坏(如蚀刻)。这种方法的一个例子是citeharrison2012的声学中提出的声学条码的实现。
非破坏性方法也能够用来对材料类型作区分，包括使用近红外(nir)光谱来分析产品，尤其是制药工业中的。太赫兹技术和毫米波技术也被使用在间隔一定距离的材料类型检测，这是为了安全和科学的考虑。使用这种方法的一个例子是寻找直接接触可能有危险的植物。zhu等人已经利用雷达的技术，基于不同入射角或距离的雷达信号损失谱或雷达信号损失数据库，对材料类型进行距离识别。也有一些有趣的应用被提出，通过太赫兹成像技术未来的设备交互。其他的值得注意的工作是通过探地雷达(gpr)成像来检测被埋在地下的材料。无论是破坏性的还是非破坏性的方法，这两种材料分类的成本都是复杂的，主要是由于使用现有技术的复杂传感、硬件功耗和尺寸要求。
材料分类可以采用几种方法中的任何一种，包括破坏性和破坏性较小的视觉方法。在光照较弱的环境中，这可能是一个挑战，但通过使用与检测设备的近距离，可以使其更易于处理。harrison等人利用单光敏电阻器对材料进行多光谱照明来检测材料类型。其他检测材料表面类型的方法包括激光光学鼠标传感器。报告的工作可以对透明材料进行分类，包括日常物品的表面材料。然而，用这些方法检测人体不同部位的物体状态(如盛满的或空的玻璃)仍然是一个挑战。
利用基于视觉的方法对材料类型进行分类，其局限性在于只对该方法显示或捕获的表面部分进行分类。当材料的层数超过一层时，特别是不透明材料或包装材料可能会阻塞底层材料的一部分时，这就会导致不太可靠的结果。相比之下，radarcat最近报道的一项工作可以提供一定程度的表面穿透，同时考虑到最上层没有太多的偏转。这使得材料的探索不局限于表面。
物体类型识别：物体识别和材料类型区分一样，也能够使用破坏性和非破坏性的方法来达成。相对，有扰乱性的和非扰乱性的方法。破坏性的方法已经被解释过了，是一种依赖于采取该物品的物理样本然后使用光谱学和色层分析法等化学分析的方法。这些方法进一步依赖于单一材料或针对复合材料的各个方面做足够的采样来识别整体的对象类型。这些破坏方法的进一步分类包括局部破坏(如蚀刻)。该方法的一个例子是提出的声条码的实现。
非破坏性或者非扰乱性的物体检测方法是那种依赖于对现有目标的感知，并以其在现实世界中的应用为视角的方法。这种方法的一个例子是用基于视觉的方法来抓住物体的不同角度，并用不同级别的清晰度来拍摄。这些不同角度然后被用来作为一些能够追踪物体轨迹的算法，尤其是对于那些形体藏在背景中的其他一些物体中。用kinect或者红外线对物体深度的感知能够克服物体不同角度的光照问题。另一方面，破坏性或扰乱性的物体识别方法能够极大的影响那种物体在现实世界中的结构。另一种类别的物体检测技术是扰乱性但非毁坏性的方法，这种方法是在物体本身上加上一些传感器，例如rfid，虚拟记号，超声波，或者qr码。最终，雷达系统的使用在现在变得越来越普遍，能够找到并且识别在行李箱中或者通过身体扫描器来识别某人所携带的物品。被埋起来的物体例如管道，骨头，或者其他物体能够被gpr识别出来。类似的，其他无线信号包括蓝牙和wifi信号在内的是在工业、科学和医学(ism)频带中或者60ghz的，能够用来检测和识别物体。
上下文识别和标识：上下文识别是指描述一个物体所在的环境或者情景。举个例子，智能手机放在衬衣的口袋或者在工作时间放在一个桌子上是两种不同的上下文情景，能够区分出这两种不同的情形的机制和算法就是上下文检测的机制。目前来说，大多数上下文识别的工作都集中在穿戴式设备上。更不用说，哪个被用到的系统，上下文识别在活动识别和地点检测的应用中非常重要。报告的工作表明手机的放置位置能够只用简单的传感器例如加速器和陀螺仪很精准的识别出来。传感器的组合能够准确地预测在私人空间中的方向和放置地点。利用心电图(ecg)信号检测人体附近的物体环境的其他可能性。最后是雷达，雷达正在成为一种普遍的使用机器学习和深层神经网络分类方法来区分手势和对象上下文。现在甚至可以基于透明电场传感器来跟踪3d中的变化。
基于声学的识别：许多基于声学的识别不同的环境上下文的工作都依赖于使用多普勒效应，例如声波从障碍物反射回来。多普勒效应的问题是它只能够提供有关于环境障碍物上下文的较为粗劣的信息。还有别的基于声学的应用来检测人类在环境中的活动，例如测量人类的呼吸，键盘敲击次数的检测和手指姿势，这些方法要么是使用唧声讯号(chirpsignal)或使用调至过后的声音信号，这些信号在物体反射回来时能够被解码并提取出有用的信息。与这些方法比较来说，我们使用不能被人耳所听到的超声波信号，同时也不会造成任何扰动。
超声波信号模型：
超声波是有着比人耳听觉上限频率更高频率的声波信号。技术上来说，超声波频段范围从17khz开始直到几ghz。超声波和‘普通的’(可听见的)声音在物理性质上没有什么不同，除了人耳不能听到它而已。这个极限因人而异，在健康的年轻人中大约是20千赫兹(2万赫兹)。17khz及以上范围内的超声信标可建模为调制正弦信号如下:
u＝a*sin(2*pi*f*s)(1)
其中a是波形的振幅，f是我们产生的超声波单音信号的频率，s是我们想要单音信号的样本大小然后u是超声波信号。样本大小s是通过
我们在17khz-20khz范围内，产生若干个间距为一定距离的超声信标，然后将它们线性相加，形成一帧超声信标(图6)。设这些超声信标之间的距离为l，则最终的超声波信标帧为:
uf＝u1+u1+l+u1+2*l+…+u1+n*l(2)
uf＝u1+u2+u3+…+un(3)
其中uf是最后的那个超声波信标帧，l是信标之间的频域距离，然后u1加到un表示n个超声波信标的叠加。
超声波和物体之间的交互：
当超声波信号接触一个物体之后弹回来的时候，这个信号会遭受反射，折射和散射。散射的现象尤其重要并被划分成两个种类，如镜面散射和法向散射。镜面散射是由反射表面光滑、形状规律性较大的物体产生的强烈且与角度有关的回波造成的。法向散射是由相对较小的、反射较弱的、不太依赖角度的不规则物体产生回波的结果。镜面散射的一个例子是来自桌面的反射，来自人体内部静脉的正常散射。
由于超声波以音速传播，我们用c来表示，那么我们就能定义这个超声波和物体的交互：
由于声波在自然状态下是三维传播并且依赖于时间t，所以我们能够用三个空间的变量x，y，z和时间t来表示。考虑到这点，存在一定的粒子位移r(x，y，z，t)与压缩和稀疏现象有关。这将进一步与粒子速度v(x，y，z，t)和声压p(x，y，z，t)联系起来。然后就可以直接把声压和声速联系起来：
其中
声压p必须满足以下这个三维波等式：
其中
这个等式的一个例解可以是p(z，t)＝cosk(z-tc)，通过赫兹段的循环周期解出
其中θi，θr和θt分别是入射波，折射波和发送波的角度，c1和c2分别是声音在两种不同介质中的传播速度。
一旦超声波信号和物体接触，信号也会遭到衰减，这种衰减主要是减少信号的振幅，就先吸收，散射和模式变换的机制。我们现在将这种振幅衰减表示为：
其中μa是振幅的衰减因子。我们能够进一步以分贝的形式(db)来定义它。用
终于我们得到了物品的吸收系数会取决于超声波信标的频率，如f而且一个好的模型来描述这种依赖关系可以写出：α＝afb，其中a是吸收系数，b是一个近似系数
其中信号的吸收系数a的单位是dbcm-1mhz-1。
信标的抓取和噪声消除：
扬声器和麦克风端口在部署的平台上同时打开，以便在传输时捕获反射的超声波信标。这两种设备的定位、灵敏度以及每个设备中的端口数量都会影响检测对象的概率。捕获的超声信标将在从1hz到22khz的所有频谱中嵌入噪声。大部分的噪声主要集中在500hz到15khz之间的频率范围，这是由于扬声器的结构是为了使更精确的复制和捕捉最声音人耳的声音信号(图7)。不过，超声波频率的噪声可以被视为一种干扰目标检测过程中，需要被删除。
关于声信号的一个不同的事实是，路径损耗取决于信号的频率。这种依赖是基于吸收的结果(例如，声能转化为热)。除了这些，信号的传播损耗随着信号传播距离的增加而增大。我们可以将超声的所有这些损失建模为：
其中f是超声波的单音频率，ln是相对于lnr而言传输的距离。路径损失指数j定义了介质损耗，常数a是较早定义的吸收系数。
为了消除突发噪声，我们对声信号进行了中值滤波，作为第一层滤波来去除信号中的峰值和瞬变。由于信号可以包含所有频率的噪声，我们使用巴特沃斯滤波器作为噪声消除机制。采样频率的fs＝44，100hz，让巴特沃斯滤波器的截止频率ωc，这个截止频率应用在所有的时间序列数据中。
超声波帧划分：
一旦我们将超声数据从外部噪声中过滤出来，我们就可以对数据进行分割，只取具有起始和结束频率范围的超声段，即fs和fe。我们使用带通滤波器来获得所需的分段频率范围，并将其作为帧来确定分类特征。带通滤波器的中心频率设置为fc＝19，000hz，其中起始频率设置为16，500hz，结束频率设置为21，500hz。采样频率设置为fs＝44，100hz。需要注意的是，由于时间序列信号u是采样频率为fs的样本，所以信号的周期为
图7滤波之前和滤波之后的超声波信标帧(a)有噪声的信号频谱(b)去噪后的频谱(c)有噪声信号的功率密度(d)去噪后信号的功率密度(e)有噪声信号的fft(f)去噪后信号的fft。
从超声波帧中进行特征提取：
在对接收到的声信标帧进行分割后，我们需要从该帧中确定合适的代表性特征，这些特征可以在分类过程中用于学习训练模型，使我们能够区分放置在距离感测设备较近的不同物体。对于每一个目标帧，接收到的声帧的信息内容是不同的，
图8接收到的超声波信标帧样本(a)分片操作之前(b)分片操作之后。
因此有必要选择能够让我们对来自不同目标对象的样本进行公平比较的特征。通过测试一些统计特征，我们最终选择了一组二十一个特征在帧水平计算。(1)最大值(2)最小值(3)平均功率(4)均方根值(5)动态范围(6)波峰因数(7)自相关因数(8)时间平均振幅(9)对数熵(10)偏度(11)波峰函数(12)平均振幅(13)stft(14)mfcc(15)浓度(16)梅尔系数(17)对比度(18)调性网络(19)波峰数(20)波峰位置(21)波峰位置。
我们将最后收到的分完片的超声波帧用u来表示。那么该帧的最大和最小值分别是max{u}和min{u}。我们通过将所有包含在u中的能量除以u中的数据点的数量(即
类似的，我么能够计算超声波帧的第三中心矩φu，这个值用来计算各自样本点和其均值的差的三次方的期望，即φu＝ε[(u-ε[u])3]。其方差特征μu告诉我们每个超声波样本集中变量到其平均值之间的距离有多远：
对数及小波熵特征，即
帧的峰态函数特性
自相关特性ku描述了观测值之间的相关性然后作为一个时延函数，其定义为：
超声波信号的stft
性能标准：
我们的系统分两部分实现:1)在iphone6s设备上运行的用于传输和采集超声信号样本的应用程序；2)在计算机上运行的使用python对信号样本进行清理和分类的分类程序。这部iphone手机在2gbram上运行ios11系统。收集到的数据通过云设置发送到分类机，流程本身在云设置中运行。这适用于需要在计算资源有限的可穿戴设备上实现该程序的场景。生成分类结果后，我们使用以下指标来评估系统的表现：
(1)准确度：总的来说，准确度就是正确预测的观测值的比率。计算式为：
其中tp，fp，tn，fn依次代表真正数，假正数，真负数，假负数。
(2)精确度：精确度检测真正预测的观察。被计算为：
(3)召回率：召回率给出了灵敏度或真正率的表示方法。召回率是正确预测发生事件的比例。计算为：
以下在三种环境测试：
(1)情况a-检测物体。在第一种情况下，我们通过将手机放在十种不同的物体上来测得其测试数据。这里，我们试着来判断我们是否能够分辨出由不同成分组成的物体反射回来的超声波信号。如果我们可以分辨出来，那我们就能够将这些分类到不同的物体，如金属，木头，玻璃等。
(2)情况b-检测干墙。在第二种情况下，我们将手机沿着干墙移动，来检测这是干墙或者是硬木的存在。这里的目标是识别信号的变化特性在单一连续的测试样本。
(3)情况c-检测盒子深度。在第三个情况中，我们用不同大小的实体填充一个大的硬纸板盒，并尝试检测外部盒子的空度或深度。在这里，我们假设薄纸板层允许一定比例的声波通过，然后从里面的物体反射回来。因此，最终接收到的超声信号是外盒反射和内盒反射的组合。
干墙检测：
检测超声信号样本的开始和结束，在那里有一个重大变化的潜在特征，可以让我们分割和确定开始和结束边界之间的干壁和实木。一旦信号被转换成小窗口大小，并确定了每个窗口的特征，我们就得到了一系列的特征，在这些特征之上我们可以确定值的主要变化。文献中有许多技术可以自动检测连续信号中某些变化模式的开始和结束。在更广泛的层次上，这些技术可以分为两种方法：固定长度分割和自适应分割。固定长度分割是一种快速的分割方法，它只需要将连续信号分割成多个部分，但是对于不同时间间隔出现的不同方差测度的模式，这种分割方法并不有效。因此，我们使用自适应分割，其中的边界信号(或特征设置在这里，)是自动指定的。我们观察到，当从不同的反射面记录超声信号时，特征值有一个典型的增加或减少的趋势。因此，我们使用了标准偏差度量，它让我们了解在特定长度的特征序列内的变化率。通过在超声波频率特征序列
为了检测序列方差变化的程度，我们使用信号特征点的方差。我们定义了一个容器的长度大小，其方差是连续计算的，直到实现感兴趣的变化。让容器的大小用l表示，这样就有了一个分片：
其中δi(j)代表以分段形式在完整超声数据样本上逐步计算得到的滑动方差，
为了让我们把从不同表面的超声波样本分片，我们用一个先前定义的阈值矩阵τ来和其方差对比，即测量δi＝δi(j)-τ来观察在特征值中的的上升或下降，并且这个差的计算是连续计算的δi-δi+1。如果δi-δi+1的值增加或减少，我们就能得到一个不同材料的边界。通过跟踪样本方差起始点和结束点的长度段，可以确定特征值内的精确起始点和结束点，并通过指出方差再次变化的窗口来估计样本的起始点和结束点。为了更精确和谨慎地决定分片，我们更进一步取片段的起始点和结束点方差长度，即δi(j)s和δi(j)e，的中点
深度检测：
对于深度检测，我们使用薄纸板箱并在其中放置不同尺寸的物品。收集的所得超声信号是来自盒子内部物品的两个表面，最外表面和最内表面的反射的结果。这里，目标是确定我们是否可以区分不同深度的超声波反射。我们将四个不同的高度为6，12，22和30英寸的物体放置在一个尺寸为24x24x34英寸的盒子中。放置在盒子内的所有物体都是由木质材料制成的。获取来自每个对象放置的不同样本，然后将其馈送到由决策树，knn和神经网络分类器产生的监督集合分类器。决策树分类器通过递归地划分训练集来使用，以便获得对给定目标类尽可能纯的子集。树的每个节点与特定记录集t相关联，记录t由特征上的特定测试分割。测试u≤x引发属性u的分裂。然后将记录集t划分为两个子集，这两个子集通向树的左分支和右分支，即tl＝{t∈t：t(u)≤x}和tr＝{t∈t：t(u)＞x}。最佳分裂的选择由基尼指数完成。对于knn分类器，我们使用minkowski距离，它是曼哈顿距离和欧几里德距离的推广，给出如下：
性能评估：
我们将我们的系统分成两个部分来搭建i)在iphone6s设备上运行应用来发送和接收超声波信号的样本ii)电脑上用python运行一个分类器程序来清理和分类信号样本。一共有十种不同的物体，分别是(a)塑料(b)书本(c)玻璃(d)木头(e)棉花(f)金属(g)硬纸板(h)牛仔裤(i)橡胶和(j)混凝土，我们一共通过将手机接近在材料的上方和直接接触材料来搜集超过5000个样本。在我们目前的实现原型中，一轮声波感知(包括分类)需要大概四秒完成。
图10基于超声波系统的分类准确度。图11基于超声波的物体检测准确度和使用信标数量的关系。
我们进行了一系列的实验来评估我们的超声波系统的表现性能，这些结果在图10中表示出来。一些实验也在galaxys5和googlenexus4上重复来验证得到的结果是否相同。第一个测试场景是将十种不同材料区分和表示出来，分别是塑料，书本，玻璃，木头，棉花，金属，硬纸板，牛仔裤，橡胶和混凝土。为了从这些物体表面得到超声波的样本，移动设备被放在这些材料的上面而这些材料则被放在一个薄层的空的硬纸板制成的盒子上，这是为了避免该材料和其所放在的表面上的任何接触导致的误差。收集数据的环境是在起居室的房间里，其中的人们可以随便说话和走动。在实验中，一个主动的用户会一直改变物体放置的位置和手机在上面的摆放位置。有两个居民住在公寓里，并且他们并不知道实验的目的。这能够让他们正常的完成日常的活动。因此，整个实验包括了从人类发出的干扰噪声，例如做饭，看电视和做清洁。这也证明我们的应用在现实生活中也很适用。
在第二个场景，干墙检测中，一片墙壁的70％是由墙壁组成的，另外30％是由硬木组成的。为了测试和检测干墙和硬木之间的界限，移动设备会在样本墙壁上移动几秒，其起点是干墙，然后会时不时的扫描到硬木。因此，连续的超声波样本会从两种不同的不同的材料反射回来，如图2所示。这里的目标应用是处理精细水平特征，然后评估感测到的分辨率以确定两种不同材料之间的边界，其技术细节在7.1节中给出。通过实际注意移动设备在边界上移动的时间实例来收集样本的基本事实。这个场景在5个不同的环境中进行了测试，即办公室，卧室，电视休息室，厨房和洗手间，以确定实验设置附近产生的不同物体和声音的影响。
对于第三个实验场景，我们填充一个大型纸板箱，其中包含不同尺寸的固体物体，并尝试检测外箱的空心或深度。在这里，我们假设薄纸板层允许一定比例的声波通过，然后从内部物体反射回来。因此，最终接收的超声信号是外盒反射和内盒反射的组合。这种设置的实验是在客厅环境中进行的，其中包括居民的自由活动和活动。四个不同的高度为6，12，22和30英寸的物体放置在侧面为24×24×34英寸的固定尺寸的盒子中。
对于材料区分的第一个应用场景，超声波痕迹在44100hz的采样率下收集，这些的分片的长度有3，6和10秒。每两个样本收集之间的最小的间隔是6-8秒。这些样本是在不同的日期和每天不同的时间来消除任何与日期相关偏差。这个数据收集的过程花了三个月，这是考虑到长时间的改变能够证明我们的系统的效率。实验结果表明我们的系统在区分那10种材料上是非常有效率的，总体的准确度能够达到91.8％(图10)。物体分类的感知准确度定义为预测的正确率，然而总体的准确率是通过所有物体在所有位置的平均准确度来计算的。最高预测材料包括玻璃，金属，木头和混凝土，这些材料的准确度分别达到96％，96％，94％，95％。当使用不同数量的超声波信标来进行实验是，我们使用了包括20个或者更多的信标，得到平均的预测准确度是91％(图11)。增加到20个信标以上的时候，我们只能得到最小的准确度增益，所以我们得到结论20个信标已经足够充足来区分不同的材料，而二十个以上的则会增加特征提取处理过程的消耗。五种预测最好的材料(分别是金属，书本，木头，混凝土和玻璃)的混淆矩阵在图9中表示，图9描绘了小样本的书和木头是很难区分的。总体来说，可以得出结论，我们的系统可以在现实世界中很好地对十种材料进行分类，预测准确度超过总体的90％。图9最多的五种物品的混淆矩阵(金属，书本，木头，混凝土，玻璃)。
对于第二种干墙检测的应用场景，800个连续的超声波样本通过四种不同的长度(5，8，12和15秒)并在五种不同的环境(办公室，卧室，电视休闲厅和休息室)来采样获得。重申一遍，我们使用的采样频率是固定的44100hz然而信号被切成片然后根据在第4节和7.1节提到的信号处理技术来处理。对于干墙检测的应用，我们使用20个信标来进行实验，来区分干墙和硬木之间的界限能够达到84％的准确率(图13)。干墙检测的最好结果是在开放的环境(即卧室，电视休息室)中进行的，这是和休息室，厨房还有办公室这种拥挤的房间相对比的(图12)。样本在不同的日期和每天不同的时间来踩去，并持续采样了一个月。较高自信的结果在卧室和起居室环境表明这两个地点有其他几种地点所没有的特点。每当置信度小于0时，预测就是wron，因为分类器将选择具有最高预测概率的另一个位置作为答案。然而，即使是5秒的超声声学样本特征，在84％的情况下，干墙材料可与硬木区分，置信度大于0.7。这个例子表明，有源声学特征的独特性足以应用于干墙检测。
对于第三种物体的深度检测应用场景中，我们将四个高度分别是6，12，22和30英寸不同的物体放在一个24x24x34英寸尺寸的盒子里。所有放在盒子里的物体都是木制的。我们使用的采样频率是固定的44100hz然而信号被切成片然后根据在第4节和7.1节提到的信号处理技术来处理。对于深度检测的实验是在起居室中进行的，起居室中允许住民自由移动，并持续了一个月的时间和每天不同的时刻来进行的。最后的结果表明检测出一些物品的深度是可能的，并能达到85％的准确率。增加更多深度空间会导致预测的准确度的下降。而且实验是用相同的对象类型进行的。具有不同类型的物体将再次限制可以用超声声学检测的深度水平的数量。对于深度检测场景，随着深度水平从4到8的增加，假正预测的数量从15％显着增加到超过50％。考虑到任何可能的时间变化，我们将样本从不同时间分成5个部分来评估他们。我们还将样本分成2个部分；一个背景噪音最小，一个背景噪音很大。两项结果都表明，人体运动和活动产生的噪声大多位于15khz以下的区域，因此不会影响我们系统的性能。总之，存在使用基于超声的声学特征来检测粗略水平的物体的深度或空心的可能性。此场景的真实世界应用程序是根据包中的材料及其大小将邮件包分成不同的类别。如图14所示，针对放在尺寸为24x24x34英寸的空盒子中的不同物体基于超声波的深度检测的准确度。
有很多应用能够直接从我们所提出的系统来实现或者支持。上述实施例已经演示了三种这样的应用，分别是，物体分类，干墙检测和盒子中的空洞检测。基于这点，我们列举出一些潜在的未来应用和用例。
上下文感知：我们所提出的系统能够被用在大量的上下文感知的应用场景中，例如将智能手机摆放在不同环境或者人体周围的不同区域内的时候，能用于在忘记其位置或者出门时忘记带上时候的提醒和追踪。这甚至可以检测到谁在使用这个手机，因为近距离的使用超声波能够检测和区分使用者的手是否是潮湿的或者是否戴了手套等。此外，如果能够检测到设备的位置和方向，则可以使用它来自动执行某些程序，例如当手机倒放在桌子上，即屏幕朝下，此时手机没有被使用，所以可以关机或者将屏幕亮度调到最低。其他几种快捷程序也是可能实现的，例如允许手机在晚上识别出它正在被放在床单上，然后自动打开警报。利用这种检测材料类型的能力，这种方法甚至能够被用在分类垃圾材料上(例如袋子，塑料，金属，玻璃等)。
私人助手：所提出的方法可以用在视觉或触感难以区分时的私人助理。该设备能够帮助这些人理解与其交互的环境。所提出的方法也能够嵌入具有麦克风或者扬声器功能的小型设备中。隐藏在衣服下面，为环境感应提供无缝接口。此外，这种方法也能够用于医疗设备，被监测的身体部分能够在没有手动输入的情况下自动地出现在界面上，例如，在特定身体部位使用听诊器时能够自动表示使用的位置。
形成字典：所提出的物体检测和材料分类方法能够被用于形成一个详尽的私人定制的物品列表，而不需要去手动查询。这能够用于例如在各种工具有着自己的使用范畴的工作环境，但这些范畴难以记忆的情况。这将最终提高工人的学习效率，从而提高生产率，因为工人可以专注于更多的事情，并可以快速查找在特定任务中使用的对象。一个很好的例子是使用需要大量材料(例如不同尺寸的刷子)的绘画和艺术作品。
局限性：使用超声波进行物体检测和分类存在一定的局限性。系统被扬声器和麦克风的灵敏度和截止频率所限制。便宜的硬件可能有声音的频率限制，而无法产生或接收高于17khz的声波信号。即使硬件确实能够在超声波频段工作，仍然有着在该频段的硬件响应不好而收到的都是噪声而不是我们所想要传输的超声波帧的情况。除此之外，在cots装置中超声波范围的波长不足以穿透非常薄的材料，对于可由系统识别的物体类型有限制。虽然如果扬声器和麦克风面向待检测物体，可以提高系统的准确性，但这将需要定制硬件，超过了在cots设备上使用该方法的实际动机。尽管有许多cots设备在同一侧有扬声器和麦克风，但我们在这里提供更多通用的结果，麦克风和扬声器处于不同的角度而不是直接面向目标物体。
物体检测和分类在计算机科学和安全领域有着许多非常重要的应用。目前为止，这项功能已经被一些专门的硬件和信号处理技术，例如使用基于雷达和视觉的算法，完成了。在这片论文中，我们提出了一种能够让拥有扬声器和麦克风的设备来记忆和区分不同物体而不需要任何专门的硬件的新型的移动系统。我们通过允许移动设备在与物体表面接触时通过声音传输振动来捕获从振动平台产生和反射的麦克风的声学信号。特别的，捕获17-22khz的超声波范围内的信号的声学特征允许从人类听不到声音中提取出物体的特征。通过声音主动地造成物体振动并记录伴随的声音信号，允许捕获其组成中固有的每个物体的更精细的水平变化。不同物体所对应的声学特征之后会从观测到的信号中的振动提取出来，并交给分类器模型处理。通过从特定物体的数据训练分类器模型，这个系统已经能够识别材料的表面并最终在特定位置识别对象本身。移动设备在不同的物体上的场景也能够用作几个有趣应用的基础，例如当移动设备在桌子上的时候就发射信号打开灯光，而在床上时则关闭灯光。我们在三种有趣的应用中测试了我们的系统，分别是(1)物体分类(2)干墙检测和(3)检测放了不同尺寸物体的盒子中的空洞。我们总共从被分类为塑料，书本，玻璃，木头，棉花，金属，硬纸板，牛仔裤，橡胶和混凝土的10种不同物体中收集了5000个超声波反射样本。我们也在不同的环境收集了样本来测试我们系统的鲁棒性，尤其是在干墙检测中。实验结果表明我们的系统能够高效的区分大概10种材料，并能够达到91.8％的准确率。预测最好的材料包括玻璃，金属，木头和混凝土。对于使用不同的数量超声波信标的实验来说，我们总结了在使用20个或者更多的信标时，我们平均的预测准确率能达到91％。对于干墙应用，我们得出结论，使用20个信标可以区分干墙和实木，准确度为84％。最后，与拥挤的环境(如洗手间，厨房和办公室)相比，在开放环境中(例如卧室，电视休息室)实现干墙检测效果最佳。
- 还没有人留言评论。精彩留言会获得点赞！