专利名称：利用听觉辅助盲人取物的方法
技术领域：
本发明涉及一种信息技术领域的方法，具体是一种利用听觉辅助盲人取物的方法。
背景技术：
现有的盲人辅助装置广泛利用盲人的听觉使盲人不用触摸物体即可获得物体的信息，特别是利用虚拟立体声方法使盲人能获知物体的位置，帮助盲人拿取物体。但是实践中发现，简单地用虚拟立体声音表示物体仍然不能使盲人很容易地取用物体。其原因在于，人的双耳与双眼的功能是互补性的，双耳定位能全方位地感知物体信息，但在人的视界之内双耳的绝对定位精度远远不如视觉。在人不能视物的情况下，单凭声音容易知道物体所处的大致方位，但是难以在精细尺度下定位。
经对现有技术文献的检索发现，中国专利名称盲人步行用辅助装置，申请专利号02143161.2，该专利虽然主要面向障碍物的识别，但在其实施方式中描述了利用一个物体识别元件来识别来自双目(多目)摄像头的图像中的物体的构思。通过该装置，盲人能够知道周围环境中障碍物的信息，甚至知道障碍物的种类，因此具有较大的实用价值。但是如果该装置要用来处理盲人日常生活中的取物任务时，很难使盲人有足够的定位精度准确地拿取物体。尽管有文献表明，早期盲人(early blind指在幼年阶段就失去视力的盲人)的双耳定位能力要高于正常人，大多数的盲人，特别是晚盲者通过声音得定位物体的能力仍然是有限的。成年人失明后，由于其大脑皮质的可塑性不及未成年人，大脑的听觉定位功能不能很好地补偿原有的视觉定位功能，造成在需要定位分辨力要求高的场合(如取物场合)中，盲人不能把手准确伸向物体。
造成这种现象的一个重要原因是伸手取物是对正常人存在一个反馈的过程，正常人能够轻易判断手与物体之间的相对位置，根据距离的远近决定伸手的方向的距离。但是对于盲人，由于反馈环节的缺失，不能做到这一点。虽然人的听觉的绝对定位能力并不强，但双耳听觉却具有较好的相对定位能力，即人们比较容易分辨两个声源之间的位置关系。另外，人耳对声音持续的时间或声音间隔的变化非常敏感，例如，传统的扫雷工具应用单调声音的间隔指示探头与金属物体的接近程度。因此，要提高盲人听觉的空间分辨力，应当使用听觉分辨力高的声音属性来表示声源的位置。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种利用听觉辅助盲人取物的方法，使盲人能利用立体虚拟声源之间的跳变感，通过技术手段加强这种跳变感，使盲人得到取物过程中的反馈信息，帮助盲人顺利地取物。
本发明是通过以下技术方案实现的。本发明步骤如下步骤一，获得被取用物体的三维位置信息，同时识别盲人手的位置；步骤二，根据得到物体和盲人的手的位置合成以物体和盲人的手的位置作为虚拟声源位置的三维立体声音信号；步骤三，将盲人的手对应的声音和物体的声音交替多次发出，当盲人的手与物体之间存在一定距离时，盲人能明显感到物体和手的声源之间的跳变。两种交替发出的声音发声初始点之间的时间间隔随着盲人的手和物体之间的距离相应减小，盲人根据声音反馈信息实现取物。
在本发明中，当盲人的手与物体位置接近时，这种跳变感将变弱以至消失。因此跳变感是一种反馈信号，盲人通过感知声源之间的跳变感知道自己的手是否正在靠近要拿取的物体。而声音初始点之间的时间间隔的缩小使盲人感到两种声音的声源之间的跳变频率相应增大，更加深了这种跳变感。
所述的步骤一中，识别盲人手的位置是指在图像传感器传来的盲人正前方的环境图像中检测到盲人的手(或盲人的手指)的二维坐标，通过测距手段得到图像中盲人的手的对应的三维位置坐标。这样就得到了物体和盲人的手相对于图像传感器的三维位置。
所述的步骤二，具体实现方法为用预先设定的声音信号表示物体和盲人的手，将声音信号的虚拟声源位置与物体和盲人的手的位置重合，使合成的声音分别听上去是从物体和手的方向传来的。
所述的步骤三，具体实现方法为将盲人的手对应的声音和物体的声音的发声起始时间间隔为1s以下，过长的时间间隔则难以产生跳变感。而当手与物体位置接近重合时，极短的发声起始时间间隔令使用者难以辨别两个音声源的距离。由于人的双耳定位感具有优先效应，声音的方位感仅取决于声音起始点处的双耳时间差(ITD)和双耳强度差(IID)，反复使盲人聆听物体和盲人的手对应的声音能够使盲人感受到更明显的虚拟声源之间的跳变。
与现有技术相比，本发明的方法能够使盲人在取物时得到更准确的提示信息，使盲人在伸手取物时能直观地感受到手与物之间的距离，摆脱了目前盲人取物必须要伸手后反复摸索以及必须反复改变头部姿态以精确定位声源位置的困难。根据实验，在一个空旷的房间(3.4m×5m)中的地面上放置有目标物体，盲人必须尽快把标记物放置在目标物体上。实验结果表明，盲人在一次伸手的过程中反复得到物体的反馈信号，当两个声源的发声时间间隔在0.8s时，盲人听到2～3次反复发声(2s之内)后能确定正确伸手方向拿取物体，而单纯使用表示物体对应的声音定位物体时，受试者必须反复倾斜头部，并等待表示物体声音反复出现4次以上(9s)才能获知物体较准确的位置。
具体实施例方式
下面对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。
实施例的实现过程如下1.双目立体摄像头被固定放置在盲人的头顶，保证双目图像的参考图像拍摄的是盲人正前方的图像。物体通过预先训练的图像分类器被检测到时，物体在参考图像中的二维坐标可以得到。通过双目测距算法，物体到双目立体摄像头的距离可以通过双目视觉测距的方法得到，因而物体相对盲人的三维位置已知。
盲人的手在图像中的二维位置可以通过归一化的二维相关卷积得到，当一个图像区域内的像素与手模版之间的二维相关卷积大于一个特定阈值，并且该区域的色调与人的皮肤色调之间差异小于一定阈值时，可以认为在图像中找到了盲人的手。同样地，通过双目测距方法，盲人的手相对盲人(头部)的三维位置也已知。
2.将物体和盲人的手相对盲人(头部)的三维位置转换成空间极坐标的形式，即原来的直角坐标(x，y，z)转换成极坐标(水平角，竖直角和距离)，通过查极坐标下的头部相关函数表(HRTF)可以得到物体和盲人的手的空间位置对应的头部相关函数。物体和盲人的手对应一定的事先设定的声音信号，例如物体用对应的语音表示，手用拍手声表示。物体和盲人的手对应的三维立体声可以通过将对应的声音信号与对应三维位置的头部相关传递函数卷积得到。
3.使物体和盲人的手对应的两声音交替多次发声，使盲人能明显感觉到两个虚拟声源之间的位置跳变。当盲人的手的位置发生变化时，距离的跳变感也发生相应的变化。
4.使物体和盲人的手对应的两声音交替多次发声的声音起始点的时间间隔随手和物体之间位置变化而正相关变化。当声音起始点时间间隔降低时，盲人能感到两个虚拟声源之间的位置跳变频率更高，更加容易感受到跳变感。盲人根据声音反馈信息实现取物。
由以上实施例可以看出本发明能够使盲人在取物时得到更准确的提示信息，使盲人在伸手取物时能直观地感受到手与物之间的距离反馈，摆脱目前盲人取物必须要伸手后反复摸索的困难。
权利要求
1.一种利用听觉辅助盲人取物的方法，其特征在于，步骤如下步骤一，获得被取用物体的三维位置信息，同时识别盲人手的位置；步骤二，根据得到物体和盲人的手的位置合成以物体和盲人的手的位置作为虚拟声源位置的三维立体声音信号；步骤三，将盲人的手对应的声音和物体的声音交替多次发出，当盲人的手与物体之间存在距离时，盲人能明显感到物体和手的声源之间的跳变，两种交替发出的声音发声初始点之间的时间间隔随着盲人的手和物体之间的距离相应减小，盲人根据声音反馈信息实现取物。
2.如权利要求1所述的利用听觉辅助盲人取物的方法，其特征是，所述的步骤一中，识别盲人手的位置是指在图像传感器传来的盲人正前方的环境图像中检测到盲人的手或盲人的手指的二维坐标，通过测距手段得到图像中盲人的手的对应的三维位置坐标，这样就得到了物体和盲人的手相对于图像传感器的三维位置。
3.如权利要求1所述的利用听觉辅助盲人取物的方法，其特征是，所述的步骤二，具体实现方法为用预先设定的声音信号表示物体和盲人的手，将声音信号的虚拟声源位置与物体和盲人的手的位置重合，使合成的声音分别听上去是从物体和手的方向传来的。
4.如权利要求1所述的利用听觉辅助盲人取物的方法，其特征是，所述的步骤三，具体实现方法为将盲人的手对应的声音和物体的声音的发声起始时间间隔为1s以下，过长的时间间隔则难以产生跳变感，而当手与物体位置接近重合时，极短的发声起始时间间隔令使用者难以辨别两个音声源的距离，由于人的双耳定位感具有优先效应，声音的方位感取决于声音起始点处的双耳时间差和双耳强度差，反复使盲人聆听物体和盲人的手对应的声音能够使盲人感受到更明显的虚拟声源之间的跳变，盲人根据声音反馈信息实现取物。
全文摘要
本发明涉及一种利用听觉辅助盲人取物的方法，步骤如下首先在获得被取用物体的三维位置信息的同时识别盲人手的位置；然后根据得到物体和盲人的手的位置合成以物体和盲人的手的位置作为虚拟声源位置的三维立体声音信号；将盲人的手对应的声音和物体的声音交替多次发出，当盲人的手与物体之间存在一定距离时，盲人能明显感到物体和手的声源之间的跳变。两种交替发出的声音发声初始点之间的时间间隔随着盲人的手和物体之间的距离相应减小，从而帮助盲人顺利地取物。本发明能使盲人在取物时得到更准确的提示信息，使盲人在伸手取物时能直观地感受到手与物之间的距离反馈，摆脱目前盲人取物必须要伸手后反复摸索的困难。
文档编号A61F9/08GK101040808SQ200710039630
公开日2007年9月26日 申请日期2007年4月19日 优先权日2007年4月19日
发明者童善保, 谢青, 朱湘君, 闫静, 杜嘉, 朱贻盛, 邱意弘 申请人:上海交通大学