一种带有超声虚拟触觉的混合现实系统的制作方法

本发明属于混合现实相关技术领域，具体涉及一种带有超声虚拟触觉的混合现实系统。

背景技术：

混合现实技术(mixedreality,mr)是虚拟现实(virtualreality,vr)技术与增强现实(augmentedreality,ar)技术融合后的进一步发展，其通过合并现实和虚拟世界而产生了新的可视化环境，实现物理和数字对象共存，实时互动，同时在新的可视化环境里为用户提供交互反馈的信息回路，从而增强用户的真实体验。

目前这种技术大多使用头戴式光学设备(如hololens,magicleap等)将具有特定功能的图形增加到用户感知的视觉信息中(包括人眼看到的真实物理世界和计算机构建的虚拟世界)。当虚拟的功能图形生成后，用户可通过按键(真实或虚拟的)、手指或其他交互式设备对其操作，进行互动。然而当前的混合现实技术的研究和发展多着重于视觉感知方面，在与虚拟视觉交互过程中的触觉感知技术上的进展较为缓慢。用户不能感知不同操作的效果，交互方式缺少精确的互动性，用户的沉浸感不强。考虑到虚拟触觉在混合现实技术中不可替代的作用，其是唯一既可接收环境输入又可以对视觉信息输出的感知通道，可极大增强混合现实技术用户的体验效果，提升对当前视觉环境的认识效果。

触觉作为获取物体质地、纹理等信息的唯一信息通道，是人类认识世界的重要手段。目前，国内外实现对虚拟物体的触觉感知主要借助可穿戴设备，通过各种制动器与人体接触来模拟触觉信号。例如通过压电或静电振动器来改变接触面的摩擦系数，通过电磁或液压元件改变接触面的形貌。这些传统方法难以用于具有高开放性、高柔性虚拟对象的混合现实技术。近年来涌现的超声触觉反馈技术通过相控阵超声在空气中合成目标声场，利用声波的辐射力效应非接触地在用户皮肤表面产生震动触觉。超声触觉的实施，硬件上依赖于由多个压电式或电容式超声换能器组成的阵列，而现有超声换能器的光学特性决定其只能用于简单图像交互中，无法在不影响混合现实系统中光学设备的情况下得到应用。

技术实现要素：

为了克服上述现有技术存在的问题，本发明的目的在于提供一种带有超声虚拟触觉的混合现实系统，解决混合现实技术中缺乏真实、可靠的信息双向传递通道，无法准确交互，用户缺乏沉浸感等问题，实现人体对再造环境视觉和触觉感知的同步，提升用户体验。本发明以光学全透明介电材料超声换能器单元为基础构建适用于混合现实系统的超声相控阵，从而方便地将超声虚拟触觉设备集成于混合现实系统中广泛应用的头戴式光学设备；超声虚拟触觉设备与计算机图像设备共享生成虚拟画面的空间位置，便于超声虚拟触觉设备根据图像特征设置各超声换能器单元的工作参数，在虚拟画面处生成目标声场；声场通过声辐射力的作用将虚拟触觉非接触地引于人体表面。整个系统具有结构紧凑、算法易于实现、高柔性、操作方便等诸多特点。

为了实现上述发明目的，本发明采用如下技术方案：

一种带有超声虚拟触觉的混合现实系统，包括头戴式光学设备1、超声虚拟触觉设备2、便携式数据处理终端3；所述头戴式光学设备1具有安装接口能够与具有高透光性的超声虚拟触觉设备2集成；所述便携式数据处理终端3采取分立构架，能随身携带于用户的任意位置，通过无线网络与头戴式光学设备1和超声虚拟触觉设备2相连。

所述头戴式光学设备1包括头盔101、透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105如通讯接口、电源管理等；透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105通过可拆卸接口与头盔101相连。

所述超声虚拟触觉设备2包括依次相连的全透明超声相控阵201、阻抗匹配单元202、功率放大单元203和驱动单元204；全透明超声相控阵201的振元数量决定了阻抗匹配单元202、功率放大单元203、驱动单元204中通道的数量。

所述便携式数据处理终端3通过无线网络与头戴式光学设备1、超声虚拟触觉设备2相连，接收头戴式光学设备1采集的环境信息，进行图像和声场的数据处理，并将所有需要输出的信息发送至头戴式光学设备1和超声虚拟触觉设备2。

所述的头盔101作为系统中所有部件的机械连接框架，由敷有硅胶外层的工程塑料制成，在保证强度的同时减轻了重量、提高了人体佩戴的舒适性；

所述的透明衍射式平显102安装于头盔101的正前部，具有平面构型，用户双眼透过其观察外部环境的同时，将虚拟图像产生单元103投射的图像发射到用户的视网膜中；

所述的虚拟图像产生单元103安装在头盔右侧，其接收便携式数据处理终端3发送的虚拟图像数据和现实场景建模数据，充分融合的图像经过数字光处理后(digitallightprocessing)投射到透明衍射式平显102上，用户从而在视觉上感受到混合现实环境；

所述现实场景采集单元104包括安装于头盔101前部的双目摄像头、数据采集模块、存储模块和装于头盔101四周的姿态传感器；双目摄像头和数据采集模块用于实时采集外部真实景象，姿态传感器用于获取用户头部在物理空间内的姿态；

所述辅助单元105包括为头戴式光学设备1中的所有单元供电的电源模块，实现头戴式光学设备1中的所有单元通讯的总线，实现头戴式光学设备1、超声虚拟触觉设备2和便携式数据处理终端3间信息传递的无线模块。

所述全透明超声相控阵201是由m行n列的透明介电超声换能器单元组成的矩形阵列，各透明介电超声换能器单元之间无间隔连接；全透明超声相控阵201的几何尺寸与透明衍射式平显102相同，并堆叠于透明衍射式平显102的前方；工作时各透明介电超声换能器单元输出具有系统设定幅值和相位参数的超声信号，在目标位置合成声场；

所述的阻抗匹配单元202共有m×n个通道，每个通道实时采样电路中的电流和电压，并分析负载的阻抗特性，从而对阻抗匹配网络进行调整，保证作为负载的透明介电超声换能器单元处于最优工作状态；

所述的功率放大单元203共有m×n个通道，每个通道将驱动单元204中对应通道输出的信号进行放大，并输出给阻抗匹配单元202中的对应通道；

所述的驱动单元204共有m×n个通道，每个通道根据便携式数据处理终端3发送的参数，输出正弦电信号给功率放大单元203的相应通道。

所述的便携式数据处理终端3通过无线网络接收现实场景采集单元104采集的环境信息图像和用户头部在物理空间内的姿态信息，采用基于立体视觉的三维重建方法对真实环境进行建模，得到用户在真实环境中的3d空间计算机模型和头部位置姿态，同时根据用户的选择提取存储好的虚拟图像数据，并将虚拟图像与真实环境建模数据充分融合发送给头戴式光学设备1中虚拟图像产生单元103；然后根据虚拟图像的特征及其在物理空间中的位置计算出用于产生虚拟触觉的合成超声场；进而根据全透明超声相控阵201与目标声场的相对位置，计算出各声源的幅值和相位参数以及对应介电超声换能器单元的驱动参数；最后将整个全透明超声相控阵201的工作参数发送至超声虚拟触觉设备2中的驱动单元204。

进一步的，所述的透明介电超声换能器单元具有推挽式结构，包括支撑圈401、上固定压环402、下固定压环403、上介电高分子膜404、下介电高分子膜405以及环形凝胶电极406；其中支撑圈401、上固定压环402、下固定压环403均由高透光性亚克力材料制成；支撑圈401内径4cm，外径5cm，高度为3cm；上介电高分子膜404和下介电高分子膜405厚度为0.1mm,并通过上固定压环402、下固定压环403与支撑圈401的过盈配合固定在支撑圈401的上、下表面；内径为2cm，外径为4cm的环形凝胶电极分别粘贴在上介电高分子膜404和下介电高分子膜405的上下表面，上介电高分子膜404和下介电高分子膜405内部无凝胶电极覆盖的区域连接在一起，最终形成推挽式结构；

所述上介电高分子膜404和下介电高分子膜405采用具有高透光性的丙烯酸酯基高分子聚合物；

所述环形凝胶电极406可采用较低聚合度、低模量加有氯化锂的聚丙烯酰胺水凝胶或透明离子凝胶。

所述透明介电超声换能器单元采用推挽式输出的工作方式，正弦激励信号的正半周期加载于上介电高分子膜404，从而在上介电高分子膜404敷有凝胶电极的区域产生沿膜厚度方向的极化电场；介电高分子膜404敷有凝胶电极的区域受到麦克斯韦应力的作用总应力减少，从而导致下介电高分子膜405收缩，上介电高分子膜404扩张，上介电高分子膜404和下介电高分子膜405连接区域向下介电高分子膜405一侧运动；同理正弦激励信号的负半周期加载于下介电高分子膜405时，上介电高分子膜404和下介电高分子膜405连接区域向上介电高分子膜404一侧运动，从而形成周期性震动，产生超声波。

进一步的，根据目标声场特性以及全透明超声相控阵201相对位置，获取各声源的幅值和相位参数时，本发明考虑了用户手势操作的散射效应对目标声场的影响，通过模式识别获得了控制点的密度函数和声压值，然后在非自由空间计入散射体的传递函数基础上，应用逆滤波得到相控阵各阵元对应的声源参数，从而使合成声场产生更贴近预期的触觉感受。

本发明和现有技术相比，具有如下有益效果：

1、本发明由于采用了由透明介电高分子材料和凝胶电极构成的透明介电超声换能器单元，所组成的相控阵换能器阵列具有高透光性，与混合现实系统中头戴式光学设备组和时，不会影响摄像头、衍射屏显等光学设备的工作。

2、本发明在实施超声虚拟触觉时，声场合成算法中考虑了手的散射效应对目标声场的影响，通过模式识别和逆匹配滤波消除了散射声场的叠加，使合成声场产生更贴近预期的触觉感受。

3、本发明所述系统带有自动化的阻抗匹配电路，可以根据相控阵探头各振元的特征阻抗自动设置各阻抗匹通道节点的匹配参数，保证相控阵探头迅速进入理想工作状态。

4、透明介电超声换能器单元构型简单、成本低、易于制备。

5、系统结构紧凑、算法易于实现、适应性强。

附图说明

图1是一种带有超声虚拟触觉的混合现实系统外形、功能模块示意图。

图2是一种带有超声虚拟触觉的混合现实系统中头戴式光学设备1的功能示意图。

图3是一种带有超声虚拟触觉的混合现实系统中超声虚拟触觉设备2的功能示意图。

图4全透明超声相控阵的外形示意图。

图5一种带有超声虚拟触觉的混合现实系统中数据处理终端3的数据流向示意图。

图6是全透明介电超声换能器单元的结构示意图。

具体实施方式

以下结合附图及具体实施例，对本发明作进一步的详细描述。

如图1所示，本发明一种带有超声虚拟触觉的混合现实系统，包括头戴式光学设备1、超声虚拟触觉设备2、便携式数据处理终端3；所述头戴式光学设备1具有安装接口可以与具有高透光性的超声虚拟触觉设备2集成；所述便携式数据处理终端3采取分立构架，可随身携带于用户的任意位置，通过无线网络与头戴式光学设备1和超声虚拟触觉设备2相连。

如图2所示，所述头戴式光学设备1包括头盔101、透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105如通讯接口、电源管理等；透明衍射式平显102、虚拟图像产生单元103、现实场景采集单元104及辅助单元105通过可拆卸接口与头盔101相连。

所述的头盔101作为系统中所有部件的机械连接框架，由敷有硅胶外层的工程塑料制成，在保证强度的同时减轻了重量、提高了人体佩戴的舒适性；

所述的透明衍射式平显102安装于头盔101的正前部，具有平面构型，用户双眼透过其观察外部环境的同时，将虚拟图像产生单元103投射的图像发射到用户的视网膜中；

所述的虚拟图像产生单元103安装在头盔右侧，其接收便携式数据处理终端3发送的虚拟图像数据和现实场景建模数据，充分融合的图像经过数字光处理后(digitallightprocessing)投射到透明衍射式平显102上，用户从而在视觉上感受到混合现实环境；

所述现实场景采集单元104包括安装于头盔101前部的双目摄像头、数据采集模块、存储模块和装于头盔101四周的姿态传感器；双目摄像头和数据采集模块用于实时采集外部真实景象，姿态传感器用于获取用户头部在物理空间内的姿态；

所述辅助单元105包括为头戴式光学设备1中的所有单元供电的电源模块，实现头戴式光学设备1中的所有单元通讯的总线，实现头戴式光学设备1、超声虚拟触觉设备2和便携式数据处理终端3间信息传递的无线模块。

如图3所示，所述超声虚拟触觉设备2包括依次相连的全透明超声相控阵201、阻抗匹配单元202、功率放大单元203和驱动单元204；全透明超声相控阵201的振元数量决定了阻抗匹配单元202、功率放大单元203、驱动单元204中通道的数量。

如图4示，所述全透明超声相控阵201是由m行n列的透明介电超声换能器单元组成的矩形阵列，各透明介电超声换能器单元之间无间隔连接；全透明超声相控阵201的几何尺寸与透明衍射式平显102相同，并堆叠于透明衍射式平显102的前方；工作时各透明介电超声换能器单元输出具有系统设定幅值和相位参数的超声信号，在目标位置合成声场；

所述的阻抗匹配单元202共有m×n个通道，每个通道实时采样电路中的电流和电压，并分析负载的阻抗特性，从而对阻抗匹配网络进行调整，保证作为负载的透明介电超声换能器单元处于最优工作状态；

所述的功率放大单元203共有m×n个通道，每个通道将驱动单元204中对应通道输出的信号进行放大，并输出给阻抗匹配单元202中的对应通道；

所述的驱动单元204共有m×n个通道，每个通道根据便携式数据处理终端3发送的参数，输出正弦电信号给功率放大单元203的相应通道。

如图5，所述的便携式数据处理终端3通过无线网络接收现实场景采集单元104采集的环境信息图像和用户头部在物理空间内的姿态信息，采用基于立体视觉的三维重建方法对真实环境进行建模，从而得到用户在真实环境的3d空间计算机模型和头部位置姿态，同时根据用户的选择提取存储好的虚拟图像数据，并将虚拟图像与真实环境建模数据充分融合后，发送给头戴式光学设备1中虚拟图像产生单元103；然后根据虚拟图像的特征及其在物理空间中的位置计算出用于产生虚拟触觉的合成超声场信息；进而根据全透明超声相控阵201与目标声场的相对位置，计算出各声源的幅值和相位参数以及对应介电超声换能器单元的驱动参数；最后将整个全透明超声相控阵201的工作参数发送至超声虚拟触觉设备2中的驱动单元204。

具体的讲，对于基于立体视觉的三维重建方法，便携式数据处理终端3根据采集的环境信息图像，选取现实场景中的特征结构、对象作为特征点，然后通对特征点匹配获得特征点对；再利用标定的相机参数得到特征点空间位置信息；进一步采用pmvs点云生成算法，剔除错误三维点对应的面片，得到真实环境的点云模型，重建曲面；最后通过映射算法建立真实环境中物体表面点与纹理图像像素点之间的对应关系，填充纹理图像像素，并将纹理图像覆盖到三维表面，得到真实环境的3d空间计算机模型。具体的讲，用户选择的虚拟图像可以是三维全息图像、一个或多个二维虚拟图像。便携式数据处理终端3根据计算获得的头部位置姿态，调取事先存储好的与用户选择一致的虚拟图像数据。

具体的讲，根据虚拟图像的特征及其在物理空间中的位置计算用于产生虚拟触觉的合成超声场信息方法是，将虚拟图像的边缘映射为超声场的边界，根据虚拟图像所对应物体的模量分布，获取声场的声压分布；根据所采用相控阵201中发射单元的总数m×n，确定声场控制点的个数(不大于m×n)及控制点分布位置。控制点分布可选用等间距采样或强度加权采样。

进一步的，根据目标声场特性以及全透明超声相控阵201相对位置，获取各声源的幅值和相位参数时，本发明考虑了用户手势操作的散射效应对目标声场的影响，通过模式识别获得了控制点的密度函数和声压值，然后在非自由空间计入散射体的传递函数基础上，应用逆滤波得到相控阵各阵元对应的声源参数，从而使合成声场产生更贴近预期的触觉感受。

如图6所示，透明介电超声换能器单元具有推挽式结构，包括支撑圈401、上固定压环402、下固定压环403、上介电高分子膜404、下介电高分子膜405以及环形凝胶电极406；其中支撑圈401、上固定压环402、下固定压环403均由高透光性亚克力材料制成；支撑圈401内径4cm，外径5cm，高度为3cm；上、下介电高分子膜404和405厚度为0.1mm,并通过上、下固定压环402、403与支撑圈401的过盈配合固定在支撑圈401的上、下表面；内径为2cm，外径为4cm的环形凝胶电极分别粘贴在上介电高分子膜404和下介电高分子膜405的上下表面，上介电高分子膜404和下介电高分子膜405内部无凝胶电极覆盖的区域连接在一起，最终形成推挽式结构；

所述上介电高分子膜404和下介电高分子膜405优先采用具有高透光性的丙烯酸酯基高分子聚合物；

所述环形凝胶电极406可采用较低聚合度、低模量加有氯化锂的聚丙烯酰胺水凝胶或透明离子凝胶。

所述透明介电超声换能器单元采用推挽式输出的工作方式，正弦激励信号的正半周期加载于上介电高分子膜404，从而在上介电高分子膜404敷有凝胶电极的区域产生沿膜厚度方向的极化电场；介电高分子膜404敷有凝胶电极的区域受到麦克斯韦应力的作用总应力减少，从而导致下介电高分子膜405收缩，上介电高分子膜404扩张，上介电高分子膜404和下介电高分子膜405连接区域向下介电高分子膜405一侧运动；同理正弦激励信号的负半周期加载于下介电高分子膜405时，上介电高分子膜404和下介电高分子膜405连接区域向上介电高分子膜404一侧运动，从而形成周期性震动，产生超声波。