一种基于三维网格模型的超声空中触觉渲染方法与流程

本发明属于人机交互，虚拟现实领域，具体涉及一种基于三维网格模型的超声空中触觉渲染方法，能够通过超声触觉完成对三维图形的渲染，提高三维图形的真实度。

背景技术：

随着人机交互技术的发展，各种以人为中心的高效自然的人机交互方式相继出现，与此同时，在人机交互过程中的多种感知反馈也随之发展。

在人机交互过程中，用户时常需要通过各种感知反馈来进行操作引导或者增强用户的体验，比如：初次使用软件时，使用文字或语言进行引导；玩游戏时，使用振动和声音增强沉浸感。随着科学技术的发展，人机交互渐渐从二维平面交互向三维空间交互过渡。在三维人机交互中，随着视觉和听觉反馈技术的不断成熟，人们着手探索触觉反馈，目的是进一步增强三维人机交互的便利性和沉浸感。在三维触觉反馈的研究中，由于接触式触觉反馈方法(在人体上额外附加的设备，如机械臂，手套等)在人体的自由运动方面存在限制，并且在使用过程中容易产生不舒适感，人们渐渐将研究目标放在非接触式触觉反馈方法上。目前存在的几种非接触式触觉反馈方法有空气式触觉反馈(aireal)、激光式触觉反馈和超声触觉反馈等。由于空气式触觉反馈精度较低且不能精准控制、激光式触觉反馈容易被人体或障碍物遮挡，超声触觉反馈逐渐成为非接触式触觉反馈的主要方式，并且该方式已经在生活中得到了初步应用，例如在vr中加入了超声触觉反馈，提升了用户的体验，增加了交互的趣味性，在汽车上，应用超声触觉反馈，加入虚拟按钮，替代实体按钮，增加了车内驾驶空间，并且使用户对汽车的控制更加方便，增加了用户驾驶的乐趣。

目前国际上存在针对超声触觉反馈的研究主要有日本的东京大学团队和英国的布里斯托尔大学团队。其中日本东京大学团队iwamotot团队在2008年首次公开了一种基于超声波辐射压力的定点触觉反馈设备，之后又陆续该超声波传感器阵列触觉反馈设备进行了更新，并将其命名为auto，该设备能够实现空间中的动点触觉反馈。

另外英国的布里斯托尔大学团队发布了一款超声波传感器阵列设备，并将该触觉反馈设备命名为ultrahaptics，该设备同样利用超声波辐射压力的原理，并且同时与leapmotion相结合，最终实现了实时的空中多点触觉反馈，并且提出了一种三维物体的超声触觉渲染方法，该方法通过获取手掌面和三维物体表面交叉时的曲线，并对该曲线位置进行超声触觉刺激，通过这种方式使用户能够完成对三维图形轮廓的感知，进而完成对三维图形的识别，但是该方法产生的触觉效果，过度依赖视觉辅助(即用户需要通过屏幕观察到三维图形)，当用户屏蔽视觉辅助，仅凭借超声触觉进行感知时，用户对三维图形的识别率并不高，该方法没有对三维图形的棱，顶点等局部位置进行特殊描述，以至于在三维物体的真实度方面有待提升。

中国专利“一种基于超声波聚焦的触觉反馈系统及方法”(公开号105426024a)公开了一种三维多点触觉反馈系统，具备手部位置检测、非接触触觉反馈、多点触觉反馈等功能，其核心是三维超声波阵列定位和高精度超声波聚焦技术。该方法对系统的整体结构进行描述，并通过计算得出的驱动信号延迟时间，然后通过聚焦电路进行控制，最终产生触觉反馈。此方法描述了三维超声阵列和高精度的超聚焦技术，但在次技术的基础上，如何通过超声阵列和手部位置检测的结合，来控制超声聚焦点并没有介绍，并且通过控制超声聚焦点完成对三维图形超声触觉描述的具体方法并没有提出。

中国专利“一种基于可变长度移位寄存器的多通道超声波聚焦延时控制方法”(公开号110673731a)公开了一种基于可变长度移位寄存器的多通道超声波聚焦延时控制方法，其核心是利用移位寄存器对超声波传感器阵列各通道的驱动信号进行延迟控制，在三维空间中产生人体可感知的超声聚焦点，实现三维空间中的非接触式触觉反馈。但目前在该方法的基础上，对于该方法的具体应用等还有待探索，例如如何通过控制超声聚焦点完成对虚拟三维物体的触觉描述，并且针对虚拟三维物体具体的超声触觉描述方法还未提及。

技术实现要素：

本发明提供一种基于三维网格模型的超声空中触觉渲染方法，能够在空中使用超声触觉完成对三维图形的触觉描述。

本发明采取的技术方案是，包括下列步骤：

(1)使用三维网格模型处理软件，载入相应的三维图形，选用三角形网格模型，并对网格增密和简化进行选择；

(2)针对已经确定的网格模型，获取其所有网格顶点的三维坐标；

(3)将获取的三维坐标导入场景中，启用手势识别，获取模型手的手指各关节坐标和手掌中心位置坐标以及手掌平面的法向量，并通过手掌中心坐标和手掌平面的法向量，计算确定手掌平面方程s；

(4)确定手指部分的超声聚焦点的位置，计算手指关节部分与网格顶点的距离并通过距离的数值，确定该手指关节点处的网格顶点的坐标，以此针对该关节的超声聚集点的位置，同一手指只能有确定一个超声聚焦点，并且同时确定的聚焦点数量由参与图形交互的手指数量决定；

(5)确定手掌部分的超声聚焦点的位置，计算手掌平面的距离与网格顶点的距离，并通过距离数值，确定手掌平面网格顶点的位置坐标；

(6)针对三维图形的棱，顶点位置的网格顶点，进行超声聚集时，改变强度和频率。

本发明所述步骤(1)中针对选定的三维图形使用三角形网格，以及确定网格的增密和简化的方法如下：

在进行网格的增密和简化时，要保证相邻网格顶点的最大距离要小于超声聚焦控制点的直径，控制点的直径等于超声波的波长，即相邻网格顶点的最大距离要小于一倍的波长。

本发明所述步骤(3)中启用手势识别后，获取模型手的手指各关节坐标(xb,yb,cb)和手掌中心位置坐标(x0,y0,z0)以及手掌平面的法向量n＝(a,b,c)，取手掌平面内侧为正向，通过手掌中心坐标和手掌平面的法向量计算得到参数d：

d＝-ax0-by0-cz0

并通过计算得到手掌平面的方程s：

ax+by+cz+d＝0。

本发明所述步骤(4)中网格顶点与手指关节点的距离：

对距离s1的数值进行判断，超声聚焦点的直径为d，判断s1与d/2的大小，当满足条件：

选定对应的网格顶点作为超声聚焦点，以此类推完成对5个手指的关节点的判断，最终完成手指部分的超声聚焦。

本发明所述步骤(5)中计算各网格顶点与手掌平面的距离，平面存在正反两面，取手掌平面内侧为正向，为防止正反两面存在网格顶点与手掌平面距离相同的情况，取手掌平面内侧为正向，引入其方法如下：

当时，网格顶点在手掌内侧，当时，网格顶点在手掌平面外侧，即手背，因超声聚焦点对手掌内侧进行触觉刺激，故取手掌内侧的网格顶点，然后对内侧网格顶点进行判断，判别条件是：

以此选定对应的网格顶点作为超声聚焦点。

本发明所述步骤(6)中针对凸显三维图形局部特征，方法如下：

为了凸显三维图形的局部特征，以增加用户对三维图形的识别率，增强三维图形的真实感，需要通过局部位置和非局部位置的触觉差异性来实现，在对两位置进行超声聚焦时，需要在强度和调制频率上做出调整；设单个超声聚焦点的最大强度为q，在对图形的棱和顶点位置进行超声聚焦时，使其达到最大强度q，并且当调制频率为200hz时，超声触觉效果做好，因此调制频率为200hz，为完成两部分的触觉差异性，并且保证其他非局部位置的触觉效果，非局部位置的超声聚焦点强度调整至0.6q，并且将其调制频率调整至100hz～150hz范围内，这样通过两部分的触觉感受的差异，最大限度地凸显三维图形的局部特征，最终提高用户对三维图形的识别率，提升三维图形的真实度。

本发明针对手部触觉感受的手部超声聚焦点的定位以及三维图形的局部特征的描述。三维模型的网格顶点通过特定软件获得三维坐标，根据手指关节坐标以及手掌平面与三维图形网格顶点的距离信息，完成对手部超声聚焦点的定位，对三维图形的棱和顶点等局部位置采用不同的强度和频率进行超声聚焦，完成对三维图形的局部特征的渲染。

本发明的优点在于采用三维网格模型能够更加容易的确定手部的超声聚焦点位置，并将手部分成手指和手掌两部分，分别进行超声聚焦，进一步细化手部触觉感受，对三维图形的棱和顶点等位置采用不同的强度和频率进行超声聚焦，完成对三维图形的局部特征的渲染，提高用户对三维图形的识别率，进一步提高三维图形的真实度。

附图说明

图1是发明超声触觉硬件系统框图；

图2是发明网格图形获取流程图；

图3是发明正方体网格模型图；

图4是发明手掌模型图；

图5是发明手部超声聚焦流程图；

图6是发明手部与三维图形触觉交互图。

具体实施方式

包括下列步骤：

(1)使用三维网格模型处理软件，载入相应的三维图形，选用三角形网格模型，并对网格增密和简化进行选择；

(2)针对已经确定的网格模型，获取其所有网格顶点的三维坐标；

(3)将获取的三维坐标导入场景中，启用手势识别，获取模型手的手指各关节坐标和手掌中心位置坐标以及手掌平面的法向量，并通过手掌中心坐标和手掌平面的法向量，计算确定手掌平面方程s；

(4)确定手指部分的超声聚焦点的位置，计算手指关节部分与网格顶点的距离并通过距离的数值，确定该手指关节点处的网格顶点的坐标，以此针对该关节的超声聚集点的位置，同一手指只能有确定一个超声聚焦点，并且同时确定的聚焦点数量由参与图形交互的手指数量决定；

(5)确定手掌部分的超声聚焦点的位置，计算手掌平面的距离与网格顶点的距离，并通过距离数值，确定手掌平面网格顶点的位置坐标；

(6)针对三维图形的棱，顶点位置的网格顶点，进行超声聚集时，改变强度和频率。

本发明所述步骤(1)中针对选定的三维图形使用三角形网格，以及确定网格的增密和简化的方法如下：

在进行网格的增密和简化时，要保证相邻网格顶点的最大距离要小于超声聚焦控制点的直径，控制点的直径等于超声波的波长，即相邻网格顶点的最大距离要小于一倍的波长。

本发明所述步骤(3)中启用手势识别后，获取模型手的手指各关节坐标(xb,yb,cb)和手掌中心位置坐标(x0,y0,z0)以及手掌平面的法向量n＝(a,b,c)，取手掌平面内侧为正向，通过手掌中心坐标和手掌平面的法向量计算得到参数d：

d＝-ax0-by0-cz0

并通过计算得到手掌平面的方程s：

ax+by+cz+d＝0。

本发明所述步骤(4)中网格顶点与手指关节点的距离：

对距离s1的数值进行判断，超声聚焦点的直径为d，判断s1与d/2的大小，当满足条件：

选定对应的网格顶点作为超声聚焦点，以此类推完成对5个手指的关节点的判断，最终完成手指部分的超声聚焦。

本发明所述步骤(5)中计算各网格顶点与手掌平面的距离，平面存在正反两面，取手掌平面内侧为正向，为防止正反两面存在网格顶点与手掌平面距离相同的情况，取手掌平面内侧为正向，引入其方法如下：

当时，网格顶点在手掌内侧，当时，网格顶点在手掌平面外侧，即手背，因超声聚焦点对手掌内侧进行触觉刺激，故取手掌内侧的网格顶点，然后对内侧网格顶点进行判断，判别条件是：

以此选定对应的网格顶点作为超声聚焦点。

本发明所述步骤(6)中针对凸显三维图形局部特征，方法如下：

为了凸显三维图形的局部特征，以增加用户对三维图形的识别率，增强三维图形的真实感，需要通过局部位置和非局部位置的触觉差异性来实现，在对两位置进行超声聚焦时，需要在强度和调制频率上做出调整；设单个超声聚焦点的最大强度为q，在对图形的棱和顶点位置进行超声聚焦时，使其达到最大强度q，并且当调制频率为200hz时，超声触觉效果做好，因此调制频率为200hz，为完成两部分的触觉差异性，并且保证其他非局部位置的触觉效果，非局部位置的超声聚焦点强度调整至0.6q，并且将其调制频率调整至100hz～150hz范围内，这样通过两部分的触觉感受的差异，最大限度地凸显三维图形的局部特征，最终提高用户对三维图形的识别率，提升三维图形的真实度。

为了使本技术领域的人员更好的理解本发明，下面结合附图对本发明作进一步的详细说明。

整个组成部分的系统框图如图1所示，完成超声触觉渲染方法的硬件部分包括超声阵列[100]、手部识别装置[101]、计算机[102]，其中：

超声阵列[100]主要是通过控制每个超声波发射的延时，在指定的位置进行超声波聚焦，以产生声辐射压力；

手部识别装置[101]主要是获取手指关节部分以及手掌部分的信息；

计算机[102]主要是完成对虚拟三维图形的场景搭建，通过对手部的信息以及虚拟三维物体的信息进行处理，然后将处理结果反馈给超声阵列，完成对指定位置的超声聚焦。

如图2所示为三维网格模型获取流程图。

(1)首先通过网格模型处理工具，确定需要实现的三维网格模型，例如球体、正方体、长方体、圆柱体、椎体；通常选用三角形网格，能够使网格顶点分布均匀，并且为三维图形的超声空中触觉渲染提供有利的条件；

(2)在选定三角形网格的基础上，要对三维图形的网格的密集度进行选择。在对网格的增密和简化进行选择时，主要考虑三个因素，一是超声聚焦控制点的大小，二是关于网格顶点的计算量问题，三是超声阵列的硬件限制问题；

在进行网格的增密和简化时，要保证相邻网格顶点的最大距离要小于超声聚焦控制点的直径，控制点的直径等于超声波的波长，即相邻网格顶点的最大距离要小于一倍的波长；

超声波的波长：

例如当超声波发射器的发射频率f为40khz时，假定在室温下，声速v约为340m/s,这样就得到了波长大约为8.5mm，此时控制点的直径约为8.5mm.超声波的频率越高，其波长越短，此时的控制点直径也就越小。相邻网格顶点的最大距离也并非越小越好，距离越小，意味着网格顶点越多，在进行计算网格顶点和手指关节和手掌的距离时的计算量就会越大，计算量过大带来的问题就会越来越大，而且网格顶点过多，需要同时进行的超声聚焦点的数量，也会增加，这无疑对超声阵列的硬件条件做出了挑战。因此在保证相邻网格顶点的最大距离要小于超声聚焦控制点的直径的前提下，网格顶点的数量也不能过大。如图3所示为正方体网格模型图，边长为5cm，假定这时的超声波的波长为8.5mm，选取的三角形网格，此时相邻网格的最大距离约为7.1mm，小于此时超声波的波长，并且此时网格顶点的数量在硬件条件的承受范围之内。

(3)在确定网格模型的前提下，获取其网格顶点的三维坐标(xa,ya,za)；

(4)将三维坐标信息导入场景中，并启用手势识别，如图4所示为手部模型图，获取模型手的手指关节[400]坐标(xb,yb,cb)，用于计算手指关节和图形网格顶点的距离，获取手掌中心[401]位置坐标(x0,y0,z0)以及手掌平面的法向量[403]n＝(a,b,c)(取手掌平面内侧为正向)，用于确定手掌平面[402]的方程，为计算网格定点与手掌平面s的距离做准备。

(5)获取的手掌中心[401]位置坐标(x0,y0,z0)以及手掌平面的法向量[403]n＝(a,b,c)(取手掌平面内侧为正向)，通过手掌中心坐标和手掌平面的法向量计算得到参数d(参数d为手掌平面方程s的参数)：

d＝-ax0-by0-cz0

并通过计算得到手掌平面[402]的方程s：

ax+by+cz+d＝0

(6)在获取信息的前提下，需要通过计算去确定手指和手掌部分对应的超声聚焦点的位置。如图5所示为手部超声聚焦流程图。分为手指部分和手掌部分。针对手指部分首先需要计算所有网格顶点与各个手指关节的距离s1：

然后对距离s1的数值做出判断。假设超声聚焦点的直径为d。判断s1与d/2的大小，当满足条件：

s1>d/2

即选定对应的网格顶点作为超声聚焦点位置。

为了更加清晰的描述，如图6所示为手部与三维图形触觉交互图，其中以食指的第一关节为例，计算该关节与其中一个网格顶点的距离s1，然后对s1的数值进行判断，以此类推完成5个手指各个关节点的判断，最终完成手指部分的超声聚焦。

针对手掌部分，在得出手掌平面s的方程的前提下，计算各网格顶点与手掌平面的距离。手掌平面存在正反两面，并且手部的触觉感知主要依靠手掌内侧，为防止正反两面存在网格顶点与手掌平面距离相同的情况出现，这里取手掌内侧为正向。如图5所示，首先计算各网格顶点与手掌平面的矢量距离

当时，证明网格顶点在手掌内侧，当时，证明网格顶点在手掌平面外侧(即手背)，然后对网格顶点进行判断，判别条件是：

如图6所示，以其中一个网格顶点为例，计算手掌平面与该网格顶点的距离然后对该网格顶点做出判断，确定该点是否为手掌部分对应的超声聚焦点。以此类推完成手掌平面与所有网格顶点的判断，完成手掌部分的超声聚焦，最终完成手部的超声聚焦。

(7)为了凸显三维图形的局部特征，以增加用户对三维图形的识别率，增强三维图形的真实感。需要通过局部位置和非局部位置的触觉差异性来实现，例如，如图3所示的正方体模型，其中正方体的棱和顶点为局部位置(即圆点位置)，其他位置为非局部位置，在对两位置进行超声聚焦时，需要在强度和调制频率上做出调整。假设单个超声聚焦点的最大强度为q。在对图形的棱和顶点位置进行超声聚焦时，使其达到最大强度q，并且当调制频率为200hz左右时，超声触觉效果做好，因此调制频率为200hz。为完成两部分的触觉差异性，并且保证其他位置的触觉效果，其他位置的超声聚焦点调整至0.6q，并且将其调制频率调整至100hz到150hz，这样通过两部分的触觉感受的差异，最大限度地凸显三维图形的局部特征，最终提高用户对三维图形的识别率，提升三维图形的真实度。