一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法与流程

本发明属于虚拟现实与人机交互领域，尤其涉及基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法。
背景技术：
：触觉交互是人机交互领域的新技术，具有触觉再现功能的智能手机、平板电脑等在医疗卫生、电子商务、教育娱乐、视障人群等具有广泛应用前景。通过触觉再现技术，一方面利用裸指触摸多媒体终端屏幕可感知被显示物体的形状、纹理及柔韧性，另一方面控制手指与触摸屏之间摩擦力的变化形式可提供光滑、粗糙等不同触感，极大地提高了交互过程的真实感与交互体验的丰富性。依据实现原理的不同，现有的多媒体终端触觉再现方式主要包括振动式、静电力式和空气压膜式，其中静电力式具有真实感高、体验丰富、功耗低、重量轻等优势，是在触摸屏上实现触觉再现最重要的方式。静电力触觉交互技术的兴起推动触觉交互技术快速发展，直接触摸触觉面板而不需要穿戴设备完成虚拟平面的交互，具有易操作、便携、低功耗的特点。2010年，美国迪斯尼研究院论文“teslatouch:electrovibrationfortouchsurfaces”研制出基于电振动原理的触觉原理样机teslatouch，加载电信号至透明导电极板构成触摸面板，生成切向摩擦力提供触觉反馈。2015年，论文“methodandapparatusforsensorystimulation”面向终端设备提供了易于集成的提供触觉反馈效果的解决方案，在屏幕上附加透明的导电膜生成电振动触觉反馈。这些触觉设备极大的推进了基于平面的触觉技术的发展，为进一步研究图像与触觉转化模型与评价提供基础。目前，国内外研究所及高校致力于研究更高效的触觉反馈算法，探索触觉与驱动信号的关系、触觉特征及其影响因素以及触觉评价。2013年，meyer等人在论文“fingertipfrictionmodulationduetoelectrostaticattraction”研制出一种可测指尖感知力大小的摩擦计，提出静电力与驱动信号的平方律，通过实验数据绘制出静电力与驱动信号幅度、静电力与驱动信号频率的关系曲线。lim等人在2015年论文“forceanddisplacementanalysisofahaptictouchscreen”中利用正弦与方波信号定量研究驱动信号大小与感知力的关系，得到几种频率、电压幅度的驱动信号与感知力强度的关系曲线，低频驱动信号与高频驱动信号的感知力的不同。以上成果主要研究在不同触觉设备中驱动信号与感知力关系，为评价触觉反馈及系统性能提供理论基础。在图像处理领域，minksy等人在1990年论文“feelingandseeing:issuesinforcedisplay”中，利用sandpaper系统，提出力与梯度的函数表达式，利用图像局部梯度值求解水平以及垂直力大小模拟局部触感反馈。robel等人在2001年论文“forcecanovercomeobjectgeometryintheperceptionofshapethroughactivetouch”中，进一步研究手指滑过凸起形状时手指受力与滑过虚拟形状的力关系，建立凸起形状的梯度特征与该位置的指尖水平受力大小的映射模型。2008年，印度理工学院vasudevan等提出基于图像与力渲染掩膜相乘纹理触觉再现模型，kim等人在2013年论文“tactilerenderingof3dfeaturesontouchsurfaces”中提出了一种3d几何形状的触觉渲染方法，通过实验数据拟合摩擦力与驱动电压的精神物理学函数表达，具有实际应用价值，并且提出1维以及2维空间下指尖接触点摩擦力大小与梯度特征、滑动速度的数学表达模型，将渲染方法应用到感知3维几何形状，将静电力触觉技术推向至市场。然而，由于高清图像像素点多，计算量大，上述方法应用效果并不理想。关于如何实现高清图像—静电力触觉间的高效地转化，研究可以反馈真实的、多样的触觉的力触觉渲染方法，对提升触觉交互设备的性能和丰富用户触觉交互体验有着重要意义。然而由于高清图像像素点多，计算量大，对算法及设备要求高，现有的图像特征提取及渲染方法应用效果并不理想。技术实现要素：本发明提供一种基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，以解决由于高清图像像素点多，计算量大，对算法及设备要求高，现有的图像特征提取及渲染方法应用效果并不理想的问题。本发明采取的技术方案是：包括下列步骤：(1)首先将高清图像灰度化，生成灰度矩阵；高清图像有m×n个像素，每个像素都含有红、绿、蓝三种颜色分量，分别用r、g、b来表示，将其转化成二维数据矩阵，得到符合人类视觉的灰度矩阵：h(x，y)＝0.3r+0.59g+0.11bh(x，y)为像素点(x，y)的灰度值，其中x∈{0，1……m-1}，y∈{0，1……n-1}为高清图像中对应的像素点的坐标值；(2)计算高清图像中每一像素点梯度选取水平和垂直两个方向的模板和图像像素邻域，在以像素点(x，y)为中心的邻域内对待检高清图像做灰度加权和差分运算，此处选用3*3的模板匹配图像，相当于以3*3的窗口对图像进行滑动滤波，得到梯度fx和fy；-101-202-101(a)水平模板图-1-2-1000121(b)垂直模板图x-1，y-1x，y-1x+1，y-1x-1，yx，yx+1，yx-1，y+1x，y+1x+1，y+1(c)图像像素邻域fx(x，y)＝h(x+1，y-1)+2h(x+1，y)+h(x+1，y+1)-h(x-1，y-1)-2h(x+1，y)+h(x+1，y+1)-h(x-1，y-1)fy(x，y)＝h(x-1，y+1)+2h(x，y+1)+h(x+1，y+1)-h(x-1，y-1)-2h(x，y-1)-h(x+1，y-1)(3)根据像素点灰度值对高清图像进行分割，以分割图块为单位构建梯度直方图，统计分割图块内每个像素点的梯度方向和梯度幅值，梯度方向范围是0°～180°，将其均匀分为9份，也就是每20°为一个bin，然后统计各分割图块中每个像素点的梯度方向，属于哪个区间，利用像素点的权值在该bin上加权，此处像素点的权值采用其梯度幅值；(4)对9个bin上的梯度向量进行加权，权值为每个bin的梯度幅值，最终得出每个分割图块的梯度幅值f和角度θ；(5)当手指在触摸屏上滑动时，手指运动的单位方向向量为：其中，wi是手指在ti时刻的位置向量，wi-1是手指ti-1时刻的位置向量，vi是手指运动方向的单位方向向量；(6)计算手指和触摸屏间的摩擦力为：其中，fi是ti时刻手指感知摩擦力的标量值，f0是非零的比例因子，f是高清图像分割图块梯度幅值，θi是梯度和运动方向两个向量的夹角；是高清图像分割图块梯度，vi是手指运动的单位方向向量；(7)计算装置的驱动电压：感知摩擦力和驱动电压之间在对数-对数条件下满足如下关系：fi＝1.24v-1.05其中，fi是对数条件下(6)中计算得出的手指感知摩擦力的标量值，v是施加到交互设备的上的电压幅值。本发明所述步骤(3)中高清图像分割方法为：(a)对高清图像进行边缘提取；1)根据各像素点梯度值fs，设定阈值ts；2)若fs大于ts，则认为像素点(x，y)为边缘点；否则，认为像素点(x，y)为非边缘点；(b)用bersen算法对高清图像进行阈值分割，具体过程如下：1)选取像素点(x，y)，设定阈值s；2)根据高清图像灰度矩阵，计算以(x，y)为中心的大小为(2*w+1)(2*w+1)窗口内的所有像素的灰度最大值mb和最小值nb，，二者均值为tb；3)循环直至(mb-nb)>s，则当前点(x，y)的阈值为t1；4)对高清图像进行高斯平滑处理；5)对高斯平滑处理后的高清图像重复步骤ⅰ、ⅱ、ⅲ，得到阈值t2；6)取两个阈值的线性组合，确定阈值t＝(1-α)*t1+α*t2；7)根据阈值t对图像进行二值化；(c)用分水岭算法进行区域分割；1)根据高清图像灰度矩阵，对像素点的灰度值进行升序排列，并对高清图像中所有灰度数据中的局部极小值进行唯一标记；2)按照以下规则对最小灰度值到最大灰度值进行处理：如果在被标记值的邻域内有相同灰度值像素，则将标记传递给该像素；遍历全图直至完成所有相同灰度的标记，将标记传递给邻域内当前灰度值加一的灰度值；如果一个像素的邻域内有两个或两个以上的标记，则该像素属于分水岭中一点；在剩余的像素中找出新的局部最小值，并且被分配一个新的标记，如此循环直到所有像素点都被标记。本发明所述的静电力触觉反馈装置包括：(1)定位单元，包括能实现定位功能的装置，用于实时地跟踪手指的位置坐标，并将该坐标信息发送到处理单元；(2)处理单元，包括各种多媒体终端，用于输出视觉信息，接收定位单元实时发送过来的手指的位置信息，同时对手指位置处的图像进行渲染得到触觉驱动信号的幅度、频率、波形参数，并将该参数发送到信号发生器；(3)驱动单元，根据处理单元发送过来的驱动信号参数生成相应的驱动信号，并将该信号输入到交互单元进行驱动；(4)交互单元，可以改变手指受到的切向力，使手指皮肤产生周期性变化的形变，感受到静电力触觉反馈。本发明利用静电力触觉反馈装置，获得人的手指与交互平面的交互信息，根据高清图像邻域内像素点灰度等级对高清图像进行分割，再通过对每个像素点的梯度加权平均得到分割图块的梯度，根据梯度和手指感知摩擦力映射模型以及摩擦力和驱动电压的映射模型得到驱动电压的幅值，可用于高清图像纹理特征提取以及触觉再现。本发明具有以下优点：1.本发明首先对高清图像像素点进行分割，像素点邻域内灰度级相同或相近的像素分割为同一图块，用图块内像素点的梯度加权平均值代替整个图块内像素的梯度值，再建立图像梯度和摩擦力的映射模型以及摩擦力和驱动电压的映射模型，此方法减小计算量，可以实现高清图像的特征提取以及触觉再现。2.本发明提出的基于高清图像的像素点灰度级别的分割方法，可以扩展到其他高清图像处理算法，也可以扩展到不同静电力触觉驱动模式下对高清图像纹理特征的触觉再现，所得结论易于推广应用。3.本发明提出的高清图像纹理特征提取及触觉再现算法，该方法再现真实性高，实时性好，显著提升多媒体终端触觉再现真实感呈现能力。4.本发明提供的高清图像纹理特征提取及触觉再现方法，可以扩展到基于不同触觉再现装置(如振动触觉再现装置、空气压膜触觉再现装置)的高清图像纹理特征提取以及触觉再现。附图说明图1是静电力触觉反馈装置框图；图2是高清图像纹理的力触觉再现流程图；图3高清图像分割方法流程图；图4是高清图像触觉再现渲染过程。具体实施方式所利用的静电力触觉反馈装置如图1所示，其结构以及工作流程如下：(1)定位单元11，包括能实现定位功能的装置，用于实时地跟踪手指的位置坐标，并将该坐标信息发送到处理单元14；(2)处理单元14，包括各种多媒体终端，用于输出视觉信息，接收定位单元11实时发送过来的手指的位置信息，对手指位置处的图像进行渲染得到触觉驱动信号的幅度、频率、波形参数，并将该参数发送到驱动单元13；(3)驱动单元13，根据处理单元14发送过来的驱动信号参数生成相应的驱动信号，并将该信号输入到交互单元12进行驱动；(4)交互单元12，可以同时改变手指受到的切向力，使手指皮肤产生周期性变化的形变,从而实现触觉再现感受。参见图2，基于静电力触觉反馈装置的高清图像纹理的力触觉再现方法，包括下列步骤：(1)首先将高清图像灰度化，生成灰度矩阵；高清图像有m×n个像素，每个像素都含有红、绿、蓝三种颜色分量，分别用r、g、b来表示，将其转化成二维数据矩阵，得到符合人类视觉的灰度矩阵：h(x，y)＝0.3r+0.59g+0.11bh(x，y)为像素点(x，y)的灰度值，其中x∈{0，1……m-1}，y∈{0，1……n-1}为高清图像中对应的像素点的坐标值；(2)计算高清图像中每一像素点梯度选取水平和垂直两个方向的模板和图像像素邻域，在以像素点(x，y)为中心的邻域内对待检高清图像做灰度加权和差分运算，此处选用3*3的模板匹配图像，相当于以3*3的窗口对图像进行滑动滤波，得到梯度fx和fy；-101-202-101(d)水平模板图-1-2-1000121(e)垂直模板图x-1，y-1x，y-1x+1，y-1x-1，yx，yx+1，yx-1，y+1x，y+1x+1，y+1(f)图像像素邻域fx(x，y)＝h(x+1，y-1)+2h(x+1，y)+h(x+1，y+1)-h(x-1，y-1)-2h(x+1，y)+h(x+1，y+1)-h(x-1，y-1)fy(x，y)＝h(x-1，y+1)+2h(x，y+1)+h(x+1，y+1)-h(x-1，y-1)-2h(x，y-1)-h(x+1，y-)(3)根据像素点灰度值对高清图像进行分割，以分割图块为单位构建梯度直方图，统计分割图块内每个像素点的梯度方向和梯度幅值，梯度方向范围是0°～180°，将其均匀分为9份，也就是每20°为一个bin，然后统计各分割图块中每个像素点的梯度方向，属于哪个区间，利用像素点的权值在该bin上加权，此处像素点的权值采用其梯度幅值；(4)对9个bin上的梯度向量进行加权，权值为每个bin的梯度幅值，最终得出每个分割图块的梯度幅值f和角度θ；(5)当手指在触摸屏上滑动时，手指运动的单位方向向量为：其中，wi是手指在ti时刻的位置向量，wi-1是手指ti-1时刻的位置向量，vi是手指运动方向的单位方向向量；(6)计算手指和触摸屏间的摩擦力为：其中，fi是ti时刻手指感知摩擦力的标量值，f0是非零的比例因子，f是高清图像分割图块梯度幅值，θi是梯度和运动方向两个向量的夹角；是高清图像分割图块梯度，vi是手指运动的单位方向向量；(7)计算装置的驱动电压：感知摩擦力和驱动电压之间在对数-对数条件下满足如下关系：fi＝1.24v-1.05其中，fi是对数条件下(6)中计算得出的手指感知摩擦力的标量值，v是施加到交互设备的上的电压幅值。参见图3，本发明所述步骤(3)中高清图像分割方法为：(a)对高清图像进行边缘提取；1)根据各像素点梯度值fs，设定阈值ts；2)若fs大于ts，则认为像素点(x，y)为边缘点；否则，认为像素点(x，y)为非边缘点；(b)用bersen算法对高清图像进行阈值分割，具体过程如下：1)选取像素点(x，y)，设定阈值s；2)根据高清图像灰度矩阵，计算以(x，y)为中心的大小为(2*w+1)(2*w+1)窗口内的所有像素的灰度最大值mb和最小值nb，，二者均值为tb；3)循环直至(mb-nb)>s，则当前点(x，y)的阈值为t1；4)对高清图像进行高斯平滑处理；5)对高斯平滑处理后的高清图像重复步骤ⅰ、ⅱ、ⅲ，得到阈值t2；6)取两个阈值的线性组合，确定阈值t＝(1-α)*t1+α*t2；7)根据阈值t对图像进行二值化；(c)用分水岭算法进行区域分割；1)根据高清图像灰度矩阵，对像素点的灰度值进行升序排列，并对高清图像中所有灰度数据中的局部极小值进行唯一标记；2)按照以下规则对最小灰度值到最大灰度值进行处理：如果在被标记值的邻域内有相同灰度值像素，则将标记传递给该像素；遍历全图直至完成所有相同灰度的标记，将标记传递给邻域内当前灰度值加一的灰度值；如果一个像素的邻域内有两个或两个以上的标记，则该像素属于分水岭中一点；在剩余的像素中找出新的局部最小值，并且被分配一个新的标记，如此循环直到所有像素点都被标记。图像的边缘是指图像上灰度值不连续的像素或者是变化强烈的像素，及其周围像素灰度有阶跃变化的像素的集合；阈值分割适用于目标和背景区别较大的图像；区域分割采用区域生长的方法，首先选取种子点作为起始点，寻找和该点特质相似的像素点，逐步增长区域，直至没有可以归并的点为止，此方法用来检测特征的相似性和均匀性。将边缘分割、阈值分割和区域分割三种方法结合起来后，图像被分为彼此没有公共区域的子模块，同一区域的像素点具有相似的灰度等级，不同区域的灰度等级有较大差异。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。当前第1页12