一种基于触觉纹理特征的跨模态物体材质检索方法与流程

本发明属于机器人触觉识别技术领域，特别涉及一种基于触觉纹理特征的跨模态物体材质检索方法。

背景技术：

随着智能制造和全球工业化的发展，物体材质识别在电子商务、皮革纺织和智能机器人等很多工业领域均有广泛应用。目前的材质识别通常基于物体表面的纹理图像，识别图像中物体的所属材质(如木质、玻璃、塑料、钢铁和纤维等)。但是，基于纹理图像的材质识别容易受到拍摄环境的影响，而且大的类内表观差异和小的类间表观差异通常会导致纹理特征的可区分力减弱、鲁棒性降低。除此之外，纹理图像无法准确反应与材质相关的物体属性。如，基于纹理图像，无法区分相同纹理的贴图和实物。

触觉纹理信息源于物体与手指相互接触过程中产生的摩擦振动信号，即触觉纹理信号，它携带了关于物体表面性质的信息，具有纹理图像不具有的触觉信息。已有学者通过实验证明，利用人工手指或智能手指，测量并分析物体与手指相互作用过程中的摩擦振动信号，便可将表面性质差异较大的物体分辨开来。此类研究也证明了，相对于其他方式而言，基于物体表面的触觉纹理信息能够更有效区分不同物体表面的特性，且可作为判断物体材质的重要依据。但是目前基于触觉纹理材质识别方法的准确率都较低，且都处于理论研究阶段。

图像含有较文本更为直观的信息，在人们日常生活中发挥着重要的作用，图像检索技术已成为一个非常活跃的研究领域。基于内容的图像检索是一种基于特征相似性匹配而进行的图像检索方法，它既能自动识别或者理解特征，又能基于特征相似匹配进行纹理图像的检索，可有效提高系统人性化和人机交互能力。在纹理相似性评价或基于纹理特征的图像检索这类人机交互应用中，寻找一种基于触觉特征的图像检索具有十分重要的意义。但是，目前还尚未存在基于触觉特征的跨模态图像检索方法。

技术实现要素：

本发明的目的是为了克服已有技术的不足之处，提出一种基于触觉纹理特征的跨模态物体材质检索方法。本发明利用与被测物体表面相互接触过程中产生的摩擦振动信号判断物体的材质，同时还可以从创建的纹理图像检索库中检索出与待检索物体表面触觉特征最相似的多种典型的纹理表面图像，通过该图像可以更加直观了解被测物体的材质属性。

为了实现上述目的，本发明采用如下技术方案：

一种基于触觉纹理特征的跨模态物体材质检索方法，包括以下步骤：

1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为a大类；在a大类材质类型中分别选取b种典型材质的纹理表面，共计m＝a×b种材质表面；对每一种材质进行编号，记为该材质的标签lⁱ，1≤lⁱ≤m，1≤i≤m；

2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：

2-1)触觉纹理训练数据集的建立：以设定的接触力在由步骤1-1)选取的m种材质表面进行滑动，每种材质进行n次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝m×n的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据为axⁱ,ayⁱ,azⁱ分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据；

2-2)纹理图像训练数据集的建立：对由步骤1)选取的m种材质表面随机拍摄n张图片，建立维度为p＝m×n的纹理图像训练数据集同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应；

3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：3-1)触觉纹理训练数据集，包括以下步骤：

3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集为合成后的加速度数据；

3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集u，具体包括：

3-1-2-1)利用离散小波变换(dwt)依次对步骤3-1-1)得到的一维加速度时域数据集中的aⁱ进行β级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，则每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量其中，且为整数，l(aⁱ)为aⁱ的数据长度；

3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量和细节系数时域分量利用快速傅里叶变换(fft)进行频域变换，得到对应的频域分量，分别为近似系数频域分量和细节系数频域分量

3-1-2-3)对一维加速度时域数据集分别均提取各训练样本一维加速度时域数据aⁱ的时域分量和频域分量和的平均值μ、标准差σ和能量e，作为相应训练样本的触觉纹理特征向量并以此得到所有训练样本的触觉纹理特征向量集，记为m为提取的各训练样本aⁱ的触觉纹理特征向量的维度，m＝2β×5；

3-2)纹理图像训练数据集，包括以下步骤：

3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；

3-2-2)纹理图像的特征提取得到纹理图像特征向量集v：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝m×n张纹理图像训练样本的纹理图像的特征向量集，记为

4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集u和步骤3-2)得到的触觉纹理特征向量集v进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵wu和wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集u和触觉纹理特征向量集v的相关性最大，分别记u*＝uwu为触觉纹理检索特征向量集、v*＝vwv为触觉纹理检索特征向量集；

5)纹理图像检索库的创建：

5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的m种材质在正常光照下的纹理表面的正面图片各一张，建立维度p′＝m的纹理图像检索库该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；

5-2)按照步骤3-2)对纹理图像检索库j中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为通过步骤4)求取的映射矩阵wv将纹理图像检索库j的纹理图像特征向量集q转换为纹理图像检索特征向量集q*＝qwv，q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将q^*及其标签都存储在纹理图像检索库中；

6)物体材质检索，包括以下步骤：

6-1)物体触觉纹理检索特征的提取，具体包括：

6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；

6-1-2)按照步骤3-1)得到待检索物体的m维触觉纹理特征向量，记为t；

6-1-3)根据步骤4)确定的映射矩阵wu将待检索物体的触觉纹理特征向量t转换为触觉纹理检索特征向量t*＝twu；

6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索，具体包括：

6-2-1)基于触觉纹理特征的相似性计算：运用knn分类辨识算法，以步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量t*和步骤5-2)提取的纹理图像检索库j中纹理图像检索特征向量集q^*为输入量，计算待检索物体特征向量t*和纹理图像的检索特征向量集q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；

6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库j中检索出与纹理图像检索特征向量相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。

与现有技术相比，本发明的技术特点及有益效果在于：

1、本发明利用采集纹理表面的摩擦振动信号作为纹理表面的触觉特征从纹理图像检索库中检索出与被检索表面最相似的纹理表面图像，即实现基于触觉特征的跨模态物体材质检索。该方法实现了触觉与视觉之间的信息转换，既充分利用触觉信息，又利于更好的人机交互。

2、本发明利用离散小波变换对合成的加速度数据进行分解，并基于这些分量进行特征向量提取，有效提高了基于触觉纹理信号进行材质识别的准确率。

3、本发明以日常生活中一些典型材质的纹理表面的图像为内容建立了一个纹理图像检索库。依据选择的触觉纹理特征，从纹理图像检索库中检索出与被测样本纹理表面相似的纹理表面图像。基于检索出来的纹理图像可以快速、直观地了解材质的特性。

4、本发明以多种材质的摩擦振动信号特征数据作为训练样本数据集，随着选用的材质不断增多，可以不断扩充训练集形成一个数据库，尽可能多的满足检索结果的广泛性和准确性。

附图说明

图1为本发明一个实施例中的应用离散小波变换的四阶分解过程。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了更好地理解本发明，以下详细阐述一个本发明一种基于触觉纹理特征的跨模态物体材质检索方法的应用实例。

本发明提出的一种基于触觉纹理特征的跨模态物体材质检索方法的工作流程，包括以下步骤：

1)触觉纹理训练样本材质选取：根据触觉特性将训练样本材质分为以木材、金属、石头、橡胶、纤维、泡沫，纸和织物等为例的a大类(本实施例选取a＝8大类)；在a大类材质类型中分别选取b种典型材质的纹理表面(以织物为例，典型材质的纹理表面有纯棉、木纤维、竹纤维、腈纶、涤纶、丝绒、牛仔、皮革、羊毛、绸缎等，b的大小与所构建的触觉纹理训练样本集大小相关，根据用户需求设置，各类材质皆为生活常见的材质物体)，共计m＝a×b种材质表面；对每一种材质进行编号，记为该材质的标签lⁱ，1≤lⁱ≤m,1≤i≤m。本实施实例以mattistrese等人提供的lmthaptictexturedatabase数据库为依据，选择80种材质表面，各材质表面的标签lⁱ满足：1≤lⁱ≤80。

2)训练样本数据集的建立，包括触觉纹理训练数据集和纹理图像训练数据集的建立：

2-1)触觉纹理训练数据集的建立：

以设定的接触力在由步骤1-1)选取的m种材质表面进行滑动(如将装有三轴加速度传感器的3d打印类手指的采集笔作为振动感受器在材质表面进行滑动)，每种材质进行n(n的选取可根据用户需求设定，如测试精度)次，采集摩擦振动信号，并均以三轴加速度数据形式输出，建立维度为p＝m×n的训练样本三轴加速度数据集作为触觉纹理训练数据集，其中，第i个训练样本的三轴加速度数据axⁱ,ayⁱ,azⁱ分别为第i个训练样本的加速度传感器在x、y、z轴上采集的数据，为时域数据。本实施例以0～4n的接触力在各材质表面上进行滑动，每种材质进行10次摩擦振动信号的采集，其中每次采集2048个数据点，因此，sⁱ的数据维度为2048×3，记为l(sⁱ)＝2048×3，输出的各样本三轴加速度数据通过python编写的人机交互界面以txt文件的格式进行保存，建立维度为p＝800的训练样本三轴加速度数据集作为触觉纹理训练数据集。

2-2)纹理图像训练数据集的建立：

采用相机对由步骤1)选取的m种材质表面随机拍摄n(与步骤2-1中的n值完全一致，便于后述步骤4的相关性分析)张图片(照片中物体表面图像应大于拍摄图片的四分之三以上)，建立维度为p＝m×n的纹理图像训练数据集同时，对各种材质的图片进行编号作为各图片的标签，该标签与步骤1)中相应材质的标签一一对应。本实施实例采用logilinkwebcam(ua-0072,分辨率：640*480，焦距：30mm)相机拍照，在不同光照、不同角度、不同距离等拍照条件随机对由步骤1)选取的m种材质表面各拍摄10张图片；建立维度为p＝800的纹理图像训练样本数据集各图片的标签与步骤1)中相应材质标签一一对应。

3)对步骤2)中建立的训练样本数据集预处理后进行特征提取，分为触觉纹理训练数据集和纹理图像训练数据集两部分：

3-1)触觉纹理训练数据集：

3-1-1)加速度数据预处理：分别对步骤2-1)中采集的各训练样本的三轴加速度数据进行合成，并以此得到所有训练样本的一维加速度时域数据集aⁱ为合成后的加速度数据，本实施例aⁱ的长度l(aⁱ)＝2048；三轴加速度数据合成的具体包括以下步骤：

3-1-1-1)将训练样本三轴加速度数据集中第i个训练样本的三轴加速度数据进行快速傅立叶变换(fft)，即从时域数据axⁱ,ayⁱ,azⁱ变换到频域数据axⁱ,ayⁱ,azⁱ，axⁱ,ayⁱ,azⁱ均为复数，根据该频域数据通过公式(1)计算第i个训练样本一维加速度频域数据的幅值信息|aⁱ|：

式(1)中，f表示频率，axⁱ(f)、ayⁱ(f)、azⁱ(f)分别表示与时域数据axⁱ,ayⁱ,azⁱ相对应的频谱数据；

3-1-1-2)将得到的一维加速度频域数据的幅值信息|aⁱ|通过公式(2)计算得到合成的一维加速度频域数据的相位信息θⁱ(f)：

式中，im和re分别表示对复数的虚数部分和实数部分的求取；

3-1-1-3)根据公式(1)求得的幅值信息|aⁱ|和公式(2)求得的相位信息θⁱ(f)进行反傅立叶变换，即将第i个训练样本的三轴加速度数据axⁱ,ayⁱ,azⁱ合成为一维加速度时域数据aⁱ，依次得到所有训练样本的一维加速度时域数据集

3-1-2)触觉加速度的特征提取得到触觉纹理特征向量集：

3-1-2-1)利用离散小波变换(dwt)依次对步骤3-1-1)得到的一维加速度时域数据集中的aⁱ进行β(依据采样定理的奈奎斯特准则，β的取值范围且为整数，其中l(aⁱ)为aⁱ的数据长度)级分解，每级由1个近似系数时域分量和1个细节系数时域分量构成，因此每个训练样本共有2β不同尺度和频带的时域分量，分别为近似系数时域分量和细节系数时域分量离散小波变换的分解过程具体包括以下步骤：

a)通过离散小波变换的高通滤波函数g[n]和低通滤波函数h[n]将各样本的一维加速度数据分解到不同频带；其中，将步骤3-1-1)得到的一维加速度时域数据集中第i个训练样本的一维加速度时域数据aⁱ，通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第一级分解，分别得到第一级细节系数时域分量(即高频系数)和第一级近似系数时域分量(即低频系数)，数学公式表示分别如公式(3)和(4)所示：

式中，aⁱ[m]表示aⁱ中的第m个数据，m的取值范围为1≤m≤l(aⁱ)，且m为整数，l(aⁱ)为aⁱ的数据长度；分别表示中的第k数据，k的取值范围均为1≤k≤m/2，且k为整数；

b)对第一级近似系数时域分量通过高通滤波函数g[n]后再进行下二采样和低通滤波函数h[n]后再进行下二采样进行第二级分解，分别得到第二级细节系数时域分量(即高频系数)和第二级近似系数时域分量(即低频系数)，依次类推，对各层的近似系数时域分量进行分解，一直进行到需要的分解级数β，得到aⁱ的2β个时域分量，分别为近似系数时域分量和细节系数时域分量

本实施例以紧支撑小波coif5为小波基函数(即由coif5小波基函数提供了用于分解的高通滤波函数g[n]和低通滤波函数h[n])对第i个训练样本的一维加速度时域数据aⁱ进行4级分解，每级均分别包括1个近似系数时域分量和1个细节系数时域分量，得到4个近似系数时域分量和4个细节系数时域分量共8个时域分量，记为和整个分解过程如图1所示，其中fb＝0～π/2，fb＝π/2～π，fb＝0～π/4，fb＝π/4～π/2，fb＝0～π/8，fb＝π/8～π/4，fb＝0～π/16，fb＝π/16～π/8分别表示aⁱ的时域分量a1、d1、a2、d2、a3、d3、a4、d4对应的频率范围，l(aⁱ)＝2048、l(a1)＝1024、l(d1)＝1024、l(a2)＝512、l(d2)＝512、l(a3)＝256、l(d3)＝256、l(a4)＝128、l(d4)＝128分别表示a1、d1、a2、d2、a3、d3、a4、d4的数据长度。

由于纹理表面特性不仅与触觉信号(时域振动信号)的频率分量有关，而且还与其时间特性相关，采用传统的频域分析法不能有效地表征纹理表面的触觉特性。本发明实施例采用的离散小波变换是将一个时间信号变换到时间频率域，在时域和频域都具有良好的局部特性。

3-1-2-2)将步骤3-1-2-1)得到的近似系数时域分量和细节系数时域分量利用快速傅里叶变换(fft)进行频域变换，得到对应的频域分量，分别为近似系数频域分量和细节系数频域分量本实施例分别为和共计8个频域分量。

3-1-2-3)对一维加速度时域数据集分别均提取各训练样本一维加速度时域数据aⁱ的时域分量和频域分量和的平均值μ、标准差σ和能量e，作为相应训练样本的触觉纹理特征向量并以此得到所有训练样本的触觉纹理特征向量集，记为m为提取的各训练样本aⁱ的触觉纹理特征向量的维度，由于时域分量的平均值为0，故m＝2β×5；其中，平均值的数学表达式如公式(6)所示：

标准差的数学表达式如公式(7)所示：

能量的数学表达式如公式(8)所示：

式中，xr泛指相应的分量(时域分量或频域分量)，r表示xr的数据点的个数；本实施例为m＝8×5＝40，则触觉加速度训练样本集中各训练样本的特征向量维度为40，记触觉纹理训练样本集的触觉纹理特征向量集

3-2)纹理图像训练数据集：

3-2-1)纹理图像预处理：采用卷积神经网络进行纹理图像特征提取前，先将步骤2-2)中采集的所有纹理图像的大小统一为所采用卷积神经网络输入图像的大小；本实施例将步骤2-2)中采集的所有纹理图像大小由640*480变为224*224，使其与卷积神经网络中的alexnet模型的输入图像大小相一致；

3-2-2)纹理图像的特征提取得到纹理图像特征向量集：通过迁移学习方法利用卷积神经网络中的网络模型提取t维图像特征，即每张图像由t个数据点来表示，并以此得到p＝m×n张纹理图像训练样本的纹理图像的特征向量集，记为本实施例采用卷积神经网络中训练好的alexnet模型(为已有技术)来提取t＝4096维的图像特征，得到p＝800张纹理图像训练样本的纹理图像的特征向量集

4)对提取的两种特征向量集进行相关性分析后进行相应检索特征的提取：

利用相关分析算法对步骤3-1)得到的触觉纹理特征向量集u和步骤3-2)得到的触觉纹理特征向量集v进行“触觉加速度—纹理图像”样本对的训练，分别通过映射矩阵wu和wv，将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使映射后的触觉纹理特征向量集u和触觉纹理特征向量集v的相关性最大，分别记u*＝uwu为触觉纹理检索特征向量集、v*＝vwv为触觉纹理检索特征向量集。

本实施实例利用典型相关分析算法(cca，为已有技术，参见hotelling,h.relationsbetweentwosetsofvariates.biometrika,28(3/4):321-377,1936.)对步骤3-1)得到的触觉纹理特征向量集u(本实施例该特征向量集的维度为800×40)和步骤3-2)得到的触觉纹理特征向量集v(本实施例该特征向量集的维度为800×4096)进行“触觉加速度—纹理图像”样本对的训练，u*和v*特征维度的取值范围为[1,40]，利用交叉验证的方法选取u*和v*相关性最大的映射矩阵wu和wv。本实施例通过交叉验证方法确定的u*和v*的特征维度为32，即wu的维度40×32，wu的维度为4096×32。

由于触觉纹理特征和纹理图像特征属于异构数据源，具有不同的表示维度和特征含义，无法将两种特征进行直接比较。因此，利用相关分析算法将触觉纹理特征和纹理图像特征从各自的特征空间映射到一个共同的空间，使其映射后的特征相关性最大。由于映射后的触觉纹理特征和纹理图像特征具有最大相关性且具有相同的维度，因此，映射后的特征就可以直接进行比较，为后续触觉纹理—纹理图像跨模态的检索作铺垫。

5)纹理图像检索库的创建：

5-1)采集物体表面的触觉纹理图像：采集由步骤1)选取的m种材质在正常光照下的纹理表面的正面图片(像素与步骤2-2中所采集图片的像素相同)各一张，建立维度p′＝m的纹理图像检索库该检索库中各图片的标签与步骤1)中相应材质的标签一一对应；本实施例采用logilinkwebcam(ua-0072,分辨率：640*480，焦距：30mm)相机对m种材质表面进行拍照，建立维度p′＝80的纹理图像检索库

5-2)按照步骤3-2)对纹理图像检索库j中的各个图片进行预处理和纹理图像特征提取，并以此得到纹理图像检索库的纹理图像特征向量集，记为通过步骤4)求取的映射矩阵wv将纹理图像检索库j的纹理图像特征向量集q转换为纹理图像检索特征向量集q*＝qwv，q*中各纹理图像检索特征向量的标签与步骤1)中相应材质标签一一对应，将q^*及其标签都存储在纹理图像检索库中，用于后续步骤6-2)。本实施例q*中各纹理图像检索特征向量的维度为32，故纹理图像检索特征向量集q*的维度为80×32，记为

6)物体材质检索，包括以下步骤：

6-1)物体触觉纹理检索特征的提取：

6-1-1)按照步骤2-1)，以一定接触力在待检索物体表面(可与训练样本集中的物体不同)进行滑动，采集待检索物体表面的摩擦振动，并均以三轴加速度信号形式输出；

6-1-2)按照步骤3-1)得到待检索物体的m(本实施例m＝40)维触觉纹理特征向量，记为t；

6-1-3)根据步骤4)确定的映射矩阵wu将待检索物体的触觉纹理特征向量t转换为触觉纹理检索特征向量t*＝twu；

6-2)根据触觉纹理特征的相似性进行跨模态物体材质检索：

6-2-1)基于触觉纹理特征的相似性计算：运用knn分类辨识算法，以上述步骤6-1-3)提取的待检索物体的触觉纹理检索特征向量t*和步骤5-2)提取的纹理图像检索库j中纹理图像检索特征向量集q^*为输入量，计算待检索物体特征向量t*和纹理图像的检索特征向量集q*中各个检索特征向量之间的相似性，并对该相似性进行升序排列；本实施实例采用欧式距离表示t*和中各个检索特征向量之间的相似度(欧式距离越短，相似度越大)，并根据相似度大小进行排序。

6-2-2)基于触觉纹理特征的跨模态物体材质检索：根据步骤6-2-1)确定的相似性排序结果从纹理图像检索库j中检索出与纹理图像检索特征向量(本实施例检索出相似性最大的三个纹理图像检索特征向量)相对应的纹理图片标签，输出相应的纹理表面图片，完成跨模态物体材质检索。