一种基于视触觉融合的目标属性和类别的识别方法
【技术领域】
[0001] 本发明设及一种基于视触觉融合的目标属性和类别的识别方法，属于物体分类技 术领域。
【背景技术】
[0002] B册系列的Barrett化nd灵巧手是一个可编程的多手指抓持器，它具有非常高的灵 活性，可W抓取不同形状、大小及姿态的目标物体。该灵巧手由S个手指F1、F2、F3和一个手 掌S四个触觉传感器组成，每个传感器分别包含24个触觉阵列，可抓取物体并采集所抓取物 体的触觉信息得到触觉时间序列。
[0003] 在现有的物体类型识别技术中，包括有多种不同方式的物体类型识别技术，例如： 基于启发式规则方式的物体类型识别技术，多采用物体的形状、大小、比例等简单信息对提 取的前景物体进行分析，得到物体的类型，但是运种方法比较简单，效果差且抗干扰能力 差。然而，基于灵巧手触觉和摄像头视觉信息的物体类别分类和属性分类从一个新的角度 对物体进行分类，得到鲁棒的效果。
[0004] 经对现有的技术文献检索分析，发现邓亚峰等人的发明专利"物体分类模型的训 练方法及利用该模型的识别方法，申请号为201010536354.r中掲示了一种物体分类模型 的基于图像的训练方法，此发明对提取的前景物体区域进行主轴归一化变换；同时，采用块 匹配技术对不同帖图像上的前景物体区域进行对齐处理，提取的前景物体区域中有效的物 体前景区域作为最终前景物体区域，从而实现物体分类。但该方法只是提取物体不同帖图 像作为分类特征，未将类似方法应用在触觉信息和视觉信息融合的方法上。
【发明内容】
[0005] 本发明的目的是提出一种基于视触觉融合的目标属性和类别的识别方法，在最近 邻算法的基础上实现基于视触觉信息的物体类别和属性类别分类，提高目标分类的鲁棒性 和准确率。
[0006] 本发明提出的基于视触觉融合的目标属性和类别的识别方法，包括W下步骤：
[0007] (1)采集作为训练样本物体的视触觉信息：
[000引设定用于精细目标识别的灵巧手的抓取力矩值为F，F = 2300-4000N/m，灵巧手手 掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放 到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z 时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个 抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过 程中灵巧手的手指的触觉信息，得到一个触觉时间序列；
[0009] (2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类 物体、j类属性，每个训练样本的标签为ci*、c/，其中1 y如、1幻?如，重复上述步骤（1)， 遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图 像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：
[0010] Str=[Sl,S2,---,SN]
[0011] (3)设测试样本的个数为M，利用上述步骤（1)和步骤(2)的方法，采集每个测试样 本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触 觉测试样本数据集，数据集的表达式为：
[001^ Ste=[Sl，S2，...，SM]
[0013] (4)设触觉训练样本数据集中，触觉时间序列Si的长度为Tn，表达式为： 8, = 口,,，8/，:，,..，8巧],其中1^如，
[0014] 触觉测试样本数据集中，触觉时间序列S J的长度为T m，表达式为： 3"?=民,.|，8.。,...,8诚.]''其中1^含]/[，
[0015] 设Si和Sj之间的抓取匹配路径为W，wk=(v，h)k为抓取匹配路径W中的第k个元素 ，WK 是W的最后一个路径，W = W1，W2，. . .，WK，maX(Tm，Tn) <K<Tm+Tn-l;
[0016] 根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列Si和Sj之间 的最小匹配路径DTW(Si，Sj)为：
[0017]
[001引其中，;^为K个抓取匹配路径之和；
[0019] (5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测 试样本数据集中的一个触觉时间序列Sj与触觉训练样本数据集中的所有触觉时间序列Str 之间的最小阳配路倒)TW(St . Str). 1 y < M，表达式为：
[0020]
[0021] Str=[Si,S2,---,SN]
[0022] DTW(Sj，Str) = [DTW(Sj，Si)，DTW(SJ，S2)，…，DTW(Sj，Sn)]
[0023] (6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试 样本数据集中的所有触觉时间序列Ste分别与触觉训练样本数据集中的所有触觉时间序列 Str的最小匹配路径DTW(Ste，Str),构建一个动态时间规整距离矩阵D :
[0024]
[0025] 上述距离矩阵D中，Dll是Ste中第一个触觉时间序列与Str中第一个触觉时间序列之 间的DTW距离，DiN是Ste中第一个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离， Dmi是Ste中第M个触觉时间序列与St冲第一个触觉时间序列之间的DTW距离，Dmn是Ste中第M 个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离；
[0026] (7)从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数 据集Rtr，表达式为：Rtr =化，R2，…，Rn]，
[0027] 从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集 Rte,表达式为：Rte= [Ri ,化，…，Rm]，
[002引采用Log-Euclidean距离dc。v(R。，Rr)，l<o<N，l非<M，近似度量视觉训练样本数 据集Rtr中的任意一个协方差描述子与视觉测试样本数据集Rte中的任意一个协方差描述子 之间的差异，表达式为：
[0029] dc〇v(R〇,Rr)= I Ilogm(Ro)-Iogm(Rr)I |f,
[0030] 其中Iogm表示对矩阵求对数；
[0031] (8)遍历视觉训练样本数据集Rtr中的所有协方差描述子，重复步骤(7)，得到视觉 测试样本数据集Rte中一个协方差描述子与视觉训练样本数据集Rtr中的所有协方差描述子 之间的Log-Euc 1 i dean距离d，表达式为：
[003^ d=[di,d2,...dN]
[0033] (9)遍历视觉测试样本数据集Rte中的所有协方差描述子，重复步骤(8)，得到视觉 测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之 间的Log-Euclidean距离d，构成Log-Euclidean距离矩阵Die,表达式为：
[0034]
[0035] 丄;问Wl吁UieT，U11疋Rte中第一个协方差描述子与R化中第一个协方差描述子 之间的Log-Euc 1 i dean距离，diN是Rte中第一个协方差描述子与Rtr中第N个协方差描述子之 间的Log-Eucl idean距离，dMi是Rte中第M个协方差描述子与Rtr中第一个协方差描述子之间 的Log-Euc 1 idean距离，dMN是Rte中第M个协方差描述子与Rtr中第N个协方差描述子之间的 Log-Euclide 曰 n 足巨离；
[0036] (10)根据上述步骤（6)得到的动态时间规整（DTW)距离矩阵D和步骤（9)得到的 Log-Euclidean距离矩阵Die,得到第A个测试样本的动态时间规整（DTW)距离Al和Log-Euclidean 距离 A2, 表达式为：
[0037] Ai=[Da'i,Da'2,... ,Da'n]
[003引 A2=[dA,l,dA,2,... ,dA,N]
[0039] 分别求出Al和A2中的最小值Da和db，其中I如如，I非如，根据最近邻算法，则第 a个训练样本的标签Ca巧P为第A个测试样本的属性，第b个训练样本的标签Cb巧P为第A个测 试样本的类别；
[0040] (11)重复步骤（10)，得到所有测试样本的属性和类别，完成目标属性和类别的识 别。
[0041] 本发明提出的基于视触觉融合的目标属性和类别的识别方法，具有W下优点：
[0042] 1、本发明提出的基于视触觉融合的目标属性和类别的识别方法，利用