一种基于触觉反馈的表面特征识别方法、装置及系统与流程

本发明涉及人机交互，具体而言，涉及一种基于触觉反馈的表面特征识别方法、装置及系统。

背景技术：

1、人机共融交互技术是指在自主适应动态环境下，研究使用者对机器人装置的直觉操控及机器人到使用者的同步感知反馈，实现人－机之间的双向自然交互。现有的双向人机交互技术主要表现为使用者对机器人的接口控制，具体包括通过脑机接口、表面/侵入式肌电接口及协作机器人的遥操作技术等，实现对机器人系统的直接或主从式控制。然而，人－机双向交互操作过程中，被控物体的表面粗糙度、纹理特征，由于其属性的复杂性，很难通过简单的压力、位移等传感信息进行有效的编码反馈。

2、有必要结合机器视觉与电触觉反馈提供一种新的物体粗糙度、纹理的识别方法解决上述技术问题。

技术实现思路

1、本发明的目的在于提供一种基于触觉反馈的表面特征识别方法、装置及系统，能够满足人－机交互使用者在无视觉反馈时可以通过物体粗糙度、纹理的触感识别需求；有视觉反馈时，提供触觉反馈，视－触觉共同作用，提升机交互的体验。

2、为达到上述目的，本发明提供一种基于触觉反馈的表面特征识别方法，包括：

3、获取图像集；

4、基于所述图像集构建粗糙度数据集和纹理数据集；

5、建立视觉识别模型；

6、通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型；

7、根据所述训练好的识别模型识别目标图像，获得识别结果，其中，所述识别结果包括粗糙度结果和纹理结果；

8、基于所述识别结果输出反馈结果。

9、可选地，所述基于所述图像集构建粗糙度数据集和纹理数据集包括：

10、基于粗糙度特征，对所述图像集添加粗糙度标签，获得粗糙度数据集，其中，所述粗糙度特征包括凸起间距、凸起形状和凸起排列方式；

11、基于纹理特征，对所述图像集添加纹理标签，获得纹理数据集，其中，所述纹理特征包括纯色纹理特征和非纯色纹理特征。

12、可选地，所述获取图像集包括：

13、获取预设粗糙度材料的图像，作为粗糙度图像；

14、获取预设纹理材料的图像，作为纹理图像；

15、将所述粗糙度图像和所述纹理图像作为所述图像集。

16、可选地，所述基于粗糙度特征，对所述图像集添加粗糙度标签，获得粗糙度数据集包括：

17、基于凸起点的外接圆直径确定所述凸起间距，其中，所述凸起间距至少包括五个距离等级；

18、基于所述凸起点的凸起截面形状为划分依据确定所述凸起形状，其中，所述凸起形状至少包括五个种类；

19、根据所述凸起点的连线形状确定所述凸起排列方式，其中，所述凸起排列方式至少包括线性排列方式和圆周排列方式。

20、可选地，所述基于所述图像集构建粗糙度数据集和纹理数据集还包括：

21、基于所述图像集构建粗糙度数据集和纹理数据集，其中，所述粗糙度数据集包括粗糙度训练集和粗糙度测试集，所述纹理数据集包括纹理训练集和纹理测试集，所述粗糙度训练集和所述粗糙度测试集中图像的比值与所述纹理训练集和所述纹理测试集中图像的比值相等。

22、可选地，所述视觉识别模型包括目标检测模型、图像分类模型和实例分割模型的至少一种，所述通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型包括：

23、通过所述粗糙度数据集训练所述视觉识别模型，获得粗糙度识别模型；

24、通过所述纹理数据集训练所述视觉识别模型，获得纹理识别模型。

25、可选地，所述通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型还包括：

26、判断所述粗糙度特征是否满足预设条件；

27、若所述粗糙度特征满足所述预设条件，则根据预设模型选择策略确定所述视觉识别模型的种类，并训练所述视觉识别模型，获得所述训练好的识别模型；

28、若所述粗糙度特征不满足所述预设条件，则选择任一所述视觉识别模型并进行训练，获得所述训练好的识别模型。

29、可选地，所述基于所述识别结果输出反馈结果包括：

30、根据粗糙度识别结果确定粗糙度反馈信号，其中，所述粗糙度结果包括凸起间距识别结果、凸起形状识别结果和凸起排列识别结果，所述粗糙度反馈信号包括第一反馈力、第一反馈电刺激和第一反馈时长的至少一种；

31、根据纹理识别结果确定纹理反馈信号，其中，所述纹理反馈信号包括第二反馈力、第二反馈电刺激和第二反馈时长的至少一种；

32、根据所述粗糙度反馈信号和所述纹理反馈信号确定所述反馈结果。

33、相对于现有技术，本发明基于图像集分别构建粗糙度数据集和纹理数据集，将待识别物体的表面粗糙度、纹理在机器视觉上的特征转化为可区分的触觉特征，并分为粗糙度和纹理两个独立不相关的特征，保证训练好的识别模型能准确识别物体的表面物理特征；在识别模型训练完毕后，获取目标图像并获得粗糙度结果和纹理结果两维度的结果，实现对特征的准确分类，保证机器视觉－触觉反馈的准确性。

34、另一方面，本发明还提供一种基于触觉反馈的表面特征识别装置，包括：

35、图像获取模块，其用于获取图像集；

36、数据集构建模块，其用于基于所述图像集构建粗糙度数据集和纹理数据集；

37、模型建立模块，其用于建立视觉识别模型；

38、模型训练模块，其用于通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型；

39、结果获得模块，其用于根据所述训练好的识别模型识别目标图像，获得识别结果，其中，所述识别结果包括粗糙度结果和纹理结果；

40、结果输出模块，其用于基于所述识别结果输出反馈结果。

41、所述基于触觉反馈的表面特征识别装置与现有技术相比所具有的有益效果与基于触觉反馈的表面特征识别方法相同，在此不再赘述。

42、第三方面，本发明还提供一种基于触觉反馈的表面特征识别系统，包括处理器、图像获取设备和反馈触发设备，所述处理器用于执行如上所述的基于触觉反馈的表面特征识别方法，所述基于触觉反馈的表面特征识别系统。

43、所述基于触觉反馈的表面特征识别系统与现有技术相比所具有的有益效果与基于触觉反馈的表面特征识别方法相同，在此不再赘述。

技术特征：

1.一种基于触觉反馈的表面特征识别方法，其特征在于，包括：

2.根据权利要求1所述的基于触觉反馈的表面特征识别方法，其特征在于，所述基于所述图像集构建粗糙度数据集和纹理数据集包括：

3.根据权利要求2所述的基于触觉反馈的表面特征识别方法，其特征在于，所述获取图像集包括：

4.根据权利要求2所述的基于触觉反馈的表面特征识别方法，其特征在于，所述基于粗糙度特征，对所述图像集添加粗糙度标签，获得粗糙度数据集包括：

5.根据权利要求1所述的基于触觉反馈的表面特征识别方法，其特征在于，所述基于所述图像集构建粗糙度数据集和纹理数据集还包括：

6.根据权利要求1所述的基于触觉反馈的表面特征识别方法，其特征在于，所述视觉识别模型包括目标检测模型、图像分类模型和实例分割模型的至少一种，所述通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型包括：

7.根据权利要求2所述的基于触觉反馈的表面特征识别方法，其特征在于，所述通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型还包括：

8.根据权利要求1所述的基于触觉反馈的表面特征识别方法，其特征在于，所述基于所述识别结果输出反馈结果包括：

9.一种基于触觉反馈的表面特征识别装置，其特征在于，包括：

10.一种基于触觉反馈的表面特征识别系统，其特征在于，包括处理器、图像获取设备和反馈触发设备，所述处理器用于执行如权利要求1-8任意一项所述的基于触觉反馈的表面特征识别方法。

技术总结
本发明公开了一种基于触觉反馈的表面特征识别方法、装置及系统，包括：获取图像集；基于所述图像集构建粗糙度数据集和纹理数据集；建立视觉识别模型；通过所述粗糙度数据集和所述纹理数据集训练所述视觉识别模型，获得训练好的识别模型；根据所述训练好的识别模型识别目标图像，获得识别结果，其中，所述识别结果包括粗糙度结果和纹理结果；基于所述识别结果输出反馈结果。电触觉反馈以图像识别结果为驱动信号，驱动电刺激系统装置输出电脉冲刺激到人体皮肤，通过构建电触觉感知诱发模型，诱发匹配的触觉感知模式，实现物体粗糙度或纹理的触觉感知反馈。本发明实现对物体粗糙度/纹理特征的触觉感知区分，满足多种场景的人－机共融交互需求。

技术研发人员：柴国鸿,林子轩,左国坤,张佳楫
受保护的技术使用者：宁波慈溪生物医学工程研究所
技术研发日：
技术公布日：2024/1/13