机械臂、制造机械臂的方法以及交互式反馈系统

1.本技术涉及机械臂技术领域，更具体地说，涉及一种机械臂、制造机械臂的方法以及交互式反馈系统。


背景技术：

2.自供电机械臂作为一种很有前途的应用，其发展前景受到广泛关注，例如，将自供电机械臂应用于无人工作空间，比如虚拟商店应用。
3.然而，由于现有技术中的机械臂缺乏强大的感测能力和目标物识别的多功能性，故不适用于虚拟商店应用，因而无法在虚拟现实空间和真实空间的交互式反馈中给用户提供一种沉浸式的操作体验。


技术实现要素：

4.本技术所要解决的技术问题在于：针对现有技术中的机械臂缺乏强大的感测能力和目标物识别的多功能性，故不适用于虚拟商店应用，因而无法在虚拟现实空间和真实空间的交互式反馈过程中给用户提供一种沉浸式的操作体验的技术缺陷，提供了一种集成自供电传感器的智能软机械臂，该机械臂由t-teng(触觉-摩擦电纳米发电机)传感器，l-teng(长度-摩擦电纳米发电机)传感器以及pvdf(聚偏氟乙烯)热释电温度传感器组成。
5.为此，本技术为解决上述技术问题所采用的技术方案如下：提供一种集成自供电传感器的机械臂，包括：
6.多个软气动致动器；
7.第一teng传感器；其中，所述第一teng传感器耦合到每个所述软气动致动器上，且被配置为产生及输出表征所述软气动致动器响应用户在虚拟现实空间中选择的操作在真实空间中夹持目标物时的弯曲角度的输出信号；其中，所述虚拟现实空间复制并模拟所述真实空间；
8.第二teng传感器；其中，所述第二teng传感器耦合到每个所述软气动致动器上，且被配置为采集所述软气动致动器与所述目标物接触时产生的接触信息，并输出信号；
9.温度传感器；其中，所述温度传感器耦合到所述多个软气动致动器中的其中一个，且被配置为在所述软气动致动器与目标物接触时产生与目标物的温度相关的输出信号；
10.机器学习及分类模块；其中，机器学习及分类模块被配置为基于从所述第一teng传感器的输出信号和所述第二teng传感器的输出信号中提取的特征识别被所述软气动致动器夹持的所述目标物的形状，并输出表征所述目标物的形状的识别信号；和
11.界面，用于将来自所述机器学习及分类模块的所述识别信号和来自所述温度传感器的所述输出信号提供给虚拟化模块，使得所述虚拟化模块基于所述识别信号和来自所述温度传感器的所述输出信号在所述虚拟现实空间中重建一个与所述真实空间中的所述目标物具有相同大小和形态的虚拟目标物。
12.进一步地，所述第一teng传感器包括：
13.可旋转齿轮，所述可旋转齿轮包括一个或多个相对于齿轮旋转轴向外延伸的齿轮齿，每个齿轮齿有第一电子亲和力的第一材料；
14.分层结构，包括：
15.第二材料层，其中，所述第二材料层具有不同于第一电子亲和力的第二电子亲和力；
16.电极层；和
17.与所述可旋转齿轮连接，用于使所述可旋转齿轮旋转，进而使得所述第一材料与所述第二材料层间歇性接触的条带。
18.进一步地，所述第二teng传感器包括：
19.基板；
20.形成在基板上的电极阵列；和
21.用于将电极阵列封装在衬底上并具有第三电子亲和性的第三材料层；
22.其中，所述电极阵列包括一组间隔开的第一电极和一个第二电极，所述第二电极沿间隔开的所述第一电极进行延伸，使得能够基于经由所述第一电极和所述第二电极测量的摩擦电信号来确定所述第三材料和具有第四电子亲和性的第四材料之间的接触位置和接触面积。
23.进一步地，所述第一teng传感器用于通过计算所述可旋转齿轮与第二材料层间歇性接触产生的摩擦电信号的输出峰的数量来测量所述软气动致动器的弯曲角度。
24.进一步地，所述温度传感器产生的与温度相关的输出信号包括叠加的热释电信号和压电信号，所述温度传感器具体用于基于热释电信号的输出幅值检测被抓取的目标物的温度。
25.进一步地，所述温度传感器为pvdf温度传感器，所述pvdf温度传感器包括极化pvdf膜，其中，在所述pvdf膜的两个相对面上设有第一银电极和第二银电极。
26.进一步地，所述pvdf温度传感器连接到所述软气动致动器的内表面。
27.进一步地，所述基板为tpu基板，所述第一电极是形成在所述tpu基板上的短电极，所述第二电极是形成在所述tpu基板上的长电极。
28.进一步地，所述tpu基板顶部覆盖有一层用作负摩擦电材料的硅树脂层。
29.进一步地，所述机械臂还包括安装在所述齿轮旋转轴上的蝶形弹簧，所述蝶形弹簧用于在空气流出所述软气动致动器时为所述软气动致动器提供恢复力。
30.进一步地，在对所述气动致动器充气时，所述条带被拉动，进而带动所述可旋转齿轮进行旋转，使得所述第一材料与所述第二材料层间歇性接触；
31.进一步地，所述第二材料层为负聚四氟乙烯(ptfe)膜。
32.进一步地，机器学习及分类模块具体用于基于通过1d-cnn ml算法从所述第一teng传感器的输出信号和所述第二teng传感器的输出信号中提取特征并识别被所述软气动致动器夹持的所述目标物的形状和类别，并利用t-sne算法对提取出的特征进行可视化。
33.进一步地，所述软气动致动器为气动手指。
34.进一步地，所述第一teng传感器为l-teng传感器，所述l-teng传感器配置为用于监测所述气动手指的手指弯曲；所述第二teng传感器为t-teng传感器，所述t-teng传感器配置为采集所述气动手指与所述目标物接触时产生的接触信息。
35.本技术还提出了一种制造机械臂的方法，所述方法包括：
36.提供多个软气动致动器；
37.提供第一teng传感器，其中，所述第一teng传感器耦合到每个所述软气动致动器上，且被配置为产生及输出表征所述软气动致动器响应用户在虚拟现实空间中选择的操作在真实空间中夹持目标物时的弯曲角度的输出信号；其中，所述虚拟现实空间复制并模拟所述真实空间；
38.提供第二teng传感器，其中，所述第二teng传感器耦合到每个所述软气动致动器上，且被配置为采集及输出所述软气动致动器与所述目标物接触时产生的接触信号；
39.提供温度传感器，其中，所述温度传感器耦合到每个所述软气动致动器上，且被配置为在所述软气动致动器与目标物接触时产生与目标物的温度相关的输出信号；
40.提供机器学习及分类模块，其中，所述机器学习及分类模块被配置为基于从所述第一teng传感器的输出信号和所述第二teng传感器的输出信号中提取的特征识别被所述软气动致动器夹持的所述目标物的形状，输出表征所述目标物的形状的识别信号；以及
41.提供一个界面，通过所述界面将来自所述机器学习及分类模块的所述识别信号和来自所述温度传感器的所述输出信号提供给虚拟化模块，以基于所述识别信号和来自所述温度传感器的所述输出信号在所述虚拟现实空间中重建一个与所述真实空间中的所述目标物具有相同大小，形态和温度的虚拟目标物。
42.本技术还提出了一种交互式反馈系统，所述交互式反馈系统包括：
43.如上所述的机械臂；和
44.虚拟化模块；
45.其中，所述虚拟化模块用于基于来自所述机械臂的所述机器学习及分类模块的输出信号和来自所述机械臂的所述温度传感器的输出信号在所述虚拟现实空间中重建一个与所述真实空间中的所述目标物具有相同大小，形态和温度的虚拟目标物。
46.实施本技术机械臂、制造机械臂的方法以及交互式反馈系统，能够实现以下有益效果：
47.本技术提出了一种集成有自供电传感器(即摩擦电纳米发电机传感器)的机械臂及交互式反馈系统，用于采集软机械臂的连续运动和触觉信息，并利用支持向量机算法对软机械臂工作过程中采集到的摩擦电传感信息进行训练，使得对不同目标物识别的准确率能够达到98.1％。除了利用teng传感器检测到与接触相关的接触信息和软执行致动器的弯曲运动/变形之外，还可以使用pvdf传感器测量被软执行致动器夹持的目标物的温度分布，从而实现多功能感测。此外，本技术还体现了利用机械臂在识别形状和大小相似的不同目标物以及在不同抓取方向上抓取相同目标物的方面的性能。
附图说明
48.下面结合附图和具体实施方式，对本技术机械臂、制造机械臂的方法以及交互式反馈系统进行说明，其中：
49.图1示出了根据示例性实施例的集成自供电传感器的智能机械臂的结构图；
50.图2a(i)、图2a(ii)、图2b(i)、图2b(ii)示出了根据示例性实施例的第一teng传感器和第二teng传感器的结构及其工作原理；
51.图3示出了根据示例性实施例的温度传感器的结构及其工作原理；
52.图4示出了制造机械臂的方法的执行流程；以及
53.图5示出了交互式反馈系统的结构框图。
具体实施方式
54.为了使本技术的发明目的、技术方案及其技术效果更加清晰明了，以下结合附图和具体实施方式，对本技术进行进一步地详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本技术，并非为了限定本技术。
55.为了解决现有技术中的机械臂100缺乏强大的感测能力和目标物识别的多功能性，故不适用于虚拟商店应用，因而无法在虚拟现实空间和真实空间的交互式反馈过程中给用户提供一种沉浸式的操作体验的技术缺陷，本技术的创新点至少体现在以下几个方面：
56.一、在第一teng传感器200(也即，l-teng传感器)的可旋转齿轮206上覆盖一层镍织物，作为正摩擦电材料。当对软气动致动器116进行充气时，与齿轮相连的条带208将被拉伸，使齿轮206旋转，轮齿间歇性地与第二材料层(即负聚四氟乙烯(ptfe)膜)接触。由于接触面上的摩擦带电和铜电极中的电势变化，产生的摩擦电输出峰的数量将如图2(a)所示，其中输出峰的数量代表气动手指的弯曲角度(30度/峰值)，使得第一teng传感器200能够用于通过计算可旋转齿轮206与第二材料层间歇性接触产生的摩擦电信号的输出峰的数量来测量软气动致动器116的弯曲角度。此外，通过加大齿轮尺寸，增加齿轮齿210的数量，其分辨率还可得到进一步提高。
57.二、通过1d-cnn ml算法从第一teng传感器200的输出信号和第二teng传感器202的输出信号中提取特征并识别被软气动致动器116夹持的目标物的形状和类别，并利用t-sne算法对提取出的特征进行可视化，对多个细长目标物的识别准确率高达97％，并且不受抓取角度的影响。
58.三、由硅橡胶制成的第二teng传感器202(也即，t-teng传感器)具有良好的灵活性，能够在不同变形条件下很好地适应和跟踪软气动致动器116(也即，气动手指)。第一teng传感器200通过计算输出峰的数量来测量软气动致动器116的弯曲角度，能够避免环境影响(湿度、温度等)。pvdf传感器基于热释电输出幅值检测被抓取的目标物的温度，在宽温度范围内具有高线性度，温度分辨率可低至1℃。机器学习及分类模块在数据层面上整合来自传感器的触觉和软气动致动器116弯曲角度检测信息，可以利用机器学习增强数据分析帮助机械臂100实现更复杂的感知功能。因此，在基于数字孪生的虚拟商店应用程序中，被抓取的目标物的识别作为验证反馈实现。
59.四、提供了一种适用于虚拟商店应用的交互式反馈系统10，该交互式反馈系统10能够帮助用户实时地与真实空间进行远程交互，给用户提供一种沉浸式的操作体验。
60.下面将结合附图及具体实施例对本技术作出详细说明：
61.图1示出了根据示例性实施例的集成自供电传感器的机械臂100的结构。
62.具体地，该机械臂100包括：
63.多个软气动致动器116；
64.第一teng(摩擦电纳米发电机)传感器200；其中，第一teng传感器200耦合到每个
软气动致动器116上，且被配置为产生及输出表征该软气动致动器116响应用户在虚拟现实空间中选择的操作在真实空间中夹持目标物时的弯曲角度的输出信号；其中，该虚拟现实空间复制并模拟真实空间；
65.第二teng(摩擦电纳米发电机)传感器202；其中，该第二teng传感器202耦合到每个软气动致动器116上，且被配置为采集该软气动致动器116与目标物接触时产生的接触信息，并输出信号；
66.温度传感器106；其中，该温度传感器106耦合每个软气动致动器116上，且被配置为在软气动致动器116与目标物接触时产生与目标物的温度相关的输出信号；
67.机器学习及分类模块；其中，机器学习及分类模块被配置为基于从该第一teng传感器200的输出信号和该第二teng传感器202的输出信号中提取的特征识别被该软气动致动器116夹持的目标物的形状，并输出表征该目标物的形状的识别信号；和
68.界面，用于将来自该机器学习及分类模块的识别信号和来自该温度传感器106的输出信号提供给虚拟化模块300，使得该虚拟化模块300基于该机器学习及分类模块的识别信号和来自该温度传感器106的输出信号在虚拟现实空间中重建一个与真实空间中的目标物具有相同大小和形态的虚拟目标物。
69.其中，该软气动致动器116可以是气动手指。该第一teng传感器可以是l-teng(长度-摩擦电纳米发电机)传感器(如图1(ii)所示)，该l-teng传感器配置为用于监测所述气动手指的手指弯曲。该第二teng传感器202可以是用于接触位置和接触面积的检测的t-teng(触觉-摩擦电纳米发电机)传感器(如图1(iii)所示)，该t-teng传感器配置为采集所述气动手指与所述目标物接触时产生的接触信息。该温度传感器106可以是用于温度检测的pvdf(聚偏二氟乙烯)传感器(如图1(iv)所示)。该pvdf温度传感器106包括极化pvdf膜，其中，在所述pvdf膜的两个相对面上设有第一银电极和第二银电极。该t-teng传感器可由硅橡胶制成，由硅胶制成的t-teng传感器具有良好的灵活性，在不同变形条件下能够很好地适应和跟踪气动手指。第一teng传感器200通过计算输出峰的数量来测量气动手指的弯曲角度，能够避免环境(例如，湿度、温度等)对检测结果造成的影响。该pvdf传感器基于热释电输出幅值检测被抓取的目标物的温度，在宽温度范围内具有高线性度，温度分辨率可低至1℃。该机器学习及分类模块具体用于基于通过1d-cnn ml算法从第一teng传感器200的输出信号和第二teng传感器202的输出信号中提取特征并识别被该软气动致动器116夹持的目标物的形状和类别，并利用t-sne算法对提取出的特征进行可视化。因此，该机器学习及分类模块在数据层面上整合来自传感器的触觉信息和气动手指弯曲角度检测信息，可以利用机器学习增强数据分析帮助机械臂100实现更复杂的感知功能。
70.进一步地，该第一teng传感器200包括：
71.可旋转齿轮206，可旋转齿轮206包括一个或多个相对于齿轮旋转轴向外延伸的齿轮齿210，每个齿轮齿210有第一电子亲和力的第一材料；
72.分层结构，包括：第二材料层，其中，该第二材料层具有不同于第一电子亲和力的第二电子亲和力；电极层；和与该可旋转齿轮206连接，用于使该可旋转齿轮206旋转，进而使得第一材料与第二材料层间歇性接触的条带208。具体地，在对该气动致动器116充气时，该条带208被拉动，进而带动可旋转齿轮206进行旋转，使得第一材料与第二材料间歇性接触。
73.该第二材料可以为负聚四氟乙烯(ptfe)膜212。
74.进一步地，该第二teng传感器202包括：基板218；形成在基板218上的电极阵列；和用于将电极阵列封装在衬底上并具有第三电子亲和性的第三材料层；
75.其中，该电极阵列包括一组间隔开的第一电极(e1,e2,e3)和一个第二电极e
l
，该第二电极e
l
沿间隔开的第一电极(e1,e2,e3)进行延伸，使得能够基于经由第一电极(e1,e2,e3)和第二电极e
l
测量的摩擦电信号来确定第三材料和具有第四电子亲和性的第四材料之间的接触位置和接触面积。
76.进一步地，该第一teng传感器200用于通过计算该可旋转齿轮206与第二材料层间歇性接触产生的摩擦电信号的输出峰的数量来测量软气动致动器116的弯曲角度。
77.进一步地，该温度传感器106产生的与温度相关的输出信号包括叠加的热释电信号和压电信号，并且该温度传感器106具体用于基于热释电信号的输出幅值检测被抓取的目标物的温度。
78.进一步地，该pvdf温度传感器106连接到该软气动致动器116的内表面。
79.进一步地，如图2b(i)所示，该基板218为tpu(热塑性聚氨酯)基板218，该第一电极(e1,e2,e3)是形成在所述tpu基板218上的短电极，该第二电极e
l
是形成在tpu基板218上的长电极。
80.进一步地，该tpu基板218顶部覆盖有一层用作负摩擦电材料的硅树脂层222。
81.进一步地，如图2a(i)所示，该机械臂100还包括安装在齿轮旋转轴上的蝶形弹簧216，该蝶形弹簧216用于在空气流出该软气动致动器116时为该软气动致动器116提供恢复力。
82.图2示出了第一teng传感器200、第二teng传感器202的结构及其工作机制。图3示出了温度传感器的结构及其工作机制。其中，第一teng传感器200的工作机理如图2a(i)、图2a(ii)所示，第二teng传感器202的工作机理如图2b(i)和图2b(ii)所示。第一leng传感器的可旋转齿轮206上覆盖有一层镍织物，作为正摩擦电材料。当对软气动致动器116充气时，与齿轮相连的条带208将被拉伸，使齿轮旋转，进而使得齿轮齿210与负聚四氟乙烯(ptfe)膜间歇性地接触。由于接触面上的摩擦带电和铜电极中的电势变化，摩擦电的输出峰的数量的产生将如图2a(ii)所示，其中输出峰的数量代表气动手指的弯曲角度(30度/峰值)，并且随着齿轮尺寸和齿数的增加，其分辨率可得到进一步提高。此外，安装在可旋转齿轮206的轴上的碟形弹簧216能够在空气流出时为气动手指提供恢复力。接下来，第二teng传感器202设计成用于采集气动手指与外部目标物接触时的触觉相关信息。如图2b(i)所示，tpu基板218上有三个短电极(分别标记为e1、e2和e3)和一个长电极(标记为e
l
)，tpu基板218顶部覆盖一层硅树脂作为负摩擦电材料。当该硅树脂与目标物接触时，该硅树脂通常会吸引目标物表面上的负电荷，从而通过静电感应在附着的4个电极上产生摩擦电输出。由于短电极(e1、e2和e3)在第二teng传感器202表面的不同位置，这些短电极在与目标物的接触期间导致各个通道中的输出幅值不同，如图2b(ii)所示。当外部目标物与第二teng传感器202其中一个短电极的正上方位置接触时，大多数电荷将在对应的电极中感应，而在其他短电极中几乎没有输出。然而，当刺激发生在两个相邻电极的中间区域时，两个电极都将具有输出。这种特征可以进一步用于确定第二teng传感器202表面上的特定接触位置。此外，不同的接触面积也会在长电极e
l
中感应出不同数量的电荷，根据该长电极e
l
的电压幅值，可将该长电
极e
l
用于接触面积检测。
83.图3左半部分显示了温度传感器106(即pvdf传感器)的详细结构。具体地，该pvdf传感器包括一个极化pvdf膜，其两面都具有银电极，并用聚对苯二甲酸乙二醇酯(pet)薄膜进行封装。与第二teng传感器202面板类似，pvdf传感器也连接到气动手指的内表面，用于在与外部目标物接触时产生与温度相关的输出。当极化pvdf膜冷却时，由于较低的热活度，电偶极子在较小的扩散角内振荡，自发极化将增强。然后，由于静电感应，自发极化的变化可以驱动电子在两个电极之间流动并产生输出。当施加到极化pvdf膜上的温度升高时，电偶极子在其各自对准轴上的扩散变得更大，从而减少自发极化，并导致电子朝相反方向流动。图3右半部分显示了pvdf膜在不同温度和相同接触力下与目标物接触时的输出电压。当在目标物和pvdf传感器之间不存在温差(目标物温度＝25℃，室温)时，输出电压完全由接触压力产生，在接触压力下产生负峰值，当pvdf膜和目标物分离时，随后出现正峰值。当目标物的温度降低，低于pvdf膜的温度(目标物温度＝20℃、10℃、0℃)时，由于接触时基于热电的温差产生更大、更宽的负峰，负峰方向与压力引起的输出方向相同，因此存在压电和热释电输出之间的叠加效应。但由于压电输出相比热释电输出较小，其产生的误差可以忽略不计。可以看出，负峰幅值随着温差的增加而增加。
84.然而，如图3所示，当目标物的温度升高并高于室温(目标物温度＝30℃、40℃、50℃)时，由于pvdf中电偶极子在其各自的对准轴上的更大传播(其峰值方向与压力方向相反)，在碰撞期间产生正电压峰值，并完全抵消压电输出，如图3的右半部分所示。pvdf传感单元具有很强的温度感知能力。
85.在一个优选实施例中，本技术还公开了对球形和椭圆形目标物的识别原理。
86.具体地，本技术提出了了一种用于被抓取目标物的识别的ai(人工智能)增强型三指机械臂100。其中，每个软气动致动器116由一个l-teng传感器和一个t-teng传感器组成，因此总共有15个通道(每个t-teng传感器具有4个通道，每个l-teng传感器具有1个通道)用于数据采集。这里，通过对每个目标物重复抓取100次，建立了由6个不同大小的球形目标物和3个椭圆形目标物组成的数据集。每个通道的数据长度为200，然后构建一个3层1d-cnn，用于进一步的数据特征提取和分类。从每个目标物的100个样本中以8:2的比例随机选择训练和测试样本，经过多达50次的历次训练后，测试精度可以达到96.1％。几个球形目标物的误差可以接受，因为这些球形目标物的曲率和大小相似。这也体现了本技术提供的机械臂100的强大感测能力。
87.在一个优选实施例中，本技术还进一步公开了对细长型目标物的识别原理。
88.与抓取球形目标物不同的是，抓取细长目标物的角度会对接触点产生很大影响，从而为同一目标物产生不同的输出。此外，对于相同角度的不同细长目标物，相似的接触位置和接触面积也增加了识别的难度。这里，分别在垂直和水平方向抓取五个不同形状和大小的细长型目标物。由于在相同的夹持角度下有相似的接触点，很难从波形中直接区分五个目标物之间的差异。然而，在通过采用1d-cnn算法进行特征提取后，成功地利用t-sne算法对提取特征进行可视化。很明显，同一目标物在同一夹角下的数据点聚集在一起，很容易用二维信息进行区分，这证明了1d-cnn算法在识别细长目标物方面的有效性。通过连接分类器进行分类，对这五个具有两个不同夹持角度的细长目标物的识别准确率高达97％。如果在同一目标物的两个不同角度的数据上贴上相同的标签，然后重新训练，准确率仍然可
以保持在96％以上，这表明只要能够从每个目标物的不同角度收集更多数据，使数据集更具普适性，就可以避免不同抓取角度的影响。
89.在一个优选实施方式中，本技术还提出了一种制造机械臂100的方法，如图4所示，该方法具体包括如下步骤：
90.步骤s101，提供多个软气动致动器116；
91.步骤s102，提供第一teng传感器200，其中，该第一teng传感器200耦合到每个软气动致动器116上，且被配置为产生及输出表征软气动致动器116响应用户在虚拟现实空间中选择的操作在真实空间中夹持目标物时的弯曲角度的输出信号；其中，虚拟现实空间复制并模拟真实空间；
92.步骤s103，提供第二teng传感器202，其中，该第二teng传感器202耦合到每个软气动致动器116上，且被配置为采集及输出软气动致动器116与目标物接触时产生的接触信号；
93.步骤s104,提供温度传感器106，其中，温度传感器106耦合到每个软气动致动器116上，且被配置为在软气动致动器116与目标物接触时产生与目标物的温度相关的输出信号；
94.步骤s105，提供机器学习及分类模块，其中，该机器学习及分类模块被配置为基于从第一teng传感器200的输出信号和第二teng传感器202的输出信号中提取的特征识别被该软气动致动器116夹持的目标物的形状，输出表征该目标物的形状的识别信号；以及
95.步骤s106，提供一个界面，通过该界面将来自该机器学习及分类模块的识别信号和来自该温度传感器106的输出信号提供给虚拟化模块300，以基于来自该机器学习及分类模块的识别信号和来自该温度传感器106的输出信号在虚拟现实空间中重建一个与真实空间中的目标物具有相同大小，形态和温度的虚拟目标物。
96.在一个优选实施方式中，本技术还提出了一种交互式反馈系统10，该交互式反馈系统10包括上述的机械臂100和虚拟化模块300。
97.其中，该虚拟化模块300用于基于来自机械臂100的机器学习及分类模块的输出信号和来自机械臂100的温度传感器106的输出信号在虚拟现实空间中重建一个与真实空间中的目标物具有相同大小，形态和温度的虚拟目标物。
98.本技术还公开了机械臂100支持的基于数字孪生的虚拟商店系统的应用。该虚拟商店复制并模拟实体商店的真实空间。同时，在真正的无人商店空间中，智能机械臂100将执行与用户侧的运动和选择相对应的协调运动，然后在真实空间中抓住所选商品。可以将来自真实空间的机械臂100侧的预测结果实时地传回用户侧，并在虚拟现实空间中重建所选商品，以进行反馈和验证。对数据集进行了扩大，并增加了各种形状的常见商品，包括立方体、细长形、圆柱形、椭圆形、球形等。很明显，每个物品的数据点都聚集在一起，即使类别数高达28个，仍然可以实现97.14％的高识别准确率，这表明支持机器学习的机械臂100适用于各种目标物形状。
99.虚拟商店系统的具体操作细节介绍如下：用户首先在虚拟空间中选择并抓住数据集中存在的一个商品。然后，真正无人操作的车间空间中的软机械臂100将根据用户的移动和选择抓取相同的产品，根据气动手指的实际接触和变形条件，生成从第一teng和第二teng传感器202收集的15通道输出波形。然后，基于28个商品的数据集所训练出的机器学习
的模型，根据这15个通道的输出进行识别，并实时传输反馈信息，在虚拟现实空间中重建与真实空间的目标物具有相同大小，形状和温度的虚拟目标物。生成的虚拟目标物(例如商品)在虚拟现实空间中漂浮在用户的手上，用户可以通过转动手，从各个方向对商品进行更详细的观察。该功能提供了更直观的产品印象，以及现场选择商品的感觉。此外，考虑到真实空间中状态更新的延迟可能导致真实空间和虚拟现实空间之间的错误，用户还可以判断机械臂100是否夹持了正确的商品，作为验证功能。验证后，用户可以通过将目标物直接放在小车上或放回虚拟现实空间中的货架上，轻松做出最终决定，触发机械臂100在真实空间中的协同操作，将所选产品放置到物理小车上或仅停留在其原始位置。
100.综上，本技术所述的交互式反馈系统10能够基于来自机器学习及分类模块的输出信号和来自温度传感器106的输出信号在虚拟现实空间中重建与目标物具有相同大小，形态和温度的虚拟目标物，能够帮助用户实时地与真实空间进行远程交互，同时给用户提供一种沉浸式的操作体验。
101.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。