一种基于深度强化学习的机器人抓取多目标物的训练方法与流程

1.本发明涉及自动化控制领域，特别涉及一种基于深度强化学习的机器人抓取多目标物的训练方法。


背景技术：

2.随着机器人技术的发展，现有机器人抓取技术应用场景不断扩展，以抓取成功率为网络训练目标的强化学习方法无法有效满足不同应用场景对机器人进行抓取的多指标差异化需求。机器人抓取行为的高效多目标优化，对提高机器人定制化工作能力，扩展机器人的应用场景具有重要的现实意义。
3.深度强化学习算法有明显的智能性与鲁棒性，基于环境的反馈，通过不断与环境交互、试错，最终完成特定目的。在应用于机器人抓取场景时，可以发挥其算法优势。在机器人抓取过程中，存在多种抓取评价指标，在追求高抓取成功率的同时对机器人执行时间、执行功耗等多目标进行协同优化，有利于综合提高机器人的高效性与智能性。
4.现有的机器人抓取多目标物体的深度强化学习方法，大都是通过多次对某一个固定应用场景的多目标物体进行抓取训练，以适应对工业生产中按固定位置进行工件的顺序抓取，而对于多种随机摆放的方式不具有普遍的适用性，使得机器人的应用场景较为狭窄，每一个工位上的机器人都具有自己特定的抓取规则，而每设置一个工位上的抓取机器人都需要重新进行一次训练非常麻烦，因此需要一种基于深度强化学习的机器人抓取多目标物的训练方法，能够输出适用于各种不同抓取环境的多目标抓取规则模型。


技术实现要素：

5.本发明提供一种基于深度强化学习的机器人抓取多目标物的训练方法，用以输出适用于各种不同抓取环境的多目标抓取规则模型。
6.本发明提供的一种基于深度强化学习的机器人抓取多目标物的训练方法，其特征在于，包括：
7.步骤s1、预先构建机械臂抓取目标群体的多个虚拟场景；
8.步骤s2、建立第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据；
9.步骤s3、建立第二类深度强化学习网络对多个样本数据进行特征学习，将其中的相同特征传递正相关反馈至内部网络结构中，并根据网络结构的输出生成最终的多目标抓取规则模型。
10.优选的，所述预先构建机械臂抓取目标群体的多个虚拟场景包括：
11.步骤s100、获取机械臂的型号，并调取该型号机械臂的多项参数，其中，所述多项参数包括自由度数、最大工作半径、手臂最大中心高、手臂运动参数、手腕运动参数、手指夹持范围、定位精度；
12.步骤s101、建立空白虚拟场景，将该型号的机械臂对应预设的模型放置在所述空白虚拟场景中，并输入对应的多项参数；
13.步骤s102、通过三维扫描的方式将置物平台上目标群体的外形轮廓进行扫描，并将扫描所得的数据在虚拟场景中进行重现；
14.步骤s103、确定机械臂与置物平台之间的位置关系，根据所述位置关系将所述置物平台对应设置在所述空白虚拟场景中，构建出单个虚拟场景；
15.步骤s104、更改置物平台上目标群体的摆放状态，并重复步骤s101至步骤s103构建出多个虚拟场景。
16.优选的，所述确定机械臂与置物平台之间的位置关系包括：
17.步骤s1030、通过预设在所述机械臂上的摄像头对周围环境进行图像采集得到环境图像；
18.步骤s1031、通过特征匹配的方式确定所述置物平台在所述环境图像中的位置；
19.步骤s1032、根据置物平台在所述环境图像中的位置确定所述机械臂与所述置物平台之间的简单相对位置关系；
20.步骤s1033、基于所述简单相对位置关系驱动所述机械臂的末端到达所述置物平台上方，并通过摄像头向下拍摄所述置物平台的表面，得到表面图像；
21.步骤s1034、根据所述表面图像对机械臂的末端的位置进行细微调整，使得所拍摄的表面图像中置物平台的轮廓与预设的标准轮廓完全重合；
22.步骤s1035、记录此时机械臂的状态参数，并根据所述状态参数确定所述机械臂与所述置物平台之间的位置关系。
23.优选的，所述步骤s2由多台第一类计算机协同完成；其中，
24.每台第一类计算机各自构建出一个或多个虚拟场景，同时建立对应个数的第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据；
25.最终将得到的多个样本数据发送至同一台第二类计算机，并由所述第二类计算机执行步骤s3。
26.优选的，所述建立第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据包括：
27.建立由两个并行的densenet网络结构组成的第一类深度强化学习网络；
28.通过所述第一类深度强化学习网络重复执行预设次数的抓取某个虚拟场景中目标群体的抓取工作；其中，
29.在将所述目标群体中所有物体抓取完毕后，确定一次的抓取工作完成；
30.在每次抓取工作完成后，记录该次抓取工作中的过程数据，其中，所述过程数据包括每段手臂的位移数据、每个手腕的转动数据、每个手指的夹持力度及运动数据；
31.统计每次抓取工作中手臂位移总长度、手腕总转动角度、及手指的总运动幅度；其中，
32.以抓取工作中手臂位移总长度更短、手腕总转动角度更小及手指的总运动幅度更小作为工作效率更高的判断标准；
33.通过所述预设次数的抓取工作对所述第一类深度强化学习网络进行训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据。
34.优选的，所述两个并行的densenet网络结构，分别为behavior网络和target网络；
35.其中，behavior网络输出的是预测估计的q估计值，target网络输出的是q现实值；
36.通过huber损失函数计算behavior网络和target网络在每次抓取时输出的q值的误差，通过梯度下降法缩小该误差并更新behavior网络的参数；
37.target网络在预设时间内使用固定的参数值，每循环迭代预设次数后，target网络的参数与behavior网络同步一次。
38.优选的，包括：
39.在执行所述抓取任务执行过程中，采用真实物理引擎模拟目标群体中多个目标物体的运动状态；其中，
40.在对目标群体中多个目标物体的运动状态进行模拟之前，预先输入多个目标物体各自对应的材料参数。
41.优选的，在对现实的目标物体进行抓取的过程中，对机械臂的手指的抓力进行实时调整，调整步骤如下：
42.预先设定机械臂的手指在抓取物体时的标准力度；
43.预先在所述机械臂的每根手指上设置多个压力传感器，通过所述压力传感器实时采集手指的压力数据；
44.利用多个所述压力传感器在同一时刻采集的多个压力数据形成数据集；
45.将所述数据集中所存在的大于预设力度的压力数据确定为第一类压力数据；
46.将所述第一类压力数据中大于或等于所述标准力度的压力数据确定为第二类压力数据；
47.对所述第二类压力数据所对应的手指的抓取力度进行控制使其逐渐减小，直至该手指上设置的多个压力传感器所采集的压力数据均小于所述标准力度；
48.利用所述数据集中的第一类压力数据建立抓取力序列，对所述抓取力序列进行离散小波变换得到抓取力序列的高频细节系数；
49.当所述高频细节系数大于预设的系数阈值时，判断机械臂所抓取的物体有滑动趋势；
50.当机械臂所抓取的物体具有滑动趋势时，快速增加所有第二类压力数据所对应的多个手指的力度。
51.优选的，在输出生成最终的多目标抓取规则模型之后，对所述多目标抓取规则模型进行实用性判断，判断步骤如下：
52.预先在现实环境中搭建机械臂抓取目标群体的工作场景，包括一个机械臂和分处于两个不同位置的置物平台a和置物平台b，所述置物平台a上放置有目标群体；
53.将所述多目标抓取规则模型输入所述机械臂；
54.创建并执行验证工作任务，同时通过预先设置在所述机械臂上的多个传感器记录机械臂的工作过程数据；其中，
55.所述验证工作任务需要将目标群体从置物平台a到置物平台b之间来回进行预设次数的搬运，将一个置物平台上的所有物体全部从搬运到另一个置物平台视为一次抓取工
作完成；
56.根据所述工作过程数据对每一次抓取工作中所述机械臂的工作效率进行平均计算得到第一工作效率；
57.通过预先设置在所述置物平台a和所述置物平台b上的三维扫描装置将每一次抓取工作完成后目标群体的外形轮廓进行扫描，并建立验证虚拟场景将扫描所得的数据在验证虚拟场景中进行重现；
58.建立所述第一类深度强化学习网络针对所述验证虚拟场景中的目标群体进行多次的重复抓取工作，并对每次重复抓取工作的工作效率进行平均计算得到第二工作效率；
59.对多次抓取工作中的所述第二工作效率求取平均值得到第三工作效率；
60.计算所述第一工作效率和所述第三工作效率的差值，当所述差值大于或等于预设的差值系数时，确定所述多目标抓取规则模型具有较强的实用性；
61.当所述差值小于预设的差值系数且大于零时，确定所述多目标抓取规则模型具有较小的实用性；
62.当所述差值等于或小于零时，确定所述多目标抓取规则模型不具备实用性。
63.优选的，所述验证工作任务步骤包括：
64.首先确定所述置物平台a和所述置物平台b相对于所述机械臂的实际位置关系；
65.基于所述实际位置关系，执行将目标群体从置物平台a抓取并摆放到置物平台b上的第一任务；
66.在第一任务执行完毕后，继续执行将目标群体从置物平台b抓取并摆放到置物平台a上的第二任务；
67.在重复执行预设次数的所述第一任务和所述第二任务后验证工作任务完成；
68.其中，每执行完一次所述第一任务或所述第二任务后需要更改一次摆放规则；
69.所述摆放规则为机械臂从一个置物平台抓取物体后向另个置物平台摆放时的摆放方式，预先设定多种的摆放规则。
70.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
71.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
72.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
73.图1为本发明实施例中一种基于深度强化学习的机器人抓取多目标物的训练方法步骤流程图；
74.图2为本发明实施例中构建机械臂抓取目标群体的多个虚拟场景的步骤流程图；
75.图3为本发明实施例中确定机械臂与置物平台之间的位置关系的步骤流程图。
具体实施方式
76.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实
施例仅用于说明和解释本发明，并不用于限定本发明。
77.本发明提供的一种基于深度强化学习的机器人抓取多目标物的训练方法，其特征在于，包括：
78.步骤s1、预先构建机械臂抓取目标群体的多个虚拟场景；
79.步骤s2、建立第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据；
80.步骤s3、建立第二类深度强化学习网络对多个样本数据进行特征学习，将其中的相同特征传递正相关反馈至内部网络结构中，并根据网络结构的输出生成最终的多目标抓取规则模型。
81.上述技术方案的工作原理和有益效果为：预先通过场景重现的方法将机械臂、目标群体的位置关系以及相关的属性参数等数据同步到虚拟场景中，通过建立第一类深度强化学习网络针，采用仿真学习的方式对单个虚拟场景中的目标群体进行多次抓取，将目标群体中的所有目标物体全部抓取并摆放到指定位置后，视为一次成功抓取，每次成功抓取后计算出此次抓取时机械臂的工作效率，如此仿真学习训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据。对于多个虚拟场景对应有目标群体的不同的摆放方式，利用多个虚拟场景对应得到的样本数据，建立第二类深度强化学习网络对多个样本数据进行特征学习，将其中的相同特征传递正相关反馈至内部网络结构中，并根据网络结构的输出生成最终的多目标抓取规则模型。将该多目标抓取规则模型写入机械臂的控制器后，能够让机械臂在通过扫描得到目标群体的摆放方式后采用更为高效的抓取顺序及抓取方式对目标群体进行抓取，从而提高机械臂在生产作业过程中的工作效率。
82.在一个优选实施例中，预先构建机械臂抓取目标群体的多个虚拟场景包括：
83.步骤s100、获取机械臂的型号，并调取该型号机械臂的多项参数，其中，多项参数包括自由度数、最大工作半径、手臂最大中心高、手臂运动参数、手腕运动参数、手指夹持范围、定位精度；
84.步骤s101、建立空白虚拟场景，将该型号的机械臂对应预设的模型放置在空白虚拟场景中，并输入对应的多项参数；
85.步骤s102、通过三维扫描的方式将置物平台上目标群体的外形轮廓进行扫描，并将扫描所得的数据在虚拟场景中进行重现；
86.步骤s103、确定机械臂与置物平台之间的位置关系，根据位置关系将置物平台对应设置在空白虚拟场景中，构建出单个虚拟场景；
87.步骤s104、更改置物平台上目标群体的摆放状态，并重复步骤s101至步骤s103构建出多个虚拟场景。
88.上述技术方案的工作原理和有益效果为：在构建机械臂抓取目标群体的虚拟场景时，需要先获取机械臂的型号，并调取该型号机械臂的多项参数，其中，多项参数包括自由度数、最大工作半径、手臂最大中心高、手臂运动参数、手腕运动参数、手指夹持范围、定位精度等，利用这些详细的参数能够让虚拟场景中的机械臂的仿真过程更贴合实际情况。随后建立空白虚拟场景，将该型号的机械臂对应预设的模型放置在空白虚拟场景中，并输入
对应的多项参数，通过三维扫描的方式将置物平台上复杂堆砌的目标群体的外形轮廓进行扫描，并将扫描所得的数据在虚拟场景中进行重现，实现将目标群体到虚拟场景中的完美复刻，确定机械臂与置物平台之间的位置关系，根据位置关系将置物平台对应设置在空白虚拟场景中，构建出单个虚拟场景，在确定好位置关系后才能使机械臂抓取物体时能够更加精准，更改置物平台上目标群体的摆放状态，并重复步骤s101至步骤s103构建出多个虚拟场景，提供目标群体的不同摆放方式，方便学习过程中通过对不同摆放方式的目标群体的抓取训练得到一个适用于所有摆放方式的抓取规则模型。
89.在一个优选实施例中，确定机械臂与置物平台之间的位置关系包括：
90.步骤s1030、通过预设在机械臂上的摄像头对周围环境进行图像采集得到环境图像；
91.步骤s1031、通过特征匹配的方式确定置物平台在环境图像中的位置；
92.步骤s1032、根据置物平台在环境图像中的位置确定机械臂与置物平台之间的简单相对位置关系；
93.步骤s1033、基于简单相对位置关系驱动机械臂的末端到达置物平台上方，并通过摄像头向下拍摄置物平台的表面，得到表面图像；
94.步骤s1034、根据表面图像对机械臂的末端的位置进行细微调整，使得所拍摄的表面图像中置物平台的轮廓与预设的标准轮廓完全重合；
95.步骤s1035、记录此时机械臂的状态参数，并根据状态参数确定机械臂与置物平台之间的位置关系。
96.上述技术方案的工作原理和有益效果为：在确定机械臂与置物平台之间的位置关系过程中，先通过预设在机械臂上的摄像头对周围环境进行图像采集得到环境图像，然后通过特征匹配的方式确定置物平台在环境图像中的位置，对图像中的置物平台进行识别与位置跟踪，根据置物平台在环境图像中的位置确定机械臂与置物平台之间的简单相对位置关系，方便基于简单相对位置关系驱动机械臂的末端到达置物平台上方，并通过摄像头向下拍摄置物平台的表面，得到表面图像，然后根据表面图像对机械臂的末端的位置进行细微调整，使得所拍摄的表面图像中置物平台的轮廓与预设的标准轮廓完全重合，从而使机械臂末端位置与置物平台之间达到一个标准的相对位置关系，记录此时机械臂的状态参数，比如机械臂的臂展情况、电机旋转角度等等，并根据状态参数反推计算出机械臂与置物平台之间的位置关系。提供了一种快速定位的方式，过程简单高效。
97.在一个优选实施例中，步骤s2由多台第一类计算机协同完成；其中，
98.每台第一类计算机各自构建出一个或多个虚拟场景，同时建立对应个数的第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据；
99.最终将得到的多个样本数据发送至同一台第二类计算机，并由第二类计算机执行步骤s3。
100.上述技术方案的工作原理和有益效果为：由于步骤s3所需要的只是用样本数据将其中的相同特征传递正相关反馈至内部网络结构中，并根据网络结构的输出生成最终的多目标抓取规则模型，所以只需要利用一个计算单位对其进行计算即可。而步骤s2的目的是构建许多种不同的虚拟场景进行仿真学习，最后输出抓取效率最高的学习网络并将其进行
知识蒸馏后作为该虚拟场景对应的样本数据，所以可以利用多个计算单位同时进行计算，每个计算单位都对一个虚拟场景进行仿真学习，这样能够提高步骤s2的执行效率。
101.在一个优选实施例中，建立第一类深度强化学习网络针对单个虚拟场景中的目标群体进行多次抓取，训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据包括：
102.建立由两个并行的densenet网络结构组成的第一类深度强化学习网络；
103.通过第一类深度强化学习网络重复执行预设次数的抓取某个虚拟场景中目标群体的抓取工作；其中，
104.在将目标群体中所有物体抓取完毕后，确定一次的抓取工作完成；
105.在每次抓取工作完成后，记录该次抓取工作中的过程数据，其中，过程数据包括每段手臂的位移数据、每个手腕的转动数据、每个手指的夹持力度及运动数据；
106.统计每次抓取工作中手臂位移总长度、手腕总转动角度、及手指的总运动幅度；其中，
107.以抓取工作中手臂位移总长度更短、手腕总转动角度更小及手指的总运动幅度更小作为工作效率更高的判断标准；
108.通过预设次数的抓取工作对第一类深度强化学习网络进行训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据。
109.上述技术方案的工作原理和有益效果为：建立由两个并行的densenet网络结构组成的第一类深度强化学习网络，利用由两个行的densenet网络结构，一个对网络输出的q值进行预测，另一个得到仿真结果的q值，根据两个q值的偏差通过梯度下降法缩小该误差来对用于预测的densenet网络结构进行更新，提高其预测能力从而提高第一类深度强化学习网络的学习能力。通过第一类深度强化学习网络重复执行预设次数的抓取某个虚拟场景中目标群体的抓取工作，通过多次抓取工作得到多个抓取的过程数据样本，从而为每次抓取工作过程的效率高低排名提供更为详细的参考数据，其中，在将目标群体中所有物体抓取完毕后，确定一次的抓取工作完成；在每次抓取工作完成后，记录该次抓取工作中的过程数据，其中，过程数据包括每段手臂的位移数据、每个手腕的转动数据、每个手指的夹持力度及运动数据，统计每次抓取工作中手臂位移总长度、手腕总转动角度、及手指的总运动幅度，其中，在完成抓取工作的前提下，若抓取工作中手臂位移总长度更短、手腕总转动角度更小及手指的总运动幅度更小则表示工作效率更高，通过预设次数的抓取工作对第一类深度强化学习网络进行训练得到抓取效率最高的学习网络并将其进行知识蒸馏后作为该虚拟场景对应的样本数据。
110.在一个优选实施例中，两个并行的densenet网络结构，分别为behavior网络和target网络；
111.其中，behavior网络输出的是预测估计的q估计值，target网络输出的是q现实值；
112.通过huber损失函数计算behavior网络和target网络在每次抓取时输出的q值的误差，通过梯度下降法缩小该误差并更新behavior网络的参数；
113.target网络在预设时间内使用固定的参数值，每循环迭代预设次数后，target网络的参数与behavior网络同步一次。
114.上述技术方案的工作原理和有益效果为：建立由两个并行的densenet网络结构组
成的第一类深度强化学习网络，利用由两个行的densenet网络结构，一个对网络输出的q值进行预测，另一个得到仿真结果的q值，根据两个q值的偏差通过梯度下降法缩小该误差来对用于预测的densenet网络结构进行更新，提高其预测能力从而提高第一类深度强化学习网络的学习能力。target网络在预设时间内使用固定的参数值，每循环迭代预设次数后，target网络的参数与behavior网络同步一次，从而根据behavior网络对target网络进行实时更新，提高两个网络结构的契合程度，进而提高仿真学习工作的效率。
115.在一个优选实施例中，包括：
116.在执行抓取任务执行过程中，采用真实物理引擎模拟目标群体中多个目标物体的运动状态；其中，
117.在对目标群体中多个目标物体的运动状态进行模拟之前，预先输入多个目标物体各自对应的材料参数。
118.上述技术方案的工作原理和有益效果为：在仿真学习过程中，对于目标群体中的多个目标物体，为每一个目标物体分别对于输入该目标物体的材料参数，然后采用真实物理引擎模拟目标群体中多个目标物体的运动状态，从而能够仿真得到机械臂在抓取过程中用了多大的抓取力、做了多少功，使仿真学习过程中得到的数据与现实情况相符合。
119.在一个优选实施例中，在对现实的目标物体进行抓取的过程中，对机械臂的手指的抓力进行实时调整，调整步骤如下：
120.预先设定机械臂的手指在抓取物体时的标准力度；
121.预先在机械臂的每根手指上设置多个压力传感器，通过压力传感器实时采集手指的压力数据；
122.利用多个压力传感器在同一时刻采集的多个压力数据形成数据集；
123.将数据集中所存在的大于预设力度的压力数据确定为第一类压力数据；
124.将第一类压力数据中大于或等于标准力度的压力数据确定为第二类压力数据；
125.对第二类压力数据所对应的手指的抓取力度进行控制使其逐渐减小，直至该手指上设置的多个压力传感器所采集的压力数据均小于标准力度；
126.利用数据集中的第一类压力数据建立抓取力序列，对抓取力序列进行离散小波变换得到抓取力序列的高频细节系数；
127.当高频细节系数大于预设的系数阈值时，判断机械臂所抓取的物体有滑动趋势；
128.当机械臂所抓取的物体具有滑动趋势时，快速增加所有第二类压力数据所对应的多个手指的力度。
129.上述技术方案的工作原理和有益效果为：对目标物体进行抓取的过程中，对机械臂的手指的抓力进行实时调整，通过对压力传感器采集的数据进行分析，区分其中的第一类压力数据、第二类压力数据，其中的第一类压力数据代表机械臂手指与被抓取物体实际接触的点位的传感器所采集的数据，数据集中其他的数据则是机械臂手指与被抓取物体并未进行接触的点位的传感器所采集的数据，参考意义不大。其中的第二类压力数据则是抓取力度过高的点位上的传感器所采集的数据，为了防止机械臂手指抓取力度过大导致抓取目标被损坏，当出现这样的第二类压力数据后对第二类压力数据所对应的手指的抓取力度进行控制使其逐渐减小，直至该手指上设置的多个压力传感器所采集的压力数据均小于标准力度，以保证被抓取目标物体的完整性。利用数据集中的第一类压力数据建立抓取力序
列，对抓取力序列进行离散小波变换得到抓取力序列的高频细节系数；当高频细节系数大于预设的系数阈值时，判断机械臂所抓取的物体有滑动趋势；当机械臂所抓取的物体具有滑动趋势时，快速增加所有第二类压力数据所对应的多个手指的力度，以防止被抓取的物体脱落。
130.在一个优选实施例中，利用数据集中的第一类压力数据建立抓取力序列，对抓取力序列进行离散小波变换得到抓取力序列的高频细节系数，包括：
131.预设采样周期t，在时刻t＝kt时，取(k
‑
n+1)t～kt时间段的抓取力序列f[n]，其中n为1～n的整数，n为第一类压力数据总个数；
[0132]
在时刻t，对抓取力序列f[n]进行离散小波变换得到抓取力序列的高频细节系数：
[0133][0134]
其中m为1～n/2的整数，h[]表示半带高频带通滤波器的冲击响应，，小波变换母小波为haar小波、moret、db6小波函数。
[0135]
在一个优选实施例中，在输出生成最终的多目标抓取规则模型之后，对多目标抓取规则模型进行实用性判断，判断步骤如下：
[0136]
预先在现实环境中搭建机械臂抓取目标群体的工作场景，包括一个机械臂和分处于两个不同位置的置物平台a和置物平台b，置物平台a上放置有目标群体；
[0137]
将多目标抓取规则模型输入机械臂；
[0138]
创建并执行验证工作任务，同时通过预先设置在机械臂上的多个传感器记录机械臂的工作过程数据；其中，
[0139]
验证工作任务需要将目标群体从置物平台a到置物平台b之间来回进行预设次数的搬运，将一个置物平台上的所有物体全部从搬运到另一个置物平台视为一次抓取工作完成；
[0140]
根据工作过程数据对每一次抓取工作中机械臂的工作效率进行平均计算得到第一工作效率；
[0141]
通过预先设置在置物平台a和置物平台b上的三维扫描装置将每一次抓取工作完成后目标群体的外形轮廓进行扫描，并建立验证虚拟场景将扫描所得的数据在验证虚拟场景中进行重现；
[0142]
建立第一类深度强化学习网络针对验证虚拟场景中的目标群体进行多次的重复抓取工作，并对每次重复抓取工作的工作效率进行平均计算得到第二工作效率；
[0143]
对多次抓取工作中的第二工作效率求取平均值得到第三工作效率；
[0144]
计算第一工作效率和第三工作效率的差值，当差值大于或等于预设的差值系数时，确定多目标抓取规则模型具有较强的实用性；
[0145]
当差值小于预设的差值系数且大于零时，确定多目标抓取规则模型具有较小的实用性；
[0146]
当差值等于或小于零时，确定多目标抓取规则模型不具备实用性。
[0147]
上述技术方案的工作原理和有益效果为：在输出生成最终的多目标抓取规则模型之后，对多目标抓取规则模型进行实用性判断，在进行判断时，需要先将所得到的多目标抓取规则模型输入机械臂，然后使其在现实环境中搭建机械臂抓取目标群体的工作场景中执
行验证工作任务，在过程中通过预先设置在机械臂上的多个传感器记录机械臂的工作过程数据，验证工作任务需要将目标群体从置物平台a到置物平台b之间来回进行预设次数的搬运，将一个置物平台上的所有物体全部从搬运到另一个置物平台视为一次抓取工作完成，比如将目标群体全部从置物平台a搬运到置物平台b算完成一次抓取工作，将目标群体全部从置物平台b搬运回置物平台a又算完成一次抓取工作，根据工作过程数据对每一次抓取工作中机械臂的工作效率进行平均计算得到第一工作效率，第一工作效率为多次抓取工作对应的工作效率的平均值，计算时根据工作过程数据中的手臂位移总长度、手腕总转动角度、及手指的总运动幅度等来进行计算，工作效率计算公式如下：
[0148][0149]
式中，v表示工作效率，o表示机械臂的手指总数，f
k
表示第k根手指的总运动幅度，表示预设的第k根手指的工作效率系数，m表示机械臂的臂杆总数，l
i
表示第i根臂杆末端的位移总长度，σ
i
表示预设的第i根臂杆的工作效率系数，n表示机械臂手腕总数，c
j
表示机械臂第i个手腕的总转动角度，ρ
j
表示预设的机械臂第i个手腕的工作效率系数；
[0150]
通过预先设置在置物平台a和置物平台b上的三维扫描装置将每一次抓取工作完成后目标群体的外形轮廓进行扫描，并建立验证虚拟场景将扫描所得的数据在验证虚拟场景中进行重现；建立第一类深度强化学习网络针对验证虚拟场景中的目标群体进行多次的重复抓取工作，从而方便确定理论上对目标群体进行一次抓取工作时的工作效率，并根据仿真结果对每次重复抓取工作的工作效率进行平均计算得到第二工作效率，对多次抓取工作中的第二工作效率求取平均值得到第三工作效率；计算第一工作效率和第三工作效率的差值，当差值大于或等于预设的差值系数时，确定多目标抓取规则模型具有较强的实用性；当差值小于预设的差值系数且大于零时，确定多目标抓取规则模型具有较小的实用性；当差值等于或小于零时，确定多目标抓取规则模型不具备实用性，则需要对加大训练量，重新训练出新的多目标抓取规则模型。通过实用性检测，防止使用不实用的多目标抓取规则模型，导致生产过程中工作效率低下。
[0151]
在一个优选实施例中，验证工作任务步骤包括：
[0152]
首先确定置物平台a和置物平台b相对于机械臂的实际位置关系；
[0153]
基于实际位置关系，执行将目标群体从置物平台a抓取并摆放到置物平台b上的第一任务；
[0154]
在第一任务执行完毕后，继续执行将目标群体从置物平台b抓取并摆放到置物平台a上的第二任务；
[0155]
在重复执行预设次数的第一任务和第二任务后验证工作任务完成；
[0156]
其中，每执行完一次第一任务或第二任务后需要更改一次摆放规则；
[0157]
摆放规则为机械臂从一个置物平台抓取物体后向另一个置物平台摆放时的摆放方式，预先设定多种的摆放规则。
[0158]
上述技术方案的工作原理和有益效果为：在进行验证工作时，需要将目标群体从置物平台a到置物平台b之间来回进行预设次数的搬运，其中，每执行完一次第一任务或第二任务后需要更改一次摆放规则，更改摆放规则的目的是防止使用同一种摆放规则时，机
械臂摆放出相同的目标群体的堆放样式，而搬运同一种目标群体的堆放样式的工作过程数据对工作效率的计算没有参考意义。摆放规则为机械臂从一个置物平台抓取物体后向另一个置物平台摆放时的摆放方式，预先设定多种的摆放规则，比如横向排列摆放方式、纵向排列摆放方式、锥形堆高摆放方式、入箱摆放方式等，如果采用同一种的摆放方式，则很可能摆放出一模一样的堆放样式。
[0159]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。