技术特征：
1.一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，该方法包括：步骤s10，服务机器人通过视觉传感器获取包含目标物体的原始彩色图像和原始深度图像；步骤s20，基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的边界框，并将所述边界框在所述原始深度图像、所述原始彩色图像中的对应区域作为第一深度图像区域、第一彩色图像区域；步骤s30，将所述第一深度图像区域、所述第一彩色图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二彩色图像区域；步骤s40，将所述第二深度图像区域、所述第二彩色图像区域沿通道方向拼接起来，输入抓取检测卷积神经网络的编码器，得到第一特征图；步骤s50，通过所述抓取检测卷积神经网络的特征精修模块对所述第一特征图进行特征精修，得到第二特征图；步骤s60，通过所述抓取检测卷积神经网络的解码器对所述第二特征图进行上采样，得到抓取质量特征图、宽度特征图、第一角度特征图、第二角度特征图；步骤s70，基于所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；其中，所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图中每个像素点的值分别描述了以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、2倍朝向角的余弦值、2倍朝向角的正弦值。2.根据权利要求1所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，所述抓取检测卷积神经网络包括编码器、特征精修模块、解码器；所述编码器包括三个级联的标准卷积层；所述特征精修模块由交叉-幅度注意力、通道注意力模块、通道随机混合操作和标准卷积层串联组成；所述解码器包括三个级联的孪生反卷积模块、四个并行的标准卷积；三个级联的孪生反卷积模块与四个并行的标准卷积相连接；所述孪生反卷积模块包括两个分支，一个原始分支，一个孪生分支；所述原始分支输入为特征图f
in
，将f
in
的每个通道进行标准反卷积操作，生成特征图f
t
；所述孪生分支输入为所有元素值为1的矩阵，将所有元素值为1的矩阵进行反卷积操作，生成权重调整矩阵m
w
；特征图f
t
的每一个通道与矩阵m
w
进行逐元素矩阵除法操作，并将逐元素矩阵除法操作获取的结果经卷积层进行通道维数调整，得到特征图f
out
，作为孪生反卷积模块的输出。3.根据权利要求2所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，对所述第一特征图进行特征精修，得到第二特征图，其方法为：步骤s501，利用交叉-幅度注意力对所述第一特征图进行处理，得到交叉-幅度注意力特征图；步骤s502，将所述交叉-幅度注意力特征图依次经过通道注意力模块、通道随机混合操作和标准卷积层的处理，得到第二特征图。
4.根据权利要求3所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，利用交叉-幅度注意力对所述第一特征图进行处理，得到交叉-幅度注意力特征图，其方法为：对所述第一特征图分别施加沿高度、宽度维度上的平均池化，获得高度和宽度维度对应的特征图avg
h
、avg
w
；avg
h
和avg
w
通过矩阵乘法生成平均交叉特征图f
avg
；对所述第一特征图分别施加沿高度、宽度维度上的最大池化，获得高度和宽度维度对应的特征图max
h
、max
w
；max
h
和max
w
通过矩阵乘法生成最大交叉特征图f
max
；对f
avg
和f
max
执行逐元素矩阵加法，之后依次经过沿通道方向的平均池化、标准卷积、批归一化和relu激活函数，进而获得交叉注意力图a
cross
；对所述第一特征图分别施加沿通道维度的最大池化和平均池化，获得通道维度对应的特征图max
c
和avg
c
；max
c
和avg
c
经逐元素矩阵减法后，再依次经过标准卷积、批归一化和relu激活函数，获得幅度注意力图a
amp
；将a
cross
和a
amp
沿通道方向进行拼接，并将拼接结果进行标准卷积处理，获得注意力图a
fuse
；将a
fuse
与所述第一特征图中每个通道的特征图进行逐元素的矩阵乘法，获得交叉-幅度注意力特征图。5.根据权利要求1所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，基于所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，其方法为：选取所述抓取质量特征图中最大抓取质量评价值所对应的像素点的位置作为最佳抓取矩形的中心位置，记为(u
*
,v
*
)；分别获取所述第一角度特征图、所述第二角度特征图在位置(u
*
,v
*
)处的对应取值和进而计算出最佳抓取矩形的朝向角θ
*
：获得所述宽度特征图在位置(u
*
,v
*
)处的对应取值，作为最佳抓取矩形的宽度w
*
，最佳抓取矩形的高度h
*
设定为w
*
的一半，即h
*
＝w
*
/2；综合u
*
、v
*
、θ
*
、w
*
和h
*
，得到最佳抓取矩形；获取所述最佳抓取矩形的四个顶点的坐标，进而得到所述最佳抓取矩形的四个顶点在原始彩色图像中的对应点，分别记为p1、p2、p3、p4；以p1、p2、p3、p4为顶点构成目标物体在所述原始彩色图像中的最佳抓取检测框。6.根据权利要求5所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法，其特征在于，所述抓取检测卷积神经网络的损失函数为：
其中，l
loss
为抓取检测卷积神经网络在训练时的损失函数，n为抓取检测卷积神经网络训练时的样本总数；q
i
、w
i
、c
i
、s
i
分别为第i个样本对应的抓取检测卷积神经网络输出的抓取质量特征图、宽度特征图、第一角度特征图、第二角度特征图，分别为q
i
、w
i
、c
i
、s
i
对应的真值，i＝1,2,
…
,n。7.一种基于注意力机制和孪生反卷积的服务机器人抓取检测系统，其特征在于，该系统包括：图像获取模块、物体检测模块、尺寸调整模块、编码模块、精修模块、解码模块、抓取检测模块；所述图像获取模块，配置为服务机器人通过视觉传感器获取包含目标物体的原始彩色图像和原始深度图像；所述物体检测模块，配置为基于所述原始彩色图像，通过基于深度学习的物体检测方法获取目标物体的边界框，并将所述边界框在所述原始深度图像、所述原始彩色图像中的对应区域作为第一深度图像区域、第一彩色图像区域；所述尺寸调整模块，配置为将所述第一深度图像区域、所述第一彩色图像区域分别调整至设定的尺寸，作为第二深度图像区域、第二彩色图像区域；所述编码模块，配置为将所述第二深度图像区域、所述第二彩色图像区域沿通道方向拼接起来，输入抓取检测卷积神经网络的编码器，得到第一特征图；所述精修模块，配置为通过所述抓取检测卷积神经网络的特征精修模块对所述第一特征图进行特征精修，得到第二特征图；所述解码模块，配置为通过所述抓取检测卷积神经网络的解码器对所述第二特征图进行上采样，得到抓取质量特征图、宽度特征图、第一角度特征图、第二角度特征图；所述抓取检测模块，配置为基于所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图得到最佳抓取矩形，进而得到目标物体在所述原始彩色图像中的最佳抓取检测框，实现对目标物体的抓取检测；其中，所述抓取质量特征图、所述宽度特征图、所述第一角度特征图、所述第二角度特征图中每个像素点的值分别描述了以相应像素点为中心的抓取矩形的抓取质量评价值、宽度、2倍朝向角的余弦值、2倍朝向角的正弦值。8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法。9.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-6任一项所述的基于注意力机制和孪生反卷积的服务机器人抓取检测方法。
技术总结
本发明属于服务机器人技术领域，具体涉及一种基于注意力机制和孪生反卷积的服务机器人抓取检测方法、系统、装置，旨在解决现有基于编码-解码结构的抓取回归网络在解码过程中会呈现出棋盘格伪影，从而降低服务机器人抓取检测性能的问题。本发明方法包括：获取包含目标物体的原始彩色图像和原始深度图像；获取目标物体包围框，并得到第一深度图像区域、第一彩色图像区域；将图像区域调整至设定尺寸；对调整尺寸的图像区域进行编码；对编码后的特征图进行精修；将精修后的特征图进行解码；得到最佳抓取检测框，实现对目标物体的抓取检测。本发明消除了基于编码-解码结构的抓取回归网络在解码过程中呈现出的棋盘格伪影，提高了抓取检测的性能。检测的性能。检测的性能。
技术研发人员：李忠辉 曹志强 王硕 任广力 谭民 亢晋立
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2022.11.04
技术公布日：2023/1/31