一种透明物体感知方法、终端和系统与流程

本发明涉及自动化领域，尤其涉及一种透明物体感知方法、终端和系统。

背景技术：

1、为了保障医疗系统的顺畅运作、减少病原体传播和环境污染的危险，医疗物品的运输和分类是非常重要的。特别是在面对就诊高峰的压力时，能否及时准确地向病人提供大量药液等医疗物体，将直接影响病人的及时救治，这对医院内部医疗物体的运输、分类能力与水平提出了更高的要求和挑战。目前，较多的三甲医院已建设了智慧药房，能够解决盒装处方/非处方药物的自动仓储与分类，而静脉药物配置中心医疗物品仍以人工分类、配药为主，重复工作量大且持续工作时间久。机器人分类系统运行需要正确的视觉感知数据，然而静配中心以透明输液瓶、输液袋、安瓿瓶、西林瓶等透明医疗物品为主。透明医疗物体，相较于以往的非透明物体，具有较弱纹理特征和不显著局部特征特点，其特殊的光学折射、反射特性直接导致相机深度数据缺失、失真，导致无法直接应用现有的机器人分类系统。

2、在透明物体的感知方面，过去的方法主要依赖昂贵的光学设备或特定场景的光学特性分析，导致实际效果受限，方法和系统难以推广应用。近年来，基于深度卷积网络模型cnns的透明物体感知在消费级立体相机数据源的推动下取得了显著进展。这些方法主要关注cnns模型框架下的深度感知，强调提取局部特征，但忽略了全局光线、亮度等特征的关联。

技术实现思路

1、本发明实施例提供一种透明物体感知方法、终端和系统，以提高透明物体的抓取效率。

2、为实现上述目的，本发明实施例提供一种透明物体感知方法，包括：

3、根据预设于机器人上的摄像机，对透明物体进行拍摄，获取第一纹理图和第一深度图；

4、将所述第一纹理图输入transformer模型，基于所述transformer模型对所述第一纹理图进行图像解码，得到第一图像信息；其中，所述transformer模型由若干编码器层组成；各所述编码器层包括：多头注意力模块和前馈网络；

5、根据第一图像信息和预设的uv图，对所述第一深度图进行深度重建和特征重建，得到第一深度特征；

6、通过生成模型融合所述第一深度特征和所述第一图像信息，得到所述透明物体的第一物体位姿；

7、将所述第一物体位姿、所述第一纹理图和所述第一深度特征发送至所述机器人，以使所述机器人根据所述第一物体位姿、所述第一纹理图和所述第一深度特征抓取所述透明物体。

8、与现有技术相比，本发明实施例的有益效果在于：

9、通过在机器人上安装得摄像机，方对透明物体进行拍摄，获取第一纹理图和第一深度图，为后续的物体位姿估计和抓取提供了必要的视觉信息；transformer模型是一种强大的神经网络结构，特别适用于处理序列数据，使用transformer模型对第一纹理图进行图像解码，有助于更好地理解透明物体的特征；transformer模型得编码器层包括多头注意力模块和前馈网络，多头注意力允许模型在不同位置关注不同的特征，前馈网络则有助于学习更高层次的抽象特征；利用第一图像信息和预设的uv图，对第一深度图进行深度重建和特征重建，有助于从深度图中获取更为准确的物体形状和特征；通过使用注意力机制，融合了第一深度特征和第一图像信息，可以提高对透明物体的理解，进一步增强对物体位姿的估计准确性；通过整合第一物体位姿、第一纹理图和第一深度特征，机器人能够准确地抓取透明物体，使得机器人能够在复杂场景中进行精确的抓取操作。

10、可选地，所述通过生成模型融合所述第一深度特征和所述第一图像信息，得到所述透明物体的第一物体位姿，具体为：

11、通过边缘卷积提取所述第一深度特征中的边缘信息，得到第一边缘数据；

12、基于注意力机制融合所述第一边缘数据和所述第一图像信息，得到所述透明物体的第一物体位姿。

13、实施本可选项，通过边缘卷积提取第一深度特征中的边缘信息，可以增强对透明物体边缘的感知；透明物体通常由于缺乏纹理或视觉混淆而难以处理，边缘信息的引入以及注意力机制的使用可以帮助克服透明物体引起的视觉挑战，从而提高对透明物体的理解和感知能力。

14、可选地，所述将所述第一物体位姿、所述第一纹理图和所述第一深度特征发送至所述机器人，以使所述机器人根据所述第一物体位姿、所述第一纹理图和所述第一深度特征抓取所述透明物体，具体为：

15、分别根据所述第一纹理图和所述第一深度特征，进行机器人抓取位姿生成，得到第一抓取网络和第二抓取网络；

16、根据所述第一纹理图和所述第一深度特征，进行机器人抓取位姿生成，得到第三抓取网络；

17、基于预设的机器人参数，分别对所述第一抓取网络、所述第二抓取网络和所述第三抓取网络进行评分，得到第一评分、第二评分和第三评分；

18、将所述第一评分、所述第二评分和所述第三评分中，最高的评分对应的抓取网络的抓取参数，和所述第一物体位姿发送至所述机器人，以使所述机器人根据所述抓取参数和所述第一物体位姿抓取所述透明物体。

19、实施本可选项，通过生成多个抓取网络，每个都对应不同的抓取策略，能够进行多方案比较，通过对这些方案进行评分，可以选择最优的抓取策略，提高抓取的成功率。

20、可选地，在所述将所述第一纹理图输入transformer模型，基于所述transformer模型对所述第一纹理图进行图像解码，得到第一图像信息前，还包括：

21、将所述第一纹理图输入卷积主干网络，基于所述卷积主干网络对所述第一纹理图进行特征提取，得到若干第一图像特征。

22、实施本可选项，通过使用卷积主干网络进行特征提取，可以获取不同层次、不同尺度的图像特征，有助于提高特征的多样性，使得解码过程中能够更全面地捕捉到透明物体的各种信息。

23、可选地，所述将所述第一纹理图输入transformer模型，基于所述transformer模型对所述第一纹理图进行图像解码，得到第一图像信息，具体为：

24、将所述第一图像特征的求和，输入所述transformer模型，基于所述transformer模型对所述第一图像特征的求和进行位置嵌入和图像解码，得到第一局部信息；

25、基于所述transformer模型，融合所述第一局部信息和各所述第一图像特征，得到第一图像信息。

26、实施本可选项，通过进行位置嵌入，有助于补偿缺失的空间维度，使得生成的图像信息更符合透明物体的实际形状和结构。

27、相应的，本发明实施例还提供一种透明物体感知终端，包括：摄制模块、解码模块、重建模块、位姿模块和动作模块；

28、其中，所述摄制模块用于根据预设于机器人上的摄像机，对透明物体进行拍摄，获取第一纹理图和第一深度图；

29、所述解码模块用于将所述第一纹理图输入transformer模型，基于所述transformer模型对所述第一纹理图进行图像解码，得到第一图像信息；其中，所述transformer模型由若干编码器层组成；各所述编码器层包括：多头注意力模块和前馈网络；

30、所述重建模块用于根据第一图像信息和预设的uv图，对所述第一深度图进行深度重建和特征重建，得到第一深度特征；

31、所述位姿模块用于通过生成模型融合所述第一深度特征和所述第一图像信息，得到所述透明物体的第一物体位姿；

32、所述动作模块用于将所述第一物体位姿、所述第一纹理图和所述第一深度特征发送至所述机器人，以使所述机器人根据所述第一物体位姿、所述第一纹理图和所述第一深度特征抓取所述透明物体。

33、可选地，所述位姿模块，还包括：边缘提取单元和位姿融合单元；

34、其中，所述边缘提取单元用于通过边缘卷积提取所述第一深度特征中的边缘信息，得到第一边缘数据；

35、所述位姿融合单元用于基于注意力机制融合所述第一边缘数据和所述第一图像信息，得到所述透明物体的第一物体位姿。

36、可选地，所述动作模块，还包括：网络生成单元、评分单元和抓取单元；

37、其中，所述网络生成单元用于分别根据所述第一纹理图和所述第一深度特征，进行机器人抓取位姿生成，得到第一抓取网络和第二抓取网络；根据所述第一纹理图和所述第一深度特征，进行机器人抓取位姿生成，得到第三抓取网络；

38、所述评分单元用于基于预设的机器人参数，分别对所述第一抓取网络、所述第二抓取网络和所述第三抓取网络进行评分，得到第一评分、第二评分和第三评分；

39、所述抓取单元用于将所述第一评分、所述第二评分和所述第三评分中，最高的评分对应的抓取网络的抓取参数，和所述第一物体位姿发送至所述机器人，以使所述机器人根据所述抓取参数和所述第一物体位姿抓取所述透明物体。

40、可选地，在所述解码模块将所述第一纹理图输入transformer模型，基于所述transformer模型对所述第一纹理图进行图像解码，得到第一图像信息前，还包括：

41、将所述第一纹理图输入卷积主干网络，基于所述卷积主干网络对所述第一纹理图进行特征提取，得到若干第一图像特征。

42、可选地，所述解码模块，还包括：局部计算单元和信息融合单元；

43、其中，所述局部计算单元用于将所述第一图像特征的求和，输入所述transformer模型，基于所述transformer模型对所述第一图像特征的求和进行位置嵌入和图像解码，得到第一局部信息；

44、所述信息融合单元用于基于所述transformer模型，融合所述第一局部信息和各所述第一图像特征，得到第一图像信息。

45、相应的，本发明实施例还提供一种透明物体感知系统，包括：机器人、终端、摄像机和透明物体；

46、其中，所述终端设置在所述机器人上；所述机器人用于抓取所述透明物体；

47、所述终端用于执行上述任意一项所述的一种透明物体感知方法。