吊具位姿的预测方法、装置及电子设备与流程

本发明涉及自动化检测的，尤其是涉及一种吊具位姿的预测方法、装置及电子设备。

背景技术：

1、近年来，岸桥自动化技术在港口物流领域异军突起，其作为提升作业效率、削减成本和增强操作安全性的重要手段备受瞩目。

2、这一技术的核心在于充分利用多种先进的检测技术与控制技术，以实现对吊具、集装箱、集卡及其他目标的位置、状态及周围环境的准确感知与控制，从而实现自动化抓放箱流程。

3、然而，尽管在检测技术上已能够精确定位当前图像中的吊具目标，但受限于相机捕捉图像、通信传输、算法处理等一系列环节产生的延迟，当前推理出的结果相较于真实世界有一定延迟，这导致检测算法推理出来的吊具位姿无法真正代表真实世界的位姿，存在一定的滞后性，也在一定程度上影响了自动化作业的成功率。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种吊具位姿的预测方法、装置及电子设备，以缓解上述技术问题。

2、第一方面，本发明实施例提供了一种吊具位姿的预测方法，所述方法包括：获取吊具的像素坐标数据；其中，所述像素坐标数据为检测设备提供的吊具的位姿图像中所包含的数据；且，所述位姿图像为基于时间序列拍摄的图像；将所述像素坐标数据输入至预先训练好的位姿预测模型；其中，所述位姿预测模型包括编码模型和与所述编码模型连接的解码模型；所述编码模型和所述解码模型为基于lstm网络构建的循环神经网络；通过所述编码模型的隐藏层输出所述像素坐标数据对应的隐藏状态数据，以及，通过所述编码模型的输出层输出所述像素坐标数据对应的编码数据；将所述编码数据输入至所述解码模型，通过所述解码模型输出所述像素坐标数据对应的位姿预测数据；以及，响应下一时间序列对应的像素坐标数据输入，将所述隐藏状态数据作为初始数据输入至所述编码模型的隐藏层进行循环输入。

3、结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述位姿预测模型的编码模型包括隐藏层和与该隐藏层连接的输出层，所述编码模型的隐藏层和输出层分别包括与预设数据长度匹配的节点；所述解码模型包括依次连接的输入层、隐藏层和输出层；所述编码模型的隐藏层连接至所述解码模型的隐藏层；所述编码模型的输出层连接至所述解码模型的输入层。

4、结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述将所述编码数据输入至所述解码模型，通过所述解码模型输出所述像素坐标数据对应的位姿预测数据的步骤，包括：将所述编码数据输入至所述解码模型的输入层，以及，将所述隐藏状态数据作为所述解码模型的初始数据输入到所述解码模型的隐藏层，通过所述解码模型输出所述像素坐标数据对应的位姿预测数据。

5、结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述解码模型的输入层包括与隐藏层的节点连接的query查询节点；且，所述解码模型的输出层中的节点中，除最后一个节点外，其余节点的输出端连接至相邻的下一个所述query查询节点的输入端。

6、结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述将所述编码数据输入至所述解码模型的输入层，以及，将所述隐藏状态数据作为所述解码模型的初始数据输入到所述解码模型的隐藏层，通过所述解码模型输出所述像素坐标数据对应的位姿预测数据的步骤，包括：将所述编码数据输入至所述解码模型的首个query查询节点，同时，将所述隐藏状态数据作为所述解码模型的初始数据输入到所述解码模型的隐藏层，以使所述解码模型执行单步预测，输出单步预测结果；将所述单步预测结果输入至下一个所述query查询节点做循环预测，直至最后一个所述query查询节点输出循环预测结果；对每个所述单步预测结果和所述循环预测结果进行输出处理，以输出所述位姿预测数据。

7、结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述解码模型的输出层包括与所述解码模型的隐藏层连接的随机失活层，以及与所述随机失活层连接的全连接层，所述全连接层的输出端连接至输出节点。

8、结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述对每个所述单步预测结果和所述循环预测结果进行输出处理，以输出所述位姿预测数据的步骤，包括：将每个所述单步预测结果，以及，所述循环预测结果输入至所述随机失活层，通过所述随机失活层以及与所述随机失活层连接的全连接层进行输出处理，以通过所述输出节点输出所述位姿预测数据。

9、第二方面，本发明实施例还提供一种吊具位姿的预测装置，所述装置包括：获取模块，用于获取吊具的像素坐标数据；其中，所述像素坐标数据为检测设备提供的吊具的位姿图像中所包含的数据；且，所述位姿图像为基于时间序列拍摄的图像；第一输入模块，用于将所述像素坐标数据输入至预先训练好的位姿预测模型；其中，所述位姿预测模型包括编码模型和与所述编码模型连接的解码模型；所述编码模型和所述解码模型为基于lstm网络构建的循环神经网络；输出模块，用于通过所述编码模型的隐藏层输出所述像素坐标数据对应的隐藏状态数据，以及，通过所述编码模型的输出层输出所述像素坐标数据对应的编码数据；第二输入模块，用于将所述编码数据输入至所述解码模型，通过所述解码模型输出所述像素坐标数据对应的位姿预测数据；以及，响应下一时间序列对应的像素坐标数据输入，将所述隐藏状态数据作为初始数据输入至所述编码模型的隐藏层进行循环输入。

10、第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

11、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

12、本发明实施例带来了以下有益效果：

13、本发明实施例提供的吊具位姿的预测方法、装置及电子设备，能够获取吊具的像素坐标数据；然后将像素坐标数据输入至预先训练好的位姿预测模型，通过位姿预测模型的编码模型的隐藏层输出像素坐标数据对应的隐藏状态数据，以及，通过编码模型的输出层输出像素坐标数据对应的编码数据；然后将编码数据输入至解码模型，通过解码模型输出像素坐标数据对应的位姿预测数据；以及，响应下一时间序列对应的像素坐标数据输入，将隐藏状态数据作为初始数据输入至编码模型的隐藏层进行循环输入，且，本发明中，位姿预测模型包括的编码模型和解码模型为基于lstm网络构建的循环神经网络，而循环神经网络在预测任务方面，能够泛化各种复杂的工况，同时，在响应下一时间序列对应的像素坐标数据输入时，能够将隐藏状态数据作为初始数据输入至编码模型的隐藏层进行循环输入，可以将吊具从初始到最终的完整轨迹信息传递下来，使后续的编码模型能够编码到更多的历史信息，进而保证预测的精度，从而有助于自动化作业的成功率的提升。

14、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

15、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。