基于大规模语言模型的建筑组装机器人闭环控制方法

本发明属于建筑组装机器人控制相关，更具体地，涉及一种基于大规模语言模型的建筑组装机器人闭环控制方法。

背景技术：

1、组装任务是施工中最常见的任务之一，随着施工自动化技术的发展，机器人被应用于建筑组装任务中以提高施工效率，同时避免重复性组装操作带来的肌肉劳损。离线编程是建筑组装机器人的主流控制方法，其采用虚拟机器人进行编程和模拟，可与建筑信息建模等技术相结合，促进机器人建造的工作流程规划。传统的离线编程由工程师手动完成，不仅耗时耗力，而且对使用者有较高的专业知识要求。现有研究提出利用模板、技能库或神经机器翻译模型的方法实现自动化离线编程。然而，这些方法只针对特定的组装任务，有限的语料限制了生成代码的范围，使其很难扩展到复杂的场景。此外，这些方法很少考虑与任务相关的关键细节，如施工流程和砌筑形式，导致生成的代码对非常规施工流程的适应性较差，需进行大量的代码修改工作。

2、新兴的大规模语言模型技术在机器人编程和复杂任务解决方面展现出巨大的应用潜力，但现有基于大规模语言模型的机器人控制方法具有开环特性，无法实现控制程序的全局优化，此外，现有方法依赖于机器人控制技能接口的预定义、封装与重用，在不同机器人配置与建筑组装任务要求下可能会导致机器人系统错误与安全问题。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于大规模语言模型的建筑组装机器人闭环控制方法，实现建筑组装机器人控制代码自动生成与面向机器人系统的人在回路闭环控制。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于大规模语言模型的建筑组装机器人闭环控制方法，所述方法包括：s1：对大规模语言模型进行指令微调和低秩适配微调获得微调大规模语言模型；s2：基于建筑机器人组装任务的不同控制需求，对建筑组装机器人控制过程进行分层，获得不同层级的控制任务；对预设层级的控制任务进行自然语言描述和解释，以构建自定义机器人api库；s3：基于所述自定义机器人api库撰写不同层级控制任务的提示语，将所述提示语输入所述微调大规模语言模型获得不同层级控制任务的控制代码，将不同层级的控制代码进行组合获得完整的机器人控制程序；s4：在机器人仿真平台中执行所述机器人控制程序，对执行过程及结果进行评估，并将评估结果输入所述微调大规模语言模型以迭代更新所述机器人控制程序；s5：在真实建筑组装机器人上运行更新后的机器人控制程序，执行建筑组装任务。

3、优选地，步骤s2中不同层级的控制任务包括高层级控制和低层级控制，其中所述高层级控制包括任务级控制和动作级控制，所述低层级控制包括初始级控制和伺服级控制，其中，所述任务级控制用于表征用户指定组装机器人应执行的任务；所述动作级控制用于将所述任务级控制转换为组装动作；所述初始级控制用于根据动作级控制所分解的动作序列设定几何路径、相对轨迹、控制策略和控制算法；所述伺服级控制用于基于所述初始级控制向所述建筑组装机器人系统提供驱动信号。

4、优选地，步骤s2中所述对预设层级的控制任务进行自然语言描述和解释，以构建自定义机器人api库具体为：通过自然语言将api描述为动作级控制，基于建筑组装任务的不同控制阶段和需求定义不同功能的api，进而为建筑组装全过程构建自定义机器人api库。

5、优选地，步骤s1具体为：步骤s11：采集数据，所述数据包括机器人空间推理任务的任务描述文本与对应的组装机器人控制代码；步骤s12：对采集数据进行处理，形成目标指令集；步骤s13：采用目标指令集对所述大规模语言模型进行指令微调和低秩适配微调获得微调大规模语言模型。

6、优选地，步骤s11中具体为在网络上爬取所述数据，步骤s12中所述对采集数据进行处理包括对数据进行格式化与数据清洗。

7、优选地，所述提示语包括基于所述高层级控制构建的高级模块提示语和基于所述低层级控制构建的底层逻辑提示语，所述基于所述自定义机器人api库撰写不同层级控制任务的提示语具体为：基于所述自定义机器人api库的内容对不同层级的控制任务进行描述，其中，所述高级模块提示语包括建筑组装任务环境、机器人特征、任务信息和组装动作链；所述底层逻辑提示语包括第三方代码库和机器人配置信息。

8、优选地，步骤s3，将所述提示语输入所述微调大规模语言模型获得不同层级控制任务的控制代码具体为：将所述高级模块提示语输入所述微调大规模语言模型获得带有自定义api的程序主控制单元，也即高级模块；将所述底层逻辑提示语输入所述微调大规模语言模型获得高级模块内部底层逻辑代码；将所述高级模块和底层逻辑代码结合获得完整的机器人控制程序。

9、优选地，步骤s4中，对执行过程及结果进行评估包括：基于任务执行过程中出现的错误情况评估所述机器人控制程序是否成功执行任务；基于任务执行结果数据与任务目标进行比较，评估所述机器人控制程序能否进一步优化。

10、优选地，将评估结果输入所述微调大规模语言模型以迭代更新所述机器人控制程序具体为：所述评估结果包括代码错误和优化目标，将所述评估结果及对应的相关代码片段构建迭代提示语；将所述迭代提示语输入所述微调大规模语言模型生成代码修改建议；基于所述代码修改建议优化所述机器人控制程序。

11、优选地，所述机器人类型包括机械臂、移动机器人与无人机。

12、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于大规模语言模型的建筑组装机器人闭环控制方法主要具有以下有益效果：

13、1.本申请采用分层策略进行机器人控制程序的生成，支持机器人场景下的施工任务规划与建筑组装机器人api底层逻辑自定义生成，有效提高代码生成精度，同时避免分层代码生成带来的代码一致性差与冗余度高的问题。

14、2.本申请采用提示工程约束大规模语言模型的输出内容，通过构建建筑组装机器人api库，提供关键的机器人动作链，指示主控单元中api调用的顺序，使得大规模语言模型能够快速理解并适应不同组装任务要求和机器人配置，从而有效提高代码生成效率。

15、3.本申请利用大规模语言模型技术构建了一个面向人在回路的建筑组装机器人闭环控制框架，这种对话式编程的新模式将用户从艰巨繁重的编程任务中解放出来，使他们能够专注于为特定建筑组装任务思考有效的解决方案，在简化机器人控制过程的同时又能对控制程序进行全局管理与优化。

技术特征：

1.一种基于大规模语言模型的建筑组装机器人闭环控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的建筑组装机器人闭环控制方法，其特征在于，步骤s2中不同层级的控制任务包括高层级控制和低层级控制，其中所述高层级控制包括任务级控制和动作级控制，所述低层级控制包括初始级控制和伺服级控制，其中，所述任务级控制用于表征用户指定组装机器人应执行的任务；所述动作级控制用于将所述任务级控制转换为组装动作；所述初始级控制用于根据动作级控制所分解的动作序列设定几何路径、相对轨迹、控制策略和控制算法；所述伺服级控制用于基于所述初始级控制向所述建筑组装机器人系统提供驱动信号。

3.根据权利要求2所述的建筑组装机器人闭环控制方法，其特征在于，步骤s2中所述对预设层级的控制任务进行自然语言描述和解释，以构建自定义机器人api库具体为：

4.根据权利要求1或2所述的建筑组装机器人闭环控制方法，其特征在于，步骤s1具体为：

5.根据权利要求4所述的建筑组装机器人闭环控制方法，其特征在于，步骤s11中具体为在网络上爬取所述数据，步骤s12中所述对采集数据进行处理包括对数据进行格式化与数据清洗。

6.根据权利要求1或2所述的建筑组装机器人闭环控制方法，其特征在于，所述提示语包括基于所述高层级控制构建的高级模块提示语和基于所述低层级控制构建的底层逻辑提示语，所述基于所述自定义机器人api库撰写不同层级控制任务的提示语具体为：

7.根据权利要求6所述的建筑组装机器人闭环控制方法，其特征在于，步骤s3，将所述提示语输入所述微调大规模语言模型获得不同层级控制任务的控制代码具体为：

8.根据权利要求1所述的建筑组装机器人闭环控制方法，其特征在于，步骤s4中，对执行过程及结果进行评估包括：

9.根据权利要求8所述的建筑组装机器人闭环控制方法，其特征在于，将评估结果输入所述微调大规模语言模型以迭代更新所述机器人控制程序具体为：

10.根据权利要求1～9任意一项所述的建筑组装机器人闭环控制方法，其特征在于，所述机器人类型包括机械臂、移动机器人与无人机。

技术总结
本发明属于建筑组装机器人控制相关技术领域，其公开了基于大规模语言模型的建筑组装机器人闭环控制方法，方法包括：对大规模语言模型进行微调获得微调大规模语言模型；对建筑组装机器人控制过程进行分层，获得不同层级的控制任务，并构建自定义机器人API库；撰写不同层级控制任务的提示语并将其输入微调大规模语言模型获得不同层级控制任务的控制代码；在机器人仿真平台中执行机器人控制程序，对执行过程及结果进行评估，并将评估结果输入微调大规模语言模型以迭代更新机器人控制程序；在真实建筑组装机器人上运行优化后的机器人控制程序，执行建筑组装任务。本申请可以实现建筑组装机器人控制代码自动生成与面向机器人系统的人在回路闭环控制。

技术研发人员：骆汉宾,刘佳静,伍健欣
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/5/16