基于数字孪生的移动机械臂虚实控制系统架构

本发明涉及数字孪生领域，具体涉及数字孪生的移动机械臂虚实控制系统架构。

背景技术：

1、随着虚拟现实、大数据、人工智能、物联网等新兴技术的迅猛发展和广泛应用，我国的油气勘探和开发正在快速向数字化、智能化转型.数字孪生技术是一种将真实世界物理资产虚拟化的技术，通过虚实之间的数据动态连接，实现了物理世界和信息世界的相互融合.

2、当前，越来越多的油气公司开始积极探索数字孪生技术，利用数字孪生技术，可以构建真实世界物理资产的虚拟模型，协助企业更加准确地预测、分析和优化其生产过程，从而提高生产效率和管理水平.因此，数字孪生技术被认为是油气行业实现数字化转型、提高生产效率和实现可持续发展的重要手段之一.

3、然而，由于钻井工序的复杂性、恶劣的工作环境、需要持续进行作业以及高强度的人员劳动等因素，钻井作业不仅存在高风险，而且需要进行大量重复性劳动.为了降低油田开采过程中钻井人员的工作强度和人身安全风险，钻井中大量引入了石油钻机自动化设备，例如，钻台面机械手以替代部分钻井人工操作，自动完成多种作业动作，如上钻杆、排立柱、接钻杆对扣、方钻杆进大鼠洞等，从而提高钻井作业的安全性和自动化水平，实现无人化操作，提高钻井作业的效率和安全性.然而，机械手的控制仍依赖司钻进行操作和干预，智能化水平不高.

4、移动机械臂是一种具有可编程自由度的机器人装置，通常由一组连杆、关节和执行器构成，已经被广泛地应用于工业制造、医疗治疗、国防军事和娱乐服务等各个领域，涵盖.执行各种重复性、高强度、高难度挑战性、高风险以及复杂性的任务.

5、随着智慧油田的发展需求，建立钻井全过程的数字孪生系统上，以提高钻机装备控制技术智能化和智慧化.特别是建立数字孪生的钻井平台，建立钻井平台虚拟空间和钻井平台现场间的虚实通信连接，引入深度强化学习的人工智能控制方法，发明一种移动机械臂虚实控制系统架构，实现移动机械臂的自主跟踪目标和控制决策.不仅是保证虚拟实体与实际物理对象之间的高度一致性和同步性前提，更是实现移动机械臂灵活、准确的自主控制和决策能力，感知未知的工作环境并不断学习与环境交互，应对复杂动态环境的机械臂精准控制的前提.

6、采用近端策略优化(proximal policy optimization，ppo)算法训练移动机械臂数字孪生模型关节末端完成跟踪虚拟目标物体的任务，并将已训练好的理想智能体部署至实体移动机械臂，实现虚实移动机械臂自主同步跟踪目标，从而提高移动机械臂在复杂环境下的自主决策能力.

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，在建立的数字孪生的钻井平台基础上，构建一种移动机械臂虚实控制系统架构。通过建立虚实通信连接，引入近端策略优化(proximal policy optimization，ppo)算法训练移动机械臂，完成跟踪虚拟目标物体的任务.将理想智能体部署至实体移动机械臂，实现虚实移动机械臂的同步自主跟踪目标和控制决策.

2、其中，数字孪生移动机械臂虚实同步控制系统总体架构包括硬件设备层、物理链路层、数据传输层和软件层，通过四层架构的协同工作实现数字孪生移动机械臂控制，即完成基于unity3d的移动机械臂虚实同步控制和基于ppo算法的移动机械臂目标跟踪控制两种方式。

3、基于数字孪生的移动机械臂虚实控制系统架构，发明的主要内容有：

4、步骤一、构建虚拟钻井平台软件层.

5、(1)利用solidworks和3ds max等3d建模软件，创建虚拟钻井设备模型以及一个六自由度履带式移动机械臂对应的数字孪生模型，以fbx格式保存后导入到unity3d中.

6、(2)基于unity3d的仿真软件开发了一个虚拟钻井仿真环境，主要包括移动机械臂数字孪生模型、虚拟钻井设备模型和井场周围环境.

7、(3)使用visual studio编辑器创建虚拟端通信脚本、数据解析脚本、旋转角度转换脚本和关节控制脚本。用于建立虚实通信，解析从物理空间中接收到的六自由度履带式移动机械臂舵机动作数据，并将其传递给旋转角度转换脚本以生成数字孪生模型绕父级旋转的欧拉角，从而控制移动机械臂数字孪生模型的关节旋转；或者通过移动机械臂数字孪生模型的关节旋转进而控制六自由度履带式移动机械臂舵机动作.

8、(4)实现虚拟空间和物理空间的移动机械臂虚实同步控制和自主决策.

9、(4.1)在unity3d的ugui人机交互界面，通过鼠标拖拽或者键盘控制移动机械臂数字孪生模型关节进行旋转，经“反馈”，直接控制六自由度履带式移动机械臂关节进行同步动作，实现基于模型驱动的移动机械臂虚实同步控制，即实现虚拟移动机械臂同步控制实体移动机械臂。

10、(4.2)在物理空间，通过手动转动六自由度履带式移动机械臂关节，经“映射”直接控制虚拟端移动机械臂数字孪生模型关节进行同步旋转，实现实体移动机械臂同步控制虚拟移动机械臂.

11、(4.3)虚拟移动机械臂自主决策控制。

12、(4.3.1)采用近端策略优化算法参与移动机械臂数字孪生模型关节末端的决策.采用python3.7.12环境下的ppo算法生成训练器、学习器和其他函数文件，通过python api与ml-agents机器学习框架中的外部沟通器进行外部通信，在虚拟钻井仿真环境中训练移动机械臂控制智能体，ml-agents框架中学院与外部沟通器双向控制多个大脑，多个大脑控制各自智能体进行动作。

13、(4.3.2)仿真训练移动机械臂数字孪生模型关节进行组合动作，实现移动机械臂数字孪生模型关节末端跟踪虚拟目标的任务.采用ppo算法提供了ppo-clip变体，优化的目标函数如式(1)所示：

14、

15、式中，θ表示策略参数，rt(θ)表示新策略与旧策略之间的比率，为旧策略，αt为t时刻智能体动作，st为t时刻智能体的状态，rt(θ)为新旧策略出现概率的比值，为t时刻的优势函数，ε为超参数，表示经验期望.

16、(4.3.3)仿真训练智能体达到理想状态后，将其部署在虚拟钻井仿真环境中.该训练算法自动控制ugui人机交互界面的关节滑条组件，进行相应的关节控制.

17、(4.4)将移动机械臂在虚拟空间中的数字孪生模型的实时动作反馈到物理空间中的六自由度履带式移动机械臂，实现虚实移动机械臂末端自主同步跟踪目标.

18、步骤二、构建硬件设备层。硬件设备层主要包括六自由度履带式移动机械臂和基于stm32的舵机控制板.其中舵机控制板通过物理方式安装在六自由度机械臂履带式机械臂的底座上，可通过烧录的舵机控制程序控制六自由度机械臂履带式机械臂相应关节进行旋转.

19、步骤三、建立双向虚实同步控制提供数据的数据传输层.

20、数据传输层包括发送数据和接收数据两部分，经串口通信协议实现pc端与硬件设备的全双工双向同步通信，为“反馈”和“映射”的双向虚实同步控制提供数据传输通道.

21、步骤四、构建物理链路层。主要包括采用无线连接方式的无线串口收发模块和采用有线连接方式的usb-a to microusb数据线通信模块.

22、物理空间中的实体端通信程序由软件层keil uvision5软件经编辑、编译和链接生成.hex格式的可执行程序，使用flymcu仿真软件将可执行程序通过两种通信介质烧录到舵机控制板的stm32f103c8t6芯片中.

23、步骤五、基于数字孪生的移动机械臂虚实控制系统架构性能的测试.

24、(1)启动系统测试所需的软硬件环境部署

25、(1.1)将基于stm32开发的舵机控制板安装在履带车底座上，用舵机连接线将六自由度机械臂上的舵机依次串联起来，并将舵机连接线一端插在舵机控制板的2路总线接口上.

26、(1.2)在计算机桌面打开创建虚拟钻井仿真的unity3d项目，并点击场景“play”运行按钮.

27、(1.3)将usb-a to microusb数据线的usb-a一端插在计算机usb接口，microusb一端插在舵机控制板的microusb接口，并将舵机控制板开关拨至“on”端.

28、(2)虚实同步控制系统的测试.首先，点击unity场景运行(play)按钮，并在unity3d游戏窗口注册并登录系统.然后，点击进入“移动机械臂虚实同步控制界面”.最后，通过“虚实同步可视化面板”和“串口通信设置面板”，测试虚实同步控制系统中的模型驱动和虚实融合两种模式下的虚实关节同步动作对比.

29、本发明的优点在于将虚拟可视化技术、人工智能控制和数字孪生技术引入到钻机装备，建立基于unity3d虚拟钻井仿真环境，应用ppo算法训练数字孪生移动机械臂控制智能体，将已训练的理想智能体部署至实体移动机械臂，实现在复杂环境下移动机械臂的自主同步跟踪目标和控制决策.创新性设计基于数字孪生的移动机械臂虚实控制系统架构，为智慧钻机装备技术中人工智能控制奠定基础.