本发明涉及深度学习与具身智能（embodied ai）领域，具体涉及一种基于未来环境表征预测的视觉-语言-动作（vision-language-action, vla）模型边端异步推理方法。

背景技术：

1、近年来，基于视觉语言模型（vision-language model, vlm）构建的视觉-语言-动作（vla）模型在多种具身智能任务中展现出优异的性能。vla模型通常采用“视觉语言模型+动作专家（action expert）”的架构：在每次推理时，将当前图像观测与语言指令输入视觉语言模型，得到对应的末层隐藏状态与键值缓存（kv cache），并将其传递给动作专家；动作专家以该隐藏状态、键值缓存以及随机初始化的动作噪声为输入，通过流匹配（flowmatching）的多步去噪过程预测出一个包含多个动作的动作序列（action chunk）。

2、为实现低推理延迟与高控制频率，现有方法多将vla模型部署在高性能gpu（如rtx4090）上，但此类设备功耗较高，会显著缩短机器人的续航时间并限制其活动范围，难以应用于车载、机载等低功耗边缘计算设备（如jetson orin、jetson thor）。然而，受限于边缘设备的计算与带宽资源，vla模型在边缘设备上的推理时延较大，导致控制频率低，机器人对环境变化的反应迟缓，且动作序列之间存在较长的停顿。

3、为缓解上述问题，异步推理方法在执行当前动作序列的同时对下一动作序列进行预测，从而部分掩盖了推理延迟。但该方式引入了两个关键问题：其一，预测-执行错位问题，即当vla模型完成下一动作序列的预测时，外部环境已相对于推理开始时刻输入的图像观测发生了变化，导致预测的动作与执行时的实际环境不匹配，且该问题随推理时延增大而愈加严重；其二，反应时间过长问题，即机器人对环境变化的反应时间受限于vla模型的推理时延，难以及时响应环境变化，进而影响复杂任务的完成质量。

4、现有的部分工作通过预测机器人在推理结束时刻的自身状态来引导下一动作序列的预测，但机器人自身状态并不能充分反映环境的变化，其有效性会随推理时延的增大而显著下降；另有部分工作通过对动作序列进行修补以提升相邻动作序列之间轨迹的平滑性，但仍未能从根本上解决预测-执行错位问题。此外，现有方法大多在每次动作序列预测时均固定调用视觉语言模型，未能根据环境变化的剧烈程度动态调整视觉语言模型与动作专家的调用频率，导致反应时间难以进一步降低。

5、因此，亟需一种能够预测未来环境表征以对齐动作预测与实际执行环境，并能够根据环境变化的剧烈程度动态调度视觉语言模型与动作专家调用频率的vla模型异步推理方法，以提升vla模型在边缘计算设备上的控制频率和任务成功率。

技术实现思路

1、针对以上现有技术中存在的问题，本发明提出了一种基于未来环境表征预测的视觉-语言-动作（vla）模型边端异步推理方法。

2、本发明提供的技术方案如下：

3、一种基于未来环境表征预测的视觉-语言-动作模型边端异步推理方法，所述视觉-语言-动作模型部署在机器人的边端计算设备上，该方法包括以下步骤：

4、步骤1：初始化视觉-语言-动作模型，模型包括视觉语言模型（vlm）部分和动作专家部分；构建动作缓存、隐藏状态缓存和键值缓存，分别用于缓存待执行的动作序列、vlm输出的末层隐藏状态以及vlm每一层输出的键值缓存；

5、步骤2：在初始时刻，将机器人采集的相机图像观测和接收的语言任务指令输入视觉语言模型，得到其末层隐藏状态以及每层的键值缓存，为形状为t×的张量，t为隐藏状态的token数，为视觉语言模型的嵌入维度；使用初始化，初始化；动作专家以、与随机初始化的动作噪声为输入，通过流匹配的多步去噪迭代过程生成包含h个动作的动作序列，,…,；使用这个动作序列初始化动作缓存，以动作步数计，记视觉-语言-动作模型在边端计算设备上完成一次推理所需的时延为，动作专家推理一次的时间为，初始化当前时间为t；

6、接下来进行异步推理，循环执行以下步骤3至步骤5，直到语言任务指令完成，同时，机器人不断从动作缓存中获取当前时刻对应的动作并执行；

7、步骤3：使用未来校正模块在t时刻预测时刻视觉语言模型的末层隐藏状态；未来校正模块包含状态压缩分支与动作编码分支：状态压缩分支通过q-former模块将t时刻的视觉语言模型末层隐藏状态中的t个token压缩为长度为t'的压缩表示；动作编码分支将动作缓存中后续要执行的个动作,,…,依次输入多层感知机和transformer模块，取transformer输出序列的末位token状态作为动作执行表征；

8、将状态压缩分支输出的压缩表示与动作编码分支输出的末位token状态进行拼接和线性投影，输入两层级联的transformer模块，得到融合当前环境表征与未来动作执行信息的联合表征；在该联合表征基础上分别接入校正头和置信度头：校正头输出对t+时刻视觉语言模型的末层隐藏状态，记为置信度头输出标量置信度c，用于表征隐藏状态预测结果的可靠程度；

9、步骤4：当置信度c大于阈值θ时，判定当前未来环境预测足够准确，则跳过下一次视觉语言模型调用，直接将预测得到的末层隐藏状态与键值缓存输入动作专家，由动作专家直接预测生成从时刻开始的新动作序列，并更新动作缓存，同时以更新隐藏状态缓存，更新当前时间t为；

10、步骤5：当置信度c不大于阈值θ时，判定当前环境变化幅度大，未来环境预测存在误差大，调用视觉语言模型对当前环境进行重新观测：机器人获取当前时刻的相机图像观测，并将该图像观测与语言任务指令重新输入视觉语言模型，输出新的键值缓存与新的末层隐藏状态，更新键值缓存与隐藏状态缓存；再由未来校正模块基于更新后的与动作缓存中后续要执行的个动作,,…,预测t+时刻视觉语言模型的末层隐藏状态；将预测结果与更新后的键值缓存输入动作专家，预测新的动作序列并更新动作缓存，更新当前时间t为；

11、所述步骤3至步骤5循环执行，直到语言任务指令完成。

12、进一步，所述未来校正模块通过以下训练方式得到，取任意时刻t和预测间隔，根据t时刻相机图像观测和语言任务指令进行一次完整的视觉-语言-动作模型（vla）推理，记录视觉语言模型（vlm）输出的末层隐藏状态，再通过动作专家预测后续的个动作,,…, ，机器人执行这些动作后，获取时刻相机图像观测，并再次进行视觉-语言-动作模型（vla）推理，记录视觉语言模型（vlm）在时刻输出的末层隐藏状态；同时，使用未来校正模块根据,,…,和预测时刻的末层隐藏状态，以为损失函数对未来校正模块进行训练。

13、本发明的技术效果如下：

14、在低功耗边缘设备上部署vla模型时，本发明方法可以将动作预测与实际执行环境对齐，从而提升模型在实际部署时的任务成功率，同时，通过基于置信度的推理路径选取，可以降低模型推理的平均延迟，从而提升模型的反应速度。经上述方法，该视觉-语言-动作模型在jetson orin上的控制频率由约0.70hz提升至约6.06hz，在jetson thor上的控制频率由约2.18hz提升至约7.59hz，机器人在折叠衣物等复杂任务中的反应速度与任务成功率均得到显著提升。