本发明涉及机械臂，具体而言，涉及一种具身智能数据采集与标注方法及系统。

背景技术：

1、具身智能数据是指机器人在与物理环境交互过程中产生的多模态、时空对齐的复杂信息集合，涵盖视觉、动作、力触觉、环境及交互等多个维度，是具身智能模型训练与迭代的核心。具身智能数据采集标注可以理解为获取机器人与物理世界交互的多模态原始数据如视觉、力觉、触觉、动作轨迹等，并对其进行时空对齐、语义解析与结构化标签处理，以构建训练具身智能模型所需的高质量闭环数据集的过程。

2、目前行业内具身智能数据标注主要采用全量数据回传云端与人工集中标注的传统模式，同时辅以部分仿真数据生成、单模态自动预标注方案作为补充。现有端侧预标注方案多为单模态、单维度的简单分类，缺乏体系化的多维度置信度评估与难例筛选机制，其无法精准区分高置信可靠样本与低置信难例样本。如此一来，容易导致大量错误标注直接入库，拉低了数据集整体标注质量。

技术实现思路

1、为了提高具身智能数据样本的标注质量，本发明提供一种具身智能数据采集与标注方法及系统，具体技术方案如下：

2、一种具身智能数据采集与标注方法，包括如下步骤：

3、s1，采集机器人端的多维度传感数据，对多维度传感数据进行时空对齐处理，获取多模态原始数据；

4、s2，获取机器人当前的本体执行状态以及任务上下文信息，基于本体执行状态以及任务上下文信息作为约束条件对多模态原始数据进行处理，获取多维度初始标注结果；

5、s3，对多维度初始标注结果进行置信度评估，获取标注结果的综合置信度，根据综合置信度对样本进行分级，并根据分级结果获取标注样本。

6、所述具身智能数据采集与标注方法基于本体执行状态以及任务上下文信息作为约束条件对多模态原始数据进行处理，获取多维度初始标注结果，并在对多维度初始标注结果进行置信度评估，获取标注结果的综合置信度的基础上对样本进行分级，最后基于分级结果获取标注样本，其可以实现多维度置信度评估与样本筛选分级机制，避免大量错误标注直接入库，提高了数据样本的整体标注质量。

7、优选地，步骤s2具体包括如下步骤：

8、s21，对多模态原始数据进行处理，根据视觉模态数据获取视觉深度特征以及根据力觉本体模态数据获取力觉本体特征，并对视觉深度特征与力觉本体特征进行特征融合，获取跨模态融合特征；

9、s22，根据跨模态融合特征生成包含动作类别标注分支、接触状态标注分支、任务执行结果标注分支在内的候选集分类概率；

10、s23，基于本体执行状态以及任务上下文信息对候选集分类概率进行任务类别约束与物理规则校正，获取多维度初始标注结果；

11、其中，多模态原始数据包括视觉模态数据以及力觉本体模态数据。

12、优选地，步骤s22具体包括如下步骤：

13、s221，根据多模态原始数据获取深度距离特征、六维力突变特征以及关节力矩增量特征；

14、s222，对深度距离特征、六维力突变特征、关节力矩增量特征以及跨模态融合特征进行拼接融合，得到神经网络模型中的接触状态分支输入特征，根据接触状态分支输入特征获取接触状态初步分类结果以及对应的概率分布，并根据接触状态初步分类结果以及对应的概率分布获取接触状态标注分支的候选集分类概率。

15、其中，视觉模态数据包括rgb图像以及对应的深度图，力觉本体模态数据包括六维力序列、六位力矩序列、关节角度序列、关节角速度序列以及关节力矩序列，力觉本体特征通过对力觉本体模态数据进行编码融合得到。

16、优选地，步骤s3具体包括如下步骤：

17、s31，分别从模型分类不确定性、跨模态特征一致性、任务语义匹配度以及时序连续性四个维度进行量化计算，得到各维度的标准化置信度得分；

18、s32，对多个维度的标准化置信度得分进行融合，获取综合置信度，根据综合置信度以及预设的分级阈值将样本划分为高置信度样本、中置信度样本以及低置信度样本，对高置信度样本、中置信度样本以及低置信度样本进行相应处理，获取标注样本。

19、优选地，步骤s31具体包括如下步骤：

20、s311，获取动作类别、接触状态、任务执行结果三个标注分支的输出概率分布，并根据每个标注分支的输出概率分布中的最高类别概率以及次高类别概率获取单分支置信度，对三个标注分支的单分支置信度进行融合获取用于表征模型分类不确定性的模型分类综合得分；

21、s312，获取用于表示两个单模态特征之间的语义匹配程度的跨模态特征一致性得分，计算跨模态特征一致性得分的均值以及标准差，并根据跨模态特征一致性得分的均值以及标准差获取多模态数据特征一致性得分；

22、s313，预先为每类任务构建标准状态转移机并根据任务上下文确定当前预期阶段，根据标准状态转移机以及当前预期阶段获取状态转移距离，根据状态转移距离获取负相关于状态转移距离的任务语义匹配度得分；

23、s314，预定义合法状态转移矩阵，根据合法状态转移矩阵获取预设滑动窗口内的非法状态转移次数与总转移次数，根据非法状态转移次数与总转移次数获取负相关于非法状态转移次数的时序连续性得分。

24、优选地，对多个维度的标准化置信度得分进行融合，获取综合置信度具体包括如下步骤：

25、s321，对多个维度的标准化置信度得分进行加权计算，获取基础置信分；

26、s322，获取多个维度的标准化置信度得分的离散度，并获取负相关于离散度的惩罚因子；

27、s323，根据惩罚因子与基础置信分的乘积，获取综合置信度；

28、其中，多个维度的标准化置信度得分的离散度表示多个维度的标准化置信度得分的最大值与最小值之差且取值范围为[0,1]。

29、一种具身智能数据采集与标注系统，其包括：

30、原始数据获取模块，用于采集机器人端的多维度传感数据，对多维度传感数据进行时空对齐处理，获取多模态原始数据；

31、标注结果获取模块，用于获取机器人当前的本体执行状态以及任务上下文信息，基于本体执行状态以及任务上下文信息作为约束条件对多模态原始数据进行处理，获取多维度初始标注结果；

32、标注样本获取模块，用于对多维度初始标注结果进行置信度评估，获取标注结果的综合置信度，根据综合置信度对样本进行分级，并根据分级结果获取标注样本。

33、优选地，标注结果获取模块包括：

34、跨模态融合特征获取单元，用于对多模态原始数据进行处理，根据视觉模态数据获取视觉深度特征以及根据力觉本体模态数据获取力觉本体特征，并对视觉深度特征与力觉本体特征进行特征融合，获取跨模态融合特征；

35、候选集分类概率获取单元，用于根据跨模态融合特征生成包含动作类别标注分支、接触状态标注分支、任务执行结果标注分支在内的候选集分类概率；

36、标注结果约束校正单元，用于基于本体执行状态以及任务上下文信息对候选集分类概率进行任务类别约束与物理规则校正，获取多维度初始标注结果。

37、优选地，候选集分类概率获取单元包括：

38、多模态特征获取子单元，用于根据多模态原始数据获取深度距离特征、六维力突变特征以及关节力矩增量特征；

39、分类概率获取子单元，用于对深度距离特征、六维力突变特征、关节力矩增量特征以及跨模态融合特征进行拼接融合，得到神经网络模型中的接触状态分支输入特征，根据接触状态分支输入特征获取接触状态初步分类结果以及对应的概率分布，并根据接触状态初步分类结果以及对应的概率分布获取接触状态标注分支的候选集分类概率。

40、优选地，标注样本获取模块包括：

41、置信度得分获取单元，用于分别从模型分类不确定性、跨模态特征一致性、任务语义匹配度以及时序连续性四个维度进行量化计算，得到各维度的标准化置信度得分；

42、标注样本获取单元，用于对多个维度的标准化置信度得分进行融合，获取综合置信度，根据综合置信度以及预设的分级阈值将样本划分为高置信度样本、中置信度样本以及低置信度样本，对高置信度样本、中置信度样本以及低置信度样本进行相应处理，获取标注样本。

43、一种具身智能数据采集与标注设备，其包括：

44、控制器；

45、存储器，存储有可执行指令；

46、其中，所述可执行指令可在所述控制器上运行并实现所述的具身智能数据采集与标注方法。