一种面向多任务的大鼠机器人行为分析方法

本发明属于运动质量评估技术、transformer技术、行为识别，具体涉及一种面向多任务的大鼠机器人行为分析方法。

背景技术：

1、大鼠机器人是一种新型的生物机器人，其在生物医学研究、军事侦查和康复治疗等领域有着广泛的应用前景。运动质量的高低直接影响着大鼠机器人在实际应用中的效果和性能。在应用中，大鼠机器人序列控制和状态切换不流畅时，行为运动会变得笨拙和危险，导致工作效率低甚至任务失败。因此，对大鼠机器人的运动质量进行评估是十分必要的，这可以帮助研究人员了解大鼠机器人的性能和限制，并为其进一步的改进和优化提供科学依据。

2、现有的运动质量评估方法在定性和定量描述上均有局限性。如只考虑行为识别结果且准确率难以进一步提高、评估方法缺乏可解释性等。

3、具体的，在大鼠机器人运动质量评估方面，流畅度的定义缺乏明确的标准，单纯考虑一维数据定义“流畅”相对简单，实际上，大鼠机器人的运动具有速度、姿态等多个属性，很可能在一个属性上流畅运动，而在另外一个属性上却是异常的，因此定义一个覆盖所有可能的正常行为的“流畅”范围是非常困难的。挑战二是流畅运动与异常运动之间的界限往往不够精确，靠近界限的异常行为实际上也可能是流畅的，反之亦然。第三个挑战是大鼠运动数据分布不平衡，自然运动比例较大，异常运动较少。这是因为自然运动的行为比较容易获得，而痉挛、急奔等异常数据比较难获取。因此，从有限的异常行为序列中评估运动的流畅性、和识别异常行为是一项具有挑战性的任务。

4、行为识别是计算机视觉和模式识别领域中的重要研究方向，与人体行为识别相比，动物行为识别面临更多的挑战，例如不同种类的动物行为差异较大，摄像头的视野有限，光照和天气条件等影响因素较多。动物的行为对动物机器人的智能控制及辅助构建动物的特定行为和神经系统活动之间的对应关系有着关键的作用，因此准确识别动物行为是重要的研究内容。传统动作识别方法先通过聚类算法将3d骨骼点聚类为k个姿态序列，再通过hmm模型对聚类后的姿态序列做行为识别。深度学习方法有双流法(two-stream)、3dconvolution(c3d)、cnn+rnn、图卷积等主流方法。其中，双流法认为视频是由连续的图片帧组成的，所以在时间上是连续的，且每张图片都有空间信息，记录了目标的运动信息以及场景信息，因此视频数据拥有时空特性。

5、two-stream网络利用两个分支分别提取时空特征来处理行为识别任务，一个分支是时间流，通过密集的相邻帧之间的光流来提取运动特征。另外一支是空间流，则是从输入视频中抽取的一张rgb图像来提取物体和场景外观特征。对两个特征图进行融合，最终由输出层输出行为结果。但是双流网络在分析较长的视频时，其精度下降较多。

6、c3d法认为三维卷积神经网络不仅能学习空间上的特征，相比于2d，增加的一维，还可以对应到视频中的时间维度。三维卷积神经网络处理视频时无需其他预处理步骤，因此在视频分类任务上具备普适性。与双流法相比，c3d法没有采用将时空特征先分离后融合的操作，所以能同时捕捉时空的特征。然而，由于三维卷积神经网络的参数量远远大于二维卷积神经网络，训练时不仅容易出现在小数据量上过拟合现象，还增加了整体训练时间。

7、由于行为是在时间上连续的，于是考虑结合cnn和lstm设计新型行为识别架构。这种搭建模型的方式充分利用了cnn的视觉特征提取优势以及rnn的时序建模优势，在行为识别任务中取得了不错的结果。基于关键点的行为识别目前主要有两种策略，直接利用基础模型搭建分类网络和利用关键点构建图模型进行时空学习得到行为类别。然而，直接利用基础模型的方法精度无法达到要求，而构建图模型的方法在研究对象或关键点数量变化时需要重新设计骨骼图结构，无法复用之前的图结构。因此基于关键点的行为识别仍然存在着较大的挑战。

技术实现思路

1、本发明的目的在于提出一种面向多任务的大鼠机器人行为分析方法，以解决行为识别和运动质量评估的多任务问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：一种面向多任务的大鼠机器人行为分析方法，主要包括行为识别任务模块、运动质量评估任务模块。

3、所述行为识别任务基于transformer编码模块实现，包括输入层、transformer编码模块、基础网络模块、全连接层、输出层，基于姿态估计方法得到的关键点序列，通过在基础网络模块前置transformer编码模块来提升行为识别的性能。

4、所述运动质量评估任务基于全局和局部的融合特征实现，包括低维映射度量、基于quasi-gw距离的姿态差异度量、身体抖动程度度量。其中，低维映射度量得到全局特征信息，基于quasi-gw距离的姿态差异度量和身体抖动程度度量分别得到局部特征信息，最终通过融合特征度量得到运动流畅度分数。

5、其中基于transformer编码模块的行为识别模型具有串行结构，模块的顺序从先到后依次为输入层、transformer编码模块、基础网络模块、全连接层、输出层，所述基础网络模块可以采用多种神经网络结构，如一维卷积神经网络(1dcnn)、多层感知机(mlp)、循环神经网络(rnn)、长短时记忆网络(lstm)、门控循环单元(gru)、双向长短时记忆网络(bilstm)、双向门控循环单元(bigru)等方法。

6、其中用于行为识别任务的整体数据处理流程包括：首先将连续帧数据输入到输入层，经过transformer编码模块提取特征，然后送入基础网络模块，随后经全连接层进行特征筛选，最终由输出层生成分类结果。所述输入层用于接收原始数据，所述原始数据为大鼠机器人的坐标点信息，其可为一维x/y/z坐标点信息，也可为二维x,y/y,z/x,z坐标点信息，或三维x,y,z坐标点信息。所述transformer编码模块用于接收和处理输入层传递来的数据，通过特征编码提取原始数据中的时空特征，并可被神经网络高效学习。所述基础网络模块是模型架构的学习部分，能够对transformer编码模块处理后的特征进行学习，进一步提取更高层次的抽象特征，以更好地支持行为识别任务的完成。所述全连接层的作用是将基础网络模块输出的每一个结点都与上一层的所有结点相连，用来把基础网络模块提取到的特征进行综合，并将学到的“分布式特征表示”映射到样本标记空间。所述输出层是对全连接层输出的特征数据进行最后的分类，以得到最终的行为分类结果。

7、一种面向多任务的大鼠机器人行为分析方法，运动质量评估任务基于全局和局部的融合特征实现，包括：输入层，低维映射度量、基于quasi-gw距离的姿态差异度量、身体抖动程度度量，输出层。其中，所述输入层用于接收大鼠机器人的坐标点信息，所述低维映射度量得到全局特征，利用降维技术将高维采样数据映射到低维空间，计算流畅运动范围之外待测试序列的可能性。所述基于quasi-gw距离的姿态差异度量获取运动的局部特征，通过建立大鼠机器人全部关键点姿态数据的差异矩阵，用于衡量相邻姿态之间的差异。所述身体抖动程度度量利用频谱分析方法计算频率成分，将难以在时域用数学方法描述的抖动变化映射在频谱曲线上，通过能量分布特征判断是否产生异常运动。所述输出层输出大鼠机器人的运动流畅度分数。

8、用于动作质量评估任务的全局特征和局部特征具有互补性，分别给对每一维特征“打分”、归一化和赋予权重后，将特征线性融合可以得到运动流畅度分数，并以此有效判断运动序列是否异常。

9、本发明的另一个目的是提供所述大鼠机器人行为分析方法在大鼠机器人的行为分类和运动质量评估中应用。本发明通过对大鼠行为的详细分析，可以更好地了解其行为特征和神经生物学机制，并为神经科学研究、流畅控制、康复治疗等提供有价值的信息。可应用于生物医学研究、军事侦查和灾难搜救中。

10、本发明方法可以应用于生物医学研究、军事侦查和灾难搜救中，相较于传统机器人，大鼠机器人直接以身体为本体，不需额外考虑材料制造，保留了动物自身经自然进化的良好机能。大鼠机器人可以利用视觉、化学、机械和磁感受器等感知外部刺激，在复杂环境中可利用已有的能力自主实现运动控制和避障功能。大鼠机器人环境适应性强、动作灵活、隐蔽性强、功耗低，未来将在工业、军事、生活、医疗等领域具有广阔应用前景，可用于灾难搜救、军事侦察、导航和危险货物检查，同时从大鼠与环境的直接交互中我们可以得到全新的甚至未知的信息

11、本发明与现有技术相比较具有如下有益效果：

12、(1)本发明在大鼠机器人姿态估计方法上，提出实现行为定性和定量检测的多任务解决办法，可以完成行为识别和生成运动质量评估分数。

13、(2)在运动质量评估方面，本发明针对运动质量评估方法缺乏明确标准和缺乏可解释性的问题，对全局特征和局部特征线性融合，将多种不同类型的运动学属性结合在一起以提高大鼠机器人运动流畅度评估的准确性，具有较好的可解释性。

14、(3)在行为识别方面，本发明针对基于关键点的行为识别方法需要根据研究对象分别重新手工设计骨骼图结构的普适性问题，以及基于关键点的行为识别方法直接对时序关键点分类精度不高的问题，利用transformer编码模块的特征抽取能力，不仅能够直接根据关键点信息自动设计最优的骨骼图结构，避免了分别手工设计骨骼图结构，具备更高的普适性，还能大幅提升基础行为识别模型的准确率。