多动物社交行为分析方法、装置、电子设备及存储介质

本发明涉及计算机视觉，具体涉及一种多动物社交行为分析方法、装置、电子设备及存储介质。

背景技术：

1、传统的社交行为分析方法通常侧重于某一时刻的动物行为，难以捕捉社交行为的时序和时空特性。此外，传统方法通常需要特定的实验设计，如三项社交实验，而且结果容易受到主观判定和实验条件的干扰。这种依赖于特定实验条件和主观判定的方法在多动物社交行为研究中存在局限性，不足以全面了解动物社交行为的复杂性。

2、近年来，出现了多种多动物姿态估计和追踪工具，如deeplabcut和sleap，它们提供了详细的多动物骨骼和追踪数据。然而，这些工具主要关注姿态估计和追踪，未提供对社交行为序列的深度解析，需要用户自行设计社交行为判定规则。这种方法虽然在数据采集方面提供了便利，但对于大规模社交行为的自动化分析和精细建模仍然存在挑战。

3、手动设计的规则通常基于特定场景和假设，缺乏通用性，无法适用于不同类型的社交障碍研究。此外，手动设计的社交行为规则容易引入主观偏差，且无法准确反映疾病病理特征。

4、因此，需要一种高度自动化的方法，能够在时空两个维度上对社交行为进行建模，同时充分利用模式动物基因型等相关信息。

技术实现思路

1、本发明的目的在于克服上述技术不足，提供一种多动物社交行为分析方法、装置、电子设备及存储介质，解决现有技术中无法较好的进行大规模社交行为的自动化分析和精细建模的技术问题。

2、为达到上述技术目的，本发明采取了以下技术方案：

3、第一方面，本发明提供了一种多动物社交行为分析方法，包括如下步骤：

4、获取多组包含多种基因型的实验动物的社交行为视频，并对所述社交行为视频进行处理，以得到多组包含多个实验动物的社交行为序列；

5、构建行为分析模型，采用多组所述社交行为序列对所述行为分析模型进行训练，以得到训练完备的行为分析模型，其中，所述行为分析模型包括依次连接的编码器、瓶颈头以及解码层，所述瓶颈头还连接有全连接层，所述编码器用于进行特征提取，所述解码器用于重建社交行为序列的关键点坐标，所述全连接层用于预测基因型信息；

6、获取待分析社交行为序列，并对所述待分析社交行为序列进行过滤后，将过滤后的待分析社交行为序列输入至训练完备的行为分析模型中，以得到分析结果；

7、对所述分析结果进行降维处理后，对降维处理后的分析结果进行聚类，以分析每个社交行为类别的基因型分布；

8、从每个聚类中选取符合预设条件的k个序列进行可视化分析以及可解释性分析。

9、在一些实施例中，所述获取多组包含多种基因型的实验动物的社交行为视频，并对所述社交行为视频进行处理，以得到多组包含多个实验动物的社交行为序列，包括：

10、获取多组包含多种基因型的实验动物的社交行为视频，截取感兴趣的社交行为时间段；

11、对所述感兴趣的社交行为时间段进行姿态估计和追踪，以获取总社交行为序列；

12、将所述总社交行为序列进行切分，以得到多组包含多个实验动物的社交行为序列，并对序列中的不同个体进行基因型信息标注。

13、在一些实施例中，所述编码器由7层社交图卷积模块组成，所述社交图卷积模块包括原始图卷积模块组件以及社交卷积模块，所述社交卷积模块由一个分组卷积层，一个激活函数和一个残差连接组成；

14、所述解码器由7层社交图卷积模块组成，其中，最后一层社交图卷积模块连接一个全连接网络，用于复原社交行为序列的关键点坐标；

15、所述全连接层作为分类器并交叉熵损失函数预测基因型信息。

16、在一些实施例中，所述行为分析模型的训练过程包括两种策略，其中，

17、第一种策略用于提取的特征是否能够反应不同基因型动物的行为差异，具体为：

18、选取若干组社交行为序列对构建的行为分析模型进行训练后，选取重建精度最高的模型，采用剩余的社交行为序列对所述重建精度最高的模型进行预测，以对所述重建精度最高的模型进行优化；

19、第二种策略用于进行特征提取，具体为：

20、将每个社交行为序列分成等长的两段，前半段用于进行行为分析模型的训练，后半段用于测试，挑选在测试集上准确率最高的模型进行特征提取。

21、在一些实施例中，通过umap法、主成分分析法或者t-分布随机邻域嵌入法对所述分析结果进行降维处理。

22、在一些实施例中，采用层次聚类法、k均值聚类法或者谱聚类法对降维处理后的分析结果进行聚类。

23、在一些实施例中，所述从每个聚类中选取符合预设条件的k个序列进行可视化处理以及可解释性分析，包括：

24、对每个聚类得到的时空行为序列，挑选分类置信度最高且预测标签与真实基因型相同的k个序列进行可视化处理以及可解释性分析。

25、第二方面，本发明还提供一种多动物社交行为分析装置，包括：

26、视频获取模块，用于获取多组包含多种基因型的实验动物的社交行为视频，并对所述社交行为视频进行处理，以得到多组包含多个实验动物的社交行为序列；

27、模型构建模块，用于构建行为分析模型，采用多组所述社交行为序列对所述行为分析模型进行训练，以得到训练完备的行为分析模型，其中，所述行为分析模型包括依次连接的编码器、瓶颈头以及解码层，所述瓶颈头还连接有全连接层，所述编码器用于进行特征提取，所述解码器用于重建社交行为序列的关键点坐标，所述全连接层用于预测基因型信息；

28、分析模块，用于获取待分析社交行为序列，并对所述待分析社交行为序列进行过滤后，将过滤后的待分析社交行为序列输入至训练完备的行为分析模型中，以得到分析结果；

29、聚类模块，用于对所述分析结果进行降维处理后，对降维处理后的分析结果进行聚类，以分析每个社交行为类别的基因型分布；

30、可视化模块，用于从每个聚类中选取符合预设条件的k个序列进行可视化分析以及可解释性分析。

31、第三方面，本发明还提供一种电子设备，包括：处理器和存储器；

32、所述存储器上存储有可被所述处理器执行的计算机程序；

33、所述处理器执行所述计算机程序时实现如上所述的多动物社交行为分析方法中的步骤。

34、第四方面，本发明还提供一种计算机可读存储介质，包括：处理器和存储器；

35、所述存储器上存储有可被所述处理器执行的计算机程序；

36、所述处理器执行所述计算机程序时实现如上所述的多动物社交行为分析方法中的步骤。。

37、与现有技术相比，本发明提供的多动物社交行为分析方法、装置、电子设备及存储介质，具有如下优点：

38、1、采用弱监督学习方法，克服了传统监督学习方法中标签数据不完备和不准确的问题。通过引入标签平滑技术和基于弱监督的训练策略，本发明不依赖于准确的基因型标签，提高了模型的鲁棒性和适用性，能够更好地应对社交行为中的多样性和不确定性；

39、2、具备时空社交行为建模能力。采用时空图卷积网络(stgcn)的自编码器模型，能够在同时时空两个维度上对社交行为进行建模，有助于捕捉动物社交行为的复杂时序和空间特征；

40、3、引入了基于layercam的可解释性分析方法，为研究者提供了深入理解社交行为的工具。layercam能够产生可视化的类激活图，帮助解释模型的决策过程。这一特点不仅有助于科研人员更好地理解社交行为的机制，还可用于识别潜在的异常或异常行为；

41、4、本发明具备可扩展性，与具体实验动物种类和数量无关。传统的社交行为分析方法通常需要根据不同的实验动物种类和数量进行适应性设计和调整。本发明采用弱监督学习和时空社交行为建模方法，无需对具体实验动物进行特定配置或调整，使其适用于各种类型和数量的模式动物，具有更广泛的适用性和灵活性。