一种面向群体猴类药物安全评估的智能指标检测方法与流程

本发明涉及计算机视觉检测，特别涉及一种面向群体猴类药物安全评估的智能指标检测方法。

背景技术：

1、猴子作为一种重要的药物安全评估的模式动物，其用药前后的行为变化会揭示出药物相关的副作用，而群体猴场景是药物安全评估中常用的观测场景，该场景可以展现出更多的药物安全性相关信息。当前，药企的群体猴行为观测主要通过工作人员每日多次记录指标的方式实施，这种观测方式效率低、不能完整记录全时段的信息，同时记录的指标也包含了一定的主观因素，大幅降低了猴子的行为在药物安全评估中的可靠性。

2、近几年，随着计算机视觉技术的发展，基于视频监控的人类行为识别方法已经被广泛地应用到了生活中，如监控视频分析、行为捕捉、虚拟现实等，但是目前大部分现有技术的识别主体都是人类，无法应用于药物安全评估。市场上也有一些面向猴子的产品，如primatescan非人灵长类精细行为分析系统等，但是这些产品仅面向单猴场景，其中的检测指标也没有针对药物安全评估进行特殊设计，导致无法完全满足药物安全性评估的需求。因此，市场上急需一款能够全天候运行、识别精度高的面向群体猴类药物安全评估的无接触式智能指标检测系统。

技术实现思路

1、本发明提供一种面向群体猴类药物安全评估的智能指标检测装置，其特征在于，所述面向群体猴类药物安全评估的智能指标检测装置包括视频监控模块、交互模块、后台控制模块和联合检测模块；

2、所述视频监控模块包括视频输入单元和预处理单元；所述视频输入单元为相机装置，用于采集猴笼内的猴子视频；所述预处理单元用于将采集图像进行校正，减轻过曝以及曝光不足对画面质量的影响；

3、后台控制模块包括视频输入控制单元，存储目标框单元和结果统计单元；所述视频输入控制单元用于将校正后视频输入联合检测模块；所述存储目标框单元用于存储联合检测模块生成的张量信息；所述结果统计单元用于集思录猴子行为及运动量统计；

4、所述联合检测模块包括多分支目标检测单元、关键帧选择单元和行为识别单元；所述多分支目标检测单元用于检测猴子的位置和类别；关键帧选择单元用于提取关键帧；行为识别单元用于根据关键帧进行行为识别；

5、所述交互模块用于实现结果展示、结果导出以及以检测视频的查看。

6、更进一步地，其特征在于，所述多分支目标检测单元包括特征提取部分和上采样部分；

7、所述特征提取部分包括依次连接的focus模块、第一cbl-3模块、第一csp-3模块、第二cbl-3模块、第二csp-3模块、第三cbl-3模块、第三csp-3模块、第四cbl-3模块、spp模块、第四csp-3模块、第五cbl-3模块；

8、所述cbl-3模块包括并联的conv1、conv3和conv5卷积层，各卷积层对应的卷积核尺寸分别为1*1，3*3和5*5，并将并联输出的结果相加后进行加权线性silu；

9、所述csp-3模块包括并联的两条支路，第一支路分别包括串联的两个cbl-3模块和conv3卷积层，第二支路仅包括conv5卷积层，将第一支路和第二支路结果进行拼接进行加权线性silu后再次输入cbl-3模块；

10、所述spp模块将输入参数通过cbl-3模块处理后分别将输出结果进行1*1池化、3*3池化和5*5池化，并将池化结果与原输出结果进行拼接，拼接后再次输入cbl-3模块；

11、所述focus模块将图像分别进行裁切后进行拼接，拼接后再次输入cbl-3模块；

12、所述上采样部分将特征提取部分输出结果进行上采样并与第三csp-3模块输出结果进行拼接，拼接结果分别通过第五csp-3模块和第六cbl-3模块处理，再次进行上采样，并将上采样结果与第二csp-3模块输出结果进行拼接，拼接后通过第六csp-3模块和卷积层输出第一特征图；将第六csp-3模块输出结果与第六cbl-3模块输出结果进行拼接，拼接后通过第七csp-3模块和卷积层输出第二特征图；将第七csp-3模块输出结果与第五cbl-3模块输出结果进行拼接，拼接后通过第八csp-3模块和卷积层输出第三特征图。

13、更进一步地，在训练完成后的部署阶段，将cbl-3模块分支中的卷积核扩充为5*5卷积，空白处采用0填充；将多分支路径中的每个卷积核按位相加，得到最终的融合卷积核；所述融合卷积核替换cbl-3模块中各分支路径的卷积核。

14、还提供了一种面向群体猴类药物安全评估的智能指标检测方法，其特征在于，所述面向群体猴类药物安全评估的智能指标检测方法包括以下步骤：

15、步骤1、视频监控模块采集猴笼内视频进行预处理；

16、步骤2、通过后台控制模块在接收到视频，并对其进行视频输入控制；

17、步骤3、通过联合检测模块对画面中的猴子进行时空行为和行为识别；

18、步骤4，根据每一帧上猴子的位置变化对猴子的运动量进行统计；

19、步骤5，交互模块读取数据文件对已有的检测结果，并进行结果展示。

20、更进一步地，在步骤1中还包括：

21、步骤11，根据实际的场地布局，在猴笼上搭建相机装置，之后放入不同颜色项圈的猴子；

22、步骤12，手工获取同场景下一张拍摄较好的图像，提取其rgb三通道直方图作为模板；

23、步骤13，通过相机装置采集笼内的视频，采用直方图规则化的方法分别将视频与模板进行匹配，得到增强后的帧图像；

24、步骤14，将增强后的帧图像打包成视频传输至后台控制模块。

25、更进一步地，在步骤3中还包括：

26、步骤31，将帧图像拆分成多个单独帧，并对每一帧图像进行目标检测；

27、步骤32，多分支目标检测单元采用优化的多分支yolo v5网络，对猴子视频进行多分支目标检测获取各帧图像的张量；

28、步骤33，选取帧数为15倍数的帧为关键帧，并将关键帧和对应的张量传入行为识别模块中进行行为识别；

29、步骤34，对关键帧中出现的每个猴子进行行为识别，获得关键帧上猴子的行为信息。

30、更进一步地，在步骤32中，所述多分支yolo v5网络包括特征提取部分和上采样部分；

31、所述特征提取部分包括依次连接的focus模块、第一cbl-3模块、第一csp-3模块、第二cbl-3模块、第二csp-3模块、第三cbl-3模块、第三csp-3模块、第四cbl-3模块、spp模块、第四csp-3模块、第五cbl-3模块；

32、所述cbl-3模块包括并联的conv1、conv3和conv5卷积层，各卷积层对应的卷积核尺寸分别为1*1，3*3和5*5，并将并联输出的结果相加后进行加权线性silu；

33、所述csp-3模块包括并联的两条支路，第一支路分别包括串联的两个cbl-3模块和conv3卷积层，第二支路仅包括conv5卷积层，将第一支路和第二支路结果进行拼接进行加权线性silu后再次输入cbl-3模块；

34、所述spp模块将输入参数通过cbl-3模块处理后分别将输出结果进行1*1池化、3*3池化和5*5池化，并将池化结果与原输出结果进行拼接，拼接后再次输入cbl-3模块；

35、所述focus模块将图像分别进行裁切后进行拼接，拼接后再次输入cbl-3模块；

36、所述上采样部分将特征提取部分输出结果进行上采样并与第三csp-3模块输出结果进行拼接，拼接结果分别通过第五csp-3模块和第六cbl-3模块处理，再次进行上采样，并将上采样结果与第二csp-3模块输出结果进行拼接，拼接后通过第六csp-3模块和卷积层输出第一特征图；将第六csp-3模块输出结果与第六cbl-3模块输出结果进行拼接，拼接后通过第七csp-3模块和卷积层输出第二特征图；将第七csp-3模块输出结果与第五cbl-3模块输出结果进行拼接，拼接后通过第八csp-3模块和卷积层输出第三特征图。

37、更进一步地，在步骤32中，在训练完成后的部署阶段，将cbl-3模块分支中的卷积核扩充为5*5卷积，空白处采用0填充；将多分支路径中的每个卷积核按位相加，得到最终的融合卷积核；所述融合卷积核替换cbl-3模块中各分支路径的卷积核。

38、更进一步地，在步骤34中还包括：

39、步骤341，根据猴子在关键帧和前后帧上的位置信息，分别将每一帧上的相应位置裁剪下来，形成一个视频段；

40、步骤342，分别将裁剪下来的每个猴子的视频段输入到i3d行为识别网络中以预测其行为，网络中首先通过骨干网络提取图像组特征，然后将特征输入全连接网络中预测每个猴子的行为；

41、步骤343，将该关键帧中每个猴子的行为输入到后台控制模块，进行该关键帧下猴子行为的记录。

42、本发明达到的有益效果是：

43、本发明针对群体猴类药物安全评估中的问题提出了一种智能指标检测系统，首次将机器视觉与群体猴类药物安全评估相结合，具有广阔的市场前景。

44、本发明的视频监控模块采用了对比度以及亮度自动调节的视频预处理方法，更好地解决了群体猴笼场景下的全天候视频采集中夜间画面不清晰以及白天画面过曝的问题。

45、本发明采用多分支策略和多分支卷积核融合策略改进网络，能够在增强网络识别能力的同时不增加过多计算成本。

46、本发明中多分支目标检测单元在视频分析时，通过联合检测模块同时对画面中的猴子进行时空定位和行为分析，在满足了药物评估场景的需求的情况下大幅减少了计算资源消耗。