动物特征点识别方法、其转圈行为测定方法及系统与应用与流程

1.本发明涉及基于计算机视觉的动物行为识别的技术领域。


背景技术：

2.动物转圈实验可用于分析啮齿类动物单侧脑损伤导致的转圈行为。现有的转圈或者旋转行为实验大多使用以下方法：人眼观察手动统计并分析；采用对动物局部染色以及在动物身体上设置特殊标记的方法，对这些特殊处理的身体部位通过计算机视觉技术进行捕捉，然后根据图像记录计算动物转圈次数。以上方法中，手动统计容易产生长时间实验时计数人员疲劳带来的主观误差，局部染色法容易产生染色物以及标记物对实验动物的干扰以及染色物和标记物被误识别造成的累计角度错误等，对实验结果的真实性和可靠性产生影响。


技术实现要素：

3.本发明的目的在于提出一种动物特征点识别方法、其转圈行为测定方法及系统，其中所述特征点主要为可用于转圈行为测定的特征点，包括运动特征点如动物重心、及固定特征点如其面部特征点更具体如其鼻尖点，本发明可在不进行动物自身标记的前提下，获得其实时的、准确的转圈行为统计结果，并可在存在明显环境干扰因素如存在遮挡、光线变化等导致的图像关键点不准的情况下，提升统计的容错性，本发明还可实现动物实验过程的自动化，避免了人工误差和对实验动物的干扰，增加了实验结果的有效性和鲁棒性。
4.本发明首先提供了如下的技术方案：一种动物转圈行为测定方法，其包括：s1 获得被试动物的连续帧图像数据，即其原始图像；s2 在每帧所述原始图像和/或其处理图像中，识别出被试动物的第一特征点；s3 在每帧所述原始图像和/或其处理图像中，识别出被试动物的第二特征点；s4 在不同帧所述原始图像和/或其处理图像中，获得由所述第一特征点与所述第二特征点组成的特征向量的定量变化，根据所述定量变化，确定动物转圈行为测定参数；其中，所述第一特征点为与动物运动状态相关的运动特征点，所述第二特征点为与动物身体结构相关的固定特征点。
5.以上方案中，所述固定特征点并不限定为该点在所有图像中的相对位置或绝对位置固定不变，而仅指该点为在动物体上实际存在的特征点。
6.优选的，为增强识别准确性，步骤s2-s4中均使用所述处理图像，如具体实施方式所展示。
7.根据本发明的一些优选实施方式，所述特征向量为所述第一特征点和所述第二特征点进行连线形成的连线向量。
8.进一步优选的，所述定量变化为所述连线向量的偏转角。
9.根据本发明的一些优选实施方式，所述处理图像为含有被试动物的目标图像和/
或其经增强处理后的增强图像和/或该两者经最小包围框提取得到的任一目标提取图像。
10.根据本发明的一些优选实施方式，所述第一特征点为重心。
11.根据本发明的一些优选实施方式，所述第二特征点为面部特征点，更优选的，所述面部特征点为鼻尖点。
12.根据本发明的一些优选实施方式，所述目标图像为通过背景减除法及二值化处理获得的所述原始图像的前景图像。
13.根据本发明的一些优选实施方式，所述背景减除法包括以下方法中的一种或多种：动目标背景减除法，其包括：根据连续帧所述原始图像中像素点的颜色特征对背景像素点进行建模；基于所得背景像素点模型，通过贝叶斯公式计算当前像素点为背景像素点的极大似然估计，得到其概率分布图；对所述概率分布图进行阈值化处理，对应得到分割后的前景像素点和背景像素点；基于背景图像的背景减除法，其包括：获得无动物的背景图像；将所述原始图像与该无动物的背景图进行作差处理，得到差值图像；对所述差值图像进行图像增强处理，得到处理后的前景图像；基于灰度化后像素分类的背景减除法，其包括：将所述原始图像进行灰度化；对所得灰度图的像素值进行二分类，计算每个类别的像素点数量，其中数量少的类别的像素点判定为前景像素点，数量多的类别的像素点判定为背景像素点；基于取色的背景减除法，其包括：对动物身体中心点进行取色；建立取色点的纯色hsv图像，作为颜色背景图像；将所述原始图像转换为hsv格式，根据设定的相似度阈值搜索其与所述取色点颜色相近的像素点，由所述相近的像素点组成前景像素点。
14.根据本发明的一些优选实施方式，所述动目标背景减除法中，所述颜色特征为所述像素点的rgb颜色量化值。
15.根据本发明的一些优选实施方式，所述阈值化处理前还包括对所述概率分布图的形态学处理。
16.根据本发明的一些优选实施方式，所述鼻尖点的识别包括：将所述原始图像和/或其处理图像输入鼻尖点识别模型，获得鼻尖点对应的单通道热力图；找到该热力图的最大像素值及其对应的坐标值，并按照该热力图与输入图像的变换关系，将该坐标值转换至输入图像上，得到输入图像中鼻尖点坐标；其中，所述鼻尖点识别模型基于编码-解码结构的神经网络构建，其可根据所述输入图像的标签，生成归一化的高斯分布图作为输入图像的热力图标签，对应的高斯核重心即为鼻尖点坐标。
17.根据本发明的一些优选实施方式，所述测定参数包括转圈次数和/或转圈方向，其获得过程包括：获得各相邻帧图像中所述特征向量按不同旋转方向的相对偏转角度，所述不同旋转方向包括顺时针或逆时针旋转；将各相邻帧图像的所述相对偏转角度按不同旋转方向分别进行累加；至累加角度达到转圈角度统计阈值，则在该方向上增加一次转圈次数，并将累加
值重置为0，自后重新开始累加计算，至完成全部帧计算；其中，转圈角度统计阈值为大于等于310
°
、小于等于350
°
的角度值。
18.本发明进一步提供了一种动物特征点识别方法，所述特征点为鼻尖点，其识别包括：将输入图像输入鼻尖点识别模型，获得鼻尖点对应的单通道热力图；找到该热力图的最大像素值及其对应的坐标值，并按照该热力图与输入图像的变换关系，将该坐标值转换至输入图像上，得到输入图像中鼻尖点坐标；其中，所述输入图像为含有被试动物的前景图和/或其经增强处理后的增强图和/或该两者经最小包围框提取得到的任一提取图像；所述鼻尖点识别模型基于上述编码-解码结构的神经网络构建。
19.本发明进一步提供了一种动物转圈行为测定系统，其包括以下存储模块：该模块存储有实现上述测定方法和/或识别方法所需的模型和/或程序和/或所需数据。
20.本发明进一步提供了上述测定方法和/或识别方法和/或测定系统的一种具体的应用方法，如将其应用于测定帕金森症单侧模型鼠转圈行为。
21.本发明的测定方法和/或系统基于计算机视觉技术和深度学习技术对动物转圈次数和方向等进行测定和统计，无需人工计数，节省人力成本，避免人工主观误差，同时其无需在动物体表上染色或者附加标签，避免外部环境造成的干扰，简化了实验操作。
22.本发明的测定方法和/或系统可对不同大小的动物使用同样的技术，不需要根据动物大小进行额外的配置；此外，针对一些运动形态特殊而难以进行单一识别的动物，如在运动中倾向于以前肢为支点、首尾相接恒定向左转圈的帕金森症单侧模型鼠，其在进行前后背景分割后，容易呈现c字形或圆形，而非长短轴差异明显的椭圆形或者矩形，对直接通过二阶矩计算朝向带来了负面影响，使其难以获得准确统计结果，本发明进一步提出了通过神经网络识别固定特征点如鼻尖点的方法，可不受其运动形态带来的负面影响；此外，本发明的测定方法和/或系统可根据实际应用需求，配置不同的背景减除法，减轻实验动物颜色的影响，避免光影变化、摄像头成像质量和器材颜色的干扰，在不使用工业摄像机而使用普通usb摄像机的情况下效果良好。
附图说明
23.图1 为本发明中一种具体的动物转圈行为统计方法的流程示意图。
24.图2为本发明中一种具体的动目标背景减除法的流程示意图。
25.图3为本发明中一种具体的识别模型输出的热力图。
26.图4为实施例1中图像处理过程示意图。
具体实施方式
27.以下结合实施例和附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了
便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性，此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
29.根据本发明的技术方案，一种具体的动物转圈行为测定方法包括：s0 获得被试动物的连续图像数据，即其原始图像；s1 对原始图像进行预处理，获得其含有被试动物的目标提取图像；s2 在所得目标提取图像中识别出被试动物的重心；s3 在所得目标提取图像中识别出被试动物的面部特征点；s4 在不同帧原始图像和/或其目标提取图像中，获得由所述重心与所述面部特征点组成的特征向量的偏转角变化，根据所述偏转角变化，确定动物转圈行为的测定参数，如其转圈次数、转圈方向等。
30.其中，更具体的，所述重心的识别可包括：获取所述原始图像的含有被试动物的前景图像即所述目标提取图像，其可更具体的采用背景减除法等实现；获取所述前景图像的重心，作为被试动物的重心。
31.所述面部特征点优选为鼻尖点，其识别可包括：获取所述原始图像的含有被试动物的前景图像即所述目标提取图像，其可更具体的采用背景减除法等实现；构建基于神经网络的鼻尖点识别模型并进行训练；将待统计的动物的目标提取图像输入训练完成的鼻尖点识别模型中，获得其识别结果。
32.根据上述测定方法，可进一步设计出其对应的测定系统，该系统包括将所述原始图像和/或用户指令进行输入的输入模块，对图像进行步骤s1-s3的统计处理的分析处理模块，及对处理中和/或输入的各数据、模型、程序等进行存储的存储模块，及最终输出测定结果的输出模块。
33.在该测定系统下，对所述测定方法进行实施的一些具体实施方式可参照图1，包括：s10 在获得所述原始图像后，根据用户选择的背景减除法，对原始图像进行前景像素点及背景像素点筛选，获得像素点筛选后的预处理图像；其中，所述背景减除法可如以下方法中一种或多种：动目标背景减除法，其包括：根据连续帧图像中像素点的颜色特征对背景像素点进行建模；基于所得背景像素点模型，通过贝叶斯公式计算当前像素点为背景像素点的极大似然估计，得到概率分布图；对所述概率分布图进行阈值化处理，对应得到分割后的前景像素点和背景像素点。
j)的各像素点的像素值稀疏化分布频率；表示三维空间（r、g、b）上的像素值集合；表示k时刻坐标(i, j)处的像素值组成稀疏化颜色区间；表示第r帧图像中坐标(i, j)处的像素值组成稀疏化颜色区间；l（）表示集合；表示建模用的连续帧图像数量，即使用前t帧时，该值为t；q/256表示所述归一化中选择的归一化系数、q为小于256的常数，表示含有k个像素点的稀疏化颜色区间，表示k时刻坐标(i, j)处的像素值；（5）判定背景像素点，包括：当某个像素位置处的某个稀疏化颜色区间中的像素数量与该像素位置处的总像素数量的比值超过背景概率阈值如0.8，则判定该像素位置的该颜色区间在该t帧图像中的变化程度较小，则k时刻该像素位置处的像素点的颜色值落入该颜色区间时，该像素点为背景点，否则为前景点。
40.s103基于所得背景模型，通过贝叶斯公式计算任一时刻k所得图像中，像素点为背景像素点的概率，得到其对应的概率分布图；更具体的，所述贝叶斯公式如下：，其中，，，，表示在时刻k，坐标为(i, j)的像素点被分类为背景点的概率；表示在时刻k，当某个像素点被判断为背景像素点时，它的坐标为(i, j)的概率；表示在时刻k, 所有像素点被判断为背景像素点的概率，即背景概率阈值，其可根据实际需要进行设定，如选择为0.8，则在时刻k、所有像素点被判断为前景像素点的概率即前景概率阈值为0.2；表示在时刻k, 当某个像素被判断为前景时，它的坐标为(i, j)的概率。
41.s104 优选的，可进一步对所得概率分布图进行形态学处理，如开运算、闭运算等，根据处理后的概率分布图进行像素点是否为背景像素点的判定。
42.s105 对时刻k的背景模型进行更新，得到k+1时刻的背景模型，根据该更新后的模型进行下一帧图像的背景判定。
43.其中，所述更新可进一步包括：设为在k时刻被判断为前景的像素点的集合，若位置为(i, j)的像素点属于，则k+1时刻的背景模型沿用k时刻的背景模型，即；若位置为(i, j)的像素点不属于，则：移除k时刻的模型中像素数量为0的颜色区间，将剩下的颜色区间进行重新划分，新的颜色区间数量为满足经其重新划分后的时刻k的背景模型中不存在像素数量为0的颜色区间的最小值，得到新的直方图集合，其中，x表示重新划分后的稀疏化颜色区间中的像素数量；
由于稀疏性的限制，若存在，则找到并移除符合以下条件的颜色区间：，然后重新将位置(i, j)的所有颜色值划分到新的颜色区间，得到新的背景模型，如下：；将k+1时刻（i, j）位置的颜色值添加到k时刻的模型中，得到如下更新后的背景模型：其中，α表示学习率，为0到1的值，如0.025，其值越大模型更新速度越快。
44.s20 利用目标前景图像的零阶矩和一阶矩计算其重心位置，所得重心的坐标即为被试动物的重心位置；更具体的，其计算过程可包括如：设以零阶矩表示的图像像素值之和如下：；以一阶矩表示的横坐标和其对应像素值的乘积，及纵坐标和其对应像素值的乘积如下：，，其中v(i, j)为该位置的像素值；则重心位置(x, y)如下： 。
45.s30 将所得目标前景图像进行尺寸处理如补边、等比例缩放等，使其达到鼻尖点识别模型的输入维度。
46.s31 将尺寸处理后的图像输入至训练好的鼻尖点识别模型中，获得鼻尖点对应的单通道热力图。
47.s32 找到该热力图的最大像素值及其对应的坐标值，并按照该热力图尺度与目标前景图像尺度间的变换关系，将该坐标值转换至目标前景图像尺度上，得到目标前景图像中鼻尖点坐标。
48.其中，所述鼻尖识别模型可进一步基于编码-解码神经网络构建，如一种具体的包括以下结构的神经网络：
以上识别模型中，输入图像在网络中进行前向传播，经过编码模块的卷积实现特征提取，经过解码模块的上采样扩大图像信息、并使池化过程中丢失的信息可以通过学习在解码中得到，最终通过解码模块的上采样获得鼻尖点对应的单通道热力图。
49.基于该模型进行识别的一个具体实施过程如下：预处理：将最小矩形包围框截取得到的3通道图像使用像素值（0, 0, 0）补边为正方形，然后等比缩放到输入层维度(48, 48, 3)；归一化：对预处理后的图像的各像素值除以255.0，使各像素值位于区间[0, 1];编码模块处理：通过其卷积层获取图像局域特征，通过其池化层对图像进行下采样降低参数量，使输出维度由(48, 48, 64)下降到(24,24,64)），进一步提取主要特征；解码模块处理：对经编码模块处理后得到的特征图输入其relu层和上采样层，进行非线性上采样，获得稀疏特征图，再通过其卷积层得到稠密特征图以填补稀疏特征图中的0值，最后输出层输出和输入图像宽高一致的特征图，该特征图（i, j）位置的值为该位置为关键点的概率，则该特征图即模型输出的热力图，如附图3所示。
[0050]
s40 将每帧目标前景图像中的重心和鼻尖点进行连线，得到其连线向量，将两个相邻图像中连线向量的相对偏转角度按时间顺序进行数组保存和计算，获得测定参数如动
物转圈次数和方向。
[0051]
其中，进一步的，所述转圈次数的获得可包括：获得前一帧图像中连线向量到后一帧图像中连线向量的顺时针和/或逆时针旋转的角度，即所述相对偏转角度；将各相邻帧图像的所述相对偏转角度进行累加；至累加角度达到转圈角度统计阈值，则在该方向上增加一次转圈次数，并将累加值重置为0，自后重新开始累加计算，至完成全部帧计算；其中转圈角度统计阈值可设置为一个略小于360
°
的角度值，如340
°
。
[0052]
一些具体的实施例如：连线向量相对于连线向量顺指针旋转了20
°
，则记录顺时针偏转角度cwdegree = 20
°
或逆时针偏转角度ccwdegree =
ꢀ‑
20
°
，当cwdegree或者ccwdegree达到用户设置的转圈角度统计阈值如340
°
时，则在该方向上的转圈次数加一，然后将cwdegree和ccwdegree重置为0
°
，重新开始累加偏转角度的计算直到完成所有帧的计算，如在某一时刻统计数据为：顺时针角度累计cwdegree = 350
°
，逆时针角度累计ccwdegree = 50
°
，顺时针转圈次数cw = 0
°
，逆时针转圈次数 ccw = 0
°
；在当前帧计算后，统计数据变为：顺时针角度累计cwdegree = 0
°
，逆时针角度累计ccwdegree = 0
°
，顺时针转圈次数cw = 1, 逆时针转圈次数ccw = 0。
[0053]
实施例1如附图4所示，采用本发明的技术方案，对小鼠转圈行为进行测定，具体过程包括：（1）将帕金森症单侧模型鼠放入内径26cm、外径59cm的固定在高度50厘米的架子上的碗状结构试验容器内，通过监控系统记录其视频图像，其中监控系统的摄像头位于容器中心点的正上方、距离容器1.5m，其采样率为10帧/秒，所得每帧图像的像素为640 * 480，采集时间为25分钟；（2）通过具体实施方式所述动目标背景减除法及二值化处理、增强处理（包括膨胀、腐蚀和自适应阈值处理，以达到去噪和对动物边缘强化的效果），获得含有小鼠的前景图；（3）在前景图中生成最小包围框并利用图像二阶矩计算包围框内图像的重心，即小鼠重心；（4）截取包围框内的图像，将其进行补边及等比缩放至模型输入维度，其后输入训练好的鼻尖点识别模型中，获得单通道热力图，如附图3所示，在所得热力图中找到最大像素值及其坐标值，并对照热力图尺度和输入图像尺度，将该坐标值转化到输入图像尺度上，生成输入图像中鼻尖点坐标；（5）使用每一帧的重心和鼻尖点的连线向量的偏转角度按时间顺序保存进数组，分析数组中相邻每一个角度值获得动物在各方向上的旋转角度和总转圈次数。
[0054]
按以上过程将6段不同长度的视频文件进行转圈次数和方向测定，并通过人工计数方法进行对比，其测定结果如下表1所示：表1. 动物转圈次数和方向的统计结果对比
进一步的，对人工计数和本发明算法计数的两组数据做ks检验，得到p-value非常接近0，说明两组数据均不服从正态分布，所以可选择kruskal检验来对比两组数据的差异性。经kruskal检验获得的p值为0.9767，大于常用显著性差异置信度0.05，所以两组数据可视为无统计学差异。因此，本发明可作为动物旋转实验的人工计数精确替代。
[0055]
以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。