一种基于深度学习和SVM的动物姿态行为估计与心情识别方法与流程

本发明涉及动物姿态行为及心情识别的技术领域，尤其涉及到一种基于深度学习和svm的动物姿态行为估计与心情识别方法。

背景技术：

目前，关于动物的行为与心情预测大多通过图像处理技术得出动物的轮廓、运动参数、体态特征等相关参数，或者通过穿戴装置来获取动物的生物特征参数，这些方法都非常复杂，需要一定的图像处理知识或者硬件设备来支持。本发明利用深度学习神经网络和svm多分类算法来识别动物的行为与心情，在人体姿态估计、人体关键点识别、人体行为识别和动物行为识别方面的技术发展支持下，把相关技术方法应用到动物的行为和心情识别上：

1.基于深度学习的人体姿态估计、人体关键点识别的方法：

人体骨骼关键点对于描述人体姿态、预测人体行为至关重要。人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测。自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体。

把人体关键点识别的算法思想迁移到动物身上，以猫狗为例，标记13个关键点(包括尾巴)，并且利用目前基于深度学习的人体姿态估计算法的基础上来构建基于深度学习的动物姿态估计算法，因为猫和狗的尾巴对识别其心情具有很大的参考价值，所以13个关键点中包含尾巴的3个关键点。因还需要用到猫和狗的中心点来判断其运动状态，所以使用自上向下的方法，猫和狗的中心点位置是该种方法的中间过程结果产物。

2.人体行为识别和动物行为识别的方法：

①基于最近邻近分法的行人行为分类[1]，该方法计算量大、依赖于训练样本和用于度量相似性的距离函数选择多等问题。

②基于动态贝叶斯网络的人体行为分类[2]。该方法实际效果取决于使用者对实际应用的先验知识

③基于bp神经网络的人体行为分类[3]。该方法具有很强的自组织学习能力且有很好的鲁棒性，但其易学习过度、训练时间比较长、运算时间也比较长。

④与本发明相似的方法有俞守华[4]等人基于svm的猪只行为分类，根据猪只的运动参数和体态特征，通过多分类svm算法进行行为分类。

现有技术文献

[1]徐亚静.基于时空局部二值模式的行为识别方法研究[d].长春：吉林农业大学，2013.

[2]杨旗.人体步态及行为识别关键算法研究[d].沈阳：东北大学，2013.

[3]韩旭.应用kinect的人体行为识别方法研究与系统设计[d].济南：山东大学，2013.

[4]俞守华,杨剑达,陈紫城,etal.基于svm的猪只行为分类[j].广东农业科学,2016,43(3):152-156.

技术实现要素：

本发明的目的在于提供一种估计及识别准确率高的基于深度学习和svm的动物姿态行为估计与心情识别方法。

为实现上述目的，本发明所提供的技术方案为：

一种基于深度学习和svm的动物姿态行为估计与心情识别方法，包括以下步骤：

s1：采集大量动物的图片，并对其进行目标检测框的标记与包含有尾巴关键点的十三个身体关键点的标记；

s2：构建基于深度学习的动物姿态估计模型；

s3：通过步骤s1中目标检测框的标记以及十三个身体关键点的标记对步骤s2构建好的动物姿态估计模型进行训练，使该模型可估计出动物的中心点位置和十三个身体关键点的位置；

s4：获取视频的关键帧图片，送进步骤s3已训练好的动物姿态估计模型，通过该模型估计出动物的中心点位置和十三个关键点的位置；

s5：基于动物的中心点位置变化、包含有尾巴关键点的十三个身体关键点的位置关系和相对位置变化关系构建多个svm分类器，用于判断动物的行为与心情。

进一步地，所述步骤s3通过动物姿态估计模型进行动物的中心点位置和十三个身体关键点的位置的估计的具体步骤如下：

采用mobilenetv1特征提取网络进行特征提取，然后利用ssd目标检测算法预测出动物的标记框范围，同时得出动物的中心点位置；为了得到更好的动物姿态估计预测效果，把目标检测算法计算出来动物的预测框，再扩大20％的范围，然后把预测框送进cpn姿态估计模型进行动物的十三个身体关键点位置估计预测，得出十三个关键点的位置坐标。

进一步地，所述步骤s5中构建多个svm多分类器的具体如下：

1)通过视频关键帧图片中动物的中心点位置的变化样本构建第一svm分类器，对动物进行奔跑、慢走、静止行为的分类；

2)通过视频关键帧图片中动物的十三个身体关键点的位置关系的训练样本构建第二svm分类器，对采食、排泄、下蹲、趴窝、站立、攻击行为进行分类；

3)通过视频关键帧图片中动物尾巴的三个关键点的位置关系和位置变化关系的训练样本构建第三svm分类器，对兴奋、害怕、生气的心情进行分类。

进一步地，所述步骤s5基于构建的多个svm多分类器的分类结果进行如下动物行为和心情的识别：

通过第一svm分类器的计算，如果动物通过中心点位置判断为奔跑或者慢走，则忽略第二svm分类器得出来的行为分类结果；如果动物通过中心点位置判断为静止，则不显示静止行为，而显示第二svm分类器得出的行为分类结果，通过第三svm分类器判断得出动物的心情。

进一步地，所述的十三个身体关键点分别为动物的头、肩、左手肘、左手腕、右手肘、右手腕、尾巴头、左膝盖、左脚踝、右膝盖、右脚踝、尾巴中、尾巴尾。

与现有技术相比，本方案原理和优点如下：

本方案利用深度学习的动物姿态估计模型和svm多分类算法，通过对大量动物的图片进行目标检测的边框标签标记和动物的十三个身体关键点(包括尾巴)标记，然后送进动物姿态估计网络模型进行充分地训练。通过训练好的动物姿态估计模型，估计计算出来目标检测边框的中心点位置和动物的十三个身体关键点位置，并基于其中心点的位置变化、十三个关键点的位置关系和尾巴三个关键点的位置关系和相对位置变化关系，构建与利用svm分类器去判断动物的行为与心情，从而能更加准确地理解动物的心情和行为情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例中一种基于深度学习和svm的动物姿态行为估计与心情识别方法的流程框图；

图2为猫的目标检测边框与十三个身体关键点标记示意图；

图3为狗的目标检测边框与十三个身体关键点标记示意图；

图4为动物姿态估计模型结构图；

图5为基于多个svm多分类器的行为与心情识别的流程图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

如图1所示，本实施例所述的一种基于深度学习和svm的动物姿态行为估计与心情识别方法，以猫或狗为例，主要包括猫或狗的数据采集与标记、猫或狗十三个身体关键点估计的网络模型构建与训练以及构建svm多分类器来识别行为与心情等三大部分。具体步骤如下：

s1：采集大量猫或狗的图片，并对其进行目标检测框的标记与包含有尾巴关键点的十三个身体关键点的标记；十三个身体关键点分别为猫或狗的1.头、2.肩、3.左手肘、4.左手腕、5.右手肘、6.右手腕、7.尾巴头、8.左膝盖、9.左脚踝、10.右膝盖、11.右脚踝、12.尾巴中、13.尾巴尾。如图2和3所示。

s2：构建基于深度学习的猫或狗的姿态估计模型。

s3：通过步骤s1中目标检测框的标记以及十三个身体关键点的标记对步骤s2构建好的猫或狗的姿态估计模型进行训练，使该模型可估计出猫或狗的中心点位置和十三个身体关键点的位置。

如图4所示，本步骤s3中，具体为：采用mobilenetv1特征提取网络进行特征提取，然后利用ssd目标检测算法预测出猫或狗的标记框范围，同时得出猫或狗的中心点位置；为了得到更好的猫或狗的姿态估计预测效果，把目标检测算法计算出来猫或狗的预测框，再扩大20％的范围，然后把预测框送进cpn姿态估计模型进行猫或狗的十三个身体关键点位置估计预测，得出十三个关键点的位置坐标。

s4：如图5所示，获取视频的关键帧图片，送进步骤s3已训练好的猫或狗的姿态估计模型，通过该模型估计出猫或狗的中心点位置和十三个关键点的位置。

s5：最后，基于猫或狗的中心点位置变化、包含有尾巴关键点的十三个身体关键点的位置关系和相对位置变化关系构建多个svm分类器，用于判断猫或狗的行为与心情。

本步骤s5中，构建多个svm多分类器的具体如下：

1)通过视频关键帧图片中猫或狗的中心点位置的变化样本构建第一svm分类器，对猫或狗进行奔跑、慢走、静止行为的分类；

2)通过视频关键帧图片中猫或狗的十三个身体关键点的位置关系的训练样本构建第二svm分类器，对采食、排泄、下蹲、趴窝、站立、攻击行为进行分类；

3)通过视频关键帧图片中猫或狗尾巴的三个关键点的位置关系和位置变化关系的训练样本构建第三svm分类器，对兴奋、害怕、生气的心情进行分类。

然后基于构建的多个svm多分类器的分类结果进行如下猫或狗行为和心情的识别：

通过第一svm分类器的计算，如果猫或狗通过中心点位置判断为奔跑或者慢走，则忽略第二svm分类器得出来的行为分类结果；如果猫或狗通过中心点位置判断为静止，则不显示静止行为，而显示第二svm分类器得出的行为分类结果，通过第三svm分类器判断得出动物的心情。

svm多分类器可根据以下原理构建心情分类，例如：

(1)狗尾巴所表示的含义

①尾巴竖立成直角：狗遇到异性时，尾巴便会竖立成直角，而且微微振动；

②尾巴下垂：表示生气；

③尾巴左右大幅度摇摆：表示十分高兴；

④尾巴卷到腹下：表示恐惧。

(2)猫尾巴所表示的含义

①尾巴左右摇摆、抽打：处于战备状态，争斗搏击；

②尾巴与身体呈直线，与地面平行：发现猎物，准备捕捉；

③猛拍地面：表示愤怒；

④笔直竖起来：满足、乞讨或者洋洋得意。

本实施例利用深度学习的猫或狗的姿态估计模型和svm多分类算法，通过对大量猫或狗的图片进行目标检测的边框标签标记和猫或狗的十三个身体关键点(包括尾巴)标记，然后送进猫或狗的姿态估计网络模型进行充分地训练。通过训练好的猫或狗的姿态估计模型，估计计算出来目标检测边框的中心点位置和猫或狗的十三个身体关键点位置，并基于其中心点的位置变化、十三个关键点的位置关系和尾巴三个关键点的位置关系和相对位置变化关系，构建与利用svm分类器去判断猫或狗的行为与心情，从而能更加准确地理解猫或狗的心情和行为情况。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。