识别睡觉行为的方法、装置、存储介质及处理器与流程

1.本技术涉及计算机技术领域，具体地涉及一种识别睡觉行为的方法、装置、存储介质及处理器。


背景技术：

2.识别睡觉行为的方法在生活中应非常广泛。如，在船舶航行中确保值班工作人员不睡觉、识别驾驶车辆中的司机是否睡觉等，在船舶航行过程中，若工作人员在值班时间睡觉一旦前方出现障碍物，往往造成群死群伤、重大财产损失等严重后果。因此如果能有效识别睡觉行为，可以极大减少安全事故的发生。
3.现有技术中，识别睡觉行为的方法是基于传统机器学习的方法，于传统机器学习的方法需要人工提取特征来训练分类器，该方法特征难于提取，无法训练大量数据，并且识别效果较差。


技术实现要素：

4.本技术实施例的目的是提供一种识别睡觉行为的方法、装置、存储介质及处理器。
5.为了实现上述目的，本技术第一方面提供一种识别睡觉行为的方法，包括：
6.获取预设时间段内的监控数据，监控数据中包括至少一个目标用户；
7.对监控数据进行处理，以得到监控数据中的多个监控图像；
8.依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域；
9.依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识；
10.依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标；
11.针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据；
12.针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
13.在本技术的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：针对任意两个相邻的监控图像中的目标区域，确定每个身体部位在两个区域中横坐标的第一移动数据和纵坐标的第二移动数据，在全部的第一移动数据均小于第一数值，且全部的第二移动数据均小于第二数值的情况下，确定目标用户存在睡觉行为，其中，第一数值是根据目标区域的宽度确定的，第二数值是根据目标区域的高度确定的。
14.在本技术的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括
每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，针对每个图像组包括的监控图像中人任意一个目标用户的目标区域，确定目标用户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据，在每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，确定目标用户存在睡觉行为，其中，每个身体部位对应的第一阈值是根据目标区域的宽度以及每个身体部位的权重系数确定的，每个身体部位对应的第二阈值是根据目标区域的高度以及每个身体部位的权重系数确定的。
15.在本技术的实施例中，检测连续的n个图像组，针对任意一个图像组中的任意一个目标用户，在目标用户的每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，预测图像组中的目标用户存在睡觉倾向，针对任意一个目标用户，在目标用户存在睡觉倾向的图像组的数量与n的比例大于预设比例值的情况下，确定目标用户存在睡觉行为。
16.在本技术的实施例中，身体部位包括鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，方法还包括：确定目标用户存在睡觉行为的情况下，确定左膝k15和左臀k13的连线与左膝k15和左肩k7的连线之间的夹角a_kl，确定右膝k16和右臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间的夹角a_n，其中，臀中心点是指左臀k13和右臀k14连线的中心点，确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl，确定右肩k8和右肘k10的连线与右肩k8和右臀k14的连线之间的夹角a_sr，在夹角a_kl或夹角a_kr大于第一角度阈值的情况下，确定目标用户处于站姿睡觉的状态，在夹角a_kl或夹角a_kr小于第一角度阈值的情况下，确定目标用户处于坐姿睡觉的状态，在夹角a_n小于第二角度阈值，且夹角a_sl或夹角a_sr大于第三角度阈值的情况下，确定目标用户处于趴姿睡觉的状态。
17.在本技术的实施例中，在确定目标用户存在睡觉行为之后，截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。
18.在本技术的实施例中，获取多个历史视频数据，将多个历史视频数据按照固定帧率间隔获取图像，以得到多个特定格式的历史图像，使用labelimg图像标注工具完成每个历史图像中的人体标注，得到人体标注数据，使用labelme图像标注工具完成每个历史图像中的人体关键部位标注，以得到人体关键部位标注数据，基于人体标注数据和faster-rcnn预训练模型，对目标检测模型进行训练，以得到训练好的目标检测模型，基于人体关键部位标注数据和alphapose预训练模型，对关键点检测模型进行训练，以得到训练好的关键点检测模型。
19.本技术第二方面提供一种处理器，被配置成执行上述的识别睡觉行为的方法。
20.本技术第三方面提供一种识别睡觉行为的装置，装置包括识别睡觉行为的方法处理器。
21.本技术第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指
令，该指令在被处理器执行时使得所述处理器被配置成执行上述的识别睡觉行为的方法。
22.上述识别睡觉行为的方法，获取预设时间段内的监控数据，监控数据中包括至少一个目标用户，对监控数据进行处理，以得到监控数据中的多个监控图像，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识，依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
23.通过该方法，提高了识别睡觉行为的准确率，减少了意外事故的发生，保护了人民生命财产安全。
24.本技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
25.附图是用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本技术实施例，但并不构成对本技术实施例的限制。在附图中：
26.图1示意性示出了根据本技术实施例的识别睡觉行为的方法的流程示意图；
27.图2示意性示出了根据本技术实施例的人体关键部位的示例图；
28.图3示意性示出了根据本技术另一实施例的识别睡觉行为的方法的流程示意图；
29.图4示意性示出了根据本技术实施例的计算机设备的内部结构图。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本技术实施例，并不用于限制本技术实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.图1示意性示出了根据本技术实施例的识别睡觉行为的方法的流程示意图。如图1所示，在本技术一实施例中，提供了一种识别睡觉行为的方法，包括以下步骤：
32.步骤101，获取预设时间段内的监控数据，监控数据中包括至少一个目标用户。
33.步骤102，对监控数据进行处理，以得到监控数据中的多个监控图像。
34.步骤103，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域。
35.步骤104，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识。
36.步骤105，依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标。
37.步骤106，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标
变化数据。
38.步骤107，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
39.通过摄像头获取预设时间段内的监控数据，监控数据包括一个或多个目标用户，监控数据还包括目标用户和目标用户的视频数据，将获取到的视频数据按照固定帧率间隔获取监控数据中的多个监控图像，帧率可以自己设定，图像的格式为jpg格式。依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域。其中目标检测模型是通过将获取到的监控图像使用labelimg图像标注工具完成人体标注，获取到人体标注数据，基于获取的人体标注数据和faster-rcnn预训练模型，对目标检测模型进行训练，用测试集对目标检测模型进行有效验证，当满足目标检测模型的准确率、召回率、精确率都大于设置阈值时，得到训练好的目标检测模型。基于目标检测模型检测出监控图像中目标用户人体的目标区域坐标(x1,y1,x2,y2)为目标区域，并根据该坐标计算出人体目标区域的高度hp＝y2-y1和宽度wp＝x2-x1，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识id，将人体目标区域和目标用户进行绑定确定每个目标用户所对应的目标区域(id,hp,wp)。再依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标。其中关键点检测模型是通过将获取到的监控图像使用labelme图像标注工具完成人体关键点标注，获取到人体关键点标注数据，基于获取的人体关键点标注数据和alphapose预训练模型，对关键点检测模型进行训练，用测试集对关键点检测模型进行有效验证，当满足关键点检测模型的准确率、召回率、精确率都大于设置阈值时，得到训练好的关键点检测模型。基于关键点检测模型检测出监控图像目标区域中每个目标用户的关键部位的坐标，如图2所示，图2为人体关键点示例图，人体关键点标注包括对人体鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，通过关键点检测模型得到18个关键点的具体坐标依次为(k1,k2
……
k18)，并得到每个目标用户的关键部位的坐标(id,hp,wp,k1
…
k18)。
40.针对每个目标用户，确定两个相邻的监控图像中目标用户的关键部位在全部目标区域中的坐标变化数据。确定每个身体部位在两个区域中横坐标的第一移动数据为其中为前帧关键点坐标中的x坐标，为后帧关键点坐标中的x坐标，确定每个身体部位在两个区域中纵坐标的第二移动数据为其中为前帧关键点坐标中的y坐标，为后帧关键点坐标中的y坐标，两个区域中横坐标的第一移动距离为|dx|,两个区域中纵坐标的第二移动距离为|dy|，设置横坐标x最大移动阈值为t_wx＝wp
×
0.01，纵坐标y最大移动阈值为t_wy＝hp
×
0.01，在全部的第一移动数据均小于第一数值，即所有关键点横坐标的第一移动距离|dx|＜t_wx，且全部的第二移动数据均小于第二数值，即所有的关键点纵坐标的第二移动距离|dy|＜t_wy时，确定目标用户存在睡觉行为。通过该方法，提高了识别睡觉行为的准确率，减少了意外事故的发生，保护了人民生命财产安全。
41.在一个实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个
身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：针对任意两个相邻的监控图像中的目标区域，确定每个身体部位在两个区域中横坐标的第一移动数据和纵坐标的第二移动数据，在全部的第一移动数据均小于第一数值，且全部的第二移动数据均小于第二数值的情况下，确定目标用户存在睡觉行为，其中，第一数值是根据目标区域的宽度确定的，第二数值是根据目标区域的高度确定的。
42.基于目标检测模型检测出监控图像中目标用户人体的目标区域坐标(x1,y1,x2,y2)，并根据该坐标计算出人体目标区域的高度hp＝y2-y1和宽度wp＝x2-x1，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识id，将人体目标区域和目标用户进行绑定确定每个目标用户所对应的目标区域(id,hp,wp)。基于关键点检测模型检测出监控图像目标区域中每个目标用户的关键部位的坐标，如图2所示，图2为人体关键点示例图，人体关键点标注包括对人体鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，通过关键点检测模型得到所有关键点的具体坐标依次为(k1,k2
……
k18)。针对每个目标用户，确定两个相邻的监控图像中目标用户的关键部位在全部目标区域中的坐标变化数据。确定每个身体部位在两个区域中横坐标的第一移动数据为其中为前帧关键点坐标中的x坐标，为后帧关键点坐标中的x坐标，确定每个身体部位在两个区域中纵坐标的第二移动数据为其中为前帧关键点坐标中的y坐标，为后帧关键点坐标中的y坐标，两个区域中横坐标的第一移动距离为|dx|,两个区域中纵坐标的第二移动距离为|dy|，设置横坐标x最大移动阈值为t_wx＝wp
×
0.01，纵坐标y最大移动阈值为t_wy＝hp
×
0.01，在全部的第一移动数据均小于第一数值，即所有关键点横坐标的第一移动距离|dx|＜t_wx，且全部的第二移动数据均小于第二数值，即所有的关键点纵坐标的第二移动距离|dy|＜t_wy时，确定目标用户存在睡觉行为。
43.在本技术的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，针对每个图像组包括的监控图像中人任意一个目标用户的目标区域，确定目标用户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据，在每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，确定目标用户存在睡觉行为，其中，每个身体部位对应的第一阈值是根据目标区域的宽度以及每个身体部位的权重系数确定的，每个身体部位对应的第二阈值是根据目标区域的高度以及每个身体部位的权重系数确定的。
44.将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，如，预设时间差值为10到20秒，每秒的帧率为5，则每组图像的个数n的取值范围为50≤n≤100，基于目标检测模型检测出监控图像中目标用户人体的目标区域坐标(x1,y1,x2,y2)，并根据该坐标计算出人体目标区域的高度hp＝y2-y1和宽
度wp＝x2-x1，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识id，将人体目标区域和目标用户进行绑定确定每个目标用户所对应的目标区域(id,hp,wp)。基于关键点检测模型检测出监控图像目标区域中每个目标用户的关键部位的坐标，如图2所示，图2为人体关键点示例图，人体关键点标注包括对人体鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，通过关键点检测模型得到所有关键点的具体坐标依次为(k1,k2
……
k18)，并设置人体关键点的权值w分别为wk1＝wk2＝wk3＝wk4＝wk5＝wk6＝wk7＝wk13＝wk14＝1，wk9＝wk10＝wk11＝wk12＝3，wk15＝wk16＝wk17＝wk18＝2。针对每个目标用户，确定两个相邻的监控图像中目标用户的关键部位在全部目标区域中的坐标变化数据。确定每个身体部位在两个区域中横坐标的第一移动数据为其中为前帧关键点坐标中的x坐标，为后帧关键点坐标中的x坐标，确定每个身体部位在两个区域中纵坐标的第二移动数据为其中为前帧关键点坐标中的y坐标，为后帧关键点坐标中的y坐标，两个区域中横坐标的第一移动距离为|dx|,两个区域中纵坐标的第二移动距离为|dy|，设置横坐标x最大移动阈值为t-wx＝wp
×
0.01，纵坐标y最大移动阈值为t_wy＝hp
×
0.01，当人体关键点都满足并且时确定目标用户存在睡觉行为。
45.在一个实施例中，检测连续的n个图像组，针对任意一个图像组中的任意一个目标用户，在目标用户的每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，预测图像组中的目标用户存在睡觉倾向，针对任意一个目标用户，在目标用户存在睡觉倾向的图像组的数量与n的比例大于预设比例值的情况下，确定目标用户存在睡觉行为。
46.将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，如，预设时间差值为10到20秒，每秒的帧率为5，则每组图像的个数n的取值范围为50≤n≤100，基于目标检测模型检测出监控图像中目标用户人体的目标区域坐标(x1,y1,x2,y2)，并根据该坐标计算出人体目标区域的高度hp＝y2-y1和宽度wp＝x2-x1，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识id，将人体目标区域和目标用户进行绑定确定每个目标用户所对应的目标区域(id,hp,wp)。基于关键点检测模型检测出监控图像目标区域中每个目标用户的关键部位的坐标，如图2所示，图2为人体关键点示例图，人体关键点标注包括对人体鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，通过关键点检测模型得到所有关键点的具体坐标依次为(k1,k2
……
k18)，并设置人体关键点的权值w分别为wk1＝wk2＝wk3＝wk4＝wk5＝wk6＝wk7＝wk13＝wk14＝1，wk9＝wk10＝wk11＝wk12＝3，wk15＝wk16＝wk17＝wk18＝2。针对每个目标用户，确定两个相邻的监控图像中目标用户的关键部位在全部目标区域中的坐标变化数据。确定每个身体部位在两个区域中横坐标的第一移动数据为其中为前帧关键点坐标中的x坐标，为后帧关键点坐标中的x坐标，确定每个身体部位在两个区域中纵坐标的第二移动数据为
其中为前帧关键点坐标中的y坐标，为后帧关键点坐标中的y坐标，两个区域中横坐标的第一移动距离为|dx|,两个区域中纵坐标的第二移动距离为|dy|，设置横坐标x最大移动阈值为t_wx＝wp
×
0.01，纵坐标y最大移动阈值为t_wy＝hp
×
0.01，当人体关键点都满足并且时确定目标用户存在这个预测图像组中的存在睡觉倾向，连续检测多个图像组，在目标用户存在睡觉倾向的图像组的数量与n的比例大于预设比例值的情况下，确定目标用户存在睡觉行为。
47.在一个实施例中，身体部位包括鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，方法还包括：确定目标用户存在睡觉行为的情况下，确定左膝k15和左臀k13的连线与左膝k15和左肩k7的连线之间的夹角a_kl，确定右膝k16和右臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间的夹角a_n，其中，臀中心点是指左臀k13和右臀k14连线的中心点，确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl，确定右肩k8和右肘k10的连线与右肩k8和右臀k14的连线之间的夹角a_sr，在夹角a_kl或夹角a_kr大于第一角度阈值的情况下，确定目标用户处于站姿睡觉的状态，在夹角a_kl或夹角a_kr小于第一角度阈值的情况下，确定目标用户处于坐姿睡觉的状态，在夹角a_n小于第二角度阈值，且夹角a_sl或夹角a_sr大于第三角度阈值的情况下，确定目标用户处于趴姿睡觉的状态。
48.设置第一角度阈值为120度，第二角度阈值为150度，第一角度阈值为60度，身体部位包括鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，方法还包括：确定目标用户存在睡觉行为的情况下，确定左膝k15和左臀k13的连线与左膝k15和左肩k7的连线之间的夹角a_kl，确定右膝k16和右臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间的夹角a_n，其中，臀中心点是指左臀k13和右臀k14连线的中心点，确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl，确定右肩k8和右肘k10的连线与右肩k8和右臀k14的连线之间的夹角a_sr，在夹角a_kl或夹角a_kr大于120度的情况下，确定目标用户处于站姿睡觉的状态，在夹角a_kl或夹角a_kr小于第一角度阈值的情况下，确定目标用户处于坐姿睡觉的状态，在夹角a_n小于150度，且夹角a_sl或夹角a_sr大于60度的情况下，确定目标用户处于趴姿睡觉的状态。
49.在一个实施例中，在确定目标用户存在睡觉行为之后，截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。
50.基于目标检测模型检测出监控图像中目标用户人体的目标区域。依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识id，基于关键点检测模型检测出监控图像目标区域中每个目标用户的关键部位的坐标，当检测到目标用户的坐标变化数据满足预设条件的情况下确定用户存在睡觉行为，截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。如图3所示，图3为识别睡觉行为的方法的流程示意图，首先通过通过摄像头获取预
设时间段内的监控数据，对获取的数据进行处理和标注，得到多个监控图像和人体标注数据，基于faster-rcnn的目标检测模型进行检测，检测出监控图像中目标用户人体的目标区域坐标，基于bytetrack目标跟踪模型进行目标用户人体目标区域跟踪，并绑定唯一身份标识id，基于alphapose关键点检测模型进行检测，检测出人体各个关键点的坐标。确定两个相邻的监控图像中目标用户的关键部位在全部目标区域中的坐标变化数据，根据关键部位在全部目标区域中的坐标变化数据判断用户是否存在睡觉行为以及睡觉姿势，并截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。
51.在一个实施例中，获取多个历史视频数据，将多个历史视频数据按照固定帧率间隔获取图像，以得到多个特定格式的历史图像，使用labelimg图像标注工具完成每个历史图像中的人体标注，得到人体标注数据，使用labelme图像标注工具完成每个历史图像中的人体关键部位标注，以得到人体关键部位标注数据，基于人体标注数据和faster-rcnn预训练模型，对目标检测模型进行训练，以得到训练好的目标检测模型，基于人体关键部位标注数据和alphapose预训练模型，对关键点检测模型进行训练，以得到训练好的关键点检测模型。
52.获取多个历史视频数据，将多个历史视频数据按照固定帧率间隔获取图像，以得到多个特定格式的历史图像，依次将多个图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域。其中目标检测模型是通过将获取到的监控图像使用labelimg图像标注工具完成人体标注，获取到人体标注数据，基于获取的人体标注数据和faster-rcnn预训练模型，对目标检测模型进行训练，用测试集对目标检测模型进行有效验证，当满足目标检测模型的准确率、召回率、精确率都大于设置阈值时，得到训练好的目标检测模型。基于获取的人体关键点标注数据和alphapose预训练模型，对关键点检测模型进行训练，用测试集对关键点检测模型进行有效验证，当满足关键点检测模型的准确率、召回率、精确率都大于设置阈值时，得到训练好的关键点检测模型。
53.上述识别睡觉行为的方法，获取预设时间段内的监控数据，监控数据中包括至少一个目标用户，对监控数据进行处理，以得到监控数据中的多个监控图像，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识，依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
54.通过该方法，提高了识别睡觉行为的准确率，减少了意外事故的发生，保护了人民生命财产安全。
55.本技术实施例提供了一种处理器，被配置成执行上述的识别睡觉行为的方法。
56.本本技术实施例提供了一种识别睡觉行为的装置，装置包括上述的处理器，该处理器被配置成执行上述任意一种识别睡觉行为的方法。
57.本技术实施例提供了一种存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的识别睡觉行为的方法。
58.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器a01、网络接口a02、显示屏a04、输入装置a05和存储器(图中未示出)。其中，该计算机设备的处理器a01用于提供计算和控制能力。该计算机设备的存储器包括内存储器a03和非易失性存储介质a06。该非易失性存储介质a06存储有操作系统b01和计算机程序b02。该内存储器a03为非易失性存储介质a06中的操作系统b01和计算机程序b02的运行提供环境。该计算机设备的网络接口a02用于与外部的终端通过网络连接通信。该计算机程序被处理器a01执行时以实现一种识别睡觉行为的方法。该计算机设备的显示屏a04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置a05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
59.本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
60.本技术实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
61.获取预设时间段内的监控数据，监控数据中包括至少一个目标用户，对监控数据进行处理，以得到监控数据中的多个监控图像，依次将多个监控图像输入至目标检测模型，以通过目标检测模型确定监控图像中包括的每个目标用户所对应的目标区域，依次将每个目标区域输入至目标跟踪模型，以通过目标跟踪模型绑定每个目标用户的唯一用户标识，依次将每个监控图像的目标区域输入至关键点检测模型，以通过关键点检测模型确定目标区域中每个目标用户的关键部位的坐标，针对每个目标用户，确定目标用户的关键部位在全部目标区域中的坐标变化数据，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为。
62.通过该方法，提高了识别睡觉行为的准确率，减少了意外事故的发生，保护了人民生命财产安全。
63.在一个实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：针对任意两个相邻的监控图像中的目标区域，确定每个身体部位在两个区域中横坐标的第一移动数据和纵坐标的第二移动数据，在全部的第一移动数据均小于第一数值，且全部的第二移动数据均小于第二数值的情况下，确定目标用户存在睡觉行为，其中，第一数值是根据目标区域的宽度确定的，第二数值是根据目标区域的高度确定的。
64.在本技术的实施例中，关键部位包括用户的多个身体部位，关键部位的坐标包括每个身体部位的横坐标和纵坐标，针对任意一个目标用户，在目标用户的坐标变化数据满足预设条件的情况下，确定目标用户存在睡觉行为包括：将多个监控图像按照时间顺序划分为多个图像组，其中，每个图像组包括两个时间差为预设时间差值的监控图像，针对每个图像组包括的监控图像中人任意一个目标用户的目标区域，确定目标用户的每个身体部位在两个目标区域中横坐标的第一移动数据和纵坐标的第二移动数据，在每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体
部位对应的第二阈值的情况下，确定目标用户存在睡觉行为，其中，每个身体部位对应的第一阈值是根据目标区域的宽度以及每个身体部位的权重系数确定的，每个身体部位对应的第二阈值是根据目标区域的高度以及每个身体部位的权重系数确定的。
65.在一个实施例中，检测连续的n个图像组，针对任意一个图像组中的任意一个目标用户，在目标用户的每个身体部位的第一移动数据小于与身体部位对应的第一阈值，且每个身体部位的第二移动数据小于与身体部位对应的第二阈值的情况下，预测图像组中的目标用户存在睡觉倾向，针对任意一个目标用户，在目标用户存在睡觉倾向的图像组的数量与n的比例大于预设比例值的情况下，确定目标用户存在睡觉行为。
66.在一个实施例中，身体部位包括鼻子k1，左眼k2，右眼k3，左耳k4、右耳k5，脖颈k6，左肩k7，右肩k8，左肘k9，右肘k10，左腕k11，右腕k12，左臀k13，右臀k14，左膝k15，右膝k16，左脚踝k17以及右脚踝k18，方法还包括：确定目标用户存在睡觉行为的情况下，确定左膝k15和左臀k13的连线与左膝k15和左肩k7的连线之间的夹角a_kl，确定右膝k16和右臀k14的连线与右膝k16和右肩k8的连线之间的夹角a_kr确定脖颈k6和鼻子k1的连线与脖颈k6和臀中心点的连线之间的夹角a_n，其中，臀中心点是指左臀k13和右臀k14连线的中心点，确定左肩k7和左肘k9的连线与左肩k7和左臀k13的连线之间的夹角a_sl，确定右肩k8和右肘k10的连线与右肩k8和右臀k14的连线之间的夹角a_sr，在夹角a_kl或夹角a_kr大于第一角度阈值的情况下，确定目标用户处于站姿睡觉的状态，在夹角a_kl或夹角a_kr小于第一角度阈值的情况下，确定目标用户处于坐姿睡觉的状态，在夹角a_n小于第二角度阈值，且夹角a_sl或夹角a_sr大于第三角度阈值的情况下，确定目标用户处于趴姿睡觉的状态。
67.在一个实施例中，在确定目标用户存在睡觉行为之后，截取目标用户的坐标变化数据满足预设条件的目标区域所在的视频片段，根据目标用户的标识对应保存视频片段。
68.在一个实施例中，获取多个历史视频数据，将多个历史视频数据按照固定帧率间隔获取图像，以得到多个特定格式的历史图像，使用labelimg图像标注工具完成每个历史图像中的人体标注，得到人体标注数据，使用labelme图像标注工具完成每个历史图像中的人体关键部位标注，以得到人体关键部位标注数据，基于人体标注数据和faster-rcnn预训练模型，对目标检测模型进行训练，以得到训练好的目标检测模型，基于人体关键部位标注数据和alphapose预训练模型，对关键点检测模型进行训练，以得到训练好的关键点检测模型。
69.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
70.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
71.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
72.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
73.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
74.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
75.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
76.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
77.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。