一种离岗检测方法、装置、计算机设备及存储介质与流程

1.本发明涉及监控技术领域，尤其涉及一种离岗检测方法、装置、计算机设备及存储介质。


背景技术：

2.游泳运动目前已经成为广受群众喜爱的运动项目，大多数新建小区均配备有不同规格的游泳池。但该运动项目也存在危险性较高的风险，游泳者准备活动不充分、突发疾病、救生员不到位等原因都可能引起游泳者溺水，而发生溺水后抢救不及时则可能导致溺亡事故的发生。
3.泳池安全员的到位对于维护游泳者的生命安全至关重要，游泳救生员在泳池营业期间应该在高椅或周边环视指定水域，若发生溺水应第一时间予以施救。泳池安全员的人数依据泳池面积大小有不同的标准。但是现实生活中，由于泳池安全员责任意识薄弱等问题，往往会出现安全员离岗的情况，这会造成极大的安全威胁。


技术实现要素：

4.本发明的目的是提供一种离岗检测方法、装置、计算机设备及存储介质，旨在解决对泳池安全员离岗现象不易监控而导致存在安全隐患的问题。
5.为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种泳池安全员离岗检测方法，包括：获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
6.另外，本发明要解决的技术问题是还在于提供一种泳池安全员离岗检测装置，其包括：构建单元，用于获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；标注单元，用于对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
训练单元，用于对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；优化单元，用于对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；预测单元，用于将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；计算单元，用于计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；判断单元，用于根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
7.另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的泳池安全员离岗检测方法。
8.另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的泳池安全员离岗检测方法。
9.本发明实施例公开了一种离岗检测方法、装置、计算机设备及存储介质。该方法包括先通过获取的图像集合预先进行预测训练以及预测优化后，得到预测模型；然后将待预测图像输入预测模型进行标注处理，输出标注有高椅位置信息和安全员位置信息的预测图像； 计算预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；根据交并比矩阵判断安全员是否在岗以及在岗的置信度。本发明实施例提出了的预测模型为基于yolov5的泳池安全员离岗检测模型，可实现对多个游泳池的实时监控，快速检测到泳池安全员离岗现象并触发警告，从而排除泳池的安全隐患。
附图说明
10.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明实施例提供的泳池安全员离岗检测方法的流程示意图；图2为本发明实施例提供的泳池安全员离岗检测方法的子流程示意图；图3为本发明实施例提供的泳池安全员离岗检测方法的又一子流程示意图；图4为本发明实施例提供的泳池安全员离岗检测方法的又一子流程示意图；图5为本发明实施例提供的泳池安全员离岗检测装置的示意性框图；图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
12.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
14.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
15.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
16.请参阅图1，图1为本发明实施例提供的泳池安全员离岗检测方法的流程示意图；如图1所示，该方法包括步骤s101~s105。
17.s101、获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；该步骤中，各个泳池场景由监控设备（如摄像头）进行监控，通过定期或不定期的抽帧方法采集各个泳池场景的图像，得到每个泳池场景的图像集合。
18.s102、对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；s103、对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；s104、对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；步骤s102
‑
s104为建立并优化预测模型的过程，具体为：先使用yolov5网络对标注了高椅和安全员的图像进分类和类别置信度训练，得到初始的预测模型，再通过对未标注的安全员的图像进行多轮迭代预测训练，使预测模型的识别准确率逐步上升，从而优化预测模型。
19.s105、将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；s106、计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；s107、根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
20.步骤s105
‑
s107为对待预测图像进行预测并判断安全员是否在岗以及在岗的置信度的过程，从而实现对游泳场景进行实时监控，通过快速检测到泳池安全员离岗现象并触发警报，从而排除泳池的安全隐患。
21.在一实施例中，如图2所示，所述步骤s102包括：s201、从每一所述图像集合中选取一张图像，采用矩形框对选取的图像中的高椅进行框取并得到高椅矩形框，并将该高椅矩形框复制到与其同一图像集合的其余图像中；s202、从每一所述图像集合中选取预设比例的图像，采用矩形框对选取的图像中的安全员进行框取并得到安全员矩形框；s203、以图像左上角作为原点，得到高椅矩形框和安全员矩形框的位置信息，其中x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，c表示类别，c为0时表示高椅，c为1时表示安全员。
22.本实施例中，由于同一图像集合中的图像中的高椅的位置是固定不变的，因此只需从每一图像集合中选取一张图像进行高椅标注并得到高椅矩形框，再将高椅矩形框复制到与其同一图像集合的其余图像中即可完成该图像集合的所有高椅标注；另外对每一所述图像集合中20%的图像中的安全员进行标注并得到安全员矩形框。
23.对于得到的高椅矩形框和安全员矩形框，采用特征维数为5的xywhc格式进行表示，从而方便确认矩形框的准确位置。
24.在一实施例中，所述步骤s103包括：采用非极大值抑制算法确认出对应高椅的预测矩形框和对应安全员的预测矩形框；按如下公式进行训练并得到预测模型：；；；；其中，k为预测矩形框内物体为高椅或安全员的置信度，表示预测矩形框内有高椅或安全员的概率，表示真实矩形框与预测矩形框的交并比，表示真实矩形框与预测矩形框的广义交并比，c表示可以覆盖真实预测框和预测真实框的最小封闭凸面，“\”表示c中没覆盖到真实预测框和预测真实框的面积，为损失函数。
25.本实施例介绍了训练的过程，具体为：基于目标检测算法，对每张图像中矩形框的位置区域进行检测，初始时会有多个预测矩形框，但目标是只保留一个，故采用非极大值抑制算法进行筛选并确认出最大分类置信度对应的预测矩形框；然后再通过上述公式对预测矩形框进行分类训练和类别置信度训练，分类训练的类别是指为高椅或者安全员，类别置信度训练的置信度是指为高椅的概率或者为安全员的概率，从而得到预测模型。
26.其中，介绍采用非极大值抑制算法进行筛选高椅的预测矩形框的过程：步骤1、将图像内的多个候选矩形框进行重叠度排序，也就是属于高椅的概率排序，并选中概率最高的候选矩形框；步骤2、遍历图像内的其他候选矩形框，若与概率最高的候选矩形框的重叠度大于预设重叠度阈值，则将概率最高的候选矩形框和重叠度大于预设重叠度阈值的候选矩形框一同删除；步骤3、在剩余的候选矩形框中，多次迭代步骤1和步骤2，直到冗余的候选矩形框被去除，得到最后一个候选矩形框并作为对应高椅的预测矩形框。
27.下面针对得到的预测模型进一步进行优化，如图3所示，所述步骤s104包括：s301、通过预测模型对每个图像集合中未标注的安全员的图像进行预测训练，得
到预测矩形框的位置信息；s302、对得到的预测矩形框的位置信息进行筛选，得到预测错误的图像，其中，预测正确的条件为：每个预测矩形框的分类结果正确，以及预测矩形框与对应的真实矩形框的iou值达到预设阈值；步骤s301
‑
s302中介绍了通过预测模型进行预测并筛选出预测错误的图像的过程，筛选的方法可以采用专家(expert)，筛选时，基于预测正确的条件将预测正确的图像排除即可，预测正确的条件有两条且需同时满足，一条为每个预测矩形框的分类结果正确，另一条为预测矩形框与对应的真实矩形框的iou值达到预设阈值，其中预设阈值为0.8；基于此，确认出预测错误的图像并通过步骤s303重新进行预测训练；s303、对预测错误的图像重新进行预测训练，经过多轮迭代后得到优化后的预测模型，其中优化预测模型的过程为：；；；；其中，和分别表示第轮预测训练时从预测结果中筛选出的预测正确和错误的预测矩形框，表示第j轮通过预测训练得到的预测模型，表示由预测正确矩形框后更新预测训练得到，表示使用对上一轮预测错误的预测矩形框重新进行预测训练得到的预测结果，表示专家(expert)对预测结果进行筛选和确认。
28.通过预设轮数的迭代训练或者预测训练的预测结果全部正确后，即可完成预测模型优化，从而提高了预测模型的识别准确率。
29.下面对步骤s105更进一步的进行介绍，具体为使用优化后的预测模型对各个泳池场景进行实时监控的过程：从各个泳池场景的视频数据中抽取待预测图像，然后将待预测图像输入所述预测模型进行预测处理，输出预测的安全员位置信息和高椅位置信息，其中，x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，1（或其他字符）表示安全员，0（或其他字符）表示高椅，s表示该预测矩形框为安全员矩形框的置信度，g表示该预测矩形框为高椅矩形框的置信度。
30.下面进一步介绍步骤s106，包括：计算待预测图像中高椅矩形框和安全员矩形框的交并比并得到交并比矩阵，和分别表示预测图像中预测出的安全员和高椅的数量；根据所述交并比矩阵中的元素的值，判断安全员与高椅的位置关系，其中表示第i个安全员和对应的第i个高椅的位置关系，若元素为0则表示预测安全员没有在对应的高椅旁，若元素为非0则表示预测安全员在对应的高椅旁。
31.具体的，以一待预测图像进行举例，假设待预测图像中有三张高椅，每一高椅配置一名安全员，即交并比矩阵为3
×
3的矩阵，若识别到第一张高椅旁边没有安全员，则说明第一张高椅对应的安全员离岗了，故交并比矩阵中的元素为0；反之若识别到第一张高椅旁边有安全员，则交并比矩阵中的元素为非0。
32.下面介绍步骤s107，具体为根据交并比矩阵的结果对在岗的安全员进行在岗置信度分析的过程，如图4所示，包括：s401、计算所述交并比矩阵中的元素的非0元素个数；s402、若非0元素个数小于高椅的数量，则将为0的元素对应的安全员判定为离岗，并将离岗信息发送至监控终端；步骤s401
‑
s402中初步确认了根据交并比矩阵得到是否有离岗安全员的过程，对于存在离岗情况的直接将离岗信息发送至监控终端并触发警告。
33.s403、若非0元素个数大于等于高椅的数量，则按如下公式计算每张高椅上安全员在岗的置信度conf
k
：；其中，表示安全员矩形框中心点高度，表示高椅矩形框中心点高度；s404、判断安全员矩形框与高椅矩形框是否有交集区域，以及判断conf
k
是否大于预设置信度，若有交集区域且大于预设置信度则判断在岗，若未满足任一判断条件，则判定有离岗现象，并对应的离岗信息发送至监控终端。
34.步骤s403
‑
s404进一步对在岗的安全员进行在岗的置信度conf
k
计算，根据上述公式，将安全员矩形框和高椅矩形框的位置参数代入公式，即可计算出对应安全员的在岗置信度conf
k
，最后，再基于两个判断条件判断是否有离岗现象，即安全员矩形框与高椅矩形框是否有交集区域，以及conf
k
是否大于预设置信度，其中预设置信度为0.2，同时满足这两个条件即可判定位在岗。
35.本发明实施例还提供一种泳池安全员离岗检测装置，该泳池安全员离岗检测装置用于执行前述泳池安全员离岗检测方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的泳池安全员离岗检测装置的示意性框图。
36.如图5所示，泳池安全员离岗检测装置500，包括：构建单元501、标注单元502、训练单元503、优化单元504、预测单元505、计算单元506以及判断单元507。
37.构建单元501，用于获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；标注单元502，用于对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；训练单元503，用于对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；优化单元504，用于对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
预测单元505，用于将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；计算单元506，用于计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；判断单元507，用于根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
38.该装置可实现对多个游泳场景的实时监控，快速检测到泳池安全员离岗现象并触发警告，从而排除泳池的安全隐患。
39.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
40.上述泳池安全员离岗检测装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
41.请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备600是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
42.参阅图6，该计算机设备600包括通过系统总线601连接的处理器602、存储器和网络接口605，其中，存储器可以包括非易失性存储介质603和内存储器604。
43.该非易失性存储介质603可存储操作系统6031和计算机程序6032。该计算机程序6032被执行时，可使得处理器602执行泳池安全员离岗检测方法。
44.该处理器602用于提供计算和控制能力，支撑整个计算机设备600的运行。
45.该内存储器604为非易失性存储介质603中的计算机程序6032的运行提供环境，该计算机程序6032被处理器602执行时，可使得处理器602执行泳池安全员离岗检测方法。
46.该网络接口605用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备600的限定，具体的计算机设备600可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
47.本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
48.应当理解，在本发明实施例中，处理器602可以是中央处理单元 (central processing unit，cpu)，该处理器602还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field
‑
programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
49.在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的泳池安全员离岗检测方法。
50.所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存
储器（read
‑
only memory，rom）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
51.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
52.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。