抽烟检测方法及装置、电子设备、计算机可读存储介质与流程

1.本公开涉及图像识别技术领域，特别涉及一种抽烟检测方法及装置、电子设备、计算机可读存储介质。还涉及一种抽烟检测模型的训练方法。


背景技术：

2.抽烟检测在安全防范领域中应用广泛，与我们的生活息息相关。例如禁止吸烟的公共场包括有：医疗、卫生机构的室内区域；幼儿园、校园、政府、团体、私人单位、公共单位的办公室、会议室等工作地方；以及各类公共交通工具及火车站、长途汽车站的售票厅、候车厅，博物馆、文化馆、图书馆、档案馆等；通常，提供住宿休息服务的场所虽然会设置吸烟区或吸烟室，但仍然有少许人员未按规定执行，需要安防人员的提醒和警告。为了将安防人员从繁杂而枯燥的“盯屏幕”任务中解脱出来，急需一个抽烟检测方法可以自动对视频图像信息进行分析识别，无需人工干预，对监控区域内的人员抽烟行为进行识别，及时发现监控区域内的人员抽烟行为，以最快、最佳的方式进行预警，从而有效的协助管理人员处理，并最大限度地降低误报和漏报现象，助力工地施工现场智能化管理。由此可见，抽烟检测技术在现实生活中发挥了重要作用。
3.目前，在进行抽烟检测时，一般是基于布置于工作场景中的图像采集装置，例如摄像头采集工作场景中的图像，并通过将图像直接输入至预先训练得到的抽烟检测网络模型中进行识别，以识别工作场景中的用户是否存在抽烟行为。
4.该种抽烟检测方法在实际场景中应用时，由于实际场景例如高铁站、地铁站、工地等场景下的场景复杂度较高，因此，该种抽烟检测方法往往存在识别准确率低的问题。


技术实现要素：

5.本公开提供一种抽烟检测方法及装置、电子设备、计算机可读存储介质，以及还提供一种抽烟检测模型的训练方法。
6.第一方面，本公开提供了一种抽烟检测方法，该方法包括：
7.获取待检测的原始图像；
8.根据所述原始图像，获得用户头部图像，其中，所述用户头部图像是根据所述原始图像中用户头部区域的像素得到的图像；
9.根据所述用户头部图像，获得第一区域信息和第二区域信息，其中，所述第一区域信息表示所述用户头部图像中用户嘴部区域的位置，所述第二区域信息表示所述用户头部图像中香烟区域的位置；
10.根据所述第一区域信息和所述第二区域信息，获得目标检测结果，其中，所述目标检测结果表示所述原始图像中的用户是否处于抽烟状态。
11.第二方面，本公开提供了一种抽烟检测模型的训练方法，该方法包括：
12.根据目标头部检测模型，对多个第一样本图像中的用户头部区域进行检测和提取处理，获得与所述多个第一样本图像对应的多个第二样本图像，其中，所述多个第一样本图
像为用于训练所述目标头部检测模型的第一训练集中的图像，所述第一样本图像为包含用户头部区域的图像；
13.通过对所述多个第二样本图像进行标注，构建包括正样本图像和负样本图像的第二训练集，其中，所述正样本图像为所述第二样本图像中包含香烟区域的图像，所述负样本图像为所述第二样本图像中未包含香烟区域的图像；
14.根据所述第二训练集对原始抽烟检测模型进行训练，获得目标抽烟检测模型。
15.第三方面，本公开提供了一种抽烟检测装置，该装置包括：
16.获取单元，用于获取待检测的原始图像；
17.头部图像获得单元，用于根据所述原始图像，获得用户头部图像，其中，所述用户头部图像是根据所述原始图像中用户头部区域的像素得到的图像；
18.检测单元，用于根据所述用户头部图像，获得第一区域信息和第二区域信息，其中，所述第一区域信息表示所述用户头部图像中用户嘴部区域的位置，所述第二区域信息表示所述用户头部图像中香烟区域的位置；
19.处理单元，用于根据所述第一区域信息和所述第二区域信息，获得目标检测结果，其中，所述目标检测结果表示所述原始图像中的用户是否处于抽烟状态。
20.第四方面，本公开提供了一种抽烟检测模型的训练装置，该装置包括：
21.样本图像获得单元，用于根据目标头部检测模型，对多个第一样本图像中的用户头部区域进行检测和提取处理，获得与所述多个第一样本图像对应的多个第二样本图像，其中，所述多个第一样本图像为用于训练所述目标头部检测模型的第一训练集中的图像，所述第一样本图像为包含用户头部区域的图像；
22.训练集获得单元，用于通过对所述多个第二样本图像进行标注，构建包括正样本图像和负样本图像的第二训练集，其中，所述正样本图像为所述第二样本图像中包含香烟区域的图像，所述负样本图像为所述第二样本图像中未包含香烟区域的图像；
23.训练单元，用于根据所述第二训练集对原始抽烟检测模型进行训练，获得目标抽烟检测模型。
24.第五方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面的抽烟检测方法或第二方面的抽烟检测模型的训练方法。
25.第六方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述第一方面的抽烟检测方法或第二方面的抽烟检测模型的训练方法。
26.本公开所提供的实施例，在获取到待检测的原始图像之后，通过先根据该原始图像得到用户头部图像，再根据用户头部图像，得到表示该用户头部图像中用户嘴部区域位置的第一区域信息和表示香烟区域位置的第二区域信息，即可根据该第一区域信息和该第二区域信息，准确得到表示原始图像中的用户是否处于抽烟状态的目标检测结果。
27.在本公开所提供的实施例中，电子设备在得到原始图像之后，并不直接对原始图像进行抽烟检测处理，而是通过先获取由原始图像中用户头部区域的像素构成的用户头部
图像，可以避免用户头部区域在原始图像中的整体占比较小而导致的识别准确率不高的问题；另外，在得到该用户头部图像之后，也并不是直接将该用户头部图像输入至抽烟检测模型中进行抽烟识别，而是根据该用户头部图像，得到该用户头部图像中用户嘴部区域的第一区域信息以及香烟区域的第二区域信息，由于当用户处于抽烟状态时，香烟必然与其嘴部区域存在一定重合，因此，基于该先验知识，电子设备即可根据该第一区域信息和该第二区域信息，准确得得到表示用户是否处于抽烟状态的目标检测结果。
28.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
29.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
30.图1为本公开实施例提供的抽烟检测方法的实施环境的示意图；
31.图2为本公开实施例提供的一种抽烟检测方法的流程图；
32.图3为本公开实施例提供的用于获取用户头部图像的流程图；
33.图4为本公开实施例提供的用于确定嘴部区域和香烟区域的流程图；
34.图5为本公开实施例提供的用于训练目标头部检测模型和目标抽烟检测模型的框图；
35.图6为本公开实施例提供的一种抽烟检测模型的训练方法的流程图；
36.图7为本公开实施例提供的一种抽烟检测装置的框图；
37.图8为本公开实施例提供的一种抽烟检测模型的训练装置的框图；
38.图9为本公开实施例提供的一种电子设备的框图。
具体实施方式
39.为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
40.在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
41.如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
42.本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
43.除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域
普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
44.目前，在进行抽烟检测时，通常是基于布置于工作场景中的图像采集装置，例如摄像头采集工作场景中的图像，并将图像直接输入至预先训练得到的抽烟检测模型中进行抽烟识别。然而，由于工作场景，例如，火车站、地铁站、工地等场景中的用户通常距离摄像头较远，这就使得香烟在图像中所占的尺寸也很小，进而导致该种直接对原始采集到的图像直接进行抽烟检测识别的方法往往可能存在准确率不高的问题。
45.请参看图1，其为本公开实施例提供的抽烟检测方法的实施环境的示意图。如图1所示，该实施环境可以包括电子设备101、图像采集设备102以及网络103。
46.电子设备101可以为终端设备，或者也可以为服务器；其中，在电子设备101为服务器的情况下，其可以是物理服务器，例如可以为刀片服务器、机架式服务器等，或者也可以是虚拟服务器，例如可以是部署在云端的服务器集群，在此不做限定；在电子设备101为终端设备的情况下，其可以为手机、平板电脑、台式计算机、便携式电脑等。在本公开实施例中，电子设备101可用于实现本公开任意实施例的抽烟检测方法，以对图像采集设备102采集的原始图像的属主，即，原始图像中包含的用户是否处于抽烟状态进行检测。
47.图像采集设备102可以是摄像头，该摄像头可以布置于工作场景，例如火车站、地铁站以及工地等场景中，以采集工作场景中用户的原始图像，并通过网络103将该原始图像发送至电子设备101，以触发电子设备101基于该原始图像，通过实施本公开实施例的抽烟检测方法准确的得到表示该用户是否处于抽烟状态的目标检测结果。
48.网络103可以是无线网络也可以是有线网络，可以是局域网也可以是广域网。电子设备101、图像采集设备102之间可以通过网络103进行通信。
49.在本公开实施例中，电子设备101可用于参与实现根据本公开任意实施例的抽烟检测方法。例如可以用于：获取图像采集设备102采集的、待检测的原始图像；根据原始图像，获得用户头部图像，其中，用户头部图像是根据原始图像中用户头部区域的像素得到的图像；根据用户头部图像，获得第一区域信息和第二区域信息，其中，第一区域信息表示用户头部图像中用户嘴部区域的位置，第二区域信息表示用户头部图像中香烟区域的位置；根据第一区域信息和第二区域信息，获得目标检测结果，其中，目标检测结果表示原始图像中的用户是否处于抽烟状态，
50.可以理解的是，图1所示的实施环境仅是解释性的，并且决不是为了要限制本公开、其应用或用途。例如，尽管图1仅示出一个电子设备101、一个图像采集设备102，但不意味着限制各自的数量，该实施环境中可以包含多个电子设备101以及多个图像采集设备102；又例如，尽管在图1中是将电子设备101和图像采集设备102作为单独的两个主体，但在实际实施时，该图像采集设备102也可以集成于电子设备101中，电子设备101可以通过图像采集设备102采集用户的原始图像，并基于本公开实施例的抽烟检测方法准确的识别检测该用户是否处于抽烟状态。
51.为了提升抽烟检测的准确率，本公开实施例提供一种抽烟检测方法，请参看图2，其为本公开实施例提供的一种抽烟检测方法的流程图。该方法可以应用于电子设备中，该电子设备例如可以为图1所示的电子设备101，即，根据实际实施环境，用于实施本公开实施
例所述的抽烟检测方法的电子设备可以为终端设备，也可以为服务器，此处不做特殊限定。
52.如图2所示，本公开实施例提供的抽烟检测方法可以包括如下步骤s201-s204，以下予以详细说明。
53.步骤s201，获取待检测的原始图像。
54.在本公开实施例中，原始图像，是指至少包含用户头部区域的图像，原始图像可以为一张或多张图像，例如可以为基于图像采集装置采集的视频中的连续多张视频帧。
55.原始图像可以由图像采集设备，例如图像采集设备102采集工作场景中用户的图像得到，该原始图像用于触发电子设备检测该用户是否处于抽烟状态，即，是否正在抽烟。可以理解的是，在原始图像中包含的用户处于抽烟状态，即，正在抽烟的情况下，该原始图像中在包含用户头部区域的同时，还包含有香烟区域。
56.步骤s202，根据原始图像，获得用户头部图像，其中，用户头部图像是根据原始图像中用户头部区域的像素得到的图像。
57.在本公开实施例中，考虑到图像采集设备在采集原始图像时，通常由于图像采集设备在工作场景中部署位置的原因，工作场景中的用户往往距离图像采集设备较远，这就造成原始图像中的用户也较小，用户头部区域更小，该种情况下，若用户正在抽烟，则原始图像中的香烟区域将会更小，这就使得若基于原始图像直接进行抽烟检测，则准确率往往并不高。
58.为解决该技术问题，以提升抽烟检测的准确率，在本公开实施例中，电子设备在得到原始图像之后，并不直接进行抽烟检测，而是先基于该原始图像中用户头部区域的像素，构建得到用户头部图像，以基于该用户头部图像进行后续的抽烟检测处理。
59.步骤s203，根据用户头部图像，获得第一区域信息和第二区域信息，其中，第一区域信息表示用户头部图像中用户嘴部区域的位置，第二区域信息表示用户头部图像中香烟区域的位置。
60.第一区域信息，可以用于表示用户头部图像中用户嘴部区域的位置，第一区域信息可以是以位置坐标的形式表示用户嘴部区域。
61.例如，第一区域信息可以包括用户头部图像中的左嘴角坐标、右嘴角坐标、上嘴唇坐标和下嘴唇坐标，该四个坐标构成的矩形框表示用户嘴部区域。需要说明的是，第一区域信息也可以为其它形式，例如，在包含上述左嘴角坐标、右嘴角坐标、上嘴唇坐标和下嘴唇坐标的同时，还可以包含嘴部中心坐标，此处不做特殊限定。
62.第二区域信息，可以用于表示香烟区域的位置，第二区域信息同样可以是以位置坐标的形式表示香烟区域的位置，例如，可以以用户头部图像中的香烟左上端点坐标、左下端点坐标、右上端点坐标和右下端点坐标构成的矩形框表示香烟区域。
63.在基于步骤s202得到用户头部图像之后，由于用户头部图像是根据原始图像中用户头部区域的像素得到的，因此，可以通过对该用户头部图像进行检测，识别该用户头部图像中的用户嘴部区域和香烟区域。
64.需要说明的是，该第一区域信息和第二区域信息，可以是使用任意对象检测(object detection)算法对用户头部图像中的用户嘴部区域和香烟区域进行识别后得到，该对象检测算法例如可以为基于rcnn(region-cnn)、yolo(you only look once)、ssd(single shot detectors)等任意一卷积神经网络模型结构的检测算法，此处不做特殊限
定。
65.步骤s204，根据第一区域信息和第二区域信息，获得目标检测结果，其中，目标检测结果表示原始图像中的用户是否处于抽烟状态。
66.在根据以上步骤s203得到表示用户头部图像中的嘴部区域的位置的第一区域信息和表示香烟区域的位置的第二区域信息之后，由于在现实中，若用户正在抽烟，则香烟通常会与用户的嘴部区域存在一定重合，因此，可以基于该先验知识，通过确定第二区域信息是否与第一区域信息存在重合(即，是否存在交集)，即可确定原始图像中的用户是否处于抽烟状态。
67.根据以上说明可知，本公开实施例提供的抽烟检测方法，电子设备在得到原始图像之后，并不直接对原始图像进行抽烟检测处理，而是通过先获取由原始图像中用户头部区域的像素构成的用户头部图像，可以避免用户头部区域在原始图像中的整体占比较小而导致的识别准确率不高的问题；另外，在得到该用户头部图像之后，也并不是直接将该用户头部图像输入至抽烟检测模型中进行抽烟识别，而是根据该用户头部图像，得到该用户头部图像中用户嘴部区域的第一区域信息以及香烟区域的第二区域信息，由于当用户处于抽烟状态时，香烟必然与其嘴部区域存在一定重合，因此，基于该先验知识，电子设备即可根据该第一区域信息和该第二区域信息，准确得得到表示用户是否处于抽烟状态的目标检测结果。
68.请参看图3，其为本公开实施例提供的用于获取用户头部图像的流程图。如图3所示，在本公开实施例中，上述步骤s202中的根据原始图像获得用户头部图像，可以包括如下步骤s301-s302，以下予以说明。
69.步骤s301，将原始图像输入至目标头部检测模型中，获得第三区域信息，其中，第三区域信息表示原始图像中用户头部的位置，目标头部检测模型是用于检测图像中的头部区域的网络模型。
70.目标头部检测模型，可以是用于检测图像中的头部区域的网络模型；另外，考虑到yolov5网络模型在进行对象检测时通常具有较快的速度和较高的准确率，因此，该目标头部检测模型可以为基于yolov5网络结构的卷积神经网络模型；当然，随着技术的不断进步，也可以根据需要，基于其他网络模型训练得到该目标头部检测模型，此处不做特殊限定。
71.第三区域信息，可以是表示原始图像中用户头部的位置的信息，第三区域信息可以为多个坐标信息，该多个坐标信息构成的轮廓表示用户头部在原始图像中的位置。
72.步骤s302，根据第三区域信息和原始图像，获得用户头部图像。
73.在得到第三区域信息之后，即可根据该第三区域信息，从原始图像中提取得到用户头部图像，由于用户头部图像摒弃了原始图像中用户头部区域以外的其他像素，而将关注区域放置于用户头部区域，因此，相较于原始图像，用户头部区域中的用户嘴部区域和香烟区域更为清晰，占比更大，更有利于进行抽烟检测，以提升抽烟检测的准确率。
74.在本公开实施例中，上述步骤s302中所述的根据第三区域信息和原始图像，获得用户头部图像，可以是：根据第三区域信息，直接从原始图像中提取得到用户头部图像。
75.另外，在一些实施例中，为了提升抽烟检测的准确率，上述步骤s302中所述的根据第三区域信息和原始图像，获得用户头部图像，也可以是：根据第三区域信息，从原始图像中，得到初始用户头部图像，对该初始用户头部图像进行图像重建处理，得到该用户头部图
像，其中，该图像重建处理包括图像超分辨率重建(image super-resolution)处理。
76.即，考虑到基于第三区域信息直接从原始图像中提取的用户头部区域的像素的分辨率可能较低，因此，还可以对提取得到的初始用户头部图像进行图像重建，例如，图像超分辨率重建处理，以提升得到的用户头部图像的分辨率，进而提升抽烟检测的准确率。
77.请参看图4，其为本公开实施例提供的用于确定嘴部区域和香烟区域的流程图。如图4所示，在本公开实施例中，上述步骤s203中的根据用户头部图像，获得第一区域信息和第二区域信息，包括：
78.步骤s401，将用户头部图像输入至目标人脸检测模型中，获得关键点信息，并根据关键点信息，获得第一区域信息，其中，关键点信息表示用户头部图像中人脸的关键点的位置，目标人脸检测模型是用于检测图像中的人脸区域的网络模型。
79.关键点信息，可以是用户头部图像中人脸的关键点的坐标，该关键点例如可以为人脸中的左眼、右眼、鼻子、左嘴角和右嘴角，此处不做特殊限定。
80.目标人脸检测模型，可以是用于检测图像中的人脸区域的网络模型，在本公开实施例中，如无特殊说明，以该目标人脸检测模型为基于多任务卷积神经网络(mtcnn，multi-task convolutional neural network)网络结构的网络模型为例进行说明。
81.其中，mtcnn是一种人脸检测的深度学习级联框架，由三个不同复杂程度的神经网络组成，分别是p-net、r-net和o-net。在训练阶段，为了加快训练收敛的速度，每个神经网络输入尺寸不同的人脸图像。p-net的输入是随机切割生成12*12尺寸的图像，然后通过p-net网络得到的候选人脸图像，并将图像尺寸调整为24*24输入到r-net网络中进行精修，最后将r-net网络得到的人脸图像，调整为48*48的图像输入到o-net中，以得到人脸框和人脸关键点信息。与训练阶段不同的是，在测试阶段，为了检测不同大小的人脸，采用图像金字塔将图像缩放为不同大小的图像，然后依次输入到全卷积神经网络p-net、r-net和o-net中得到人脸目标的位置信息。
82.步骤s402，将用户头部图像输入至目标抽烟检测模型中，获得第二区域信息，其中，目标抽烟检测模型是用于检测图像中的香烟区域的网络模型。
83.目标抽检检测模型，可以是用于检测图像中的香烟区域的网络模型，在本公开实施例中，该目标抽烟检测模型也可以为基于yolov5网络结构的卷积神经网络模型。
84.需要说明的是，与相关技术中在进行抽烟检测时直接基于原始图像进行抽烟检测的抽烟检测模型不同，本公开实施例中的目标抽烟检测模型仅用于检测输入图像中的香烟区域，而并不用于输入表示用户是否处于抽烟状态的检测结果。
85.可以理解的是，上述步骤s401和步骤s402之间先后顺序并不受限定，在实际实施时，可以先实施步骤s401，也可以后实施步骤s401，或者，也可以同时实时步骤s401和步骤s402，此处不做特殊限定。
86.另外，在一些实施例中，关键点至少包括人脸中的左嘴角和右嘴角，在该种实施方式中，上述步骤s401中所述的根据关键点信息，获得第一区域信息，可以包括：从关键点信息中，获取第一位置信息和第二位置信息，其中，第一位置信息表示人脸中的左嘴角的位置，第二位置信息表示人脸中的右嘴角的位置；根据第一位置信息和第二位置信息，计算第三位置信息和第四位置信息，其中，第三位置信息表示人脸中的上嘴唇的位置，第四位置信息表示人脸中的下嘴唇的位置；根据第一位置信息、第二位置信息、第三位置信息和第四位
置信息，获得第一区域信息。
87.第一位置信息、第二位置信息可以是分别表示用户头部图像中的左嘴角位置和右嘴角位置的坐标；可以理解的是，第三位置信息和第四位置信息可以是分别表示用户头部图像中的上嘴唇和下嘴唇位置的坐标。
88.即，考虑到在基于目标人脸检测模型识别用户头部图像中的关键点时，得到的关键点信息中与用户的嘴部区域相关的关键点可能仅包括左嘴角和右嘴角，而左嘴角和右嘴角虽然可以限定用户嘴部区域，但该嘴部区域可能并不是实际中的最大抽烟区域，即，在实际中，用户在抽烟时，香烟可能是与用户左嘴角、右嘴角中间的某一区域重合，因此，为了提升准确率，在得到左嘴角和右嘴角的第一位置信息和第二位置信息，即坐标1和坐标2之后，可以根据坐标1和坐标2的中心坐标和距离，计算得到第三位置信息和第四位置信息，即，上嘴唇的坐标3和下嘴唇的坐标4，以根据坐标1、坐标2、坐标3和坐标4，得到表示用户嘴部区域，即最大抽烟区域的第一区域信息。
89.需要说明的是，在以上说明中，是以基于目标人脸检测模型识别得到的关键点信息中的关键点包含用户人脸区域的左嘴角和右嘴角，而并未包含上嘴唇和下嘴唇该两个关键点为例进行说明，并以在得到左嘴角的第一位置信息和右嘴角的第二位置信息之后，基于该第一位置信息和第二位置信息来计算得到上嘴唇的第三位置信息和下嘴唇的第四位置信息；在实际实施时，也可以训练能够直接检测得到左嘴角、右嘴角、上嘴唇和下嘴唇关键点的位置信息的人脸检测模型，或者，也可以在基于人脸检测模型得到第一位置信息和第二位置信息之后，基于其他方法得到上嘴唇的第三位置信息和下嘴唇的第四位置信息，此处不做特殊限定。
90.根据以上说明可知，在本公开实施例中，在得到用户头部图像之后，通过分别基于目标人脸检测模型确定用户头部区域中人脸中的关键点的位置，并根据关键点的位置确定第一区域信息，以及通过基于预先训练得到的目标抽烟检测模型检测用户头部图像中的香烟区域，即可准确的检测得到上述第二区域信息。
91.根据以上说明可知，在本公开实施例中，在得到第一区域信息和第二区域信息之后，上述步骤s204中所述的根据第一区域信息和第二区域信息，获得目标检测结果，包括：根据第一区域信息和第二区域信息，计算用户头部图像中的用户嘴部区域和香烟区域的交集；若交集大于预设阈值，则设置目标检测结果为表示用户处于抽烟状态的信息，否则，则设置目标检测结果为表示用户未处于抽烟状态的信息。
92.该预设阈值可以为0，或者也可以为其他数值，此处不做特殊限定。
93.即，可以基于用户在处于抽烟状态时，采集得到的图像中的香烟区域必然与用户嘴部区域存在一定重合这一先验知识，根据第一区域信息和第二区域信息，计算用户嘴部区域，即最大可能抽烟区域与香烟区域的交集，即可基于该交集确定用户是否处于抽烟状态。
94.根据以上说明可知，在本公开实施例中，并不依赖于机器学习模型来直接检测得到表示用户是否处于抽烟状态的检测结果，由于机器学习模型均是基于特征检测的手段来得到检测结果，所以该类检测技术均可能存在一定的误识别率；而在本公开实施例中，并不直接基于机器学习模型来得到目标检测结果，而是仅基于机器学习模型得到用户嘴部区域的第一区域信息，以及，若用户处于抽烟状态，则香烟在基于原始图像得到的用户头部图像
中对应香烟区域的第二区域信息，由于用户处于抽烟状态时，香烟区域必然与用户嘴部区域存在一定重合，因此，基于该第一区域信息和该第二区域信息，即可准确的得到表示用户是否处于抽烟状态的目标检测结果。
95.请参看图5，其为本公开实施例提供的用于训练目标头部检测模型和目标抽烟检测模型的框图。在本公开实施例中，目标头部检测模型可以通过以下步骤训练得到：获取第一训练集和原始头部检测模型，其中，第一训练集包括多个第一样本图像，第一样本图像为包含用户头部区域的图像，原始头部检测模型为预设网络结构的网络模型；基于第一训练集对原始头部检测模型进行训练，获得目标头部检测模型。
96.该预设网络结构例如可以为yolov5网络结构，当然，随着技术的不断进步，该预设网络结构也可以为其他网络结构，此处不做特殊限定。
97.如图5所示，在本公开实施例中，为了提升检测结果的准确率，可以获取包括多个第一样本图像的第一训练集501，并基于第一训练集501对原始头部检测模型502进行训练，以得到满足预设收敛结果的目标头部检测模型503。
98.请继续参看图5，在本公开实施例中，该目标抽烟检测模型可以通过以下步骤得到：根据目标头部检测模型，对多个第一样本图像中的用户头部区域进行检测和提取处理，获得与多个第一样本图像对应的多个第二样本图像；通过对多个第二样本图像进行标注，构建包括正样本图像和负样本图像的第二训练集，其中，正样本图像为第二样本图像中包含香烟区域的图像，负样本图像为第二样本图像中未包含香烟区域的图像；根据第二训练集对原始抽烟检测模型进行训练，获得目标抽烟检测模型。
99.原始抽烟检测模型同样可以为基于yolov5网络结构的网络模型，此处不做特殊限定。
100.另外，为了提升抽烟检测的准确率，在本公开实施例中，目标抽烟检测模型可以不必使用公用训练集进行训练，如图5所示，在训练得到目标头部检测模型503之后，可以基于目标头部检测模型503对第一训练集501中的多个第一样本图像中的用户头部区域进行检测和提取处理，得到多个第二样本图像，并通过对该多个第二样本图像进行标注，可以构建包含正样本图像和负样本图像的第二训练集504，基于该第二训练集504对原始抽烟检测模型505进行训练，由于第二训练集是基于自身训练得到的目标抽烟检测模型提取得到的，因此，基于第二训练集对原始抽烟检测模型进行训练，可以提升原始抽烟检测模型收敛的速度和检测准确度，得到检测准确度更高的目标抽烟检测模型506。
101.根据以上说明可知，在本公开实施例中，通过先基于第一训练集训练得到目标头部检测模型，之后，为了提升香烟检测的准确率，在训练目标抽烟检测模型时，并不是直接获取公共的训练集来训练该目标抽烟检测模型，而是基于训练得到的目标头部检测模型，对用于训练该目标头部检测模型的第一训练集中的多个第一样本图像中的用户头部区域进行检测和提取处理，以得到仅包含用户头部区域的、与该多个第一样本图像对应的多个第二样本图像，同时，通过对该多个第二样本图像进行标注，以构建对应的正样本图像和负样本图像，可以通过该正样本图像和负样本图像对原始抽烟检测模型进行监督训练，从而得到识别准确率较高的目标抽烟检测模型。
102.即，在本公开实施例中，通过先基于第一训练集进行一阶段训练，得到目标头部检测模型；之后，基于目标头部检测模型准确提取第一训练集中用户头部区域，从而构建包含
正样本图像和负样本图像的第二训练集；最后，再根据该第二训练集进行二阶段训练得到目标抽烟检测模型的联合训练方法，可以提升用于进行抽烟检测的该两个模型之间的关联度，使得检测结果更为准确。
103.需要说明的是，在本公开实施例中，在根据本公开实施例得到目标检测结果之后，该方法还包括：若目标检测结果表示原始图像中的用户处于抽烟状态，则发出预设提示信息，其中，预设提示信息可以为警示音、警示文字中的至少一种。
104.即，在本公开实施例中，若得到的目标检测结果表示原始图像中的用户，即图像采集设备，例如图像采集设备12采集的工作场景中的某一用户处于抽烟状态，则为了及时禁止用户的该种抽烟行为，电子设备可以向该用户发出预设提示信息，从而提醒用户其抽烟行为已被识别到，请其及时停止抽烟行为。
105.在一些实施例中，预设提示信息还可以为：用于推送至目标管理用户的信息。在该种实施方式中，预设提示信息可以为：用于提示目标管理用户检测已检测到工作场景中的用户存在抽烟行为的声音、文字、图像信息中的至少一种，该预设提示信息用于提示目标管理用户及时阻止用户的抽烟行为。
106.其中，目标管理用户可以是距用户的位置最近的管理用户。
107.即，在本公开实施例中，电子设备中还可以存储有其对应的工作场景中的管理用户的实时位置信息，在基于原始图像得到的目标检测结果表示原始图像对应的用户处于抽烟状态的情况下，该电子设备可以根据发送该原始图像的图像采集设备的第一位置信息，从存储的所有管理用户的位置信息中，获取与第一位置信息所表示位置最近的管理用户的第二位置信息，并将该第二位置信息对应的管理用户确定为目标管理用户；之后，向目标管理用户对应的终端设备发送预设提示信息。需要说明的是，电子设备中存储的所有管理用户的实时位置信息，可以是在获得管理用户授权的情况下，通过由管理用户使用的终端设备按照预设时间间隔，例如，每30秒发送管理用户的位置信息至电子设备获得，此处不做特殊限定。
108.例如，图像采集设备102采集工作场景中用户1的图像1，并将图像1发送至电子设备101；若电子设备101根据本公开实施例的抽烟检测方法得到的检测结果表示用户1处于抽烟状态；由于用户1处于图像采集设备102的采集范围内，因此可以将图像采集设备102的位置信息，例如，位置1作为用户1的位置，为了使管理人员及时阻止用户1的抽烟行为；电子设备101可以根据该位置1，从存储的所有管理人员的位置信息中，查找距离位置1最近的位置2，并将位置2对应的管理人员1作为目标管理人员；之后，通过向管理人员1使用的终端设备，例如手机发送形如“图像1，图像1中的用户1正在抽烟，请及时到场阻止”的文字和图像的结合信息，以触发管理人员1及时阻止用户1的抽烟行为，提升工作场景的安全性。
109.另外，本公开实施例还提供一种抽烟检测模型的训练方法，请参看图6，其为本公开实施例提供的抽烟检测模型的训练方法的流程图。该方法可以应用于电子设备中，该电子设备可以为服务器或者也可以为终端设备；该电子设备例如可以为图1所示的电子设备101，此处不做特殊限制。
110.如图6所示，该抽烟检测模型的训练方法包括如下步骤s601-s603。
111.步骤s601，根据目标头部检测模型，对多个第一样本图像中的用户头部区域进行检测和提取处理，获得与多个第一样本图像对应的多个第二样本图像，其中，多个第一样本
图像为用于训练目标头部检测模型的第一训练集中的图像，第一样本图像为包含用户头部区域的图像。
112.步骤s602，通过对多个第二样本图像进行标注，构建包括正样本图像和负样本图像的第二训练集，其中，正样本图像为第二样本图像中包含香烟区域的图像，负样本图像为第二样本图像中未包含香烟区域的图像。
113.步骤s603，根据第二训练集对原始抽烟检测模型进行训练，获得目标抽烟检测模型。
114.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
115.此外，本公开还提供了抽烟检测装置、电子设备、计算机可读存储介质，上述均可用来实现本公开提供的任一种抽烟检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。另外，本公开还提供了一种抽烟检测模型的训练装置，以实施本公开提供的任一种抽烟检测模型的训练方法。
116.图7为本公开实施例提供的一种抽烟检测装置的框图。
117.参照图7，本公开实施例提供了一种抽烟检测装置，该抽烟检测装置700包括：获取单元701、头部图像获得单元702、检测单元703和处理单元704。
118.该获取单元701，用于获取待检测的原始图像。
119.该头部图像获得单元702，用于根据原始图像，获得用户头部图像，其中，用户头部图像是根据原始图像中用户头部区域的像素得到的图像。
120.该检测单元703，用于根据用户头部图像，获得第一区域信息和第二区域信息，其中，第一区域信息表示用户头部图像中用户嘴部区域的位置，第二区域信息表示用户头部图像中香烟区域的位置。
121.该处理单元704，用于根据第一区域信息和第二区域信息，获得目标检测结果，其中，目标检测结果表示原始图像中的用户是否处于抽烟状态。
122.在一些实施例中，该处理单元704在根据第一区域信息和第二区域信息，获得目标检测结果时，用于：根据第一区域信息和第二区域信息，计算用户头部图像中的用户嘴部区域和香烟区域的交集；若交集大于预设阈值，则设置目标检测结果为表示用户处于抽烟状态的信息，否则，则设置目标检测结果为表示用户未处于抽烟状态的信息。
123.在一些实施例中，该头部图像获得单元702在根据原始图像，获得用户头部图像时，用于：将原始图像输入至目标头部检测模型中，获得第三区域信息，其中，第三区域信息表示原始图像中用户头部的位置，目标头部检测模型是用于检测图像中的头部区域的网络模型；根据第三区域信息和原始图像，获得用户头部图像。
124.在一些实施例中，该检测单元703在根据用户头部图像，获得第一区域信息和第二区域信息时，用于：将用户头部图像输入至目标人脸检测模型中，获得关键点信息，并根据关键点信息，获得第一区域信息，其中，关键点信息表示用户头部图像中人脸的关键点的位置，目标人脸检测模型是用于检测图像中的人脸区域的网络模型；将用户头部图像输入至目标抽烟检测模型中，获得第二区域信息，其中，目标抽烟检测模型是用于检测图像中的香
烟区域的网络模型。
125.在一些实施例中，关键点至少包括人脸中的左嘴角和右嘴角；该检测单元703在根据关键点信息，获得第一区域信息时，用于：从关键点信息中，获取第一位置信息和第二位置信息，其中，第一位置信息表示人脸中的左嘴角的位置，第二位置信息表示人脸中的右嘴角的位置；根据第一位置信息和第二位置信息，计算第三位置信息和第四位置信息，其中，第三位置信息表示人脸中的上嘴唇的位置，第四位置信息表示人脸中的下嘴唇的位置；根据第一位置信息、第二位置信息、第三位置信息和第四位置信息，获得第一区域信息。
126.图8为本公开实施例提供的一种抽烟检测模型的训练装置的框图。
127.参照图8，本公开实施例提供了一种抽烟检测模型的训练装置，该抽烟检测模型的训练装置800包括：样本图像获得单元801、训练集获得单元802和训练单元803。
128.该样本图像获得单元801，用于根据目标头部检测模型，对多个第一样本图像中的用户头部区域进行检测和提取处理，获得与多个第一样本图像对应的多个第二样本图像，其中，多个第一样本图像为用于训练目标头部检测模型的第一训练集中的图像，第一样本图像为包含用户头部区域的图像。
129.该训练集获得单元802，用于通过对多个第二样本图像进行标注，构建包括正样本图像和负样本图像的第二训练集，其中，正样本图像为第二样本图像中包含香烟区域的图像，负样本图像为第二样本图像中未包含香烟区域的图像。
130.该训练单元803，用于根据第二训练集对原始抽烟检测模型进行训练，获得目标抽烟检测模型。
131.图9为本公开实施例提供的一种电子设备的框图。
132.参照图9本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器901；至少一个存储器902，以及一个或多个i/o接口903，连接在处理器901与存储器902之间；其中，存储器902存储有可被至少一个处理器901执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器901执行，以使至少一个处理器901能够执行上述的抽烟检测方法或者抽烟检测模型的训练方法。
133.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器执行时实现上述的抽烟检测方法或者抽烟检测模型的训练方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
134.本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述抽烟检测方法或者抽烟检测模型的训练方法。
135.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机存储介质(或非
暂时性介质)和通信介质(或暂时性介质)。
136.如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom)、静态随机存取存储器(sram)、闪存或其他存储器技术、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
137.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
138.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
139.这里所描述的计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
140.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
141.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指
令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
142.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
143.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
144.本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。