伞具使用行为的检测方法与系统与流程

本申请涉及图像识别与检测技术领域，特别是涉及一种伞具使用行为的检测方法与系统。

背景技术：

机场保障工作对维持机场航班有序工作具有重大意义。在机场保障工作中，机场异物检测是较为重要的组成部分。飞机在服役途中，飞机的发动机会将周边异物吸入其中，酿成重大安全事故。由于飞机启动时会存在吸入伞具的风险，因此机场工作人员和旅客均严禁使用雨伞和太阳伞等伞具。对机场工作人员和旅客伞具使用行为的检测可以及时发现伞具使用行为，并及时采取制止措施，从而从很大程度上保障了飞机运行安全。

传统的伞具使用行为的检测方法，一般是通过人工检查的方式来实现。这会产生一个很严重的问题：检测效率低且检测准确度小。通过设置专门的检测人员在登机入口检查一方面会容易产生漏检的情况发生，检测准确度小。另一方面，人工检测的方式严重制约旅客通行效率，增加通行时间，导致检测效率低下。

技术实现要素：

基于此，有必要针对传统的伞具使用行为的检测方法，检测效率低且检测准确度小的问题，提供一种伞具使用行为的检测方法与系统。

本申请提供一种伞具使用行为的检测方法，包括：

获取原始图像数据，基于所述原始图像数据建立伞具数据集；

利用所述伞具数据集，训练目标检测网络；

每隔预设时间段获取一次待测原始图像，将所述待测原始图像输入至所述目标检测网络；

运行所述目标检测网络，输出检测结果；

获取所述检测结果，并依据所述检测结果判定在所述预设时间段内是否出现伞具使用行为。

本申请还提供一种伞具使用行为的检测系统，包括：

图像获取装置，用于每隔预设时间段获取一次待测原始图像；

伞具检测装置，与所述图像获取装置通信连接，用于执行如权利要求1-9任一项所述的伞具使用行为的检测方法，以检测所述待测原始图像中的违规目标；

服务器，与所述伞具检测装置通信连接，用于存储所述伞具检测装置发送的所述违规目标的目标信息。

本申请涉及一种伞具使用行为的检测方法与系统，通过依据原始图像数据对伞具检测装置本地的目标检测网络进行训练，目标检测网络对图像中伞具使用行为的识别具有针对性，大大提高准确率。通过目标检测网络对每隔预设时间段获取一次待测原始图像进行检测，可以判定在所述预设时间段内是否出现伞具使用行为，检测速度快，准确度大，降低误判率。

附图说明

图1为本申请一实施例提供的伞具使用行为的检测方法的方法流程图；

图2为本申请一实施例提供的伞具使用行为的检测系统的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供一种伞具使用行为的检测方法。

需要说明的是，本申请提供的伞具使用行为的检测方法不限制其应用领域与应用场景。可选地，本申请提供的伞具使用行为的检测方法可以应用于机场保障工作，具体应用于检测登机人员是否使用伞具。

本申请提供的伞具使用行为的检测方法不限制其执行主体。可选地，本申请提供的伞具使用行为的检测方法的执行主体可以为一种伞具检测装置20。具体地，所述伞具检测装置20可以为任意具有数据处理功能的终端，例如计算机。

如图1所示，在本申请的一实施例中，所述伞具使用行为的检测方法包括如下步骤：

s100，获取原始图像数据，基于所述原始图像数据建立伞具数据集。

具体地，所述原始图像数据可以包括任意待检测区域的任意张图像。所述待检测区域可以为登机入口。由于所述原始图像数据用于后续目标检测网络的训练，因此所述原始图像数据的数据量要大，覆盖的范围要广。

s200，利用所述伞具数据集，训练目标检测网络。

具体地，所述伞具数据集包括大量与伞具持有行为相关的数据。基于所述伞具数据集，可以实现目标检测网络的训练。

s300，每隔预设时间段获取一次待测原始图像，将所述待测原始图像输入至所述目标检测网络。

具体地，所述预设时间段的设置可以由伞具持有行为的监控人员预先设定。可选地，所述预设时间段可以为1秒，以确保可以实时获取所述待测原始图像。

s400，运行所述目标检测网络，输出检测结果。

具体地，所述目标检测网络可以对所述待测原始图像进行识别与分析，得出伞具持有行为的检测结果。

s500，获取所述检测结果，并依据所述检测结果判定在所述预设时间段内是否出现伞具使用行为。

具体地，监控人员可以依据所示检测结果，及时发现待检测区域发生的使用伞具的人员，及时阻止其使用伞具的行为，有效保障了飞机安全。

本实施例中，通过依据原始图像数据对伞具检测装置20本地的目标检测网络进行训练，目标检测网络对图像中伞具使用行为的识别具有针对性，大大提高准确率。通过目标检测网络对每隔预设时间段获取一次待测原始图像进行检测，可以判定在所述预设时间段内是否出现伞具使用行为，检测速度快，准确度大，降低误判率。

在本申请的一实施例中，所述步骤s100包括：

s110，获取原始图像数据。

具体地，所述原始图像数据可以通过图像获取装置10获取。所述图像获取装置10可以为任意具有拍摄或录像功能的设备，例如，监控摄像头。所述图像获取装置10与所述伞具检测装置20通信连接。所述图像获取装置10在获取所述原始图像数据后，将所述原始图像数据发送至所述伞具检测装置20。

s120，筛选所述原始图像数据中与伞具使用行为相关的数据信息，作为伞具数据。

具体地，原始图像数据中有很多种类的数据信息，例如待检测区域的人口密度，清洁程度，光线明暗程度等等。本步骤中，所述伞具检测装置20仅筛选与伞具使用行为相关的数据信息。

s130，建立伞具数据集，将所述伞具数据纳入所述伞具数据集。

可选地，还可以将所述伞具数据集存储于本地的数据库，或上传至个服务器30作为原始数据库，以实现备份功能。

本实施例中，通过筛选所述原始图像数据中与伞具使用行为相关的数据信息，并基于与伞具使用行为相关的数据信息建立伞具数据集，实现了与伞具使用行为相关的数据信息的筛选与收集，为后续目标检测网络的训练提供原始数据来源。

在本申请的一实施例中，所述与伞具使用行为相关的数据信息包括未使用伞具的机场工作人员数据、未使用伞具的旅客数据、使用伞具的机场工作人员数据、使用伞具的旅客数据、雨伞的样式数据和雨伞的颜色数据中的一种或多种。

具体地，考虑到使用伞具的旅客或机场工作人员可能会用伞具遮挡上半身，导致所述伞具检测装置20无法识别与分类，所述与伞具使用行为相关的数据信息可以包括出现伞具遮挡上半身情况的人员数据，以避免数据筛选的遗漏。

本实施例的与伞具使用行为相关的数据信息的具体内容设置，体现了数据筛选的全面性。

在本申请的一实施例中，所述步骤s200包括：

s210，对所述伞具数据集中的伞具数据进行信息标注。

本步骤中，对所述伞具数据集中的伞具数据，使用标注工具进行标注。可选地，可以将伞具数据标注为伞具和人员两类伞具数据。本步骤的主要目的是为目标检测网络的训练提供训练集，为训练可以检测人员和伞具的目标检测网络提供数据基础。

s220，选取特征提取网络和检测网络框架，并依据所述特征提取网络和检测网络框架建立目标检测网络。

具体地，可以选取网络速度快且特征提取效果好的res101网络作为所述特征提取网络。可以选取one-stage效果好的ssd网络作为所述检测网络框架。

s230，依据信息标注后的伞具数据，采用迁移学习训练方法对所述目标检测网络进行训练。

当然，本步骤中也可以采用其他方法对目标检测网络进行训练。

本实施例中，通过特征提取网络和检测网络框架的选取，实现了目标检测网络的构建。通过迁移学习训练方法对目标检测网络进行训练，使得经训练后的目标检测网络的检测准确度高。

在本申请的一实施例中，所述步骤s400包括：

s410，采集所述待测原始图像中所有目标的目标矩形框，生成目标信息矩阵：

其中，所述目标信息矩阵由n个元素行组成。每个元素行由五个元素组成。每一个目标具有一个元素行，obj为目标信息矩阵。n为目标的序号。clsn为目标的类型。xn为目标的目标矩形框左上角坐标点的横坐标。yn为目标的目标矩形框左上角坐标点的纵坐标。wn为目标的目标矩形框在水平方向上的长度。hn为目标的目标矩形框在垂直方向上的长度。n的数值为自然数。

具体地，所述待测原始图像和原始图像数据不同。原始图像数据为目标检测网络训练时使用的大量原始图像。所述待测原始图像是训练后的目标检测网络在实际应用过程中的一张待测原始图像。

目标检测网络可以将所述待测原始图像分解为多个目标。例如，一个旅客就是一个目标。类似的，一个花盆也是一个目标，一个行李箱也是一个目标。每一个目标具有一个目标矩形框。目标矩形框的信息可以代表该目标的全部信息。目标检测网络可以采集所述待测原始图像中所有目标的目标矩形框，生成目标信息矩阵。

如矩阵形式所示，所述目标信息矩阵由n个元素行组成。n的数值为自然数，也即n取0,1,2,3......，每个元素行由五个元素组成。每一个目标具有一个元素行。

s420，在所述目标信息矩阵中筛选与伞具使用行为相关的数据信息，生成伞具信息矩阵和人员信息矩阵。

具体地，所述伞具信息矩阵包括了各个目标的伞具使用信息。所述人员信息矩阵包括了各个目标的人员信息，可以理解，通过所述人员信息矩阵，可以知晓各个目标的身份是旅客还是机场工作人员，姓名，年龄，登记号，身份证等信息。

s430，将伞具信息矩阵和人员信息矩阵进行匹配，对所述伞具信息矩阵中与人员信息无关的目标的元素行做去除处理，输出经去除处理后的伞具信息矩阵。

具体地，本步骤可以去除一些与人员信息无关的目标的信息，例如单独放置在地上的伞具，没有人使用，那么该伞具虽然作为目标会被目标检测网络检测到，但是在本步骤中属于干扰信息，需要去除。

本实施例中，通过采集所述待测原始图像中所有目标的目标矩形框，生成目标信息矩阵，实现对待测原始图像中的关键信息的集中提取。通过将伞具信息矩阵和人员信息矩阵进行匹配，对所述伞具信息矩阵中与人员信息无关的目标的元素行做去除处理，实现去除伞具信息矩阵中的干扰信息，降低误判率。

在本申请的一实施例中，所述步骤s420包括如下步骤：

s421，遍历所述目标信息矩阵中的所有元素，获取每一个目标的目标类型。

具体地，

s422，创建伞具信息矩阵，将目标类型为伞具的目标的元素行纳入所述伞具信息矩阵：

其中，um为伞具信息矩阵。k为目标类型为伞具的目标的序号。xuk为目标类型为伞具的目标的目标矩形框左上角坐标点的横坐标。yuk为目标类型为伞具的目标的目标矩形框左上角坐标点的纵坐标。wuk为目标类型为伞具的目标的目标矩形框在水平方向上的长度。huk为目标类型为伞具的目标的目标矩形框在垂直方向上的长度。k的数值为自然数。

具体地，伞具信息矩阵的形式与目标信息矩阵的形式类似，但是伞具信息矩阵中每一个元素行只有四个元素。伞具信息矩阵包含的是是否使用伞具的信息。

s423，创建人员信息矩阵，将目标类型为人员的目标的元素行纳入所述人员信息矩阵：

其中，pe为人员信息矩阵。s为目标类型为人员的目标的序号。xps为目标类型为人员的目标的目标矩形框左上角坐标点的横坐标。yps为目标类型为人员的目标的目标矩形框左上角坐标点的纵坐标。wps为目标类型为人员的目标的目标矩形框在水平方向上的长度。hps为目标类型为人员的目标的目标矩形框在垂直方向上的长度。s的数值为自然数。

具体地，人员信息矩阵的形式与伞具信息矩阵的形式相同，区别是两个矩阵具有不同的目标类型。人员信息矩阵包含的人员的信息。

本实施例中，通过依据不同的目标类型，对目标信息矩阵中的元素行进行分类归纳，便于后续将人员信息与伞具使用行为进行匹配。

在本申请的一实施例中，所述步骤s430包括如下步骤：

s431，选取所述伞具信息矩阵中的一个元素行，作为待匹配元素行。

具体地，本步骤没有选取规则，任意选取一个元素行。

s432，基于公式1，将所述待匹配元素行与所述人员信息矩阵中的每一个元素行依次进行匹配，依次计算每一次匹配的匹配参数值；

其中，ov为匹配参数值。n为与所述待匹配元素行对应的目标的序号。m为在一次匹配中，与所述人员信息矩阵中元素行对应的目标的序号。xun为与所述待匹配元素行对应的目标的目标矩形框左上角坐标点的横坐标。wun为与所述待匹配元素行对应的目标的目标矩形框在水平方向上的长度。xpm为在一次匹配中。所述人员信息矩阵中元素行对应的目标的目标矩形框在水平方向上的长度。wpm为在一次匹配中，所述人员信息矩阵中元素行对应的目标的目标矩形框在水平方向上的长度。n和m的数值均为自然数。

具体地，本步骤是将待匹配元素行与所述人员信息矩阵中的每一个元素行依次进行匹配，依次计算每一次匹配的匹配参数值。例如，所述人员信息矩阵中有6个元素行，所述待匹配元素行需要与6个元素行进行一一匹配，即进行6次匹配，计算得出6个匹配参数值。

s433，判断是否存在于某一次匹配过程中，计算得出的匹配参数值大于0.3。

具体地，匹配参数值的阈值在本实施例中设定为0.3，当然可以改为其他数值，有目标检测网络的检测算法与检测逻辑决定。

s434，若存在于某一次匹配过程中，计算得出的匹配参数值大于0.3，则将该待匹配元素行作为与人员信息有关的目标的元素行，并在所述伞具信息矩阵中保留该待匹配元素行。

具体地，此时表明该待匹配元素行中的目标是一个使用了伞具的人员，该目标和该目标的元素行可以保留。

s435，若在所有匹配过程中，计算得出的匹配参数值均小于或等于0.3，则将该待匹配元素行作为与人员信息无关的目标的元素行，在所述伞具信息矩阵中去除该待匹配元素行。

具体地，此时表明该待匹配元素行中的目标不是一个使用了伞具的人员，可能是一个花盆或其他与伞具使用行为无关的目标，此时去除该目标和该目标的元素行。

s436，对所述伞具信息矩阵中的每一个元素行均执行前述匹配步骤，输出经去除处理后的伞具信息矩阵。

具体地，对所述伞具信息矩阵中的每一个元素行均执行所述步骤s431至所述步骤s435，直至伞具信息矩阵中所有元素行均匹配完毕。进一步地，输出经去除处理后的伞具信息矩阵。

本实施例中，通过将所述伞具信息矩阵中的每一个元素行与所述人员信息矩阵中的每一个元素行依次进行匹配，依次计算每一次匹配的匹配参数值，可以实现判断每一个元素行对应的目标是否与伞具使用行为有关，匹配准确度高，漏检几率小。

在本申请的一实施例中，所述步骤s500包括：

s510，遍历所述经去除处理后的伞具信息矩阵中的所有元素，获取所述经去除处理后的伞具信息矩阵中所有元素行的行数。

s520，判断所述经去除处理后的伞具信息矩阵中所有元素行的行数是否等于0。

s530，若所述经去除处理后的伞具信息矩阵中所有元素行的行数等于0，则判定在所述预设时间段内未出现伞具使用行为，返回获取原始图像数据的初始步骤。

具体地，所述经去除处理后的伞具信息矩阵中所有目标均为出现伞具使用行为的人员，如果伞具信息矩阵中所有元素行的行数等于0，表明伞具信息矩阵为空，一个元素行也没有，代表一个目标也没有，则判定在所述预设时间段内未出现伞具使用行为。

s540，若所述经去除处理后的伞具信息矩阵中所有元素行的行数不等于0，则判定在所述预设时间段内出现伞具使用行为。

具体地，如果伞具信息矩阵中所有元素行的行数不等于0，表明伞具信息矩阵不为空，存在元素行，一个元素行对应一个目标，因此也存在目标，则判定在所述预设时间段内出现伞具使用行为。

本实施例中，通过判断所述经去除处理后的伞具信息矩阵中所有元素行的行数是否等于0，可以实现对在所述预设时间段内出现伞具使用行为的准确且快速的判定。

在本申请的一实施例中，在所述步骤s500之后，还包括如下步骤：

s610，当判定在所述预设时间段内出现伞具使用行为后，获取所述经去除处理后的伞具信息矩阵中的所有目标。进一步地，将所有目标均定义为违规目标。

s620，提取每一个违规目标对应的目标信息，将每一个违规目标的目标信息发送至服务器30存储。

具体地，当然，也可以将违规目标目标信息存储于所述伞具检测装置20本地的数据库中。所述违规目标的目标信息可以包括所述违规目标的目标框信息、相机信息和时间信息中的一种或多种。

本实施例中，通过将每一个违规目标的目标信息发送至服务器30存储，可以实现在出现伞具使用行为后，监控人员可以及时到待检测区域的现场制止伞具使用行为。

本申请还提供一种伞具使用行为的检测系统。

如图2所示，在本申请的一实施例中，所述伞具使用行为的检测系统包括图像获取装置10、伞具检测装置20和服务器30。所述伞具检测装置20与所述图像获取装置10通信连接。所述伞具检测装置20还与所述服务器30通信连接。

所述图像获取装置10，用于每隔预设时间段获取一次待测原始图像。所述伞具检测装置20用于执行前述内容提及的伞具使用行为的检测方法。所述伞具检测装置20用于检测所述待测原始图像中的违规目标。所述服务器30用于存储所述伞具检测装置20发送的所述违规目标的目标信息。

以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。