指定代步工具的检测方法及装置与流程

本申请涉及图像处理技术领域，尤其涉及一种指定代步工具的检测方法及装置。

背景技术：

随着科学技术的发展，一些无牌无证的代步工具(如平衡车、体感车、电动滑板车等代步工具)应用越来越广泛，这些代步工具既不属于交通法规定的机动车也不属于非机动车。这些代步工具的稳定性比较差，有的最快时速达到30公里/小时，但缺少刹车系统，全靠身体倾斜控制前进和后退，如果在机动车道行驶，很容易发生碰撞危险，并且在夜间，一些代步工具没有明显的反光标记，在灯光不足的地方很容易发生危险。

目前主要是通过交警巡逻过程中对在机动车道使用代步工具的人进行处罚和教育，并没有一种对不安全代步工具进行有效监控的方案。

技术实现要素：

有鉴于此，本申请提供一种指定代步工具的检测方法及装置，以解决目前没有对不安全代步工具进行有效监控的问题。

根据本申请实施例的第一方面，提供一种指定代步工具的检测方法，所述方法包括：

获取相机采集的道路监控图像；

检测所述道路监控图像中的行人位置；

若检测到，则依据检测到的行人位置从所述道路监控图像中抠出行人脚部区域图像；

识别所述行人脚部区域图像中是否存在指定代步工具。

根据本申请实施例的第二方面，提供一种指定代步工具的检测装置，所述装置包括：

获取模块，用于获取相机采集的道路监控图像；

检测模块，用于检测所述道路监控图像中的行人位置；

抠取模块，用于在检测到时，依据检测到的行人位置从所述道路监控图像中抠出行人脚部区域图像；

识别模块，用于识别所述行人脚部区域图像中是否存在指定代步工具。

根据本申请实施例的第三方面，提供一种电子设备，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

应用本申请实施例，通过获取相机采集的道路监控图像，然后检测道路监控图像中的行人位置，若检测到，则依据检测到的行人位置从道路监控图像中抠出行人脚部区域图像，并识别行人脚部区域图像中是否存在指定代步工具。

基于上述描述可知，通过从道路监控图像中自动检测不安全代步工具，能够在交通监控系统中有效监控不安全代步工具的上路问题，减少人工成本，提升整治管理效率。由于使用代步工具的行人距相机比较远，在图像中的目标比较小的情况，因此通过先检测行人再抠取行人脚部区域图像的方式，可保证检出率，降低这类小目标的漏检概率。

附图说明

图1a和图1b为本申请根据一示例性实施例示出的一种道路上使用代步工具的行人示意图；

图2a为本申请根据一示例性实施例示出的一种指定代步工具的检测方法的实施例流程图；

图2b为本申请根据图2a所示实施例示出的一种道路监控图像；

图2c为本申请根据图2a所示实施例示出的一种车道区域图像；

图2d为本申请根据图2a所示实施例示出的一种不同监控场景中的图像样本；

图2e为本申请根据图2a所示实施例示出的一种提取行人脚部区域示意图；

图3为本申请根据一示例性实施例示出的另一种指定代步工具的检测方法的实施例流程图；

图4a为本申请根据一示例性实施例示出的又一种指定代步工具的检测方法的实施例流程图；

图4b为本申请根据图4a所示实施例示出的一种不同监控场景中的正样本和负样本；

图4c为本申请根据图4a所示实施例示出的一种被部分遮挡的脚部区域图像；

图5为本申请根据一示例性实施例示出的一种电子设备的硬件结构图；

图6为本申请根据一示例性实施例示出的一种指定代步工具的检测装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在目前交通安全的管理中，对不安全代步工具的监控逐渐引起交管部门的重视。通常在交警巡逻过程中，一旦发现有人在机动车道使用代步工具滑行，会将其拦停并进行处罚和教育。如图1a所示的道路上滑行的电动滑板车代步工具，由于其稳定性较差，很容易与车辆发生碰撞危险，如图1b所示的在夜间滑行的电动独轮体感车代步工具，在灯光不足的情况下，由于其没有明显的反光标记，存在很大的安全隐患。

然而，这种人工检查方式效率很低，如果能够从道路监控图像中检测出不安全代步工具，可以判断出需要重点检查的道路区域，提高整治该类交通违法行为的效率。

为解决上述问题，本申请提出一种指定代步工具的检测方法，通过获取相机采集的道路监控图像，然后检测道路监控图像中的行人位置，若检测到，则依据检测到的行人位置从道路监控图像中抠出行人脚部区域图像，并识别行人脚部区域图像中是否存在指定代步工具。

基于上述描述可知，通过从道路监控图像中自动检测不安全代步工具，能够在交通监控系统中有效监控不安全代步工具的上路问题，减少人工成本，提升整治管理效率。由于使用代步工具的行人距相机比较远，在图像中的目标比较小的情况，因此通过先检测行人再抠取行人脚部区域图像的方式，可保证检出率，降低这类小目标的漏检概率。

下面以具体实施例对本申请技术方案进行详细阐述。

图2a为本申请根据一示例性实施例示出的一种指定代步工具的检测方法的实施例流程图，该指定代步工具的检测方法可以应用在电子设备上，该电子设备可以为各种终端设备或者后端设备，例如摄像机、服务器等。如图2a所示，该指定代步工具的检测方法包括如下步骤：

步骤201：获取相机采集的道路监控图像。

在一实施例中，为了减少图像数据量，加快处理时间，可以将获取到的道路监控图像归一化为预设尺寸的道路监控图像。

其中，预设尺寸可以根据实际需求设置，如设置为1980*1080，图像归一化尺寸通常小于等于原图像尺寸，且宽度和高度均等比例缩放。

步骤202：检测车道区域图像中的行人位置。

在一实施例中，可以通过获取车道区域，所述车道区域由所述相机采集的多帧道路监控图像的车道区域融合得到，并从所述道路监控图像中获取除所述车道区域之外的区域，并将该区域中的像素用预设值填充后得到车道区域图像，然后检测所述车道区域图像中的行人位置。

其中，通过利用车道区域对道路监控图像进行处理，得到只包含车道范围的车道区域图像，可以消除其他无关区域(即背景区域或人行道区域)的干扰，进而提高检测效率。另外通过用预设像素值填充除车道区域外的其他区域，可以过滤掉道路两侧人行道的行人，消除背景像素干扰。

如图2b和2c所示，图2b为相机采集的道路监控图像，图2c为用预设像素值(即0)将车道区域之外的像素消除后得到的车道区域图像，两侧人行道的行人被过滤掉了。

值得说明的是，由于相机安装后其监控视角范围是固定的，因此监控视角范围内的车道区域是固定的，因此可以预先确定该相机的车道区域，其确定过程可以参见下述图3所示实施例的描述，在此暂不详述。

本领域技术人员可以理解的是，也可以在使用车道区域时，基于当前获取的道路监控图像获取车道区域。

在一实施例中，针对检测所述车道区域图像中的行人位置的过程，可以通过将车道区域图像输入已训练得到的目标检测网络中，由目标检测网络识别所述车道区域图像中的行人位置。

其中，目标检测网络可以是基于yolo结构的深度卷积神经网络，其结构简单，运算速度快，可以保证检测实时性，并且基于yolo结构的网络是一个端到端网络，可实现从图像输入到物体位置和类别的直接输出，操作过程简单方便。如果车道区域图像中存在行人，目标检测网络则会输出物体类别为行人和行人位置，如果车道区域图像中不存在行人，目标检测网络则会输出空结果。目标检测网络输出的行人位置可以是行人在图像中的矩形区域信息，如矩形区域的顶点坐标与矩形宽度和高度信息。

针对目标检测网络的训练过程，可以从各个监控场景中，搜集包含使用代步工具行人的图像样本和包含不使用代步工具行人的图像样本，并针对搜集的每个图像样本，标定出行人的目标区域，得到行人区域坐标，最后将图像样本和标定的该图像样本的行人区域坐标输入目标检测网络的模型进行训练，直至该模型的损失值达到预设阈值时停止训练。

示例性的，各监控场景可以是道路、广场、小区、楼宇等监控场景，如图2d所示，图2d中的(1)、(2)、(3)、(4)为从不同监控场景搜集的图像样本，(1)、(2)、(3)为包含使用代步工具行人的图像样本，(4)为包含不使用代步工具行人的图像样本。

步骤203：若检测到，则依据检测到的行人位置从道路监控图像中抠出行人脚部区域图像。

在一实施例中，基于上述步骤202的描述，检测到的行人位置是行人矩形区域信息，可以从车道区域图像中提取矩形区域下方的预设比例的区域，并将该区域再向四周扩充预设百分比后，截取扩充后的区域图像，得到行人脚部区域图像。

其中，由于如果行人距相机比较远时其在图像中的目标比较小，那么代步工具在图像中的目标更小，如果直接识别检测到的行人矩形区域中是否存在代步工具，则会因为目标太小而无法识别，又由于在使用代步工具滑行时都需要脚踩在代步工具上，因此从车道区域图像中抠出行人脚部区域图像后，再识别抠出的图像中是否存在代步工具，可以保证检出率，降低这类小目标的漏检概率。预设比例可以根据实践经验设置，只要能够保证将行人脚部区域包含进行即可。如图2e所示，是取矩形区域下方的25％的区域，并向四周扩充20％后得到的行人脚部区域。

步骤204：识别行人脚部区域图像中是否存在指定代步工具。

在一实施例中，可以将行人脚部区域图像输入已训练得到的分类网络中，若分类网络的输出结果为代步工具的类别，则确定存在指定代步工具；若分类网络的输出结果为空，则确定不存在指定代步工具。

其中，分类网络可以是卷积神经网络(cnn)。

针对分类网络的训练过程，可以参见下述图4a所示实施例的描述，在此暂不详述。

在本申请实施例中，通过获取相机采集的道路监控图像，然后检测道路监控图像中的行人位置，若检测到，则依据检测到的行人位置从道路监控图像中抠出行人脚部区域图像，并识别行人脚部区域图像中是否存在指定代步工具。

基于上述描述可知，通过从道路监控图像中自动检测不安全代步工具，能够在交通监控系统中有效监控不安全代步工具的上路问题，减少人工成本，提升整治管理效率。由于使用代步工具的行人距相机比较远，在图像中的目标比较小的情况，因此通过先检测行人再抠取行人脚部区域图像的方式，可保证检出率，降低这类小目标的漏检概率。

图3为本申请根据一示例性实施例示出的另一种指定代步工具的检测方法的实施例流程图，基于上述图2a所示实施例的基础上，本实施例以如何获取车道区域为例进行示例性说明，如图3所示，该指定代步工具的检测方法进一步包括如下步骤：

步骤301：获取相机采集的多帧道路监控图像。

在一实施例中，由于不同相机安装在不同位置，其视角范围不同，因此每一相机对应有一个车道区域，进而获取的多帧道路监控图像与上述步骤201中的道路监控图像均为同一相机采集的。在获取到道路监控图像之后，可以将每帧道路监控图像归一化为预设尺寸的道路监控图像，针对每帧道路监控图像的归一化处理原理可以参见上述步骤201的相关描述，不再赘述。

步骤302：针对每帧道路监控图像，将该道路监控图像输入已训练得到的语义分割网络中，由语义分割网络对该道路监控图像进行车道分割，得到车道区域。

其中，语义分割网络可以是基于unet结构的神经网络，unet是一种语义分割的框架，采用编码器-解码器结构，编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度，并且编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。

本领域技术人员可以理解的是，针对语义分割网络的训练过程可以通过搜集各种道路监控场景(如市区、乡村、高速公路等道路场景)中的图像样本实现对语义分割网络的模型的训练。

步骤303：将多帧道路监控图像的车道区域进行融合，得到融合后的车道区域并存储。

其中，由于由一帧道路监控图像得到的车道区域有可能只包含一部分道路区域，也有可能将道路边沿丢失，因此需要将各车道区域进行融合，得到融合后的车道区域并存储，以提高车道区域的准确度。

需要说明的是，为了进一步提高车道区域的准确度，可以按照一定比例对融合后的车道区域进行左右扩充，并将扩充后的车道区域作为该相机对应的车道区域并存储。

至此，完成上述图3所示流程，通过图3所示流程可以自动得到相机对应的车道区域，无需人工标定相机对应的车道区域。

图4a为本申请根据一示例性实施例示出的另一种指定代步工具的检测方法的实施例流程图，基于上述图2a所示实施例的基础上，本实施例以如何训练分类网络为例进行示例性说明，如图4a所示，该指定代步工具的检测方法进一步包括如下步骤：

步骤401：获取使用代步工具的行人脚部区域图像并确定为正样本，获取未使用代步工具的行人脚部区域图像并确定为负样本。

在一实施例中，可以从各种监控场景中搜集包含使用代步工具行人的第一类图像和包含不使用代步工具行人的第二类图像，并从第一类图像中截取行人脚部区域图像作为正样本，从第二类图像中截取行人脚部区域图像作为负样本，如图4b所示，(1)和(2)为正样本，(3)和(4)为负样本。

步骤402：利用正样本和负样本对分类网络的模型进行训练，直至分类网络的损失值低于预设阈值，停止训练。

在一实施例中，由于道路上的行人可能被前后其他非机动车或行人遮挡，为了提高对部分遮挡样本分类的鲁棒性，可以通过将样本划分为多个目标块计算分类网络的损失值，即所述分类网络的损失值可以通过将输入分类网络的正样本或负样本划分为多个目标块并依据每个目标块的损失值计算得到，以提高每个目标块对分类的贡献。

其中，分类网络的损失函数可以是：

其中，lall(θ)表示整个输入样本(负样本或正样本)的损失值，λi表示第i个目标块的权重，li(θ)表示第i个目标块的损失值，n表示划分的目标块的数量。如图4c所示，为获取的使用代步工具的行人脚部区域图像，该图像的右下角部分被遮挡，通过将该图像划分为9个目标块计算分类网络的损失值。

至此，完成上述图4a所示的流程，通过图4a可以实现分类网络的训练。

图5为本申请根据一示例性实施例示出的一种电子设备的硬件结构图，该电子设备包括：通信接口501、处理器502、机器可读存储介质503和总线504；其中，通信接口501、处理器502和机器可读存储介质503通过总线504完成相互间的通信。处理器502通过读取并执行机器可读存储介质503中与指定代步工具的检测方法的控制逻辑对应的机器可执行指令，可执行上文描述的指定代步工具的检测方法，该方法的具体内容参见上述实施例，此处不再累述。

本申请中提到的机器可读存储介质503可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失存储器、非易失性存储器或者类似的存储介质。具体地，机器可读存储介质503可以是ram(radomaccessmemory，随机存取存储器)、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

图6为本申请根据一示例性实施例示出的一种指定代步工具的检测装置的实施例结构图，所述指定代步工具的检测装置可以应用在电子设备上，包括：

获取模块610，用于获取相机采集的道路监控图像；

检测模块620，用于检测所述道路监控图像中的行人位置；

抠取模块630，用于在检测到时，依据检测到的行人位置从所述道路监控图像中抠出行人脚部区域图像；

识别模块640，用于识别所述行人脚部区域图像中是否存在指定代步工具。

在一可选实现方式中，所述检测模块620，具体用于获取车道区域，所述车道区域是由所述相机采集的多帧道路监控图像的车道区域融合得到；从所述道路监控图像中获取除所述车道区域之外的区域，并将该区域中的像素用预设值填充后得到车道区域图像；检测所述车道区域图像中的行人位置。

在一可选实现方式中，所述检测模块620，具体用于在获取车道区域过程中，获取所述相机采集的多帧道路监控图像；针对每帧道路监控图像，将该道路监控图像输入已训练得到的语义分割网络中，由所述语义分割网络对该道路监控图像进行车道分割，得到该道路监控图像的车道区域；将多帧道路监控图像的车道区域进行融合，得到融合后的车道区域并存储。

在一可选实现方式中，所述检测模块620，具体用于在检测所述车道区域图像中的行人位置过程中，将所述车道区域图像输入已训练得到的目标检测网络中，由所述目标检测网络检测所述车道区域图像中的行人位置。

在一可选实现方式中，所述识别模块640，具体用于将所述行人脚部区域图像输入已训练得到的分类网络中；若所述分类网络的输出结果为代步工具的类别，则确定存在指定代步工具；若所述分类网络的输出结果为无代步工具，则确定不存在指定代步工具。

在一可选实现方式中，所述装置还包括(图6中未示出)：

训练模块，具体用于获取使用代步工具的行人脚部区域图像作为正样本，获取未使用代步工具的行人脚部区域图像作为负样本；利用所述正样本和所述负样本对所述分类网络的模型进行训练，直至所述分类网络的损失值低于预设阈值，停止训练；其中，所述分类网络的损失值是通过将输入所述分类网络的正样本或负样本划分为多个目标块并依据每个目标块的损失值计算得到的。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。