一种图像处理的方法及装置与流程

本申请涉及数据处理技术领域，尤其涉及一种图像处理的方法及装置。

背景技术：

治安监控系统主要针对开放居民小区的人流、物流、车流进行监控，对盗窃、入室事件进行防范和取证，对公共场所、治安死角、案件多发点、重要路口、路段和卡口进行监控的系统。治安监控系统对公共安全有监督和预警作用。

技术实现要素：

有鉴于此，本申请提供一种图像处理的方法及装置。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种图像处理的方法，所述方法包括：

将采集的当前帧图像输入至已训练的车辆检测模型，以由所述车辆检测模型识别出机动车辆的车辆区域和车辆类型；

针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆。

在一种可能的实施方式中，所述检测包括文字检测；

所述针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆，包括：

将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的文字检测模型，以由所述文字检测模型对所述车辆区域进行文字检测，并对检测出的文字进行文字识别，输出该车辆区域是否存在指定文字的识别结果；

若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定文字，则判定该机动车辆为执行指定任务的机动车辆。

在一种可能的实施方式中，所述检测包括车辆装载物检测；

所述针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆，包括：

将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的分类器模型，以由所述分类器模型对所述车辆区域进行装载物检测，输出该车辆区域是否存在指定装载物的识别结果；

若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定装载物，则判定该机动车辆为执行指定任务的机动车辆。

在一种可能的实施方式中，所述车辆检测模型采用如下方式训练：

获取采集的图像样本，其中，所述图像样本包含正图像样本以及负图样样本，所述正图像样本为存在执行指定任务的机动车辆、且已标记该机动车辆的车辆区域以及车辆类型的图像；

采用深度学习算法对所述图像样本进行训练，生成车辆检测模型。

在一种可能的实施方式中，所述方法还包括：

当识别出当前帧图像中存在执行指定任务的车辆时，发出报警信号。

第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：

车辆检测模块，用于将采集的当前帧图像输入至已训练的车辆检测模型，以由所述车辆检测模型识别出机动车辆的车辆区域和车辆类型；

车辆区域检测模块，用于针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆。

在一种可能的实施方式中，所述检测包括文字检测；

所述车辆区域检测模块包括：

文字检测子模块，用于将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的文字检测模型，以由所述文字检测模型对所述车辆区域进行文字检测，并对检测出的文字进行文字识别，输出该车辆区域是否存在指定文字的识别结果；

第一判定子模块，用于若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定文字，则判定该机动车辆为执行指定任务的机动车辆。

在一种可能的实施方式中，所述检测包括车辆装载物检测；

所述车辆区域检测模块包括：

装载物检测子模块，用于将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的分类器模型，以由所述分类器模型对所述车辆区域进行装载物检测，输出该车辆区域是否存在指定装载物的识别结果；

第二判定子模块，用于若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定装载物，则判定该机动车辆为执行指定任务的机动车辆。

在一种可能的实施方式中，所述车辆检测模型采用如下方式训练：

获取采集的图像样本，其中，所述图像样本包含正图像样本以及负图样样本，所述正图像样本为存在执行指定任务的机动车辆且已标记该机动车辆的车辆区域以及车辆类型的图像；

采用深度学习算法对所述图像样本进行训练，生成车辆检测模型。

在一种可能的实施方式中，所述装置还包括：

报警模块，用于当识别出当前帧图像中存在执行指定任务的车辆时，发出报警信号。

本申请实施例具有如下有益效果：

在本申请实施例中，通过车辆检测模型对当前帧图像进行机动车辆检测，以识别出当前帧图像中存在的机动车辆的车辆区域和车辆类型，然后进一步对车辆类型为指定类型的机动车辆的车辆区域进行检测，并依据检测的结果确定执行指定任务的机动车辆。上述过程能够自动检测执行指定任务的机动车辆，结合车辆区域的检测可以提高车辆检测准确率，同时减少人工成本、提升相关部门的工作效率。

附图说明

图1是本申请一示例性实施例示出的一种图像处理的方法实施例的步骤流程图；

图2是本申请的装置所在设备的一种硬件结构图；

图3是本申请一示例性实施例示出的一种图像处理装置实施例的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参考图1，示出了本申请一示例性实施例示出的一种图像处理的方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，将采集的当前帧图像输入至已训练的车辆检测模型，以由所述车辆检测模型识别出机动车辆的车辆区域和车辆类型；

在具体实现中，本实施例可以应用于摄像机中，当摄像机采集到当前帧图像以后，可以对该当前帧图像进行机动车辆检测。一种检测方法可以为将该当前帧图像输入至已训练的车辆检测模型，由该车辆检测模型对当前帧图像进行机动车辆检测，以识别出机动车辆的车辆区域和车辆类型。

其中，车辆区域可以为机动车辆的外接矩形框圈定的区域；车辆类型可以包括大货车、小货车、卡车、面包车、轿车和客车等类型。

需要说明的是，本申请实施例对具体的车辆检测模型不作限制，其可以包括但不限于采用深度学习算法训练的神经网络模型。则在一种实施例中，车辆检测模型可以采用如下方式训练：

获取采集的图像样本，其中，所述图像样本包含正图像样本以及负图样样本，所述正图像样本为存在执行指定任务的机动车辆且标记了该机动车辆的车辆区域以及车辆类型的图像；采用深度学习算法对所述图像样本进行训练，生成车辆检测模型。

具体的，在进行模型训练前，获取的图像样本可以包括一定数量的正图像样本以及负图像样本。其中，正图像样本为存在执行指定任务的机动车辆且已标记该机动车辆的车辆区域以及车辆类型的图像。例如，如果执行指定任务的机动车辆为搬家车辆，则正图像样本可以为包含搬家车辆的图像样本，负图像样本可以包括包含其他机动车辆的图像样本以及包含非机动车辆的图像样本。采集图像样本以后，可以对采集的图像样本进行整理和标定，在实现时可以采用人工标定的方式，例如，采用外接矩形框标定出图像样本中的车辆区域，并标定车辆类型，如大货车、小货车、卡车、面包车、轿车和客车等。标定完成以后，通过脚本工具，抠出已标定的车辆区域，并采用深度学习算法进行车辆检测模型的训练。

其中，深度学习算法可以包括但不限于：dpm(deformablepartsmodel，可变形部件模型)、cnn(convolutionalneuralnetworks，卷积神经网络)、基于区域(region)的卷积神经网络(即r-cnn)，升级版的r-cnn(即fasterr-cnn)、ssd(singleshotmultiboxdetector，使用单个神经网络的多目标检测算法)、yolo(youonlylookonce，实时快速目标检测算法)等。

在实际中，为了提升机动车辆的检测效果，在将当前帧图像输入车辆检测模型之前，可以首先判断该图像是否为可用的图像，例如，该图像中机动车的尺寸是否满足预设的尺寸要求，细节是否能够清晰可辨，是否存在过曝、过暗或者出现马赛克等。然后对可用的图像进行预处理，包括白平衡处理、锐化处理等。例如，若当前帧图像的平均像素值超过220，则可以将像素值超过220的像素点的像素值设置为220；若当前帧图像的平均像素值小于100，则可以为每个像素点的像素值增加20。

步骤102，针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆。

当在步骤101中识别出当前帧图像中存在的机动车辆的车辆区域和车辆类型以后，则可以进一步确定车辆类型为指定类型的机动车辆，并对该指定类型的机动车辆的车辆区域进行检测，并依据上述检测的结果确定执行指定任务的机动车辆。

在实际中，指定任务可以根据实际业务需求设定。例如，执行指定任务的机动车辆可以包括用于搬家的搬家车辆、建筑运输车辆等。

在本申请实施例的一种优选实施例中，上述检测可以包括文字检测，则步骤102进一步可以包括如下子步骤：

将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的文字检测模型，以由所述文字检测模型对所述车辆区域进行文字检测，并对检测出的文字进行文字识别，输出该车辆区域是否存在指定文字的识别结果；若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定文字，则判定该机动车辆为执行指定任务的机动车辆。

具体的，车辆检测模型的输出可以作为文字检测模型的输入，车辆检测模型将识别出机动车辆的车辆区域的当前帧图像输入至文字检测模型以后，文字检测模型可以对该图像中的车辆区域进行文字检测，得到车辆区域中文字的位置。然后对该文字的位置进行文字识别，以获得车辆区域中存在的文字，并进一步判断该文字是否为指定文字，输出车辆区域是否存在指定文字的识别结果。

需要说明的是，本申请实施例对具体的文字检测模型不作限制，其可以包括但不限于根据深度学习算法训练的神经网络模型，例如dpm、cnn、r-cnn、fasterr-cnn、ssd、yolo等。

在实际中，文字检测模型可以采用与车辆检测模型相同的训练样本，只是标定的内容不同，在进行文字检测模型的训练时，可以提取图像样本中标定的车辆区域，然后对提取的车辆区域进行文字标定。在实现时，文字标定只标定文字区域最短边大于16像素的文字，小于16像素的文字不进行标定，以免影响文字检测的效果。

本实施例中，文字检测模型能够实现文字检测以及文字识别的功能，在实际中，文字检测以及文字识别也可以分别通过不同的模型实现，即采用文字检测模型进行文字检测，采用文字识别模型进行文字识别，文字检测模型的输出作为文字识别模型的输入，本申请实施例对此不作限制。

根据文字检测模型输出的各车辆区域是否存在指定文字的识别结果，结合该车辆区域对应的机动车辆的车辆类型是否为指定类型的判断结果，可以确定该机动车辆是否为执行指定任务的机动车辆。具体的，如果车辆类型为指定类型的机动车辆的车辆区域存在指定文字，则可以判定该机动车辆为执行指定任务的机动车辆。例如，搬家车辆一般都是小货车、小卡车和面包车，而轿车、大货车一般都比较少见，则如果识别出当前帧图像中车辆类型为小货车、小卡车或面包车的机动车辆的车辆区域有“搬家”等搬家标识的文字，则可以将该机动车辆判定为搬家车辆。

在本申请实施例的另一种优选实施例中，上述检测可以包括车辆装载物检测，则步骤102进一步可以包括如下子步骤：

将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的分类器模型，以由所述分类器模型对所述车辆区域进行装载物检测，输出该车辆区域是否存在指定装载物的识别结果；若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定装载物，则判定该机动车辆为执行指定任务的机动车辆。

具体的，车辆检测模型的输出可以作为分类器模型的输入，车辆检测模型将识别出机动车辆的车辆区域的当前帧图像输入至分类器模型以后，分类器模型可以对该图像中的车辆区域进行装载物检测，从而输出该车辆区域是否存在指定装载物的识别结果。

需要说明的是，本申请实施例对具体的分类器模型不作限制，其可以包括但不限于支持向量机svm模型、逻辑斯特回归模型(logisticregression)等。

在实际中，分类器模型可以采用与车辆检测模型相同的训练样本，只是标定的内容不同，在进行分类器模型的训练前，可以提取图像样本中标定的车辆区域，然后对提取的车辆区域进行装载物类别标定，例如，针对搬家车辆，可以将装载物类别标定为有指定装载物(家具或搬家工具)和无指定装载物(家具或无搬家工具)两类。

根据分类器模型输出的各车辆区域是否存在指定装载物的识别结果，结合该车辆区域对应的机动车辆的车辆类型是否为指定类型的判断结果，可以确定该机动车辆是否为执行指定任务的机动车辆。具体的，如果车辆类型为指定类型的机动车辆的车辆区域存在指定装载物，则可以判定该机动车辆为执行指定任务的机动车辆。例如，如果识别出当前帧图像中车辆类型为小货车、小卡车或面包车的机动车辆的车辆区域有家具或者搬家工具，则可以将该机动车辆判定为搬家车辆。

需要说明的是，在识别执行指定任务的机动车辆的过程中，也可以将上述指定装载物的识别结果与指定文字的识别结果结合起来，例如，若识别出机动车辆的车后装载有家具或者搬家工具，车身印刷有搬家标识的文字，则可以判定该机动车辆为搬家车辆。

在本申请实施例的一种优选实施例中，还可以包括如下步骤：

当识别出当前帧图像中存在执行指定任务的车辆时，发出报警信号。

具体的，步骤102中的检测结果可有效用于交通、刑侦、城管或小区安防等场景。例如，当本申请实施例应用于小区安防的场景时，针对执行指定任务的车辆为搬家车辆的情况，由于搬家车辆的特殊身份，一般能够自由进入居民小区，同时在小区内部搬运东西也不好被怀疑和关注，导致一些不法分子可能钻搬家车辆的空子，冒充搬家车辆来盗窃居民财产。为了保证居民的财产安全，本实施例对采集的图像进行实时分析，当识别出当前帧图像中存在搬家车辆时，则及时发出报警信号进行报警，实现及时地对小区中出现的搬家车辆进行报警，以提醒安保人员的注意。

在本申请实施例中，通过车辆检测模型对当前帧图像进行机动车辆检测，以识别出当前帧图像中存在的机动车辆的车辆区域和车辆类型，然后进一步对车辆类型为指定类型的机动车辆的车辆区域进行检测，并依据检测的结果确定执行指定任务的机动车辆。上述过程能够自动检测执行指定任务的机动车辆，结合车辆区域的检测可以提高车辆检测准确率，同时减少人工成本、提升相关部门的工作效率。

与前述方法的实施例相对应，本申请还提供了图像处理装置的实施例。

本申请的图像处理装置的实施例可以应用在终端设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图2所示，为本申请的装置所在设备的一种硬件结构图，除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图3，示出了本申请一示例性实施例示出的一种图像处理装置实施例的结构框图，具体可以包括如下模块：

车辆检测模块301，用于将采集的当前帧图像输入至已训练的车辆检测模型，以由所述车辆检测模型识别出机动车辆的车辆区域和车辆类型；

车辆区域检测模块302，用于针对所述车辆类型为指定类型的机动车辆，对该机动车辆的车辆区域进行检测，并依据所述检测的结果确定执行指定任务的机动车辆。

在本申请实施例的一种优选实施例中，所述检测包括文字检测；

所述车辆区域检测模块302进一步可以包括如下子模块：

文字检测子模块，用于将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的文字检测模型，以由所述文字检测模型对所述车辆区域进行文字检测，并对检测出的文字进行文字识别，输出该车辆区域是否存在指定文字的识别结果；

第一判定子模块，用于若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定文字，则判定该机动车辆为执行指定任务的机动车辆。

在本申请实施例的一种优选实施例中，所述检测包括车辆装载物检测；

所述车辆区域检测模块302进一步可以包括如下子模块：

装载物检测子模块，用于将所述车辆检测模型针对当前帧图像识别出的机动车辆的车辆区域输入至已训练的分类器模型，以由所述分类器模型对所述车辆区域进行装载物检测，输出该车辆区域是否存在指定装载物的识别结果；

第二判定子模块，用于若判定所述车辆类型为指定类型的机动车辆的车辆区域存在指定装载物，则判定该机动车辆为执行指定任务的机动车辆。

在本申请实施例的一种优选实施例中，所述车辆检测模型采用如下方式训练：

获取采集的图像样本，其中，所述图像样本包含正图像样本以及负图样样本，所述正图像样本为存在执行指定任务的机动车辆且已标记该机动车辆的车辆区域以及车辆类型的图像；

采用深度学习算法对所述图像样本进行训练，生成车辆检测模型。

在本申请实施例的一种优选实施例中，所述装置还可以包括如下模块：

报警模块，用于当识别出当前帧图像中存在执行指定任务的车辆时，发出报警信号。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。

本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cdrom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。