一种车辆状态判别方法、装置以及计算机存储介质与流程

本申请涉及图像处理
技术领域：
，特别是涉及一种车辆状态判别方法、装置以及计算机存储介质。
背景技术：
：随着智能交通系统(its，intelligenttrafficsystem)在电警、卡口、出入口、停车场等交通场景的日益普及，车辆行驶状态的判别显得越来越重要，特别是在混进混出的出入口收费场景或是出入口车流量统计场景。目前国内大多出入口场景下，采用的是基于地感线圈的硬件实现模式，这种技术容易受到线圈传感器的自身灵敏度及信号检测等硬件缺陷制约，无法精准判别车辆的行驶状态，导致无法输出精准的车辆的收费信息或车流量信息。因此，基于当前人工智能的时代背景下，一种稳定可靠的车辆的行驶方向及状态的判别方法对its的智能化水平提升尤为重要。技术实现要素：本申请提供一种车辆状态判别方法、装置以及计算机存储介质，以解决现有技术无法精准判别车辆的行驶状态，导致无法输出精准的车辆的收费信息或车流量信息的问题。为解决上述技术问题，本申请采用的一个技术方案是：提供一种车辆状态判别方法，所述车辆状态判别方法包括：连续抓拍预设帧数的监控视频图像，组成目标监控图像组；通过目标检测模型获取所述目标监控图像组的类别标志位以及车辆框、车牌框；基于所述目标监控图像组获取车辆位移矢量，并基于所述车辆位移矢量获取位移标志位；当所述类别标志位和所述位移标志位一致时，输出目标车辆的行驶状态；基于所述目标监控图像组的车辆框和车牌框计算车牌偏移矢量，并由所述车牌偏移矢量输出目标车辆的行驶方向；基于所述目标车辆的行驶状态以及行驶方向，获取所述目标车辆的车辆状态。其中，所述基于所述车辆位移矢量获取位移标志位的步骤，包括：当所述车辆位移矢量为正方向时，判定所述目标车辆的行驶状态为驶入，将所述位移标志位设置为0；当所述车辆位移矢量为负方向时，判定所述目标车辆的行驶状态为驶出，将所述位移标志位设置为1。其中，所述基于所述车辆位移矢量获取位移标志位的步骤之后，所述车辆状态判别方法包括：当所述类别标志位和所述位移标志位不一致时，通过尾灯检测算法计算所述目标监控图像组的尾灯标记位；基于所述尾灯标记位，输出所述目标车辆的行驶状态。其中，所述通过尾灯检测算法计算所述目标监控图像组的尾灯标记位的步骤，包括：当所述目标监控图像组中的监控视频图像不存在尾灯检测框时，将该监控视频图像的尾灯标志位设置为0；当所述目标监控图像组中的监控视频图像存在一个所述尾灯检测框时，将该监控视频图像的尾灯标志位设置为1；计算所述目标监控图像组中所有监控视频图像的尾灯标志位的累加和；当所述累加和大于所有监控视频图像的帧数的一半时，将所述目标监控图像组的尾灯标志位设置为1；当所述累加和小于或等于所有监控视频图像的帧数的一半时，将所述目标监控图像组的尾灯标志位设置为0。其中，所述基于所述目标监控图像组的车辆框和车牌框计算车牌偏移矢量，并由所述车牌偏移矢量输出目标车辆的行驶方向的步骤，包括获取所述车辆框的左上角坐标向量以及右下角坐标向量；获取所述车牌框的左上角坐标向量以及右下角坐标向量；基于所述车辆框的左上角坐标向量，所述车牌框的左上角坐标向量以及右下角坐标向量计算第一车牌偏移矢量；基于所述车辆框的右下角坐标向量，所述车牌框的左上角坐标向量以及右下角坐标向量计算第二车牌偏移矢量；由所述第一车牌偏移矢量和所述第二车牌偏移矢量的大小关系输出所述目标车辆的行驶方向。其中，所述通过目标检测模型获取所述目标监控图像组的类别标志位的步骤，包括：通过所述目标检测模型检测连续预设帧数的监控视频图像；获取每帧监控视频图像的类别标志位，并将所述预设帧数的监控视频图像的类别标志位进行累加处理；由所述预设帧数的监控视频图像的类别标志位的累加处理结果输出所述目标监控图像组的类别标志位。其中，所述连续抓拍预设帧数的监控视频图像，组成目标监控图像组的步骤，包括：基于相机参数预设规则线；采集所述相机的监控视频图像，并通过所述目标检测模型获取所述监控视频图像中的车辆框；当所述监控视频图像的车辆框触及所述规则线时，连续抓拍预设帧数的监控视频图像，组成所述目标监控图像组。其中，所述基于相机参数预设规则线的步骤包括：基于所述相机参数获取图像分辨率，其中，所述图像分辨率包括水平分辨率和垂直分辨率；基于预设比例系数以及所述垂直分辨率在图像中预设所述规则线。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种车辆状态判别装置，所述车辆定位装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述车辆状态判别方法的步骤。为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述车辆状态判别方法的步骤。区别于现有技术，本申请的有益效果在于：车辆状态判别装置连续抓拍预设帧数的监控视频图像，组成目标监控图像组；通过目标检测模型获取目标监控图像组的类别标志位以及车辆框、车牌框；基于目标监控图像组获取车辆位移矢量，并基于车辆位移矢量获取位移标志位；当类别标志位和位移标志位一致时，输出目标车辆的行驶状态；基于目标监控图像组的车辆框和车牌框计算车牌偏移矢量，并由车牌偏移矢量输出目标车辆的行驶方向；基于目标车辆的行驶状态以及行驶方向，获取目标车辆的车辆状态。通过上述方法，本申请通过标志位信息、车辆位移矢量以及车牌偏移矢量可以快速、准确判别进出车辆的状态。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请提供的车辆状态判别方法一实施例的流程示意图；图2是图1中步骤101的流程示意图；图3是本申请提供的车辆驶出图像中规则线的示意图；图4是本申请提供的车辆驶入图像中规则线的示意图；图5是图1中步骤105的流程示意图；图6是本申请提供的车牌偏向位移示意图；图7是本申请提供的车辆状态判别装置一实施例的结构示意图；图8是本申请提供的计算机存储介质一实施例的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。为解决现有技术无法精准判别车辆的行驶状态，导致无法输出精准的车辆的收费信息或车流量信息的问题，本申请提出一种车辆状态判别方法。具体请参阅图1，图1是本申请提供的车辆状态判别方法一实施例的流程示意图。本申请的车辆状态判别方法应用于一种车辆状态判别装置，其中，本申请的车辆状态判别装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，车辆状态判别装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。需要说明的是，在下述实施例的描述中，统一将状态判别装置作为车辆判别方法的执行主体。如图1所示，本实施例的车辆状态判别方法具体包括以下步骤：s101：连续抓拍预设帧数的监控视频图像，组成目标监控图像组。其中，状态判别装置预设车辆框置信度阈值、位移矢量统计帧数numcnt以及在监控视频图像中的规则线。其中，车辆框置信度阈值用于设置目标监控图像组的起始帧。具体地，本申请的目标检测模型对摄像头实时获取的监控视频图像进行车辆检测，并输出图像中的车辆框以及对应的置信度。状态判别装置将首帧置信度大于预设的置信度阈值的监控视频图像作为目标监控图像组的起始帧，并基于起始帧监控视频图像连续抓拍numcnt帧的监控视频图像，组成目标监控图像组。本实施例对于设置监控视频图像中的规则线的步骤具体可以参阅图2，图2是图1中步骤101的具体实施方式，图2的方法包括以下步骤：s201：基于相机参数获取图像分辨率。其中，状态判别装置获取摄像头的相机参数，并基于相机参数确定拍摄的监控视频图像的图像分辨率为w*h，w为水平分辨率，h为垂直分辨率。s202：基于预设比例系数以及垂直分辨率在图像中预设规则线。其中，本实施预设的规则线主要包括驶入预判线、驶出预判线以及抓拍起始线，具体请参阅图3和图4。在其他实施例中，基于工作人员需求可以增加、减少或修改规则线，在此不再赘述。具体地，当监控视频图像的图像分辨率为w*h时，则规则线的位置计算公式具体如下：其中，snapline为抓拍线，inline为驶入预判线，outline为驶出预判线，snapratio为抓拍线相对于图像高度的比例系数，inratio为驶入预判线相对于图像高度的比例系数，outratio为驶出预判线相对于图像高度的比例系数。s203：采集相机的监控视频图像，并通过目标检测模型获取监控视频图像中的车辆框。s204：当监控视频图像的车辆框触及规则线时，连续抓拍预设帧数的监控视频图像，组成目标监控图像组。其中，当状态判别装置判断到摄像头采集的监控视频图像中的车辆框触及步骤202的规则线时，即图3和图4中的起始抓拍线，状态判别装置连续抓拍numcnt帧的监控视频图像，组成目标监控图像组。进一步地，状态判别装置还可以结合规则线以及车辆框置信度两种因素判别目标监控图像组的起始帧，例如，状态判别装置将规则线附近车辆框置信度大于预设置信度阈值的当前帧设置为目标监控图像组的起始帧，过滤掉初始状态不可靠的车辆框检测结果，确定后续位移矢量计算的起始帧，确保目标车辆起始状态的稳定性。s102：通过目标检测模型获取目标监控图像组的类别标志位以及车辆框、车牌框。其中，状态判别装置将目标监控图像组中连续采集的监控视频图像输入目标检测模型，由目标检测模型对每张监控视频图像中的车辆进行检测定位，获取目标车辆的车辆框以及类别标志位。本实施例根据在监控视频图像中的车头或车尾设置两种不同的类别标志位，例如，显示目标车辆车头的监控视频图像的类别标志位labelid设置为0，显示目标车辆车尾的监控视频图像的类别标志位labelid设置为1。获取所有监控视频图像的类别标志位后，状态判别装置建立类别队列，保存起始帧至终止帧中目标车辆的类别标志位labelid。然后，状态判别装置通过目标车辆类别队伍进行sum求和操作，计算目标监控图像组的类别标志位cflag，并输出目标监控图像组的类别标志位cflag。具体地，当累加处理结果sum>numcnt/2，则类别标志位cflag设置为1，标注车辆位置为车尾；当累加处理结果sum<numcnt/2，则类别标志位cflag设置为0，标注车辆位置为车头。其中，本申请通过基于深度学习的yolov3目标检测训练方法，设置cnn卷积神经网络参数对训练集数据进行训练，得到的目标检测模型。s103：基于目标监控图像组获取车辆位移矢量，并基于车辆位移矢量获取位移标志位。其中，状态判别装置统计检测目标车辆从起始帧运动至终止帧的过程中，目标车辆位移矢量△dy的正负值，并通过位移矢量△dy的正负值设置位移标志位△dyflag的输出。具体地，当目标车辆位移矢量△dy为正值时，将目标车辆的位移标志位△dyflag设置为0，判定目标车辆的行驶状态为驶入状态；当目标车辆位移矢量△dy为负值时，将目标车辆的位移标志位△dyflag设置为1，判定目标车辆的行驶状态为驶出状态。在步骤102中，状态判别装置设置目标车辆的类别标志位labelid，在满足正常交通规则的条件下，通过类别标志位labelid获取目标车辆的行驶状态。例如，当labelid=0时，目标车辆的行驶状态为驶入状态；当labelid=1时，目标车辆的行驶状态为驶出状态。综上，状态判别装置同时采用位移标志位和类别标志位获取目标车辆的行驶状态。在输出最终的行驶状态前，状态判别装置还需要通过位移标志位和类别标志位之间的逻辑处理结果，判别目标车辆的形式状态是否一致确认。其中，逻辑处理操作为⊙（同或操作），当逻辑处理结果为1时，表示位移标志位和类别标志位一致性确认，进入步骤104。当逻辑处理结果为0，即位移标志位和类别标志位不一致时，状态判别装置还可以通过尾灯检测算法计算目标监控图像组中多帧监控视频图像的尾灯标志位，并结合多帧监控视频图像的尾灯标志位判别目标车辆的行驶状态。具体地，状态判别装置将目标监控图像组的所有监控视频图像作为尾灯检测的输入图像，建立尾灯队列tailqueue，并遍历所有监控视频图像。当尾灯检测的当前帧监控视频图像存在一个尾灯检测框时，将当前帧的监控视频图像的尾灯标志位设置为1，并将设置结果存入尾灯队列；当尾灯检测的当前帧监控视频图像不存在尾灯检测框时，将当前帧的监控视频图像的尾灯标志位设置为0，并将设置结果存入尾灯队列。遍历结束后，状态判别装置对尾灯队列进行求和运算获取sum，若sum>numcnt/2，将最终尾灯标记位，即目标监控图像组的尾灯标志位设置为1；若sum<=numcnt/2，将最终尾灯标记位，即目标监控图像组的尾灯标志位设置为0。当最终尾灯标记位为1时，判定存在目标车辆的车尾目标，确认目标车辆的行驶状态为驶出状态；当最终尾灯标记位为0时，判定存在目标车辆的车头目标，确认目标车辆的行驶状态为驶入状态。s104：当类别标志位和位移标志位一致时，输出目标车辆的行驶状态。s105：基于目标监控图像组的车辆框和车牌框计算车牌偏移矢量，并由车牌偏移矢量输出目标车辆的行驶方向。其中，在上述步骤中，状态判别装置在车辆框的下边界触及抓拍线时，连续抓拍numcnt帧监控视频图像进行缓存，避免单帧图像导致的偶然性结果，进一步地，状态判别装置对所有缓存图像的车辆框进行上下分割，并对车辆框的下半部分进行车牌检测，保存车牌框的检测结果。状态判别装置根据车牌框的检测结果计算车牌偏移矢量，并由车牌偏移矢量输出目标车辆的行驶方向，具体计算步骤请参阅图5，图5是图1中步骤105的具体实施方式，图5的方法包括以下步骤：s301：获取车辆框的左上角坐标向量以及右下角坐标向量。其中，如图6所示，状态判别装置获取车辆框的左上角及右下角的坐标向量为：s302：获取车牌框的左上角坐标向量以及右下角坐标向量。其中，如图6所示，状态判别装置获取车牌框的左上角及右下角的坐标向量为：s303：基于车辆框的左上角坐标向量，车牌框的左上角坐标向量以及右下角坐标向量计算第一车牌偏移矢量。s304：基于车辆框的右下角坐标向量，车牌框的左上角坐标向量以及右下角坐标向量计算第二车牌偏移矢量。其中，车牌偏移矢量计算公式具体如下：其中，pleftavg是第一车牌偏移矢量，prightavg是第二车牌偏移矢量，n是图像中车辆框和车牌框的数量。s305：由第一车牌偏移矢量和第二车牌偏移矢量的大小关系输出目标车辆的行驶方向。其中，状态判别装置由第一车牌偏移矢量和第二车牌偏移矢量的大小关系输出目标车辆的车牌偏移标志位dflag，从而判定目标车辆的行驶方向。具体地，当第一车牌偏移矢量大于第二车牌偏移矢量时，车牌偏移标志位dflag设置为0，表示目标车辆向左行驶；当第一车牌偏移矢量小于第二车牌偏移矢量时，车牌偏移标志位dflag设置为1，表示目标车辆向右行驶。s106：基于目标车辆的行驶状态以及行驶方向，获取目标车辆的车辆状态。其中，状态判别装置综合上述步骤计算输出的目标车辆行驶状态结果，以及车牌偏移标志为dflag，输出目标车辆的车辆状态，状态表具体请参阅下表：车辆行驶状态表行驶状态dflag车辆状态00左方驶入01右方驶入10驶出左转11驶出右转在本实施例中，车辆状态判别装置连续抓拍预设帧数的监控视频图像，组成目标监控图像组；通过目标检测模型获取目标监控图像组的类别标志位以及车辆框、车牌框；基于目标监控图像组获取车辆位移矢量，并基于车辆位移矢量获取位移标志位；当类别标志位和位移标志位一致时，输出目标车辆的行驶状态；基于目标监控图像组的车辆框和车牌框计算车牌偏移矢量，并由车牌偏移矢量输出目标车辆的行驶方向；基于目标车辆的行驶状态以及行驶方向，获取目标车辆的车辆状态。通过上述方法，本申请通过标志位信息、车辆位移矢量以及车牌偏移矢量可以快速、准确判别进出车辆的状态。为了实现上述实施例的车辆定位方法，本申请还提供了一种车辆状态判别装置，具体请参阅图7，图7是本申请提供的车辆定位装置一实施例的结构示意图。如图7所示，本实施例的车辆状态判别装置500包括处理器51、存储器52、输入输出设备53以及总线54。该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的车辆状态判别方法。在本实施例中，处理器51还可以称为cpu（centralprocessingunit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是gpu（graphicsprocessingunit，图形处理器），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。gpu的用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。本申请还提供一种计算机存储介质，如图8所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请车辆状态判别方法实施例中所述的方法。本申请车辆状态判别方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
，均同理包括在本申请的专利保护范围内。当前第1页12