目标的识别跟随方法与流程

文档序号:17645442发布日期:2019-05-11 00:58阅读:451来源:国知局
目标的识别跟随方法与流程

本发明涉及安防技术领域,尤其涉及一种目标的识别跟随方法。



背景技术:

现有技术中,为了进行安防,往往通过布置摄像头,通过摄像头采集的数据,进行人脸识别,从而识别出异常人员。但这种方式往往存在着耗资巨大、监控有死角等缺陷。

在一些领域中,通过在被跟随物上设置定位芯片的方式,利用跟随装置对该具有定位芯片的被跟随物进行跟随,但是由于跟随装置是对特定的目标进行跟随,而该跟随目标一般都是人为设定的,使用范围比较局限。

因此,如何对大范围内的跟随目标进行自动的识别,并对其进行跟随成为急需解决的问题。



技术实现要素:

本发明实施例的目的是提供一种目标的识别跟随方法,以解决现有技术中存在的跟随使用范围比较局限的问题。

为解决上述问题,本发明提供了一种目标的识别跟随方法,所述方法包括:

获取车辆周围的视频数据;

对所述视频数据进行处理,确定单帧/或多帧图像信息;

对所述单帧/或多帧图像信息进行特征提取,确定待匹配特征;所述待匹配特征包括待匹配的嫌疑人脸特征和/或可疑物品特征;

将所述嫌疑人脸特征与预设的第一特征库中的人脸特征进行匹配,确定第一匹配度;和/或,将所述可疑物品特征与预设的第二特征库中的物品特征进行匹配,确定第二匹配度;

当所述第一匹配度大于预设的第一匹配阈值,和/或,当所述第二匹配度大于预设的第二匹配阈值时,确定可疑对象;

根据所述可疑对象对应的图像信息,确定可疑对象的状态和路径;

当所述可疑对象的状态为移动状态时,将跟随命令发送给车辆上的跟随装置,以使所述跟随装置对所述可疑对象进行跟随;所述跟随命令包括待匹配特征中匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征和所述路径。

在一种可能的实现方式中,所述当所述可疑对象的状态为移动状态时,将跟随命令发送给车辆上的跟随装置,具体包括:

当所述可疑对象的数量为多个时,根据多个所述可疑对象中每个可疑对象的状态和路径,确定跟随装置的数量;

将与跟随装置的数量相同的跟随命令发送给对应的跟随装置;每个所述跟随命令包括一个可疑对象中的匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征和该可疑对象的所述路径。

在一种可能的实现方式中,所述方法还包括:

获取车辆的位置信息;

根据所述车辆的位置信息,确定地图数据;

根据所述地图数据,确定跟随模式选择信息;所述跟随模式选择信息为固定跟随或者随机跟随;

将所述跟随模式选择信息发送给所述跟随装置,以使所述跟随装置根据所述跟随模式选择信息进行跟随。

在一种可能的实现方式中,所述方法还包括:

当所述可疑对象的状态为静止状态时,将所述待匹配特征中匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征、其对应的所述第一特征库和/或所述第二特征库中所述可疑对象的特征发送给服务器。

在一种可能的实现方式中,所述对所述单帧/或多帧图像信息进行特征提取,确定待匹配特征之前,还包括:

对激光点云数据进行分割与跟踪,得到点云分割结果;

对所述点云分割结果进行处理,得到行人/人体轮廓;

在时间轴上,将所述行人/人体轮廓和所述图像信息进行匹配。

在一种可能的实现方式中,所述根据所述可疑对象对应的图像信息,确定可疑对象的状态和路径之前,还包括:

将待匹配特征中匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征发送给服务器,以使服务器进行二次匹配;

当匹配成功时,接收所述服务器发送的匹配成功消息。

在一种可能的实现方式中,对每帧图像信息进行处理,获取每帧图像信息中的环境数据;

将环境数据和预设的地图数据进行拟合,根据拟合结果,确定可疑对象的多个位置信息;

对所述多个位置信息进行拼接,确定所述可疑对象的路径。

在一种可能的实现方式中,所述方法还包括:

接收所述跟随装置发送的所述可疑对象的实时图像信息;

根据所述实时图像信息,计算可疑对象的位置信息;

接收所述跟随装置发送的所述跟随装置的位置信息;

根据所述实时图像信息和所述位置信息,判断所述可疑对象是否处于跟随范围内;

当所述可疑对象处于跟随范围外时,向服务器发送所述可疑对象的实时位置信息和所述跟随装置的位置信息。

通过应用本发明提供的目标的识别跟随方法,在无人驾驶设备中,利用视频数据,确定可疑对象后,利用车辆上的跟随装置对可疑对象进行跟随,并可以对可疑对象是否处于跟随范围内进行判断,并对于是否处于跟随范围内,处以不同的处理,从而实现了在不影响当前工作时,对可疑对象的跟随。

附图说明

图1为本发明实施例提供的目标的识别跟随方法流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明实施例提供的目标的识别跟随方法流程示意图。该方法的执行主体可以是自动驾驶车辆的控制单元。车辆控制单元可以理解为用于控制车辆行驶的控制模块。其中,控制单元是该无人驾驶车辆的数据处理中心,可以进行自主决策和路径规划等。该识别跟随方法应用在无人驾驶场景中,尤其是无人驾驶车辆中。由此,既能利用无人驾驶设备的数据,又能节省城市安防的耗资。

如图1所示,该方法包括以下步骤:

步骤101,获取车辆周围的视频数据。

具体的,为了节约人力资源,可以利用自动驾驶车辆进行清扫工作,在自动清扫时,可以利用车辆本身的结构,兼顾对路段的安全进行巡检。示例而非限定,在一些特殊的时间段,比如,00:00-5:00这一行人比较少的时间段进行清扫工作,在清洁车进行清扫的同时,可以对清扫路段进行巡检,在12:00-16:00这一时段,车辆在公共场所进行清扫工作时,也可以利用自身的结构,对公共场所的环境进行拍摄。

具体的,车辆上具有采集装置,采集装置可以是双目摄像头。可以利用双目摄像头获取到车辆所经路段的视频信息,对视频数据进行处理,从中提取出单帧/或多帧图像信息。每帧图像信息都包括时间信息。

步骤102,对视频数据进行处理,确定单帧/或多帧图像信息。

步骤103,对单帧/或多帧图像信息进行特征提取,确定待匹配特征;待匹配特征包括待匹配的嫌疑人脸特征和/或可疑物品特征。

具体的,车辆控制单元可以对视频数据进行处理,从中提取出图像信息。再通过人脸识别算法,对图像信息进行处理,提取多个特征。

其中,该特征可以是待匹配的人脸特征,诸如强行抱走儿童的实施者的嫌疑人脸特征或者公共场所的人脸特征;该特征也可以是可疑物品特征,可疑物品可以是管制器具或者被拎着走的包裹等。

其中,图像信息中可能同时存在嫌疑人脸特征和可疑物品特征。

步骤104,将嫌疑人脸特征与预设的第一特征库中的人脸特征进行匹配,确定第一匹配度;和/或,将可疑物品特征与预设的第二特征库中的物品特征进行匹配,确定第二匹配度。

进一步的,车辆上除了安装有双目摄像头,还安装有各种传感器,比如,激光雷达,激光雷达可以采集到激光点云数据。可以通过激光点云数据,确定可疑物品的轮廓、行人或者人体的轮廓,将可疑物品的轮廓、行人或者人体的轮廓和图像信息中的待匹配特征进行匹配,以进一步提高图像的精度。

步骤105,当第一匹配度大于预设的第一匹配阈值,和/或,当第二匹配度大于预设的第二匹配阈值时,确定可疑对象。

具体的,示例而非限定,在进行人脸匹配时,第一匹配阈值可以设置为90%,在进行可疑物品匹配时,第二匹配阈值可疑设置为95%。可疑对象可以是匹配成功的可疑物品,也可以是可疑人脸,比如公共环境中的人脸或者可疑行为中可疑行为实施者的人脸。

进一步的,为了提高匹配的准确度,在上述匹配成功后,还可以进行二次匹配,比如,可以将当前匹配成功的图像信息、可疑物品特征库中的可疑物品和/或嫌疑图像特征库中的可疑人员,将其与另一个更加精确的车辆中的特征库进行匹配,或者发送给服务器,由服务器进行匹配,当二次匹配成功后,确定可疑对象。由此,通过二次匹配,提高了确定的可疑对象的准确率。

步骤106,根据可疑对象对应的图像信息,确定可疑对象的状态和路径。

具体的,可以通过对采集到的单帧/或多帧图像信息进行处理,来获取可疑对象的位置信息。

可以先对每帧图像信息进行处理,获取每帧图像信息中的环境数据;

后将环境数据和预设的地图数据进行拟合,根据拟合结果,确定可疑对象的多个位置信息。

图像信息中包括环境数据,比如建筑物标识、交通标识、道路标识等。

将环境数据和地图数据进行拟合后,可以对两者中的相同特征进行综合处理,计算出可疑对象的位置信息。

由于每帧图像信息还包括获取该图像信息的时间信息,因此,可以根据时间信息,对多个位置信息进行拼接,生成路径。

其中,可以根据位置信息或者路径,可以确定可疑对象的状态,包括移动状态和静止状态。

步骤107,当可疑对象的状态为移动状态时,将跟随命令发送给车辆上的跟随装置,以使跟随装置对可疑对象进行跟随;跟随命令包括待匹配特征中匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征和路径。

其中,步骤107包括:

当可疑对象的数量为多个时,根据多个可疑对象中每个可疑对象的状态和路径,确定跟随装置的数量;

将与跟随装置的数量相同的跟随命令发送给对应的跟随装置;每个跟随命令包括一个可疑对象中的匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征和该可疑对象的路径。

具体的,示例而非限定,跟随装置可以是机器狗,跟随装置的数量可以根据可疑对象的数量而定,比如,当存在两个嫌疑人员时,如果两个嫌疑人员a,b的状态都为移动状态,且路径不相同,可以确定跟随装置的数量为2个,分别为跟随装置1和跟随装置2,可以向跟随装置1发送第一跟随命令,该第一跟随命令可以包括嫌疑人员a的匹配成功的人脸特征和a的路径,向跟随装置2发送第二跟随命令,该第二跟随命令可以包括嫌疑人员b的匹配成功的人脸特征和b的路径。当车辆,比如清洁车确定可疑目标后,可以继续进行当前的清扫工作,并通过向车辆上的跟随装置发送跟随命令,使得跟随装置对可疑目标进行跟随,在不影响当前清扫工作的前提下,实现了对每个可疑对象的跟随。进一步的,该方法还包括:

获取车辆的位置信息;

根据车辆的位置信息,确定地图数据;

根据地图数据,确定跟随模式选择信息;跟随模式选择信息为固定跟随或者随机跟随;

将跟随模式选择信息发送给跟随装置,以使跟随装置根据跟随模式选择信息进行跟随。

具体的,可以通过车辆上的定位模块,比如全球定位系统(globalpositioningsystem,gps)获取车辆自身的位置信息。也可以通过向服务器发送查询消息,解析服务器发送的携带位置信息的响应消息后,得到位置信息。

当车辆处于某一位置时,可以加载该位置的地图,比如,车辆处于a街道,可以将该a街道的上一级单位,a市的地图,进行加载。至于如何加载,可以是从服务器下载,也可以是车辆提前加载,本申请对此并不限定。

其中,位置信息包括经纬度数据、行驶方向信息和时间信息。

控制单元根据对地图数据中的地形进行自动分析,比如可以分析出跟踪难度,将该跟踪难度与预存的难度表进行匹配,自动选择跟随模式。比如,对地图数据进行分析,当前所处的位置为平原,道路平坦,建筑物少,跟踪难度为50%,在难度表中,该难度对应的跟随模式为固定跟随,则输出固定跟随,后续,可以将跟随方式发送给跟随装置,以使跟随装置采用固定跟随的方式进行跟随。当前所处的位置为坡度大,且弯折道路很多,建筑物也多的街道,跟踪难度为70%,则通过查找难度表,该难度对应的跟随模式为随机跟随,则输出随机跟随,后续,可以将跟随方式发送给跟随装置,以使跟随装置采用随机跟随的方式进行跟随。

当采用固定跟随时,跟随装置对可疑对象进行实时的跟随,当采用随机跟随时,跟随装置可以对可疑对象的轨迹进行预测跟随。

进一步的,车辆可以通过车辆上的感知模块,确定一定范围内多个跟随装置的位置信息,这个一定范围,为感知模块的可探测范围。当多个跟随装置超出这个范围时,车辆可以通过与跟随装置交互,确定跟随装置以及可疑对象的位置信息。

具体的,当使用跟随装置进行跟随时,可以接收跟随装置发送的实时图像信息,并对实时图像信息进行处理,以计算可疑对象的位置信息,并且可以获取跟随装置发送的跟随装置本身的位置信息,并根据可疑对象的位置信息和跟随装置的位置信息,进行判断,以确定可疑对象是否处于跟随装置的跟随范围内,比如,可以设置跟随范围为500m,当处于跟随范围内时,可以对该位置信息和实时图像信息进行存储,当处于跟随范围外时,可以将该位置信息和实时图像信息发送给服务器,该服务器可以是第三方服务器,由此,将跟随装置的状态和可疑对象的状态发送给第三方服务器,以进行报警。

其中,跟随装置上可以安装惯性测量单元(inertialmeasurementunit,imu),用以获取跟随装置的位置信息,跟随装置可以利用其上的图像采集装置,采集可疑对象的图像信息,并利用图像信息,计算可疑对象的位置信息,或者,也可以将图像信息发送给车辆,由车辆计算可疑对象的位置信息。

可以理解的是,跟随装置上也可以安装有超声波雷达等传感器,可以利用超声测距的方式,计算可疑对象与跟随目标的距离,以判断可疑对象是否处于跟随范围内。

进一步的,当可疑对象的状态为静止状态时,将待匹配特征中匹配成功的嫌疑人脸特征和/或匹配成功的可疑物品特征、其对应的第一特征库和/或第二特征库中可疑对象的特征发送给服务器。

其中,状态包括移动状态或静止状态。根据每帧图像的时间信息,确定可疑对象处于运动状态还是静止状态。当可疑对象为静止状态时,可以直接向服务器上报上述两次匹配的信息以及采集的图像信息。

其中,上述步骤中的服务器,也可以是第三方服务器,第三方服务器可以是某些机构的服务器,比如管理失踪人员的管理机构的服务器。由此,便于第三方服务器利用该些上报信息,进行安防工作。既节省了安防的费用,又扩大安防的范围,即使在摄像头没有布设的区域,也可以进行安防防护。

可以理解的是,该方法也可以应用在其它移动装置上,示例而非限定,该车辆可以被机器人所替代,该机器人可以是执行搬运等工作的机器人。

通过应用本发明提供的目标的识别跟随方法,在无人驾驶设备中,利用视频数据,确定可疑对象后,利用车辆上的跟随装置对可疑对象进行跟随,并可以对可疑对象是否处于跟随范围内进行判断,并对于是否处于跟随范围内,处以不同的处理,从而实现了在不影响当前工作时,对可疑对象的跟随。

专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1