人车跨镜头追踪方法及装置与流程

本发明涉及公共安全视频监控技术领域，尤其是涉及一种人车跨镜头追踪方法及装置。

背景技术：

公共安全日益受到人们的普遍关注，今后将基本实现“全域覆盖、全网共享、全时可用、全程可控”的公共安全视频监控建设联网应用。随着图像监控技术应用于公安工作的不断推进，由图像监控系统采集记录的视频图像、图片信息在公安侦查破案的实践中发挥越来越重要的作用。通过图像监控系统，可精确人员及车辆的行动轨迹，为案情分析提供帮助。

目前，随着图像监控视频爆炸式增长，传统视频监控单靠人力肉眼识别人脸、行人及车辆，已远远无法满足需求，如何通过海量监控视频高效、准确确定人车位置及轨迹追踪，如何通过不同视角不同光照下镜头拍摄的视频，进行人脸识别、行人识别、车辆识别，实现人、车定位和跨镜头追踪，成为亟待解决问题。因此，传统的视频监控方法难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪。

技术实现要素：

有鉴于此，本发明的目的在于提供了一种人车跨镜头追踪方法及装置，以缓解现有技术中存在的无法满足海量监控视频中高效、准确确定人车位置及轨迹追踪的问题，解决了难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪的技术问题。

第一方面，本发明实施例提供了一种人车跨镜头追踪方法，包括：

提取目标人脸视频、行人视频或车辆视频的结构化特征；

在关联数据库中对所述结构化特征进行匹配，定位人车位置；

其中，所述关联数据库存储有相互关联的人脸结构化信息、行人结构化信息及车辆结构化信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：

对视频进行结构化信息提取，获得人脸结构化信息、行人结构化信息和车辆结构化信息；

对所述人脸结构化信息、所述行人结构化信息和所述车辆结构化信息进行匹配，形成关联数据库。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，在所述对视频进行结构化信息提取，获得人脸结构化信息、行人结构化信息和车辆结构化信息之前，还包括：

对多路采集的视频进行预处理。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述人脸结构化信息包括：样貌特征、表情等信息；

所述行人结构化信息包括：样貌特征、着装信息、装饰品、随身物品等信息；

所述车辆结构化信息包括：车辆固有属性、驾驶员信息、个性化信息等信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述在关联数据库中对所述结构化特征进行匹配，定位人车位置，包括：

在关联数据库中检索与所述结构化特征相匹配的视频数据；

定位所述视频数据所在的监控设备，以及所述监控设备覆盖的位置。

第二方面，本发明实施例还提供了一种人车跨镜头追踪装置，包括：

目标提取模块，用于提取目标人脸视频、行人视频或车辆视频的结构化特征；

人车定位模块，在关联数据库中对所述结构化特征进行匹配，定位人车位置。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括：

结构化模块，用于对视频进行结构化信息提取，所述结构化模块包括：人脸结构化模块、行人结构化模块和车辆结构化模块；

数据库模块，用于对所述人脸结构化信息、所述行人结构化信息和所述车辆结构化信息进行匹配，形成关联数据库。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，在所述结构化模块之前，还包括：

预处理模块，用于对多路采集的视频进行预处理。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述人脸结构化模块用于提取包括：样貌特征、表情等信息；

所述行人结构化模块用于提取包括：样貌特征、着装信息、装饰品、随身物品等信息；

所述车辆结构化模块用于提取包括：车辆固有属性、驾驶员信息、个性化信息等信息。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述人车定位模块包括：

检索模块，用于在关联数据库中检索与所述结构化特征相匹配的视频数据；

定位模块，用于定位所述视频数据所在的监控设备，以及所述监控设备覆盖的位置。

本发明实施例带来了以下有益效果：本发明实施例提供的一种人车跨镜头追踪方法及装置，通过提取目标人脸视频、行人视频或车辆视频的结构化特征；在关联数据库中对结构化特征进行匹配，定位人车位置；其中，关联数据库存储有相互关联的人脸结构化信息、行人结构化信息及车辆结构化信息。通过融合人脸、行人、车辆结构化信息的关联数据库，进行人车定位和跨镜头追踪，缓解了现有技术中存在的无法满足海量监控视频中高效、准确确定人车位置及轨迹追踪的问题，解决了难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人车跨镜头追踪方法的流程图；

图2为本发明实施例提供的人车跨镜头追踪方法的示意图；

图3为本发明实施例提供的人车跨镜头追踪装置的示意图。

图标：

20-预处理模块；21-结构化模块；211-人脸结构化模块；212-行人结构化模块；213-车辆结构化模块；22-数据库模块；23-目标提取模块；24-人车定位模块；241-检索模块；242-定位模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统视频监控单靠人力肉眼识别人脸、行人及车辆，已远远无法满足需求，难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪。

基于此，本发明实施例提供的一种人车跨镜头追踪方法及装置，可以缓解现有技术中存在的无法满足海量监控视频中高效、准确确定人车位置及轨迹追踪的问题，解决难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪的技术问题。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种人车跨镜头追踪方法进行详细介绍。

实施例一：

本发明实施例提供了一种人车跨镜头追踪方法，可以用于视频监控服务器等。如图1和图2所示，该人车跨镜头追踪方法包括以下步骤：

s11：提取目标人脸视频、行人视频或车辆视频的结构化特征。

在公安侦查破案时，需要在监控视频中定位嫌疑人位置，嫌疑人即是待检索目标，将提供的目标人脸视频或行人视频或车辆视频等，进行结构化提取，以便后续进行匹配。

s12：在关联数据库中对结构化特征进行匹配，定位人车位置。

其中，该关联数据库存储有相互关联的人脸结构化信息、行人结构化信息及车辆结构化信息。建立关联数据库具体包括以下两个步骤：

s121：对视频进行结构化信息提取，获得人脸结构化信息、行人结构化信息和车辆结构化信息。

在提取结构化信息时，优先提取人脸结构化信息。人脸结构化信息包括：样貌特征、表情等信息中的一种或多种；样貌特征包括：性别(男、女)、年龄段(小孩、青年、中年、老年)、发型、发色、胡须等特征中的一种或多种；表情包括：喜、怒、哀、乐等表情中的一种或多种；在年龄识别的时候不考虑识别准确年龄，而是识别年龄段，以提高识别准确率。在提取人脸结构化信息时，将人脸的样貌特征、表情等信息数字化，生成人脸的重认证特征码，该重认证的特征码用于人脸识别、跨镜头追踪、以图搜图以及行驶轨迹复现。

行人结构化信息包括：样貌特征、着装信息、装饰品、随身物品等信息中的一种或多种；样貌特征包括：性别(男、女)、年龄段(小孩、青年、中年、老年)、发型、发色、胡须等特征中的一种或多种；着装信息包括：上下身着装的颜色、纹理、款式、类型等特征中的一种或多种，装饰品包括：是否戴眼镜、口罩、帽子等特征中的一种或多种；随身物品信息包括是否打雨伞、抱小孩、拉行李箱、背包、拎包等特征中的一种或多种。在提取行人结构化信息时，将行人的样貌特征、着装信息、装饰品、随身物品等信息数字化，生成行人的重认证特征码，该重认证特征码用于跨镜头追踪、以图搜图以及行驶轨迹复现。

车辆结构化信息包括：车辆固有属性、驾驶员信息、个性化信息等信息中的一种或多种。

车辆固有属性包括：车辆颜色、品牌型号年款、车牌号码、车辆类型等特征中的一种或多种。在识别车辆颜色时，将车辆颜色划分为13种，包括：黑、白、银、灰、青、蓝、绿、黄、金、红、紫、粉、棕。在识别车辆品牌型号时会将相同外观的车辆进行合并，同时将车头和车尾信息进行区分，以实现360°全视角的车辆品牌型号年款的识别，其中车头信息包括5500种以上，车尾信息包括3500种以上。在识别车牌信息时除了车牌上的字符信息，还会识别车牌的颜色和种类信息。号牌颜色包括：蓝、黄、白、黑、绿五种颜色，号牌类型包括：澳门入出境车、大型汽车、教练汽车、警用汽车、军队汽车、外籍汽车、香港入出境车、小型汽车。车辆类型按照国标会划分为21大类，包括轿车、小型货车、大型货车、轻客、小型客车、大型客车、面包车、皮卡车、越野车、商务车、挂车、混凝土搅拌车、罐车、随车吊、消防车、渣土车、押运车、工程抢修车、救援车、栏板卡车、三轮车。

驾驶员信息包括：主驾驶人员未系安全带、开车打电话、副驾驶人员未系安全带、主副驾驶人员的人脸；为了克服假牌车和套牌车对车辆识别的影响，给每辆车赋予唯一标识，还会识别车辆的个性化信息，包括：车辆年检标、遮阳板、挂坠、摆件、纸巾盒、天窗、行李架、备胎、撞损痕等特征中的一种或多种；在提取行人结构化信息时，将车辆的固有属性、驾驶员信息、个性化信息等信息数字化，生成车辆的重认证特征码，该重认证特征码用于跨镜头追踪、以图搜图以及行驶轨迹复现。

s122：对人脸结构化信息、行人结构化信息和车辆结构化信息进行匹配，形成关联数据库。

经结构化信息处理后，将人脸、行人及车辆结构化信息存储到云端数据库。通过人脸结构化的性别、年龄、身份等信息，与行人结构化性别、年龄、发型等信息，及车辆结构化的车型、驾驶员等信息，通过大数据搜索技术，将某些特征信息进行匹配，建立人脸、行人及车辆结构化信息相互联系的关联数据库。

例如：在视频a中能拍到人脸，通过人脸识别，获得身份、年龄、性别等信息；在视频b中仅能拍到行人，通过对行人识别，获得衣着特征属性、发型、随身物品等；在视频c中仅能拍到车辆，通过车辆识别，对车牌、车型等进行识别，从而建立人脸、行人和车辆之间的关联，进行追踪。

步骤s12：在关联数据库中对结构化特征进行匹配，定位人车位置，具体包括以下步骤：

s123：在关联数据库中检索与结构化特征相匹配的视频数据。

将上述步骤s11提取的目标结构化特征，利用人脸识别，行人再识别和车辆再识别，在关联的数据库中进行识别和匹配，通过大数据搜索找到与其结构化特征相匹配的视频数据。

s124：定位视频数据所在的监控设备，以及监控设备覆盖的位置。

通过步骤s123所获得的与目标结构化特征相匹配的视频数据，可以找到视频数据对应相应的监控设备，从而获得目标出现的具体位置。通过多个摄像头搜索到的视频数据，可以实现目标跨镜头轨迹追踪。例如，在关联数据库中能匹配到目标结构化数据，分别来自摄像头a、b、c的视频中的人脸结构化信息、行人结构化信息和车辆结构化信息，则说明摄像头a、b、c中，存在目标行踪，进一步获得摄像头所在准确位置，从而建立目标的行动轨迹。

作为一种优选的实施方式，本发明实施例提供的一种人车跨镜头追踪方法中，在步骤s11之前，还进一步包括以下步骤：

s10：对多路采集的视频进行预处理。

预处理包括：检测、识别感兴趣目标，对感兴趣目标在时间序列上进行择优、去重。

多路摄像头采集的监控视频，通过预处理检测、识别感兴趣目标，包括但不限于非机动车、机动车、行人、人脸等。为了给每个目标赋予唯一的标识，对感兴趣目标在时间序列上进行跟踪，在跟踪的基础上对每个目标在时间序列上进行择优、去重，获得感兴趣目标最清晰、最适合视频结构化的高质量截图。

其中，择优即是指对感兴趣目标进行质量评价，综合考量包括但不限于目标尺寸、是否被遮挡、图像是否清晰、角度是否合适等因素，通量化指标对当前目标质量进行打分；去重即是指根据择优过程中对感兴趣目标在时间序列中的打分，选择时间序列中得分最高的截图作为该感兴趣目标的一次结构化结果，即抓拍结果。

本发明实施例提供的人车跨镜头追踪方法中，通过提取目标人脸视频、行人视频或车辆视频的结构化特征；在关联数据库中对结构化特征进行匹配，定位人车位置；其中，关联数据库存储有相互关联的人脸结构化信息、行人结构化信息及车辆结构化信息。通过融合人脸识别、行人再识别、车辆再识别的人车定位和跨镜头追踪方法，缓解了现有技术中存在的无法满足海量监控视频中高效、准确确定人车位置及轨迹追踪的问题，解决了难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪的技术问题。

实施例二：

本发明实施例提供的一种人车跨镜头追踪装置，如图3所示，该人车跨镜头追踪装置包括：预处理模块20、结构化模块21、数据库模块22、目标提取模块23、人车定位模块24；其中，结构化模块21包括：人脸结构化模块211、行人结构化模块212和车辆结构化模块213；人车定位模块24包括：检索模块241、定位模块242。

预处理模块20用于对多路采集的视频进行预处理；结构化模块21，用于对视频进行结构化信息提取；数据库模块22，用于对人脸结构化信息、行人结构化信息和车辆结构化信息进行匹配，形成关联数据库；目标提取模块23，用于提取目标人脸视频、行人视频或车辆视频的结构化特征；人车定位模块24，用于在关联数据库中对结构化特征进行匹配，定位人车位置。

人脸结构化模块211用于提取包括：样貌特征、表情等信息中的一种或多种；行人结构化模块212用于提取包括：样貌特征、着装信息、装饰品、随身物品等信息中的一种或多种；车辆结构化模块213用于提取包括：车辆固有属性、驾驶员信息、个性化信息等信息中的一种或多种。

检索模块241，用于在关联数据库中检索与结构化特征相匹配的视频数据；定位模块242，用于定位视频数据所在的监控设备，以及监控设备覆盖的位置。

本发明实施例提供的人车跨镜头追踪装置中，通过目标提取模块提取目标人脸视频、行人视频或车辆视频的结构化特征；利用人车定位模块在关联数据库中对结构化特征进行匹配，定位人车位置；其中，关联数据库存储有相互关联的人脸结构化信息、行人结构化信息及车辆结构化信息。通过融合人脸识别、行人再识别、车辆再识别的人车定位和跨镜头追踪方法，缓解了现有技术中存在的无法满足海量监控视频中高效、准确确定人车位置及轨迹追踪的问题，解决了难以实现人脸、行人、车辆的关联检测及多摄像头的跨镜头追踪的技术问题。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例提供的人车跨镜头追踪装置，与上述实施例提供的人车跨镜头追踪方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。