数图融合库构建方法及相关设备与流程

1.本技术涉及图像处理技术以及信息融合技术领域，具体涉及一种数图融合库构建方法及相关设备。


背景技术：

2.随着科技以及社会生活的快速发展，信息也呈现指数爆炸式增长。在物联网、互联网和视频监控感知网等技术带动下，生成有图像视频感知网的非结构化数据、执法和行业数据的结构化数据，在如此的大数据环境下，系统如何有效地组织海量数据，如何快速地提取目标人、车、物的相关信息，并高效地利用可视化就成了当前的重中之重问题。


技术实现要素：

3.本技术实施例提供了一种数图融合库构建方法及相关设备，可以快速地提取目标人、车、物的相关信息，并高效地利用可视化。
4.第一方面，本技术实施例提供一种数图融合库构建方法，所述方法包括：
5.确定感知网络的第一结构化数据；
6.确定目标单位的单位网络的第二结构化数据；
7.对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表；
8.对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库；
9.建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系；
10.根据所述资源库抽取要素关联关系；根据抽取知识图谱实体、实体关系；
11.根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合。
12.第二方面，本技术实施例提供了一种数图融合库构建装置，所述装置包括：确定单元、抽取单元和融合单元，其中，
13.所述确定单元，用于确定感知网络的第一结构化数据，所述第一结构化数据包括人、车、物的相关数据；以及确定目标单位的单位网络的第二结构化数据，所述第二结构化数据包括人、车、物的相关数据；
14.所述抽取单元，用于对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表；以及对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库；
15.所述融合单元，用于建立概念模板表，该概念模板表用于表征源数据与所述概念
模板表之间的映射关系；根据所述资源库抽取要素关联关系；根据抽取知识图谱实体、实体关系；根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合。
16.第三方面，本技术实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本技术实施例第一方面中的步骤的指令。
17.第四方面，本技术实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。
18.第五方面，本技术实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
19.实施本技术实施例，具备如下有益效果：
20.可以看出，本技术实施例中所描述的数图融合库构建方法及相关设备，确定感知网络的第一结构化数据，确定目标单位的单位网络的第二结构化数据，对第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，第一要素、第一实体和第一实体关系用于构造数图表，对第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，第二要素、第二实体和第二实体关系用于构造资源库，建立概念模板表，该概念模板表用于表征源数据与概念模板表之间的映射关系，根据资源库抽取要素关联关系，根据数图库抽取知识图谱实体、实体关系，根据概念模板表、要素关联关系、知识图谱实体、实体关系实现感知网络与目标单位的单位网络之间的融合，如此，可以快速地提取目标人、车、物的相关信息，并高效地利用可视化。
附图说明
21.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1a是本技术实施例提供的一种数图融合库构建方法的流程示意图；
23.图1b是本技术实施例提供的一种数图融合库构建模型的结构示意图；
24.图1c是本技术实施例提供的另一种数图融合库构建模型的结构示意图；
25.图1d是本技术实施例提供的一种概念模板创建的演示示意图；
26.图1e是本技术实施例提供的一种源表到概念模板映射的演示示意图；
27.图1f是本技术实施例提供的一种数图融合库的演示示意图；
28.图2是本技术实施例提供的另一种数图融合库构建方法的流程示意图；
29.图3是本技术实施例提供的一种电子设备的结构示意图；
30.图4是本技术实施例提供的一种数图融合库构建装置的功能单元组成框图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
33.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
34.本技术实施例所描述电子设备可以包括智能手机(如android手机、ios手机、windowsphone手机等)、平板电脑、掌上电脑、行车记录仪、交通指挥平台、服务器、笔记本电脑、移动互联网设备(mid，mobile internet devices)或穿戴式设备(如智能手表、蓝牙耳机) 等，上述仅是举例，而非穷举，包含但不限于上述电子设备。
35.下面对本技术实施例进行详细介绍。
36.本技术实施例中，感知网数据可以是通过当前深度学习技术背景下，通过前端摄像头获取到的图像视频，采用如fasterrcnn\resnet\yolo等系列的目标检测、目标识别、目标分割的算法方法，提取出系统下监控的人、机动车、非机动车结构化信息，同时每个通过诸如人脸、车牌等具有唯一性id作为目标的标识；再通过图片、视频中的人车地物事关联，采集到人、车、地、物、事等基础关联数据，并为提供高效数据调动和数据应用服务。
37.本技术实施例中，目标单位的单位网数据是，可以通过人口登记、案件信息登记和网络安全信息、物联网信息、各行业信息收集的结构化半结构化数据，这些数据同样，可以采用具有唯一性的id，如身份证、车牌号、地点名，对目标进行唯一标识，并通过登记的省份证号和人脸关联，打通目标单位的单位网络和感知网的数据联通通道。再这些信息收集统一到目标单位的单位网络，并为提供基础的数据搜索、查询、更新修改、融合等基本功能，能够提供人员信息查询、案件信息查询和人员轨迹查询基本的sql使用功能。
38.相关技术中，目标单位的单位系统下，使用数据仍然是感知网和目标单位的单位网络数据分开组织、处理和使用，这种方式不仅不能全面地展示所需的信息，还导致了关键信息的遗漏，没有完全把已有数据有效组织起来，也没有高效地把数据使用起来。如在目标人身份信息识别的实际应用中，采集条件不佳导致人的生物特征信息不完整或者受到噪声干扰、人物特征随年龄变化等问题，可能会导致检测样本和模板样本不匹配问题，致使浪费大量的人力物力。
39.基于上述背景下，为了解决相关技术中的缺陷，本技术实施例中，将汇集到目标单位的单位网络的各种数据表和感知网数据信息进行高效地组织和融合，并提供上层应用的基础数据应用，本技术实施例中，将多数据源数据信息，通过概念模板为中间插件，以大数
据技术和图网络技术为核心算法，建立感知网的图像视频信息与目标单位的单位网络的登记记录信息的融合通道，生成资源库和基于知识图谱的图数据库，达到高效快速地组织数据和应用数据、挖掘数据目的，从而，能够快速地提取目标人、车、物的相关信息，并高效地利用可视化。
40.请参阅图1a，图1a是本技术实施例提供的一种数图融合库构建方法的流程示意图，如图所示，本数图融合库构建方法包括：
41.101、确定感知网络的第一结构化数据，所述第一结构化数据包括人、车、物的相关数据。
42.其中，本技术实施例中，感知网络可以为视频监控网络(如天眼系统)、以及各种卫星监控形成的一个全方位的监控网络。感知网络可以利用各种人工智能技术进行目标跟踪、目标检测等等，例如，人工智能技术可以神经网络模型，神经网络模型可以包括以下至少一种：卷积神经网络网络模型、全连接神经网络模型、循环神经网络模型等等，在此不做限定。第一结构化数据可以包括固定格式构成，第一结构化数据可以包括以下至少一种信息：标签、类型、部位、属性信息、位置、时间等等，在此不做限定。以人为例，属性信息可以包括特征、尺寸、目标等等，具体可以包括以下至少一种：身高、体重、身型、伤疤、发型、衣服颜色、裤子颜色、衣服类型等等，在此不做限定。例如，结构化后信息表示为：{“target”:”person”，“face”:”34mavh+xn4maf69uoeppcjcrwieq+t9gt/8/4
…”
，"rect":{"height":0.25，"width":0.23， "x":0.39，"y":0.73}，”position”:”深圳南山粤海街道”}
43.可选的，上述步骤101，确定感知网络的第一结构化数据，可以包括如下步骤：
44.11、通过至少一种图像处理算法获取所述感知网络中的目标信息，所述图像处理算法包括以下至少一种：目标检测算法、人脸识别算法、目标识别算法、图像分割算法；
45.12、将所述目标信息结构化处理，得到所述第一结构化数据。
46.其中，目标信息可以包括以下至少一种：车牌、人脸、动作、动物、植物、物件等等，在此不做限定。物件可以为行人身上的配饰，例如，纽扣、围巾、口罩、眼镜等等，在此不做限定。
47.具体实现中，可以通过至少一种图像处理算法获取感知网络中的目标信息，图像处理算法包括以下至少一种：目标检测算法、人脸识别算法、目标识别算法、图像分割算法、图像增强算法等等，在此不做限定。进而，可以将目标信息结构化处理，得到第一结构化数据。
48.具体实现中，感知网数据中的图片、视频目标信息结构化，可以采用当前的流行yolo目标检测和arcface人脸识别算法、resnet目标识别算法或者其他目标检测算法，实现人、机动车等关注目标的检测和识别。结构化后信息表示为{“target”:”person”，“face”:”34mavh+xn4maf69uoeppcjcrwieq+t9gt/8/4
…”
，"rect":{"height":0.25，"width":0.23， "x":0.39，"y":0.73}，”position”:”深圳南山粤海街道”}和 {“target”:”car”，”time”:”2020-10-2118:23:45”，“feat”:”wieq+t9gt/8/4d7s8en/tua/z/\r\nlw
…”
， "rect":{"height":0.25，"width":0.23，"x":0.39，"y":0.73}，”position”:”深圳南山粤海街道”,”plate”:”粤bxxxxx”}；其中，人脸特征会和目标单位的单位网络中登记的人脸照片的特征进行比对，识别到图片、视频中人的身份，并以省份证作为目标人的唯一标识；而车辆就以车牌作为唯一标识身份。
49.102、确定目标单位的单位网络的第二结构化数据，所述第二结构化数据包括人、车、物的相关数据。
50.其中，目标单位的单位网络可以理解为目标单位的单位系统的网络，第二结构化数据可以包括固定格式构成，第二结构化数据可以包括以下至少一种信息：标签、类型、部位、属性信息、位置、时间等等，在此不做限定。以人为例，特征、尺寸、目标等等，具体可以包括以下至少一种：身高、体重、身型、伤疤、发型、衣服颜色、裤子颜色、衣服类型等等，在此不做限定。
51.具体实现中，目标单位的单位网络中的户籍信息、暂住信息等是以结构化和半结构化的方式存储，其中一条数据如下：{"byzkdm":"0"，”time”:”2020-1-21 21:23:45”， "gmsfzh":"33082xxxxx01290569"，"hh":"011015978"，"posfzhm":"33040xxxxx83615"，"poxm":" 陈xx"，"sjhm":"133xxxx5909"，"xb":"女"，"xldm":"70"，"xm":"郑xx"，”sj”:”郑xx在粤海街道过红绿灯时与车牌号为粤byyyyy的小车发生剐蹭，产生纠纷”}。目标单位的单位网络中的登记信息中，以身份证号码作为目标人的唯一标识。
52.103、对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表。
53.本技术实施例中，为构建感知网图片、视频中提取的目标结构化信息与目标单位的单位网络中人口户籍信息、政务登记信息、交通出行信息以及人员机动车信息的融合，构建的“数图库”，包括人员、车辆等目标的出行轨迹、活动次数的资源库，还有人、车、地、事、物的知识图谱库。知识图谱库表征目标与目标的关系、目标是物品的关系、目标与事件的关系、目标和组织的关系、组织和地点的关系等信息；而资源库表征的是目标的出现频率数、目标出现的时间、目标出现的最后时间等时空分库信息；通过资源库和知识图谱数据库能表征目标的社会关系、网络关系、事件时空关系等全息信息。
54.具体实现中，从原始数据表中，抽取关注目标的标识符和知识图谱的实体、以及实体关系、目标频率时空分布。信息数据上层服务关注的是人、车、案件、地点、物品、组织、事件，以及它们之间的相互关系，以及关注人、车、物出现的时间、地点、频率的时空分布关系。所以抽取的要素和实体包括：身份证号码、手机号码、车牌号码、组织社会唯一编码、案事件编号、航班编号以及收货地址和发货地址等实体；抽取的关注关系包括：亲属、同出行、同住宿、同户籍、寄递、涉案、活动地等重点关系；抽取的时空分布信息包括，出现的最早时间、最后时间、出现次数、出现天数等。
55.可选的，上述步骤103，对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，可以包括如下步骤：
56.31、根据所述第一结构化数据确定第一原始数据表；
57.32、根据所述第一原始数据表抽取预设目标的标识符、知识图谱的实体以及实体关系、目标频率时空分布；
58.33、根据所述预设目标的标识符、所述知识图谱的实体以及实体关系、所述目标频率时空分布确定所述第一要素、所述第一实体和所述第一实体关系。
59.具体实现中，可以根据第一结构化数据确定第一原始数据表，根据第一原始数据表抽取预设目标的标识符、知识图谱的实体以及实体关系、目标频率时空分布，再根据预设目标的标识符、知识图谱的实体以及实体关系、目标频率时空分布确定第一要素、第一实体
和第一实体关系，例如，可以通过要素识别、实体识别、实体关系识别技术确定，还可以人为纠正，以提升识别精度。预设目标可以预先设置或者系统默认。
60.104、对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库。
61.具体实现中，从原始数据表中，抽取关注目标的标识符和知识图谱的实体、以及实体关系、目标频率时空分布。信息数据上层服务关注的是人、车、案件、地点、物品、组织、事件，以及它们之间的相互关系，以及关注人、车、物出现的时间、地点、频率的时空分布关系。所以抽取的要素和实体包括：身份证号码、手机号码、车牌号码、组织社会唯一编码、案事件编号、航班编号以及收货地址和发货地址等实体；抽取的关注关系包括：亲属、同出行、同住宿、同户籍、寄递、涉案、活动地等重点关系；抽取的时空分布信息包括，出现的最早时间、最后时间、出现次数、出现天数等。当然，具体实现中，也可以根据概念模板表抽取要素关联关系，创建资源库。
62.例如，目标单位的单位网络，除了要直接从原始表中获取要素实体之外，还可以采用nlp 的基于多特征的ner方法对文本数据进行要素和实体的抽取，得到{人，涉及，案件编号}， {人，同户籍，人}，{人，邮寄，人}，{人，出现，地点}，{车辆，涉及，案件}，{车辆，属于，人}等实体关系类型，用于构建知识图谱库；统计得到{人，地点，出现时间，次数}，{车辆，出现，地点，次数}，{人，乘车，时间，次数}等目标空间分布信息，用于构建资源库。
63.105、建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系。
64.其中，具体实现中，源数据即感知网络或者目标单位的单位网络的数据，可以建立概念模板表，该概念模板表用于表征源数据与概念模板表之间的映射关系，相当于建立感知网络与目标单位的单位网络之间的“桥梁”。当然，还可以根据概念模板表、资源库抽取知识图谱实例、实体关系，建立数图库。
65.其中，如图1b所示，其实相关技术中数据处理的数据流动过程，即从源数据表拿到数据之后，会根据表进行代码适配和关系适配，以构建资源库和图数据库。这种方式有个最大的缺点，就是源表和数图库藕断丝连，牵一发而动全身；如果数据源改变，资源库的建库逻辑和代码就得重新适配，鲁棒性不够。而本技术实施例中，概念模板表是一种能适应配对多个不同数据源表的中间数据表。概念表的位置如图1c所示，概念模板表可以视作一个“桥梁”，通过该概念模板表建立源数据表与资源库以及图数据库关联起来，其能将把数图库建立过程和源数据表解耦；数图库的建立，包括sql字段抽取、实体抽取和实体关系抽取，是对概念表操作，这就降低了源数据对数图库的影响，提高建立的鲁棒性。
66.可选的，上述步骤105，建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系，可以包括如下步骤：
67.51、确定所述感知网络对应的数图表；
68.52、确定所述目标单位的单位网络对应的原始表；
69.53、根据所述数图表和所述原始表确定所述概念模板表。
70.具体实现中，可以确定感知网络对应的数图表，以及确定目标单位的单位网络对应的原始表，由于两者之间存在交集，因此，可以根据数图表和原始表确定概念模板表。
71.假设原始表为s＝s1s2s3s4...sn，根据原始表存储的信息，将表分为φ1φ2φ3...
φm，其中，φ1＝{s2s5s
10
...s
n1
},n1《n表征人口户籍相关信息，φ2＝{s1s3s3...s
n2
},n2《n表征车辆相关信息，φ3表征案件相关的信息，其他则表示人员和人员关系、人员和网下场所关系，人员交通出行、机动车违法和网下场所信息等。其中，φ1∪φ2∪φ3∪...φm＝s,m≤n。所以，在数图库的建库过程，只需要对概念模板进行要素、实体、实体关系的适配即可。在另一端的源数据表中，只要给源数据表一个标签，即可实现对数据的自动化抽取。
72.具体实现中，针对源数据到概念模板表的映射，数据表的映射，是多源数据自动化处理的关键步骤。映射的关系表示为其中，φi是某一类别的数据源s，t表示源表映射得到的概念表，映射的过程参考附图1d所示，途中l表示人工对原始表进行类别标注。从式子可以看出，多个源表，可映射为同一个概念模板表，这表示原始表格数据，能抽取出同样的要素、实体、实体关系。概念模板表的在源数据表和数图表中起到一个桥梁作用，是实现自动化数据抽取的关键重要的步骤。
73.当一个原始表被标记为源数据的类别φ，并通过映射到概念表t之后，就能在已有的数据抽取方式上自动地建立资源库和知识图谱数据库。而目标单位的单位网络中，表征人、车、地、物、案的多维信息需要多方位多角度的信息登记，所以，就需要自动化的对所有登记信息抽取和融合，本步骤就是给源表进行标记并处理。
74.106、根据所述资源库抽取要素关联关系；根据所述数图库抽取知识图谱实体、实体关系。
75.具体实现中，一方面，可以采用sql语句从概念模板表中直接抽取要素、要素关联关系，并以nlp的基于多特征的ner技术抽取文本信息存储的实体关联关系。具体实现中，也可以根据概念模板表抽取要素关联关系，并基于要素关联关系创建资源库，或者，也可以基于要素关联关系、第二要素、第二实体和第二实体关系创建资源库。另外，还可以根据概念模板表、资源库抽取知识图谱实例、实体关系，建立数图库。
76.当然，上述步骤106也可以按照如下方式实施：根据概念模板表抽取要素关联关系；根据该概念模板表抽取知识图谱实体、实体关系。
77.例如，一条信息如{"byzkdm":"0"，”time”:”2020-1-21 21:23:45”， "gmsfzh":"33082xxxxx01290569"，"hh":"011015978"，"posfzhm":"33040xxxxx83615"，"poxm":" 陈xx"，"sjhm":"13362385909"，"xb":"女"，"xldm":"70"，"xm":"郑xx"，”sj”:”郑xx在粤海街道过红绿灯时与车牌号为粤b11111的小车发生剐蹭，产生纠纷”}，从"gmsfzh"、"hh"和"sjhm" 字段，得到{“33082xxxxx01290569”，”户号”，”011015978”}和{“33082xxxxx01290569”，”联系方式”，”13362385909”}，并从”sj”事件字段提取到{“33082xxxxx01290569”，”纠纷”，”b11111”}。抽取方式可以参考附图1e。
78.107、根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合。
79.具体实现中，可以根据概念模板表、要素关联关系、知识图谱实体、实体关系实现感知网络与目标单位的单位网络之间的融合。还可以将提取的各表业务要素、结点和节点关系通过唯一id关联进行信息补充、信息对齐和信息融合，并通过大数据组件redis\ssdb等技术确保实体、关系的唯一性和有效性。
80.可选的，上述步骤107，根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合，可以包括如下步
骤：
81.71、通过所述概念模板表、所述要素关联关系确定包含预设要素的第一数据组；
82.72、根据所述概念模板表和所述知识图谱实体、实体关系确定包含所述预设要素的第二数据组；
83.73、将所述第一数据组与所述第二数据组进行融合。
84.其中，预设要素可以预先设置或者系统默认，预设要素可以为感知网络和目标单位的单位网络共有的要素。进而，可以通过概念模板表、要素关联关系确定包含预设要素的第一数据组，根据概念模板表和知识图谱实体、实体关系确定包含预设要素的第二数据组，将第一数据组与第二数据组进行融合。
85.具体实现中，感知网和目标单位的单位网络数据的融合，即将两者的结构化数据加以融合。从感知网识别到的人、车结构化信息，并以身份证号和车牌号等唯一性id进行目标标识，感知网结构化数据，例如身份、车牌等的集合记为v，例如，其人可以包括：人脸特征、身份证号p、地点a出发、地点b出现、乘车火车d12345，车的话，则可以包括：车主身份证号码、地点b出现、地点a出现、车牌号码；从目标单位的单位网络数据网概念模板中，目标单位的单位网络的结构化数据可以包括：身份证p1、联系方式、出现位置、xx街道、同坐火车、寄件、手机、通话、纠纷、车牌等等。获取的{要素1，关联，要素2}和{实体1，关系，实体2}的多维度信息，其中要素和实体的集合记为g。通过身份证、车牌号的关联，把感知网和目标单位的单位网络的数据融合和相互补充，融合的表达式为：g∩v，如附图1f 所示。
86.进一步的，感知网的数据来源各行各业，从大的方向分有业务类、综合类、情报类和基础类等；从细分方向，有值班数据、公司登记信息、重点人员关注信息、报警信息，户籍人口、流动人口和通话记录等信息，这些数据表格少则几十上百个，多则几百上千个。通过以上步骤，为源表进行l标记、φs归类、f映射到概念模板，则可以适配进行自动化处理，生成对应的资源库和数图融合知识图谱库。
87.综上所述，本技术实施例，可以将感知网数据和目标单位的单位网络数据进行融合，并生成以资源库和知识图谱为载体的数据存储方式，可以包括如下步骤：
88.1、收集感知网中图像视频的人、车结构化信息和目标单位的单位网络中结构和半结构的行业信息、执勤信息和互联网、物联网信息；
89.2、根据大数据处理技术总体规范指导意见，整理了资源库和知识图谱的业务要素范围和知识图谱结点、关系范围；
90.3、整理分析现有的数据表和业务要素、图结点和关系，提出一种中间概念数据模板表，用于简化、自动化处理原始数据表；
91.4、对原始表进行模板类别和标签类别设置，并将原始数据表和概念模板表进行字段对应，将n个原始表格映射到m个中间概念模板表(n》m)；
92.5、采用sql操作脚本、nlp提取文本中的实体、实体和实体关系的技术，从m个概念模板表中抽取业务要素、知识图谱的节点和节点的三元rdf关系；
93.6、并从感知网中通过人脸识别、车牌识别对车辆和行人、非标车进行身份证和车牌号的唯一id特征提取；
94.7、将提取的各表业务要素、结点和节点关系通过唯一id关联进行信息补充、信息对齐和信息融合，并通过大数据组件redis\ssdb等技术确保实体、关系的唯一性和有效性；
95.8、生成感知网和目标单位的单位网络的融合资源库和知识图谱库，为上层应用提供多维数据服务。
96.可以看出，本技术实施例中所描述的数图融合库构建方法，确定感知网络的第一结构化数据，确定目标单位的单位网络的第二结构化数据，对第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，第一要素、第一实体和第一实体关系用于构造数图表，对第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，第二要素、第二实体和第二实体关系用于构造资源库，建立概念模板表，该概念模板表用于表征源数据与概念模板表之间的映射关系，根据资源库抽取要素关联关系，根据数图库抽取知识图谱实体、实体关系，根据概念模板表、要素关联关系、知识图谱实体、实体关系实现感知网络与目标单位的单位网络之间的融合，如此，可以快速地提取目标人、车、物的相关信息，由于感知网络与目标单位的单位网络均包括目标人、车、物的相关信息，且将两者之间结构化数据处理，以及通过概念模板建立桥梁，进而可以高效地利用可视化。
97.与上述图1a所示的实施例一致地，请参阅图2，图2是本技术实施例提供的一种数图融合库构建方法的流程示意图，应用于电子设备，如图所示，本数图融合库构建方法包括：
98.201、确定感知网络的第一结构化数据，所述第一结构化数据包括人、车、物的相关数据。
99.202、确定目标单位的单位网络的第二结构化数据，所述第二结构化数据包括人、车、物的相关数据。
100.203、对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表。
101.204、对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库。
102.205、建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系。
103.206、根据所述资源库抽取要素关联关系；根据数图库抽取知识图谱实体、实体关系。
104.207、通过所述概念模板表、所述要素关联关系确定包含预设要素的第一数据组。
105.208、根据所述概念模板表和所述知识图谱实体、实体关系确定包含所述预设要素的第二数据组。
106.209、将所述第一数据组与所述第二数据组进行融合。
107.其中，上述步骤201-步骤209的具体描述可以参照上述图1a所描述的数图融合库构建方法的相应步骤，在此不再赘述。
108.可以看出，本技术实施例中所描述的数图融合库构建方法，可以快速地提取目标人、车、物的相关信息，由于感知网络与目标单位的单位网络均包括目标人、车、物的相关信息，且将两者之间结构化数据处理，以及通过概念模板建立桥梁，进而可以高效地利用可视化。
109.与上述实施例一致地，请参阅图3，图3是本技术实施例提供的一种电子设备的结
构示意图，如图所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，应用于电子设备，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本技术实施例中，上述程序包括用于执行以下步骤的指令：
110.确定感知网络的第一结构化数据；
111.确定目标单位的单位网络的第二结构化数据；
112.对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表；
113.对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库；
114.建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系；
115.根据所述资源库抽取要素关联关系；根据抽取知识图谱实体、实体关系；
116.根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合。
117.可选的，在所述确定感知网络的第一结构化数据方面，上述程序包括用于执行以下步骤的指令：
118.通过至少一种图像处理算法获取所述感知网络中的目标信息，所述图像处理算法包括以下至少一种：目标检测算法、人脸识别算法、目标识别算法、图像分割算法；
119.将所述目标信息结构化处理，得到所述第一结构化数据。
120.可选的，在所述对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系方面，上述程序包括用于执行以下步骤的指令：
121.根据所述第一结构化数据确定第一原始数据表；
122.根据所述第一原始数据表抽取预设目标的标识符、知识图谱的实体以及实体关系、目标频率时空分布；
123.根据所述预设目标的标识符、所述知识图谱的实体以及实体关系、所述目标频率时空分布确定所述第一要素、所述第一实体和所述第一实体关系。
124.可选的，在所述建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系方面，上述程序包括用于执行以下步骤的指令：
125.确定所述感知网络对应的数图表；
126.确定所述目标单位的单位网络对应的原始表；
127.根据所述数图表和所述原始表确定所述概念模板表。
128.可选的，在所述根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合方面，上述程序包括用于执行以下步骤的指令：
129.通过所述概念模板表、所述要素关联关系确定包含预设要素的第一数据组；
130.根据所述概念模板表和所述知识图谱实体、实体关系确定包含所述预设要素的第二数据组；
131.将所述第一数据组与所述第二数据组进行融合。
132.可以看出，本技术实施例中所描述的电子设备，确定感知网络的第一结构化数据，
确定目标单位的单位网络的第二结构化数据，对第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，第一要素、第一实体和第一实体关系用于构造数图表，对第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，第二要素、第二实体和第二实体关系用于构造资源库，建立概念模板表，该概念模板表用于表征源数据与概念模板表之间的映射关系，根据资源库抽取要素关联关系，根据数图库抽取知识图谱实体、实体关系，根据概念模板表、要素关联关系、知识图谱实体、实体关系实现感知网络与目标单位的单位网络之间的融合，如此，可以快速地提取目标人、车、物的相关信息，并高效地利用可视化。
133.图4是本技术实施例中所涉及的数图融合库构建装置400的功能单元组成框图。该数图融合库构建装置400，应用于电子设备，所述装置400包括：确定单元401、抽取单元402和融合单元403，其中，
134.所述确定单元401，用于确定感知网络的第一结构化数据；以及确定目标单位的单位网络的第二结构化数据；
135.所述抽取单元402，用于对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，所述第一要素、所述第一实体和所述第一实体关系用于构造数图表；以及对所述第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，所述第二要素、所述第二实体和所述第二实体关系用于构造资源库；
136.所述融合单元403，用于建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系；根据所述资源库抽取要素关联关系；根据抽取知识图谱实体、实体关系；根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合。
137.可选的，在所述确定感知网络的第一结构化数据方面，所述确定单元401具体用于：
138.通过至少一种图像处理算法获取所述感知网络中的目标信息，所述图像处理算法包括以下至少一种：目标检测算法、人脸识别算法、目标识别算法、图像分割算法；
139.将所述目标信息结构化处理，得到所述第一结构化数据。
140.可选的，在所述对所述第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系方面，所述抽取单元402具体用于：
141.根据所述第一结构化数据确定第一原始数据表；
142.根据所述第一原始数据表抽取预设目标的标识符、知识图谱的实体以及实体关系、目标频率时空分布；
143.根据所述预设目标的标识符、所述知识图谱的实体以及实体关系、所述目标频率时空分布确定所述第一要素、所述第一实体和所述第一实体关系。
144.可选的，在所述建立概念模板表，该概念模板表用于表征源数据与所述概念模板表之间的映射关系方面，所述融合单元403具体用于：
145.确定所述感知网络对应的数图表；
146.确定所述目标单位的单位网络对应的原始表；
147.根据所述数图表和所述原始表确定所述概念模板表。
148.可选的，在所述根据所述概念模板表、所述要素关联关系、所述知识图谱实体、实体关系实现所述感知网络与所述目标单位的单位网络之间的融合方面，所述融合单元403具体用于：
149.通过所述概念模板表、所述要素关联关系确定包含预设要素的第一数据组；
150.根据所述概念模板表和所述知识图谱实体、实体关系确定包含所述预设要素的第二数据组；
151.将所述第一数据组与所述第二数据组进行融合。
152.可以看出，本技术实施例中所描述的数图融合库构建装置，确定感知网络的第一结构化数据，确定目标单位的单位网络的第二结构化数据，对第一结构化数据进行要素、实体、实体关系抽取，得到第一要素、第一实体和第一实体关系，第一要素、第一实体和第一实体关系用于构造数图表，对第二结构化数据进行要素、实体、实体关系抽取，得到第二要素、第二实体和第二实体关系，第二要素、第二实体和第二实体关系用于构造资源库，建立概念模板表，该概念模板表用于表征源数据与概念模板表之间的映射关系，根据资源库抽取要素关联关系，根据数图库抽取知识图谱实体、实体关系，根据概念模板表、要素关联关系、知识图谱实体、实体关系实现感知网络与目标单位的单位网络之间的融合，如此，可以快速地提取目标人、车、物的相关信息，并高效地利用可视化。
153.可以理解的是，本实施例的数图融合库构建装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
154.本技术实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
155.本技术实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
156.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
157.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
158.在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
159.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
160.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
161.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram， random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
162.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：randomaccess memory，简称：ram)、磁盘或光盘等。
163.以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。