一种面向公共安全领域的多模态数据一体化融合分析系统的制作方法

本发明涉及数据处理，具体涉及一种面向公共安全领域的多模态数据一体化融合分析系统。

背景技术：

1、当前，人脸识别技术已成为城市安全建设的重要抓手，各地积极开展人脸识别基础设施建设，随之产生的人脸图像、监控视频等多模态数据呈指数级增长。如何对这些多模态数据进行一体化接入、统一存储并融合分析，已经成为公共安全领域亟待解决的难题。

2、现有的多模态数据接入存储技术中，按照结构化、半结构化、非结构化分类接入后，分别存储在相应的数据存储系统，结构化文本数据选择关系型数据库或非关系型数据库进行存储，半结构化、非结构化数据需要根据数据大小选择对应的小文件类分布式文件系统或大文件类分布式文件系统进行存储。存储存在无法统一访问的问题，给后续的数据检索、数据分析带来一定的对接难度和工作量。

3、另外，现有技术中，多模态数据可根据数据间关系进行关联分析，形成目标对象，但缺乏对多模态数据融合准确率的挖掘及数据时空异常轨迹挖掘，对于数据检索，仅提供针对结构化信息的关键词检索和针对非结构化数据的向量相似度检索，缺乏多模态混合检索能力。

技术实现思路

1、针对现有技术的不足，本发明旨在提供一种面向公共安全领域的多模态数据一体化融合分析系统。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种面向公共安全领域的多模态数据一体化融合分析系统，包括多模态数据一体化接入模块、多模态数据统一存储模块、多模态数据检索模块和多模态数据挖掘模块；

4、多模态数据一体化接入模块：用于对多模态数据进行分类接入，其中，对于结构化数据，通过流批一体化引擎接入，既提供批量数据接入以实现多源数据的统一接入，也提供数据流式实时接入；对于半结构化数据，通过批处理引擎对半结构化数据进行处理后将其以结构化模式存储；对于非结构化数据，支持批处理引擎接入，并支持通过兼容1400标准协议的http接口实时接入；

5、多模态数据统一存储模块：多模态数据一体化接入模块接入结构化数据和半结构化数据后，多模态数据统一存储模块将其统一存入数据仓库，对后续的分析查询提供支撑；在非结构化数据接入时，多模态数据统一存储模块对于非结构化数据的原始数据按照文件大小区分，小文件数据存入分布式文件系统，大文件数据则存入开源对象存储系统；

6、多模态数据统一存储模块还提供存储中间层，引入存储缓存对支持s3协议的对象存储进行统一管理，实现非结构化数据对外提供统一的s3访问模式；多模态数据统一存储模块同时提供特征提取功能对非结构化数据进行向量化处理，形成向量数据并存入向量数据库；

7、多模态数据检索模块：用于对常用的检索字段生成相应的倒排索引来对查询加速，支持亿级数据下的毫秒级多维检索及关键词检索；对于非结构化数据检索，基于向量数据库提供非结构化近似检索功能，且对检索结果进行标量过滤，从而提供多模态混合检索功能；

8、多模态数据挖掘模块：用于提供多种数据挖掘模型，对多模态数据实现跨模态挖掘，提升多模态数据融合准确性并挖掘数据间关联关系。

9、进一步地，所述分布式文件系统基于seaweedfs集群构建，所述开源对象存储系统基于minio集群构建，所述存储中间层基于juicefs构建。

10、进一步地，所述向量数据库基于elasticsearch集群构建。

11、进一步地，在所述多模态数据检索模块中，基于elasticsearch集群搭建elasticsearch索引库，基于mongodb集群搭建mongodb数据仓库，elasticsearch索引库与mongodb数据仓库内的数据可进行实时同步，将常用的检索字段实时同步至elasticsearch索引库，构建倒排索引，保障系统的毫秒级检索能力。

12、更进一步地，依赖elasticsearch索引库和mongodb数据仓库实现毫秒级多维数据检索和关键词检索的具体过程为：先根据多维条件或关键词到elasticsearch索引库检索，得到符合条件的所有数据的id清单，由于检索字段都已实现倒排索引，所以检索可在毫秒级完成；根据id清单，组合查询条件，到mongodb数据仓库内进行查找；然后拼接所有结果数据，返回调用方。

13、本发明的有益效果在于：本发明对多模态数据进行分类后实现流批一体化接入存储，采用存储中间层技术对存储非结构化数据的异构存储系统进行统一管理，对外提供统一访问方式，降低数据分析、数据挖掘模块对接存储的工作量。另外，本发明在多模态数据检索方面提供毫秒级结构化数据检索能力、秒级非结构化数据检索和秒级跨模态混合检索能力，并可对多模态数据进行跨模态数据挖掘，提升多模态数据的融合准确性，挖掘数据间的关联关系。

技术特征：

1.一种面向公共安全领域的多模态数据一体化融合分析系统，其特征在于，包括多模态数据一体化接入模块、多模态数据统一存储模块、多模态数据检索模块和多模态数据挖掘模块；

2.根据权利要求1所述的系统，其特征在于，所述分布式文件系统基于seaweedfs集群构建，所述开源对象存储系统基于minio集群构建，所述存储中间层基于juicefs构建。

3.根据权利要求1所述的系统，其特征在于，所述向量数据库基于elasticsearch集群构建。

4.根据权利要求1所述的系统，其特征在于，在所述多模态数据检索模块中，基于elasticsearch集群搭建elasticsearch索引库，基于mongodb集群搭建mongodb数据仓库，elasticsearch索引库与mongodb数据仓库内的数据可进行实时同步，将常用的检索字段实时同步至elasticsearch索引库，构建倒排索引，保障系统的毫秒级检索能力。

5.根据权利要求4所述的系统，其特征在于，依赖elasticsearch索引库和mongodb数据仓库实现毫秒级多维数据检索和关键词检索的具体过程为：先根据多维条件或关键词到elasticsearch索引库检索，得到符合条件的所有数据的id清单，由于检索字段都已实现倒排索引，所以检索可在毫秒级完成；根据id清单，组合查询条件，到mongodb数据仓库内进行查找；然后拼接所有结果数据，返回调用方。

技术总结
本发明公开了一种面向公共安全领域的多模态数据一体化融合分析系统，对多模态数据进行分类后实现流批一体化接入存储，采用存储中间层技术对存储非结构化数据的异构存储系统进行统一管理，对外提供统一访问方式，降低数据分析、数据挖掘模块对接存储的工作量。另外，本发明在多模态数据检索方面提供毫秒级结构化数据检索能力、秒级非结构化数据检索和秒级多模态混合检索能力，并可对多模态数据进行跨模态数据挖掘，提升多模态数据的融合准确性，挖掘数据间的关联关系。

技术研发人员：杜悦
受保护的技术使用者：公安部第一研究所
技术研发日：
技术公布日：2024/2/6