一种生成并存储元数据的方法、系统、设备和存储介质与流程

本发明涉及安防监控，更具体地，特别是指一种生成并存储元数据的方法、系统、设备和存储介质。

背景技术：

1、现有技术中采用元数据与数据分开存储来实现高效的存储业务层，无论是元数据块和数据块分开存储的实现方案还是优化方案中，每个存储节点服务都要生成和管理所有类型的视频业务元数据，这就导致了录像检索耗时较长；两种方案在读取数据时都要进行多次io才能定位到需要读取的位置；在元数据的可靠性处理上都做不到在资源消耗很低的情况下提供高性能、高可靠的存储系统。目前的实现方案都存在以下问题：

2、1、元数据生成和管理的方式导致录像检索时要向所有存储节点进行检索，将所有存储节点的返回结果进行合并后才返回给调用者，无法做到录像检索的秒级返回。录像数据读取时要进行多次io才能定位到读取的位置，无法做到最多两次io就能读取到录像。

3、2、在业务故障切换和空间负载均衡上也有限制，比如某个存储节点故障，故障节点上的存储业务将会切换到其它存储节点，在故障节点恢复后会对系统中的存储业务进行负载均衡，将会把其它存储节点上的部分存储业务切换到刚恢复的节点上，这种情况会导致在存储周期内一些通道所占用的未写满存储空间无法释放而导致空间的浪费。

4、3、需要有专门的元数据服务器或者配置较高的服务器节点来存储元数据来提供高性能、高可靠的分布式存储系统。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种生成并存储元数据的方法、系统、电子设备及计算机可读存储介质，本发明将不同类型的视频业务元数据使用一对多的方式进行关联起来，并将存储系统分离出不同的服务进程来生成和管理不同类型的元数据，不同的服务进程承担不同的业务功能，在保证数据读写高性能的情况下，使用较低资源对视频存储系统的可靠性、扩展性、兼容性进行了有效提高和改进。

2、基于上述目的，本发明实施例的一方面提供了一种生成并存储元数据的方法，包括如下步骤：定义元数据的多种类型，并设置不同类型的元数据之间的关联关系；根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据；以及将不同类型的元数据存储到不同的元数据数据库，并对不同的元数据数据库采用不同的冗余保护策略以保证元数据的一致性。

3、在一些实施方式中，所述定义元数据的多种类型包括：将元数据分为节点信息、通道信息、块文件信息和时间段信息，所述节点信息用于描述节点服务信息，所述通道信息用于描述摄像机录像信息，所述块文件信息用于描述所在节点服务所分配的存储资源信息，所述时间段信息用于描述视频数据的属性、类型和位置。

4、在一些实施方式中，所述设置不同类型的元数据之间的关联关系包括：设置一个通道信息对应多个块文件信息，并设置一个块文件信息对应多个时间段信息。

5、在一些实施方式中，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：将节点信息和通道信息设置为全局元数据，并将块文件信息和时间段信息设置为本地节点元数据；以及通过中心服务管理所述全局元数据，并通过节点服务管理所述本地节点元数据。

6、在一些实施方式中，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：通过中心服务定时检测所有通道信息元数据，并对每个通道信息元数据的时间段列表进行检测以判断时间段的状态是否锁定；响应于时间段的状态未锁定且中心服务检测到存在时间段的结束时间超过通道的存储周期，通过中心服务向所述时间段所在的节点服务发送淘汰所述时间段的指令；响应于节点服务接收到所述指令，根据所述时间段标识更新所述时间段信息元数据的状态；以及将所述时间段信息从通道信息元数据中清除，并向数据库更新通道信息元数据。

7、在一些实施方式中，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：通过节点服务定时检测所有块文件信息元数据和时间段信息元数据，判断当前块文件是否正在进行读或写操作；响应于当前块文件未进行读或写操作，通过节点服务检测块文件上的所有时间段信息元数据的状态，并判断时间段信息元数据的状态是否均处于淘汰状态；响应于时间段信息元数据均处于淘汰状态，通过节点服务将所述块文件回收为空闲块，并删除所述块文件上所有时间段信息元数据；以及通过节点服务更新回收的块文件信息元数据，并同时向中心服务同步元数据信息。

8、在一些实施方式中，所述将不同类型的元数据存储到不同的元数据数据库，并对不同的元数据数据库采用不同的冗余保护策略以保证元数据的一致性包括：使用集群模式的数据库对所述全局元数据进行存储，并使用双备份的数据库对所述本地节点元数据进行存储。

9、本发明实施例的另一方面，提供了一种生成并存储元数据的系统，包括：定义模块，用于定义元数据的多种类型，并设置不同类型的元数据之间的关联关系；管理模块，用于根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据；以及存储模块，用于将不同类型的元数据存储到不同的元数据数据库，并对不同的元数据数据库采用不同的冗余保护策略以保证元数据的一致性。

10、本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

11、本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

12、本发明具有以下有益技术效果：将不同类型的视频业务元数据使用一对多的方式进行关联起来，并将存储系统分离出不同的服务进程来生成和管理不同类型的元数据，不同的服务进程承担不同的业务功能，在保证数据读写高性能的情况下，使用较低资源对视频存储系统的可靠性、扩展性、兼容性进行了有效提高和改进。

技术特征：

1.一种生成并存储元数据的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的生成并存储元数据的方法，其特征在于，所述定义元数据的多种类型包括：

3.根据权利要求2所述的生成并存储元数据的方法，其特征在于，所述设置不同类型的元数据之间的关联关系包括：

4.根据权利要求2所述的生成并存储元数据的方法，其特征在于，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：

5.根据权利要求2所述的生成并存储元数据的方法，其特征在于，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：

6.根据权利要求5所述的生成并存储元数据的方法，其特征在于，所述根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据的步骤包括：

7.根据权利要求4所述的生成并存储元数据的方法，其特征在于，所述将不同类型的元数据存储到不同的元数据数据库，并对不同的元数据数据库采用不同的冗余保护策略以保证元数据的一致性包括：

8.一种生成并存储元数据的方法，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。

技术总结
本发明提供一种生成并存储元数据的方法、系统、设备和存储介质，方法包括：定义元数据的多种类型，并设置不同类型的元数据之间的关联关系；根据定义生成不同类型的元数据，并通过不同的服务进程管理对应类型的元数据；以及将不同类型的元数据存储到不同的元数据数据库，并对不同的元数据数据库采用不同的冗余保护策略以保证元数据的一致性。本发明将不同类型的视频业务元数据使用一对多的方式进行关联起来，并将存储系统分离出不同的服务进程来生成和管理不同类型的元数据，不同的服务进程承担不同的业务功能。

技术研发人员：夏华丽,郭军,张志勇
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：
技术公布日：2024/1/15