视频结构化信息的处理方法、装置、设备及存储介质与流程

1.本发明实施例涉及数据处理技术领域，尤其涉及一种视频结构化信息的处理方法、装置、设备及存储介质。


背景技术：

2.视频结构化处理技术，通过采用时空分割、特征提取、对象识别等手段对视频内容进行提取，以获取可供计算机和人类理解的结构化信息，对视频数据的信息化、情报化以及智能化应用具有重要意义。
3.现有的视频结构化信息存储技术，如图1所示，通常是将视频结构化信息中的结构化描述信息和特征向量直接存储至数据库，以及将图像信息以文件形式存储至磁盘，并将图像存储地址作为统一资源定位符(uniform resource locator，url)存储至数据库。
4.然而，当需要根据特征向量比对进行行人或者物体识别时，需要开发额外的数据库插件进行特征向量相似度的计算，以在数据库中查找与待检索特征向量匹配的目标特征向量；同时，进行大量特征向量的相似度比对，需要花费大量的时间，导致目标对象识别的实时性较差。


技术实现要素：

5.本发明实施例提供一种视频结构化信息的处理方法、装置、设备及存储介质，以通过将视频结构化信息中的特征向量单独存储至时间信息对应的特征向量存储文件，避免额外数据库插件的开发，减少特征向量相似度比对的工作量，提升目标对象识别效率。
6.第一方面，本发明实施例提供了一种视频结构化信息的处理方法，包括：
7.对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息；
8.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识；
9.将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
10.可选的，还包括：获取检索视频图像标识和检索时间信息，并根据所述检索时间信息确定匹配的目标特征向量存储文件和目标特征向量索引存储文件；
11.在目标特征向量索引存储文件中，确定所述检索视频图像标识的存储顺序，并根据所述存储顺序，在目标特征向量存储文件中确定匹配的特征向量。
12.采用上述技术方案，首先根据检索时间信息，查找匹配的特征向量存储文件和特征向量索引存储文件，进而根据检索视频图像标识，查找匹配的特性向量，实现了对匹配特征向量的高效检索，提升了特征向量的检索效率。
13.可选的，所述视频结构化信息还包括结构化图像信息；
14.在将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件之后，还包括：
15.将所述结构化图像信息存储至所述时间信息对应的图像存储文件，并获取所述结构化图像信息在所述图像存储文件中的存储长度和存储起始位置；
16.根据预设命名规则，确定所述结构化图像信息的图像名称，并将所述图像名称、存储长度和存储起始位置的对应信息，作为所述结构化图像信息的索引存储至所述时间信息对应的图像索引存储文件中，并生成所述图像名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库。
17.采用上述技术方案，通过将一定时间内获取的结构化图像信息，存储至同一个图像存储文件，并生成对应的索引存储至时间信息对应的图像索引存储文件，可以避免每一个结构化图像信息都需要一个单独的存储文件，降低存储硬盘所在节点读写阻塞的风险。同时，通过仅将文件名称、视频图像标识和结构化描述信息的对应关系存储至数据库，可以降低数据库存储数据的数据量，降低数据库的存储压力。
18.可选的，在生成所述图像名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库之后，还包括：
19.获取检索视频图像标识，并在所述数据库中查找与所述检索视频图像标识匹配的目标对应关系；
20.根据所述目标对应关系中结构化描述信息的时间信息，获取对应的目标图像索引存储文件和目标图像存储文件；
21.根据所述目标对应关系中的图像名称，在所述目标图像索引存储文件中，确定与所述图像名称匹配的目标对应信息，并根据所述目标对应信息中的存储长度和存储起始位置，在所述目标图像存储文件中确定匹配的结构化图像信息。
22.采用上述技术方案，首先在数据库中查找与检索视频图像标识匹配的图像名称和时间信息，进而在时间信息对应的图像索引存储文件中，获取该图像名称对应的结构化图像信息，在图像存储文件中的起始位置和存储长度，最终在图像存储文件中获取具体的结构化图像信息；实现了仅根据视频图像标识，对结构化图像信息的高效检索，同时简化了检索信息，提升了检索效率。
23.可选的，在将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件之后，还包括：
24.获取检索特征向量和检索时间范围，并根据所述检索时间范围，确定匹配的目标特征向量存储文件和对应的目标特征向量索引存储文件；
25.在目标特征向量存储文件中，确定与所述检索特征向量的相似度大于或者等于预设相似度阈值的特征向量，并作为相似特征向量；
26.确定所述相似特征向量在所述目标特征向量存储文件中的存储顺序，并根据所述存储顺序，在所述目标特征向量索引存储文件中获取匹配的目标视频图像标识，将所述目标视频图像标识作为所述检索特征向量的识别结果。
27.采用上述方案，通过在根据检索特征向量进行相似度比对之前，预先根据检索时间范围，对特征向量存储文件进行筛选，可以避免检索特征向量与全部存储特征向量间相似度的逐一计算，极大降低了特征向量相似度计算的工作量，减少了特征向量相似度比对耗时，提升了检索特征向量对应识别结果的获取效率。
28.可选的，还包括：每间隔预设周期，执行对所述特征向量存储文件、特征向量索引
存储文件、图像存储文件和图像索引存储文件的备份操作。
29.采用上述方案，通过定时对各存储文件进行备份，避免了数据丢失，提升了数据安全性。
30.可选的，还包括：每间隔预设时间，生成特征向量存储文件、特征向量索引存储文件、图像存储文件和图像索引存储文件，并根据文件生成时间和预设命名规则确定所述特征向量存储文件、特征向量索引存储文件、图像存储文件和图像索引存储文件的文件名称。
31.采用上述方案，通过每间隔一定时间，即生成对应的各类存储文件，并基于生成时间，对各存储文件进行命名，实行了时间信息对应存储文件的稳定获取，进而提升了视频结构化信息存储的稳定性。
32.第二方面，本发明实施例还提供了一种视频结构化信息的处理装置，包括：
33.视频结构化模块，用于对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息；
34.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识；
35.特征向量存储检索模块，用于将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
36.第三方面，本发明实施例还提供了一种电子设备，包括：
37.一个或多个处理器；
38.存储装置，用于存储一个或多个程序，
39.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的视频结构化信息的处理方法。
40.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的视频结构化信息的处理方法。
41.本发明实施例提供的技术方案，通过对输入的视频图像进行视频结构化处理，获取对应的特征向量、时间信息和视频图像标识；并将该特征向量存储至时间信息对应的特征向量存储文件，以及将视频图像标识作为该特征向量的索引，存储至时间信息对应的特征向量索引存储文件；通过将特征向量单独存储至时间信息对应的特征向量存储文件，并生成对应的索引存储至特征向量索引存储文件，可以避免开发额外数据库插件进行特征向量相似度的计算，可以减少特征向量相似度比对的耗时，提升目标对象的识别效率。
附图说明
42.图1为现有技术中的视频结构化信息的处理方法的示意图；
43.图2是本发明实施例提供的一种视频结构化信息的处理方法的流程图；
44.图3是本发明实施例提供的另一种视频结构化信息的处理方法的流程图；
45.图4是本发明实施例提供的另一种视频结构化信息的处理方法的流程图；
46.图5a是本发明实施例提供的另一种视频结构化信息的处理方法的流程图；
47.图5b是本发明实施例提供的一种视频结构化信息的处理系统的结构示意图；
48.图5c是本发明实施例提供的一种视频结构化信息的处理方法的流程示意图；
49.图5d是本发明实施例提供的另一种视频结构化信息的处理方法的流程示意图；
50.图6是本发明实施例提供的一种视频结构化信息的处理装置的结构框图；
51.图7是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
52.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
53.图2为本发明实施例提供的一种视频结构化信息的处理方法的流程图，本发明实施例可适用于利用与时间信息对应的特征向量存储文件和特征向量索引存储文件，对视频结构化信息中的特征向量进行单独存储；该方法可以由本发明实施例中的视频结构化信息的处理装置来执行，该装置可以通过软件和/或硬件实现，并集成在电子设备上，所述方法具体包括如下步骤：
54.s110、对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息。
55.其中，视频结构化信息包括特征向量和结构化描述信息；结构化描述信息包括时间信息和视频图像标识。时间信息，可以是视频图像的获取时间；视频图像标识(identification，id)，是在视频图像结构化信息处理系统中，用于唯一标识某一视频图像的字符串，长度固定。可以理解的是，视频结构化信息还可以包括在视频图像中截取的，包含目标对象的数值型结构化图像信息。
56.在本实施例中，输入的视频图像，可以是在视频监控设备实时拍摄的监控视频中截取的目标对象图像，也可以是网络中获取的，包括各类目标对象的图像；其中，目标对象可以是人员、车辆、物品或者行为等。在本实施例中，对视频图像的获取方式不作具体限定。
57.在本实施例中，可以通过人工智能(artificial intelligence，ai)技术(例如，卷积神经网络、朴素贝叶斯算法等)，对输入的视频图像进行视频结构化处理，以获取视频图像对应的特征向量和结构化描述信息。其中，特征向量，为利用深度学习模型提取的数值型图像特征组成的向量数据，典型的，特征向量可以是长度固定(例如，128、256或者512)的单精度一维数组。
58.需要说明的是，结构化描述信息的内容与视频图像中目标对象的类型相关；例如，当结构化描述的目标对象为人员时，其对应的结构化描述信息可以包括人员脸部的定位、提取的脸部特征、人员性别、年龄范围、身高信息、服饰特征、发饰特征、配饰、携带物品、步履形态以及交通工具等。又如，当目标对象为车辆时，其对应的结构化描述信息可以包括车牌、品牌、颜色、车型、子品牌、车贴以及饰物信息等。又如，当目标对象为人员行为时，其对应的结构化描述信息可以包括区域、越界、徘徊、遗留以及聚集等。
59.s120、将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
60.在本实施例中，在获取到视频图像对应的特征向量和结构化描述信息之后，可以在结构化描述信息中提取对应的时间信息和视频图像标识；进而根据当前的时间信息，查
找与该时间信息匹配的特征向量存储文件和特征向量索引存储文件。在确定特征向量存储文件和特征向量索引存储文件之后，先将特征向量以二进制形式追加写入特征向量存储文件，再将特征向量对应的视频图像标识，作为该特征向量的索引，追加写入至特征向量索引存储文件。值的注意的是，特征向量和对应的特征向量索引，分别存储至不同的存储文件。
61.可以理解的是，由于视频图像标识的长度固定，且同类型目标对象的特征向量长度相同；由此，视频图像标识在特征向量索引存储文件中的存储顺序，即为特征向量在特征向量存储文件中的存储顺序，两者可通过自然顺序进行自动关联。其中，特征向量存储文件和特征向量索引存储文件可以存储在磁盘中。
62.需要说明的是，在一定时间内(例如，一个小时)获取的特征向量，均存储至同一个存储文件。具体的，在获取到特征向量和对应的时间信息之后，可以根据当前时间信息，确定对应的整点时间，进而确定该整点时间对应的存储文件。例如，当前时间信息为4:30，其对应的整点时间为4:00，则可以将特征向量存储至4:00对应的特征向量存储文件；又如，当前时间信息为5:10，则可以将该特征向量存储至5:00对应的特征向量存储文件。
63.其中，特征向量存储文件和特征向量索引存储文件的文件名称均与时间信息相关；典型的，文件名称可以为xxx.y的格式，xxx可以为整点时间，例如，2021072911，表示该存储文件对应的时间为2021年7月29日11点。特征向量存储文件和特征向量索引存储文件，可以通过“.”后的内容进行区分；例如，特征向量存储文件的文件名称为2021072911.feat，其对应特征向量索引存储文件的文件名称为2021072911.ids。
64.在本实施例中，通过将一定时间内获取的特征向量，归档至一个特征向量存储文件，同时将当前各特征向量的索引，归档至一个特征向量索引存储文件，可以减少需要存储的文件数量，进而可以降低系统索引节点inode的压力，避免大量文件占用inode导致读写阻塞。
65.在本实施例的一个可选的实施方式中，还可以获取检索视频图像标识和检索时间信息，并根据所述检索时间信息确定匹配的目标特征向量存储文件和目标特征向量索引存储文件；在目标特征向量索引存储文件中，确定所述检索视频图像标识的存储顺序，并根据所述存储顺序，在目标特征向量存储文件中确定匹配的特征向量。
66.在本实施例中，在对存储的特征向量进行检索时，用户可以在视频结构化信息处理系统输入需要检索的检索视频图像标识和检索时间信息；系统将接收的检索视频图像标识和检索时间信息发送至特征向量检索程序，特征向量检索程序首先在磁盘中确定与检索时间信息匹配的目标特征向量存储文件和目标特征向量索引存储文件，进而在目标特征向量索引存储文件中，查找该检索视频图像标识对应的存储顺序，并在目标特征向量存储文件中获取相同存储顺序的特征向量，作为检索结果。
67.在本实施例中，通过根据检索时间信息，查找匹配的特征向量存储文件和特征向量索引存储文件，进而根据检索视频图像标识，查找匹配的特征向量，实现了对匹配特征向量的高效检索，提升了特征向量的检索效率。
68.本发明实施例提供的技术方案，通过对输入的视频图像进行视频结构化处理，获取对应的特征向量、时间信息和视频图像标识；并将该特征向量存储至时间信息对应的特征向量存储文件，以及将视频图像标识作为该特征向量的索引，存储至时间信息对应的特征向量索引存储文件；通过将特征向量单独存储至时间信息对应的特征向量存储文件，并
生成对应的索引存储至特征向量索引存储文件，可以避免开发额外数据库插件进行特征向量相似度的计算，可以减少特征向量相似度比对的耗时，提升目标对象的识别效率。
69.图3为本发明实施例提供的一种视频结构化信息的处理方法的流程图，本实施例在上述实施例的基础上进行具体化，在本实施例中，针对获取的检索特征向量和检索时间范围，确定检索特征向量对应的识别结果，该方法具体包括：
70.s210、对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息。
71.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识。
72.s220、将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
73.s230、获取检索特征向量和检索时间范围，并根据所述检索时间范围，确定匹配的目标特征向量存储文件和对应的目标特征向量索引存储文件。
74.在一种场景下，当需要利用已存储的特征向量，对获取图像中的目标对象进行识别时；可以首先利用训练完成的深度学习模型对待识别图像进行特征提取，以获取对应的检索特征向量；同时可以综合业务需求，确定检索时间范围。进一步的，可以通过预先编写的特征向量比对程序，根据当前的检索时间范围，对磁盘中存储的特征向量存储文件和特征向量索引存储文件进行筛选，以获取对应的目标特征向量存储文件和目标特征向量索引存储文件。
75.在本实施例中，当检索时间范围为不规则时间范围时，可以根据检索时间范围，确定对应的整点时间范围，进而根据该整点时间范围对存储文件进行筛选。例如，检索时间范围为2021年10月15日的3:20至5:00，则可以确定对应的整点时间范围为2021年10月15日的3:00至5:00；由此，可以确定对应的文件名应为2021101503.feat、2021101503.ids、2021101504.feat以及2021101504.ids。
76.在本实施例中，通过根据检索时间范围，预先对特征向量存储文件进行筛选，可以降低特征向量相似度比对的工作量，提升获取检索特征向量对应相似特征向量的速度。
77.s240、在目标特征向量存储文件中，确定与所述检索特征向量的相似度大于或者等于预设相似度阈值的特征向量，并作为相似特征向量。
78.在本实施例中，在完成对目标特征向量存储文件的筛选之后，可以通过预设相似度计算方法，例如，相似最近邻算法，分别计算检索特征向量与目标特征向量存储文件中每个特征向量的相似度；通过将检索特征向量与各特征向量间相似度与预设相似度阈值进行比较，以获取相似度大于或者等于预设相似度阈值的特征向量作为相似特征向量。
79.s250、确定所述相似特征向量在所述目标特征向量存储文件中的存储顺序，并根据所述存储顺序，在所述目标特征向量索引存储文件中获取匹配的目标视频图像标识，将所述目标视频图像标识作为所述检索特征向量的识别结果。
80.具体的，在目标特征向量存储文件中确定相似特征向量之后，确定该相似特征向量在目标特征向量存储文件中的存储顺序；进而在目标特征向量索引存储文件中与该存储顺序相同的存储顺序处，获取对应的目标视频图像标识，并将该目标视频图像标识作为该检索特征向量对应待检索图像的识别结果。
81.在本实施例中，通过预先编写的特征向量比对程序，确定与检索特征向量对应的相似特征向量，可以避免相关技术中需要开发额外的数据库插件，专门进行特征向量的相似度比对，同时，避免了数据库进行大量特征向量比对导致的高时延问题，提升了特征向量相似度比对效率，进而提升了目标对象的识别效率。
82.本发明实施例提供的技术方案，在完成对特征向量的存储之后，获取检索特征向量和检索时间范围；并在进行检索特征向量匹配之前，预先根据检索时间范围，筛选确定对应的目标特征向量存储文件和目标特征向量索引存储文件；进而将检索特征向量，与目标特征向量存储文件中的各特征向量进行相似度比对，以获取检索特征向量对应的相似特征向量；最终根据相似特征向量在目标特征向量存储文件中的存储顺序，在目标特征向量索引存储文件中获取对应的目标视频图像标识作为检索特征向量的识别结果，避免了检索特征向量与全部已存储特征向量的相似度比对，减少了特征向量相似度比对的工作量，提升了相似特征向量的检索效率。
83.图4为本发明实施例提供的一种视频结构化信息的处理方法的流程图，本实施例在上述实施例的基础上进行具体化，在本实施例中，在完成对特征向量的存储后，进一步将视频结构化信息中的结构化图像信息存储至对应的图像存储文件，以及将图像名称、视频图像标识和结构化描述信息的对应关系存储至数据库，该方法具体包括：
84.s310、对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息。
85.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识。
86.s320、将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
87.s330、将所述结构化图像信息存储至所述时间信息对应的图像存储文件，并获取所述结构化图像信息在所述图像存储文件中的存储长度和存储起始位置。
88.在本实施例中，视频结构化信息还可以包括结构化图像信息；在完成对特征向量和对应索引的存储后，还可以将结构化图像信息存储至磁盘中的对应文件。具体的，首先根据结构化描述信息中的时间信息，确定对应的图像存储文件和图像索引存储文件；进而将该结构化图像信息以二进制的数据形式，存储至确定的图像存储文件中；在完成对结构化图像信息的存储之后，记录该结构化图像信息在图像存储文件中的存储起始位置和存储长度，以作为该结构化图像信息的索引。
89.s340、根据预设命名规则，确定所述结构化图像信息的图像名称，并将所述图像名称、存储长度和存储起始位置的对应信息，作为所述结构化图像信息的索引存储至所述时间信息对应的图像索引存储文件中。
90.其中，预设命名规则，为预先设定的，用于生成各结构化图像信息唯一对应名称的规则；例如，预设命名规则可以是通用唯一识别码(universally unique identifier，uuid)，可以在保证图像名称唯一性的同时，确保不同的图像名称对应固定长度。在本实施例中，可以基于预设命名规则，确定当前结构化图像信息的图像名称，并将该图像名称作为结构化图像信息的统一资源定位符(uniform resource locator，url)，用于对结构化图像信息的检索。
91.在确定当前结构化图像信息对应的图像名称之后，进一步建立图像名称、存储长度和存储起始位置的对应关系，并将该对应关系作为当前结构化图像信息的索引存储至，时间信息对应的图像索引存储文件。值的注意的是，为了保证图像检索时索引信息的准确获取，图像名称、存储长度和存储起始位置需要采用固定长度的存储空间。
92.需要说明的是，图像存储文件和图像索引存储文件的文件名称，与特征向量存储文件和特征向量索引存储文件的文件名称相似，均与时间信息相关。其中，图像存储文件可以以yyyymmddhh.dat命名，对应的图像索引存储文件可以以yyyymmddhh.idx命名；其中，yyyy表示年份，mm表示月份，dd表示日期，hh表示24小时制的整点时间；例如，图像存储文件可以命名为2021072911.dat，表示该图像存储文件对应的时间为2021年7月29日11点。同时，对于一定时间内获取的结构化图像信息，也可以存储至同一个图像存储文件，其具体操作与特征向量相同，在此不作赘述。
93.其中，以一小时获取10000个结构化图像信息为例，若直接将各结构化图像信息以文件形式进行存储，则将存在10000个图像存储文件添加至磁盘，索引节点也需要分别存储10000个图像存储文件对应的索引信息；而若将一个小时内获取的结构化图像信息存储至同一个图像存储文件，同样只需一个图像索引存储文件即可，此时每小时只需存储两个文件，索引节点的占用率降可以低为直接存储的1/5000。
94.因此，在本实施例中，通过对一定时间内的结构化图像信息进行合并存储，可以降低需要存储文件的数量，可以避免将结构化图像信息直接以文件形式写入导致的磁盘索引节点的读写阻塞问题，有效降低了索引节点的压力，实现了对结构化图像信息的高效存储和检索。
95.在本实施例的一个可选的实施方式中，可以每间隔预设时间，生成特征向量存储文件、特征向量索引存储文件、图像存储文件和图像索引存储文件，并根据文件生成时间和预设命名规则确定所述特征向量存储文件、特征向量索引存储文件、图像存储文件和图像索引存储文件的文件名称。
96.可以理解的是，为了保证各视频结构化信息可以存储至对应的存储文件，本实施例可以每间隔预设时间(例如，一个小时)便生成对应的特征向量存储文件、特征向量索引存储文件、图像存储文件以及图像索引存储文件，并根据预设命名规则和文件生成时间，确定各存储文件的文件名称。
97.其中，预设命名规则，可以是yyyymmddhh.x；其中，yyyy对应文件生成时间的年份，mm对应文件生成时间的月份，dd对应文件生成时间的日，hh对应文件生成时间的24小时整点时间。x表示存储文件类型，例如，特征向量存储文件对应的x可以为feat，特征向量索引存储文件对应的x可以为ids，图像存储文件对应的x可以为dat，图像索引存储文件对应的x可以为idx。
98.s350、生成所述图像名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库。
99.在本实施例中，在完成对结构化图像信息和对应索引的存储后，可以将结构化图像信息的图像名称作为图像检索url，并将图像检索url、视频图像标识和结构化描述信息的对应关系存储至数据库。其中，数据库可以是elasticsearch(es)数据库，es为构建在apache lucene之上的基于restful web接口的分布式搜索引擎，可以实现对文件数据的分
布式存储，并且其中存储的每个字段和对应的数据均可被搜索和索引，可以实现对大量数据的高效存储、检索和分析。
100.在本实施例的一个可选的实施方式中，在生成所述图像名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库之后，还可以包括：
101.获取检索视频图像标识，并在所述数据库中查找与所述检索视频图像标识匹配的目标对应关系；根据所述目标对应关系中结构化描述信息的时间信息，获取对应的目标图像索引存储文件和目标图像存储文件；根据所述目标对应关系中的图像名称，在所述目标图像索引存储文件中，确定与所述图像名称匹配的目标对应信息，并根据所述目标对应信息中的存储长度和存储起始位置，在所述目标图像存储文件中确定匹配的结构化图像信息。
102.在本实施例中，在对已存的结构化图像信息进行检索时，可以根据获取的需要查找对应结构化图像信息的检索视频图像标识，通过es检索程序确定与检索视频图像标识匹配的目标对应关系，并将目标对应关系中的图像名称和时间信息发送至图像检索程序。进一步的，通过图像检索程序，首先根据时间信息确定对应的目标图像存储文件和目标图像索引存储文件；进而根据图像名称，在目标图像索引存储文件中，确与该图像名称对应的存储长度和存储起始位置。最终，根据该存储长度和存储起始位置，在目标图像存储文件中，获取与检索视频图像标识对应的结构化图像信息。
103.在本实施例的另一个可选的实施方式中，可以每间隔预设周期，执行对所述特征向量存储文件、特征向量索引存储文件、图像存储文件和图像索引存储文件的备份操作。
104.其中，预设周期，为预先设置的数据备份时间间隔。在本实施例中，可以通过预设备份程序，定时进行特征向量存储文件，特征向量索引存储文件、图像存储文件以及图像索引存储文件的覆盖拷贝备份。其中，备份数据存储位置可以是待备份文件所在的主机设备，也可以是单独的备份数据存储主机设备，本实施例对此不作具体限定。
105.在本实施例中，通过对各类存储文件进行定时备份，可以避免系统操作失误或系统故障等导致的数据丢失，可以提升数据安全性。
106.本发明实施例提供的技术方案，在完成对特征向量的存储之后，将视频结构化信息中的结构化图像信息存储至时间信息对应的图像存储文件，并确定当前结构化图像信息在图像存储文件中的存储起始位置和存储长度；进而将结构化图像信息的图像名称、存储长度和存储起始位置的对应关系，作为结构化图像信息的索引存储至时间信息对应的图像索引存储文件；最终将图像名称、视频图像标识和结构化描述信息的对应关系存储至数据库；通过将一定时间的结构化图像信息和对应的索引进行合并存储，减少了需要的存储文件数量，降低了索引节点的占用率，提升了结构化图像信息的检索效率。
107.图5a为本发明实施例提供的一种视频结构化信息的处理方法的流程图，本实施例在上述实施例的基础上进行具体化，在本实施例中，针对视频结构化信息中的特征向量、结构化图像信息和结构化描述信息进行分别存储和检索，该方法具体包括：
108.s410、对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息。
109.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识。
110.s420、将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述
视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
111.s430、将所述结构化图像信息存储至所述时间信息对应的图像存储文件，并获取所述结构化图像信息在所述图像存储文件中的存储长度和存储起始位置。
112.s440、根据预设命名规则，确定所述结构化图像信息的图像名称，并将所述图像名称、存储长度和存储起始位置的对应信息，作为所述结构化图像信息的索引存储至所述时间信息对应的图像索引存储文件中，并生成所述图像名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库。
113.本发明实施例中的视频结构化信息的处理方法，可应用于如图5b所示的视频结构化信息的处理系统。其中，该系统主要包括视频结构化模块、特征向量存储检索模块、图像存储检索模块以及es数据库。
114.具体的，视频结构化模块，主要用于对输入的视频图像进行视频结构化处理，以获取对应的结构化描述信息、特征向量和结构化图像信息，并将结构化描述信息、特征向量和结构化图像信息分别发送至es数据库、特征向量存储检索模块和图像存储检索模块。
115.特征向量存储检索模块，包括向量存储单元、向量检索单元、向量比对单元以及向量备份单元；其中，向量存储单元，用于将特征向量和对应索引分别存储至匹配的特征向量存储文件和特征向量索引存储文件；向量检索单元，用于根据获取的检索信息，查找匹配的已存储特征向量；向量比对单元，用于对检索特征向量与已存储特征向量进行相似度比对；向量备份单元，用于对特征向量存储文件和特征向量索引存储文件进行定时备份。
116.图像存储检索模块，包括图像存储单元、图像检索单元以及图像备份单元；其中，图像存储单元用于将结构化图像信息和对应检索分别存储至匹配的图像存储文件和图像索引存储文件；图像检索单元，用于根据获取的检索信息，确定匹配的结构化图像信息；图像备份单元，用于对图像存储文件和图像索引存储文件进行定时备份。
117.es数据库，用于对视频图像标识、结构化描述信息和图像url的对应关系进行存储；其中，图像url可以为结构化图像信息的图像名称。需要说明的是，es数据库与图像存储检索模块，通过图像url进行关联，与特征向量存储检索模块通过视频图像标识id进行关联。
118.在本实施例的一个具体的实施方式中，特征向量的存储和检索流程如图5c所示。视频结构化模块向向量存储单元发送实时产生的视频结构化信息，向量存储单元对视频结构化信息进行解析，获取特征向量、视频图像标识和时间信息，并根据时间信息确定当前特征向量对应的特征向量存储文件和特征向量索引存储文件。进一步的，向量存储单元将特征向量，以二进制形式追加写入特征向量存储文件，并将固定长度的视频图像标识作为索引信息追加写入至特征向量索引存储文件。
119.其次，向量存储单元每个小时生成一个特征向量存储文件和特征向量索引存储文件，每个新增的特征向量和对应索引分别存储在对应存储文件的最后；同时向量备份单元定时进行特征向量存储文件和特征向量索引存储文件的备份。
120.此外，在对特征向量进行检索时，通过es检索获取检索视频图像标识和对应结构化描述信息中的时间信息，并将该检索视频图像标识和时间信息发送至向量检索单元；向量检索单元根据接收的时间信息确定目标特征向量存储文件和目标特征向量索引存储文
件，并根据检索视频图像标识从目标特征向量索引存储文件中确定对应的顺序索引，最终根据该顺序索引，确定对应的特征向量。
121.在另一种场景下，向量比对单元可以根据检索特征向量，通过特征向量的相似度比对从已存储的特征向量中，确定符合条件的相似特征向量，同时确定相似特征向量对应的视频图像标识，以实现对行人、车辆等目标对象的识别。其中，以特征向量库中包括300万个特征向量为例，如直接在es数据库中进行特征向量检索，所需耗时约为30秒，而本实施例的特征向量检索方法只需1秒即可实现对300万特征向量的相似度度量，并确定最终的相似特征向量。由此，本实施例中的视频结构化信息的处理方法可以极大的提升特征向量的检索效率，也即可以极大提升目标对象的识别效率。
122.s450、获取检索视频图像标识，并在所述数据库中查找与所述检索视频图像标识匹配的目标对应关系。
123.s460、根据所述目标对应关系中结构化描述信息的时间信息，获取对应的目标图像索引存储文件和目标图像存储文件。
124.s470、根据所述目标对应关系中的图像名称，在所述目标图像索引存储文件中，确定与所述图像名称匹配的目标对应信息，并根据所述目标对应信息中的存储长度和存储起始位置，在所述目标图像存储文件中确定匹配的结构化图像信息。
125.s480、获取检索视频图像标识和检索时间信息，并根据所述检索时间信息确定匹配的目标特征向量存储文件和目标特征向量索引存储文件。
126.s490、在目标特征向量索引存储文件中，确定所述检索视频图像标识的存储顺序，并根据所述存储顺序，在目标特征向量存储文件中确定匹配的特征向量。
127.在本实施例的另一个具体的实施方式中，结构化图像信息的存储和检索流程如图5d所示。其中，图像存储单元获取待存储的结构化图像信息，并根据对应结构化描述信息中的时间信息，确定对应的目标图像存储文件和目标图像索引存储文件。图像存储单元将结构化图像信息以二进制形式追加写入至目标图像存储文件，并将图像名称、存储起始位置和存储长度作为对应索引存储至目标图像索引存储文件。同时，将图像名称作为结构化图像信息的url，将该url、视频图像标识和结构化描述信息的对应关系存储至es数据库。
128.与特征向量的存储相同，图像备份单元定时进行图像存储文件和图像索引存储文件的备份；以及图像存储单元每个小时均会生成一个新的图像存储文件和图像索引存储文件，新增的结构化图像信息和对应索引分别存储至对应文件的最后。
129.在需要对已存结构化图像信息进行检索时，es检索程序根据获取的视频图像标识，确定对应的时间信息和url，并将该时间信息和url发送至图像检索单元；图像检索单元根据时间信息确定对应的目标图像存储文件和目标图像索引存储文件，进而根据url在目标图像索引存储文件中，确定对应的存储起始位置和存储长度，最终根据该存储起始位置和存储长度，在目标图像存储文件中，获取匹配的结构化图像信息。
130.本发明实施例提供的技术方案，通过对视频结构化信息中的特征向量进行单独存储，并通过相似度比对的方法进行特征向量的检索，极大降低了特征向量检索的所需时间，提升了特征向量的检索效率；此外，通过将结构化图像信息进行按时间的合并存储，可以降低磁盘中需要存储的文件数量，进而可以避免大量图像索引存储文件对索引节点的占用，降低索引节点的读写阻塞风险，实现对结构化图像信息的高效存储和检索。
131.图6为本发明实施例提供的一种视频结构化信息的处理装置的结构框图，其中，图5b所示的系统包括该装置，该装置具体包括：视频结构化模块510和特征向量存储检索模块520；
132.视频结构化模块510，用于对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息；
133.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识；
134.特征向量存储检索模块520，用于将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
135.本发明实施例提供的技术方案，通过对输入的视频图像进行视频结构化处理，获取对应的特征向量、时间信息和视频图像标识；并将该特征向量存储至时间信息对应的特征向量存储文件，以及将视频图像标识作为该特征向量的索引，存储至时间信息对应的特征向量索引存储文件；通过将特征向量单独存储至时间信息对应的特征向量存储文件，并生成对应的索引存储至特征向量索引存储文件，可以避免开发额外数据库插件进行特征向量相似度的计算，可以减少特征向量相似度比对的耗时，提升目标对象的识别效率。
136.可选的，在上述技术方案的基础上，特征向量存储检索模块520，包括：
137.向量检索单元，用于获取检索视频图像标识和检索时间信息，并根据所述检索时间信息确定匹配的目标特征向量存储文件和目标特征向量索引存储文件；
138.在目标特征向量索引存储文件中，确定所述检索视频图像标识的存储顺序，并根据所述存储顺序，在目标特征向量存储文件中确定匹配的特征向量。
139.可选的，在上述技术方案的基础上，所述视频结构化信息还包括结构化图像信息；视频结构化信息的处理装置，还包括：
140.图像存储检索模块，用于将所述结构化图像信息存储至所述时间信息对应的图像存储文件，并获取所述图像存储文件的文件名称、以及所述结构化图像信息在所述图像存储文件中的存储长度和存储起始位置；
141.将所述文件名称、存储长度和存储起始位置的对应信息，作为所述结构化图像信息的索引存储至与所述时间信息对应的图像索引存储文件中；
142.es数据库，用于生成所述文件名称、所述视频图像标识和所述结构化描述信息的对应关系，存储至数据库。
143.可选的，在上述技术方案的基础上，图像存储检索模块，包括：
144.图像检索单元，用于获取检索视频图像标识，并在所述数据库中查找与所述检索视频图像标识匹配的目标对应关系；
145.根据所述目标对应关系中的文件名称，获取对应的目标图像索引存储文件和目标图像存储文件；
146.在所述目标图像索引存储文件中，确定与所述文件名称匹配的目标对应信息，并根据所述目标对应信息中的存储长度和存储起始位置，在所述目标图像存储文件中确定匹配的结构化图像信息。
147.可选的，在上述技术方案的基础上，特征向量存储检索模块520，包括：
148.向量比对单元，用于获取检索特征向量和检索时间范围，并根据所述检索时间范围，确定匹配的目标特征向量存储文件和对应的目标特征向量索引存储文件；
149.在目标特征向量存储文件中，确定与所述检索特征向量的相似度大于或者等于预设相似度阈值的特征向量，并作为相似特征向量；
150.确定所述相似特征向量在所述目标特征向量存储文件中的存储顺序，并根据所述存储顺序，在所述目标特征向量索引存储文件中获取匹配的目标视频图像标识，将所述目标视频图像标识作为所述检索特征向量的识别结果。
151.可选的，在上述技术方案的基础上，视频结构化信息的处理装置，还包括：
152.向量备份单元，用于每间隔预设周期，执行对所述特征向量存储文件和特征向量索引存储文件的备份操作；
153.图像备份单元，用于每间隔预设周期，执行对图像存储文件和图像索引存储文件的备份操作。
154.可选的，在上述技术方案的基础上，特征向量存储检索模块520，包括：
155.向量存储单元，用于每间隔预设时间，生成特征向量存储文件和特征向量索引存储文件，并根据文件生成时间和预设命名规则确定所述特征向量存储文件和特征向量索引存储文件的文件名称；
156.图像存储检索模块，包括：
157.图像存储单元，用于每间隔预设时间，生成图像存储文件和图像索引存储文件，并根据文件生成时间和预设命名规则确定所述图像存储文件和图像索引存储文件的文件名称。
158.本发明实施例所提供的视频结构化信息的处理装置可执行本发明任意实施例所提供的视频结构化信息的处理方法，具备执行方法相应的功能模块和有益效果。
159.图7为本发明另一实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器60、存储器61、输入装置62和输出装置63；电子设备中处理器60的数量可以是一个或多个，图7中以一个处理器60为例；电子设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图7中以通过总线连接为例。
160.存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视频结构化信息的处理方法对应的程序指令/模块(例如，视频结构化信息的处理装置中的视频结构化模块510和特征向量存储检索模块520)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的视频结构化信息的处理方法，即：
161.对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息；
162.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识；
163.将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
164.存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁
盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
165.输入装置62可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
166.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视频结构化信息的处理方法，该方法包括：
167.对输入的视频图像进行视频结构化处理，获取对应的视频结构化信息；
168.其中，所述视频结构化信息包括特征向量和结构化描述信息；所述结构化描述信息包括时间信息和视频图像标识；
169.将所述特征向量存储至所述时间信息对应的特征向量存储文件，并将所述视频图像标识作为所述特征向量的索引，存储至所述时间信息对应的特征向量索引存储文件。
170.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频结构化信息的处理方法中的相关操作。
171.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
172.值得注意的是，上述视频结构化信息的处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
173.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。