视频数据结构化方法、装置、终端设备及存储介质与流程

本申请涉及数据处理领域，尤其涉及一种视频数据结构化方法、装置、终端设备及存储介质。

背景技术：

1、在早期物联网架构中，由终端设备直接将采集到的源数据上传到云端。随着大量部署在终端的采集设备，物联网数据爆发式增长，达到百亿数量级的设备和pb级别的数据规模。传输时的带宽消耗和网络延迟，云平台的数据运算能力，阻塞了物联网应用技术的发展。

2、随着信息技术的快速发展，人们可以利用将源数据进行分析获得结构化的数据，将结构化的数据存储到数据库中并进行深度挖掘分析。但是从不同数据库抽取出的数据存在各种缺陷不利于后期的挖掘分析，比如，数据源格式不同、数据冗余、数据错误等，低质量的数据处理后得不到高质量的结果。因此，需要一种视频数据结构化方法能够提升数据处理质量，为后续的深度挖掘分析提供良好的支撑。

技术实现思路

1、本申请实施例的主要目的在于提供一种视频数据结构化方法、装置、终端设备以及存储介质，通过从多个维度对目标对象的属性信息进行提取并进行融合，旨在提高视频数据结构化的准确性和可靠性，为后续的数据查询等应用提供良好的数据支撑。

2、第一方面，本申请实施例提供一种视频数据结构化方法，包括：

3、获得采集装置采集的第一视频数据，并对所述第一视频数据进行增强处理，获得所述第二视频数据；

4、获取所述第二视频数据中的关键图像，所述关键图像中包括目标对象；

5、利用目标解析网络对所述关键图像中的目标对象进行结构划分，得到所述目标对象所对应的第一区域图像和第二区域图像，其中，所述第一区域图像和所述第二区域图像构成所述目标对象对应的图像；

6、根据所述第一区域图像、所述第二区域图像确定所述目标对象对应的第一属性信息，其中，所述第一属性信息用于表征所述目标对象的外在特征；

7、确定所述目标对象的关键位置信息，并根据所述目标对象和所述关键位置信息进行属性预测，获得所述目标对象对应的第二属性信息，其中，所述关键位置信息用于表征所述目标对象中的关键部位的位置；

8、融合所述第一属性信息和所述第二属性信息，确定所述目标对象对应的第三属性信息，并将所述目标对象以及所述目标对象对应的第三属性信息存储至数据库中。

9、第二方面，本申请实施例还提供一种视频数据结构化装置，包括：

10、数据获取模块，用于获得采集装置采集的第一视频数据，并对所述第一视频数据进行增强处理，获得所述第二视频数据；

11、数据提取模块，用于获取所述第二视频数据中的关键图像，所述关键图像中包括目标对象；

12、数据划分模块，用户利用目标解析网络对所述关键图像中的目标对象进行结构划分，得到所述目标对象所对应的第一区域图像和第二区域图像，其中，所述第一区域图像和所述第二区域图像构成所述目标对象对应的图像；

13、第一属性获取模块，用于根据所述第一区域图像、所述第二区域图像确定所述目标对象对应的第一属性信息，其中，所述第一属性信息用于表征所述目标对象的外在特征；

14、第二属性获取模块，用于确定所述目标对象的关键位置信息，并根据所述目标对象和所述关键位置信息进行属性预测，获得所述目标对象对应的第二属性信息，其中，所述关键位置信息用于表征所述目标对象中的关键部位的位置；

15、数据融合模块，用于融合所述第一属性信息和所述第二属性信息，确定所述目标对象对应的第三属性信息，并将所述目标对象以及所述目标对象对应的第三属性信息存储至数据中。

16、第三方面，本申请实施例还提供一种终端设备，终端设备包括处理器、存储器、存储在存储器上并可被处理器执行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，其中计算机程序被处理器执行时，实现如本申请说明书提供的任一项视频数据结构化方法的步骤。

17、第四方面，本申请实施例还提供一种存储介质，用于计算机可读存储，其特征在于，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如本申请说明书提供的任一项的视频数据结构化方法的步骤。

18、本申请实施例提供一种视频数据结构化方法、装置、终端设备及存储介质，其中，该视频数据结构化方法通过采集装置采集第一视频数据，并对第一视频数据进行视频增强处理，获得视频增强后的第二视频数据；从第二视频数据中确定关键帧，并获得关键帧对应的关键图像，其中，关键图像中包括目标对象；利用目标解析网络对关键图像中的目标对象进行结构划分，得到目标对象所对应的第一区域图像和第二区域图像，其中，第一区域图像和第二区域图像构成目标对象对应的图像；根据第一区域图像、第二区域图像确定目标对象对应的第一属性信息，其中，第一属性信息用于表征目标对象的外在特征；确定目标对象的关键位置信息，并根据目标对象和关键位置信息进行属性预测，获得目标对象对应的第二属性信息，其中，关键位置信息用于表征目标对象中的关键部位的位置；融合第一属性信息和第二属性信息，确定目标对象对应的第三属性信息，并将目标对象以及目标对象对应的第三属性信息存储至数据库中。从而实现从多个维度分析目标对象对应的属性数据，并对获得的多个维度的属性数据进行数据融合，进而提升视频数据结构化结果的准确性和可靠性，为后续的数据查询等应用提供良好的数据支撑。

技术特征：

1.一种视频数据结构化方法，其特征在于，所述方法包括：

2.根据权利要求1中所述的方法，其特征在于，所述对所述第一视频数据进行增强处理，获得所述第二视频数据，包括：

3.根据权利要求2中所述的方法，其特征在于，所述将所述高质量视频信息融合到所述低质量视频信息中获得所述第二视频数据，包括：

4.根据权利要求3中所述的方法，其特征在于，所述图像处理参数模型包括色彩特征提取网络、语义特征提取网络、特征融合网络、全连接回归网络，所述将所述低质量视频信息输入至图像处理参数模型中，获得所述低质量视频信息调整视频质量所需要的参数信息，包括：

5.根据权利要求3中所述的方法，其特征在于，所述根据所述参数信息和所述高质量视频信息，确定所述低质量视频信息进行质量调整的目标参数信息，包括：

6.根据权利要求1中所述的方法，其特征在于，所述目标解析网络包括残差网络、上采样网络、融合网络、特征提取网络、局部特征网络，所述利用目标解析网络对所述关键图像中的目标对象进行结构划分，得到所述目标对象所对应的第一区域图像和第二区域图像，包括：

7.根据权利要求6中所述的方法，其特征在于，所述局部特征网络包括空间注意力机制，所述将所述第三区域特征输入至所述目标解析网络的局部特征网络获得所述目标对象对应的第一区域图像和第二区域图像，包括：

8.根据权利要求1中所述的方法，其特征在于，所述根据所述第一区域图像、所述第二区域图像确定所述目标对象对应的第一属性信息，包括：

9.根据权利要求8中所述的方法，其特征在于，所述第一属性分类模型包括第一特征抽取网络、第一特征多分类网络，所述将所述第一区域图像输入至第一属性分类模型获得第一区域属性信息，包括：

10.根据权利要求8中所述的方法，其特征在于，所述第二属性分类模型包括第二特征抽取网络、第二特征多分类网络，所述将所述第二区域图像输入至第二属性分类模型获得第二区域属性信息，包括：

11.根据权利要求8中所述的方法，其特征在于，所述第三属性分类模型包括第三特征抽取网络、第三特征多分类网络，所述将所述目标对象输入至第三属性分类模型获得第三区域属性信息，包括：

12.根据权利要求1中所述的方法，其特征在于，所述根据所述目标对象确定所述目标对象的关键位置信息，并根据所述目标对象和所述关键位置信息进行属性预测，获得所述目标对象对应的第二属性信息，包括：

13.根据权利要求12中所述的方法，其特征在于，所述属性识别模型包括关键特征提取网络、全局特征提取网络、自适应图卷积网络、属性识别网络，所述将所述目标对象和所述关键位置信息输入属性识别模型获得所述目标对象对应的第二属性信息，包括：

14.根据权利要求13中所述的方法，其特征在于，所述属性识别网络至少包括第一全连接层，所述将所述卷积特征输入至所述属性识别网络获得所述目标对象对应的第二属性信息，包括：

15.根据权利要求1中所述的方法，其特征在于，所述融合所述第一属性信息和所述第二属性信息，确定所述目标对象对应的第三属性信息，包括：

16.根据权利要求15中所述的方法，其特征在于，所述第一属性信息包括第一属性类别和第一属性类别对应的概率值对，所述概率值对包括所述第一区域图像或所述第二区域图像得到的第一概率值、所述目标对象得到的第二概率值，所述第二属性信息包括第二属性类别和第二属性类别对应的第三概率值，基于证据理论结合所述第一属性信息和所述第二属性信息确定属性信息的预测概率，包括：

17.根据权利要求15中所述的方法，其特征在于，将所述目标对象以及所述目标对象对应的第三属性信息存储至数据库中之后，所述方法还包括：

18.一种视频数据结构化装置，其特征在于，包括：

19.一种终端设备，其特征在于，所述终端设备包括处理器、存储器；

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至17中任一项所述视频数据结构化方法的步骤。

技术总结
本申请实施例涉及数据处理领域，具体提供了一种视频数据结构化方法、装置、终端设备及存储介质。该方法包括：对第一视频数据进行增强处理，获得第二视频数据；获取第二视频数据中的关键图像；利用目标解析网络对关键图像中的目标对象进行结构划分，得到第一区域图像和第二区域图像；根据第一区域图像、第二区域图像确定第一属性信息；确定目标对象的关键位置信息，并根据目标对象和关键位置信息进行属性预测，获得第二属性信息；融合第一属性信息和第二属性信息，确定第三属性信息，并将目标对象以及目标对象对应的第三属性信息存储至数据库中。从多维度提取目标对象的属性信息并进行属性融合，进而提升视频数据结构化结果的准确性和可靠性。

技术研发人员：袁威,曾嘉
受保护的技术使用者：深圳开鸿数字产业发展有限公司
技术研发日：
技术公布日：2024/1/12