一种基于AI直播的图像分析方法及系统与流程

本申请涉及图像处理，特别是涉及一种基于ai直播的图像分析方法及系统。

背景技术：

1、随着网络质量和带宽的不断提升，人们能够使用上越来越高质量高速度的网络服务。在此背景下，依靠着强大的网络部署和高网速的支持，直播行业应运而生。

2、随着人工智能技术的发展，人工智能ai直播也开始被广泛应用于直播行业，以一种全新的直播模式来取代传统的直播模式，ai直播是基于人工智能技术，构建的一种智能虚拟形象，通过该虚拟形象在网络平台上进行实时直播，其可增强用户的体验、提高直播质量、改善直播的环境条件。

3、但ai直播所存在的问题也日渐显现，在ai直播过程中，会出现一些敏感图像，现对敏感图像的管理基本处于人力管理阶段，其主要通过用户及平台的工作人员的监督，然而，同一时间段进行ai直播的数量极为庞大，仅依靠人力管理已无法满足对直播过程中敏感图像的实时管理需求。

技术实现思路

1、本申请实施例提供了一种基于ai直播的图像分析方法及系统，以解决现有技术中仅依靠人力管理的方式对ai直播过程中的敏感图像进行管理，其管理力度不足，无法满足对ai直播过程中敏感图像的实时管理需求的技术问题。

2、第一方面，本申请实施例提供了一种基于ai直播的图像分析方法，包括以下步骤：

3、获取直播的视频流，对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像；

4、自所述视频段中确定关键帧图像，并提取所述视频段中的光流图像；

5、基于所述关键帧图像及所述光流图像确定所述视频段的组合特征；

6、构建lstm分类器，通过所述组合特征训练所述lstm分类器，以使所述lstm分类器具备敏感图像识别能力。

7、进一步地，所述对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像的步骤包括：

8、将所述视频流分隔为连续帧下的若干个帧图像，将第一帧的所述帧图像划分至第一视频段，并以第一帧的所述帧图像为所述第一视频段的第一中心点；

9、将第二帧的所述帧图像与所述第一中心点进行相似度比对；

10、若第二帧的所述帧图像与所述第一中心点的相似度大于相似度阈值，则将第二帧的所述帧图像划分至所述第一视频段，并计算所述第一视频段的第一更新中心点；

11、若第二帧的所述帧图像与所述第一中心点的相似度小于相似度阈值，则将第二帧的所述帧图像划分至第二视频段，并以第二帧的所述帧图像为所述第二视频段的第二中心点；

12、以时间序列依次处理后续的所述帧图像，直至将若干个所述帧图像分类为若干个视频段，以形成视频集。

13、进一步地，所述第一更新中心点的计算公式为：

14、，

15、其中，表示第一更新中心点，表示第i视频段内已有帧图像的数量，表示第j帧的帧图像，表示第i视频段内第k个帧图像。

16、进一步地，所述自所述视频段中确定关键帧图像的步骤具体为：

17、计算所述视频段中所述帧图像的熵值，并将不同的所述帧图像的熵值进行比对，以将熵值最大的所述帧图像选定为关键帧图像。

18、进一步地，所述提取所述视频段中的光流图像的步骤包括：

19、通过tv-l1稠密光流算法提取所述视频段的第一方向运动图像及第二方向运动图像；

20、将所述第一方向运动图像及所述第二方向运动图像堆积为光流图像。

21、进一步地，所述基于所述关键帧图像及所述光流图像确定所述视频段的组合特征的步骤包括：

22、构建特征提取模型，所述特征提取模型包括空间卷积网络及光流卷积网络，所述空间卷积网络及所述光流卷积网络均连接组合网络；

23、将所述关键帧图像作为所述空间卷积网络的输入值，以获取空间特征；

24、将所述光流图像作为所述光流卷积网络的输入值，以获取动作特征；

25、将所述空间特征及所述动作特征作为所述组合网络的输入值，以通过所述组合网络获取组合特征。

26、进一步地，所述以通过所述组合网络获取组合特征的步骤具体为：

27、通过所述组合网络对所述动作特征及所述空间特征进行均值化处理，以形成组合特征。

28、进一步地，所述构建lstm分类器，通过所述组合特征训练所述lstm分类器，以使所述lstm分类器具备敏感图像识别能力的步骤包括：

29、构建若干个第一神经元，以形成lstm层；

30、构建若干个第二神经元，以形成全连接层，使所述lstm层连接所述全连接层，以形成lstm分类器；

31、基于敏感图像及正常图像将所述组合特征区隔为正样本及负样本，将所述正样本及所述负样本作为输入值输入所述lstm分类器，以使所述lstm分类器具备敏感图像识别能力。

32、进一步地，所述全连接层包括2个所述第二神经元，所述全连接层的激活函数为sofmax函数。

33、第二方面，本申请实施例提供了一种基于ai直播的图像分析系统，应用于如上述技术方案中的基于ai直播的图像分析方法，所述系统包括：

34、预处理模块，用于获取直播的视频流，对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像；

35、提取模块，用于自所述视频段中确定关键帧图像，并提取所述视频段中的光流图像；

36、组合模块，用于基于所述关键帧图像及所述光流图像确定所述视频段的组合特征；

37、分析模块，用于构建lstm分类器，通过所述组合特征训练所述lstm分类器，以使所述lstm分类器具备敏感图像识别能力。

38、相比于现有技术，本发明的有益效果在于：通过提取所述关键帧图像，进而通过提取所述关键帧图像的空间特征，以所述关键帧图像的空间特征训练神经网络后，即可完成对ai直播的视频流中敏感图像的自动识别，通过一并提取所述光流图像，进一步提取所述光流图像的动作特征，将空间特征与动作特征组合为所述组合特征，可避免仅考虑空间特征而造成的对部分较难区分的图像产生误判的情况，有效的提高敏感图像的自动识别的准确性，通过构建并训练所述lstm分类器后，对于同时段大量的所述视频流，在完成其组合特征的提起后，可同时通过所述lstm分类器进行图像分类，以完成敏感图像实时、准确、高效的自动化识别，以此方式替代人工管理的方式，满足了实时管理的需求。

39、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种基于ai直播的图像分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于ai直播的图像分析方法，其特征在于，所述对所述视频流进行预处理，以获取包括若干个视频段的视频集，所述视频段包括若干个帧图像的步骤包括：

3.根据权利要求2所述的基于ai直播的图像分析方法，其特征在于，所述第一更新中心点的计算公式为：

4.根据权利要求1所述的基于ai直播的图像分析方法，其特征在于，所述自所述视频段中确定关键帧图像的步骤具体为：

5.根据权利要求1所述的基于ai直播的图像分析方法，其特征在于，所述提取所述视频段中的光流图像的步骤包括：

6.根据权利要求1所述的基于ai直播的图像分析方法，其特征在于，所述基于所述关键帧图像及所述光流图像确定所述视频段的组合特征的步骤包括：

7.根据权利要求6所述的基于ai直播的图像分析方法，其特征在于，所述以通过所述组合网络获取组合特征的步骤具体为：

8.根据权利要求1所述的基于ai直播的图像分析方法，其特征在于，所述构建lstm分类器，通过所述组合特征训练所述lstm分类器，以使所述lstm分类器具备敏感图像识别能力的步骤包括：

9.根据权利要求8所述的基于ai直播的图像分析方法，其特征在于，所述全连接层包括2个所述第二神经元，所述全连接层的激活函数为sofmax函数。

10.一种基于ai直播的图像分析系统，应用于如权利要求1~9任一项所述的基于ai直播的图像分析方法，其特征在于，所述系统包括：

技术总结
本发明提供一种基于AI直播的图像分析方法及系统，方法包括：获取直播的视频流，对视频流进行预处理，以获取包括若干个视频段的视频集，视频段包括若干个帧图像；自视频段中确定关键帧图像，并提取视频段中的光流图像；基于关键帧图像及光流图像确定视频段的组合特征；构建LSTM分类器，通过组合特征训练LSTM分类器，以使LSTM分类器具备敏感图像识别能力。通过上述方式，可完成敏感图像实时、准确、高效的自动化识别，以此方式替代人工管理的方式，满足了实时管理的需求。

技术研发人员：陈达剑,李火亮,陈鹏
受保护的技术使用者：江西拓世智能科技股份有限公司
技术研发日：
技术公布日：2024/1/16