基于云存储提取视频关键帧的智能AI识别方法与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、针对各行各业的视频监控ai智能识别，业界都采用基于公有云或私有云的存储进行视频监控的存储和后续识别，在视频的接入阶段，通用的做法是利用云上的独立虚拟机或裸金属计算能力，将标准视频流转换为存储格式的文件，采用云上的分布式存储纠错码或多副本技术进行实体文件的存储，对视频监控的ai识别基于存储后的视频文件，再利用专用的ai计算软件进行识别。因此，云存储服务器只做视频流的转换，不能充分利用云存储服务器的cpu资源和内存资源。

2、例如在授权公告号为cn110084196b的中国专利中公开了一种用于云计算的监控视频识别系统，涉及视频识别技术领域，该系统包括人脸视频影像采集模块、环境视频影像采集模块、人体视频影像采集模块、影像数据接收模块、影像数据处理模块、云计算分析模块、数据比对模块、信息储存模块、总控模块、警报分析模块与警报发送模块；其中，所述人脸视频影像采集模块安装在安装地点的进出口位置，并正对进口和出口处，所述人脸视频影像采集模块用于采集出现在进口处和出口处人员的人脸影像；所述环境视频影像采集模块根据安装地点的实际状况安装在不同的位置。

3、而在申请公开号为cn116895048a的专利中公开了一种ai视频分析监测预警平台，包括监测系统、云平台、用户端、控制终端和大数据库，所述监测系统与云平台双向连接，并且云平台与控制终端双向连接，所述云平台与大数据库双向连接，并且监测系统与用户端双向连接。

4、以上专利均存在本背景技术提出的问题：在视频ai智能识别领域，有效的视频内容包含在大量无效的视频里面。现有技术并未充分利用存储本身的计算和内存资源，进而减少图像处理的工作量、节省模型识别的运算资源以及缩短结果输出时间。

技术实现思路

1、为了克服现有技术存在的缺陷与不足，本发明提供基于云存储提取视频关键帧的智能ai识别方法，通过构建计算能力预留模型和视频关键帧提取模型，实现云存储空闲资源的最大化利用，降低云计算资源投入，提高ai分析的能力和效率。

2、为了达到上述目的，本发明采用以下技术方案：

3、本发明提供基于云存储提取视频关键帧的智能ai识别方法，包括下述步骤：

4、构建计算能力预留模型，所述计算能力预留模型包括cpu资源预留单元和内存资源预留单元，得到预留cpu和内存资源；

5、通过分布式云存储主机侧的预留cpu和内存资源进行视频接入管理应用的部署，存储通过多视频源多协议标准获取的视频流；

6、对获取的视频流进行预处理，所述预处理包括数据分片；

7、利用预留cpu和内存资源构建视频关键帧提取模型，将数据分片输入视频关键帧提取模型，提取并缓存关键帧；

8、对缓存后的关键帧进行关键帧识别。

9、作为优选的技术方案，所述cpu资源预留单元用下式表示：

10、x＝k×n×(1×90％-ωfrag-ωdrop)；

11、式中k表示单核cpu总算力系数，n表示cpu核数，ωfrag表示数据分片算力权重，ωdrop表示数据落盘算力权重，x表示预留cpu资源。

12、作为优选的技术方案，所述内存资源预留单元用下式表示：

13、y＝t×(1-ω′frag-ω′drop)；

14、式中t表示总内存数，ω′frag表示数据分片内存权重，ω′drop表示数据落盘内存权重，y表示预留内存资源。

15、作为优选的技术方案，所述多协议标准包括rtmp、rtsp、hls、onvif、gb/t 28181和genetec。

16、作为优选的技术方案，所述视频流通过预留cpu和内存资源将视频流缓存到云存储所在主机内存缓存区。

17、作为优选的技术方案，所述数据分片通过固定视频段长度的方式将视频流切分为数据分片。

18、作为优选的技术方案，所述数据分片通过云存储进行数据分片计算，分配云存储节点，云存储缓存根据分配分片节点，将数据分片存入已分配目标云存储节点，云存储节点反馈存储成功。

19、作为优选的技术方案，所述视频关键帧提取模型用下式表示：

20、kf＝round(fr×va×ωgray×ωblank)；

21、式中fr表示视频帧率，va表示视频分析精度，ωgray表示灰度跳变帧权重，ωblank表示空白画面跳变帧权重，round(·)表示四舍五入到整数位，kf表示关键帧。

22、作为优选的技术方案，所述关键帧识别的具体步骤包括：

23、云存储通过云内高速网络将缓存区关键帧发送到智能ai识别云主机；

24、智能ai识别云主机根据ai算法模型进行关键帧识别与分析；

25、通过智能ai分析平台呈现识别与分析结果并提供给应用侧。

26、作为优选的技术方案，所述灰度跳变帧权重用下式表示：

27、

28、式中pr表示视频红色分量总量值，pb表示视频蓝色分量总量值，pg表示视频绿色分量总量值，pr′表示存在视频红色分量的帧，pb′表示存在视频蓝色分量的帧，pg′表示存在视频绿色分量的帧，θ表示抽样点数量，l(·)表示狄利克雷函数，ωgray表示灰度跳变帧权重。

29、作为优选的技术方案，所述空白画面跳变帧权重用下式表示：

30、

31、

32、式中π表示画面中像素点赋值集合，p11表示x轴为1，y轴为1的像素点，p1j表示x轴为1，y轴为j的像素点，pi1表示x轴为i，y轴为1的像素点，pij表示x轴为i，y轴为j的像素点，f(·)表示像素点不为空的判定公式，若像素点为空，则赋值为0，若像素点不为空，则赋值为1，sum(·)表示求和，px表示画面x轴像素点数量，py表示画面y轴像素点数量，θ表示抽样点数量，l(·)表示狄利克雷函数，ωblank表示空白画面跳变帧权重。

33、本发明与现有技术相比，具有如下优点和有益效果：

34、(1)本发明通过构建计算能力预留模型，精准的实现从视频流存储、关键帧提取和ai识别全过程的cpu资源和内存资源的智能分配，从而解决了云计算条件下云存储服务器资源浪费的问题。

35、(2)本发明通过构建视频关键帧提取模型，有效减少了关键帧的存储空间占用，降低关键帧发送ai识别平台的网络带宽和吞吐量的同时提高了ai识别和分析效率。