基于目标帧的多路视频流智能存储的识别方法与流程

本发明涉及计算机视觉处理，具体涉及一种基于目标帧的多路视频流智能存储的识别方法。

背景技术：

1、随着计算机视觉技术的快速发展，在教育领域逐渐掀起了人工智能的研究浪潮，并相继出现了一批具有实用价值的应用产品，如：自动阅卷系统、实验考试智能化批阅系统等。其中，实验考试智能化批阅系统是利用计算机视觉处理技术，将采集到的视频数据进行智能化处理，并给出分析批阅的判分结果。

2、众所周知，视频数据的存储需要占用大量的计算机存储空间，而视频流的实时处理主要表现在计算资源和存储资源两个方面。若计算机的硬件性能无法满足需求或硬件资源不足时，视频的处理和分析任务将难以完成。

3、传统方法为了解决视频处理时面临的计算机资源紧张问题，通常采取加大视频抽帧率用于降低存储负载压力，加快视频处理速度，达到实时出结果的目的。然而，加大抽帧率不仅会造成视频帧信息的缺失，而且仍无法满足多路视频流实时处理时存储资源的快速消耗问题。

4、中国专利申请公开号cn112015548a，公开了一种用于人工智能视频应用的边缘计算平台，其实施方法中提到：所述多路视频单个视频处理单元处理时shell外壳部分为每一路视频流开启一个处理线程，每个处理线程相互独立；所述多路视频多个视频处理单元处理时通过vpu的api 函数可以指定对应的vpu处理对应的视频流。该技术方案的图像处理器受限，且采用多线程独立处理每一路视频流，利用多个图像处理器芯片进行视频流处理，资源占用量大。

5、因此，为了解决有限资源条件下多路视频流的实时处理问题，高效利用计算机资源，充分发挥计算机性能；本发明提出一种基于目标帧的多路视频流智能存储的识别方法。

技术实现思路

1、本发明要解决的技术问题是提出一种基于目标帧的多路视频流智能存储的识别方法，用于解决多路视频流的实时处理和存储占用问题。

2、为了解决上述技术问题，本发明采用的技术方案是：该基于目标帧的多路视频流智能存储的识别方法，具体包括以下步骤：

3、s1读取视频流数据：通过视频流读取操作单元完成视频源的对接，结合相机的优先级配置，采取不同的存储管理方式，完成多路视频流的分配和读取，从各路相机中获取视频流数据；

4、s2存储视频流：对主视频流进行分段，获得分段视频文件和视频文件索引表，并存储分段视频文件和视频文件索引表；

5、s3实时处理视频流数据：通过视频流实时处理操作单元读取视频流并解码视频帧数据，通过视频文件索引表确定读取的分段视频文件的文件编号，再根据文件编号计算当前帧所对应的辅助视频流的分段视频文件的文件编号的排名数；

6、s4调度视频流：将辅助视频流的分段视频文件从调度存储缓冲池队列中取出，并通过视频流实时处理单元的反馈信息，完成相应文件编号的分段视频文件的选择和调度，获得视频文件索引表和调度文件集合；

7、s5视频文件融合处理：将多路辅助视频流对应的多个分段视频文件进行融合处理，再根据调度文件集合中的分段视频文件生成文件融合索引表；

8、s6视频处理结果输出：将主视频流和辅助视频流对应的视频帧处理结果做合并处理后将其输出。

9、采用上述技术方案，该基于目标帧的多路视频流智能存储的识别方法，通过视频流分段视频文件的存储管控机制，并结合单路主视频流的实时处理分析和协同反馈，完成多路辅助视频流数据的异步处理；根据稀疏决策方法选择处理多路的视频流分段视频文件；利用视频实时处理单元的结果反馈和视频处理调度单元的及时响应，协同调整分段视频文件的按需调度策略，获取待处理的视频流数据，完成多路视频流的实时处理分析；不仅在多路视频流处理方面实现了提速优化，而且通过改变视频流的存储策略，采用基于视频流分段视频文件的存储价值决策方法，减少了有限资源的占用情况，极大地提高了计算和存储效率。

10、优选地，所述步骤s2中通过视频流存储操作单元进行主视频流的分段和存储，所述视频流存储操作单元包含存储反馈响应模块和视频流分段存储模块；其中，所述存储反馈响应模块是通过人工智能检测分析模块的信息反馈，完成分段阈值的响应调整，从而实现视频流的自适应分段；所述视频流分段存储模块将主视频流按预定的分段阈值或实时更新的阈值进行分段和存储。

11、优选地，在所述步骤s2中存储反馈响应模块根据视频流实时处理单元的反馈做出响应，其响应函数记作：；当视频帧智能检测模块检测到视频帧序列中存在目标帧时，所述存储反馈响应模块则利用目标帧计数器做实时统计，公式为：；

12、其中，表示1/2大小的分段视频文件拥有的目标帧数，表示1/4大小的分段视频文件拥有的目标帧数。

13、优选地，所述步骤s2中所述视频流分段存储模块进行分段和存储的具体步骤为：首先，视频流分段存储模块将主视频流按预定的分段阈值thread（如：60s）做分段存储，并获得视频文件索引表；当接收到所述存储反馈响应模块的阈值更新响应时，所述视频流分段存储模块按照新的阈值大小实时做出视频流的分段处理，将其保存成不定长的有序视频文件，并编号为：f001、f002、f003、•••、f00n，并更新视频文件索引表的文件分段阈值，并统计阈值更新的次数。所述视频分段存储模块接收到反馈响应的更新阈值后，采用最新的阈值对视频流做分段处理，同时更新视频文件索引表中的文件分段阈值，而对于较大的分段视频文件，结合文件存储价值直接决定是否将其覆盖，通过以上两个模块间的协同处理，不仅能够充分利用有限的计算机资源，实现多路视频流的高效存储，而且可以提高视频流的处理效率。

14、优选地，所述步骤s2中的所述视频文件索引表包含分段视频文件字段、文件存储索引字段、文件存储价值字段和文件读写状态字段；其中，所述分段视频文件字段保存的是视频流被分段后的视频文件编号；所述文件存储索引字段保存的是分段视频文件在内存中存储对应的起始内存地址；所述文件存储价值字段保存的是分段视频文件的存储价值状态，它是通过存储反馈响应模块完成状态的实时更新，状态值定义为0和1两种，0值表示分段视频文件的数据没有存储价值；1值表示分段视频的文件数据有存储价值；且所述文件存储价值字段的默认状态值为1。

15、优选地，所述步骤s3中的所述视频流实时处理操作单元包括视频帧智能检测模块、视频帧融合处理模块和视频帧分析处理模块；首先使用所述视频帧智能检测模块采用人工智能识别技术分析视频帧序列，再使用所述视频帧融合处理模块，将视频帧间的关系做融合处理，避免邻近帧过多增加计算和存储负载压力；最后再通过所述视频帧分析处理模块进行分析查找，确定读取的分段视频文件的文件编号。视频流实时处理操作单元利用高效的存储机制换取更多的处理时间。传统的视频流实时处理完全取决于硬件的处理速度，它通常是将视频流的解析和分析按序同步处理，而对于多路视频流的实时处理存在较大的受限性，本发明利用视频流分段视频文件的异步处理方式和协同调用方式，采用按需获取视频流的策略，结合视频流解析和视频帧检测的实时结果反馈，实现辅助视频流的智能化分析。

16、优选地，所述步骤s3中的所述视频帧融合处理模块利用视频帧的稀疏决策方法和融合状态智能选择对应的视频流的分段视频文件，其中稀疏决策方法是利用融合处理函数实现当前视频帧序列的融合处理，视频帧融合状态共有两种状态值，分别为1和0；默认状态0表示不可以将邻近的多个视频帧进行融合处理，状态1表示可以将邻近的多个视频帧序列融合处理成单一视频帧，融合公式为：；

17、其中，fcnt表示统计一秒钟存在的目标帧数量；fps表示视频帧率。

18、优选地，在所述步骤s3中最后通过查找视频文件索引表，确定读取的分段视频文件编号，再根据文件编号计算当前帧所对应辅助视频流分段文件编号的排名数pnum，公式为：；

19、；

20、其中，i表示第几个分段视频文件编号，n表示当前帧处在第n个编号的分段视频文件中，updatanum表示分段阈值更新的次数，thread表示主视频流分段阈值，p表示当前主视频流的分段视频文件的起始时间占用固定时间t的倍率。

21、优选地，在所述步骤s4中每个辅助视频流的分段视频文件均由视频流固定分段处理单元完成，且固定的分段阈值为thread，分段后的视频文件分别存储至临时存储缓冲池队列中，而视频流读取模块将实时获取多路辅助视频流的分段视频文件数据提供至终端进行预览；而实际多路视频流存在目标帧的延迟和不同步现象，为了确保选取的辅助视频流分段视频文件更加合理，需要再利用滑动统计方法做邻近帧的稀疏转换，具体为：假设延迟时间为ts，为了使获取到的辅助视频流的分段视频文件包含有更多目标帧，则将目标帧出现的时间戳前后各扩增thread，利用2*thread滑动窗去选择对应的文件编号的分段视频文件，将待选择的分段视频文件集合，记作s，选择计算公式为：

22、；

23、其中，表示对p值取小数部分一位；若主视频流存在目标帧，则对应的辅助视频流做分析处理时通过查询视频文件索引表和调度分段视频文件集合s，实现最终的视频文件调度处理。

24、优选地，在所述步骤s5中当分段视频文件集合s的个数大于2时，则根据分段视频文件集合s中的分段视频文件生成一张文件融合索引表，该文件融合索引表中包含融合分段文件、分段视频文件、文件存储索引和文件分段大小四个字段，所述融合分段文件表示集合s中多个分段文件融合后的文件新编号。

25、优选地，所述步骤s6中对出现了目标帧时，在选取辅助分段视频文件做处理时则根据所述步骤s5中的生成的文件融合索引表查询对应的分段视频文件，将视频帧处理结果按查询到的对应的分段视频文件做合并处理并打包输出，从而完成多路视频流的实时处理分析。

26、采用上述技术方案，首先通过相机的优先级配置区分出主视频流和其他辅助视频流的数据源，再将主视频流数据单独做视频流的存储操作，并将其他辅助视频流直接做存储操作，最终完成视频流的实时存储和并发读取；再将主视频流的分段视频文件数据经视频帧处理操作单元，完成视频帧序列的实时解析和分析处理；接着，根据分析处理的结果反馈，分别通知到视频流存储单元和视频文件调度单元，视频流存储单元则负责实现主视频流的自适应存储和辅助视频流的选择性存储，而视频文件调度单元则负责从调度存储缓冲池中获取分段视频文件数据，将其送入至视频文件融合处理操作单元；最后，视频流实时处理操作单元将统一处理融合后的辅助分段视频文件和主视频流分段视频文件，并将分析和处理后的视频结果全部输出。

27、与现有技术相比，该基于目标帧的多路视频流智能存储的识别方法具有的有益效果是：

28、（1）解决了单路视频流检测目标物丢失的问题；

29、（2）通过视频流自适应切分和小文件保存机制，节省内存资源空间的占用，提高资源复用率；

30、（3）通过优先级大小管理策略，及时回收存储资源；

31、（4）通过并发处理，以空间换时间，实现多路视频流的存储识别，达到实时出结果的目的；

32、（5）利用稀疏决策方法和精准读取视频流映射文件的方式，实现多路视频流的高效并发读取。