一种基于时序特征建模闪屏检测方法、系统及介质与流程

本技术涉及屏幕检测，具体而言，涉及一种基于时序特征建模闪屏检测方法、系统及介质。

背景技术：

1、电子设备在研发过程、出厂测试以及后期的用户使用过程中，经常会因为驱动适配、软硬件设置等原因出现闪屏现象。通常情况下，电子设备的测试涵盖在生产的各个流程中，在不同环境下模拟用户的使用，检测电子设备屏显的各项功能，且屏显的测试场景无法固定，例如随机播放视频、玩某一种时下流行的游戏。因此闪屏缺陷通常发生在动态场景中，画面突然出现单次的闪烁且在极短时间内恢复正常，或者连续多次出现闪烁。为了提升用户体验，且在检测电子产品的闪屏问题时降低人力成本，研发一种适应动态背景的闪屏检测算法是很有必要的。

2、现有技术中，闪屏检测技术都是利用传统视觉算法。例如通过检测屏幕在预设时间内亮度变化的次数来检测闪屏，通常会设置多个时间点，在第一时间点检测当前屏幕画面的亮度a1，在第二时间检测当前屏幕画面的亮度a2， 当第一亮度值a1与第二亮度值a2的差值大于差值阈值c，则确定当前时间点屏幕发生了变化，在预设时间段内亮度变化的次数小于或者等于次数阈值，则认为该设备出现了闪屏缺陷， 这种仅仅通过计算屏幕亮度差异来检测闪屏的方法难以适应动态场景，不同的场景的亮度差异较大，难以设定固定的亮度阈值兼容所有的背景场景，从而在面对动态场景时发生漏检，误检。还有一些方法使用色阶比解决单一亮度的鲁棒性问题，获取目标时段内终端屏幕的n个屏幕画面,所述n为正整数；获取所述n个屏幕画面中的每个屏幕画面包含的各个颜色的色阶比,所述色阶比是指颜色的像素点个数与屏幕画面包含的所有像素点个数的比值；选取所述每个屏幕画面包含的各个颜色的色阶比中的最大色阶比；根据所述每个屏幕画面的最大色阶比, 确定每个屏幕画面是否呈类周期性关系，如果n个屏幕画面中存在的大部分屏幕画面的最大色阶比呈周期性关系，那么可以确定该n个屏幕画面的最大色阶比呈类周期性关系，由于闪屏会按照一定的时间间隔进行白屏和原屏幕画面的切换，白屏的色阶比接近1，而原屏幕画面中由于存在多种色彩因此色阶比低，所以白屏和原屏幕画面的频繁切换就呈现出类周期性关系，从而通过色阶比的类周期性关系判断目标时段内是否发生闪屏现象。该方法采用色阶比特征降低了检测算法受动态复杂场景的干扰程度，但其提出的类周期性变化建立在闪纯色屏的基础上，例如闪黑屏，闪白屏等，此类闪屏的色阶比呈现为极值，所以当面对发生微小的闪屏的现象时就无能为力了，例如闪屏帧只是在原图像帧上整体发生了轻微白膜现象，原背景中的多种色彩仍能透过白膜体现出来。

3、针对上述问题，目前亟待有效的技术解决方案。

技术实现思路

1、本技术的目的在于提供一种基于时序特征建模闪屏检测方法、系统及介质，能够检测电子显示设备屏幕在动态背景下的闪屏缺陷。

2、本技术提供了一种基于时序特征建模闪屏检测方法，所述方法包括：

3、获取待检测设备在预设的测试时间段内连续多帧屏幕图像；

4、将所述连续多帧屏幕图像划分为多个基本视频帧测试单元，每个基本视频帧测试单元包含：预设帧数且连续的多帧屏幕图像；

5、提取基本视频帧测试单元中各帧屏幕图像的有效检测区域；

6、将每个基本视频帧测试单元中各帧屏幕图像的有效检测区域，输入至预先训练好的闪屏检测模型中，输出每个基本视频帧测试单元对应的闪屏检测结果。

7、优选地，基本视频帧测试单元的有效检测区域提取方法包括：通过预设固定尺寸在基本视频帧测试单元的固定位置进行裁剪得到有效检测区域；或先采用canny边缘检测算法检测基本视频帧测试单元中图像的边缘，得到边缘图像，在边缘图像中获取最大的外接矩形信息，将外接矩形映射回基本视频帧测试单元，得到有效检测区域。

8、优选地，闪屏检测模型的训练过程为：

9、采集屏幕图像数据，根据屏幕图像是否闪屏分别保存在预设的第一文件夹、第二文件夹，得到训练数据集，所述第一文件夹和所述第二文件夹分别存储对应类别的基本训练单元，每个基本训练单元包括若干帧屏幕图像；

10、构建基于tsm的视频分类模型；

11、利用所述训练数据集对所述基于tsm的视频分类模型进行训练，得到闪屏检测模型。

12、优选地，所述基本训练单元和基本视频帧测试单元具有相同的屏幕图像帧个数。

13、优选地，tsm的视频分类模型使用时间转移模块将不同时刻的二维屏幕图像位移处理，得到图像在时序上的特征关联。

14、优选地，闪屏检测模型对有效检测区域进行闪屏检测具体步骤为：

15、判断基本视频帧测试单元是否闪屏；

16、若是闪屏，则保存当前基本视频帧测试单元用于闪屏检测模型的迭代；

17、若不是闪屏，则继续下一个基本视频帧测试单元的检测，直到测试时间段内的所有基本视频帧测试单元完成检测。

18、本技术第二方面提供了一种基于时序特征建模闪屏检测系统，屏幕图像帧获取模块、测试单元构建模块、有效检测区域提取模块、闪屏检测模块、消息推送模块，

19、所述屏幕图像帧获取模块用于获取待检测设备在预设的测试时间段内连续多帧屏幕图像；

20、所述测试单元构建模块用于将多帧屏幕图像划分为多个基本视频帧测试单元，每个基本视频帧测试单元包含：预设帧数且连续的多帧屏幕图像；

21、所述有效检测区域提取模块用于提取基本视频帧测试单元中各帧屏幕图像的有效检测区域；

22、所述闪屏检测模块用于将每个基本视频帧测试单元中各帧屏幕图像的有效检测区域输入至预先训练好的闪屏检测模型中，输出每个基本视频帧测试单元对应的闪屏检测结果。；

23、所述消息推送模块用于推送闪屏检测异常消息。

24、优选地，若有效检测区域出现闪屏，收集闪屏样本并进行数据标注构建闪屏样本数据集。

25、优选地，闪屏检测模型的构建过程为：

26、采集屏幕图像数据，根据屏幕图像是否闪屏分别保存为第一文件夹、第二文件夹，所述第一文件夹和所述第二文件夹分别存储对应类别的基本训练单元，得到训练数据集；

27、构建基于tsm的视频分类模型；

28、利用所述训练数据集对所述基于tsm的视频分类模型进行训练，得到闪屏检测模型。

29、本技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括基于时序特征建模闪屏检测方法程序，所述基于时序特征建模闪屏检测方法程序被处理器执行时，实现所述的基于时序特征建模闪屏检测方法的步骤。

30、由上可知，本技术提供的基于时序特征建模闪屏检测方法、系统及介质通过在预设的测试时间内获取连续的若干帧设备屏幕图像；然后对所述屏幕图像抽取连续帧屏幕图像，组成基本视频帧测试单元；提取基本视频帧测试单元的有效检测区域；最后利用预设置的闪屏检测模型对有效检测区域进行闪屏检测，保证检测模型能够在动态复杂背景下的拥有较高的缺陷检测准确率与鲁棒性。

31、本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。