基于深度学习VR渲染图像异常显示检测方法及系统与流程

基于深度学习vr渲染图像异常显示检测方法及系统
技术领域
1.本发明涉及vr测试技术领域，尤其涉及基于深度学习vr渲染图像异常显示检测方法及系统。


背景技术：

2.研究发现，目前业界对于vr一体机的图像渲染异常检测基本都基于测试人员肉眼识别的处理方式；这种人工识别vr一体机的图像渲染异常的效率低，误差大，且由于终端渲染问题往往有较强的时效性，人工较难做到及时的异常图像捕获，总体无法做到精准的定位和异常图像捕获。
3.因此说，如何解决现有技术中的存在的上述技术缺陷是本领域技术人员急需克服的问题。


技术实现要素：

4.本发明一种基于深度学习的vr渲染图像异常显示检测方法，可实现检测vr一体机可视范围内图像渲染是否存在异常节点的测试方法，避免人眼识别失误，从而节约人工成本，极大提高检测效率。
5.为实现上述目的，根据本发明的第一方面，本发明提出了一种基于深度学习的vr渲染图像异常显示检测方法，包括：
6.实时采集vr一体机曲面双屏上镜渲染后的每一帧图像，对视频流中的多个图像进行人工筛选，人工筛选出异常渲染图像标注以及正常渲染图像标注并存储；所述vr一体机曲面双屏上镜渲染后的每一帧图像为双屏可视范围内图像；
7.构建深度学习模型，以所述视频流中采集的每个图像为输入集，提取人工标注异常渲染图像的关键元素特征，通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，从而大量训练识别深度学习模型的异常渲染图像以及正常渲染图像形成分类模型；
8.防人眼像机连接vr一体机继续获取vr一体机输出的目标视频流，将所述目标视频流发送分类模型，分类模型实时拆分目标视频流检测每一帧图像对异常渲染图像进行识别，提取目标视频流中的异常渲染图像的图像信息。
9.优选的，作为一种可实施方式；在实时采集vr一体机曲面双屏上镜渲染后的每一帧图像之前，包括：预先将防人眼像机连接vr一体机，录制视频流操作；
10.优选的，作为一种可实施方式；所述人工标注异常渲染图像的关键元素特征包括图像异常色块、图像花屏、图像黑边、图像撕裂、图像闪帧黑屏、左右眼屏幕图像错位、界面ui显示不完整、手柄渲染不完整中的一种或是多种。
11.优选的，作为一种可实施方式；所述目标视频流中的异常渲染图像的图像信息包括：异常渲染图像的关键元素特征、异常渲染图像的所在目标视频帧的位置信息。
12.优选的，作为一种可实施方式；所述通过对比人工标注异常渲染图像的关键元素
特征与每个图像的关键元素特征对比，包括：
13.对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征，当人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征的图像相似度大于标准阈值时，则认定筛选出的图像为异常渲染图像。
14.相应地，本发明提出了一种基于深度学习的vr渲染图像异常显示检测系统，包括实时采集模块、构建模型模块、识别处理模块：
15.实时采集模块，用于实时采集vr一体机曲面双屏上镜渲染后的每一帧图像，对视频流中的多个图像进行人工筛选，人工筛选出异常渲染图像标注以及正常渲染图像标注并存储；所述vr一体机曲面双屏上镜渲染后的每一帧图像为双屏可视范围内图像；
16.构建模型模块，用于构建深度学习模型，以所述视频流中采集的每个图像为输入集，提取人工标注异常渲染图像的关键元素特征，通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，从而大量训练识别深度学习模型的异常渲染图像以及正常渲染图像形成分类模型；
17.识别处理模块，用于防人眼像机连接vr一体机继续获取vr一体机输出的目标视频流，将所述目标视频流发送分类模型，分类模型实时拆分目标视频流检测每一帧图像对异常渲染图像进行识别，提取目标视频流中的异常渲染图像的图像信息。
18.优选的，作为一种可实施方式；所述基于深度学习的vr渲染图像异常显示检测系统还包括采集模块；
19.所述采集模块，用于在实时采集vr一体机曲面双屏上镜渲染后的每一帧图像之前，包括：预先将防人眼像机连接vr一体机，录制视频流操作。
20.优选的，作为一种可实施方式；所述基于深度学习的vr渲染图像异常显示检测系统还包括对比处理模块；
21.对比处理模块，用于对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征，当人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征的图像相似度大于标准阈值时，则认定筛选出的图像为异常渲染图像。
22.与现有技术相比，本发明提供的基于深度学习的vr渲染图像异常显示检测方法及系统；其中，检测方法包括如下方式：实时采集vr一体机曲面双屏上镜渲染后的每一帧图像，对视频流中的多个图像进行人工筛选，人工筛选出异常渲染图像标注以及正常渲染图像标注并存储；所述vr一体机曲面双屏上镜渲染后的每一帧图像为双屏可视范围内图像；构建深度学习模型，以所述视频流中采集的每个图像为输入集，提取人工标注异常渲染图像的关键元素特征，通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，从而大量训练识别深度学习模型的异常渲染图像以及正常渲染图像形成分类模型；
23.最后利用防人眼像机连接vr一体机继续获取vr一体机输出的目标视频流，将所述目标视频流发送分类模型，分类模型实时拆分目标视频流检测每一帧图像对异常渲染图像进行识别，提取目标视频流中的异常渲染图像的图像信息。
24.综上，本发明提供的技术方案可实现检测vr一体机可视范围内图像渲染是否存在异常节点的测试方法，避免人眼识别失误，从而节约人工成本，极大提高检测效率。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
26.图1是本发明实施例提供的第一种基于深度学习的vr渲染图像异常显示检测方法的流程示意图；
27.图2是图1所示实施例提供的基于深度学习的vr渲染图像异常显示检测方法的一具体流程示意图；
28.图3是图1所示实施例提供的基于深度学习的vr渲染图像异常显示检测方法的另一具体流程示意图。
29.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
30.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
31.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.在本发明的描述中，需要说明的是，术语“中心”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
33.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
34.实施例一
35.具体参见图1，图1是本发明实施例一提供的一种基于深度学习的vr渲染图像异常显示检测方法，包括：
36.s110：实时采集vr一体机曲面双屏上镜渲染后的每一帧图像，对视频流中的多个图像进行人工筛选，人工筛选出异常渲染图像标注以及正常渲染图像标注并存储；所述vr一体机曲面双屏上镜渲染后的每一帧图像为双屏可视范围内图像；
37.s120：构建深度学习模型，以所述视频流中采集的每个图像为输入集，提取人工标注异常渲染图像的关键元素特征，通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，从而大量训练识别深度学习模型的异常渲染图像以及正常渲染图像形成分类模型；
38.s130：防人眼像机连接vr一体机继续获取vr一体机输出的目标视频流，将所述目标视频流发送分类模型，分类模型实时拆分目标视频流检测每一帧图像对异常渲染图像进
行识别，提取目标视频流中的异常渲染图像的图像信息。
39.通过防人眼像机实时采集vr一体机曲面双屏上镜渲染后图像，录制视频流并标注特征点，结合深度学习框架，输入采集图像作为训练集，训练自动分类模型，完成后分类模型能识别vr图像渲染和显示的异常节点(比如图像异常色块，图像花屏，图像黑边，图像撕裂，图像闪帧黑屏，左右眼屏幕图像错位，界面ui显示不完整，手柄渲染不完整等)；
40.使用时搭配防人眼像机实时视频流输出到分类模型，再拆分逐帧图像经行分类计算，最终输出所有不符需求的渲染异常图像节点。
41.综上所述，本发明实施例一提供的一种基于深度学习的vr渲染图像异常显示检测方法，通过防人眼相机实时采集vr一体机曲面双屏可视范围内图像，标记渲染异常图片进行深度学习分类，可以实时准确检测分类出异常视频帧，及时保存异常图片信息。
42.具体参见图2，在实时采集vr一体机曲面双屏上镜渲染后的每一帧图像之前，包括：
43.s111：预先将防人眼像机连接vr一体机，录制视频流操作。
44.在本发明实施例的具体技术方案中，所述人工标注异常渲染图像的关键元素特征包括图像异常色块、图像花屏、图像黑边、图像撕裂、图像闪帧黑屏、左右眼屏幕图像错位、界面ui显示不完整、手柄渲染不完整中的一种或是多种；另外图像的关键元素特征也同样是包括图像异常色块、图像花屏、图像黑边、图像撕裂、图像闪帧黑屏、左右眼屏幕图像错位、界面ui显示不完整、手柄渲染不完整中的一种单一特征或是多种的特征组合。
45.在本发明实施例的具体技术方案中，所述目标视频流中的异常渲染图像的图像信息包括：异常渲染图像的关键元素特征、异常渲染图像的所在目标视频帧的位置信息。
46.具体参见图3，所述通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，包括：
47.s121：对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征，当人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征的图像相似度大于标准阈值时，则认定筛选出的图像为异常渲染图像。
48.在具体技术方案中，可根据关键元素的特征(或是特征向量)的特征值，标记异常渲染图像标签和正常渲染图像标签；将数据集输入至分类模型，得到图像的向量特征表示；使用深度神经网络分类算法不断计算图像的向量特征，直至得到的标签分类结果。
49.实施例二
50.相应地，本发明实施例二提出了一种基于深度学习的vr渲染图像异常显示检测系统，包括实时采集模块、构建模型模块、识别处理模块：
51.实时采集模块，用于实时采集vr一体机曲面双屏上镜渲染后的每一帧图像，对视频流中的多个图像进行人工筛选，人工筛选出异常渲染图像标注以及正常渲染图像标注并存储；所述vr一体机曲面双屏上镜渲染后的每一帧图像为双屏可视范围内图像；
52.构建模型模块，用于构建深度学习模型，以所述视频流中采集的每个图像为输入集，提取人工标注异常渲染图像的关键元素特征，通过对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征对比，从而大量训练识别深度学习模型的异常渲染图像以及正常渲染图像形成分类模型；
53.识别处理模块，用于防人眼像机连接vr一体机继续获取vr一体机输出的目标视频
流，将所述目标视频流发送分类模型，分类模型实时拆分目标视频流检测每一帧图像对异常渲染图像进行识别，提取目标视频流中的异常渲染图像的图像信息。
54.优选的，作为一种可实施方式；所述基于深度学习的vr渲染图像异常显示检测系统还包括采集模块；
55.所述采集模块，用于在实时采集vr一体机曲面双屏上镜渲染后的每一帧图像之前，包括：预先将防人眼像机连接vr一体机，录制视频流操作。
56.优选的，作为一种可实施方式；所述基于深度学习的vr渲染图像异常显示检测系统还包括对比处理模块；
57.对比处理模块，用于对比人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征，当人工标注异常渲染图像的关键元素特征与每个图像的关键元素特征的图像相似度大于标准阈值时，则认定筛选出的图像为异常渲染图像。
58.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
59.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
60.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
61.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
62.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
63.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
64.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。