增强现实光照处理测试方法及装置与流程

本发明涉及ar
技术领域：
，具体而言，涉及一种增强现实光照处理测试方法及装置。
背景技术：
：目前各种增强现实技术(augmentedreality，简称为ar)的主体功能如光照估计大多通过人力的主观感受，缺乏客观的精准度测试方案。光照估计为ar技术方案中根据环境光线的相关信息，并为摄像头图像提供色彩校正的功能。针对上述的问题，目前尚未提出有效的解决方案。技术实现要素：本发明实施例提供了一种增强现实光照处理测试方法及装置，以至少解决相关技术中缺乏测试ar显示性能的技术问题。根据本发明实施例的一个方面，提供了一种增强现实光照处理测试方法，包括：在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。根据本发明实施例的另一方面，还提供了一种测试增强现实技术ar显示的装置，包括：第一获取模块，用于在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；第二获取模块，用于在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；测试模块，用于利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项中所述的方法。在本发明实施例中，在对ar的显示性能进行测试时，在至少两个光照参数环境下获取至少两张真实场景图像和至少两张合成场景图像；然后基于真实场景图像和至少两张合成场景图像测试ar对光照的处理性能。达到了测试ar显示性能的目的，从而实现了准确测试ar显示性能的技术效果，进而解决了相关技术中缺乏测试ar显示性能的技术问题。附图说明此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是本发明实施例的增强现实光照处理测试的移动终端的硬件结构框图；图2是根据本发明实施例提供的增强现实光照处理测试方法的流程示意图；图3是根据本发明实施例提供的确定测试环境的示意图；图4是根据本发明实施例提供的ar图像的示意图(一)；图5是根据本发明实施例提供的ar图像的示意图(二)；图6是根据本发明实施例提供的ar图像的示意图(三)；图7是根据本发明实施例提供的ar图像的示意图(四)；图8是根据本发明实施例提供的差值图的示意图(一)；图9是根据本发明实施例提供的差值图的示意图(二)；图10是根据本发明实施例提供的差值图的示意图(三)；图11是本实施例中的差值图的计算方式示意图；图12是根据本发明实施例提供的增强现实光照处理测试装置的结构示意图；图13是根据本发明实施例的测试效果图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。根据本发明实施例，提供了一种增强现实光照处理测试方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的增强现实光照处理测试的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的增强现实光照处理测试方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。图2是根据本发明实施例提供的增强现实光照处理测试方法的流程示意图，如图2所示，该方法包括如下步骤：步骤s202，在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；步骤s204，在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；步骤s206，利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。通过上述步骤，在对ar的显示性能进行测试时，在至少两个光照参数环境下获取至少两张真实场景图像和至少两张合成场景图像；然后基于真实场景图像和至少两张合成场景图像测试ar对光照的处理性能。达到了测试ar显示性能的目的，从而实现了准确测试ar显示性能的技术效果，进而解决了相关技术中缺乏测试ar显示性能的技术问题。在一个可选的实施例中，在获取真实场景图像和合成场景图像之前，需要先确定获取图像的测试环境，具体通过以下方式确定测试环境：准备1个固定的测试环境，如图3所示，在本实施例中测试环境中的物体在测试中都保持位置不变，测试环境的自然条件(如光照、温度、气压、湿度等)保持恒定，然后在测试环境中选择一个固定的测试目标点(如图3所示的人物的位置)。测试环境可以是一个以测试目标点(如图3中所述的物体)为球心，半径为r的球及其内部，也可以是不规则的，测试环境中任意一点到测试地点最远距离为r的空间。让增强现实ar通过输入设备(如各种摄像头、传感器、录音装置等)经过固定的流程(固定的路线和固定的使用方法)获取测试环境的信息。ar可以在这个步骤完成对测试环境的理解，包括但不限于测试环境中各类表面的大小和位置，测试环境的光照条件等信息。需要说明的是，本实施例中的测试环境以不同的光照参数环境为例进行说明，但不限于此。在一个可选的实施例中，在不同的光照参数环境下，通过以下方式获取真实场景图像和合成场景图像：在第一光照参数环境中确定目标标记点，将ar摄像头对准目标标记点。起点为ar摄像头所在坐标，终点为测试目标点所在坐标的向量记为(x，y，z)，获取的真实场景图像如图4所示，得到第一图像。然后在第一光照参数环境中放置测试对象，例如安卓小绿人。在第一光照参数环境中获取的合成场景图像如图6所示，得到第三图像。通过改变第一光照参数环境中的光照参数，使第一光照参数环境变成第二光照参数环境。在第二光照参数环境中，将ar摄像头对准目标标记点。起点为ar摄像头所在坐标，终点为测试目标点所在坐标的向量记为(x，y，z)，获取的真实场景图像如图5所示，得到第二图像。然后在第二光照环境中放置测试对象，例如安卓小绿人。在第二光照参数环境中获取的合成场景图像如图7所示，得到第四图像。在一个可选的实施例中，获取真实场景图像和合成场景图像之后，需要对获得的图像进行测试分析，具体包括以下内容：将第一光照参数环境下第一图像和第二光照参数环境下第二图像逐像素做差值，得到第一像素差值，即是将第一图像与第二图像进行合并得到第一差值图，如图9所示。此外，第一图像和第二图像之间的第一差值图的极端方式如图11所示。将第二光照参数环境下第三图像和第二光照参数环境下第四图像逐像素做差值，得到第二像素差值，即是将第三图像与第四图像进行合并得到第二差值图，如图8所示。在一个可选的实施例中，需要对第一差值图和第二差值图做直方图统计，得到直方图统计结果h(i)，如表1所示(当色阶n＝256的情况)，表1为差值图的直方图统计结果：表1：像素差值012...252253254255像素数a0a1a2...a252a253a254a255如表1所示，直方图统计结果中包括像素差值和与像素差值对应的像素数，具体为第一像素差值，第二像素差值...,与第一像素差值对应的第一像素数，与第二像素差值对应的第二像素数….在一个可选的实施例中，得到直方图统计结果之后，需要计算直方图统计结果的差异值d，具体为：基于第一像素差值和第一像素数计算出第一差值图相对于第一图像和第二图像的第一差异值d1；基于第二像素差值和第二像素数计算出第二差值图相对于第三图像和第四图像的第二差异值d2；例如，d的公式表示如下：然后，需要对第一差异值和第二差异值进行归一化处理，得到归一化差异值。在一个可选的实施例中，如果待测目标是一个单一色彩的物体，只需要计算待测目标在任一图像中的像素占比，其中，任一图像包括：第一图像、第二图像、第三图像和第四图像；基于归一化差异值和像素占比计算出色彩校正差异值；将色彩校正差异值与预设的增强现实光照显示值进行比较，以测试增强现实光照处理的显示性能。但需要说明的是，如果真实场景图像和合成场景图像为多色彩通道图像(例如，rgb三通道)，则需要计算待测目标在任一图像中的各个色彩通道的像素占比(如图10所示)，得到多个色彩像素占比p，其中，任一图像包括：第一图像、第二图像、第三图像、和第四图像；基于归一化差异值计算出多个色彩像素占比中的各个色彩像素占比的色彩校正差异值，得到多个色彩校正差异值；计算多个色彩校正差异值的和值c；将和值与预设的增强现实光照显示值进行比较，以测试增强现实光照的显示性能。例如，计算公式可以为：需要说明的是，c值越小则光照估计效果越好，反之则越差。由上述可知，已经完成了ar在视角(x，y，z)第一光照参数环境与第二光照参数环境对测试对象(待测目标)的光照估计效果的测试。还可以通过扩展更多的视角、测试环境、测试模型，进行多视角多测试环境多测试模型的测试。本实施例主要用于测试光照估计(lightestimation)的效果，即ar可以检测其环境光线的相关信息，并提供给定摄像头图像的平均光强度和色彩校正。此信息能够使用与周围环境相同的光照来照亮虚拟物体，提升它们的真实感，如图13所示，最佳的测试效果是使得ar显示出的图像可以融入真实场景中。此外，ar的整体光照估计效果可以根据在不同视角、不同环境下以及不同测试模型的情况下的结果求加权平均值得到结果。综上所述，本实施例还包括：测试流程控制模块、测试图像采集模块、测试图像分析模块。具体作用如下：测试流程控制模块，负责辅助ar的输入设备和装置进行测试环境理解。测试图像采集，负责获取ar输出结果。测试图像分析模块，记录根据测试图像，通过计算分析得出ar光照估计效果。本实施例的有益效果如下：通用性：整个技术方案对于ar的硬件，系统平台都没有任何要求，也不需要知道ar的源代码或者任何实现细节。准确性：当测试环境处于恒定条件下时，该技术方案受其他因素的影响较小。可扩展性：技术方案的误差与工作量的权衡可以通过取测试点的多少来进行调整，测试角度、测试环境、测试模型越多则工作量越大且精度越高。本发明实施例还提供了一种增强现实光照处理测试装置，图12是根据本发明实施例提供的增强现实光照处理测试装置的结构示意图，如图12所示，该装置包括：第一获取模块1202，用于在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；第二获取模块1204，用于在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；测试模块1206，用于利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。通过上述步骤，在对ar的显示性能进行测试时，在至少两个光照参数环境下获取至少两张真实场景图像和至少两张合成场景图像；然后基于真实场景图像和至少两张合成场景图像测试ar对光照的处理性能。达到了测试ar显示性能的目的，从而实现了准确测试ar显示性能的技术效果，进而解决了相关技术中缺乏测试ar显示性能的技术问题。在一个可选的实施例中，在获取真实场景图像和合成场景图像之前，需要先确定获取图像的测试环境，具体通过以下方式确定测试环境：准备1个固定的测试环境，如图3所示，在本实施例中测试环境中的物体在测试中都保持位置不变，测试环境的自然条件(如光照、温度、气压、湿度等)保持恒定，然后在测试环境中选择一个固定的测试目标点(如图3所示的人物的位置)。测试环境可以是一个以测试目标点(如图3中所述的物体)为球心，半径为r的球及其内部，也可以是不规则的，测试环境中任意一点到测试地点最远距离为r的空间。让增强现实ar通过输入设备(如各种摄像头、传感器、录音装置等)经过固定的流程(固定的路线和固定的使用方法)获取测试环境的信息。ar可以在这个步骤完成对测试环境的理解，包括但不限于测试环境中各类表面的大小和位置，测试环境的光照条件等信息。需要说明的是，本实施例中的测试环境以不同的光照参数环境为例进行说明，但不限于此。在一个可选的实施例中，在不同的光照参数环境下，通过以下方式获取真实场景图像和合成场景图像：在第一光照参数环境中确定目标标记点，将ar摄像头对准目标标记点。起点为ar摄像头所在坐标，终点为测试目标点所在坐标的向量记为(x，y，z)，获取的真实场景图像如图4所示，得到第一图像。然后在第一光照参数环境中放置测试对象，例如安卓小绿人。在第一光照参数环境中获取的合成场景图像如图6所示，得到第三图像。通过改变第一光照参数环境中的光照参数，使第一光照参数环境变成第二光照参数环境。在第二光照参数环境中，将ar摄像头对准目标标记点。起点为ar摄像头所在坐标，终点为测试目标点所在坐标的向量记为(x，y，z)，获取的真实场景图像如图5所示，得到第二图像。然后在第二光照环境中放置测试对象，例如安卓小绿人。在第二光照参数环境中获取的合成场景图像如图7所示，得到第四图像。在一个可选的实施例中，获取真实场景图像和合成场景图像之后，需要对获得的图像进行测试分析，具体包括以下内容：将第一光照参数环境下第一图像和第二光照参数环境下第二图像逐像素做差值，得到第一像素差值，即是将第一图像与第二图像进行合并得到第一差值图，如图9所示。此外，第一图像和第二图像之间的第一差值图的极端方式如图11所示。将第二光照参数环境下第三图像和第二光照参数环境下第四图像逐像素做差值，得到第二像素差值，即是将第三图像与第四图像进行合并得到第二差值图，如图10所示。在一个可选的实施例中，需要对第一差值图和第二差值图做直方图统计，得到直方图统计结果h(i)，如表1所示(当色阶n＝256的情况)，表1为差值图的直方图统计结果：表1：像素差值012...252253254255像素数a0a1a2...a252a253a254a255如表1所示，直方图统计结果中包括像素差值和与像素差值对应的像素数，具体为第一像素差值，第二像素差值...,与第一像素差值对应的第一像素数，与第二像素差值对应的第二像素数….在一个可选的实施例中，得到直方图统计结果之后，需要计算直方图统计结果的差异值d，具体为：基于第一像素差值和第一像素数计算出第一差值图相对于第一图像和第二图像的第一差异值d1；基于第二像素差值和第二像素数计算出第二差值图相对于第三图像和第四图像的第二差异值d2；例如，d的公式表示如下：然后，需要对第一差异值和第二差异值进行归一化处理，得到归一化差异值。在一个可选的实施例中，如果待测目标是一个单一色彩的物体，只需要计算待测目标在任一图像中的像素占比，其中，任一图像包括：第一图像、第二图像、第三图像和第四图像；基于归一化差异值和像素占比计算出色彩校正差异值；将色彩校正差异值与预设的增强现实光照显示值进行比较，以测试增强现实光照处理的显示性能。但需要说明的是，如果真实场景图像和合成场景图像为多色彩通道图像(例如，rgb三通道)，则需要计算待测目标在任一图像中的各个色彩通道的像素占比，得到多个色彩像素占比p，其中，任一图像包括：第一图像、第二图像、第三图像、和第四图像；基于归一化差异值计算出多个色彩像素占比中的各个色彩像素占比的色彩校正差异值，得到多个色彩校正差异值；计算多个色彩校正差异值的和值c；将和值与预设的增强现实光照显示值进行比较，以测试增强现实光照的显示性能。例如，计算公式可以为：需要说明的是，c值越小则光照估计效果越好，反之则越差。由上述可知，已经完成了ar在视角(x，y，z)第一光照参数环境与第二光照参数环境对测试对象(待测目标)的光照估计效果的测试。还可以通过扩展更多的视角、测试环境、测试模型，进行多视角多测试环境多测试模型的测试。本实施例主要用于测试光照估计(lightestimation)的效果，即ar可以检测其环境光线的相关信息，并提供给定摄像头图像的平均光强度和色彩校正。此信息能够使用与周围环境相同的光照来照亮虚拟物体，提升它们的真实感，如图13所示，最佳的测试效果是使得ar显示出的图像可以融入真实场景中。本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：s1，在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；s2，在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；s3，利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：s1，在至少两个光照参数环境下分别获取增强现实视频图像对应的至少两张真实场景图像；s2，在至少两个光照参数环境下分别获取增强现实合成视频图像对应的至少两张合成场景图像，其中，增强现实合成视频图像是通过在增强现实视频图像中设置测试对象确定的；s3，利用至少两张真实场景图像和至少两张合成场景图像对增强现实光照处理进行测试。可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页12