数据处理方法及系统、训练数据生成方法和电子设备与流程

文档序号:27424575发布日期:2021-11-17 19:16阅读:114来源:国知局
数据处理方法及系统、训练数据生成方法和电子设备与流程

1.本技术涉及计算机技术领域,尤其涉及一种数据处理方法及系统、训练数据生成方法和电子设备。


背景技术:

2.三维理解是计算机视觉中的重要基本问题,在场景理解、编辑类等领域中有着广泛的实际运用。目前,虽然基于机器学习模型的三维场景理解方法在一定的三维场景中有着较好的效果,但该类方法应用场景取决于三维场景理解训练数据的分布。而现有的作为训练数据的图片(如rgb三通道图片)及图片中部分像素点的场景信息中部分内容(如像素处平面法线、像素处纹理坐标、像素处光照探针信息等),大多需使用三维数据采集设备(如雷达、深度相机等)进行实地(如商场、街道等)获得。
3.图片及图片中部分像素点的场景信息,依赖于三维数据采集设备的精度与敏感度。此外,对于纹理坐标、光照探针等类型的数据,利用三维数据采集设备难以形成规模化的采集方案。


技术实现要素:

4.鉴于上述问题,提出了本技术以提供一种解决上述问题或至少部分地解决上述问题的一种数据处理方法及系统、训练数据生成方法和电子设备。
5.于是,在本技术的一个实施例中,提供了一种数据处理方法。该方法,包括:
6.获取第一对象的三维数据及光照信息;
7.获取虚拟采集装置的参数;
8.基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;
9.根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
10.在本技术的又一个实施例中,提供了一种数据处理方法。该方法包括:
11.获取一虚拟空间的三维数据及光照信息;
12.获取虚拟采集装置的参数;
13.基于所述三维数据,确定所述虚拟采集装置在所述虚拟空间内的第六位置信息;
14.根据所述第六位置信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
15.在本技术的另一实施例中,提供了一种训练数据生成方法。该训练数据生成方法,包括:
16.获取第一对象的三维数据及光照信息;
17.获取虚拟采集装置的参数;
18.基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信
息;
19.根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据;
20.将所述第一图像数据,作为机器学习模型的训练数据。
21.在本技术的另一实施例中,提供了一种数据处理系统。该数据处理系统,包括:
22.交互设备,用于展示第一对象;
23.处理设备,用于获取所述第一对象的三维数据及光照信息;获取虚拟采集装置的参数;基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据;
24.所述交互设备,还用于展示所述第一图像数据。
25.在本技术的另一实施例中,提供了一种电子设备。该电子设备,包括:存储器、处理器以及显示器,其中,
26.所述存储器,用于存储程序;
27.所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
28.获取第一对象的三维数据及光照信息;
29.获取虚拟采集装置的参数;
30.基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;
31.根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
32.在本技术的又一实施例中,提供了一种电子设备。该电子设备,包括:存储器、处理器以及显示器,其中,
33.所述存储器,用于存储程序;
34.所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:
35.获取一虚拟空间的三维数据及光照信息;
36.获取虚拟采集装置的参数;
37.基于所述三维数据,确定所述虚拟采集装置在所述虚拟空间内的第六位置信息;
38.根据所述第六位置信息、所述虚拟采样装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
39.本技术实施例提供的技术方案,通过获取第一对象的三维数据及光照信息,以及虚拟采集装置的参数;随后基于第一对象的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据;整体方案实现简单、高效,可成规模的生成大量的图像数据;此外,本实施例提供的技术方案,无需相机等数据采集设备的参与,不受实际硬件设备精度与敏感度的限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本技术实施例提供的技术方案,图像数据产生效率高,且真实感强;将图像数据作为机器学习模型的
训练数据,有助于提高模型训练效果;将图像数据用于具体应用场景,如虚拟装修场景、虚拟店铺设计、舞台设计场景等,因其真实感强;用户可通过图像数据直观的看到装修效果、虚拟店铺、舞台设计效果等等,用户体验好。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要利用的附图作一简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
41.图1a为本技术一实施例提供的数据处理方法的流程示意图;
42.图1b为本技术一实施例提供的交互界面的一示例性图;
43.图1c为本技术一实施例提供的数据处理方法中提及的第一对象在三维空间坐标系下的示意图;
44.图1d为光线跟踪算法的原理性示意图;
45.图1e为通过交互界面添加或改变第二对象位姿的示意图;
46.图2为本技术另一实施例提供的数据处理方法的流程示意图;
47.图3a为本技术一实施例提供的训练数据生成方法的流程示意图;
48.图3b为利用图3a所示的训练数据生成方法生成的训练数据训练机器学习模型的原理性示意图;
49.图3c为本技术又一实施例提供的数据处理方法的流程示意图;
50.图4a为本技术一实施例提供的数据处理系统的原理性结构框图;
51.图4b为本技术一实施例提供的数据处理系统中交互设备及处理设备的具体设备形态的示意图;
52.图5为本技术一实施例提供的数据处理装置的结构框图;
53.图6为本技术另一实施例提供的数据处理装置的结构框图;
54.图7为本技术一实施例提供的电子设备的结构框图。
具体实施方式
55.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。
56.在本技术的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型;而本文中术语“或/和”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如:a或/和b,表示可以单独存在a,同时存在a和b,单独存在b这三种情况;本文中字符“/”,一般表示前后关联对象是一种“或”关系。此外,下述的各实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于
本技术中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
57.图1a示出了本技术一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以是具有逻辑运算功能的电子设备,所述电子设备可以为客户端或服务端。其中,所述客户端可以为手机、平板电脑、智能穿戴设备等任意终端设备;所述服务端可以是常用服务器、云端或虚拟服务器等,本技术实施例对此不作具体限定。如图1a所示,该方法包括:
58.101、获取第一对象的三维数据及光照信息。
59.102、获取虚拟采集装置的参数。
60.103、基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息。
61.104、根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
62.上述101中,所述第一对象可以是包含三维信息的空间、物体等任何由机器生成的虚拟实体。第一对象可人为利用相应的软件创建出的,也可是机器自动生成。或者,第一对象是通过采集设备,如雷达和相机等设备对现实存在的空间或物体等,进行数据采集后;具有一定数据处理能力的设备(可以是本实施例方法的执行主体,也可以是其他设备)基于采集设备采集到的数据生成的。
63.对于家居空间对应的第一对象来说,该第一对象除含有空间的固定物体(如建筑墙体、门、窗等),还包含空间内的非固定物体(如电器、家具、人等)。对于街道对应的第一对象来说,该第一对象包含有街道内的固定物体(如道路、植物、建筑物),还包含有街道内的非固定物体(如车辆、人、自行车等)。
64.第一对象的三维数据可存储在一存储介质中。在调取该第一对象的三维数据,用以进行上述各步骤的处理时,可由用户通过交互界面调取。即,本步骤101中“获取一第一对象的三维数据”的一种可实现方案为:显示交互界面;响应于用户通过所述交互界面针对所述第一对象触发的输入操作,获取所述第一对象对应的三维数据。参见图1b所示,用户可通过交互界面1提供的交互方式,如鼠标、键盘、语音等方式,输入第一对象的标识或从多个对象中选择第一对象。在用户完成输入或选择后,本实施例方法的执行主体便会从相应的存储介质中获取该第一对象的三维数据。图1b中示出了用户在完成输入或选择后,在交互界面1中展示出第一对象对应对象图像2的示例。另外,图1b中示出了虚拟采集装置3在交互界面上对应的装置图像3。其中,虚拟采集装置3的位置信息由本方法的执行主体基于第一对象的三维数据来确定,这部分内容将在下文中展开说明。其实,在具体实施时,虚拟采集装置也可由用户通过交互界面1设置,例如,用户可通过触摸屏或鼠标,将交互界面上的虚拟采集装置对应的装置图像3拖动到想要的位置。
65.在实际应用中,为了提高最终生成的第一图像数据的真实感,需要为第一对象的光照效果进行处理。对于静态物体(如静止物体)可采用hdr光照图,对于非静态物体(如移动物体、人等)采用光照探针,效果会更好。因此,为了提高真实感,上述101中所述光照信息可包括如下中的至少一种:hdr光照图、光照探针。相应地,
66.在一种可实现的方案中,上述“获取所述光照信息”,可以具体包括:
67.响应于用户通过配置界面触发的配置操作,获取所述用户为所述第一对象配置的
hdr光照图;或者
68.按照配置规则,为所述第一对象配置hdr光照图。
69.具体实施时,所述hdr光照图可以由用户通过交互界面上所显示的配置操作界面,例如烘焙工具的操作界面,如cloud gi(cloud iiiumination,云全局光照),对所述第一对象进行烘焙得到;也可以由用户通过交互配置界面根据已有经验或系统自动生成。此外,也可以按照配置规则从事先采集得到的hdr光照图集中选取hdr光照图,随机为所述第一对象配置hdr光照图,等等。
70.利用hdr光照图虽然可以大大提升静态物体的真实程度,能够使静态物体看上去更加具有立体感、更加真实与丰富,但却不能用来实时处理非静态物体的动态光照。为了使所述非静态物体能够具有较好的光照效果,以提高所述非静态物体的真实感,当对所述非静态物体的光照效果进行处理时,可以通过使用光照探针,即灯光探测器,来提高所述非静态物体的真实感。所述光照探针是一种光照渲染技术,其基本原理为:通过在三维空间中布设一系列记录从四周各个方向接收到的光照强度的“采样点”(即环境光照探针,也可简称为光照探针),来收集从四周各个方向接收到的光照强度,进而将所述光照强度作用到需要被渲染的所述第一对象(即非静态物体)上,进而完成对所述第一对象光照效果的处理,提高所述第一对象的真实感。基于此,在另一种可实现的方案中,本步骤101“获取所述光照信息”,还可包括:
71.响应于用户通过交互界面为所述第一对象触发光照探针设置操作,获取用户为所述第一对象设置的至少一个光照探针;或者
72.基于所述三维数据,为所述第一对象部署至少一个光照探针。
73.具体实施时,所述光照探针可以是虚拟全景相机,当为所述第一对象布设所述光照探针时,可以由用户通过交互界面为所述第一对象设置一个或多个光照探针;也可由本实施例方法的执行主体根据获取到的所述第一对象的三维数据,为所述第一对象部署一个或多个光照探针。
74.上述102中,所述虚拟采集装置的参数可以是用户通过交互界面输入所得,也可以是在用户输入市面上售卖的相机技术参数后,本实施例方法的执行主体利用高斯混合模型随机生成的视野宽(field of view)、光圈直径(aperture radius)、镜头焦距(focal distance)、曝光时间等参数。具体实施时,用户可根据需要通过交互界面手动调节虚拟采集装置的参数;或者,利用高斯混合模型通过随机生成的方式来调节虚拟采集装置的参数。用户通过手动调整或利用高斯混合模型随机生成,来模拟镜头失焦的情况,可使得最终生成的第一图像数据模拟出由于镜头失焦产生的模糊背景或前景的情况。
75.上述103“基于所述三维数据,确定所述虚拟采集装置的第一位置信息”,可以具体包括:
76.1031、基于所述三维数据,提取所述第一对象的骨架信息;
77.1032、根据所述骨架信息,确定所述虚拟采集装置的第一位置信息。
78.上述1031“基于所述三维数据,提取所述第一对象的骨架信息”,具体可采用如下步骤来实现:
79.a11、基于所述三维数据,确定所述第一对象的包围盒;
80.a12、对所述包围盒进行投影处理,得到投影至第一平面上的投影信息;
81.a13、根据所述投影信息,提取所述第一对象的骨架信息。
82.上述a11中,所述包围盒是一种求解离散点集较优包围空间的算法,基本思想是用体积稍大且特性简单的几何体(称为包围盒)把复杂的几何对象包裹起来以近似地代替复杂的几何对象。在具体实施时,根据所述三维数据所确定出的所述第一对象的包围盒可以为如下中的至少一种:包围球(sphere)、轴一致包围盒(aabb,即axis-aligned bounding boxes)、方向包围盒(obb,即orientend bounding box)以及固定方向凸包围盒(fdh,即fixed direction hull)。
83.上述a12中,在对所述包围盒进行投影处理时,可以先将所述包围盒投影至一个第一平面上,然后对所述包围盒内所包裹的所述第一对象进行处理得到对应的投影信息。参见图1c所示的实例,在三维空间坐标系oxyz下,约定三维空间坐标系的z轴的正数方向为正方向,可以将所述包围盒投影至三维空间坐标系的xoy平面上,以得到相应的投影信息;此外,也可以将所述包围盒投影至其它平面,如xoz平面、yoz平面等,这里不做具体限定。
84.上述a13“根据所述投影信息,提取所述第一对象的骨架信息”的一种可实现方案为:对所述投影信息进行二值化处理,得到二值化结果;利用骨骼化算法,对所述二值化结果进行处理,得到所述骨架信息。
85.具体实施时,如图1c所示的第一对象的实例,对所述投影信息进行二值化过程中,可以简单理解为:地面上的空地(即没有放置家具、电器等的地方)使用白色着色;地面上放置有非固定物体(如电器、家具等)的地方使用黑色着色。这里需要说明的是:对投影信息进行二值化处理的过程,可参见现有技术中的相关技术实现,有关具体实现过程,可参见相关文献,本实施例对此不作赘述。然后,基于骨骼化算法对所述二值图像进行处理,也就可以得到所述第一对象对应的骨架信息,即形成在xoy平面上的骨架信息。若将该骨架信息转化为图的方式来理解:图1c所示的空间形成在xoy平面上的骨架信息为勾勒空间形状及空间内物体形状的线条组成的图。骨骼化算法能够将一个连通区域细化成一个像素的宽度。这里将所述二值图像进行骨骼化,有助于在布设所述虚拟采集装置时减少所述虚拟采集装置在虚拟空间边界处的比重,进而有利于减少计算负担。若将所述虚拟采集装置布设于虚拟空间的边界处,很可能减少所述虚拟采集装置拍摄到所述虚拟空间场景的信息量,例如,把所述虚拟采集装置布设在一虚拟房间的墙边,且朝向又正对着墙,则所采样得到的图像有可能就是一面白墙,很难包含足够的信息量,从构造训练数据的角度出发,不利于机器学习模型的训练。因此,将第一对象进行骨骼化,便于虚拟采集装置的位姿确定。
86.上述1032“根据所述骨架信息,确定所述虚拟采集装置的第一位置信息”,具体可采用如下步骤来实现:
87.10321、基于所述骨架信息中包含的一像素点的坐标,确定所述虚拟采集装置的第一位置信息。
88.具体地,在获得所述骨架信息之后,可以将所述虚拟采集装置布设在所述骨架信息中所包含的一像素点对应的第一坐标位置(即xoy平面上的坐标)处,则所述虚拟采集装置的第一位置信息包含:该第一坐标位置以及z轴上的第二坐标位置。
89.进一步,本实施例提供的所述方法还包括如下步骤:
90.s1、确定所述虚拟采集装置的朝向;
91.s2、根据所述朝向,得到所述虚拟采集装置的第一姿态信息;
92.相应的,上述步骤104“根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据”,可具体为:
93.根据所述第一位置信息、所述第一姿态信息,所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
94.其中,虚拟采集装置的朝向可随机确定,也可按照预置的朝向配置规则来确定,本实施例对此不作具体限定。其中,预置的朝向配置规则可包括:虚拟采集装置朝向xoy平面,和/或朝向如图1c所示的包含空间及空间内物体的第一对象内,处于虚拟采集装置附近的一物体。
95.上述104“根据所述第一位置信息、所述参数及所述光照信息,生成第一图像数据及所述第一图像数据中至少部分像素对应的属性信息”,可以具体包括:
96.1041、根据所述第一位置信息及所述参数,确定所述虚拟采集装置相对于所述第一对象的视野信息。
97.这里需要补充的是:基于上述s1和s2的基础上,本步骤1041可具体为:
98.根据所述第一位置信息、所述第一姿态信息及所述参数,确定所述虚拟采集装置相对于所述第一对象的视野信息。
99.1042、根据所述视野信息及所述光照信息,生成含有所述第一对象中至少部分内容的第一图像数据。
100.上述1042“根据所述视野信息及所述光照信息,生成含有所述第一对象中至少部分内容的第一图像数据”,具体可采用如下步骤来实现:
101.a21、根据所述视野信息及所述光照信息,利用光线跟踪算法生成含有所述第一对象中至少部分内容的第一图片;
102.a22、在利用所述光线跟踪算法生成所述第一图片的过程中,记录所述第一图片中至少部分像素对应的属性信息。
103.其中,所述第一图像数据包含有所述第一图片及所述第一图片中至少部分像素对应的属性信息。
104.上述a21中,所述光线跟踪算法是一个逆向跟踪的过程,即光线是由视点发出,经过多次反射和折射到达光源的过程。参见图1d所示的原理图,当利用光线跟踪算法渲染生成图像数据时,由视点(如图1d中100)发出一束光线,光线穿过一个像素单元(如像素单元(x0,y0))与一物体200相交于点p后将发生多次反射和折射,继续跟踪反射和折射光线,最终可以寻找到影响所述点p光强的光源300,基于此也就能够精确计算出物体200上任一点的光线强度,进而得到与物体200相关的图像数据。其中,将由像素点中心发出的光线称为主光线,如光线l1和光线l2;反射和折射的光线称为从属光线,如光线c1和光线c2。
105.上述a22中,在利用所述光线跟踪算法生成所述第一图像数据的过程中,还可以记录所述第一图像数据中至少部分像素对应的属性信息,以便于将所述第一图像数据及所述第一图像数据中至少部分像素对应的属性信息作为机器学习模型的训练数据;其中,所述像素对应的属性信息包括如下中的至少一种:几何属性、材质属性及像素处光照探针信息。
106.这里需要说明的是:所述第一图像数据中至少部分像素对应的属性信息中的几何属性和材质属性取的是各束光线所对应的几何属性和材质属性的平均值;所述第一图像数据中至少部分像素对应的属性信息中的光照探针信息,可以具体是该像素在光照探针(即
虚拟全景相机)所成像对应的光照度;对于所述第一图像数据中没能在虚拟全景相机中成像的像素来说,可以获取附近像素在各自对应虚拟全景相机中所成像对应的光照度,进行张量双线性插值得到。
107.此外还需要说明的是,基于所述虚拟采集装置的第一位置信息、第一姿态信息及参数,可以解算出所述虚拟采集装置的视野信息;若在所述虚拟采集装置的视野内发现以所述第一对象缺乏光源,且为所述第一对象配置的hdr光照图亮度较低,此时可以根据所述虚拟采集装置视野内的平均亮度函数在所述第一对象上的上方添加面光源。其中,所述平均亮度函数可以是一个k=1的gamma分布函数。
108.本实施例提供的技术方案,通过获取第一对象的三维数据及光照信息,以及虚拟采集装置的参数;随后基于第一对象的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据及所述第一图像数据中至少部分像素对应的属性信息;整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;此外,本实施例提供的技术方案,无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本实施例提供的技术方案,图像数据及图像数据中至少部分像素对应的属性信息的产生效率高,且真实感强;将图像数据作为机器学习模型的训练数据,有助于提高模型训练效果;将图像数据用于具体应用场景,如虚拟装修场景、舞台设计场景等,因其真实感强;用户可通过图像数据直观的看到装修效果、舞台设计效果等等,用户体验好。
109.进一步地,本实施例提供的所述方法还可包括:
110.105、在所述虚拟采集装置的曝光时间内,添加针对所述第一位置信息和/或所述第一姿态信息的扰动因子,以改变第一位置信息和/或第一姿态信息。
111.具体实施时,可以在所述虚拟采集装置的曝光时间内,在一定高度范围(即z轴方向上的一高度范围内)、x轴和/或y轴上,按一定规则对所述虚拟采集装置的第一位置信息进行随机扰动,以调整所述虚拟采集装置的第一位置信息;还可在虚拟采集装置的曝光时间内,按照预置扰动规则绕z轴、x轴或y轴旋转或摆动,以调整所述虚拟采集装置的第一姿态信息。通过在曝光时间内添加对第一位置信息和/或第一姿态信息的扰动因子,可使得最终生成的第一图像数据能模拟出因镜头或物体运动所产生的动态模糊。
112.本实施例提供的所述方法还可通过不断改变虚拟采集装置的位姿信息(包括位置信息及姿态信息)的方式,可得到第二图像数据及第二图像数据中至少部分像素点对应的属性信息,第三、第四.....等等。具体的,本实施例提供的所述数据处理方法,还可包括如下步骤:
113.106、根据所述三维数据,改变所述虚拟采集装置的第一位姿信息中的所述第一位置信息和/或所述第一姿态信息,得到第二位姿信息;
114.107、根据所述第二位姿信息,所述参数及所述光照信息,生成第二图像数据。
115.不断重复上述两个步骤,便可获得更多的图像数据(如图片及图片中至少部分像素对应的属性信息)。例如,对虚拟采集装置进行n次位姿改变,可令n*75%次的位姿改变中所述虚拟采集装置朝向xoy平面的随机方向,其余n*25%次的位姿改变中虚拟相机朝向附近的一物体(如图1c所示含有空间及空间内物体的第一对象中的一家具)。位姿改变中,除
上述朝向(即姿态)的改变外,还可包含虚拟采集装置在如图1c所示的oxyz坐标系中坐标值的改变。当然,在一次位姿改变中,可仅改变姿态,也可仅改变位置,还可同时改变姿态和位置。
116.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
117.106a、添加第二对象;
118.106b、获取所述第二对象相对于所述第一对象的第三位置信息;
119.106c、根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第二对象的第三位置信息,生成与所述第一对象相关且含有所述第二对象影像的第三图像数据。
120.这里需要补充的是:除第三位置信息外,还可获取所述第二对象相对于所述第一对象的第三姿态信息。所述第三位置信息及所述第三姿态信息组成第三位姿信息。
121.参见图1c所示的实例,第一对象为包含空间及空间内物体的实体;第二对象可添加在第一对象的空间内。若第一对象为一物体(如建筑、车辆等),则可在虚拟场景中在第一对象周围添加第二对象。如图1c所示,所述第二对象可以为3d扫描虚拟人;在添加所述第二对象时,可以在所述虚拟采集装置视野内距离所述虚拟采样装置所在位置(即第一位置信息处)一定距离范围(如0.5-10米范围)内添加随机朝向的3d扫描虚拟人;或添加朝向所述虚拟采集装置的平板材质、背景透明的人像或人像序列。其中,人像序列可在虚拟采集装置的曝光时间内滚动播放。
122.本实施例中,添加第二对象可使得生成的第三图像数据模拟出近处有人的情况。第二对象为人像序列,且人像序列在虚拟采集装置的曝光时间内滚动播放,可使得最终生成的第三图像数据模拟出动态人影的情况。采用本实施例提供的方法,使得生成的图像数据更真实,且涵盖了多种情况;将通过各种位姿信息调整、曝光时间内对虚拟采集装置的位姿信息进行扰动、添加第二对象、人像序列在虚拟采集装置的曝光时间内滚动播放等等多种手段,可生成大量的,能涵盖多种情况,且真实感强的图像数据及各图像数据中至少部分像素的属性信息;将这些生成的图像数据及属性信息作为训练数据,对于被训练的机器学习模型来说可得到很好的训练效果。
123.在确定所述第二对象的位姿信息之后,可以基于所述第二对象的位姿信息和所述第一对象的位姿信息确定出所述第二对象相对于所述第一对象的第三位姿;进而也就可以根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第二对象的第三位姿信息,生成含有所述第二对象影像的第三图像。其中,所述第三图像的生成可采用现有图像渲染技术来实现,这里不再进行赘述。
124.进一步地,在上述所述的方法,还可以包括如下步骤:
125.108、改变所述第二对象的第三位置信息,得到第四位置信息;
126.109、根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第二对象的第四位置信息,生成与所述第一对象相关且含有所述第二对象影像的第四图像数据。
127.同样的,本实施例中除可以改变第二对象的位置信息外,还可改变第二对象的姿态信息。即,上述108可具体为:改变所述第二对象的第三位姿信息中的第三位置信息和/或第三姿态信息,得到第四位姿信息。其中,所述第四位姿信息包含第四位置信息及第四姿态
信息。
128.进一步地,上述所述的方法,还可包括:
129.110、显示交互界面;
130.111、响应于用户通过所述交互界面触发的添加或改变所述第二对象的操作,按照第三位置信息将所述第二对象添加至所述第一对象所在场景中,或在所述第一对象所在场景中改变所述第二对象的第三位置信息。
131.同样的,通过上述步骤,除可以改变第二对象的位置信息外,还可改变第二对象的姿态信息。即上述步骤111可具体为:响应于用户通过所述交互界面触发的添加或改变所述第二对象的操作,按照第三位姿信息将所述第二对象添加至所述第一对象所在场景中,或在所述第一对象所在场景中改变所述第二对象的第三位姿信息。参见图1e所示的交互界面1,用户可通过相应的交互方式,如鼠标、触摸屏、键盘、手势等,在第一对象的空间内添加第二对象5,或改变第二对象5的位姿。改变所述第二对象的位姿可包括:改变第二对象5的位置、改变第二对象的朝向、同时改变第二对象的位置及朝向。
132.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
133.112、添加相对于所述第一对象的位姿连续变化的第三对象;
134.113、获取所述第三对象的连续变化的位姿信息;
135.114、根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第三对象的连续变化的位姿信息,生成与所述第一对象相关且含有所述第三对象影像的第五图像数据。
136.上述中,所述第三对象可以是上文中提及的滚动播放的人像序列;还可是,本实施例方法执行主体随机的对一第三对象(如3d人形模型)进行连续的位置和/或朝向的改变,以模拟在第一对象的空间内活动的行人的场景,以使得生成的第五图像数据更真实,且模拟了含有活动的行人的情况。当然,在具体实施时,用户也可通过交互设备设置该位姿连续变化的第三对象的位姿变化规律,简单理解就是:规划第三对象的移动轨迹、移动速度、以及移动时的朝向等等。用户将第三对象的位姿变化规律设置好后,便可将其进行存储,在需要添加该第三对象时,以便本实施例方法的执行主体调出对应的位姿变化规律,并按照位姿变化规律添加所述第三对象。
137.图2示出了本技术另一实施例提供的数据处理方法的流程示意图。该方法的执行主体可以是一客户端,所述客户端可以为手机、平板电脑、智能穿戴设备(如虚拟现实设备)等任意终端设备,本技术实施例对此不作具体限定。如图2所示,该方法包括:
138.201、获取一虚拟空间的三维数据及光照信息;
139.202、获取虚拟采集装置的参数;
140.203、基于所述三维数据,确定所述虚拟采集装置在所述虚拟空间内的第六位置信息;
141.204、根据所述第六位置信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
142.上述步骤201至204的具体实现可参见上述各实施例中相应内容,在此不再赘述。
143.本实施例以第一对象为空间的为例,对本技术提供的技术方案进行说明。
144.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
145.205、确定所述虚拟采集装置的朝向;
146.206、根据所述朝向,得到所述虚拟采集装置的第六姿态信息;
147.相应的,步骤204“根据所述第六位置信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据”,包括:
148.根据所述第六位置信息、所述第六姿态信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
149.进一步的,本实施例提供的所述方法还可包括如下步骤:
150.207、在所述虚拟采集装置的曝光时间内,添加针对所述第六位置信息和/或所述第六姿态信息的扰动因子,以改变所述第六位置信息和/或第六姿态信息。
151.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
152.208、根据所述三维数据,改变所述虚拟采集装置的第六位姿信息中的所述第六位置信息和/或所述第六姿态信息,得到第七位姿信息;
153.209、根据所述第七位姿信息,所述参数及所述光照信息,生成所述虚拟空间对应的第七图像数据。
154.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
155.210、在所述虚拟空间内添加虚拟人;
156.211、获取所述虚拟人在所述虚拟空间内的第八位置信息;
157.212、根据所述虚拟采集装置的第六位置信息、所述虚拟采集装置的参数、所述光照信息及所述虚拟人的第八位置信息,生成所述虚拟空间对应的含有所述虚拟人影像的第八图像数据。
158.进一步地,本实施例提供的所述方法还可以包括:
159.213、改变所述虚拟人的第八位置信息,得到第九位置信息;
160.214、根据所述虚拟采集装置的第六位置信息、所述参数、所述光照信息及所述虚拟人的第九位置信息,生成所述虚拟空间对应的含有所述虚拟人影像的第九图像数据。
161.进一步地,本实施例提供的所述数据处理方法,还可包括如下步骤:
162.215、在所述虚拟空间内添加播放有人像序列的贴图;
163.216、获取所述贴图在所述空间内的第十位置信息;
164.217、根据所述虚拟采集装置的第六位置信息、所述虚拟采集装置的参数、所述光照信息及所述贴图的所述第十位置信息,生成所述虚拟空间对应的含有所述贴图影像的第十图像数据。
165.本实施例提供的技术方案,通过获取空间的三维数据及光照信息,以及虚拟采集装置的参数;随后基于空间的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据及所述第一图像数据中至少部分像素对应的属性信息;整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;此外,本实施例提供的技术方案,无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于空间的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本技术实施例提供的技术方案,图像数据及图像数据中至少部分像素对应的属性信息的产生效率高,且真实感强;将图像数据作为机器学习模型的训练数据,有助于提高模型训练效果;将图像数据用于具体
应用场景,如虚拟装修场景、舞台设计场景等,因其真实感强;用户可通过图像数据直观的看到装修效果、舞台设计效果等等,用户体验好。
166.这里需要说明的是:本技术实施例提供的所述数据处理方法中各步骤未尽详述的内容可参见上述各实施例中的相应内容,此处不再赘述。此外,本技术实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。另外,本实施例中各步骤提及到的各位置信息,如第八位置信息、第九位置信息及第十位置信息,均可对应有第八姿态信息、第九姿态信息及第十姿态信息。即,上述各相应步骤中,除可获取或改变位置信息外,还可获取或改变姿态信息。
167.图3a和3b示出了本技术另一实施例提供的训练数据生成方法的流程示意图。如图3a和3b所示,该方法包括:
168.301、获取第一对象的三维数据及光照信息;
169.302、获取虚拟采集装置的参数;
170.303、基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;
171.304、根据所述第一位置信息、所述参数及所述光照信息,生成与所述第一对象相关的第一图像数据;
172.305、将所述第一图像数据,作为机器学习模型的训练数据。
173.上述步骤301至305的具体实现可参见上述各实施例中相应内容,在此不再赘述。
174.参见3b所示,通过改变虚拟采集装置3相对于所述第一对象2的第一位置信息和/或第一位姿信息,可通过上述各步骤提供的方法生成大量的图像数据。其中,图像数据包含有图片及图片中至少部分像素的属性信息。例如,图3b中的第一图片及第一图片中至少部分像素的属性信息,第二图片及第二图片中至少部分像素的属性信息、
……
第三图片及第三图片中至少部分像素的属性信息。其中,图片可作为训练样本,图片中至少部分像素的属性信息可作为训练样本的样本标签。将这些训练数据中的各图片作为机器学习模型6的入参,执行机器学习模型6得到输出结果;然后基于输出结果及各图片对应的样本标签,对机器学习模型6进行优化。
175.本实施例提供的技术方案,通过将根据所述虚拟采集装置的参数及第一位置信息、所述第一对象的光照信息所述生成的第一图像数据及所述第一图像数据中至少部分像素对应的属性信息,作为机器学习模型的输入训练数据,这样利于提高所述机器学习模型的精确度,能够获取较优的机器学习模型。
176.这里需要说明的是:本技术实施例提供的所述训练数据生成方法中各步骤未尽详述的内容可参见上述各实施例中的相应内容,此处不再赘述。此外,本技术实施例提供的所述方法中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
177.图3c示出了本技术一实施例提供的数据处理方法的流程示意图。如图3c所示,该方法包括:
178.s31、获取第一对象的三维数据及光照信息;
179.s32、获取虚拟采集装置的参数;
180.s33、基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;
181.s34、根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,渲染并展示与所述第一对象相关的第一图像数据。
182.上述步骤301至305的具体实现可参见上述各实施例中相应内容,在此不再赘述。
183.渲染完成的所述第一图像数据可展示在如图1b所示的展示界面4中。
184.本实施例提供的技术方案,根据第一位置信息、虚拟采集装置的参数及光照信息,渲染并展示出与第一对象相关的第一图像数据,因其真实感强;用户可通过图像数据直观的看到第一对象的效果图,将其应用在虚拟装修应用场景,舞台设计场景等多种场景中,用户体验好。
185.进一步的,本实施例提供的所述方法还可包括如下步骤:
186.s35、将所述第一图像数据发送至服务端,以便至少一个客户端设备通过所述服务端获取所述第一图像数据并进行展示。
187.进一步的,在所述服务端侧,服务端可基于本实施例所述方法的执行主体发送的第一图像数据、第二图像数据、.....等等以及该第一对象的三维数据,生成与该第一对象(如虚拟空间)的三维全景图;与服务端连接的至少一个客户端设备,可通过所述服务端获取该第一对象的三维全景图,并在客户端设备上进行展示。
188.当然,在具体实施时,第一对象的三维全景图,也可由本实施例所述方法的执行主体来实现。即,通过调整所述虚拟采集装置相对于第一对象的位置信息和/或姿态信息,生成多个图像数据。然后,基于第一对象的三维数据以及多个图像数据,生成该对象的三维全景图;随后将该是三维全景图发送至服务端,以便于其他客户端设备从服务端获取该对象的三维全景图,进而在本地进行展示。
189.结合一具体应用场景对本实施例提供的技术方案进行解释说明。例如,虚拟店铺应用场景。商家可利用本实施例提供的技术方案生成该虚拟店铺的至少一个图像数据。具体的,为获得不同角度,不同位置处的图像数据,可通过调整虚拟采集装置相对于第一对象的位置信息和/或姿态信息的方式得到。商家可通过客户端设备将虚拟店铺对应的至少一个图像数据发送至服务端。服务端将至少一个图像数据与商家信息关联。这样,在用户通过客户端设备请求获取该商家的虚拟店铺信息时(比如通过相应客户端界面点击进入该商家店铺的操作),服务端将所述至少一个图像数据发送至所述用户对应的客户端设备,以在用户对应的客户端设备的界面上进行展示。用户可以看到该商家的店铺图像,进而辅助用户对该商家产品及风格等的一个总体了解,还有助于提高用户对商家的好感度。
190.当然,在具体实施时,为了进一步提高商家虚拟店铺的真实感,可基于该虚拟店铺的三维数据及该虚拟店铺对应的多个图像数据,生成该虚拟店铺的三维全景图。其中,三维全景图可由商家端客户端设备完成,也可由与服务端完成。服务端将该商家的虚拟店铺的三维全景图与该商家的商家信息关联。在用户通过客户端设备请求获取该商家的虚拟店铺信息时(比如通过相应客户端界面点击进入该商家店铺的操作),服务端将所述三维全景图发送至所述用户对应的客户端设备,以在用户对应的客户端设备的界面上进行展示。用户可以看到该商家的店铺的三维全景图,并能通过客户端设备提供的交互方式(如鼠标、键盘、语音、触摸屏等)在三维全景图中浏览虚拟店铺各房间或各角度的图像,用户可体会到
在商家店铺模拟行走的效果,真是感强、用户体验好,且能辅助用户对该商家产品及风格等的一个总体了解,还有助于提高用户对商家的好感度。
191.图4a示出了本技术另一实施例提供的数据处理系统的结构示意图。如图4a所示,该数据处理系统,包括:交互设备401和处理设备402;其中,
192.所述交互设备401,用于展示第一对象;
193.所述处理设备402,用于获取所述第一对象的三维数据及光照信息;获取虚拟采集装置的参数;基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;根据所述第一位置信息、所述虚拟采集装置参数及所述光照信息,生成第一图像数据及所述第一图像数据中至少部分像素对应的属性信息;
194.所述交互设备401,还用于展示所述第一图像数据。
195.进一步地,所述交互设备401,还用于:
196.显示交互界面;
197.响应于用户通过所述交互界面针对所述第一对象触发的输入操作,获取所述第一对象对应的三维数据。
198.上述中,所述光照信息包括如下中的至少一种:hdr光照图、光照探针;相应地,所述交互设备,还用于:
199.响应于用户通过配置界面触发的配置操作,获取所述用户为所述第一对象配置的hdr光照图;和/或
200.响应于用户通过交互界面为所述第一对象触发光照探针设置操作,获取用户为所述第一对象设置的至少一个光照探针。
201.进一步地,所述处理设备402,还用于:将所述第一图像数据及所述第一图像数据中至少部分像素对应的属性信息作为训练数据,对机器学习模型进行训练。
202.上述实施例中的交互设备401可以是计算机的显示器及交互装置(如鼠标、键盘、触摸屏、语音识别等)。处理设备402可以是计算机的主机,具有一定的数据处理能力,其可包含有处理器、存储器等等。
203.如图4b所示的实例,本实施例提供的技术方案中,所述交互设备401可以是客户端设备,如台式计算机、平板电脑、智能手机、智能穿戴设备(如智能手表、眼镜等)。处理设备402可以是单个服务器、部署在服务器或服务器集群上的虚拟服务器或基于云计算的计算机集合(即云端)。其中,云由基于云计算(cloud computing)的大量主机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。
204.本实施例提供的技术方案,通过获取第一对象的三维数据及光照信息,以及虚拟采集装置的参数;随后基于第一对象的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据及所述第一图像数据中至少部分像素对应的属性信息;整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;此外,本实施例提供的技术方案,无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本实施例提供的技术方案,图像数据及图像数据中至少部分像素对应的属性信息的产生效率高,且
真实感强,适于作为机器学习模型的训练数据。
205.这里需要说明的是:本技术实施例提供的所述数据处理系统中各步骤未尽详述的内容可参见上述各实施例中的相应内容,此处不再赘述。此外,本技术实施例提供的所述数据处理系统中除了上述各步骤以外,还可包括上述各实施例中其他部分或全部步骤,具体可参见上述各实施例相应内容,在此不再赘述。
206.综合上文中的内容可知,本技术实施例提供的技术方案除具有整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生等有益效果外,还具有如下至少几点有益效果:
207.1、本技术实施例提供的方案通过添加第二对象,如随机朝向的3d扫描虚拟人或带有人像贴图的平板材质;或添加位姿连续改变的第三对象;可模拟行走的人、静态人、动态的动物等场景,使得生成的图像数据能覆盖场景中含有动态对象的场景。
208.2、本技术实施例提供的方案通过在虚拟采集装置的曝光时间内随机扰动虚拟采集装置的位姿,和/或人像序列在虚拟相机的曝光时间内滚动播放,和/或添加位姿连续改变的第三对象等方式,模拟镜头或物体运动,照片中含有动态模糊的情况,使得生成的图像数据能模拟出因视野内物体运动所致的影像模糊的情况。
209.3、本技术实施例提供的方案通过调整虚拟采集装置的参数,如人为调整,或利用高斯混合模型随机生成调整参数,以模拟镜头失焦的情况;使得生成的图像数据能模拟出因镜头失焦的原因,产生了模糊背景\前景的情况。
210.可见,本技术实施例提供的技术方案,生成的图像数据覆盖场景更广,将其作为训练数据,有助于被训练机器学习模型提高训练效果。
211.图5示出了本技术一实施例提供的数据处理装置的结构框图。如图5所示,该数据处理装置,包括:获取模块501、确定模块502以及生成模块503;其中,
212.所述获取模块501,用于获取第一对象的三维数据及光照信息;以及,
213.所述获取模块501,还用于获取虚拟采集装置的参数;
214.所述确定模块502,用于基于所述三维数据,确定所述虚拟采集装置相对于第一对象的第一位置信息;
215.所述生成模块503,用于根据所述第一位置信息、所述虚拟采集装置的参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
216.本实施例提供的技术方案,通过获取第一对象的三维数据及光照信息,以及虚拟采集装置的参数;随后基于第一对象的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据;整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;此外,本实施例提供的技术方案,无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本实施例提供的技术方案,图像数据及图像数据中至少部分像素对应的属性信息的产生效率高,且真实感强;将图像数据作为机器学习模型的训练数据,有助于提高模型训练效果;将图像数据用于具体应用场景,如虚拟装修场景、舞台设计场景
等,因其真实感强;用户可通过图像数据直观的看到装修效果、舞台设计效果等等,用户体验好。
217.进一步地,本实施例提供的所述数据处理装置,还包括:显示模块504,所述显示模块504,用于显示交互界面;相应地,所述获取模块501,具体用于响应于用户通过所述交互界面针对所述第一对象触发的输入操作,获取所述第一对象对应的三维数据。
218.上述中,所述光照信息包括如下中的至少一种:hdr光照图、光照探针。相应地,所述获取模块501,还具体用于:响应于用户通过配置界面触发的配置操作,获取所述用户为所述第一对象配置的hdr光照图;或者,按照配置规则,为所述第一对象配置hdr光照图。以及,
219.所述获取模块501,还具体用于:响应于用户通过交互界面为所述第一对象触发光照探针设置操作,获取用户为所述第一对象设置的至少一个光照探针;或者,基于所述三维数据,为所述第一对象部署至少一个光照探针。
220.进一步地,所述确定模块502,具体用于:
221.基于所述三维数据,提取所述第一对象的骨架信息;
222.根据所述骨架信息,确定所述虚拟采集装置的第一位置信息。
223.进一步地,所述确定模块502,还具体用于:基于所述三维数据,确定所述第一对象的包围盒;对所述包围盒进行投影处理,得到投影至第一平面上的投影信息;根据所述投影信息,提取所述第一对象的骨架信息。
224.进一步地,所述确定模块502,还具体用于:对所述投影信息进行二值化处理,得到二值化结果;利用骨骼化算法,对所述二值化结果进行处理,得到所述骨架信息。
225.进一步地,所述确定模块502,还具体用于:基于所述骨架信息中包含的一像素点的坐标,确定所述虚拟采集装置的第一位置信息;确定所述虚拟采集装置的朝向;根据所述朝向,得到所述虚拟采集装置的第一姿态信息;其中,所述第一位姿信息包括:所述第一位置信息及所述第一姿态信息。
226.进一步地,所述生成模块503,具体用于:根据所述第一位置信息、所述第一位姿信息及所述参数,确定所述虚拟采集装置的视野信息;根据所述视野信息及所述光照信息,生成与所述第一对象相关的第一图像数据。
227.再进一步的,所述生成模块503具体用于:根据所述视野信息及所述光照信息,利用光线跟踪算法生成含有所述第一对象中至少部分内容的第一图片;在利用所述光线跟踪算法生成所述第一图片的过程中,记录所述第一图片中至少部分像素对应的属性信息;其中,所述第一图像数据包含有所述第一图片及所述第一图片中至少部分像素对应的属性信息。
228.上述中,所述像素对应的属性信息包括如下中的至少一种:几何属性、像素处纹理坐标及像素处光照探针信息。
229.进一步地,本实施例提供的所述数据处理装置,还包括:添加模块505,所述添加模块505,用于在所述虚拟采集装置的曝光时间内,添加针对所述第一位置信息和/或所述第一姿态信息的扰动因子,以改变所述第一位置信息和/或第一姿态信息。
230.进一步地,所述生成模块503,还具体用于:根据所述三维数据,改变所述虚拟采集装置的第一位姿信息中的所述第一位置信息和/或第一姿态信息,得到第二位姿信息;根据
所述第二位姿信息,所述参数及所述光照信息,生成第二图像数据。
231.进一步地,所述添加模块505,还用于添加第二对象;所述获取模块501,还用于获取所述第二对象相对于所述第一对象的第三位置信息;所述生成模块503,还用于根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第二对象的第三位置信息,生成与所述第一对象相关且含有所述第二对象影像的第三图像数据。
232.进一步地,本实施例提供的所述数据处理装置,还包括:改变模块506,所述改变模块506,用于改变所述第二对象的第三位置信息,得到第四位置信息;相应地,所述生成模块503,还用于根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第二对象的第四位置信息,生成与所述第一对象相关且含有所述第二对象影像的第四图像数据。
233.进一步地,所述显示模块504,还用于显示交互界面;相应地,所述添加模块505,还用于响应于用户通过所述交互界面触发的添加或改变所述第二对象的操作,按照第三位置信息将所述第二对象添加至所述第一对象所在场景中,或,所述改变模块506,还用于在所述第一对象所在场景中改变所述第二对象的第三位置信息。
234.进一步地,所述添加模块505,还用于添加相对于所述第一对象的位姿连续变化的第三对象;所述获取模块501,还用于获取所述第三对象的连续变化的位姿信息;所述生成模块503,还用于根据所述虚拟采集装置的第一位置信息、所述参数、所述光照信息及所述第三对象的连续变化的位姿信息,生成与所述第一对象相关且含有所述第三对象影像的第五图像数据。
235.这里需要说明的是:本实施例提供的数据处理装置可实现上述图1a示出的数据处理方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述图1a示出的数据处理方法实施例中的相应内容,此处不再赘述。
236.图6示出了本技术另一实施例提供的数据处理装置的结构框图。如图6所示,该数据处理装置包括:获取模块601、确定模块602以及生成模块603;其中,
237.所述获取模块601,用于获取一虚拟空间的三维数据及光照信息;以及
238.所述获取模块601,还用于获取虚拟采集装置的参数;
239.所述确定模块602,用于基于所述三维数据,确定所述虚拟采集装置在所述虚拟空间内的第六位置信息;
240.所述生成模块603,用于根据所述第六位置信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
241.本实施例提供的技术方案,通过获取第一对象的三维数据及光照信息,以及虚拟采集装置的参数;随后基于第一对象的三维数据确定出所述虚拟采集装置的第一位置信息;根据所述第一位置信息、所述参数及所述光照信息来生成第一图像数据;整体方案实现简单、高效,可成规模的生成大量的图像数据及各图像数据中至少部分像素对应的属性信息;此外,本实施例提供的技术方案,无需相机等图像传感器的参与,不受实际硬件精度与敏感度限制;基于第一对象的三维数据确定虚拟采集装置的第一位置信息,可减少无价值图像数据的产生。总之,采用本实施例提供的技术方案,图像数据及图像数据中至少部分像素对应的属性信息的产生效率高,且真实感强;将图像数据作为机器学习模型的训练数据,有助于提高模型训练效果;将图像数据用于具体应用场景,如虚拟装修场景、舞台设计场景
等,因其真实感强;用户可通过图像数据直观的看到装修效果、舞台设计效果等等,用户体验好。
242.进一步的,所述确定模块602还用于确定所述虚拟采集装置的朝向;根据所述朝向,得到所述虚拟采集装置的第六姿态信息。相应的,所述生成模块603具体用于:根据所述第六位置信息、所述第六姿态信息、所述虚拟采集装置的参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
243.进一步地,本实施例提供的所述数据处理装置,还包括:添加模块604,所述添加模块604,用于在所述虚拟采集装置的曝光时间内,添加针对所述第六位置信息和/或所述第六姿态信息的扰动因子,以改变所述第六位置信息和/或第六姿态信息。
244.进一步地,本实施例提供的所述数据处理装置,还包括:改变模块605,所述改变模块605,用于根据所述三维数据,改变所述虚拟采集装置的第六位姿信息中的所述第六位置信息和/或所述第六姿态信息,得到第七位姿信息;相应地,所述生成模块603,还用于根据所述第七位姿信息,所述参数及所述光照信息,生成所述虚拟空间对应的第七图像数据。
245.进一步地,所述添加模块604,还用于在所述虚拟空间内添加虚拟人;所述获取模块601,还用于获取所述虚拟人在所述虚拟空间内的第八位置信息;所述生成模块603,还用于根据所述虚拟采集装置的第六位置信息、所述虚拟采集装置的参数、所述光照信息及所述虚拟人的第八位置信息,生成所述虚拟空间对应的含有所述虚拟人影像的第八图像数据。
246.进一步地,所述改变模块605,还具体用于改变所述虚拟人的第八位置信息,得到第九位置信息;相应地,所述生成模块603,还具体用于根据所述虚拟采集装置的第六位置信息、所述参数、所述光照信息及所述虚拟人的第九位置信息,生成所述虚拟空间对应的含有所述虚拟人影像的第九图像数据。
247.进一步地,所述添加模块604,还用于在所述虚拟空间内添加播放有人像序列的贴图;所述获取模块601,还用于获取所述贴图在所述空间内的第十位置信息;所述生成模块603,还用于根据所述虚拟采集装置的第六位置信息、所述参数、所述光照信息及所述贴图的所述第十位置信息,生成所述虚拟空间对应的含有所述贴图影像的第十图像数据。
248.这里需要说明的是:本实施例提供的数据处理装置可实现上述图2示出的数据处理方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述图2示出的数据处理方法实施例中的相应内容,此处不再赘述。
249.图7示出了本技术一实施例提供一个电子设备的结构示意图。如图7所示,所述电子设备包括:存储器701以及处理器702。存储器701可被配置为存储其它各种数据以支持在传感器上的操作。这些数据的示例包括用于在传感器上操作的任何应用程序或方法的指令。存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
250.所述处理器702,与所述存储器701耦合,用于执行所述存储器701中存储的所述程序,以用于:
251.获取第一对象的三维数据及光照信息;
252.获取虚拟采集装置的参数;
253.基于所述三维数据,确定所述虚拟采集装置相对于所述第一对象的第一位置信息;
254.根据所述第一位置信息、所述参数及所述光照信息,生成与所述第一对象相关的第一图像数据。
255.其中,处理器702在执行存储器701中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
256.进一步,如图7所示,电子设备还包括:通信组件703、电源组件704及显示器705等其它组件。图7中仅示意性给出部分组件,并不意味着传感器只包括图7所示组件。
257.本技术一实施例还提供另一个电子设备,该电子设备的结构同上述图7类似。具体的,所述电子设备包括:存储器701以及处理器702。存储器701可被配置为存储其它各种数据以支持在传感器上的操作。这些数据的示例包括用于在传感器上操作的任何应用程序或方法的指令。存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
258.所述处理器702,与所述存储器701耦合,用于执行所述存储器701中存储的所述程序,以用于:
259.获取一虚拟空间的三维数据及光照信息;
260.获取虚拟采集装置的参数;
261.基于所述三维数据,确定所述虚拟采集装置在所述虚拟空间内的第六位置信息;
262.根据所述第六位置信息、所述参数及所述光照信息,生成所述虚拟空间对应的第六图像数据。
263.其中,处理器702在执行存储器701中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。
264.进一步,如图7所示,电子设备还包括:通信组件703、电源组件704及显示器705等其它组件。图7中仅示意性给出部分组件,并不意味着传感器只包括图7所示组件。
265.相应地,本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例提供的数据处理方法步骤或功能。
266.以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
267.通过以上实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例
或者实施例的某些部分所述的方法。
268.最后应说明的是:以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1