增强现实场景中的渲染方法、处理模块和增强现实眼镜的制作方法
【专利摘要】本发明提供一种增强现实场景中的渲染方法，包括：获取真实遮挡物的深度信息并生成网格图；建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型；在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性为吸收光；分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。本发明还提供一种处理模块和一种增强现实眼镜。也就是说，本发明所提供的渲染方法，可以让观看者感觉到真实遮挡物与虚拟对象模型之间的前后位置，感官更加真实。
【专利说明】
増强现实场景中的渲染方法、处理模块和増强现实眼镜
技术领域
[0001]本发明涉及虚拟显示领域，具体地，涉及一种增强现实场景中虚实结合的渲染方法、执行该渲染方法的处理模块和包括该处理模块的增强现实眼镜。
【背景技术】
[0002]增强现实眼镜中，一般会用到深度探测器，来给真实场景叠加信息。在做手势操作的时候虚拟场景不考虑遮挡，效果如下，会让人出现视觉错落，影想体验。
【发明内容】
[0003]本发明的目的在于提供一种增强现实场景中虚实结合的渲染方法、执行该渲染方法的处理模块和包括该处理模块的增强现实眼镜。利用所述方法进行虚拟显示时，能够真实模拟遮挡物对虚拟场景的遮挡。
[0004]为了实现上述目的，作为本发明的一个方面，提供一种增强现实场景中的渲染方法，其中，所述渲染方法包括:
[0005]获取真实遮挡物的深度信息并生成网格图；
[0006]建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型；
[0007]在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性为吸收光；
[0008]分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。
[0009 ]优选地，在虚拟场景中建立真实遮挡物的虚拟模型的步骤包括:
[0010]将所述真实遮挡物的深度信息统一到视点坐标中；
[0011]根据所述真实遮挡物的视点坐标建立所述真实遮挡物的遮挡物虚拟模型。
[0012]优选地，获取真实遮挡物的网格图的步骤包括:
[0013]利用深度摄像头对真实场景进行拍摄，并识别出所述真实遮挡物；
[0014]根据所述真实遮挡物的深度信息获得真实遮挡物的散点图；
[0015]将所述真实遮挡物的散点图转换成所述真实遮挡物的网格图。
[0016]作为本发明的另一方面，提供一种用于增强现实眼镜的处理模块，其中，所述处理丰吴块包括:
[0017]网格图生成单元，所述网格图生成单元用于根据所述真实遮挡物的深度信息并生成网格图；
[0018]虚拟场景建立单元，所述虚拟场景建立单元用于建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型；
[0019]遮挡物虚拟模型建立单元，所述遮挡物虚拟模型建立单元用于在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性设置为吸收光；
[0020]渲染单元，所述渲染单元用于分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。
[0021]优选地，所述虚拟模型建立单元包括:
[0022]坐标统一子单元，所述坐标统一子单元用于将所述真实遮挡物的深度信息统一到视点坐标中；和
[0023]模型建立子单元，所述模型建立子单元用于根据所述真实遮挡物的视点坐标在所述虚拟场景中建立所述真实遮挡物的遮挡物虚拟模型。
[0024]优选地，所述网格图生成单元用于根据所述真实遮挡物的深度信息包括所述真实遮挡物的散点图，所述网格图生成单元能够根据所述散点图生成所述网格图。
[0025]作为本发明的还一个方面，提供一种增强现实眼镜，所述增强现实眼镜包括处理模块，其中，所述处理模块为本发明所提供的上述处理模块。
[0026]优选地，所述增强现实眼镜还包括用于获取真实遮挡物的散点图的深度摄像头，所述深度摄像头与所述网格图生成单元的输入端相连。
[0027]在发明所提供个渲染方法中，在步骤S3中，将真实遮挡物建立虚拟模型，并将其同一至所述虚拟场景中，并将该遮挡物虚拟模型的属性设置为吸收光。在经过步骤S4中的渲染后，在虚拟场景中存在与真实遮挡物对应的部分。因此，真实世界中的真实遮挡物是与虚拟场景中的遮挡物虚拟模型重叠的，由于遮挡物虚拟模型的属性为吸收光，这一属性的视觉表现为透明。通过增强现实眼睛观看时，相当于真实遮挡物与透明的遮挡物虚拟模型重叠，因此，真实遮挡物上不会存在其他的颜色。也就是说，经过步骤S4中的渲染，可以让观看者感觉到真实遮挡物与虚拟对象模型之间的前后位置，感官更加真实。
【附图说明】
[0028]附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的【具体实施方式】一起用于解释本发明，但并不构成对本发明的限制。在附图中:
[0029]图1是本发明所提供的增强现实场景中的渲染方法的流程图；
[0030]图2是利用本发明所提供的渲染方法对虚拟茶壶进行渲染时的流程图；
[0031 ]图3是本发明所提供的处理模块的示意图。
[0032]附图标记说明
[0033]10:网格图生成单元20:虚拟场景建立单元
[0034]30:遮挡物虚拟模型建立单元40:渲染单元
[0035]31:坐标统一子单元32:模型建立子单元
【具体实施方式】
[0036]以下结合附图对本发明的【具体实施方式】进行详细说明。应当理解的是，此处所描述的【具体实施方式】仅用于说明和解释本发明，并不用于限制本发明。
[0037]作为本发明的一个方面，提供一种增强现实场景中的渲染方法，其中，如图1所示，所述渲染方法包括:
[0038]S1、获取真实遮挡物的深度信息并生成网格图；
[0039]S2、建立虚拟场景模型，并在所述虚拟场景中增加虚拟对象模型；
[0040]S3、在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性为吸收光；
[0041]S4、分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。
[0042]需要指出的是，在执行本发明所提供的渲染方法时，对步骤SI和步骤S2之间的先后顺序并没有特殊的规定。例如，可以同时执行步骤SI和步骤S2，也可以先执行步骤SI再执行步骤S2，还可以先执行步骤S2再执行步骤SI。
[0043]所述虚拟对象模型是虚拟显示的物体。例如，在图2中所示的实施方式中，虚拟对象模型是一个茶壶。所述真实遮挡物是指，在视点坐标中，位于所述虚拟对象模型前方的真实物体。在图2中所示的实施方式中，所述真实遮挡物是人手。
[0044]在步骤S3中，将真实遮挡物建立虚拟模型，并将其同一至所述虚拟场景中，并将该遮挡物虚拟模型的属性设置为吸收光。在经过步骤S4中的渲染后，在虚拟场景中存在与真实遮挡物对应的部分。因此，真实世界中的真实遮挡物是与虚拟场景中的遮挡物虚拟模型重叠的，由于遮挡物虚拟模型的属性为吸收光，这一属性的视觉表现为透明。通过增强现实眼睛观看时，相当于真实遮挡物与透明的遮挡物虚拟模型重叠，因此，真实遮挡物上不会存在其他的颜色。也就是说，经过步骤S4中的渲染，可以让观看者感觉到真实遮挡物与虚拟对象模型之间的前后位置，感官更加真实。
[0045]在本发明中，对于如何执行步骤S2并没有特殊的限制。例如，可以选用特定的增强现实应用来实现步骤S2，例如，在图3中所示的具体实施例中，虚拟对象模型包括一个茶壶，可以使用opengl、unity 3D的工具在所述虚拟场景中添加所述茶壶，并根据所述虚拟场景对所述茶壶做角度、大小的调整，并进行三维注册。
[0046]优选地，步骤S3可以包括:
[0047]S31、将所述真实遮挡物的深度信息统一到视点坐标中；
[0048]S32、根据所述真实遮挡物的视点坐标建立所述真实遮挡物的遮挡物虚拟模型。
[0049]对于一个真实存在的物体而言，存在两种坐标，一种是世界坐标，另外一种是视点坐标。对于一个虚拟的物体而言，也存在两种坐标，一种是虚拟场景坐标，另一种是视点坐标。所谓视点坐标是指，以增强现实眼镜为基准的坐标系。
[0050]在步骤S32中，将真实遮挡物的遮挡物虚拟模型建立在所述视点坐标中，无需再对坐标进行进一步的转换，因此，本发明所提供的方法具有更高的效率。
[0051]在本发明中，对如何执行步骤SI也没有特殊的限定。例如，步骤SI可以包括:
[0052]S11、利用深度摄像头对真实场景进行拍摄，并识别出所述真实遮挡物；
[0053]S12、根据所述真实遮挡物的深度信息获得真实遮挡物的散点图；
[0054]S13、将所述真实遮挡物的散点图转换成所述真实遮挡物的网格图。
[0055]通常，所述增强现实眼镜中都设置有深度摄像头，因此，利用本发明所提供的方法可以方便快速地获得所述真实遮挡物的网格图。
[0056]下面结合图2介绍本发明所提供的渲染方法的具体流程图。如图2中所示，所述虚拟对象模型为茶壶，遮挡物为人手。
[0057]在步骤Sll中，利用深度摄像头对真实场景进行拍摄，并识别出人手；
[0058]在步骤S12中，根据人手的深度信息获得人手的散点图(未示出)；
[0059]在步骤S13中，将人手的散点图转换成所述真实遮挡物的网格图；
[0060]在步骤S2中，建立虚拟场景模型，并在所述虚拟场景中增加虚拟对象模型(S卩，茶壶);
[0061 ]在步骤S31中，将人手的深度信息统一到视点坐标中；
[0062]在步骤S32中，根据人手的视点坐标建立所述真实遮挡物的遮挡物虚拟模型，；
[0063]在步骤S4中，分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性所述遮挡物虚拟模型对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。
[0064]最终得到右下角的效果图，从如图中可以清楚地看到人手和茶壶的前后位置关系，该显示效果更加真实。
[0065]作为本发明的另一个方面，提供一种用于增强现实眼镜的处理模块，其中，如图3所示，所述处理模块包括:
[0066]网格图生成单元10，该网格图生成单元10用于根据所述真实遮挡物的深度信息并生成网格图；
[0067]虚拟场景建立单元20，该虚拟场景建立单元20用于建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型；
[0068]遮挡物虚拟模型建立单元30，该遮挡物虚拟模型建立单元30用于在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性设置为吸收光；
[0069]渲染单元40，该渲染单元40用于分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。
[0070]网格生成单元10用于执行步骤SI，虚拟场景建立单元20用于执行步骤S2，遮挡物虚拟模型建立单元30用于执行步骤S3，渲染单元40用于执行步骤S4。
[0071]优选地，所述虚拟模型建立单元30包括:
[0072]坐标统一子单元31，该坐标统一子单元31用于将所述真实遮挡物的深度信息统一到视点坐标中；和
[0073]模型建立子单元32，该模型建立子单元32用于根据所述真实遮挡物的视点坐标在所述虚拟场景中建立所述真实遮挡物的遮挡物虚拟模型。
[0074]优选地，网格图生成单元10用于根据所述真实遮挡物的深度信息包括所述真实遮挡物的散点图，所述网格图生成单元能够根据所述散点图生成所述网格图。
[0075]作为本发明的还一个方面，提供一种增强现实眼镜，所述增强现实眼镜包括处理模块，其中，所述处理模块为本发明所提供的上述处理模块。
[0076]优选地，所述增强现实眼镜还包括用于获取真实遮挡物的散点图的深度摄像头，所述深度摄像头与所述网格图生成单元的输入端相连。
[0077]可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
【主权项】
1.一种增强现实场景中的渲染方法，其特征在于，所述渲染方法包括: 获取真实遮挡物的深度信息并生成网格图； 建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型； 在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性为吸收光； 分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。2.根据权利要求1所述的渲染方法，其特征在于，在虚拟场景中建立真实遮挡物的虚拟模型的步骤包括: 将所述真实遮挡物的深度信息统一到视点坐标中； 根据所述真实遮挡物的视点坐标建立所述真实遮挡物的遮挡物虚拟模型。3.根据权利要求1或2所述的渲染方法，其特征在于，获取真实遮挡物的网格图的步骤包括: 利用深度摄像头对真实场景进行拍摄，并识别出所述真实遮挡物； 根据所述真实遮挡物的深度信息获得真实遮挡物的散点图； 将所述真实遮挡物的散点图转换成所述真实遮挡物的网格图。4.一种用于增强现实眼镜的处理模块，其特征在于，所述处理模块包括: 网格图生成单元，所述网格图生成单元用于根据所述真实遮挡物的深度信息并生成网格图； 虚拟场景建立单元，所述虚拟场景建立单元用于建立虚拟场景，并在所述虚拟场景中增加虚拟对象模型； 遮挡物虚拟模型建立单元，所述遮挡物虚拟模型建立单元用于在所述虚拟场景中建立真实遮挡物的遮挡物虚拟模型，所述遮挡物虚拟模型的属性设置为吸收光； 渲染单元，所述渲染单元用于分别根据所述虚拟对象模型的属性和所述遮挡物虚拟模型的属性对所述虚拟对象模型和所述遮挡物虚拟模型进行渲染。5.根据权利要求4所述的处理模块，其特征在于，所述虚拟模型建立单元包括: 坐标统一子单元，所述坐标统一子单元用于将所述真实遮挡物的深度信息统一到视点坐标中；和 模型建立子单元，所述模型建立子单元用于根据所述真实遮挡物的视点坐标在所述虚拟场景中建立所述真实遮挡物的遮挡物虚拟模型。6.根据权利要求4或5所述的处理模块，其特征在于，所述网格图生成单元用于根据所述真实遮挡物的深度信息包括所述真实遮挡物的散点图，所述网格图生成单元能够根据所述散点图生成所述网格图。7.—种增强现实眼镜，所述增强现实眼镜包括处理模块，其特征在于，所述处理模块为权利要求4至6中任意一项所述的处理模块。8.根据权利要求7所述的增强现实眼镜，其特征在于，所述增强现实眼镜还包括用于获取真实遮挡物的散点图的深度摄像头，所述深度摄像头与所述网格图生成单元的输入端相连。
【文档编号】G06T15/00GK106056663SQ201610339329
【公开日】2016年10月26日
【申请日】2016年5月19日
【发明人】赵星星
【申请人】京东方科技集团股份有限公司