本发明涉及三维数据处理领域，特别涉及一种显示控制方法及计算设备。
背景技术：
随着ar(增强现实)技术的发展，其在军事、医疗、娱乐、游戏、网络视频通讯等领域的应用越来越广泛。一种典型的应用就是虚拟试衣，即，用虚拟衣服替换通过摄像机拍摄到的用户图像中用户所穿着的真实衣服，从而显示用户穿着虚拟衣服(或者说，虚拟衣服被覆盖在用户的图像上)的三维效果。
常见的虚拟试衣的显示方案是将拍摄有用户的用户图像与待试穿的衣服图像合成在一起，具体来说，基于用户身体图像上的身体轮廓数据改变待试穿衣服的大小，将衣服图像合成到用户身体图像上，因此，待试穿的虚拟衣服总是绘制在身体的前面。这种处理方式有两大缺陷，一是只显示用户正面的试衣效果，导致用户在虚拟试衣时无法看到衣服背面效果；二是当用户身体与待试穿衣服的前后关系复杂时，难以适当地产生合成图像，例如，当用户的手在躯干前面时，待试穿的衣服也被绘制在前面，手被隐藏在待试穿衣服的后面，这与用户实际想得到的试穿效果是不一样的。
因此，需要一种有效的显示控制方案，以解决上述问题，提高用户体验。
技术实现要素：
为此，本发明提供了一种显示控制方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种显示控制方法，该方法适于在计算设备中执行，包括步骤：获取待试穿衣服的服装三维模型及其对应的镂空模板，其中镂空模板表征了服装三维模型和用户的身体三维模型中每个顶点坐标的前后关系；根据镂空模板对用户的身体三维模型进行透明显示处理，得到镂空状用户身体；以及将待试穿衣服重叠到镂空状用户身体上，以显示用户试穿衣服的效果。
可选地，在根据本发明的显示控制方法中，在获取服装三维模型及其对应的镂空模板的步骤之前，还包括预先建立服装三维模型的步骤：获取待试穿衣服的深度数据；以及根据深度数据构建待试穿衣服的服装三维模型。
可选地，在根据本发明的显示控制方法中，还包括建立用户的身体三维模型的步骤：获取用户身体的深度数据；以及根据深度数据构建用户的身体三维模型。
可选地，在根据本发明的显示控制方法中，还包括预先建立每个待试穿衣服对应的镂空模板的步骤：寻找与待试穿衣服的服装三维模型中每个第一顶点匹配的身体三维模型中的第二顶点；通过第一顶点坐标值与匹配的第二顶点坐标值判断第一顶点与第二顶点的前后关系；根据前后关系确定被待试穿衣服覆盖的用户的身体三维模型中的第二顶点；以及根据所确定的第二顶点的坐标值生成镂空模板。
可选地，在根据本发明的显示控制方法中，通过第一顶点坐标值与匹配的第二顶点坐标值判断第一顶点与第二顶点的前后关系的步骤包括：判断第一顶点坐标的z轴值与匹配的第二顶点坐标的z轴值的大小：当第一顶点坐标的z轴值小于第二顶点坐标的z轴值时，第二顶点被绘制于匹配的第一顶点之前；当第一顶点坐标的z轴值不小于第二顶点坐标的z轴值时，第一顶点被绘制于匹配的第二顶点之前。
可选地，在根据本发明的显示控制方法中，根据前后关系确定被待试穿衣服覆盖的用户身体三维模型中的第二顶点的步骤包括：当判断第一顶点被绘制于匹配的第二顶点之前时，对应的第二顶点被待试穿衣服覆盖，记录该第二顶点的坐标值。
可选地，在根据本发明的显示控制方法中，镂空模板为json数据格式。
可选地，在根据本发明的显示控制方法中，根据镂空模板对用户身体三维模型进行透明显示处理的步骤包括：将镂空模板中记录的第二顶点的uv通道的aphla值设为透明。
根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；存储器；和一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述方法中的任一方法。
根据本发明的显示控制方案，当用户要试穿某件衣服时，在获取该待试穿衣服的服装三维模型的同时，获取到镂空模板；根据镂空模板对身体三维模型做相应的透明显示处理，得到镂空状用户身体，而后再将待试穿衣服覆盖到镂空状用户身体上，显示用户试穿衣服的效果。通过对被衣服覆盖的身体部分的透明显示，有效地解决了虚拟试衣过程中的穿透问题。
另外，事先采集待试穿衣服的服装三维模型和对应的用户身体三维模型，并根据其顶点坐标的前后关系生成镂空模板，将镂空模板存储在服装三维模型中。这样，有效解决了大量计算带来的系统卡顿问题，同时，对被衣服覆盖身体的大部分地方不进行计算，对整体的画面显示效果并没有任何影响。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的计算设备100的示意图；
图2示出了虚拟试衣系统200的典型配置示意图；
图3a示出了用户试穿衣服的正常效果图；图3b示出了用户试穿衣服时穿透处理不当的效果图；
图4示出了根据本发明一个实施例的显示控制方法400的流程图；
图5示出了根据本发明一个实施例的建立服装三维模型的镂空模板的方法500的流程图；以及
图6a示出了根据本发明一个实施例的镂空状用户身体的示意图；图6b示出了图6a对应的试穿衣服后的显示效果图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μp)、微控制器(μc)、数字信息处理器(dsp)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(alu)、浮点数单元(fpu)、数字信号处理核心(dsp核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。程序数据124包括指令，在根据本发明的计算设备100中，程序数据124包含用于显示控制方法的指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个a/v端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个i/o端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(rf)、微波、红外(ir)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和web服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(pda)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
近年来，一种用于将附加信息重叠在真实世界上并将其呈现给用户的被称之为增强现实(augmentedreality,ar)的技术受到了关注。在ar技术中要被呈现给用户的信息可以通过使用诸如文本、图标或动画的各种形式的虚拟物体被可视化。ar技术的一个主要应用是支持真实世界中的用户的活动。在下文中，ar技术被应用于虚拟试衣系统。
通过利用ar技术的虚拟试衣系统，用户可以实时地体验虚拟试穿。根据本发明的一个实施例的虚拟试衣系统，可以通过获取待试穿衣服与用户身体的前后关系(或称之为覆盖关系)将待试穿的虚拟衣服显示在用户身体上。
图2示出了根据本发明实施例的一个虚拟试衣系统200的典型配置场景示意图。以下将参考图2来描述虚拟试衣系统200的概要。
在图2中，虚拟试衣系统200包括用于对被测对象(即，用户)进行成像的成像部分210、用于将虚拟衣服“穿到”被测对象身上的图像处理部分220和用于显示穿着虚拟衣服的被测对象的图像的显示部分230。对于安装虚拟试衣系统200的场所没有特别的限制，例如，虚拟试衣系统200可以被安装在用户家中或者可被安装到品牌门店、商场、机场、火车站等公共场所。
根据本发明的实现方式，成像部分210可以包括拍摄装置(如，照相机)和传感器。拍摄装置用于拍摄存在于真实空间中的物体，在图2所示出的示例中，作为真实空间物体的被摄体(例如，人)由照相机来拍摄。传感器具有检测来自真实空间的参数的功能，并且将检测的数据(如，深度数据)发送到图像处理部分220。例如，传感器可以由红外传感器构成。
可选地，成像部分210可以采用kinect体感摄像机。kinect体感摄像机具有3个镜头，中间的镜头是rgb彩色摄像机，用来采集彩色图像；左右两边的镜头分别是红外线发射器和红外线cmos摄影机，两者构成3d结构光深度感应器，用来采集深度数据(即，场景中物体到摄像头的距离)。关于kinect体感摄像机采集被测对象彩色图像和深度数据的过程和原理，属于本领域公知常识，此处不作过多说明。
应当注意的是，本发明的实施例对成像部分的选用不受限于kinect体感摄像机的方式，任何可以采集拍摄装置(如，摄像头)前方场景深度信息的方案均在本发明的保护范围之内。
根据本发明的实施例，图像处理部分220和显示部分230可以采用计算设备100来实现其功能。图像处理部分220根据成像部分210采集到的数据，通过本发明的显示控制方法将待试穿的虚拟衣服合成到拍摄的用户身体上，再由显示部分230显示试穿效果。
具体地，图像处理部分220根据成像部分210采集到的用户数据(例如包括用户的彩色图像数据和深度数据)，计算用户的骨骼点位置，进一步构建用户的身体三维模型。再根据实现获取的待试穿衣服的服装三维模型与该用户的身体三维模型进行相应的匹配计算，将待试穿衣服重叠到用户身体上(如，将待试穿衣服“绑定到”用户的骨骼点上)，并由显示部分230显示用户试穿衣服的效果图。
在现有的一些试穿效果展示中，在分别对衣服三维模型和用户的身体三维模型渲染着色的过程中，常常会出现穿透问题，如图3a和图3b所示，图3a为用户试穿衣服的正常效果图，图3b为穿透处理不当的效果图，从图3b中可以看到，用户肩膀处的服饰和身体有穿透(身体部分穿透到服饰前面)，没有正确展示服装效果。
下面，参考图4的流程图说明根据本发明的实施方式的计算设备100执行显示控制方法400的过程。
方法400始于步骤s410，获取待试穿衣服的服装三维模型及其对应的镂空模板。
根据本发明的一种实现方式，在用户试穿衣服之前，会先批量地对待试穿的所有衣服进行三维建模：利用摄像头和/或传感器等(如上文所述成像部分210)获取待试穿衣服的深度数据，再根据深度数据构建待试穿衣服的服装三维模型。根据本发明的一个实施例，结合kinectfusion进行模型批量产出。kinectfusion允许用户手持和移动标准的kinect摄像头，利用kinect摄像头抓取到的深度数据，快速创建室内场景的详细3d重建。对待试穿衣服的三维扫描和建模均属于本领域公开的技术内容，故此处不作展开描述。需要说明的是，本发明并不受限于通过kinectfusion的方式进行三维扫描和/或三维建模，任何可以对待试穿衣服或用户身体进行三维建模的方式均可与本发明的实施例相结合，完成本发明的显示控制方案。
根据本发明的实现方式，对于某一款衣服，可以通过扫描其不同尺码(s码、m码、l码等)的衣服得到各自的服装三维模型(s码服装三维模型、m码服装三维模型、l码服装三维模型等)；也可以只扫描其中一个尺码的衣服得到其服装三维模型，再通过一定的尺寸缩放得到其他尺码的服装三维模型。本发明的实施方式对此均不作限制。
同时，选用不同的模特对应不同的衣服型号或尺码，将模特身材作为原始标准身材，对不同模特的身体进行三维扫描和重建，构建身体三维模型。例如，对应s码的身体三维模型、对应m码的身体三维模型…等等。根据本发明的实施例，构建身体三维模型的做法可参考前文中构建服装三维模型的过程。
根据本发明的实施例，在每个待试穿衣服的服装三维模型中，存储了该服装三维模型对应的镂空模板，镂空模板表征了该服装三维模型和身体三维模型中每个顶点坐标的前后关系。
根据本发明的实现方式，事先建立的服装三维模型和身体三维模型均可以存储在图像处理部分220中。也可以存储在一个远程服务器中，服务器通过网络与虚拟试衣系统200相连，当用户要试衣时，虚拟试衣系统200通过调用接口获取到远程服务器上存储的相应服装三维模型和身体三维模型。
以下将结合图5，详细阐述建立服装三维模型的镂空模板的方法500的过程。
在步骤s510中，寻找与待试穿衣服的服装三维模型中每个第一顶点匹配的身体三维模型中的第二顶点。
将待试穿衣服的服装三维模型中的每个顶点作为第一顶点，寻找与每个第一顶点匹配的用户的身体三维模型中的顶点，作为第二顶点，例如，对某件衣服的s码的服装三维模型中左肩上的某个顶点a，遍历s码身体三维模型中的所有顶点，计算与顶点a的距离，与顶点a距离最近的顶点b就是身体三维模型中左肩上对应的顶点。
如下面的示例代码段即描述了寻找匹配顶点的过程：
上面的代码示例中，clothvtx和bodyvtx分别表示衣服三维模型和身体三维模型，均是vextor3类型的三维数组。对于距离的计算公式本发明不作限制，任何三维向量的距离计算公式均可以与本发明的实施例相结合，实现本发明的显示控制方案。
随后在步骤s520中，通过第一顶点坐标值与匹配的第二顶点坐标值判断第一顶点与第二顶点的前后关系。
具体地，判断第一顶点坐标值中z轴的值与匹配的第二顶点坐标值中z轴的值的大小：若第一顶点坐标的z轴值小于第二顶点坐标的z轴值，说明在该顶点处，身体三维模型穿透衣服三维模型，那么第二顶点就被绘制于匹配的第一顶点之前；相反，若第一顶点坐标的z轴值不小于第二顶点坐标的z轴值，说明在该顶点处，衣服三维模型穿透身体三维模型，那么第一顶点被绘制于匹配的第二顶点之前。
随后在步骤s530中，根据步骤s414得出的前后关系确定被待试穿衣服覆盖的用户的身体三维模型中的第二顶点。也就是说，当判断第一顶点被绘制于匹配的第二顶点之前时，对应的第二顶点被待试穿衣服覆盖，此时，记录该第二顶点的坐标值。
随后在步骤s540中，根据所确定的第二顶点的坐标值生成镂空模板。换句话说，镂空模板中存储了身体三维模型中被该衣服三维模型所覆盖的顶点坐标。根据本发明的一个实施例，镂空模板采用json数据格式。
可选地，以加密的方式将每件待试穿衣服的服装三维模型对应的镂空模板存储到该服装三维模型中。当用户试穿某件衣服时，在获取该衣服的服装三维模型的同时，采用相应的解密方法读取镂空模板。
在步骤s420中，根据读取到的镂空模板对用户的身体三维模型进行透明显示处理，得到镂空状用户身体。根据本发明的一个实施例，将镂空模板中记录的第二顶点的uv通道的aphla值均设为透明。如图6a为根据某件待试穿衣服的镂空模板生成的镂空状用户身体的示意图，如图6a所示，在用户上半身部分采用透明显示的方式显示其身体。
当用户选择某一待试穿衣服开始试穿时，虚拟试衣系统200经成像部分210获取该用户身体的深度数据，并根据该深度数据构建用户的身体三维模型。该用户的身材与原始标准身材(即，模特身材)相比，有可能会产生一些差异。在某些极端情况下，可能这种差异会影响后续的显示效果。因此，根据本发明的另一个实施例，将用户的身体三维模型作为当前身体三维模型，将事先采集的模特的身体三维模型作为原始身体三维模型，对当前身体三维模型和原始身体三维模型进行插值运算，根据镂空模板中的第二顶点坐标相应计算出在当前身体三维模型中对应的第二顶点坐标，根据计算出的当前身体三维模型中的第二顶点坐标生成相应的镂空状用户身体。
在随后的步骤s430中，将待试穿衣服重叠到镂空状用户身体上(例如，根据用户身体三维模型的骨骼点位置将服装三维模型“绑定”到骨骼点上)，就显示出了用户试穿衣服的效果。如图6b示出了图6a对应的试穿衣服后的显示效果图，如图6b所示，服装三维模型对应衣服覆盖了身体上的镂空部分，对整体画面没有任何影响。
根据本发明的显示控制方案，当用户要试穿某件衣服时，虚拟试衣系统200在获取该待试穿衣服的服装三维模型的同时，获取到镂空模板。图像处理部分220根据镂空模板对身体三维模型做相应的透明显示处理，得到镂空状用户身体，而后再将待试穿衣服覆盖到镂空状用户身体上，由显示部分230显示用户试穿衣服的效果。通过对被衣服覆盖的身体部分的透明显示，有效地解决了虚拟试衣过程中的穿透问题。
另外，由于硬件设备的提高，人们对三维模型的精细程度的要求也越来越高。一件看着还算漂亮的衣服模型(或用户的身体模型)少则2000k顶点，故，若是在试衣时对每个用户的身体三维模型和服装三维模型进行一次匹配运算，其计算量存在着几何倍数的增长，少则要进行几十万次计算、多则上百万次计算。这对于用户设备的开销有着较高的消耗，并且卡顿会影响用户的试穿体验。而根据本发明的显示控制方案，事先采集待试穿衣服的服装三维模型和对应的用户身体三维模型，并根据其顶点坐标的前后关系生成镂空模板，将镂空模板存储在服装三维模型中。这样，有效解决了大量计算带来的系统卡顿问题，同时，对被衣服覆盖身体的大部分地方不进行计算，对整体的画面显示效果并没有任何影响。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、cd-rom、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，移动终端一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。