能够处理局部遮挡物的AR成像虚拟试鞋方法及装置与流程
本发明涉及ar技术领域，尤其涉及一种ar成像虚拟试鞋方法及装置。
背景技术：
现如今，网上购物已成为潮流，消费者们可以足不出户的了解各式商品的信息与挑选自己喜欢的商品，方便快捷的支付。但存在的问题是：(1)传统电商的使用鞋子图片、视频方式做不到以用户为中心，商品的展示以用户的关注点为转移。(2)用户无法很好的判断网上购买的鞋子款式是否符合自己，可能会造成退货，降低转化率。
应用ar技术，可以让用户随时随地使用摄像头拍摄脚步在拍摄图像中的脚步增加鞋子的ar三维模型，试穿各式各样的鞋子，也可以让用户通过移动、旋转，360度查看商品的全貌，同时查看商品的细节。但是现有的虚拟试鞋技术需要拍摄到整个脚部的图像才能准确识别脚部位置。当存在脚部被裤子遮挡、双脚交叉、他人或其他物体遮挡脚部、只露出脚跟等较小部分时，无法识别出脚部，导致旋转脚部观察试鞋整体效果时，鞋子成像不佳，或者有以外遮挡物时虚拟试鞋系统无法正常工作。
同时还需要考虑到用户在试穿鞋子时，是需要考虑鞋子对于裤子以及脚踝等其他部分的适配情况，简单的屏蔽这些部分的遮挡效果，反而会影响到用户试穿的体验。最好的效果是试穿鞋子ar三维图像添加到摄像图像中时能够较好地还原裤子和脚踝这些部分的遮挡效果。
技术实现要素：
本发明是为了克服现有技术中的虚拟试鞋方法及系统，无法处理拍摄图像中有以外物体遮挡脚部的情况，导致实际操作不便的问题，提供一种能够处理局部遮挡物的ar成像虚拟试鞋方法及装置，能够对于识别拍摄图像中有意外物体进入遮挡脚部的情况进行有效处理，依然能够完整准确地在拍摄图像中脚部显示鞋子的ar三维模型，同时能够较好地还原裤子和脚踝这些部分的遮挡效果，提高用户试穿体验。
为实现上述目的，本发明采用以下技术方案：
本发明申请提供一种能够处理局部遮挡物的ar成像虚拟试鞋方法，所述方法包括以下步骤：
步骤1，获取调用摄像头捕捉脚部区域图像，通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；
步骤2，利用pvnet算法计算脚面或鞋面目标的预测6d位姿；
步骤3，基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的ar试穿效果图像。
作为优选，所述步骤2具体包括以下步骤：
步骤201，通过resnet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场；
步骤202，根据每个像素点到2d关键点的向量，计算每个像素点对每个2d关键点的投票分数；
步骤203，根据所有2d关键点投票分数的均值和协方差，使用pnp进行算法计算脚面或鞋面目标的6d位姿。
作为优选，所述的2d关键点采用最远点采样算法确定的。
作为优选，所述步骤202中，每个像素到2d关键点的向量计算公式为：
每个像素点对每一个关键点的投票分数计算公式：
作为优选，所述步骤203具体包括以下步骤：
计算所有2d关键点投票分数的均值，计算公式为：
计算所有2d关键点投票分数的协方差，计算公式为：
使用pnp进行算法进行6d位姿的计算，所述6d位姿计算方式是通过最小化其马氏距离：
获得脚部图像中的2d关键点和预设脚部物体的3d关键点的映射关系，获得脚部图像中用户脚部的6d位姿。
作为优选，所述脚部区域图像包括用户摄像头获取到的用户脚部区域影像的当前帧的图片。
作为优选，所述步骤3具体包括以下步骤：
步骤301，通过网络或本地加载试穿鞋子的3d模型；
步骤302，获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像；
步骤303，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。
本发明申请提供一种能够处理局部遮挡物的ar成像虚拟试鞋装置，所述装置用于实现上述方法，所述装置包括：
分割模块，用于获取调用摄像头捕捉脚部区域图像，通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系；；
位姿预测模块，用于利用pvnet算法计算脚面或鞋面目标的预测6d位姿；
渲染模块，用于基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的ar试穿效果图像。
作为优选，所述位姿预测模块包括：
采样单元，用于通过resnet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场；
投票单元，用于根据每个像素点到2d关键点的向量，计算每个像素点对每个2d关键点的投票分数；
位姿单元，用于根据所有2d关键点投票分数的均值和协方差，使用pnp进行算法计算脚面或鞋面目标的6d位姿。
作为优选，所述渲染模块包括：
加载单元，用于通过网络或本地加载试穿鞋子的3d模型；
图像单元，用于获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像；
渲染单元，用于将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。
本申请的方法，能够在用户脚部被意外物品(裤脚等)遮挡时，排除其他无关物体的干扰。利用脚面或鞋面目标可见部位的局部信息，来检测关键点。然后，每个像素预测一个指向物体关键点的方向向量，从而判断用户脚部的位姿。将服务器预存的试穿鞋子的3d模型图像叠加到图像上的脚部位置，从而实现虚拟试穿的效果。同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，能够较好地还原裤子和脚踝这些部分的遮挡效果。
附图说明
图1是本发明能够处理局部遮挡物的ar成像虚拟试鞋方法的第一流程图。
图2是本发明能够处理局部遮挡物的ar成像虚拟试鞋方法的第二流程图。
图3是本发明能够处理局部遮挡物的ar成像虚拟试鞋方法的第三流程图。
图4是本发明能够处理局部遮挡物的ar成像虚拟试鞋装置的原理框图。
图5是本发明能够处理局部遮挡物的ar成像虚拟试鞋装置的另一种原理框图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步描述。
如图1所示，本发明申请提供一种能够处理局部遮挡物的ar成像虚拟试鞋方法，所述方法包括以下步骤：
步骤1，获取调用摄像头捕捉脚部区域图像，通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系。
所述脚部区域图像包括用户摄像头拍摄到的用户脚部区域的静态照片或者是获取到的用户脚部区域影像的当前帧的图片。因此本方法可以针对用户拍摄的照片和实时影像上进行ar虚拟试鞋。利用maskr-cnn神经网络分割并识别脚踝目标是指识别的用户脚踝；识别脚面或鞋面目标是在区分用户穿鞋情况下的鞋子，从而能够将试鞋图像渲染在鞋子的位置，或者识别用户光脚情况下的脚面，从而能够将试鞋图像渲染在脚面位置。而遮挡物目标包括裤脚或者其他的意外遮挡物。同时可以利用maskr-cnn神经网络识别脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，也就是脚踝、鞋面、裤脚和意外遮挡物从内而外的遮挡关系。
步骤2，利用pvnet算法计算脚面或鞋面目标的预测6d位姿。
步骤3，基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的ar试穿效果图像。
如图2所示，优选的，所述步骤2具体包括以下步骤：
步骤201，通过resnet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场。
所述的2d关键点是采用最远点采样算法确定的。
步骤202，根据每个像素点到2d关键点的向量，计算每个像素点对每个2d关键点的投票分数。
所述步骤202中，每个像素到2d关键点的向量计算公式为：
每个像素点对每一个关键点的投票分数计算公式：
步骤203，根据所有2d关键点投票分数的均值和协方差，使用pnp进行算法计算脚面或鞋面目标的6d位姿。
所述步骤203进一步包括以下步骤：
计算所有2d关键点投票分数的均值，计算公式为：
计算所有2d关键点投票分数的协方差，计算公式为：
使用pnp进行算法进行6d位姿的计算，所述6d位姿计算方式是通过最小化其马氏距离：
获得脚部图像中的2d关键点和预设脚部物体的3d关键点的映射关系，获得脚部图像中用户脚部的6d位姿。
现有技术中对于空间内物体的6d位姿的识别判断，需要能够完整获取物体的图像，在物体局部被遮挡时效果很差。但是在进行虚拟试穿时，鞋面或脚面有可能被裤脚或其他物体遮挡，导致位姿识别不准确，而使得虚拟试穿的效果出现偏差。本方法的步骤2的技术方案能够在脚面或鞋面目标被裤脚或其他意外遮挡物局部遮挡时，仍然能够识别脚面或鞋面并且能够判定脚面或鞋面的6d位姿，从而能够根据此6d位姿为试穿鞋子图像生成提供准确依据，如实渲染试穿效果。
如图3所示，优选的，所述步骤3具体包括以下步骤：
步骤301，通过网络或本地加载试穿鞋子的3d模型；
步骤302，获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像；
步骤303，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。
所述步骤3的技术方案是利用本方法步骤1中识别的脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，在是试穿鞋子图像覆盖在脚面或斜面目标上渲染时，同时维持裤脚等遮挡物在脚面或鞋面目标上的遮挡关系，以及鞋面目标遮挡脚踝目标的遮挡关系。这样就能够更为真实的模拟鞋子试穿在脚上的效果，用户能够看到试穿鞋子和自己袜子或者裤脚的搭配效果。
如图4所示，本发明申请提供一种能够处理局部遮挡物的ar成像虚拟试鞋装置，所述装置用于实现上述方法，所述装置包括：
分割模块1，用于获取调用摄像头捕捉脚部区域图像，通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系。
位姿预测模块2，用于利用pvnet算法计算脚面或鞋面目标的预测6d位姿。
渲染模块3，用于基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像，将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上，并维持遮挡关系，从而在用户终端上展示渲染后的ar试穿效果图像。
如图5所示，优选的，所述位姿预测模块2包括：
采样单元201，用于通过resnet网络对获取到的脚部区域图像进行下采样，对脚部区域图像下采样的特征进行上采样，获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场。
投票单元202，用于根据每个像素点到2d关键点的向量，计算每个像素点对每个2d关键点的投票分数。
位姿单元203，用于根据所有2d关键点投票分数的均值和协方差，使用pnp进行算法计算脚面或鞋面目标的6d位姿。
所述渲染模块3包括：
加载单元301，用于通过网络或本地加载试穿鞋子的3d模型。
图像单元302，用于获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像。
渲染单元303，用于将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置，同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，图像渲染后在用户终端上展示。
本申请的方法，能够在用户脚部被意外物品(裤脚等)遮挡时，排除其他无关物体的干扰。利用脚面或鞋面目标可见部位的局部信息，来检测关键点。然后，每个像素预测一个指向物体关键点的方向向量，从而判断用户脚部的位姿。将服务器预存的试穿鞋子的3d模型图像叠加到图像上的脚部位置，从而实现虚拟试穿的效果。同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，能够较好地还原裤子和脚踝这些部分的遮挡效果。
本申请的方法，能够在用户脚部被意外物品(裤脚等)遮挡时，排除其他无关物体的干扰。利用物体可见部位的局部信息，来检测关键点。然后，每个像素预测一个指向物体关键点的方向向量，从而判断用户脚部的位姿。将服务器预存的试穿鞋子的3d模型图像叠加到图像上的脚部位置，从而实现虚拟试穿的效果。
这个新的关键点定位方法相对于现有的关键点检测方法有三大优势。一个是现有方法对关键点只有一次预测，而在我们的方法中，物体可见部分的像素对关键点都有一个预测，极大提高了模型的鲁棒性。第二个优势是，我们对物体关键点的方向向量场的表示，很大程度的利用了用户脚部的性质。对于用户脚部，我们人只要见到物体露出的一部分，就能推测出物体其他部分的方向。通过方向向量场的表示，可以帮助网络学习到用户脚部的结构性质。第三个优势是，现有只能表示图片内的关键点，而方向向量场可以检测图片外的关键点，所以可以检测truncation状态下的脚部的6d位姿。
同时本方案应用了maskr-cnn神经网络，mask-rcnn是基于深度学习的卷积神经网络的图像分割模型，可以分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标，其中遮挡物目标包括裤子和其他意外遮挡物，根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系，将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置，能够较好地还原裤子和脚踝这些部分的遮挡效果。
- 还没有人留言评论。精彩留言会获得点赞！