能够处理局部遮挡物的AR成像虚拟试鞋方法及装置与流程

文档序号:21369525发布日期:2020-07-04 04:46阅读:来源:国知局

技术特征:

1.一种能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述方法包括以下步骤:

步骤1,获取调用摄像头捕捉脚部区域图像,通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标,以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系;

步骤2,利用pvnet算法计算脚面或鞋面目标的预测6d位姿;

步骤3,基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上,并维持遮挡关系,从而在用户终端上展示渲染后的ar试穿效果图像。

2.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤2具体包括以下步骤:

步骤201,通过resnet网络对获取到的脚部区域图像进行下采样,对脚部区域图像下采样的特征进行上采样,获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场;

步骤202,根据每个像素点到2d关键点的向量,计算每个像素点对每个2d关键点的投票分数;

步骤203,根据所有2d关键点投票分数的均值和协方差,使用pnp进行算法计算脚面或鞋面目标的6d位姿。

3.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述的2d关键点是采用最远点采样算法确定。

4.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,

所述步骤202中,每个像素到2d关键点的向量计算公式为:

其中p表示像素点,xk表示2d关键点;

每个像素点对每一个关键点的投票分数计算公式:

其中k和i为确定可能的关键的两个像素点,h(k,i)为可能的关键点,p为像素点。

5.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤203具体包括以下步骤:

计算所有2d关键点投票分数的均值,计算公式为:

其中h(k,i)为可能的关键点,wk,i为投票分数;

计算所有2d关键点投票分数的协方差,计算公式为:

使用pnp进行算法进行6d位姿的计算,所述6d位姿计算方式是通过最小化其马氏距离:

其中xk为3d关键点的坐标,为xk的2d映射,

获得脚部图像中的2d关键点和预设脚部物体的3d关键点的映射关系,获得脚部图像中用户脚部的6d位姿。

6.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述脚部区域图像包括用户摄像头获取到的用户脚部区域影像的当前帧的图片。

7.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤3具体包括以下步骤:

步骤301,通过网络或本地加载试穿鞋子的3d模型;

步骤302,获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像;

步骤303,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置,同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系,将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置,图像渲染后在用户终端上展示。

8.一种能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述装置包括:

分割模块,用于获取调用摄像头捕捉脚部区域图像,通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标,以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系;;

位姿预测模块,用于利用pvnet算法计算脚面或鞋面目标的预测6d位姿;

渲染模块,用于基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上,并维持遮挡关系,从而在用户终端上展示渲染后的ar试穿效果图像。

9.根据权利要求8所述的能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述位姿预测模块包括:

采样单元,用于通过resnet网络对获取到的脚部区域图像进行下采样,对脚部区域图像下采样的特征进行上采样,获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场;

投票单元,用于根据每个像素点到2d关键点的向量,计算每个像素点对每个2d关键点的投票分数;

位姿单元,用于根据所有2d关键点投票分数的均值和协方差,使用pnp进行算法计算脚面或鞋面目标的6d位姿。

10.根据权利要求8所述的能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述渲染模块包括:

加载单元,用于通过网络或本地加载试穿鞋子的3d模型;

图像单元,用于获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像;

渲染单元,用于将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置,同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系,将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置,图像渲染后在用户终端上展示。


技术总结
本发明公开了一种能够处理局部遮挡物的AR成像虚拟试鞋方法及实现该方法的装置。所述方法步骤主要包括:步骤1,通过Mask R‑CNN神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋目标和遮挡物目标,以及脚踝目标、脚面或鞋目标和遮挡物目标的遮挡关系;利用PVnet算法计算脚面或鞋目标的预测6D位姿;基于试穿鞋子的3D模型生成对应预测6D位姿的试穿鞋子图像,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋目标上,并维持遮挡关系。本方案能够对于识别拍摄图像中有意外物体进入遮挡脚部的情况进行有效处理,依然能够完整准确地在拍摄图像中脚部显示鞋子的AR三维模型,同时能够较好地还原裤子和脚踝这些部分的遮挡效果,提高用户试穿体验。

技术研发人员:李汪洋
受保护的技术使用者:足购科技(杭州)有限公司
技术研发日:2020.03.03
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1