1.一种能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述方法包括以下步骤:
步骤1,获取调用摄像头捕捉脚部区域图像,通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标,以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系;
步骤2,利用pvnet算法计算脚面或鞋面目标的预测6d位姿;
步骤3,基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上,并维持遮挡关系,从而在用户终端上展示渲染后的ar试穿效果图像。
2.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤2具体包括以下步骤:
步骤201,通过resnet网络对获取到的脚部区域图像进行下采样,对脚部区域图像下采样的特征进行上采样,获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场;
步骤202,根据每个像素点到2d关键点的向量,计算每个像素点对每个2d关键点的投票分数;
步骤203,根据所有2d关键点投票分数的均值和协方差,使用pnp进行算法计算脚面或鞋面目标的6d位姿。
3.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述的2d关键点是采用最远点采样算法确定。
4.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,
所述步骤202中,每个像素到2d关键点的向量计算公式为:
每个像素点对每一个关键点的投票分数计算公式:
5.根据权利要求2所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤203具体包括以下步骤:
计算所有2d关键点投票分数的均值,计算公式为:
计算所有2d关键点投票分数的协方差,计算公式为:
使用pnp进行算法进行6d位姿的计算,所述6d位姿计算方式是通过最小化其马氏距离:
获得脚部图像中的2d关键点和预设脚部物体的3d关键点的映射关系,获得脚部图像中用户脚部的6d位姿。
6.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述脚部区域图像包括用户摄像头获取到的用户脚部区域影像的当前帧的图片。
7.根据权利要求1所述的能够处理局部遮挡物的ar成像虚拟试鞋方法,其特征是,所述步骤3具体包括以下步骤:
步骤301,通过网络或本地加载试穿鞋子的3d模型;
步骤302,获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像;
步骤303,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置,同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系,将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置,图像渲染后在用户终端上展示。
8.一种能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述装置包括:
分割模块,用于获取调用摄像头捕捉脚部区域图像,通过maskr-cnn神经网络分割并识别脚部图像中的脚踝目标、脚面或鞋面目标和遮挡物目标,以及脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系;;
位姿预测模块,用于利用pvnet算法计算脚面或鞋面目标的预测6d位姿;
渲染模块,用于基于试穿鞋子的3d模型生成对应预测6d位姿的试穿鞋子图像,将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标上,并维持遮挡关系,从而在用户终端上展示渲染后的ar试穿效果图像。
9.根据权利要求8所述的能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述位姿预测模块包括:
采样单元,用于通过resnet网络对获取到的脚部区域图像进行下采样,对脚部区域图像下采样的特征进行上采样,获得脚部区域图像中脚面或鞋面目标的语义分割的分割图和指向脚面或鞋面目标中2d关键点的向量场;
投票单元,用于根据每个像素点到2d关键点的向量,计算每个像素点对每个2d关键点的投票分数;
位姿单元,用于根据所有2d关键点投票分数的均值和协方差,使用pnp进行算法计算脚面或鞋面目标的6d位姿。
10.根据权利要求8所述的能够处理局部遮挡物的ar成像虚拟试鞋装置,其特征是,所述渲染模块包括:
加载单元,用于通过网络或本地加载试穿鞋子的3d模型;
图像单元,用于获取所述试穿鞋子的3d模型处于脚面或鞋面目标的预测6d位姿时的试穿鞋子图像;
渲染单元,用于将所述试穿鞋子图像覆盖在所述脚部区域图像中的脚面或鞋面目标对应位置,同时根据脚踝目标、脚面或鞋面目标和遮挡物目标的遮挡关系,将脚踝目标和遮挡物目标按照遮挡关系遮挡在试穿鞋子图像的对应位置,图像渲染后在用户终端上展示。