一种实时构建实训数字孪生模型的方法与流程

本发明涉及三维建模技术领域，尤其涉及一种实时构建实训数字孪生模型的方法。

背景技术：

随着计算机软硬件技术的不断发展，增强现实、虚拟现实、混合现实的不断普及，三维建模的需求量正在呈指数级的增加，这对三维模型的速度、复杂度和真实感提出了新的要求。传统三维建模工具虽然日益改进，但构建比较复杂的、动态的三维模型依然是一件非常耗时的专业工作。

现有主流三维建模主要以手工建模及图像点云建模方式实现。

1)手工建模方式需要大量具备专业建模素质的人员进行创作，时间周期长，仿真度则根据从业人员能而参差不齐，创作周期长。

2)图像点云建模方式则通过专业图像采集设备先进行图像采集，再运用超强算力的计算机和专业软件进行建模，该技术由于受到专业设备限制、算力限制，且成功精度不足等问题，这些建模技术一直未得到有效推广和大众化运用。

随着虚拟现实、增强现实技术不断发展，而三维模型又是这些产品中的核心组成要素，所以，怎样快速的、精确的、实时的、动态的建模技术必将推进虚拟现实、增强现实的市场化、产业化进程，并服务于各行各业。

技术实现要素：

本发明的目的是提供一种实时构建实训数字孪生模型的方法，具有普适性、易用性及精确性的优点。

本发明的目的是通过以下技术方案实现的：

一种实时构建实训数字孪生模型的方法，包括：

步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用visualinertialodometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；

步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；

步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；

步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。

由上述本发明提供的技术方案可以看出，可以通过通用型移动设备，对目标对象进行实时动态建模，降低三维建模门槛，能够应用于制造、教育、文化、健康、娱乐等多个领域，促进这些领域的生产力提升。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种实时构建实训数字孪生模型的方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种实时构建实训数字孪生模型的方法，如图1所示，该方法主要包括：

步骤1、通过通用型移动设备内置的惯性测量单元(inertialmeasurementunit)采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用visualinertialodometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。

本发明实施例中，所述通用型移动设备为智能手机或者平板电脑。

本发明实施例中，所述惯性测量单元包括加速度计与陀螺仪。

本发明实施例中，估算目标物体的三维特征的优选实施方式如下：

步骤11、通过通用型移动设备(具体可以是移动端计算程序)根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，异步构建连续影像帧的特征点数据库。

步骤12、判断从目标物体中提取的特征点总数目是否达到要求，若是，则转入步骤15；若否，则转入步骤13。

本发明实施例中，特征点数目与特征点类型相关，总数目会根据目标物体的不同而发生变化。对于不同目标物体都可以预先标定特征点总数目(具体数值根据情况自行设定)，因此，在步骤12中可以直接比较标定的总数目数值与步骤11中提取出的特征点数目的数值来判断是否达到要求。

本发明实施例中，拍摄目标物体时可以使用视频拍摄和照片拍摄两种方式，视频拍摄方式采集到的是连续影像帧，照片拍摄方式采集到的为离散影像帧。在拍摄完成后的视频中截取关键帧，因为同一移动设备拍摄的连续影像帧和离散影像帧分辨率会有差距，离散影像帧分辨率要高于连续影像帧分辨率，当连续影像帧的关键帧分辨率过低无法提取足够的特征点时，补充拍摄离散影像帧，用于补偿提取特征点。

对于视频拍摄和照片拍摄采集到的每一影像帧，惯性测量单元都会记录相应的姿态信息。

步骤13、通过后处理计算程序(可以设置在计算机中)根据姿态信息计算离散影像帧的拍摄时的位置与旋转角度；同时抽取离散影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，构建离散影像帧的特征点数据库。

步骤14、将离散影像帧的特征点数据库与连续影像帧的特征点数据库匹配并合并，获得合并后的特征点数据库。

步骤15、通过visualinertialodometry技术，结合获得的特征点数据库(也即步骤12或者步骤14的结果)，恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。

步骤2、通过可微渲染器(differentiablerenderer)对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型。

本发明实施例中，通过为三维网格模型进行纹理贴图渲染，可以得到较为逼真的三维模型。

步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割(graphcut)算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型。

本发明实施例中，构建图割(graphcut)算法中的代价函数的具体实现过程可参见现有技术，不再赘述。

本发明实施例中，通过代价函数对所有片面进行判别，以区分所有片面中哪些属于符合要求片面，哪些属于含有杂质的片面，从而去除含有杂质片面。

本步骤中，三维网格模型几何信息来自于步骤1中得到的目标物体的实际三维大小，纹理信息也即步骤2中进行纹理贴图时产生的纹理信息。

步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。

本发明实施例中，实训工作中可以包含各种目标物体，比如，机械对象、生物对象(例如，人物面部)、零部件等。

本步骤中，通用型移动设备利用已经获得的特征点数据库实时识别拍摄的其他连续影像帧是否包含目标物体，若是，则估计目标物体在影像帧中的位置，并抽取相应特征点以检测目标物体是否与优化后的三维网格模型发生变化；当拍摄到包含目标物体在优化后的三维网格模型缺失部分的低分辨率连续影像帧时，根据估计得到的目标物体在影像帧中的位置，自动通过照片拍摄方式拍摄高分辨率离散影像帧，并利用高分辨率离散影像帧构建目标物体缺失部分的三维网格模型；这部分工作的具体实现过程可以参见前述步骤1中的步骤13与步骤15；即，从离散影像帧抽取缺失部分的特征点，并计算相应特征点的三维坐标，构建离散影像帧的特征点数据库，通过visualinertialodometry技术构建缺失部分的三维网格模型。

如之前所述，离散影像帧分辨率高于连续影像帧分辨率，因此，可以称为低分辨率连续影像帧，与高分辨率离散影像帧；此处的高、低分辨率主要体现两种拍摄方式下影像帧分辨率的相对高低，并不关注分辨率的具体数值大小。

在获得缺失部分的三维网格模型后，通过步骤2与步骤3进行渲染与优化，映射到之前得到的优化后的三维网格模型中。

在实际的应用中，通过上述方法可以为身份信息识别模块和虚拟仿真教学模块提供数字孪生实时动态建模成果，通过服务终端模块并利用5g技术实现双网互联发布，最终实现数据实时更新。

在具体应用中，目标物体如果是人物面部三维模型，此时可以由身份信息识别模块根据人物面部三维模型的特征点进行匹配，从而实现身份识别的。

本发明实时上述方案，可以利用智能手机、平板等常见的通用型移动设备，对目标对象进行实时动态建模，降低三维建模门槛；同时，通过多种图像算法，完成真实刻画及描述建模，可以提高建模效率和精度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。