[0001]
本发明涉及机器人-环境交互领域，尤其涉及面向数字孪生的机器人-环境动态交互渲染系统和方法。
背景技术：
[0002]
在面向机器人-环境交互的场景中，由于工作环境的复杂性、不确定性和交互的多态性、多变性，导致无法保证准确、稳定和高效的机-环交互过程。而智能制造则为解决这个问题提供了可能，智能制造是指先进制造技术与新一代信息技术深度融合，如大数据、互联网、人工智能技术，实现制造的数字化、网络化、智能化，不断提升产品质量、效益、服务水平，世界各国纷纷出台了各自的先进制造发展战略，如美国工业互联网和德国工业4.0，其目的之一是借力新一代信息技术，实现物理世界和信息世界的互联互通与智能化操作，进而实现智能系统。而数字孪生技术的出现及迅速发展为实现上述目的提供了新的思路。数字孪生是一种以数字化方式创建物理实体的虚拟模型，借助数据模拟物理实体在现实环境中的行为，通过虚实交互反馈、数据融合分析和决策迭代等手段实现对物理系统的监测、优化和调控的技术，建立面向机-环交互场景下的数字孪生系统，可以有效地对机-环交互进行监测、模拟、优化和调控等，实现机-环稳定和高效交互。如何建立一个准确、实时的数字孪生系统来模拟机器人-环境交互是一个亟待解决的难点，而其中构建具有忠实映射和高保真度特性的数字孪生交互模型又是关键。
[0003]
目前针对三维物体动态交互建模主要是基于计算机图形学技术实现虚拟物体的变形效果，侧重于可视化效果，如影视游戏、虚拟仿真等领域。其主要的方法包括自由变形、骨架驱动变形、基于物理的变形和基于网格曲面的变形。其中基于网格曲面的变形只需操作表面少量顶点，并可以直接对三维物体的网格表面进行操作，实现变形，极大方便了实时交互变形操作。面向机器人-环境交互数字孪生系统的物理建模是模拟真实机-环动态交互时环境对所施激励的响应，不仅要考虑三维物体交互响应的实时可视化要求，还需要考虑已存场景下真实环境的响应特性。此外环境是动态的，即在执行接触前，环境的物理特性是未知的，并且在执行过程中，随着接触物体的改变，环境的物理特性也将会不断变化。
[0004]
因此，本领域的技术人员致力于开发一种面向数字孪生的机器人-环境动态交互渲染系统和方法。
技术实现要素：
[0005]
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种面向数字孪生的机器人-环境动态交互渲染系统和方法。
[0006]
为实现上述目的，本发明在第一方面提供了一种面向数字孪生的机器人-环境动态交互渲染系统，包括物理空间、通信接口和数字孪生空间；其中，物理空间包括机器人、作用环境、数据传感器、主端控制器；其中数据传感器安装在工作场景，用于采集数据，并通过数据接口与通信接口连接；主端控制器控制机器人运行和物理空间的信息传输；通信接口
用于连接物理空间和数字孪生数字空间，实现实时数据通信；数字孪生空间包括几何表达模块、物理表达模块和三维展示与控制平台；其中几何表达模块实现物理空间中物体的几何建模；物理表达模块包括交互动力学模块和形变渲染模块，其中，交互动力学模块包括环境接触动力学模型；环境接触动力学模型用于提供机械手与环境之间的虚拟接触力；形变渲染模块采用基于网格曲面的变形方法，引入真实交互场景下的环境动力学特性，直接对三维物体的网格表面进行操作；三维展示与控制平台用于对多维虚拟模型及计算结果进行沉浸式渲染。
[0007]
进一步地，采集的数据包括工作场景的几何信息、物理信息，其中几何信息包括工作场景中实体的形状、大小尺寸和位置；物理信息包括机器人与环境接触的接触力；数据传感器包括rgb视觉传感器和力矩传感器。
[0008]
进一步地，几何表达模块采用统一机器人描述格式描述机器人的机械臂连杆和关节及其相对位置；基于icp(iterative closest point)配准算法完成多角度下的接触环境点云融合，重建接触环境的三维模型，利用opengl增加纹理和颜色信息。
[0009]
进一步地，环境接触动力学模型采用kelvin-voigt模型：
[0010][0011]
其中f
p
(k)为k时刻施加在环境表面点p上的接触力，θ(k)＝[k(k),b(k)]
t
,k和b分别表示环境的刚度和阻尼，x和分别表示接触点位移和速度；利用视觉传感器获得接触点的位移、速度以及接触力，采用自扰动递归最小二乘法实现模型参数的在线辨识，估算环境的刚度和阻尼系数，完成动力学建模。
[0012]
进一步地，在形变渲染模块中，设顶点i在时刻t的位置为s
i
(t)，s
i
∈s
n
，则在t+δt的位置表示为
[0013]
s
i
(t+δt)＝s
i
(t)+φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)*(1/r)；
[0014]
其中r＝1/δt是渲染速率，φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)表示顶点位移函数，且有
[0015][0016][0017][0018][0019]
其中n
i
为法线、s
p
为接触点位置、f
p
为接触力；k为环境刚度、b为阻尼系数；d
j,p
为各顶点到接触点的距离；σ为标准差，r为变形半径。
[0020]
本发明在第二方面一种面向数字孪生的机器人-环境动态交互渲染方法，包括步骤：将数据传感器安装在物理空间工作场景中的机器人上及环境中，用于采集数据，并通过数据接口与通信接口连接；通过主端控制器控制机器人运行和物理空间的信息传输；通过通信接口连接物理空间和数字孪生空间，实现实时数据通信；对物理空间中物体进行几何建模；通过环境接触动力学模型提供机械手与环境之间的虚拟接触力；在数字孪生空间中，
通过形变渲染模块采用基于网格曲面的变形方法，引入真实交互场景下的环境动力学特性，直接对三维物体的网格表面进行操作；对多维虚拟模型及计算结果进行沉浸式渲染。
[0021]
进一步地，采集的数据包括工作场景的几何信息、物理信息，其中几何信息包括工作场景中实体的形状、大小尺寸和位置；物理信息包括机器人与环境接触的接触力；数据传感器包括rgb视觉传感器和力矩传感器。
[0022]
进一步地，进行几何建模时，采用统一机器人描述格式描述机器人的机械臂连杆和关节及其相对位置；基于icp(iterative closest point)配准算法完成多角度下的接触环境点云融合，重建接触环境的三维模型，利用opengl增加纹理和颜色信息。
[0023]
进一步地，环境接触动力学模型采用kelvin-voigt模型：
[0024][0025]
其中f
p
(k)为k时刻施加在环境表面点p上的接触力，θ(k)＝[k(k),b(k)]
t
,k和b分别表示环境的刚度和阻尼，x和分别表示接触点位移和速度；利用视觉传感器获得接触点的位移、速度以及接触力，采用自扰动递归最小二乘法实现模型参数的在线辨识，估算环境的刚度和阻尼系数，完成动力学建模。
[0026]
进一步地，在形变渲染模块中，设顶点i在时刻t的位置为s
i
(t)，s
i
∈s
n
，则在t+δt的位置表示为
[0027]
s
i
(t+δt)＝s
i
(t)+φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)*(1/r)；
[0028]
其中r＝1/δt是渲染速率，φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)表示顶点位移函数，且有
[0029][0030][0031][0032][0033]
其中n
i
为法线、s
p
为接触点位置、f
p
为接触力；k为环境刚度、b为阻尼系数；d
j,p
为各顶点到接触点的距离；σ为标准差，r为变形半径。
[0034]
本发明通过视觉、力等传感器获得机器人-环境交互信息，建立环境接触动力学模型，并基于环境的动力学参数，采用改进的基于网格曲面的变形算法实现虚拟物体的实时形变渲染。
[0035]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0036]
图1是本发明的一个较佳实施例中的总体结构示意图；
[0037]
图2是本发明的一个较佳实施例中的基于网格曲面的虚拟物体形变渲染流程图；
[0038]
图3是本发明的一个较佳实施例中的弹性三维薄膜在不同受力时形变渲染效果
图；
[0039]
图4是本发明的一个较佳实施例中的机器人-环境交互数字孪生示意图。
具体实施方式
[0040]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0041]
如图1-4所示，根据本发明的一种面向数字孪生的机器人-环境动态交互渲染系统，包括物理空间、通信接口、数字孪生数字空间。
[0042]
物理空间由机器人、作用环境、数据传感器、主端控制器和各类设备组成。数据传感器安装在工作场景，用于采集相关数据，并通过不同的数据接口与通信接口连接。数据主要包括工作场景的几何信息、物理信息，其中几何信息包括工作场景中主要实体的形状、大小尺寸和位置等三位信息。物理信息主要为机器人与环境接触的接触力。具体地，通过安放在工作空间的周围的多个深度和rgb视觉传感器，从多个角度采集工作场景中环境的深度信息和色彩信息；通过安装在机器人各关节的力矩等传感器获得运动的力、力矩方向及作用点等信息；主端控制器控制机器人运行和物理空间的信息传输。
[0043]
通信接口包括无线通信接口和有线通信接口，主要有wifi、5g和tcp/ip等，用于连接物理空间和数字孪生数字空间，保证可靠的实时数据通信。数字空间包括几何表达模块、物理表达模块和三维展示与控制平台。几何表达模块实现物理空间中主要物体的几何建模，包括机械臂和接触环境。其中采用统一机器人描述格式描述机械臂连杆和关节及其相对位置；基于icp(iterative closest point)配准算法完成多角度下的接触环境点云融合，重建接触环境的三维模型，最后利用opengl增加纹理和颜色信息，为物理表达模块计算结果提供显示基础。物理表达模块包括交互动力学模块和形变渲染模块，交互动力学模块包括环境接触动力学模型和动力学参数在线识别算法。环境接触动力学模型提供了机械手与环境之间的虚拟接触力。基于以下假设选择合适的接触动力学模型：末端执行器是刚性的，接触面积很小；物体是静态的，表面是光滑的。基于此假设，kelvin-voigt模型的简单性和清晰的物理表达形式使其适用于本系统，其离散表达如式(1)所示。
[0044][0045]
其中f
p
(k)为k时刻施加在环境表面点p上的接触力，θ(k)＝[k(k),b(k)]
t
,k和b分别表示环境的刚度和阻尼，x和分别表示接触点位移和速度。利用视觉传感器获得接触点的位移、速度量以及接触力，然后采用自扰动递归最小二乘法实现模型参数的在线辨识，估计出环境的刚度和阻尼系数，完成非静态环境下机-环境交互动力学建模。
[0046]
形变渲染模块采用改进的基于网格曲面的变形技术，引入真实交互场景下的环境动力学特性，直接对三维物体的网格表面进行操作。为了简化分析，作假设如下：首先，所有的顶点都是无质量、刚性和独立的单元，没有弹簧连接。其次，物体的动力特性是各向同性的，包括刚度和阻尼参数。令顶点i在时刻t的位置为s
i
(t)，s
i
∈s
n
，则在t+δt的位置可以表示为
[0047]
s
i
(t+δt)＝s
i
(t)+φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)*(1/r)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0048]
其中r＝1/δt是渲染速率，φ
i
(s
i
,n
i
,s
p
,f
p
,b,k|t)表示顶点位移函数，它跟法线n
i
、接触点位置s
p
、接触力f
p
、环境刚度和阻尼系数有关。因此实现形变渲染关键是建立顶点的改变函数。顶点的位移函数按照如下步骤建立。
[0049]
(1)确定形变方向
[0050]
变形方向可以由顶点法线的矢量和来确定，由于每个顶点到接触点的距离不同，距离越近，顶点对最终变形方向的影响越大，因此可以采用顶点加权平均法计算变形方向，表达式如式(3)所示。其中d
j,p
为各顶点到接触点的距离。
[0051][0052]
(2)计算位移因子
[0053]
位移因子代表接触力对每个顶点的影响,显然，它也与接触点到顶点的距离有关，距离越近，位移因子越大。为了实现形变表面的光滑过渡，采用高斯模糊算法计算位移因子，计算表达式如式子(4)所示。其中σ为标准差，r为变形半径。
[0054][0055]
因此，施加在顶点j的力为
[0056]
f
j
(t)＝g
j
(t)*f
p
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0057]
(3)构建位移函数
[0058]
然而，以上分析只简单考虑了接触力的影响，为了更准确地模拟虚拟物体表面形变行为，增加影响形变的环境动力学特性是必不可少的。真实场景下的环境是固体，当它们变形时会通过压缩或拉伸来抵抗这种变形。为了表示这种现象，在每个顶点的两个版本之间建立了连接的弹簧，增加环境的刚度特性，此外，为了防止永久振荡，还考虑了阻尼效应。基于此，式(5)可以可以改写成如式(6)所示。其中刚度k和阻尼b可以由交互动力学模块估计得到。
[0059][0060]
根据牛顿第二定律，顶点j的位移函数可以由式(7)计算得到。
[0061][0062]
将式(7)带入到式(2)即可获得任意顶点在时刻t+δt的位置，从而完成虚拟物体表面形变渲染。
[0063]
由于显示数据的多源性和复杂的交互环境，三维展示与控制平台基于虚拟现实技术利用unity3d开发工具对多维虚拟模型及计算结果进行沉浸式渲染，并提供人-装配系统交互接口，使得操作人员可以在三维环境中实时观察机-环境交互情况，在必要时对其进行人工干预指导。
[0064]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术
方案，皆应在由权利要求书所确定的保护范围内。