增强现实中的特效随动渲染方法及装置

1.本发明涉及增强现实领域，尤其涉及一种增强现实中的特效随动渲染方法及装置。


背景技术：

2.增强现实(ar)通过摄像头在用户的视场上渲染虚拟特效来增强现实世界，从而有望在娱乐、教育和医疗保健领域提供前所未有的身临其境的沉浸式体验。最近，移动ar应用程序和系统的设计引起了业界和学术界的强烈兴趣。目前的移动ar解决方案(例如arkit和arcore)使智能手机能够将平面识别为锚点(即平面上的一组关键特征点)，并进一步允许用户将虚拟特效或虚拟对象固定在平面锚点上。
3.基于这些框架开发了许多著名的移动ar应用程序。此类应用利用视觉里程计或视觉惯性里程计来跟踪智能手机的位姿(位姿包含物体的位置和方向，位置和方向分别具有三个自由度，因此位姿是具有六个自由度的变量)，但是，这类应用仅能够估计智能设备自身的位姿，而缺乏追踪图像中物体位姿的能力，这对于在运动的物体对象上呈现连续的ar效果至关重要。例如，当图像中某个玩具龙(能喷射火焰)改变姿态时，通过现有的arcore技术渲染的虚拟火焰可能会丢失其目标，产生错误的渲染效果。相反，如果能够获得玩具龙的六自由度位姿，就能够实时的在正确的位置渲染虚拟火焰，实现随动特效。同样，通过六自由度位姿追踪，可以将虚拟长度测量的效果附加在魔方上，而无论魔方的位姿是否发生变化，长度测量特效都保持在正确的位置。简而言之，物体的六自由度位姿追踪是跨越移动ar应用程序中虚拟与现实之间鸿沟的关键技术。
4.现有的基于视觉的六自由度位姿追踪解决方案依赖于昂贵且复杂的传感器设备，或者需要预先对特定的待追踪物体对象进行复杂的预建模以及对深度神经网络进行预训练。但是由于移动设备计算资源有限以及实际环境较为复杂，这些解决方案都无法在商用的智能手机上使用。


技术实现要素：

5.针对现有技术存在的问题，本发明提供一种增强现实中的特效随动渲染方法及装置。
6.本发明提供一种增强现实中的特效随动渲染方法，包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
7.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述根据实时视频流，依次确定每帧图像中目标物体的位姿信息，还包括：确定图像中目标物体的orb特征点，对相邻两帧的特征点进行匹配，构建特征点坐标与图像坐标的投影关系。
8.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据雷达发射信号和接收信号的频率差，确定信号传播时间，根据所述传播时间确定每帧图像目标物体的距离信息。
9.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据布置为正交的两组天线阵列，分别根据每组天线阵列中相邻天线的相位差确定对应角度；根据两组天线阵列确定的角度，确定目标物体每帧图像目标物体的角度信息。
10.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述得到每帧图像目标物体的修正后位姿之后，还包括：根据每个特征点投影到图像坐标误差的鲁棒和函数，确定相机误差；根据雷达测量误差概率密度的鲁棒和函数，确定雷达误差；基于相机误差和雷达误差最小化，确定目标物体优化的修正后位姿。
11.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述基于相机误差和雷达误差最小化，确定目标物体优化的修正后位姿，包括：基于g2o框架进行位姿图优化求解，得到目标物体优化的修正后位姿。
12.根据本发明一个实施例的增强现实中的特效随动渲染方法，所述基于修正后位姿进行视频流的特效渲染，具体为：根据优化的修正后位姿，进行视频流的特效渲染。
13.本发明还提供一种增强现实中的特效随动渲染装置，包括：相机模块，用于基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息；雷达模块，用于根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；追踪模块，用于根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述增强现实中的特效随动渲染方法的步骤。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述增强现实中的特效随动渲染方法的步骤。
16.本发明提供的增强现实中的特效随动渲染方法及装置，通过相机和雷达分别获取位姿相关信息，融合了两种类型的传感器测量的位姿或位置信息，能够实时输出优化后准确的物体六自由度位姿使，从而使具有相机和雷达的智能手机等设备，不添加额外硬件成本就能够对移动的对象进行随动特效渲染。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的增强现实中的特效随动渲染方法的流程示意图；
19.图2是本发明提供的相机成像模型示意图；
20.图3是本发明提供的通过频率差测量距离示意图；
21.图4是本发明提供的通过相位差测量角度示意图；
22.图5是本发明提供的增强现实中的特效随动渲染装置的结构示意图；
23.图6是本发明提供的电子设备的结构示意图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.如今，能够生成稀疏点云的传感器逐渐集成到商用智能手机中。本发明利用相对稀疏的测量结果(例如毫米波雷达)与视觉技术融合在一起，实时跟踪物体对象的六自由度位姿。
26.下面结合图1-图6描述本发明的增强现实中的特效随动渲染方法及装置。图1是本发明提供的增强现实中的特效随动渲染方法的流程示意图，如图1所示，本发明提供增强现实中的特效随动渲染方法，包括：
27.101、基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像中目标物体的位姿信息。
28.首先，使用相机成像模型确定物体的位姿。例如，提取摄像机确定图像中的特征点，并对相邻两帧之间的特征点进行匹配，构建空间中的三维特征点xc投影到图像平面中的二维像素特征点x的关系，如下所示：
[0029][0030]
其中，π为投影函数，[f
xfy
]
t
为相机的焦距，[c
xcy
]
t
为相机光心，它们都是相机的固有参数。
[0031]
102、根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息。
[0032]
利用雷达，如目前的毫米波雷达来确定物体的位置信息。毫米波雷达采用调频连续波信号进行距离和角度测量，最终由距离和角度确定物体的三维位置。
[0033]
103、根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0034]
在一个实施例中，根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，包括：根据雷达模型得到的位置信息，对相机模型中的位姿信息中的三维位置进行修正。
[0035]
此处构建物体追踪模型，分别通过视觉图像处理与雷达信号处理来获得相机模型与雷达模型，再由相机模型和雷达模型共同组成追踪模型。追踪模型中通过雷达模型得到的精准位置信息，对相机模型中的位姿信息中的三维位置进行修正，从而提高目标物体位
姿的准确性。最后，基于修正后的目标物体位姿进行视频流的特效渲染。
[0036]
相机模型：通过视觉图像处理，能够提供对物体位姿追踪的观测模型h(
·
)，它能够在图像平面上反映出目标的六自由度位姿，对于在第i时刻的图像中第k个特征点来说，有：
[0037][0038]
其中，为特征点xi(k)在物体参考系下对应的3d点，vi(k)为特征点位姿的随机噪声，在大多数现有的视觉系统中，vi(k)为高斯分布的噪声，因此，相机观测模型可以使用最小二乘法进行有效优化。r
cr
、t
cr
分别为：雷达坐标系r到相机坐标系c相对旋转；特征点i从物体坐标系o到雷达坐标系r的相对旋转；特征点i从物体坐标系o到雷达坐标系r的相对位移；雷达坐标系r到相机坐标系c的相对位移。
[0039]
通过雷达信号处理，能够确定目标在三维空间中的位置。通过计算物体在两个时间点的三位位置，给出物体在这段时间内的运动方向与距离，提供对物体位姿追踪的运动模型g(
·
)：
[0040][0041]
其中，u代表物体的位移，为在时间i和时间j处雷达测量的物体三维位置的差值向量(即物体的位移向量)，w
ij
为使用雷达运动模型产生的误差。分别是：j时刻(也就是第j帧)三维空间点p在雷达坐标系r下的三维坐标；i时刻(也就是第i帧)三维空间点p在雷达坐标系下的三维坐标；i时刻(也就是第i帧)从物体坐标系o到雷达坐标系r的相对位移。
[0042]
本发明提供的增强现实中的特效随动渲染方法，通过相机和雷达分别获取位姿相关信息，融合了两种类型的传感器测量的位姿或位置信息，能够实时输出优化后准确的物体六自由度位姿，从而使具有相机和雷达的智能手机等设备，不添加额外硬件成本就能够对移动的对象进行随动特效渲染。
[0043]
在一个实施例中，所述根据实时视频流的每帧图像，分别确定目标物体的位姿信息之前，还包括：确定图像中目标物体的orb特征点，对相邻两帧的特征点进行匹配，构建特征点坐标与图像坐标的投影关系。
[0044]
上述实施例已说明，具体如图2所示，orb特征包括特征点和描述子。特征点用于筛选比较“特殊”的点，而描述子用来描述某个点周围的特征。图像的特征点可以简单的理解为图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。
[0045]
在一个实施例中，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：根据雷达发射信号和接收信号的频率差，确定
信号传播时间，根据所述传播时间确定每帧图像目标物体的距离信息。
[0046]
如图3所示，发射信号(tx信号)和接收信号(rx信号)之间的频率差表示信号传播时间，可用于确定物体的距离。将雷达与物体之间的时变距离表示为d(t)，可以将发送和接收的信号表示为：
[0047]stx
(t)＝exp[j(2πfct+πkt2+φ0)]
[0048][0049]
其中，α为衰减率，fc起始频率，k为线性调频周期的斜率，c为光速，j为虚数单位，φ0为初始相位，t为信号传播时间。然后将tx和rx信号都放入混频器和低通滤波器lpf(
·
)中，以提取中频信号(if信号)，如下所示：
[0050][0051]
它的频率f
if
包含着距离信息。对if信号使用快速傅里叶变换(fft)，就能够提取f
if
，然后，通过下式计算距离：
[0052][0053]
在一个实施例中，所述根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息之前，还包括：
[0054]
根据布置为正交的两组天线阵列，分别根据每组天线阵列中相邻天线的相位差确定对应角度；根据两组天线阵列确定的角度，确定目标物体每帧图像目标物体的角度信息。
[0055]
通过精心设计的天线阵列，毫米波雷达还可以获取物体的方向。如图4所示，多根天线被布置为两个正交的线性天线阵列。每个线性阵列均可通过间隔为d的两个相邻天线之间的相位差来获取角度(即阵列方向与rx信号方向之间的角度)：
[0056][0057]
其中θ是角度，而λ是波长，而δφ是相位差。由于雷达具有两个正交的线性天线阵列，因此可以获取两个不同的角度θ
x
和θy。因此，物体方向的单位向量可以表示为：
[0058][0059]
通过上述距离和角度测量，毫米波雷达可以在雷达参考中获得物体在三维空间中的位置pr，如下所示：
[0060]
pr＝dn
[0061]
在一个实施例中，得到每帧图像目标物体的修正后位姿之后，还包括：根据每个特征点投影到图像坐标误差的鲁棒和函数，确定相机误差；根据雷达测量误差概率密度的鲁棒和函数，确定雷达误差；基于相机误差和雷达误差最小化，确定目标物体优化后的修正位姿。
[0062]
在整体位姿优化中，根据物体跟踪模型，实时优化并输出物体的六自由度位姿。为
了有效地估计位姿，本发明采用基于因子图的优化框架，当前物体位姿θi受到两个因子节点的约束，分别是位移因子ti与旋转因子ri。整体的优化问题可以表述为：
[0063][0064][0065]
在上式中，相机投影误差为：
[0066][0067][0068]
即根据每个特征点投影到图像坐标误差的鲁棒和函数，确定相机误差，包括：
[0069][0070]
毫米波雷达误差为：
[0071][0072]
其中，ψ(
·
)为毫米波雷达测量误差的概率密度函数。ρ(
·
)为鲁棒和函数，这里使用鲁棒和函数能够增强优化算法对异常值的抵抗性，i表示时刻或第i帧。
[0073]
即根据雷达测量误差概率密度的鲁棒和函数，确定雷达误差，包括：
[0074][0075]
本发明实施例，通过鲁棒和函数对相机误差和雷达误差进行进一步纠正，从而可以提高目标物体位姿的准确性，进而提高特效渲染的真实性。
[0076]
在一个实施例中，基于g2o框架进行位姿图优化求解，得到目标物体优化的修正后位姿。即整体的优化问题可借助g2o进行位姿图优化求解。在一个实施例中，所述基于修正后位姿进行视频流的特效渲染，具体为：根据优化的修正后位姿，进行视频流的特效渲染。完成优化后可得到更准确的物体的六自由度位姿，从而能够实现运动物体上的真实特效随动渲染效果。
[0077]
下面对本发明提供的增强现实中的特效随动渲染装置进行描述，下文描述的增强
现实中的特效随动渲染装置与上文描述的增强现实中的特效随动渲染方法可相互对应参照。
[0078]
图5是本发明提供的增强现实中的特效随动渲染装置的结构示意图，如图5所示，该增强现实中的特效随动渲染装置包括：相机模块501、雷达模块502和追踪模块503。其中，相机模块501用于基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像目标物体的位姿信息；雷达模块502用于根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；追踪模块503用于根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0079]
在一个装置实施例中，还包括位姿优化模块，用于得到每帧图像目标物体的修正后位姿之后：根据每个特征点投影到图像坐标误差的鲁棒和函数，确定相机误差；根据雷达位移向量误差和旋转向量误差概率的鲁棒和函数，确定雷达误差；基于相机误差和雷达误差最小化，确定目标物体优化的修正后位姿。
[0080]
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
[0081]
本发明实施例提供的增强现实中的特效随动渲染装置，通过相机和雷达分别获取位姿相关信息，融合了两种类型的传感器测量的位姿信息，能够实时输出优化后准确的物体六自由度位姿使，从而使具有相机和雷达的智能手机等设备，不添加额外硬件成本就能够对移动的对象进行随动特效渲染。
[0082]
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(communications interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储器603中的逻辑指令，以执行增强现实中的特效随动渲染方法，该方法包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0083]
此外，上述的存储器603中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0084]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的增强现实中的特效随动渲染方法，该方法包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依
次确定每帧图像目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0085]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的增强现实中的特效随动渲染方法，该方法包括：基于目标物体的特征点坐标与图像坐标的投影关系，根据实时视频流，依次确定每帧图像目标物体的位姿信息；根据雷达获取的每帧图像时刻目标物体的距离信息和角度信息，确定目标物体位置信息；根据所述位置信息对所述位姿信息进行修正，得到每帧图像目标物体的修正后位姿，并基于修正后位姿进行视频流的特效渲染。
[0086]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0087]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0088]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。