一种基于多模态信息融合的三维单目标跟踪方法

1.本发明属于三维点云单目标跟踪技术领域，具体涉及一种基于多模态信息融合的三维单目标跟踪方法。


背景技术：

2.近年来，随着人工智能技术的快速发展，机器人、自动驾驶汽车等智能装备逐步出现在大众视野内，并成为中国制造的新战略方向，而这些智能产品的安全、稳定运行都离不开环境感知技术。环境感知主要是指利用相机、激光雷达、超声波等传感器获取全方位的环境状态数据，并通过计算机处理器与智能算法提取其中最关键的语义信息，如附近车辆、行人的位置与尺寸，而这些信息能够为智能系统的决策和控制环节提供至关重要的数据支持，以保证系统的可靠运行。
3.近年来，深度学习领域的快速兴起，同样极大促进了三维目标跟踪算法的发展，许多研究者尝试将深度学习方法应用于目标跟踪，并取得卓有成效的成果，相比于传统算法，深度学习提取的高维特征更适用于匹配目标，从而实现鲁棒的目标跟踪。但现有的三维目标跟踪算法大多继承二维跟踪算法的孪生网络结构，并依赖点云提供的几何信息构建相似度，这导致跟踪器难以区分结构相似的物体，而图像所具备的纹理信息能够有效解决该问题，例如：借助外貌、服饰等纹理特征能够区分两个几何结构相似的人，因此可以考虑借助深度学习方法实现多模态数据的深度融合，以解决复杂环境中跟踪器易于失效的问题。
4.中国专利“cn114862911a一种基于图卷积的三维点云单目标跟踪方法”提出一种基于图卷积的三维点云单目标跟踪方法。该发明对现有的三维单目标跟踪方法p2b进行改进，首先将模板和搜索点云作为网络输入，其次对点云进行降采样并提取种子点特征，随后再利用图卷积模块融合全局与局部特征，并将模板线索编码至搜索区域中，最后将编码模板信息的种子点输入霍夫投票模块，实现在搜索区域中定位跟踪目标，并生成其三维目标框。该技术方案中采用激光雷达作为感知环境状态的传感器，虽然雷达所采集的点云数据能够描述物体的几何轮廓，但由于点云具有稀疏性和无序性，因此在远距离、遮挡等情况下，点云所表征的物体是不完整的，进而容易造成跟踪器性能的急剧下降。此外，由于该方案仅依靠点云的几何信息，因此当目标和背景的几何结构相似时，跟踪器将难以分辨目标。即该方法易发生目标混淆与丢失问题，难以保证在复杂场景中具备良好的跟踪性能。
5.中国专利“cn111091582a一种基于深度神经网络的单视觉目标跟踪算法及系统”提出一种基于深度神经网络的单视觉目标跟踪算法及系统，该发明首先在图像序列的初始帧中指定跟踪目标，并给定其位置和尺寸的先验信息，其次在后续帧中采用共享权重的卷积网络提取目标模板与搜索区域特征，最后通过卷积和前景-背景区分网络回归目标框高度、宽度以及中心位置。此外，该发明提出尺寸调节模块，能够根据目标大小动态调节搜索区域的裁剪大小，从而适应不同尺寸、不同运动特点的目标。该方法中采用图像作为唯一数据来源，虽然图像具备丰富的纹理信息，但易受光照、天气等环境因素的影响，因此图像跟踪器不具备全天候运行的能力。此外，由于图像缺乏物体的三维信息，导致图像跟踪器只能
实现二维平面中的目标跟踪，但在机器人和自动驾驶领域的跟踪任务中，相比于估计目标在图像平面中的位置变化，人们更希望能够捕获目标在三维空间中的运动轨迹，因此图像跟踪器的应用场景十分有限。


技术实现要素：

6.基于上述问题，本发明一种基于多模态信息融合的三维单目标跟踪方法，旨在充分利用多源传感器异构数据的互补优势，并借助深度学习中的注意力机制自适应融合图像纹理信息和点云几何特征，生成更为鲁棒的多模态特征，以精准回归跟踪目标的三维坐标及朝向，解决此前点云跟踪器难以区分结构相似物体的问题，提升网络对远距离目标的跟踪能力，并缓解点云稀疏及遮挡问题对跟踪性能造成的影响，最终提升三维目标跟踪器的鲁棒性、准确性。此外，将图像与低线数的激光雷达数据作为系统输入，并提供鲁棒的跟踪结果，从而避免依赖昂贵的高线数雷达实现跟踪，有利于降低车辆的生产成本，以促进自动驾驶产品快速落地并带来客观的经济效益。
7.一种基于多模态信息融合的三维单目标跟踪方法，包括：
8.步骤1：对不同传感器采集到的图像和点云数据进行空间对齐；包括：
9.步骤1.1：依据相机内外参将点云投影至图像平面；
10.步骤1.2：将点云深度赋予至对应像素；
11.步骤1.3：将像素反投影至三维空间，从而生成具备图像纹理信息且与原始点云坐标系对齐的伪点云；
12.步骤2：基于深度学习方法构建双流特征提取网络，实现不同网络分支并行提取伪点云与点云的高维语义特征；包括：
13.步骤2.1：提取伪点云的纹理特征；包括：
14.步骤2.1.1：针对步骤1获取的伪点云，对模板伪点云和搜索伪点云均应用最远点采样算法进行点云降采样，分别获得q个点作为关键点；
15.步骤2.1.2：针对步骤2.1.1中获取的模板伪点云和搜索伪点云，以q个关键点为中心，对半径r内的点进行knn(k最邻近法)聚类，再使用mlp(多层感知机)网络将聚类后的点特征聚合至关键点中；
16.步骤2.1.3：重复应用最远点采样、knn聚类、mlp网络，使关键点数量降低到n，输出包含n个点的模板点集及搜索点集其中每个si由一个三维坐标向量ci和一个表征物体局部纹理信息的c维描述子fi组成，即si＝(ci,fi)；
17.步骤2.2：提取真实点云的几何特征，包括：
18.步骤2.2.1：针对真实点云，将模板点云和搜索点云进行体素化处理，将其转化为稠密的体素表示；
19.步骤2.2.2：针对模板点云和搜索点云分别采用三维稀疏卷积网络提取体素中点云的几何特征，生成模板点云的三维体素特征搜索点云的三维体素特征式中，w、l、h、c表示对应张量的维度；
20.步骤2.2.3：针对三维体素特征分别进行高度通道与特征通道的合并，以
输出更为稠密的bev(鸟瞰图)特征其中c
′
＝h
×
c；
21.步骤3：结合自注意力和交叉注意力实现多模态特征的交互与增强；包括：
22.步骤3.1：通过自注意力机制构建模态内的长距离依赖关系，学习不同特征的重要程度并对特征进行加权；
23.步骤3.2：通过交叉注意力构建不同模态的语义联系，实现不同模态的信息能够强化同一语义对象的特征，从而生成更为鲁棒的多模态语义特征；
24.步骤4：基于注意力机制的跨模态建模能力融合图像像素与点云数据的相似度；包括：
25.步骤4.1：对搜索点云和模板点云的语义增强特征采用逐像素的余弦相似度计算函数，生成几何相似度s
geo
∈rw×
l
×d，式中，w
×
l
×
d表示张量s
geo
的维度；
26.步骤4.2：对搜索伪点云和模板板伪点云的语义增强特征采用逐点的余弦相似度计算函数，生成纹理相似度s
tex
∈rn×d，式中，n
×
d表示张量s
tex
的维度；
27.步骤4.3：借助交叉注意力机制融合几何相似度和纹理相似度，生成更为鲁棒的多模态相似度特征s
′
fus
；
28.步骤5：依据多模态相似度特征s
′
fus
，采用多层卷积结构预测目标空间位置与朝向；包括：
29.步骤5.1：通过多层卷积结构提取多模态相似度特征中所隐含的目标线索，生成特征图；
30.步骤5.2：预测特征图中每个位置存在目标的置信度以及对应的空间属性，其中置信度最高的位置即为目标的待定位置，空间属性为目标位置偏差量和朝向，用于修正待定位置；
31.步骤5.3：将修正之后的待定位置作为跟踪目标的预测结果。
32.本发明的有益效果是：
33.1)本发明能够充分利用各传感器的特性实现优势互补，提升跟踪器对远距离目标跟踪或遮挡情况适应能力，并能够较好地区分结构相似的物体；
34.2)与现有的多模态跟踪器相比，本发明提出的跟踪方法在成功率与准确率方面均取得最佳的性能；
35.3)本方法能够部署于移动机器人平台或自动驾驶车辆中，并具备实时运行能力，具体以nvidia 2080ti gpu为例，本方法能够实现12fps的处理速度。
附图说明
36.图1为本发明中基于多模态信息融合的三维单目标跟踪方法原理图；
37.图2为本发明中多模态双流特征提取网络结构图；
38.图3为本发明中多模态特征交互与增强网络结构图；
39.图4为本发明中多模态相似度融合结构图。
具体实施方式
40.下面结合附图和具体实施实例对发明做进一步说明。
41.本发明主要聚焦于环境感知中一项极为重要任务——三维目标跟踪，其任务的核
心内容在于：根据目标的初始状态以及前后两帧数据(图像、点云)，估计目标后续的运动状态。由于感知系统的实际应用中常需要长时间定位特定目标，因此三维目标跟踪具有极为广泛的应用价值，其应用领域包括：(1)自动驾驶，利用激光雷达与相机对车辆周围环境中的行人、车辆等目标展开自动监测与跟踪，确保与车辆、行人以及各类物体间保持安全距离，有效避免突发情况所造成的潜在碰撞风险；(2)智能监控，智能分析监控场景并持续跟踪可疑目标，对嫌疑人的异常活动进行预警，从而有效预防危险情况发生；(3)军事制导，通过计算设备对具有战略价值的目标进行智能识别，实现精准定位、持续跟踪并有效打击。
42.本发明的设计原理图如图1所示，首先对多模态数据进行空间对齐，即通过相机内外参将包含纹理信息的像素投影至三维空间，生成与真实点云处于同一物理空间的伪点云，随后通过初始帧中的目标真值框获取先验信息(三维位置以及尺寸)，并从点云和伪点云中截取目标模板区域，以及可能存在目标的搜索区域。其次，采用双流网络分别提取两类模态特征，其中伪点云分支用于快速编码纹理信息，而点云分支则能够提取点云几何特征，并生成稠密的bev表征形式。随后，通过注意力交互与增强模块对模态内的重要特征进行加权，并构建不同模态重要特征的语义关联，从而获得更为鲁棒的多模态特征。此外，本发明进一步利用增强后的特征，进行模态内的相似度计算，以生成纹理相似度和几何相似度，再通过注意力机制自适应融合两类相似度。最后，本发明借助多模态相似度特征预测目标的位置以及朝向。
43.一种基于多模态信息融合的三维单目标跟踪方法，首先实现原始图像和激光点云的空间对齐；其次基于深度学习方法构建双流特征提取网络，并行提取图像与点云的高维语义特征；随后通过自注意力机制加权模态内的重要信息，并利用交叉注意力机制构建不同模态间的语义联系；然后基于语义增强特征计算纹理和几何相似度，并利用注意力机制生成多模态相似度特征；最后采用多层卷积结构预测目标空间位置与朝向；具体实现过程如下：
44.图像和点云数据空间对齐：由于图像和点云位于不同传感器坐标系下，直接采用神经网络构建不同数据的对应关系是简单、粗暴的，容易导致不同语义信息的融合混乱，因此本发明采用将图像像素映射至点云空间的方式，保证多模态数据的空间对齐。
45.步骤1：对不同传感器采集到的图像和点云数据进行空间对齐；包括：
46.步骤1.1：依据相机内外参将点云投影至图像平面；
47.步骤1.2：将点云深度赋予至对应像素；
48.步骤1.3：将像素反投影至三维空间，从而生成具备图像纹理信息且与原始点云坐标系对齐的伪点云；
49.假设激光雷达获得空间点p的三维坐标为x＝(x,y,z)，激光与相机坐标系之间的旋转矩阵为r、平移矩阵为t，相机内参矩阵为k，则能够依据以下点云-图像投影公式获得像素平面中与空间点p唯一对应的像素y＝(u,v)，其中(u,v)为像素坐标。
[0050][0051]
其中(f
x
,fy)为焦距，(c
x
,cy)为成像原点。其次，将点云深度z赋予至对应的图像像素(u,v)，随后再根据上述的点云-图像投影公式将像素反投影至点云坐标系下，以获得带
有图像纹理信息的伪点云。
[0052]
图像与点云双流特征提取：获得与点云处于同一空间坐标系下的图像伪点云，即(模板伪点云)与(搜索伪点云)，随后将真实点云(模板点云)、(搜索点云)以及伪点云同时输入双流特征提取网络，分别提取不同模态特征。
[0053]
步骤2：基于深度学习方法构建双流特征提取网络，实现不同网络分支并行提取伪点云与点云的高维语义特征；包括：
[0054]
步骤2.1：提取伪点云的纹理特征；包括：
[0055]
步骤2.1.1：针对步骤1获取的伪点云，对模板伪点云和搜索伪点云均应用最远点采样算法进行点云降采样，分别获得q个点作为关键点；
[0056]
步骤2.1.2：针对步骤2.1.1中获取的模板伪点云和搜索伪点云，以q个关键点为中心，对半径r内的点进行knn(k最邻近法)聚类，再使用mlp(多层感知机)网络将聚类后的点特征聚合至关键点中；
[0057]
步骤2.1.3：重复应用最远点采样、knn聚类、mlp网络，使关键点数量降低到n，输出包含n个点的模板点集及搜索点集其中每个si由一个三维坐标向量ci和一个表征物体局部纹理信息的c维描述子fi组成，即si＝(ci,fi)；
[0058]
步骤2.2：提取真实点云的几何特征，包括：
[0059]
步骤2.2.1：针对真实点云，将模板点云和搜索点云进行体素化处理，将其转化为稠密的体素表示；
[0060]
步骤2.2.2：针对模板点云和搜索点云分别采用三维稀疏卷积网络提取体素中点云的几何特征，生成模板点云的三维体素特征搜索点云的三维体素特征式中，w
×
l
×h×
c表示张量维度。
[0061]
步骤2.2.3：针对三维体素特征分别进行高度通道与特征通道进的合并，以输出更为稠密的bev(鸟瞰图)特征其中c
′
＝h
×
c；
[0062]
如图2所示，其中在伪点云分支中，首先将伪点云模板和搜索点云应用最远点采样算法，随后采样结果聚类得到q个聚类中心作为点云关键点，对半径r内的点进行knn(k最邻近法)聚类，再使用mlp(多层感知机)网络将聚类后的点特征聚合至关键点中。通过对以上过程进行多次循环往复后，
[0063]
[0064][0065]
伪点云分支最终输出包含n个点的模板点集及搜索点集其中每个si由一个三维坐标向量ci和一个表征物体局部纹理信息的c维描述子fi组成si＝(ci,fi)，为简化公式表述，后续用和代替和和为伪点云模板区域的特征，为伪点云搜索区域的特征。该分支的特征提取方法能够快速聚合伪点云的纹理特征，并且最后仅依靠少量点的表征背景与前景的局部纹理特征，有效降低后续网络的计算开销。
[0066]
不同于伪点云分支，真实点云分支首先对模板和搜索点云进行体素化处理，将稀疏点云转化为稠密的体素，再采用三维稀疏卷积提取体素中点云的几何特征，并生成模板三维体素特征和搜索三维体素特征随后将的高度通道与特征通道进行合并，以输出更为稠密的模板bev特征和搜索bev特征其中c
′
＝h
×
c，该方式有利于缓解点云稀疏性所带来的影响。
[0067]
多模态特征交互与增强：获得伪点云模板特征伪点云搜索特征以及真实点云的模板特征真实点云搜索特征各自的注意力增强特征。
[0068]
首先采用自注意力机制对点云和伪点云特征进行权重分配，此过程中特征大小不发生变化。设f为输入特征，经过自注意力机制处理之后输出注意力增强特征随后将进一步通过交叉注意力机制构建不同模态的语义关联，输出多模态语义增强特征以下将首先介绍注意力机制基本原理：
[0069]
注意力机制分为三个部分：输入特征编码、位置编码、相似度计算与特征加权，其主要思想是依据特征相似度自适应生成特征权重，使得特征中重要和非重要部分的差异更加显著，注意力机制的通用公式如下所示：
[0070]
q,k,v＝α(f+p),β(f+p),γ(f)
[0071][0072]
其中，f为注意力机制的输入特征，α,β,γ表示权重不共享的线性化层或多层感知机，p用于表征位置编码特征，q,k,v则分别代表注意力机制中的query、key以及value矩阵。随后通过qk
t
计算q,k之间的特征相似度，并除以缩放因子再经过softmax进行归一化
处理，最后与v做hadamard积生成注意力增强特征
[0073]
以下将结合图3介绍自注意力和交叉注意力的详细过程：
[0074]
在自注意力增强阶段，其原理如下公式所示：
[0075][0076]fr
是真实点云的输入特征，qr,kr,vr均由输入特征fr经线性变化获得，multiheadattn表示对多个注意力头所计算的结果进行拼接，layernorm则表示对特征采用层归一化操作，代表输出的增强特征。
[0077]
将搜索点云特征作为自注意力机制的输入，获得重加权后的搜索点云特征；将模板点云特征作为自注意力机制的输入，获得重加权后的模板点云特征；
[0078]
对伪点云特征则依据如下公式实现特征增强：
[0079][0080]fp
是伪点云的输入特征，q
p
,k
p
,v
p
均由输入特征f
p
经线性变化获得，multiheadattn表示对多个注意力头所计算的结果进行拼接，layernorm则表示对特征采用层归一化操作，代表输出的增强特征。
[0081]
将搜索伪点云特征作为自注意力机制的输入，获得重加权后的搜索伪点云特征；将模板伪点云特征作为自注意力机制的输入，获得重加权后的模板伪点云特征。
[0082]
在交叉注意力增强阶段，依据如下公式对上一阶段的输出特征进行跨模态特征增强：
[0083][0084][0085]
其中，由自注意力增强特征经线性变化获得，由自注意力增强特征经线性变化获得，代表经过交叉注意力机制处理的最终增强真实点云特征，代表经过交叉注意力机制处理的最终增强伪点云特征。不同于自注意力机制，交叉注意力机制将本分支增强特征所生成的作为query，而将另一分支增强特征所生成的作为key、value，随后通过注意力机制计算不同模态的特征相似度，并增强具有相似语义信息的特征权重，从而构建不同模态的语义关联，并最终生成语义增强特征
[0086]
将重加权的搜索伪点云和搜索点云特征作为交叉注意力的输入特征，得到最终语义增强的搜索伪点云和真实点云特征；将重加权的模板伪点云和模板点云特征作为交叉意力的输入特征，得到最终语义增强的模板伪点云和真实点云特征。
[0087]
步骤3：结合自注意力和交叉注意力实现多模态特征的交互与增强；包括：
[0088]
步骤3.1：通过自注意力机制构建模态内的长距离依赖关系，学习不同特征的重要程度并对特征进行加权；
[0089]
步骤3.2：通过交叉注意力构建不同模态的语义联系，实现不同模态的信息能够强化同一语义对象的特征，从而生成更为鲁棒的多模态语义特征；
[0090]
多模态相似度融合：借助点云和伪点云的语义增强特征生成几何相似度s
geo
∈rw
×
l
×d和纹理相似度s
tex
∈rn×d，其中w,l表示特征图大小，n表示伪点云的关键点数量，d表示特征维度数，而相似度计算公式如下，
[0091][0092]
式中，correlation为余弦相似度函数，代表搜索区域最终增强特征，代表模板区域最终增强特征；
[0093]
分别生成各模态(真实点云和伪点云)相似度后，采用如图4所示的方法融合几何相似度和纹理相似度，具体流程介绍如下：为保证不同相似度表征形式的统一，本发明首先将伪点云分支中稀疏的纹理相似度转换为稠密的bev相似度特征，即对纹理相似度特征进行体素化，并聚合每个体素的相似度特征，最后生成稠密的bev相似度s
′
tex
∈rw×
l
×d。随后本发明进一步通过交叉注意力对纹理相似度s
′
tex
和几何相似度s
geo
进行融合，以生成更为鲁棒的多模态相似度特征s
fus
，相似度融合的数学表达式如下所示：
[0094]qgeo
＝s
geo
wq,k
tex
＝s
′
tex
wk,v
tex
＝s
′
tex
wv[0095][0096]s′
fus
＝mlp(s
fus
)+s
fus
[0097]
其中mlp表示多层感知机，q
geo
,k
tex
,v
tex
表征由几何相似度生成的query，以及纹理相似度生成的key和value。由于该步骤能够将目标的几何和纹理线索编码至多模态相似度特征s
′
fus
中，因此有利于提升跟踪器鲁棒性，克服复杂环境中的失效问题。
[0098]
步骤4：基于注意力机制的跨模态建模能力融合图像的纹理相似度与点云的几何相似度；包括：
[0099]
步骤4.1：对搜索点云和模板点云的语义增强特征采用逐像素的余弦相似度计算函数，生成几何相似度s
geo
∈rw×
l
×d，式中，w
×
l
×
d表示张量s
geo
的维度；
[0100]
步骤4.2：对搜索伪点云和模板伪点云的语义增强特征采用逐点的余弦相似度计算函数，纹理相似度s
tex
∈rn×d，式中，n
×
d表示张量s
tex
的维度；
[0101]
步骤4.3：借助交叉注意力机制融合几何相似度和纹理相似度，生成更为鲁棒的多模态相似度特征s
′
fus
；
[0102]
目标位置预测：经步骤4获得融合相似度特征后，对相似度特征s
′
fus
采用卷积神经网络分支分别分类目标位置，并回归目标相对偏移位置和朝向。
[0103]
分类分支：将s
′
fus
中每个特征中心作为关键点分类分支需要预测每个关键点的分数并输出热力图而热力图中分类分数最高的关键点表示此处最有可能存在目标。为构建损失函数的约束关系，本发明通过高斯核生成热力图真值y∈[0,1]w×h×1，所采用的高斯核公式如下：
[0104][0105]
其中δ
p
为目标大小的自适应标准差，随后采用focal loss作为损失函数优化网络参数，损失函数如以下公式所示：
[0106][0107]
其中α,β为focal loss的超参数，n为相似度特征s
′
fus
中关键点数量，lh代表focal loss损失函数的值；
[0108]
回归分支主要预测目标三维属性其包括位置偏差高度以及朝向其中位置偏差用于修正关键点位置，以获得更为准确的目标定位结果。随后，本发明采用l1损失函数计算目标三维属性的损失值：
[0109][0110][0111]
其中，l
offset
代表位置偏差损失函数的值，lz代表高度损失函数的值，l
θ
代表朝向损失函数的值，{x
offset
、y
offset
}代表用于训练该模型的样本目标的位置，z代表用于训练该模型的样本目标的高度，θ代表用于训练该模型的样本目标的朝向。
[0112]
最后通过加权求和获得最终的损失值l，
[0113]
l＝λhlh+λ
offset
l
offset
+λzlz+λ
θ
l
θ
[0114]
其中，l为总的损失函数，λh为focal loss损失函数的系数，λ
offset
为偏差损失函数的系数，λz为高度损失函数的系数，λ
θ
为朝向损失函数的系数。
[0115]
步骤5：依据多模态相似度特征s
′
fus
，采用多层卷积结构预测目标空间位置与朝向；包括：
[0116]
步骤5.1：通过多层卷积结构提取多模态相似度特征中所隐含的目标线索，生成特征图；
[0117]
步骤5.2：预测特征图中每个位置存在目标的置信度以及对应的空间属性，其中置信度最高的位置即为目标的待定位置，空间属性为目标位置偏差量和朝向，用于修正待定位置；
[0118]
步骤5.3：将修正之后的待定位置作为跟踪目标的预测结果。
[0119]
本发明提出了一种基于多模态信息融合的三维单目标跟踪方法，解决了单模态跟踪器易于混淆几何结构相似物体的问题，从而获得更为鲁棒的跟踪结果；主要改进技术关键点有以下四方面：
[0120]
(1)多模态数据空间对齐，借助点云深度和相机内外参，将像素映射至点云所处的空间坐标系中，生成具备纹理特征的伪点云，有利于减小后续网络中融合多模态特征的难度，同时提高图像特征利用率。
[0121]
(2)多模态双流特征提取网络，通过不同的主干网络高效提取多模态特征，其中点云分支生成稠密的bev几何特征，有利于缓解点云稀疏性造成的影响，而伪点云分支能够依靠少量的点来表征目标与背景的局部纹理信息，有利于降低后续网络的计算开销。
[0122]
(3)多模态信息交互与增强机制，首先借助自注意力机制自适应增强模态内的重要特征，其次通过交叉注意力机制构建多模态的语义关联，从而强化同一语义对象的特征。
[0123]
(4)多模态相似度的融合，通过注意力机制实现几何和纹理相似度的自适应融合，生成编码目标几何和纹理特征相似度特征，并用于最终的目标回归，以提升跟踪器在点云稀疏或存在干扰(大量结构相似物体)等复杂场景中的鲁棒性。