雷达视频数据的融合方法及相关设备与流程

1.本技术涉及数据处理领域，特别是涉及一种雷达视频数据的融合方法、电子设备及计算机可读存储介质。


背景技术：

2.在很多电子化应用领域，都涉及到对数据的融合处理。例如在视频监控领域，存在多维感知，即除了对场景的视频采集进行图像感知，还需要对目标进行测距、测速等雷达数据的感知。继而会涉及到多维数据的融合。
3.不同数据采集的频率不同，因而在进行融合时会出现时间不同步的问题。


技术实现要素：

4.本技术提供一种雷达视频数据的融合方法、电子设备及计算机可读存储介质，可以解决现有技术中雷达帧和视频帧时差较大，融合后的数据处理难度大的问题。
5.为达到上述目的，本技术提供一种雷达视频数据的融合方法，该方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对所述当前视频帧和所述匹配雷达帧进行融合。
6.其中，所述确定与当前视频帧的时间最接近的雷达帧，包括：确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，所述时间阈值为最大雷达帧间隔的一半。
7.其中，所述进行视频数据采集和雷达数据采集，获取视频帧和雷达帧，包括：进行视频数据采集和雷达数据采集，获取视频帧和视频帧时间戳，以及雷达帧和雷达帧时间戳；所述确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，包括：获取所述当前视频帧的视频帧时间，所述视频帧时间为视频帧时间戳减采集时间延迟；获取与所述当前视频帧的时间最接近的雷达帧的雷达帧时间，所述雷达帧时间为雷达帧时间戳减帧率波动时间偏差；计算所述视频帧时间和所述雷达帧时间的差值；若所述差值小于等于时间阈值，则确定与所述当前视频帧的时间最接近雷达帧为匹配雷达帧。
8.其中，若差值大于时间阈值；则先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；其中，所述视频帧时间为视频帧时间戳减采集时间延迟，并减处理时间。
9.其中，所述先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：对所述视频帧进行编码处理；判断编码处理时间与时间阈值的关系；若编码处理时间大于或等于时间阈值，则执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间。
10.其中，所述若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务
处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：若编码处理时间小于时间阈值，且与时间阈值的差值小于或等于预设差值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，且与时间阈值的差值大于预设差值，则调整雷达帧率。
11.其中，所述融合方法还包括：在所述确定与当前视频帧的时间最接近的雷达帧的步骤同时，对雷达帧进行雷达算法分析，得到雷达计算帧；对所述当前视频帧进行处理，得到视频处理帧；所述对所述当前视频帧和所述匹配雷达帧进行融合，包括：对所述雷达计算帧和所述视频处理帧进行融合。
12.其中，所述确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧，包括：确定与当前视频帧的时间最接近的雷达帧，并获取所确定的雷达帧的雷达帧号；所述对所述雷达计算帧和所述视频处理帧进行融合，包括：根据所述雷达帧号寻找所述雷达计算帧；将找到的所述雷达计算帧和所述视频处理帧进行融合。
13.为达到上述目的，本技术还提供一种电子设备，该电子设备包括处理器；处理器用于执行指令以实现上述方法。
14.为达到上述目的，本技术还提供一种计算机可读存储介质，其用于存储指令/程序数据，指令/程序数据能够被执行以实现上述方法。
15.本技术用于对雷达数据和视频数据进行融合，首先进行雷达数据和视频数据的采集，获得雷达帧和视频帧；再确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对当前视频帧和匹配雷达帧进行融合；即基于视频帧寻找雷达帧，然后再将找到的雷达帧融合到视频帧中，所寻找的雷达帧与视频帧的时间最接近，因而能够提高所融合的雷达数据和视频数据的时间同步性。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1是本技术雷达视频数据的融合方法第一实施例的流程示意图；
18.图2是本技术雷达视频数据的融合方法第二实施例的流程示意图；
19.图3是雷达数据的采样时刻及生成时刻的示意图；
20.图4是雷达帧和视频帧同步匹配的示意图；
21.图5是图2所示融合方法第二实施例应用到硬件设备中的第一功能流程图；
22.图6是图2所示融合方法第二实施例应用到硬件设备中的第二功能流程图；
23.图7是本技术电子设备一实施方式的结构示意图；
24.图8是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。另外，除非另外指明(例如，“或另外”或“或在替代方案
中”)，否则如本文所使用的术语“或”指代非排他性的“或”(即，“和/或”)。并且，本文所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
26.请参阅图1，图1是本技术雷达视频数据的融合方法第一实施例的流程示意图，本实施例融合方法包括以下步骤。
27.s11：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧。
28.本实施例是为了实现视频数据和雷达数据的融合，融合步骤是在获取视频数据和雷达数据的过程中进行的，即对每次获取到的视频帧和雷达帧进行融合。
29.本步骤中视频数据具体可通过图像传感器来进行采集，雷达数据则可利用雷达传感器来采集、在进行数据采集时，图像传感器和雷达传感器分别有各自的采集帧率，可以是相同，也可以不同。
30.由于视频帧和雷达帧的采集帧率可能不同，数据延迟可能不同，因而在融合时两者的时间并不是一一对应的，简单的将最新的视频帧和雷达帧进行融合，会造成时间不同步的问题。因此本实施例在以下步骤s12中基于视频帧来寻找与其匹配的雷达帧。
31.s12：确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧。
32.在本步骤s12中，以视频帧为基准，每采集到的一个视频帧，即确定与该当前视频帧匹配的雷达帧，具体是找到与当前视频帧的时间最接近的雷达帧，将其作为匹配雷达帧。
33.本步骤s12中具体是找到之前采集的雷达帧或未来采集的雷达帧中时间最接近的雷达帧，对应未来采集的雷达帧，由于未来采集的雷达帧还未到来，则需要等一段时候在进行本步骤s12中的确认。
34.s13：对当前视频帧和匹配雷达帧进行融合。
35.在确认匹配雷达帧后，将当前视频帧和匹配雷达帧进行融合，
36.本实施例中以视频帧为基准，找到与之时间最接近的雷达帧作为匹配雷达帧，能够提高所融合的雷达数据和视频数据的时间同步性。
37.请参阅图2，图2是本技术雷达视频数据的融合方法第二实施例的流程示意图，本实施例融合方法包括以下步骤。
38.s21：进行视频数据采集和雷达数据采集，获取视频帧和视频帧时间戳，以及雷达帧和雷达帧时间戳。
39.本第二实施例融合方法是基于第一实施例的进一步改进，由于本实施例中需要找到与视频帧的时间最接近的雷达帧，在此寻找过程中涉及到时间的比较。因而在本步骤s21中，获取视频帧和雷达帧的同时，还获取视频帧时间戳和雷达帧时间戳。视频帧时间戳和雷达帧时间戳均为采集时间。
40.但对于雷达传感器和图像传感器来说，首先二者采集同一画面的时刻存在时间差；其次二者本身的工作特性差异也较大，即从采集到生成数据的延迟不同，视频帧和雷达帧的数据产生时间会存在系统延迟误差。图像传感器产生的视频帧率是标准的，p制25帧，n制30帧，帧率相对稳定；雷达传感器产生的点云数据帧率比较灵活，一般10～20帧选取，帧率不太稳定，会受环境影响。
41.因而在对视频帧和雷达帧进行时间比较时，还需计算二者的时间，具体在步骤s22
和步骤s23中进行计算。
42.s22：获取当前视频帧的视频帧时间，视频帧时间为视频帧时间戳减采集时间延迟。
43.获取视频帧时间为视频帧的数据产生时间，图像传感器从采样时间到产生raw数据时间之间的延迟特性，可通过对应图像传感器的厂家手册获知，若未提供，也可以从其性能测试中获知。
44.因而视频帧时间可以由视频帧时间戳(t
vi
，i为第i帧序号)和采集时间延迟(δtv)计算得到，具体为(t
vi-δtv)。
45.s23：获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，雷达帧时间为雷达时间戳减帧率波动时间偏差。
46.在本步骤s23中，首先要确定与当前视频帧的时间最接近的雷达帧，具体可从过去采集到的雷达帧中寻找，即将所采集的雷达帧中最新的雷达帧作为时间最接近的雷达帧。
47.雷达帧时间也是雷达帧的数据产生时间，影响雷达帧时间的因素包括采样时间到产生雷达点云数据时间之间的延迟，以及雷达帧率波动性。延迟(记δtr)通常较小，相较于视频帧的延迟可以忽略。帧率波动，即帧间隔偏离其设定工作频率的时间偏差(记δtr')，通常来说，采集画面中移动目标越多，则时间偏差越大，其中最大值(max(δtr'))会影响产品性能指标。
48.雷达帧的采集和产生数据时刻可结合图3理解，图3是雷达数据的采样时刻及生成时刻的示意图。其中，第n+1帧、第n+3帧和第n+4帧都是出现时间偏差了的雷达帧。
49.雷达帧时间可以由雷达帧时间戳(t
rj
，j为第j帧序号)和帧率波动时间偏差δtr'计算得到，具体为(t
vj-δtr')。
50.在步骤s22和步骤s23中在进行时间计算时，考虑到了系统延迟及波动的问题，可以使计算判断的结果更加准确。
51.s24：计算视频帧时间和雷达帧时间的差值。
52.本步骤s24中计算出视频帧时间和雷达帧时间的差值，具体为(t
vi-δtv)-(t
vj-δtr')。
53.若仅仅确定时间最接近的雷达帧为匹配雷达帧，还是会出现雷达帧和视频帧的间隔过大的问题。因而在确定匹配雷达帧的过程中，再增加一个判断条件，即进一步判断时间最近的雷达帧与当前视频帧的差值是否小于等于时间阈值，若小于等于时间阈值，则进行步骤s25，将其作为匹配雷达帧，若大于时间阈值，则进行步骤s26。
54.其中，时间阈值t0＝(1/fr+max(δtr'))/2，判断条件为(t
vi-δtv)-(t
vj-δtr')≤t0。
55.s25：将差值小于等于时间阈值的雷达帧作为匹配雷达帧，并获取匹配雷达帧的帧号。
56.在确定匹配雷达帧后，还可获取该匹配雷达帧的帧号，继而在后续融合步骤中可以方便的找到雷达帧的相关数据。
57.s26：对当前视频帧进行处理，得到视频处理帧。
58.若当前的时间最近的雷达帧与当前视频帧的差值大于时间阈值，由于当前的时间最近的雷达帧是过去采集到的雷达帧中所确定的，因此存在未来的雷达帧更近的情况，因
此在本步骤s26中暂时不确定匹配雷达帧，而是先执行后续对当前视频帧进行处理的步骤，同时等待未来雷达帧的到来。
59.该过程相当于在步骤s26之前，对雷达帧的第一次匹配不成功，在步骤s26之后再进行第二次匹配。此时视频帧时间为视频帧时间戳减采集时间延迟，并减处理时间，视频帧时间为(t
vi-δt
v-δti)。
60.在执行步骤s26后，再回到步骤s23，并执行步骤s24，s25，重新寻找时间最近，且差值小于等于时间阈值的雷达帧作为匹配雷达帧。即在视频帧处理完成后，新的最近的雷达帧采集到了。
61.具体可结合图4理解，图4是雷达帧和视频帧同步匹配的示意图。图4中视频帧的第m+1帧、第m+3帧、第m+5帧和第m+7帧均是在步骤s26之后才匹配到雷达帧的。
62.在本步骤s26中，当前视频帧的处理有多个步骤，主要包括编码处理和业务处理，编码处理为raw视频帧经过isp图像处理编码为yuv。业务处理则对应不同的业务，可以是视频缩放、裁剪、叠加ods、遮挡判断等。
63.本步骤s26更具体还可以包括以下步骤，具体在编码处理后进行第二次匹配判断。
64.s261：对当前视频帧进行编码处理。
65.s262：判断编码处理时间与时间阈值的关系
66.若编码处理时间δti大于或等于时间阈值t0，则认为第二次匹配一定成功，即一定会出现新的雷达帧，因而回到步骤s23，并执行步骤s24，s25。
67.若编码处理时间小于时间阈值，则执行步骤s263，即再继续对但是视频帧进行业务处理，即再耗时等一下新的雷达帧。具体的在此步骤中，若编码处理时间小于时间阈值，且与时间阈值的差值小于或等于预设差值，即不用等太久，则执行步骤s263。
68.若编码处理时间小于时间阈值，且与时间阈值的差值大于预设差值，即认为需要等很久，即表示此时雷达帧率与视频帧率极度不匹配，则调整雷达帧率。并回到步骤s23。
69.s263：对当前视频帧进行业务处理。
70.视频帧时间为视频帧时间戳减采集时间延迟，编码处理时间及业务处理时间，再回到步骤s23，并执行步骤s24，s25。
71.本步骤s26通过两次匹配，保证了从过去雷达帧以及未来雷达帧中寻找最接近的雷达帧。可避免雷达帧的帧间隔过大导致匹配容易失败的问题。
72.基于本步骤s26的原理，本实施例也可以只做一次匹配，即在对当前视频帧进行处理后再进行雷达帧的匹配。相较于两次匹配，则需要多缓存两帧，一个是随后到来的新的一帧，另一个是用于异常预留。且相较于两次匹配，则需要延迟原始数据的释放。
73.s27：对雷达帧进行雷达算法分析，得到雷达计算帧。
74.在对雷达帧和视频帧融合的过程中，还需要对雷达帧进行雷达算法分析，而算法分析的耗时比较长，因而若放到融合算法中在进行分析，则会造成融合耗时过程，导致帧率异常。
75.因此，对雷达帧的雷达算法分析，可以在寻找匹配雷达帧的同时进行。即将雷达算法前置，在前面的步骤中，仅仅只关联雷达帧的帧号，在匹配的同时并行进行雷达算法分析。利用视频帧的编码处理、业务处理等抵消雷达算法的耗时。最后在融合过程中，即可根据帧号找到雷达计算帧，从而实现数据融合。
76.s28：对雷达计算帧和视频处理帧进行融合。
77.本步骤中即根据雷达帧号寻找雷达计算帧，将其与视频处理帧进行融合。
78.本实施例相较于第一实施例，进一步解决了三个方面的问题：一是步骤s22、s23的相关内容解决了系统性延迟问题，二是步骤s26的相关内容解决了两帧间隔过大匹配失败的问题，三是步骤s27的相关内容解决了雷达算法耗时的问题。
79.在本实施例中，还可定时同步雷达外设和相机的系统时间，使两者时间误差维持在相对稳定的可忽略的较小值。
80.上述融合方法应用到硬件中的具体流程可参阅图5和图6，图5是图2所示融合方法第二实施例应用到硬件设备中的第一功能流程图；图6是图2所示融合方法第二实施例应用到硬件设备中的第二功能流程图。图5中进行了两次匹配，即两次帧同步；图6中进行了一次匹配，即一次帧同步；对应于在步骤s26中提到的两次匹配和一次匹配。
81.图5和图6中具体过程如下：
82.雷达传感器采集雷达数据，在产生原始点云数据(雷达帧)时打上系统时间戳(雷达帧时间戳)，再发送到摄像机内部系统。
83.摄像机内部系统将收到的雷达点云数据放入原始数据缓存。
84.摄像机内部系统在通过图像传感器，获取到原始raw数据(视频帧)时打上系统时间戳(视频帧时间戳)，减去图像传感器系统延迟后，再在原始数据缓存中寻找与当前视频帧时间差小于或等于雷达最大帧间隔一半的雷达帧，关联其帧号，关联后可删除缓存。
85.在当前视频帧经过isp图像处理编码为yuv后，重新打上原raw数据系统时间，并关联原匹配的帧序号，对应没有帧序号(即第一次匹配失败)，再做一次匹配，关联后可删除缓存。
86.雷达算法在原始数据缓存中取雷达帧进行处理，并将处理结果放入结果缓存，可删除原始数据缓存中的数据。(原始数据缓存中的雷达帧可在已算法处理和匹配关联后被删除)
87.在融合后的帧率调节之前，根据yuv关联的雷达帧号在结果缓存中找到对应的处理结果，并将其绑定为yuv的随帧数据。
88.在帧率调节后，将融合结果送到后续智能算法处理。
89.综上，本实施例能够确定雷达帧和视频帧的时差范围，并保证其稳定性，从而使得后续的视频空间和雷达空间标定、融合算法分析更准确和简单。将雷达算法前置，与后续智能算法错开，使得算力得到平衡，避免集中的大量数据计算，降低后续算法架构设计难度。
90.请参阅图7，图7是本技术电子设备20一实施方式的结构示意图。本技术电子设备20包括处理器22，处理器22用于执行指令以实现本技术上述任一实施方式的方法及任意不冲突的组合所提供的方法。
91.电子设备20可为摄像装置或服务器等设备，在此不做限定。
92.处理器22还可以称为cpu(central processing unit，中央处理单元)。处理器22可能是一种集成电路芯片，具有信号的处理能力。处理器22还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器，或者该处理器22也可以是任何常规的处理器等。
93.电子设备20还可进一步包括存储器21，用于存储处理器22运行所需的指令和数据。
94.请参阅图8，图8为本技术实施方式中计算机可读存储介质的结构示意图。本技术实施例的计算机可读存储介质30存储有指令/程序数据31，该指令/程序数据31被执行时实现本技术上述方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据31可以形成程序文件以软件产品的形式存储在上述存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等设备。
95.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
96.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
97.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
98.以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。