一种基于AR技术的车载实景导航系统的制作方法

一种基于ar技术的车载实景导航系统
技术领域
1.本发明属于汽车智能网联技术领域，具体涉及一种基于ar技术的车载实景导航系统。


背景技术：

2.传统导航主要以2d平面地图展示，用户视觉效果不够直观，在路径不熟或指示不明的情况下容易错过路口。为了让用户更好地理解前方的真实路况，实景导航系统可将道路实景画面与导航信息融合，让用户在更短时间理解导航引导意图并做出行车操控，给用户带来更便捷的交互体验。


技术实现要素：

3.本发明的目的就在于提供一种基于ar技术的车载实景导航系统，以解决精准的沉浸式导航，方便用户更直观理解实景道路导航信息的问题。
4.本发明的目的是通过以下技术方案实现的：
5.一种基于ar技术的车载实景导航系统，包括图像信息采集模块、ar引擎处理模块和图像渲染模块；
6.所述图像信息采集模块用于采集实时视频流，并通过lvds传输到ar引擎处理模块；所述ar引擎处理模块包括导航引擎sdk单元、adas sdk单元和地图基础数据单元，能够根据摄像头输入的实时视频流提取图像帧、图像识别数据以及地图基础数据进行数据融合，计算出实际描绘的图像数据信息，并发送至图像渲染模块；所述图像渲染模块接收数据信息后，能够进行ar图面渲染叠加展示，空间坐标系转换，并根据车速实现动画效果。
7.进一步地，所述图像信息采集模块通过实景导航摄像头进行实时视频流采集。
8.更进一步地，所述实景导航摄像头的分辨率为100万像素，安装水平视角为52(+/-5)，垂直视角为38(+/-5)。
9.进一步地，所述导航引擎sdk单元根据摄像头输入的实时视频流提取图像帧，并传递给adas sdk单元处理；同时依据图像识别数据以及地图基础数据进行数据融合，计算出实际描绘的图像数据信息。
10.更进一步地，所述adas sdk单元结合图像帧序列，采用opencv工具技术进行图像识别，并将识别到的前车信息、车道线等数据反馈给导航引擎sdk单元。
11.进一步地，所述地图基础数据单元将gps实时位置信息、导航tbt路线信息、地图基础数据信息等基本信息传递给导航引擎sdk单元。
12.进一步地，所述图像渲染模块能够将ar引擎处理模块融合后的数据信息进行2d/3d空间坐标系转换。
13.进一步地，所述图像渲染模块包括opengl标定单元，能够结合融合数据、车速、坐标位置，将导航tbt信息或poi位置进行实时渲染，并叠加到导航实景画面上，实现ar导航效果。
14.与现有技术相比，本发明的有益效果是：
15.本发明基于ar技术的车载实景导航系统，依托底层地图数据及导航引擎框架，结合图像处理、数据训练、ar增强现实技术(augmented reality)等技术，将gps、摄像头等多传感器数据融合，在真实道路上增强视觉效果，实现精准的沉浸式导航，方便用户更直观理解实景道路导航信息。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
17.图1本发明基于ar技术的车载实景导航系统功能框图。
具体实施方式
18.下面结合实施例对本发明作进一步说明：
19.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
20.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
21.如图1所示，本发明基于ar技术的车载实景导航系统，包括图像信息采集模块、ar引擎处理模块和图像渲染模块。
22.所述图像信息采集模块主要提供视频流画面，通过实景导航摄像头(分辨率100万像素、安装水平视角52
(+/-5)
、垂直视角38
(+/-5)
)进行实时视频流采集，并通过lvds传输到ar引擎处理模块。
23.所述ar引擎处理模块是实景导航引擎的核心处理单元，可实现导航引擎sdk、adas sdk和地图基础数据，包括导航引擎sdk单元、adas sdk单元和地图基础数据单元。
24.1、导航引擎sdk：根据摄像头输入的实时视频流提取图像帧，并传递给adas sdk软件单元处理；同时依据图像识别数据以及地图基础数据进行数据融合，计算出实际描绘的图像数据信息。
25.2、adas sdk：结合图像帧序列，采用opencv工具技术进行图像识别，并将识别到的前车信息、车道线等数据反馈给导航引擎sdk。
26.3、地图基础数据：将gps实时位置信息、导航tbt路线信息、地图基础数据信息等基本信息传递给导航引擎sdk。
27.所述图像渲染模块包括opengl标定单元，可实现坐标系转换和ar效果渲染。
28.1、坐标系转换：首先将ar引擎处理模块融合后的数据信息进行2d/3d空间坐标系转换。具体说来，poi的坐标是地理坐标，摄像头拍摄的是相机坐标，屏幕看到的是像素坐标系，为了在像素坐标系里显示地理坐标+相机坐标，不同的相机，不同的安装位置，不同的屏
幕，都影响着坐标换算。依据世界坐标系基础，经过一系列的标定换算所有的坐标都换算到世界坐标系下，相对关系就能正确呈现了，让人眼看到的相对关系是正确的。
29.2、ar效果渲染：依据opengl技术，结合融合数据、车速、坐标位置，将导航tbt信息或poi位置进行实时渲染，并叠加到导航实景画面上，实现ar导航效果。
30.实施例1
31.本发明基于ar技术的车载实景导航系统，包括图像信息采集模块、ar引擎处理模块和图像渲染模块。
32.所述图像信息采集模块用于采集实时视频流，并通过lvds传输到ar引擎处理模块。所述ar引擎处理模块包括导航引擎sdk单元、adas sdk单元和地图基础数据单元，能够根据摄像头输入的实时视频流提取图像帧、图像识别数据以及地图基础数据进行数据融合，计算出实际描绘的图像数据信息，并发送至图像渲染模块。所述图像渲染模块接收数据信息后，能够进行ar图面渲染叠加展示，空间坐标系转换，并根据车速实现动画效果。
33.具体地，所述图像信息采集模块通过分辨率为100万像素，安装水平视角为52(+/-5)，垂直视角为38(+/-5)的实景导航摄像头进行实时视频流采集。
34.所述导航引擎sdk单元根据摄像头输入的实时视频流提取图像帧，并传递给adas sdk单元处理；同时依据图像识别数据以及地图基础数据进行数据融合，计算出实际描绘的图像数据信息。其中，所述adas sdk单元结合图像帧序列，采用opencv工具技术进行图像识别，并将识别到的前车信息、车道线等数据反馈给导航引擎sdk单元。所述地图基础数据单元将gps实时位置信息、导航tbt路线信息、地图基础数据信息等基本信息传递给导航引擎sdk单元。
35.所述图像渲染模块能够将ar引擎处理模块融合后的数据信息进行2d/3d空间坐标系转换。所述图像渲染模块包括opengl标定单元，能够结合融合数据、车速、坐标位置，将导航tbt信息或poi位置进行实时渲染，并叠加到导航实景画面上，实现ar导航效果。
36.ar实景导航系统功能列表如表1所示：
37.表1.ar实景导航系统功能列表
[0038][0039]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、
重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。