一种铰接车3d全景拼接系统及其方法
技术领域
1.本发明涉及一种3d全景拼接方法，特别是一种铰接车3d全景拼接系统及其方法。
背景技术：
2.360全景泊车系统，是一套通过车载显示屏幕观看汽车四周360度全景融合，超宽视角，无缝拼接的适时鸟瞰图像，了解车辆周边视线盲区，帮助汽车驾驶员更为直观、更为安全地停泊车辆的泊车辅助系统。
3.传统全景环视系统摄像头在安装到车上之后摄像头之间相对位置不会随着车辆行驶而改变，直接把传统环视系统应用于铰接车，当铰接角度不为0时，会存在严重的错位。
4.目前也有一些铰接车视频拼接技术，但这些方法只能做2d拼接，不能满足3d拼接任意角度观察的车周状态的需求。
技术实现要素：
5.本发明的目的是在于解决现有铰接车视频拼接技术，只能做2d拼接，不能满足3d拼接任意角度观察的车周状态的需求，而提供一种一种铰接车3d全景拼接系统及其方法。
6.一种铰接车3d全景拼接系统，所述铰接车包括牵引车和通过铰接盘转轴连接的挂车，所述牵引车的前端、左侧和右侧分别各安装一个摄像头，所述挂车的左侧、右侧和后端分别各安装一个摄像头，所述牵引车上的摄像头和挂车上的摄像头将拍摄的视频信号传送至控制中心模块，所述铰接角度传感模块将角度转动信号传送给控制中心模块。
7.采用如上述中所述铰接车3d全景拼接系统的拼接方法，所述方法步骤如下:a、建立全局物理坐标系：以铰接盘转轴为中心建立全局物理坐标系，由于牵引车相对位置是不变的，牵引车的三个摄像头物理坐标系与全局物理坐标系相同，而由于挂车相对位置是变化的，假设铰接角为t，挂车的三个摄像头的物理坐标系则可以在全局物理坐标系基础上，旋转t度得到；b、摄像头参数标定：如果已经对摄像头标定了，则跳过此步骤；否则在铰接角为0的状态下，在地面铺设标定布，提取角点，并在全局物理坐标系中对牵引车和挂车上的六个摄像头进行内外参数的标定；c、生成目标全局物理坐标：定义一个虚拟摄像头，虚拟摄像头默认位于车辆上方且观察点为铰接盘转轴中心，实际参数可根据用户操作而不断发生变化，定义一个3d模型，计算虚拟摄像头每个图像点在3d模型下的全局物理坐标；d、生成3d全景图像：从铰接角传感器实时获取铰接角t；铰接盘前方部分的显示：这部分是牵引车三个摄像头的投射范围，直接根据全局物理坐标判断是哪些摄像头的投射范围，然后根据这些摄像头的标定参数，把物理坐标转换为图像坐标，并获取相应实时图像融合显示；铰接盘后方部分的显示：这部分是挂车三摄像头的投射范围，则先将全局物理坐
标旋转t度得到摄像头物理坐标，然后根据摄像头物理坐标判断是那些摄像头的投射范围，然后根据这些摄像头的标定参数，把摄像头物理坐标转换为图像坐标，并获取相应实时图像融合显示；对于铰接盘前后部分的过渡区域，采用上述两种显示的alpha混叠。
8.采用上述技术方案的有益效果是：本发明通过安装在牵引车和挂车车身上的六个摄像头、铰接角度传感模块和控制中心模块就实现铰接车的3d全景影像，用户可以直观的从各个角度观察铰接车的车周情况，实用性极强，且有效的降低了成本。
具体实施方式
9.以下结合本发明优选的具体实施例对本发明的内容作进一步地说明。所举实例只用于解释本发明，并非用于限定本发明的范围。
10.具体实施时，本方案中所述的一种铰接车3d全景拼接系统，所述铰接车包括牵引车和通过铰接盘转轴连接的挂车，所述牵引车的前端、左侧和右侧分别各安装一个摄像头，所述挂车的左侧、右侧和后端分别各安装一个摄像头，所述牵引车上的摄像头和挂车上的摄像头将拍摄的视频信号传送至控制中心模块，所述铰接角度传感模块将角度转动信号传送给控制中心模块。
11.采用如上述中所述铰接车3d全景拼接系统的拼接方法，所述方法步骤如下:a、建立全局物理坐标系：以铰接盘转轴为中心建立全局物理坐标系，由于牵引车相对位置是不变的，牵引车的三个摄像头物理坐标系与全局物理坐标系相同，而由于挂车相对位置是变化的，假设铰接角为t，挂车的三个摄像头的物理坐标系则可以在全局物理坐标系基础上，旋转t度得到；b、摄像头参数标定：如果已经对摄像头标定了，则跳过此步骤；否则在铰接角为0的状态下，在地面铺设标定布，提取角点，并在全局物理坐标系中对牵引车和挂车上的六个摄像头进行内外参数的标定；c、生成目标全局物理坐标：定义一个虚拟摄像头，虚拟摄像头默认位于车辆上方且观察点为铰接盘转轴中心，实际参数可根据用户操作而不断发生变化；定义一个3d模型，比如碗状模型、汉堡模型或者平面模型等；计算虚拟摄像头每个图像点在3d模型下的全局物理坐标。
12.d、生成3d全景图像：从铰接角传感器实时获取铰接角t；铰接盘前方部分的显示：这部分是牵引车三个摄像头的投射范围，直接根据全局物理坐标判断是哪些摄像头的投射范围，在本方案中最多是两个摄像头的投射范围；然后根据这些摄像头的标定参数，把物理坐标转换为图像坐标，并获取相应实时图像融合显示；铰接盘后方部分的显示：这部分是挂车三摄像头的投射范围，则先将全局物理坐标旋转t度得到摄像头物理坐标，然后根据摄像头物理坐标判断是那些摄像头的投射范围，在本方案中最多是两个摄像头的投射范围；然后根据这些摄像头的标定参数，把摄像头物理坐标转换为图像坐标，并获取相应实时图像融合显示；对于铰接盘前后部分的过渡区域，采用上述两种显示的alpha混叠。
13.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和
原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：
1.一种铰接车3d全景拼接系统，其特征在于：所述铰接车包括牵引车和通过铰接盘转轴连接的挂车，所述牵引车的前端、左侧和右侧分别各安装一个摄像头，所述挂车的左侧、右侧和后端分别各安装一个摄像头，所述牵引车上的摄像头和挂车上的摄像头将拍摄的视频信号传送至控制中心模块，所述铰接角度传感模块将角度转动信号传送给控制中心模块。2.采用如权利要求1中所述铰接车3d全景拼接系统的拼接方法，其特征在于所述方法步骤如下:a、建立全局物理坐标系：以铰接盘转轴为中心建立全局物理坐标系，由于牵引车相对位置是不变的，牵引车的三个摄像头物理坐标系与全局物理坐标系相同，而由于挂车相对位置是变化的，假设铰接角为t，挂车的三个摄像头的物理坐标系则可以在全局物理坐标系基础上，旋转t度得到；b、摄像头参数标定：如果已经对摄像头标定了，则跳过此步骤；否则在铰接角为0的状态下，在地面铺设标定布，提取角点，并在全局物理坐标系中对牵引车和挂车上的六个摄像头进行内外参数的标定；c、生成目标全局物理坐标：定义一个虚拟摄像头，虚拟摄像头默认位于车辆上方且观察点为铰接盘转轴中心，实际参数可根据用户操作而不断发生变化，定义一个3d模型，计算虚拟摄像头每个图像点在3d模型下的全局物理坐标；d、生成3d全景图像：从铰接角传感器实时获取铰接角t；铰接盘前方部分的显示：这部分是牵引车三个摄像头的投射范围，直接根据全局物理坐标判断是哪些摄像头的投射范围，然后根据这些摄像头的标定参数，把物理坐标转换为图像坐标，并获取相应实时图像融合显示；铰接盘后方部分的显示：这部分是挂车三摄像头的投射范围，则先将全局物理坐标旋转t度得到摄像头物理坐标，然后根据摄像头物理坐标判断是那些摄像头的投射范围，然后根据这些摄像头的标定参数，把摄像头物理坐标转换为图像坐标，并获取相应实时图像融合显示；对于铰接盘前后部分的过渡区域，采用上述两种显示的alpha混叠。
技术总结
本发明是一种铰接车3D全景拼接系统，所述铰接车包括牵引车和通过铰接盘转轴连接的挂车，所述牵引车的前端、左侧和右侧分别各安装一个摄像头，所述挂车的左侧、右侧和后端分别各安装一个摄像头，所述牵引车上的摄像头和挂车上的摄像头将拍摄的视频信号传送至控制中心模块，所述铰接角度传感模块将角度转动信号传送给控制中心模块，属于全景视频技术领域。目的是通过安装在牵引车和挂车车身上的六个摄像头、铰接角度传感模块和控制中心模块就实现铰接车的3D全景影像，用户可以直观的从各个角度观察铰接车的车周情况，实用性极强，且有效的降低了成本。效的降低了成本。
技术研发人员：唐忠林
受保护的技术使用者：深圳市天双科技有限公司
技术研发日：2021.09.10
技术公布日：2022/9/19