一种可实现硬件加速的双目感知方法与流程

文档序号:20489788发布日期:2020-04-21 21:57阅读:来源:国知局

技术特征:

1.一种可实现硬件加速的双目感知方法,其特征在于,包括如下步骤:

s1、针对于双目摄像头的两个摄像头芯片,分别引出摄像头芯片的外触发引脚,并对摄像头芯片的寄存器进行配置,使摄像头芯片工作在外触发模式;

s2、通过双目摄像头捕获双目图像,根据双目图像进行双目摄像头的离线标定,得到双目摄像头的参数;

将双目摄像头接入zynqultrascale+mpsoc的pl部分,然后将双目摄像头和pl进行同步触发,采集实时双目图像;

s3、根据双目摄像头的参数生成自定义ip,在pl中,调用自定义ip进行相机校正和对实时双目图像进行双目立体匹配,从而生成实时视差图;

s4、将实时视差图传输给zynqultrascale+mpsoc的ps部分,并与其中的ddr4内存进行数据交互,同时生成linux内核和文件系统管理ddr4中的图像缓存。

2.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,双目摄像头的选型要求为:采用全局曝光方式、采用小封装和具有外触发模式。

3.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,摄像头芯片为ar0144cmos芯片。

4.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,在步骤s2中,采用matlab标定工具箱进行双目离线标定,得到的双目摄像头的参数包括相机内参矩阵和畸变系数。

5.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,双目摄像头具有mipi输出接口,mipi输出接口通过mipicsi-2rxsubsystem模块接入pl;两个摄像头芯片的trigger引脚连接至同一个pl引脚,以此进行同步触发。

6.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,在步骤s3中,采用vivadohls高层次综合生成自定义ip,过程如下:

(1)新建hls工程;

(2)在source选项中新建一个顶层文件top.cpp,根据双目摄像头的参数,在该顶层文件中利用c/c++语言编程的函数进行功能自定义,自定义的功能包括相机校正和双目立体匹配;

在source选项中新建一个库文件top.h,在该库文件中利用top.cpp的库函数进行图像相关的宏定义和函数声明;

(3)为验证上述hls算法的正确性,在testbench中新建测试文件test.cpp,调用top.cpp程序函数接口,在该测试文件中将上述hls算法实现效果与opencv库的算法实现效果进行对比;

(4)对hls算法进行代码优化,使其能适应zynq平台;

(5)选择project下拉菜单中的projectsettings,synthesis选择top.cpp中核心算法作为顶层函数;

(6)进行综合和仿真,并将仿真得到的图像与opencv库的算法仿真得到的图像进行对比验证;

(7)算法验证通过之后,选择solution下拉菜单中的exportrtl对算法进行命名,从而将算法封装成ip核。

7.根据权利要求6所述的可实现硬件加速的双目感知方法,其特征在于,在步骤(2)中,宏定义包括:将axi4-stream总线定义为hls::stream<ap_axiu<24,1,1,1>>,将rgb图像定义为hls::mat<max_height,max_width,hls_8uc3>,将灰度图像定义为hls::mat<max_height,max_width,hls_8uc1>;

函数声明包括图像宽max_width和高max_heigh,文件输入和输出路径。

8.根据权利要求6所述的可实现硬件加速的双目感知方法,其特征在于,在步骤(3)中,hls算法与opencv库的算法实现结果均是视频流;

考虑到需封装的算法函数输入输出都是axi-stream格式,通过hls_video.h文件中封装的axivideo2mat和mat2axivideo对hls视频流进行格式转换;通过hls_opencv.h文件中封装的iplimage2axivideo和axivideo2iplimage对hls视频流进行显示。

9.根据权利要求6所述的可实现硬件加速的双目感知方法,其特征在于,在步骤(6)中,采用hdmi进行图像显示。

10.根据权利要求1所述的可实现硬件加速的双目感知方法,其特征在于,采用xilinx-vdmaip将实时视差图传输给ps的ddr4;采用xilinx-petalinux生成linux内核及文件系统。


技术总结
本发明公开了一种可实现硬件加速的双目感知方法,包括先引出双目摄像头的两个摄像头芯片的外触发引脚,并配置摄像头芯片的寄存器,使摄像头芯片工作在外触发模式;然后通过双目摄像头捕获双目图像和进行离线标定,得到双目摄像头的参数;接着将双目摄像头接入Zynq UltraScale+MPSoC的PL部分,然后进行同步触发,采集实时双目图像;根据双目摄像头的参数生成自定义IP,在PL中,调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配,从而生成实时视差图;最后将实时视差图传输给Zynq UltraScale+MPSoC的PS部分,并与其中的DDR4内存进行数据交互,同时生成Linux内核和文件系统管理DDR4中的图像缓存。本发明可应用于对算力和功耗有要求的嵌入式系统,可以有效实现硬件加速。

技术研发人员:裴海龙;杨鑫
受保护的技术使用者:华南理工大学
技术研发日:2020.01.15
技术公布日:2020.04.21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1