基于ZYNQ实现结构光图像高速采集与实时提取方法及装置

本发明涉及图像处理，尤其涉及一种基于zynq实现结构光图像高速采集与实时提取方法及装置。

背景技术：

1、线结构光三维扫描技术由于其非接触、高精度、高实时性和高环境适应性特性，被广泛应用于3d重建、生物检测和机器人领域，这些应用场景对图像的分辨率和处理的速度要求越来越高。线结构光测量工程实现上，有采用高速相机采集与服务器计算分离的组合，但存在传输带宽受限，编解码延迟过大的问题。也有采用标准帧率的结构光提取的嵌入式设备，但是难以满足高速场景的需求。嵌入式设备资源有限，如何在低成本设备中集成高帧率高分辨图像的采集与实时处理是目前实际应用中面临的难题。

技术实现思路

1、本发明针对如何在低成本设备中集成高帧率高分辨图像的采集与结构光实时处理的问题，提出了本发明。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一方面，本发明提供了一种基于zynq实现结构光图像高速采集与实时提取方法，该方法由基于zynq实现结构光图像高速采集与实时提取系统实现，系统包括处理系统、可编程逻辑以及采集传感器；

4、该方法包括：

5、s1、处理系统以及可编程逻辑配置并驱动采集传感器进行数据采集。

6、s2、可编程逻辑接收采集的数据并将数据转化为图像数据，图像数据存储于处理系统外挂的存储模块中。

7、s3、可编程逻辑根据存储模块提供的图像数据和处理系统提供的结构光提取算法参数，采用流水线及并行化处理方式完成结构光提取算法的实时计算。

8、可选地，处理系统基于arm处理器实现。

9、可编程逻辑基于现场可编程逻辑门阵列fpga实现。

10、采集传感器采集到的数据采用十六帧缓存结构进行存储，采用动态锁相技术控制输入采集通路和显示通路对应的帧。

11、可选地，并行化处理方式，包括：

12、可编程逻辑从存储模块中单时钟周期取出8个像素点，并对8个像素点同时进行处理。

13、流水线处理方式，包括：

14、可编程逻辑在取出当前帧缓存在存储模块的图像数据后，间隔预设时间后取出下一帧缓存的图像数据。

15、可选地，系统还包括：sensor驱动模块以及高清多媒体接口hdmi输出模块。

16、其中，sensor驱动模块与采集传感器相连，用于将可编程逻辑的驱动时序与处理系统的配置数据传输给采集传感器。

17、hdmi输出模块，用于获取保存于存储模块的图像数据，并将图像数据以hdmi协议传输给hdmi接口。

18、可选地，可编程逻辑pl包括：视频获取模块、图像自适应阈值模块、粗定位模块以及法向精确定位模块。

19、其中，视频获取模块，用于对从采集传感器接收的数据进行信号转接以及数据拼接，转化为图像数据，并将图像数据通过存储控制模块存储入存储模块中。

20、图像自适应阈值模块，用于对图像数据进行图像列特征计算，得到各列的自适应阈值，并传输给粗定位模块。

21、粗定位模块，用于根据自适应阈值以及图像数据采用灰度阈值重心法和感兴趣区域roi确定，得到初步中心点和roi数据，并传输给法向精确定位模块。

22、法向精确定位模块，用于根据初步中心点和roi数据，获取亚像素中心以及世界坐标系下的光条坐标，并通过存储控制模块存入存储模块中。

23、可选地，图像自适应阈值模块、粗定位模块以及法向精确定位模块均采用并行化的单个时钟八个像素处理方式。

24、图像自适应阈值模块、粗定位模块以及法向精确定位模块之间以流水线处理方式进行计算。

25、可选地，对图像数据进行图像列特征计算，得到各列的自适应阈值，包括：

26、采用预设的固定阈值对图像数据进行判定，获得激光条纹区域的上边界和下边界的坐标，根据上边界和下边界的坐标计算实际光条平均光强。

27、根据上边界和下边界的坐标计算理论光条平均光强。

28、根据实际光条平均光强以及理论光条平均光强计算强度评价指标。

29、根据强度评价指标得到各列的自适应阈值。

30、可选地，根据初步中心点和roi数据，获取亚像素中心以及世界坐标系下的光条坐标，包括：

31、根据初步中心点和roi数据，通过索贝尔sobel卷积确定初始中心点的法线方向，并计算出周围块的法线方向。

32、根据周围块的法线方向的光强分布计算偏移，叠加初始中心点获得亚像素中心。

33、将亚像素中心以及世界坐标系下的光条坐标通过存储控制模块存入存储模块中。

34、可选地，处理系统包括：数据传输模块。

35、数据传输模块，用于从存储模块获取可编程逻辑中法向精确定位模块输出的数据，并通过网口转发至外部上位机。

36、另一方面，本发明提供了一种基于zynq实现结构光图像高速采集与实时提取系统，该系统应用于实现基于zynq实现结构光图像高速采集与实时提取方法，该系统包括处理系统、可编程逻辑以及采集传感器；

37、其中：

38、处理系统，用于配置并驱动采集传感器进行数据采集。

39、可编程逻辑，用于接收采集的数据并将数据转化为图像数据，图像数据存储于处理系统外挂的存储模块中；配置并驱动采集传感器进行数据采集；根据存储模块提供的图像数据和处理系统提供的结构光提取算法参数，采用流水线及并行化处理方式完成结构光提取算法的实时计算。

40、采集传感器，用于数据采集。

41、可选地，处理系统基于arm处理器实现。

42、可编程逻辑基于现场可编程逻辑门阵列fpga实现。

43、采集传感器采集到的数据采用十六帧缓存结构进行存储，采用动态锁相技术控制输入采集通路和显示通路对应的帧。

44、可选地，并行化处理方式，包括：

45、可编程逻辑从存储模块中单时钟周期取出8个像素点，并对8个像素点同时进行处理。

46、流水线处理方式，包括：

47、可编程逻辑在取出当前帧缓存在存储模块的图像数据后，间隔预设时间后取出下一帧缓存的图像数据。

48、可选地，系统还包括：sensor驱动模块以及高清多媒体接口hdmi输出模块。

49、其中，sensor驱动模块与采集传感器相连，用于将可编程逻辑的驱动时序与处理系统的配置数据传输给采集传感器。

50、hdmi输出模块，用于获取保存于存储模块的图像数据，并将图像数据以hdmi协议传输给hdmi接口。

51、可选地，可编程逻辑pl包括：视频获取模块、图像自适应阈值模块、粗定位模块以及法向精确定位模块。

52、其中，视频获取模块，用于对从采集传感器接收的数据进行信号转接以及数据拼接，转化为图像数据，并将图像数据通过存储控制模块存储入存储模块中。

53、图像自适应阈值模块，用于对图像数据进行图像列特征计算，得到各列的自适应阈值，并传输给粗定位模块。

54、粗定位模块，用于根据自适应阈值以及图像数据采用灰度阈值重心法和感兴趣区域roi确定，得到初步中心点和roi数据，并传输给法向精确定位模块。

55、法向精确定位模块，用于根据初步中心点和roi数据，获取亚像素中心以及世界坐标系下的光条坐标，并通过存储控制模块存入存储模块中。

56、可选地，图像自适应阈值模块、粗定位模块以及法向精确定位模块均采用并行化的单个时钟八个像素处理方式。

57、图像自适应阈值模块、粗定位模块以及法向精确定位模块之间以流水线处理方式进行计算。

58、可选地，可编程逻辑，进一步用于：

59、采用预设的固定阈值对图像数据进行判定，获得激光条纹区域的上边界和下边界的坐标，根据上边界和下边界的坐标计算实际光条平均光强。

60、根据上边界和下边界的坐标计算理论光条平均光强。

61、根据实际光条平均光强以及理论光条平均光强计算强度评价指标。

62、根据强度评价指标得到各列的自适应阈值。

63、可选地，可编程逻辑，进一步用于：

64、根据初步中心点和roi数据，通过索贝尔sobel卷积确定初始中心点的法线方向，并计算出周围块的法线方向。

65、根据周围块的法线方向的光强分布计算偏移，叠加初始中心点获得亚像素中心。

66、将亚像素中心以及世界坐标系下的光条坐标通过存储控制模块存入存储模块中。

67、可选地，处理系统包括：数据传输模块。

68、数据传输模块，用于从存储模块获取可编程逻辑中法向精确定位模块输出的数据，并通过网口转发至外部上位机。

69、上述技术方案，与现有技术相比至少具有如下有益效果：

70、上述方案，利用zynq芯片arm与fpga集成的架构，软硬件协同完成sensor驱动、图像数据与坐标数据的存储、图像处理及原始图像的hdmi输出，根据任务特点选择处理位置，充分发挥arm与fpga各自的优势，使其能在低资源的芯片上同时部署高速采集与实时处理的功能。

71、利用zynq丰富的io资源，外挂存储模块，采用多帧缓存多幅图片的数据，可同时进行采集的存储器输入与处理的存储器输出，解决高帧率采集造成的大量数据交互瓶颈，并且采用流水线的方式，减少结构光提取的中间等待时间，进一步降低处理结果的延时。

72、本发明的结构光提取算法部分充分适配fpga的特性，充分使用流水线及并行化处理方式，能实现2048×512分辨率图像地采集和实时处理速度可达600fps，极大的提高了算法的实现速度，满足高分辨率和高帧率实时采集与处理要求。