一种iToF校正图像获取及校正方法、系统、存储介质、设备与流程

本发明涉及图像校正，具体为一种itof校正图像获取及校正方法、系统、存储介质、设备。

背景技术：

1、在图像采集过程中，由于相机透镜和感光元件的特性，会导致图像出现畸变。这种畸变会使图像失真，影响后续的图像处理和分析任务。因此，在进行图像处理之前，需要进行畸变校正。

2、在相机畸变校正中，常采用张正友标定方法，其最少需要三张不同角度的图像，才能进行畸变校正；其中三张不同角度的图像，需要对静止的棋盘格进行采集，若采集的图像存在模糊阴影等，会影响校正准确度，并且最少需要三张图片其准确采集会花费一定时间，从而导致标定时间增加。

3、因此现在急需一种itof校正图像获取及校正方法、系统、存储介质、设备，能利用模糊图像进行标定，并通过一张图像解析出两组图像，提升fps(画面每秒传输帧数)速度，加快标定，减少标定时间。

技术实现思路

1、本发明的目的之一在于提供一种itof校正图像获取及校正方法，能利用模糊图像进行标定，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。

2、本发明提供的基础方案一：一种itof校正图像获取及校正方法，包括如下内容：

3、s1、移动itof相机或棋盘格，或同时移动itof或棋盘格；

4、s2、itof相机进行拍图，获取到原始资料raw data；

5、s3、根据raw data，计算四个相位差；其中四个相位差包括：c0、c90、c180、c270；分别为在四个相位0度,90度,180度和270度上的相位差；

6、s4、根据raw data和四个相位差，进行解模糊，获取两张优化图像：ir0和ir1；

7、s5、对ir0和ir1进行像素加强，获取加强后的图像：optimized_ir0和optimized_ir1；

8、s6、采用棋盘格搜索方法，搜寻optimized_ir0和optimized_ir1中相符角点的棋盘格(rows，cols)；

9、s7、根据(rows，cols)，采用张正友标定方法，进行相机标定。

10、基础方案一的有益效果：镜头在快速移动时候，受到曝光时间(积分时间)的影响，会产生画面的模糊，通常模糊的图像是不能使用的，而本方案中首先移动itof相机或棋盘格，或同时移动itof或棋盘格，通过itof相机进行拍图，获取到原始资料raw data，即模糊的图像；由于itof相机和棋盘格相对移动，因此模糊的图像中包含了棋盘格在不同位置的图像进信息；

11、然后根据raw data，计算四个相位差；其中四个相位差包括：c0、c90、c180、c270；其为在四个相位0度,90度,180度和270度上的相位差，因为itof是利用红外光，飞行时间计算深度距离，其在感光模组(sensor)上利用两个电容接收的红外光，电容的接收过程，会进行四次延迟(delay)，以0-360度进行分割，分别为0度,90度,180度和270度(四个相位)，通过两个电容值的差，可以获取四个相位延迟(0度,90度,180度和270度)，通常利用电容值的和作为ir图像；

12、再然后根据raw data和四个相位差，进行解模糊，获取两张优化图像：ir0和ir1，从而在同一张图像画面中，解析出两组图像，加快图像画面的取得，将fps提升至两倍速度，加快了三张不同角度的棋盘格的寻算，减少标定时间；

13、再然后本方案对ir0和ir1进行像素加强，获取加强后的图像：optimized_ir0和optimized_ir1，加强后的图像棋盘格更容易搜寻，进一步减少标定时间；

14、最后采用棋盘格搜索方法，搜寻optimized_ir0和optimized_ir1中相符角点的棋盘格(rows，cols)，根据(rows，cols)，采用张正友标定方法，进行相机标定。

15、综上所述，本方案能利用模糊图像进行标定，在模糊的棋盘格图像中，找到清晰的棋盘格影像，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。

16、进一步，所述c0＝a0-b0，c90＝a90-b90，c180＝a180-b180，c270＝a270-b270；其中a0，b0，a90，b90，a180，b180，a270，b270为itof感光模组上两个电容a和b在四个相位0度,90度,180度和270度上的电容值。

17、有益效果：itof是利用红外光，飞行时间计算深度距离，其在感光模组(sensor)上利用两个电容接收的红外光，两个电容分别定义为a和b；电容的接收过程，会进行四次延迟(delay)，以0-360度进行分割，分别为0度,90度,180度和270度(四个相位)，所以电容分别定义电容值为a0，b0，a90，b90，a180，b180，a270，b270；将两个电容值的差，依据四个相位延迟(0度,90度,180度和270度)分别定义，通常利用电容值的和作为ir图像，如因此本方案中四个相位为c0＝a0-b0，c90＝a90-b90，c180＝a180-b180，c270＝a270-b270。

18、与现有技术相比，本方案不能用于dtof，结构光，rgb等相机，也不能使用相对静止物体，需要itof或者棋盘格在移动状态下，产生模糊才能进行校正；其中rgb，结构光，dtof的储存光的原理，都只需要一颗电容，而itof是利用两颗电容储存，故在硬件上是不相同的，且itof有延迟收光技术，所以四个延迟的相位，需要进行四次收图。

19、进一步，所述s4，包括：

20、将四个相位差，以0度和180度与90度和270度两组相反相位进行相加，获取相加后的两组图像t0和t90：t0＝c0+c180与t90＝c90+c270；

21、分别对t0和t90的像素取绝对值abs_t0和abs_t90：abs_t0＝abs(t0)，abs_t90＝abs(t90)；

22、计算t0和t90像素的平均值，并将t0和t90中小于平均值的像素设为0，获取两张优化图像：ir0和ir1。

23、有益效果：本方案中可以进行解模糊像素的原因是0度与180度为相反相位，当0度相位数值为1时，180度相位数值为-1，当物体静止时，0度与180度的数值相加为0，而本方案中利用移动时候，相位延迟会使物体出现不同的像素坐标，所以会出现的相加的数字不为0的情况，利用模糊解析，处理不为0的像素坐标，可以得到棋盘格边界，以此类推90度与270度也是相同原理；且平均值的计算和判断可以减少环境中的杂讯。

24、进一步，所述s5，包括：

25、对ir0和ir1采用霍夫转换搜寻线段，获得(p，θ)，其中p为坐标原点(0,0)的距离，θ为以弧度为单位的线旋转角度；

26、采用直线方程式y＝ax+b进行像素搜寻，获取加强后的图像：optimized_ir0和optimized_ir1，其中像素搜索为对符合预设要求的像素进行加强。

27、有益效果：采用霍夫转换进行加强，加强后的图像棋盘格更容易搜寻。

28、本发明的目的之二在于提供一种itof校正图像获取及校正系统，能利用模糊图像进行标定，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。

29、本发明提供基础方案二：一种itof校正图像获取及校正系统，包括：itof相机、棋盘格和处理器；

30、itof相机和棋盘格均与处理器连接；

31、移动itof相机或棋盘格，或同时移动itof或棋盘格，itof相机进行拍图，获取到原始资料raw data，并发送给处理器；

32、处理器，用于根据raw data，计算四个相位差；其中四个相位差包括：c0、c90、c180、c270；其为在四个相位0度,90度,180度和270度上的相位差；

33、还用于根据raw data和四个相位差，进行解模糊，获取两张优化图像：ir0和ir1；

34、还用于对ir0和ir1进行像素加强，获取加强后的图像：optimized_ir0和optimized_ir1；

35、还用于采用棋盘格搜索方法，搜寻optimized_ir0和optimized_ir1中相符角点的棋盘格(rows，cols)；

36、还用于根据(rows，cols)，采用张正友标定方法，控制itof相机进行相机标定。

37、基础方案二的有益效果：镜头在快速移动时候，受到曝光时间(积分时间)的影响，会产生画面的模糊，通常模糊的图像是不能使用的，而本方案中首先移动itof相机或棋盘格，或同时移动itof或棋盘格，通过itof相机进行拍图，获取到原始资料raw data，即模糊的图像；由于itof相机和棋盘格相对移动，因此模糊的图像中包含了棋盘格在不同位置的图像进信息；

38、然后根据raw data，计算四个相位差；其中四个相位差包括：c0、c90、c180、c270；其为在四个相位0度,90度,180度和270度上的相位差，因为itof是利用红外光，飞行时间计算深度距离，其在感光模组(sensor)上利用两个电容接收的红外光，电容的接收过程，会进行四次延迟(delay)，以0-360度进行分割，分别为0度,90度,180度和270度(四个相位)，通过两个电容值的差，可以获取四个相位延迟(0度,90度,180度和270度)，通常利用电容值的和作为ir图像；

39、再然后根据raw data和四个相位差，进行解模糊，获取两张优化图像：ir0和ir1，从而在同一张图像画面中，解析出两组图像，加快图像画面的取得，将fps提升至两倍速度，加快了三张不同角度的棋盘格的寻算，减少标定时间；

40、再然后本方案对ir0和ir1进行像素加强，获取加强后的图像：optimized_ir0和optimized_ir1，加强后的图像棋盘格更容易搜寻，进一步减少标定时间；

41、最后采用棋盘格搜索方法，搜寻optimized_ir0和optimized_ir1中相符角点的棋盘格(rows，cols)，根据(rows，cols)，采用张正友标定方法，进行相机标定。

42、综上所述，本方案能利用模糊图像进行标定，在模糊的棋盘格图像中，找到清晰的棋盘格影像，并通过一张图像解析出两组图像，提升fps(画面每秒传输帧数)速度，加快标定，减少标定时间。

43、进一步，所述c0＝a0-b0，c90＝a90-b90，c180＝a180-b180，c270＝a270-b270；其中a0，b0，a90，b90，a180，b180，a270，b270为itof感光模组上两个电容a和b在四个相位0度,90度,180度和270度上的电容值。

44、有益效果：itof是利用红外光，飞行时间计算深度距离，其在感光模组(sensor)上利用两个电容接收的红外光，两个电容分别定义为a和b；电容的接收过程，会进行四次延迟(delay)，以0-360度进行分割，分别为0度,90度,180度和270度(四个相位)，所以电容分别定义电容值为a0，b0，a90，b90，a180，b180，a270，b270；将两个电容值的差，依据四个相位延迟(0度,90度,180度和270度)分别定义，通常利用电容值的和作为ir图像，如因此本方案中四个相位为c0＝a0-b0，c90＝a90-b90，c180＝a180-b180，c270＝a270-b270。

45、与现有技术相比，本方案不能用于dtof，结构光，rgb等相机，也不能使用相对静止物体，需要itof或者棋盘格在移动状态下，产生模糊才能进行校正；其中rgb，结构光，dtof的储存光的原理，都只需要一颗电容，而itof是利用两颗电容储存，故在硬件上是不相同的，且itof有延迟收光技术，所以四个延迟的相位，需要进行四次收图。

46、进一步，所述处理器包括：解模糊模块；

47、所述解模糊模块，用于获取输入c0、c90、c180和c270，输出ir0和ir1，具体处理包括：

48、将四个相位差，以0度和180度与90度和270度两组相反相位进行相加，获取相加后的两组图像t0和t90：t0＝c0+c180与t90＝c90+c270；

49、分别对t0和t90的像素取绝对值abs_t0和abs_t90：abs_t0＝abs(t0)，abs_t90＝abs(t90)；

50、计算t0和t90像素的平均值，并将t0和t90中小于平均值的像素设为0，获取两张优化图像：ir0和ir1。

51、有益效果：本方案中可以进行解模糊像素的原因是0度与180度为相反相位，当0度相位数值为1时，180度相位数值为-1，当物体静止时，0度与180度的数值相加为0，而本方案中利用移动时候，相位延迟会使物体出现不同的像素坐标，所以会出现的相加的数字不为0的情况，利用模糊解析，处理不为0的像素坐标，可以得到棋盘格边界，以此类推90度与270度也是相同原理；且平均值的计算和判断可以减少环境中的杂讯。

52、进一步，所述处理器包括：像素加强模块；

53、所述像素加强模块，用于获取输入ir0和ir1，输出optimized_ir0和optimized_ir1，具体处理包括：

54、对ir0和ir1采用霍夫转换搜寻线段，获得(p，θ)，其中p为坐标原点(0,0)的距离，θ为以弧度为单位的线旋转角度；

55、采用直线方程式y＝ax+b进行像素搜寻，获取加强后的图像：optimized_ir0和optimized_ir1，其中像素搜索为对符合预设要求的像素进行加强。

56、有益效果：采用霍夫转换进行加强，加强后的图像棋盘格更容易搜寻。

57、本发明的目的之三在于提供一种存储介质，能利用模糊图像进行标定，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。

58、本发明提供基础方案三：一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述itof校正图像获取及校正方法的步骤。

59、基础方案三的有益效果：本方案提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现所述itof校正图像获取及校正方法的步骤，便于itof校正图像获取及校正生成方法的应用和推广。

60、本发明的目的之四在于提供一种设备，能利用模糊图像进行标定，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。

61、本发明提供基础方案四：一种设备，采用上述itof校正图像获取及校正方法。

62、基础方案四的有益效果：本方案能利用模糊图像进行标定，在模糊的棋盘格图像中，找到清晰的棋盘格影像，并通过一张图像解析出两组图像，提升fps速度，加快标定，减少标定时间。