一种在图像传感器芯片上实现3D点云坐标计算和系统装置的制作方法

一种在图像传感器芯片上实现3d点云坐标计算和系统装置
技术领域
1.本发明属于机器视觉、人工智能和3d传感器装备技术领域。


背景技术：

2.目前，3d相机的设计实现方法是用1或2台2d相机完成成像，然后计算每个像素的坐标位置，最后计算被测物体的3d点云坐标。其缺陷和不足在于：1)消耗大量的计算资源，由于2d相机要经过传感器成像、isp图像信号处理后生成人眼可以看到的2d图像，而且在3d点云生成的时候，主要是定位每个像素的坐标，并不需要人眼可以看到的2d图像；2)实时性差，目前的最高性能是2帧/秒；3)对高反光物体、黑色低反光物体、表面油污以及复杂强环境光的被测物体成像有很多局限，由于用2d相机实现， 2d相机的传感器rggb滤光结构无法有效过滤对3d点云生成无用的光线； 4)功耗高，2d相机isp处理需要大量计算资源。
3.由此可以看出，要使3d相机解决上述问题，就必须从图像传感器集成电路层面进行创新解决上述问题，考虑在图像传感器像素曝光后，在图像传感器芯片行选、列选有效并读取像素电压值的同时直接获得像素的坐标信息 (x,y)，为后续的3d点云生成使用。


技术实现要素：

4.本发明公开了一种在图像传感器芯片上实现3d点云坐标计算和系统装置，通过设计3d图像传感器芯片，在图像传感器芯片内部设计像素像素存储器阵列、行记录器和列记录器，在主动光源发射光线到被测物体时，控制单元读取传感器每个像素曝光信息的同时记录该像素的位置坐标信息，在直接获得了像素的坐标信息后，3d点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3d点云坐标。
5.为达到上述目的，本发明的技术方案是这样实现的：
6.一种在图像传感器芯片上实现3d点云坐标计算和系统装置，由3d图像传感器芯片、3d点云生成单元、传感器阵列、主动光源和光学镜头机构组成。其特征在于，3d图像传感器芯片设计像素存储器阵列，在主动光源发射光线到被测物体时，通过行选、列选控制读取传感器每个像素曝光信息的同时记录该像素行选、列选有效的位置生成坐标像素单元信息，3d点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3d点云坐标。
7.该装置还包括以下步骤：
8.a、控制主动光源发光，投射一条光线到被测物体；
9.b、3d图像传感器控制像素曝光；
10.c、选行，列选控制锁定被读取的像素；
11.d、被读像素adc模数转换；
12.e、像素存储器阵列将像素数据和像素坐标形成的坐标像素单元发给3d点云生成单元；
13.f、3d坐标生成单元利用坐标像素的行地址和列地址，根据传感器阵列芯片生产实现的集成电路工艺节点和每个像素的大小参数，计算像素的坐标x，y，图像传感器成像镜头中心点，传感器与主动光源的距离参数，x/x＝y/y＝z/f方程，计算3d点云坐标x，y，z；其中：f为镜头的焦距值。
14.g、被测物体移动成像，重复步骤a，直至被测物体3d点云坐标生成完成；
15.较佳地，adc模数转换方式为每一行像素设有一个独有的模数转换单元，可实现对一行像素的高速并行模数转换
16.较佳地adc模数转换方式为每个像素设有一个独有的模数转换单元，可实现对所有像素的高速并行模数转换。
17.更进一步，3d图像传感器芯片的像素存储器阵列并将从dac模数转换单元读取的像素数据信息与被读像素选中的行地址和列地址信息整合成一个坐标像素单元，坐标像素单元包含：a位二进制行地址，b位二进制列地址，像素数据信息。其中，2a为传感器像素阵列一行像素的总个数，2b为像素阵列一列的像素总个数。
18.较佳地，为减少后续传输和处理的工作量，像素存储器阵列对读取的像素信息进行滤波判断，对于未能曝光成像的像素数据进行剔除，只发送可曝光成像的像素信息和坐标给3d点云生成单元。
19.更进一步，像素存储器阵列的设计方法包含但不仅限于：1)按串行读取一个像素，生成一个坐标像素单元；2)并行读取一行像素，生成一行坐标像素单元；3)同时读取全局坐标像素单元。
20.更进一步，主动光源的使用包括但不限于：线激光发射器光源，led光源；为保证被测物体整体的3d坐标生成，被测物体移动成像方法包括但不仅限于：被测物体自主移动，3d点云坐标生成装置自主移动，采用激光振镜移动线激光发射的光线。
21.当3d图像传感器完成像素和其坐标数据采集后，传送给3d点云生成单元计算被测物体的3d点云坐标，其方法包含以下步骤：
22.a、按照物理像素的实际尺寸和像素所处的行列坐标信息，计算像素的实际坐标值(x,y)；
23.b、利用光学镜头像中心点小孔成像原理，将像素实际坐标值与被测物体 3d坐标(x,y,z)建立方程式；x/x＝y/y＝z/f，其中：f是3d传感器装置光学镜头的焦距；
24.c、利用已知的3d图像传感器与主动光源的距离数据和光源射线与被测物体相交在空间形成的平面方程，计算出被测物体对应成像像素的3d坐标(x， y，z)。
25.更进一步，为了抗环境光干扰，传感器像素阵列包括物理传感器和滤光材料，滤光材料包含但不仅限于：使用于主动光源发射的光的波长一致的滤光材料；
26.物理传感器包含但不仅限于：cmos(complementary metal oxidesemiconductor)图像传感器，ccd(charge couple device)传感器。
27.更进一步，3d点云生成单元的实际实现方法包含但不仅限于：1)现场可编程阵列fpga；2)计算单元cpu+图形处理器gpu；3)片上系统芯片soc； 4)集成在3d图像传感器芯片中且与3d图像传感器同样集成电路工艺。
28.更进一步，3d图像传感器芯片可实现的装置场景至少包含：1)3d面阵相机；2)3d线扫描相机；3)3d激光雷达装置。
附图说明
29.图1所示为应用本发明的系统原理示意图
[0030][0031]
图2所示为应用本发明的3d图像传感器芯片原理示意图
[0032][0033]
图3所示为应用本发明芯片的工作处理流程实施例
[0034][0035]
图4所示为应用本发明第一实施例
[0036][0037]
图5所示为应用本发明第二实施例
[0038][0039]
图6所示为应用本发明第三实施例
[0040][0041]
图7所示为应用本发明第四实施例
[0042]
具体实施方式
[0043]
本发明的思路是：
[0044]
针对3d相机的3d点云坐标快速生成、抗环境光干扰以及设计复杂等问题，本发明公开了一种在图像传感器芯片上直接获取像素坐标，实现3d点云坐标生成的装置，通过设计3d图像传感器芯片，在图像传感器芯片内部设计像素存储器阵列，在主动光源发射光线到被测物体时，像素存储器阵列读取传感器每个像素曝光信息的同时记录该像素的位置坐标信息形成坐标像素单元，在直接获得了像素的坐标信息后，3d点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3d点云坐标。
[0045]
图1所示为应用本发明的系统原理图
[0046]
由3d图像传感器芯片、3d点云生成单元、传感器阵列、主动光源和光学镜头机构组成。
[0047]
其工作原理是：3d图像传感器芯片设计像素像素存储器阵列，在主动光源发射光线到被测物体时，通过行选、列选控制读取传感器每个像素曝光信息的同时记录该像素行选、列选有效的位置作为坐标信息，3d点云生成单元根据获得的像素位置坐标信息以及预先标定的光源和传感器镜头的中心点参数计算被测物体的3d点云坐标。
[0048]
图2所示为应用本发明的3d图像传感器芯片原理示意图
[0049]
在图像传感器芯片中，设计像素存储器阵列，行地址记录器，列地址记录器，在读取传感器像素的同时，记录该像素的行地址和列地址，生成坐标像素单元。坐标像素单元包含：a位二进制行地址，b 位二进制列地址，像素数据信息。其中，2a为传感器像素阵列一行像素的总个数，2b为像素阵列一列的像素总个数。
[0050]
像素存储器阵列可以设计成三种不同方式，1)串行读取生成一个坐标像素单元
‘
2)并行读取生成一行坐标像素单元；3)同时读取全局像素，生成全部的坐标像素单元。
[0051]
图3所示为应用本发明芯片的工作流程实施例
[0052]
3d图像传感器芯片在光源发射一条线后，成像、像素坐标采集到这条线在被测物体反射曝光形成的3d坐标生成的工作流程如下：
[0053]
301、控制主动光源发光，投射一条光线到被测物体；
[0054]
302、3d图像传感器控制像素曝光；
[0055]
303、选行，列选控制锁定被读取的像素；
[0056]
304、被读像素adc模数转换；
[0057]
305、像素存储器阵列将像素数据和像素坐标发给3d点云生成单元；
[0058]
306、3d坐标生成单元利用像素坐标，图像传感器成像镜头中心点，传感器与主动光源的距离参数计算3d点云坐标x，y，z；
[0059]
在上述过程完成了对被测物体投射一条光线下的像素采集3d坐标生成后，通过被测物体移动成像，重复步骤上述过程，完成对整个物体的3d坐标生成。
[0060]
图4所示为应用本发明第一实施例
[0061]
本图是3d cmos图像传感器实施例，其中，传感器像素阵列由cmos传感器实现。其优点是集成度高，面积小，成本低。工作原理同图一描述。
[0062]
图5所示为应用本发明第二实施例
[0063]
本图是3d ccd图像传感器实施例，其中，传感器像素阵列由ccd传感器实现。其优点是传感器在弱光条件下感光灵敏读高，抗干扰能力强。工作原理同图一描述。
[0064]
图6所示为应用本发明第三实施例
[0065]
本图为3d面阵相机实施例，系统组成：激光发射器，激光振镜，3d图像传感器芯片，3d点云坐标生成单元，光学镜头机构。其工作原理如下：
[0066]
601、激光发射器发射一条光线到激光振镜，激光振镜发光线投射到被测物体；
[0067]
602、3d图像传感器芯片控制传感器像素阵列曝光；
[0068]
603、像素存储器阵列通过行选，列选读取像素曝光信息和坐标；
[0069]
604、3d点云生成单元计算601激光器投射线的曝光像素对应被测物体的3d坐标；
[0070]
605、激光振镜旋转到下一个角度重复601，直到按照面阵相机3d图像传感器的分辨率完成所有像素列的投射；
[0071]
图7所示为应用本发明第四实施例
[0072]
本图为3d线扫描相机实施例，系统组成：激光发射器，3d 图像传感器芯片，3d点云坐标生成单元，光学镜头机构。其工作原理如下：
[0073]
701、激光发射器发射一条光线到激光振镜，激光振镜发光线投射到被测物体；
[0074]
702、3d图像传感器芯片控制传感器像素阵列曝光；
[0075]
703、像素存储器阵列通过行选，列选读取像素曝光信息和坐标；
[0076]
704、3d点云生成单元计算701激光器投射线的曝光像素对应被测物体的3d坐标。