可实现激光雷达点云与图像融合的感光芯片的制作方法

可实现激光雷达点云与图像融合的感光芯片
【技术领域】
1.本发明涉及激光雷达深度信息与图像信息的融合技术领域，特别涉及可实现激光雷达点云与图像融合的感光芯片。


背景技术：

2.激光雷达能够探测物体的三维信息，生成物体的深度点云图；物体的图像信息提供了物体的纹理、色彩等特征信息，便于识别。将激光雷达的深度信息与图像的特征信息融合，形成色彩三维图像，有利于三维图像的识别、处理和应用。
3.现有技术的融合方案使用激光雷达和相机，两个独立的部件系统，导致结构设计繁杂，设计的稳定性要求高，需要对激光雷达系统和相机图像系统进行标定，然后分别获取被测物体的点云和图像，图像融合的算法复杂，同时两套系统也导致成本的增加。


技术实现要素：

4.为了克服上述问题，本发明提出一种可有效解决上述问题的可实现激光雷达点云与图像融合的感光芯片。
5.本发明解决上述技术问题提供的一种技术方案是：提供一种可实现激光雷达点云与图像融合的感光芯片，包括多个呈矩阵式分布的感光像素单元，所述感光像素单元内包括多个呈矩阵式分布的可见光感光像素和激光感光像素，所述激光感光像素镶嵌于多个呈矩阵式分布的可见光感光像素之间，所述激光感光像素为周围的可见光感光像素提供深度探测信息，可见光感光像素为激光感光像素提供物体特征信息。
6.优选地，所述可见光感光像素内包括可见光感光区域和激光感光区域，所述激光感光区域内设置激光感光像素。
7.优选地，所述激光感光像素的数量占可见光感光像素与激光感光像素数量之和的百分之十。
8.优选地，所述激光感光像素的数量占可见光感光像素与激光感光像素数量之和的百分之二十。
9.优选地，所述激光感光像素的数量占可见光感光像素与激光感光像素数量之和的百分之三十。
10.优选地，所述激光感光像素的数量占可见光感光像素与激光感光像素数量之和的百分之n，其中n大于零并小于等于五十。
11.与现有技术相比，本发明的可实现激光雷达点云与图像融合的感光芯片将激光雷达测距和图像测试芯片集成到同一个芯片上，实现深度测量与图像的融合，可以简化系统结构，提高系统的稳定性；通过插值的方式，可以将激光感光像素测得的深度信息与可见光像素测得颜色信息实时融合，避免复杂的融合算法。
【附图说明】
12.图1为现有技术中常规4000*3000的可见光cmos芯片结构示意图；
13.图2为现有技术中常规4000*3000的可见光cmos芯片的每个像素用插值算法来得到除自身接收的颜色信号之外的信号计算示意图；
14.图3为本发明可实现激光雷达点云与图像融合的感光芯片的区域划分示意图；
15.图4为本发明可实现激光雷达点云与图像融合的感光芯片的第一实施例示意图；
16.图5为图4中单个感光像素单元放大图；
17.图6为本发明可实现激光雷达点云与图像融合的感光芯片的第二实施例示意图；
18.图7为图6中单个感光像素单元放大图。
【具体实施方式】
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
20.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅限于指定视图上的相对位置，而非绝对位置。
21.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
22.请参阅图1和图2，常规4000*3000的可见光cmos芯片结构如图所示，对于这种bayer模式的sensor。每个r(红光感光像素)、g(绿光感光像素)、b(蓝光感光像素)像素只能接收对应的红、绿、蓝单色光，为了恢复彩色图像，对于每个像素都需要用插值算法来得到除自身接收的颜色信号之外的信号，例如，对于图2中的b6像素通道，需要通过插值的算法来获取红色和绿色信息，例如：
23.r颜色信息通过相邻的四个r像素的平均值来获得:
24.r
b6
＝(r1+r3+r9+r11)/4
25.g颜色信息通过相邻的四个r像素的平均值来获得:
26.g
b6
＝(g2+g5+g7+g10)/4
27.由于常规的可见光感光像素可以通过接收物体反射或发射的可见光采集物体的纹理、颜色等特征信息，但不能探测深度信息；激光雷达通过发射红外激光到物体上并接收物体反射的激光信号采集物体的深度信息，但无法收集物体的色彩信息。
28.受此启发，下面请参阅图3至图7，本发明的可实现激光雷达点云与图像融合的感光芯片，包括多个呈矩阵式分布的感光像素单元，所述感光像素单元内包括多个呈矩阵式分布的可见光感光像素和激光感光像素，所述激光感光像素镶嵌于多个呈矩阵式分布的可见光感光像素之间，所述激光感光像素为周围的可见光感光像素提供深度探测信息，可见光感光像素为激光感光像素提供物体特征信息。所述可见光感光像素包括r(红光感光像素)、g(绿光感光像素)和b(蓝光感光像素)三种像素。
29.所述激光感光像素的数量占可见光感光像素与激光感光像素数量之和的百分之
十。
30.第一实施例中，对于4000*3000的感光芯片，按照400*300划成100个区域，在每个区域居中的像素位置插入一个激光感光像素x，激光感光像素x测得的距离信息可以复制给这一400*300区域的其他可见光感光像素，同时激光感光像素x的r、g、b信息可以通过插值的方式获得，例如：
31.rx＝(r1+r2+r3+r4+r5+r6+r7+r8)/8
32.gx＝(g1+g2+g3+g4+g5+g6+g7+g8)/8
33.bx＝(b1+b2+b3+b4+b5+b6+b7+b8)/8
34.获得rx，gx，bx后，其余可见光感光像素可以通过前述插值方式得到r、g、b信息。
35.此外，所述激光感光像素的数量还可以占可见光感光像素与激光感光像素数量之和的百分之二十、百分之三十或者百分之n，其中n大于零并小于等于五十。插入的方式与上述方式类似，激光感光像素插入的比例越高，则获得的距离信息越准确，越接近真实值，但是随着插入的激光感光像素增加，可见光感光像素数量减少，采集到的颜色信息将会减少，降低色彩还原的效果，需要根据不同的测试需求来选择合适的插入比例。
36.第二实施例中，感光芯片包括多个呈矩阵式分布的感光像素单元，每一感光像素单元包括多个呈矩阵式分布的可见光感光像素，所述可见光感光像素内包括可见光感光区域和激光感光区域，所述激光感光区域内设置激光感光像素。每个激光感光区域获取距离信息，可见光感光区域获取颜色信息，保证每个感光像素单元可以同时提供距离信息和颜色信息，有助于提高可见光图像和距离探测的精度。
37.本发明的可实现激光雷达点云与图像融合的感光芯片可以使用在固态激光器中，也可以使用在混合固态及机械式激光雷达系统中，使用本发明的可实现激光雷达点云与图像融合的感光芯片，可以实现混合固态激光雷达的深度与图像信息的探测。
38.与现有技术相比，本发明的可实现激光雷达点云与图像融合的感光芯片将激光雷达测距和图像测试芯片集成到同一个芯片上，实现深度测量与图像的融合，可以简化系统结构，提高系统的稳定性；通过插值的方式，可以将激光感光像素测得的深度信息与可见光像素测得颜色信息实时融合，避免复杂的融合算法。
39.以上所述仅为本发明的较佳实施例，并非因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。