一种感存算一体双目3D机器视觉架构及其芯片的制作方法

本发明属于机器视觉、集成电路、传感器、人工智能和元宇宙。

背景技术：

1、3d相机正在成为智能制造、元宇宙和自动驾驶的核心视觉感知装备。由于传感器芯片的技术限制，目前的3d相机均由1到2台2d相机构成，特别是双目3d相机由2台2d相机的isp负责成生成rgb图像后，再做像素视差计算和3d点云计算，这种架构需要高性能计算的isp处理器和大量的frame buffer存储器支持，性能和效率低下，生成3d点云的帧率每秒小于3帧，这种性能难以智能制造和自动驾驶的需求。

2、当前，业界的创新工作主要在利用感存算一体集成电路技术解决ai图像处理和推理等性能问题。比如：1)oculi利用感存算一体化技术打造全球首款“软件定义视觉传感器”http://www.mems.me/mems/optical_mems_202112/11139.html；2)基于动态视觉传感技术的cmos感存算一体电路结构(申请号cn202010272251.0)。

3、而对于如何将视觉传感器与被拍摄物体3d点云坐标生成，也就是在集成电路层次上感知拍摄物体、存储像素计算像素坐标以及3d坐标，这类难题依然没有好的解决方案。一种在图像传感器芯片上实现3d点云坐标计算和系统装置(申请号：2021112784382)给出了基于主动光源投射情况下视觉传感器芯片上计算3d点云的方法。由于在多数场景下不需要或不允许主动相机发光，该专利没有解决仅利用环境光的条件下双目图像采集生成3d点云的方法，比如：目前普遍使用的基于裸眼双目3d相机自动驾驶对物体识别和测距。

技术实现思路

1、为了解决双目3d机器视觉在没有任何主动光源的条件下快速生成3d点云，本发明公开了一种感存算一体双目3d机器视觉架构及其芯片，总体架构由左右两个感存算一体芯片l和r组成，主要包含：3d点云计算单元l，视差计算单元l/r，像素数字信号存储单元l/r，图像传感器阵列l/r；基于本架构实现的3d机器视觉设备在双目图像传感器阵列l和r分别对感应到的被拍摄物体的模拟信号经ad数模转换后，在芯片级获取像素的2维xy坐标，对像素数字信号直接计算双目视差进而快速生成3d点云坐标。

2、本发明的优势和效益十分明显，由于在图像信号处理器isp之前，直接基于视觉传感器ad转换后的像素数字信号计算像素视差和3d点云，使得3d点云性能可以做到每秒60帧以上，同时避免了使用isp而造成资源和功耗的浪费。

3、为达到上述目的，本发明的技术方案是这样实现的：

4、一种感存算一体双目3d机器视觉架构及其芯片，主要包含：视差和3d点云计算单元；像素数字信号存储单元l，像素数字信号存储单元r，图像传感器阵列l，图像传感器阵列r；该架构还包括以下步骤：

5、301由左右双目图像传感器阵列l和r构成的3d相机对被拍摄物体进行像素感光；

6、302感光像素经过模拟信号经ad数模转换输出像素数字信号；

7、303图像传感器阵列l的像素数字信号存储在像素数字信号存储单元l中，图像传感器阵列l的像素数字信号存储在像素数字信号存储单元r中；

8、304左右两个视差计算单元l和r在芯片级获取被拍摄物体像素的2维xy坐标，对两个像素数字信号存储单元l和r的像素数字信号直接计算双目视差，3d点云计算单元根据像素视差和橡树2为坐标计算z轴坐标，进而快速生成被拍摄物体的3d点云坐标。

9、所述视差和3d点云计算单元计算被拍摄物体的3d点云坐标的方法，所述301描述的3d相机，事先对两个双目图像传感器和光学镜头进行标定，使得左右两个图像传感器l和r的同一行像素处在同一条直线上，该直线定义为极线。被拍摄物体左右两个像素的视差计算和3d点云计算方法包含一下步骤：

10、401在像素数字信号存储单元l中选择一个像素，该像素的坐标2维(xl，yl)，即为该像素在图像传感器阵列l位于的行列位置；

11、402基于步骤401选择像素的数字信号值到像素数字信号存储单元r中按极线方向寻找最佳匹配的像素，并获得该像素的坐标(xr，yr)，即为该像素在图像传感器阵列r位于的行列位置；

12、403根据步骤401和步骤402获得的两个最佳匹配的像素坐标(xl，yl)，(xr，yr)以及权利要求1步骤a)所述3d相机焦距和基线参数，计算像素的第3维坐标z＝f*t/(xl-xr),其中，f为相机镜头的焦距，t为双目相机的基线；

13、404重复步骤401和402直到所有的像素的第3维坐标计算完成。

14、较佳地，步骤402所述按极线方向寻找最佳匹配的像素，可以是在(xl，yl)为中心点选择一个窗口n乘n阵列，在匹配图像传感器阵列r中以(xr，yr)为中心点确定同样大小的窗口，计算两个窗口中像素的相似度，最后在匹配图像传感器阵列r中选择最大相似度的中心点作为匹配成功的视差点。

15、所述像素数字信号存储单元l和r分别用于存储左右双目传感器阵列数模ad转换后的像素数字信号以及像素在各自传感器阵列中的行列坐标值。

16、所述图像传感器阵列l和r为双目3d相机左右两个图像传感器，对被拍摄物体曝光，像素感光后经光电转换经数模ad转换后输出像素的数字信号值；较佳地，图像传感器阵列在读取像素时记录像素的行列值，输出给视差和3d点云计算单元；较佳地，图像传感器阵列为cmos传感器。

17、更进一步，视差和3d点云计算单元计算被拍摄物体的3d点云坐标的方法；较佳地，其实现方法设计专门的加法器、减法器、乘法器和比较器设计专用的数字逻辑计算单元，该方法可以是西安高性能计算且节省芯片的面积；较佳地，采用通用计算单元cpu和gpu计算视差，该方法可以适合各种像素匹配计算视差的算法实现，如各类复杂计算算法：动态优化算，马尔可夫算法等。

18、所述视差和3d点云计算单元和像素数字信号存储单元l和r，经图像传感器模数ad转换后的像素数字信号，较佳地为12位二进制数值。为减少存储器的消耗，可以根据图像传感器一次读取像素的数量定义左右两个像素数字信号存储单元的大小为m乘m阵列，将用于像素匹配计算的窗口大小设置为n乘n阵列，其中，m大于等于n。较佳地，像素视差计算的设计方法包采用存算一体设计，这样可以在几个时钟周期快速完成n乘n阵列的视差计算。

19、较佳地，为数字信号存储单元l设置的m乘m的存储阵列可同时用于后续2d图像isp处理生成rgb图像，该2维rgb图像可以与3d点云结合进行重建物体的3d图像。

技术特征：

1.一种感存算一体双目3d机器视觉架构及其芯片，总体架构由左右两个感存算一体芯片l和r组成，主要包含：3d点云计算单元l，视差计算单元l/r，像素数字信号存储单元l/r，图像传感器阵列l/r；基于本架构实现的3d机器视觉设备在双目图像传感器阵列l和r分别对感应到的被拍摄物体的模拟信号经ad数模转换后，在芯片级获取像素的2维xy坐标，对像素数字信号直接计算双目视差进而快速生成3d点云坐标。该架构还包括以下步骤：

2.根据权利要求1所述的芯片，其特征在于，视差计算单元和3d点云计算单元计算被拍摄物体的3d点云坐标的方法，被拍摄物体左右两个像素的视差计算和3d点云计算方法包含一下步骤：

3.根据权利要求1所述的芯片，其特征在于，像素数字信号存储单元l和r分别用于存储左右双目传感器阵列数模ad转换后的像素数字信号以及像素在各自传感器阵列中的行列坐标值。

4.根据权利要求1所述的芯片，其特征在于，图像传感器阵列l和r为双目3d相机左右两个图像传感器，对被拍摄物体曝光，像素感光后经光电转换经数模ad转换后输出像素的数字信号值，包含但不仅限于在读取像素时记录像素的行列值，输出给视差计算和3d点云计算单元。

5.根据权利要求1和权利要求2所述的芯片和方法，其特征在于，视差计算单元和3d点云计算单元计算被拍摄物体的3d点云坐标的方法，包含但不仅限于：1)加法器、减法器、乘法器和比较器设计专用的数字逻辑计算单元；2)采用通用计算单元cpu和gpu计算视差。

6.根据权利要求2和权利要求3所述的芯片和方法，其特征在于，视差计算单元和3d点云计算单元和像素数字信号存储单元l和r，将左右两个像素数字信号存储单元的大小分别设定为n乘n阵列作为像素匹配计算的窗口，像素视差计算方法包含但不仅限于，1)采用存算一体设计，完成n乘n阵列的视差计算。

7.根据权利要求1、权利要求3和权利要求6所述的芯片，其特征在于，像素数字信号存储单元l存储的像素数字信息可以同时用于后续2d图像isp处理生成rgb图像。

8.根据权利要求1和权利要求2所述的芯片，其特征在于，由左右双目图像传感器阵列l和r构成的3d相机和按极线方向寻找，事先对两个双目图像传感器和光学镜头进行标定，使得左右两个图像传感器l和r的同一行像素处在同一条直线上，该直线定义为极线。

9.根据权利要求1至权利要求8所述的芯片，其特征在于，一种感存算一体双目3d机器视觉架构及其芯片，左右两个感存算一体芯片l和r的实现方式相同，感存算一体芯片l的实现方式包含但不仅限于：1)将视差计算单元和3d点云计算单元、像素数字信号存储单元l、以及图像传感器阵列l，采用混合集成电路工艺设计集成在一个晶圆上；2)将视差计算单元和3d点云计算单元与像素数字信号存储单元l混合集成设计为一个晶圆，再与图像传感器阵列l封装成一个芯片；3)将视差计算单元和3d点云计算单元、像素数字信号存储单元l和图像传感器阵列l做成三个独立的晶圆，然后封装成一个芯片。

技术总结
本发明公开了一种感存算一体双目3D机器视觉架构及其芯片，总体架构由左右两个感存算一体芯片L和R组成，主要包含：3D点云计算单元L，视差计算单元L/R，像素数字信号存储单元L/R，图像传感器阵列L/R；基于本架构实现的3D机器视觉设备在双目图像传感器阵列L和R分别对感应到的被拍摄物体的模拟信号经AD数模转换后，在芯片级获取像素的2维坐标(X，Y)，对像素数字信号直接计算双目视差进而快速生成3D点云坐标。

技术研发人员：曾晓红,韦卫,张帆,谢巍
受保护的技术使用者：深慧视（深圳）科技有限公司
技术研发日：
技术公布日：2024/2/25