一种动态实时高精度三维成像系统的制作方法

本发明属于计算机视觉，具体而言，涉及一种基于时空散斑结构光场的高精度动态实时三维成像系统。

背景技术：

1、人脸识别已经从二维人脸识别发展到三维人脸识别阶段，而三维人脸识别能否大规模应用取决于能否高效快速准确地获取三维人脸模型。近几年，光学三维测量方法得到了快速发展，其具有非接触、速度快等特点，这种方法通常将多张的特殊结构光场投射到被拍摄物体上，然后利用双目或者单目相机将被拍摄物体拍摄下来，通过计算还原出物体实际的三维结构信息。

2、目前，这种三维光学测量方法有多种实现途径，比如基于正弦条纹投影的三维测量方法，这种方式具有较高的测量精度，该方法采用的是dlp（digital light processing，数字光处理）或者lcos（liquid crystal on silicon，硅基液晶）作为正弦条纹投影设备，但是由于dlp和lcos价格高、体积大、功耗高等缺点，无法实现设备小型化改进，导致其无法大规模应用在三维人脸识别产品中。还有一种基于散斑投影的三维测量方法，该方法将特定编码的散斑图案刻蚀在投射器件模板上，用这种固定图案的投射器替代dlp或者lcos。该方案成本低、体积小，比如realsense深度相机与gemini光增强双目相机但是目前这些产品的建模精度都偏低，同样也无法满足三维人脸识别的要求。

技术实现思路

1、为了解决上述技术问题，本发明提供一种动态实时高精度三维成像系统，包括双目图像采集装置、三散斑投射模组与fpga实时计算系统；

2、三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；

3、fpga实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元；

4、散斑光场投影控制单元的输出端与三散斑投射模组的输入端电信号连接；双目图像成像控制单元的输出端与双目图像采集装置的控制输入端电信号连接；接口单元与同步控制单元电信号连接；接口单元用于输出物体三维数据与外部控制指令；

5、双目图像采集装置的输出端、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元、接口单元依次连接；接口单元连接有存储单元；存储单元存储校正参数；

6、三散斑投射模组工作时，刻蚀有三种散斑图片的玻璃膜片上的图案分时依次投影到被拍摄物体上，图像采集单元采集投射到被拍摄物体的三对带有散斑图案的图像，同时，双目图像成像控制单元控制双目图像采集装置工作，采集投射到被拍摄物体的三对带有散斑图案的图像，当三对散斑图像进入fpga实时计算系统后，经过极线校正单元、立体匹配单元、亚像素视差计算单元与视差后处理单元后，得到亚像素视差数据，然后通过接口单元将物体三维数据发送出去。

7、在上述技术方案的基础上，本发明还可以做如下改进。

8、进一步，三散斑投射模组包括依次设置的led光源、放大镜片、散斑模板与光学镜头；散斑模板上刻蚀有三种散斑图片的玻璃膜片；led光源发光时，光穿过放大镜片，将散斑模板上的图案通过光学镜头投影出去，在被拍摄物体表面形成散斑图案。

9、进一步，图像采集单元包括解码单元与串行/并行转换器；解码单元对双目图像采集装置采集的图像数据进行解码，由串行/并行转换器将串行数据转换为并行数据后，通过axi总线将转换后的图像数据存储至存储器的图像缓存区中。

10、进一步，在存储器中分配两块图像缓存区，当写入第一块图像缓存区后，从另一块缓存区读取图像数据。

11、进一步，极线校正单元包括第一极线校正子单元与第二极线校正子单元，对双目相机采集的两组散斑图像分别校正；校正过程中，上位机发送校正参数通过接口单元并存储在存储单元，第一极线校正子单元与第二极线校正子单元分别读取存储器中的校正参数对图像进行极线校正。

12、进一步，立体匹配单元包括初始代价计算单元与代价筛选单元；

13、初始代价计算单元从存储单元读取极线校正后的多行图像数据到fpga内部的ram中，然后将这多行图像数据读出到fpga的寄存器阵列中，按照census变换的方式进行流水线操作，得到census数据，然后将census数据输入到初始代价计算单元；初始代价计算单元内设置若干个计算子单元并行计算census数据，在每个计算子单元中完成数据的异或操作并统计结果为1的个数，并将结果输出到代价筛选单元；

14、代价筛选单元，用于找到初始代价计算单元输出的16组数据中的最小值，把最小值对应的坐标以及初始代价作为结果输出。

15、进一步，亚像素视差计算单元输入的数据为像素坐标和像素坐标对应的初始代价值，以及图像像素的初始代价值；

16、亚像素视差计算单元包括相邻代价缓存单元与亚像素视差计算子单元；

17、相邻代价缓存单元以初始代价计算单元输出的16组初始代价值和立体匹配单元立体匹配的结果作为输入，内部由三级流水线构成，输出为立体匹配的匹配点的初始代价值、坐标以及相邻像素的初始代价值；

18、亚像素视差计算子单元包括第一计算数据通道与第二计算数据通道；输入的数据为匹配点的坐标、匹配点坐标对应的初始代价值，以及相邻匹配点的初始代价值；

19、设相邻代价缓存单元的第三级流水线输出的第一相邻代价值为，相邻代价缓存单元的第三级流水线输出的中间代价值为，相邻代价缓存单元的第三级流水线输出的第二相邻代价值为，第一计算数据通道的输出值为path1，第二计算数据通道的输出值为path2，pdisp为中间量，l1refinecast为第一相邻代价值与中间代价值的差值，r1refinecast为第二相邻代价值与中间代价值的差值，为第一图像待匹配点坐标，相邻代价缓存单元输出的代价值对应的坐标为a坐标与b坐标，则：

20、；

21、；

22、；

23、则第一计算数据通道的输出值的计算公式为：

24、；

25、则第二计算数据通道的输出值的计算公式为：

26、；

27、将第一计算数据通道的输出值与第二计算数据通道的输出值进行比较得到最大值作为数据选择器的输出值。

28、进一步，视差后处理单元包括依次连接的缓存子单元、写控制状态机、行缓存器、读控制状态机、寄存器阵列与双边滤波器。

29、本发明的有益效果是：本发明能够提高建模精度与拍摄速度，三散斑投射模组的光投影结构，能够有效提高建模精度，满足三维人脸识别的要求，应用范围更广；采用双目图像采集装置能够保证三维成像装置拍摄速度；采用fpga实时计算系统能够实现设备小型化改进，能够保证大量数据实时并行计算能力。

技术特征：

1.一种动态实时高精度三维成像系统，其特征在于，包括双目图像采集装置、三散斑投射模组与fpga实时计算系统；

2.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，三散斑投射模组包括依次设置的led光源、放大镜片、散斑模板与光学镜头；散斑模板上刻蚀有三种散斑图片的玻璃膜片；led光源发光时，光穿过放大镜片，将散斑模板上的图案通过光学镜头投影出去，在被拍摄物体表面形成散斑图案。

3.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，图像采集单元包括解码单元与串行/并行转换器；解码单元对双目图像采集装置采集的图像数据进行解码，由串行/并行转换器将串行数据转换为并行数据后，通过axi总线将转换后的图像数据存储至存储器的图像缓存区中。

4.根据权利要求3所述一种动态实时高精度三维成像系统，其特征在于，在存储器中分配两块图像缓存区，当写入第一块图像缓存区后，从另一块缓存区读取图像数据。

5.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，极线校正单元包括第一极线校正子单元与第二极线校正子单元，对双目相机采集的两组散斑图像分别校正；校正过程中，上位机发送校正参数通过接口单元并存储在存储单元，第一极线校正子单元与第二极线校正子单元分别读取存储器中的校正参数对图像进行极线校正。

6.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，立体匹配单元包括初始代价计算单元与代价筛选单元；

7.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，亚像素视差计算单元输入的数据为像素坐标和像素坐标对应的初始代价值，以及图像像素的初始代价值；

8.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，视差后处理单元包括依次连接的缓存子单元、写控制状态机、行缓存器、读控制状态机、寄存器阵列与双边滤波器。

技术总结
本发明属于计算机视觉技术领域，涉及一种动态实时高精度三维成像系统，包括双目图像采集装置、三散斑投射模组与FPGA实时计算系统；三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；FPGA实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元。本发明能够提高建模精度与拍摄速度，三散斑投射模组的光投影结构，能够有效提高建模精度，满足三维人脸识别的要求，应用范围更广；采用双目图像采集装置能够保证三维成像装置拍摄速度；采用FPGA实时计算系统能够实现设备小型化改进，能够保证大量数据实时并行计算能力。

技术研发人员：姜启渭,邓仁彬,何梦园,范昌平,熊伟
受保护的技术使用者：成都万联传感网络技术有限公司
技术研发日：
技术公布日：2024/3/4