处理第y+Ι行，立体图像生成单元2 处理第y+2行。合成控制器的图像像素点频率是像素计数器时钟频率的3倍，即每个像素计 数器的计数piex_num持续的时间内，完成3个像素和交错合成。最后一个3行交错合成完成 时，即可得到1920 X 1080像素数据。
[0044]输出缓存为一个深度为1920 X 1080(立体图大小）、宽度为24(立体图颜色深度位 数，与原始图一致)位的R0M，接收来自数据开关1~9的中的虚拟视点图像数据。当数据写满 后即为合成后的立体图像的数据流，按照时序排列封装输出，即可得到实时的立体图像显 不。
[0045]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种实时立体图像生成系统，包括多视点生成模块、缓存模块和立体图像合成模块， 其特征在于： 所述多视点生成模块包括N个并行的基于深度图像绘制处理单元，其中N=x2，x为大于1 的正整数，每一所述基于深度图像绘制处理单元根据原始图和视差图生成虚拟视点图像并 发送至所述缓存模块中，同时发送指示所述虚拟视点图像绘制完成的信号至所述立体图像 合成模块； 所述缓存模块包括N个并行的双端口双缓存单元，分别接收并存储所述多视点生成模 块生成的N个所述虚拟视点图像，其中每一双端口双缓存单元包括两个深度为所述虚拟视 点图像宽度、位宽与所述原始图的颜色深度一致的双端口 RAM，所述两个双端口 RAM组成双 缓冲结构来实现乒乓操作，以实现对所述虚拟视点图像的流水处理；以及 所述立体图像合成模块包括像素计数器及立体图像生成单元，所述像素计数器接收所 述指示虚拟视点图像绘制完成的信号后，将其计数作为地址输入到所述缓存模块，所述立 体图像生成单元从所述缓存模块中读取地址为所述计数的存储单元所存储的虚拟视点图 像数据，将所述N个虚拟视点图像合成为1个立体图像进行输出。2. 如权利要求1所述的实时立体图像生成系统，其特征在于，所述每个基于深度图像绘 制处理单元包括： 视点映射模块，包括坐标计算单元、zbuf缓存单元和视差查找单元，所述坐标计算单元 依据各像素点在所述视差图中的灰度值计算出所述各像素点在所述虚拟视点图像中对应 的坐标值，逐行地完成从参考视点到虚拟视点的映射;所述zbuf缓存单元由2个深度为所述 虚拟视点图像宽度，位宽为所述视差图灰度位数的单端口 RAM组成，用于存储zbuffer算法 结果;所述视差查找单元由一个容量与所述视差图的像素灰度级数一致的ROM构成，用于完 成从视差值到视差函数的计算； 空洞标记缓存模块，由两个深度为所述虚拟视点图像宽度、位宽为1位的双端口 RAM组 成，用于存储非空洞标记； 虚视点缓存模块，由两个深度为所述虚拟视点图像宽度、位宽与所述原始图颜色深度 一致的双端口 RAM组成，用于存储所述视点映射模块完成映射后的所述虚拟视点图像数据， 其中，所述两个双端口RAM组成双缓冲结构来实现乒乓操作；以及 空洞填补模块，包括空洞修复单元和空洞查找单元，所述空洞查找单元读取所述空洞 标记缓存模块存储的所述非空洞标记，并将所述原始图中非空洞像素的坐标值输出给所述 空洞修复单元，所述空洞修复单元依据所述坐标值进行空洞填补。3. 如权利要求2所述的实时立体图像生成系统，其特征在于，所述坐标计算单元根据基 于深度图像绘制算法得到的简化等价公式计算得到所述虚拟视点图像，所述简化等价公式 为： VIR_n(uO+DEEP(DIS(uO,vO)) Xn,vO)=ORI(uO,vO) 其中，￥11?_11表示所述虚拟视点图像的像素矩阵，ORI (uO，vO)表示所述原始图的像素矩 阵;所述原始图n = 0,所述原始图相邻左侧m个虚拟视点图像η = -1~-m，所述原始图相邻右 侦Uy个虚拟视点图像n= 1~m，m为整数，当N为奇数时m= (N-1 )/2，当N为偶数时m=N/2 ;u0、 vO分别表示所述原始图中像素点的横纵坐标;DIS (uO，vO)表示坐标点(uO，vO)点的视差值， DEEP (DIS (uO，vO))表示坐标点(uO，vO)点的深度值。4. 如权利要求2或3所述的实时立体图像生成系统，其特征在于，所述zbuffer算法为根 据所述坐标计算单元从所述视差图某像素点计算出的坐标结果，读取并判断所述zbuf缓存 单元里地址为所述坐标结果的单元是否已经存在视差记录，如果存在，则将所述zbuf缓存 单元里的视差与当前计算所采用的视差进行比较，将视差较小的像素点所在坐标作为所述 虚拟视点图像中所述某像素点的来源点坐标，并在所述zbuf缓存单元里地址为所述坐标结 果的单元里记录下计算所采用的视差值。5. 如权利要求2或3所述的实时立体图像生成系统，其特征在于，所述视点映射模块以 行为单位生成所述虚拟视点图像数据，每生成所述虚拟视点图像中一行数据，将正确映射 的各像素点的像素值存入所述虚视点缓存模块中，同时将所述非空洞标记存入所述空洞标 记缓存模块中。6. 如权利要求1所述的实时立体图像生成系统，其特征在于，所述立体图像合成模块包 括： 像素计数器，接收到N个所述指示虚拟视点图像绘制完成的信号后，其计数在每个时钟 周期增加1并发送至立体图像生成单元，其中所述计数表示当前要合成子像素的位置序数； 以及 多个所述立体图像生成单元，每个所述立体图像生成单元包括合成控制器、多路选择 器、N个数据开关和输出缓存，所述合成控制器将所述像素计数器发送的所述计数输入合成 表进行查询，所述合成控制器还将所述计数作为地址输入到所述缓存模块，所述合成表根 据所述计数输出视图索引序号至所述多路选择器，所述多路选择器发送使能信号至所述N 个数据开关中与所述视图索引序号对应的一个，被使能的所述数据开关将从所述缓存模块 中读取地址为所述计数的存储单元所存储的所述虚拟视点图像数据发送至所述输出缓存， 所述输出缓存的数据写满后按照时序排列封装输出，即得到实时的所述立体图像进行输 出。7. 如权利要求6所述的实时立体图像生成系统，其特征在于，所述合成控制器将所述计 数作为地址发送到所述缓存模块的每一双端口双缓存单元的输出端口一侧的地址线上。8. 如权利要求6或7所述的实时立体图像生成系统，其特征在于，所述合成表由一个深 度为所述虚拟视点图像宽度X高度、宽度为N位的ROM构成，其内容由公式:确定，其中X表示子像素横坐标;y表示所述子像素纵坐标;a表示 柱镜光栅倾斜角;A表示所述柱镜光栅跨过的子像素数目。9. 如权利要求6或7所述的实时立体图像生成系统，其特征在于，多个所述立体图像生 成单元分别并行对三行数据进行交错合成，第一立体图像生成单元对第y行的像素数据进 行交错时，第二立体图像生成单元处理第y+Ι行，第三立体图像生成单元处理第y+2行，以此 类推。10. 如权利要求6或7所述的实时立体图像生成系统，其特征在于，所述合成控制器的图 像像素点频率是所述像素计数器时钟频率的k倍，k为所述立体图像生成单元的个数。
【专利摘要】本发明公开了一种实时立体图像生成系统，属于图像处理技术领域。本发明包括多视点生成模块、缓存模块与立体图像合成模块。其中多视点生成模块由N个并行的基于深度图像绘制处理单元构成，根据原始图和视差图信息生成N个虚拟视点图像。生成的虚拟视点图像数据分别存放到缓存模块的N个双端口双缓存单元中。立体图像合成模块从缓存模块读取虚拟视点图像数据，将N个虚拟视点图像合成一幅立体图像，用于柱镜光栅自由立体显示器进行显示。本发明利用了FPGA支持并行和流水处理的特性，提高了立体图像生成的速度，提高系统处理实时性。
【IPC分类】H04N13/00
【公开号】CN105611271
【申请号】CN201510967607
【发明人】李开, 曹计昌, 杨江, 陈奕鸿, 纪坤, 李展, 王照清
【申请人】华中科技大学
【公开日】2016年5月25日
【申请日】2015年12月18日