一种双目视觉自由立体显示系统的制作方法
【技术领域】
[0001]本发明属于图像处理技术领域，更具体地，涉及一种双目视觉自由立体显示系统。
【背景技术】
[0002]随着科技的进步，数字多媒体技术也不断发展，如今3D视频应用已出现在人们的生活中，例如在娱乐领域、军事领域及医疗领域等都能见其身影。观看一般立体视频时，人们需要佩戴红蓝眼镜或偏振光眼镜等辅助设备，当观看者观看久了会产生疲劳感，限制了立体视频显示技术的推广应用。
[0003]所谓自由立体显示技术，是指观看者在不需要任何辅助设备的条件下，直接观察显示器屏幕就能感知立体感的一种技术，即裸眼3D技术。自由立体显示系统主要包括视频信息的采集、编码、传输和显示这几个步骤。现有的自由立体显示系统在显示端需要多个视点的信息，这样在观看范围内，观看者左右眼能接收到两幅具有视差的图像，经过大脑的融合处理从而感知到立体感。
[0004]自由立体显示系统对实时性要求高，如何做到实时的显示是一难点。现有的自由立体显示系统不能完全做到真正的实时显示，都是先将采集好的视频利用PC软件的处理方式提取场景的深度信息，接着由深度信息生成立体视频并保存，最后对生成的立体视频进行播放。这种方式不能很好实现对场景信息的实时采集。而且常用的提取场景深度信息的方法以及由深度信息生成立体视频的方法都是比较耗时的，采用通用PC软件处理方式很难保证立体视频的实时性。
【发明内容】
[0005]针对现有技术的缺陷，并从成本和实用性方面考虑，本发明提供一种双目视觉自由立体显示系统，利用双目相机对现实场景进行采集，将采集得到的视频经由接口转换电路输出给FPGA加速电路，利用FPGA加速电路对采集到的视频数据逐帧地进行立体匹配、多视点生成及立体图像合成，并将合成的立体图像输出到自由立体显示器进行显示。本发明利用FPGA支持并行和流水处理的特性，对立体匹配、多视点生成、立体图像合成这些耗时的操作进行加速处理，以达到实时的自由立体显示，使观看者在不需要任何辅助设备的条件下，可以在自由立体显示器前方的较大范围内观看到连续、流畅的立体视频。实验验证本发明显示1920 X 1080分辨率的立体视频的帧速约为每秒30帧。
[0006]本发明提供一种双目视觉自由立体显示系统，包括:
[0007](权I)。
[0008]与现有技术相比，本发明具有以下优点:
[0009](I)利用双目相机对自然场景进行采集，接着将采集到的视频数据进行立体匹配处理得出视差信息，最后由基于深度图像的绘制(Depth-1mage-Based Rendering，DIBR)技术实现多视点的绘制，为自由立体显示提供多视点信息，采用这样的处理方法降低了系统的传输带宽、存储空间以及成本；
[0010](2)充分利用FPGA支持并行和流水处理的特性，将一些处理比较耗时的操作(例如立体匹配、多视点绘制及立体视频的合成)采用硬件来进行加速处理，大大提高系统处理速度，实现立体视频的实时显示；
[0011](3)系统的集成性高，利用FPGA实现整个与自由立体显示相关的处理，通过提供相应的视频数据，就能得到用于显示的立体视频；
[0012](4)系统的实用性好，相比其他加速方法(例如采用GPU)，FPGA不仅能实现并行处理，同时也降低系统的功耗，利用本发明进行自由立体显示比较方便。
【附图说明】
[0013]图1是本发明一种双目视觉自由立体显示系统结构示意图；
[0014]图2是本发明FPGA加速电路的硬件结构框图；
[0015]图3是本发明FPGA逻辑处理流程图；
[0016]图4是本发明FPGA解析LVDS差分信号的硬件实现图；
[0017]图5是本发明立体匹配处理流程图；
[0018]图6是本发明生成一幅虚视图的处理流程图；
[0019]图7是本发明合成立体图的处理流程图。
【具体实施方式】
[0020]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0021]图1所示为本发明实施例的双目视觉自由立体显示系统的结构示意图，包括双目相机1、接口转换电路2、FPGA加速电路3及自由立体显示器4。双目相机I对现实场景进行采集，并将左右相机采集到的视频通过HDMI接口传输到接口转换电路2。接口转换电路2包括HDMI接口、微控制器及LVDS接口。接口转换电路2的微控制器从HDMI接口接收视频，依据HDMI传输协议格式解析出其中所包含的视频数据，并按照LVDS传输协议格式将视频数据通过LVDS接口输出到FPGA加速电路3 JPGA加速电路3接收视频数据并逐帧进行处理，将合成的立体视频输出到自由立体显示器4进行显示。
[0022]图2所示为本发明实施例的FPGA加速电路3的结构框图。FPGA加速电路3包括信号输入接口、信号输出接口、处理器模块、存储模块及电源模块。信号输入接口接收的信号包括LVDS差分信号组及12V电源信号，其中LVDS差分信号组用于传输视频数据，12电源输入信号用于给FPGA加速电路3提供外部输入电源。信号输出接口输出的信号与信号输入接口类似，将LVDS差分信号组及12V电源信号传输给自由立体显示器4。处理器模块包括FPGA处理器、时钟电路及JTAG接口电路，其中，FPGA处理器用于一系列计算并生成立体视频，具体包括:双目视频数据解析、左右图像校正、立体匹配、多视点生成、立体图像合成和立体视频数据包装;时钟电路用于给FPGA处理器提供50M的外部时钟信号输入;JTAG接口电路用于FPAG处理器逻辑功能的调试和升级。在本发明实施例中，FPGA处理器选用Xilinx公司XC6SLX150或者类似的芯片，采用有源晶振SG8002CE芯片为FPGA处理器提供50M时钟信号，也可以采用其他类似的有源晶振实现。存储模块包括DDR2存储器及配置FLASH，其中DDR2存储器用于缓存视频数据以方便处理;配置FLASH用于存储FPGA处理器的配置数据，在系统上电时，FPGA处理器能自动从配置FLASH中读取配置数据从而进行处理。在本发明实施例中，设计配置电路时采用主模式中的SPI配置模式，采用M25P128这款SPI FLASH芯片，其容量为128M，也可以采用其他类似的FLASH芯片实现;DDR2存储器选用MT47H64M16HR-25E这款DDR2芯片，其容量为1Gb，也可以采用其他类似的DDR2芯片实现。电源模块包括12V转5V电路、5V转1.2V和
2.5V电路、5V转3.3V和1.8V电路、1.8V转0.9V电路，通过这些转换电路得到FPGA加速电路3各个模块工作所需要的电压。在本发明实施例中，首先将信号输入接口输入进来的12V电压转换成5V电压，接着将5V电压分别转换成3.3V、2.5V、1.8V和1.2V，最后将1.8V转换成0.9V。在本发明实施例中，12V转5V电路采用TPS54326PWP电源转换芯片，也可以采用类似的芯片实现;5V转2.5￥和1.2V电路采用LTC3546电源转换芯片，也可以采用类似的芯片实现;5V转
3.3V和1.8V电路采用LT3501电源转换芯片，也可以采用类似的芯片实现；1.8V转0.9V电路采用LTC3413电源转换芯片，也可以采用类似的芯片实现。
[0023]图3所示为本发明实施例的FPGA处理器进行逻辑处理的流程图。FPGA处理器接收视频数据并逐帧进行处理，每帧数据由双目相机拍摄得到的数据组成，即拍摄得到的左右两幅图像数据，其步骤如下:
[0024]步骤I从信号输入接口接收LVDS差分信号组，解析出其中的视频数据。本发明实施例中LVDS传输采用24位双像素模式，总共有2路差分信号，每路各包括4对数据差分信号和一对时钟差分信号。图4所示为本发明实施例的FPGA解析LVDS差分信号组的硬件实现图。因两路LVDS差分信号的时钟信号是同步的，没有相位偏移，因此在图4中只标出一对时钟差分信号，即CLK+和CLK-。每一对数据差分信号在一个时钟周期内，能传输7比特数据。LVDS差分信号经过接收器后转换成TTL电平信号，在实现时可将FPGA处理器内部的1资源配置成接收器。接收解析模块的输入时钟频率CLK_0UT是差分时钟接收器的输出时钟CLK_IN的7倍。当有数据到来时，接收解析模块在接下来7个时钟周期的每一个时钟周期输出从端口 AO?A7传输来的比特数据，即第一个时钟周期内将接收到的8比特数据分别从DO?D7这8个端口输出，第二个时钟周期内将接收到的8比特数据分别从D8?D15这8个端口输出，同理在接下来时钟周期内从相应的端口输出数据直到第7个时钟周期。
[0025]步骤2逐帧地对视频数据进行立体图像对校正操作。因双目相机的两相机没有绝对的水平放置，拍摄得到的左右图