一种两视点立体图像合成方法及系统的制作方法
【技术领域】
[0001]本发明涉及立体成像技术，尤指一种两视点立体图像合成方法及系统。
【背景技术】
[0002]人类获取信息最有效的渠道是通过视觉。由于人的双眼看到的是自然界中真实的三维景物，因此，能够在屏幕上再现真实的三维景物一直是人类追求的目标。立体成像技术就是基于这样的需求逐步发展起来的，可以用于科研、军事、教育、工业、医疗等诸多领域。通过立体成像技术，可以记录、传输和显示立体彩色图像，使观众产生身临其境的感觉。
[0003]空间复用方式立体成像技术是将立体图像对同时显示在屏幕上，通过一些特殊的手段，使两眼分别同时观看到不同的画面，从而获得立体感。从光学原理上讲，不戴眼镜而利用各种光学面即可观看到立体图像，被称为双视点自由立体(auto-stereoscopic)显示方式。常用的光学面包括:透镜柱板(Lenticular Plate)、视差栅栏(Parallax Barrier)、光栅阵列(IP Lens Array)等。对于双视点自由立体显示方式,一般情况下,通过在CRT显示器或者平板显示器前加入透镜柱面或者视差栅栏，控制各像素光线的射出方向，使左视点的图像仅射入左眼，右视点的图像仅射入右眼，利用双目视差，产生立体视觉。
[0004]透镜柱面由一排垂直排列的半圆形柱面透镜组成，利用每个柱面镜头对光的折射作用，把两幅不同的平面图像导向双眼分别对应的视域，使左眼图像聚焦于观看者左眼，右眼图像聚焦于观看者右眼，由此来产生立体视觉。
[0005]视差栅栏是安装在显示前方的垂直平板，对每只眼睛，它都阻挡了屏幕的一部分，使左视点所有像素的光线均射入左眼视域，右视点所有像素的光线均射入右眼视域。视差档板的作用类似透镜柱面，区别在于它是利用档板挡住部分像素显示，而不是通过折射改变方向。
[0006]图1为现有狭缝前置式IXD自由立体显示器的结构示意图，如图1所示，将狭缝光栅置于液晶屏前适当位置，狭缝会遮挡人眼的部分视线。人眼透过狭缝光栅观看液晶屏，由于狭缝光栅的遮挡，人的单眼透过一条狭缝只能观看到一列像素。比如，右眼只能看到Rn列像素，左眼只能看到Ln列像素。如果Rn列像素与Ln列像素分别显示右眼和左眼的图像，那么，人眼观看此图像会在大脑中形成立体图像。
[0007]立体视频最终通过移动屏幕显示，让人的左右眼分别观看到具有一定视差的两个视图，从而使人脑恢复出视图中的三维信息。考虑到移动终端的显示屏幕较小、电池驱动等特点，采用两个视点足以满足观看的需要。
[0008]现有技术中，存在利用单摄像头完成立体图像采集显示的方案，方法是对单帧图像进行人工地视差平移，产生出另一张与其视差不同的图像，再将这两张图像用于立体合成。由于人工模拟的视差只是单纯地对图像进行左右整体平移而不改变图像中各景深景物的相对距离，其立体显示效果不佳；此外，由于采集时只使用一路摄像头，当出现摄像头被遮挡或是图像噪声较大的情况时，会对立体图像的质量产生较大影响。而且，在移动终端在摄像头被遮挡、采集的立体图像素材噪声较大的情况下，不能以较快的速度采集、合成、显示出高质量的立体图像。
【发明内容】
[0009]为了解决上述技术问题，本发明提供一种两视点立体图像合成方法及系统，能够克服图像突变问题，增强匹配稳定性、提高抗噪声能力，从而显示出高质量的立体图像。
[0010]为了达到本发明目的，本发明提供了一种两视点立体图像合成方法，包括:利用双移动行业处理器接口 MIPI接口采集双视点图像；
[0011]对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；
[0012]通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。
[0013]该方法还包括:对述采集到的双视点图像进行视频驱动处理。
[0014]所述对采集到的双视点图像进行匹配、合成处理包括:
[0015]利用两个并行执行的预览线程，分别提取出所述采集到的双视点图像中的左右视图每一帧图像的数据，再对其进行匹配、合成处理。
[0016]所述进行匹配、合成处理包括:
[0017]在内存中注册用于照相机预览显示的专用缓冲区；从所述采集到的双视点图像中中获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；
[0018]利用帧数据时间戳对获得的左右两路视频单帧数据进行同步处理；
[0019]将采集到的YUV格式的数据转换为RGB格式；
[0020]对格式转换后的左右视图进行图像平滑和尺寸变换处理；
[0021]采用尺度不变特征变换匹配算法SIFT特征匹配算法提取并匹配的经过图像平滑和尺寸变换处理后的左右视图的特征；
[0022]通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。
[0023]所述图像平滑处理应用高斯低通滤波器实现。
[0024]该方法还包括:利用随机取样一致性算法RANSAC剔除所述匹配后的左右视图的特征中的误匹配的特征点。
[0025]所述像素排列方式为:以纵向列为单位，合成图的第一列排布左视图的第一列像素，合成图的第二列排布右视图的第一列像素；合成图的第三列排布左视图第二列像素，合成图的第四列排布右视图第二列像素，以此类推，直至左右视图像素完全排布进入合成图中。
[0026]所述生成一帧可在光栅下显示的立体图像数据之前还包括:验证所述左右视图是否被遮挡，如果存在被遮挡，修复遮挡区域。
[0027]所述修复遮挡区域包括:采用另一视图中像素点的灰度值修正对某一视图中对应的被异物遮挡的区域。
[0028]该方法还包括:利用中值滤波器检测所述修复遮挡后的左右视图的噪声，并对噪声点加以标注；
[0029]对于确定为噪声的点进行噪声点修复。
[0030]所述进行噪声修复包括:采用另一视点对应像素点的灰度值修正确认出的噪声点内各像素灰度值。
[0031]本发明还提供了一种两视点立体图像合成系统，至少包括采集单元、处理单元，以及显示单元；其中，
[0032]采集单元，用于利用双MIPI接口采集双视点图像；
[0033]处理单元，用于对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据并输出给显示单元；
[0034]显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显不ο
[0035]所述采集单元至少包括两路具有ΜΙΡΙ接口的后置摄像头，分别用于采集左右两路视图；
[0036]两路摄像头分别挂载在不同的I2C总线上，采用独立的数据线路与内存和中央处理器交互，并利用每一帧图像的时间戳进行帧同步。
[0037]所述摄像头的为Omnivis1n公司的0V5640芯片。
[0038]所述采集单元还包括摄像头驱动模块，用于对采集到的两路视图进行驱动处理后输出给处理单元。
[0039]所述摄像头驱动模块采用V4L2视频驱动框架来实现。
[0040]所述处理单元至少包括预处理模块、提取模块、匹配模块，合成模块；其中，
[0041]预处理模块，用于在内存中注册用于照相机预览显示的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块；
[0042]提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子；
[0043]匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息；
[0044]合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。
[004