的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块。
[0111]提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子。
[0112]匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息。
[0113]合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。
[0114]进一步地，还包括剔除模块，用于采用RANSAC算法剔除误匹配的特征点，并估计左右视图像素坐标映射模型。
[0115]进一步地，还包括遮挡修复模块，用于利用估计得到的左右视图像素坐标映射模型确定存在遮挡区时，对对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以实现遮挡区域的修复。
[0116]进一步地，还包括噪声修复模块，用于利用中值滤波器检测左右视图的噪声，并对噪声点加以标注后输出给合成模块。
[0117]显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显不ο
[0118]以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种两视点立体图像合成方法，其特征在于，包括:利用双移动行业处理器接口MIPI接口采集双视点图像； 对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据； 通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。2.根据权利要求1所述的两视点立体图像合成方法，其特征在于，该方法还包括:对述采集到的双视点图像进行视频驱动处理。3.根据权利要求1或2所述的两视点立体图像合成方法，其特征在于，所述对采集到的双视点图像进行匹配、合成处理包括: 利用两个并行执行的预览线程，分别提取出所述采集到的双视点图像中的左右视图每一帧图像的数据，再对其进行匹配、合成处理。4.根据权利要求3所述的两视点立体图像合成方法，其特征在于，所述进行匹配、合成处理包括: 在内存中注册用于照相机预览显示的专用缓冲区；从所述采集到的双视点图像中中获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中； 利用帧数据时间戳对获得的左右两路视频单帧数据进行同步处理； 将采集到的YUV格式的数据转换为RGB格式； 对格式转换后的左右视图进行图像平滑和尺寸变换处理； 采用尺度不变特征变换匹配算法SIFT特征匹配算法提取并匹配的经过图像平滑和尺寸变换处理后的左右视图的特征； 通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。5.根据权利要求4所述的两视点立体图像合成方法，其特征在于，所述图像平滑处理应用高斯低通滤波器实现。6.根据权利要求4所述的两视点立体图像合成方法，其特征在于，该方法还包括:利用随机取样一致性算法RANSAC剔除所述匹配后的左右视图的特征中的误匹配的特征点。7.根据权利要求4所述的两视点立体图像合成方法，其特征在于，所述像素排列方式为:以纵向列为单位，合成图的第一列排布左视图的第一列像素，合成图的第二列排布右视图的第一列像素；合成图的第三列排布左视图第二列像素，合成图的第四列排布右视图第二列像素，以此类推，直至左右视图像素完全排布进入合成图中。8.根据权利要求4或6所述的两视点立体图像合成方法，其特征在于，所述生成一帧可在光栅下显示的立体图像数据之前还包括:验证所述左右视图是否被遮挡，如果存在被遮挡，修复遮挡区域。9.根据权利要求8所述的两视点立体图像合成方法，其特征在于，所述修复遮挡区域包括:采用另一视图中像素点的灰度值修正对某一视图中对应的被异物遮挡的区域。10.根据权利要求8所述的两视点立体图像合成方法，其特征在于，该方法还包括:利用中值滤波器检测所述修复遮挡后的左右视图的噪声，并对噪声点加以标注； 对于确定为噪声的点进行噪声点修复。11.根据权利要求10所述的两视点立体图像合成方法，其特征在于，所述进行噪声修复包括:采用另一视点对应像素点的灰度值修正确认出的噪声点内各像素灰度值。12.—种两视点立体图像合成系统，其特征在于，至少包括采集单元、处理单元，以及显示单元；其中， 采集单元，用于利用双MIPI接口采集双视点图像； 处理单元，用于对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据并输出给显示单元； 显示单元，用于通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显/j、l Ο13.根据权利要求12所述的两视点立体图像合成系统，其特征在于，所述采集单元至少包括两路具有ΜΙΡΙ接口的后置摄像头，分别用于采集左右两路视图； 两路摄像头分别挂载在不同的1?总线上，采用独立的数据线路与内存和中央处理器交互，并利用每一帧图像的时间戳进行帧同步。14.根据权利要求13所述的两视点立体图像合成系统，其特征在于，所述摄像头的为Omnivis1n 公司的 0V5640 芯片。15.根据权利要求13所述的两视点立体图像合成系统，其特征在于，所述采集单元还包括摄像头驱动模块，用于对采集到的两路视图进行驱动处理后输出给处理单元。16.根据权利要求15所述的两视点立体图像合成系统，其特征在于，所述摄像头驱动模块采用V4L2视频驱动框架来实现。17.根据权利要求12所述的两视点立体图像合成系统，其特征在于，所述处理单元至少包括预处理模块、提取模块、匹配模块，合成模块；其中， 预处理模块，用于在内存中注册用于照相机预览显示的专用缓冲区；获取左右两路视频单帧数据，并将其分别存放到专用缓冲区中；同时，利用帧数据时间戳功能进行软件同步；将采集到的YUV格式的数据转换为RGB格式；对格式转换后的左右视图进行图像平滑和尺寸变换处理后输出给提取模块； 提取模块，用于采用SIFT特征匹配算法提取预处理后的左右视图的特征，生成32维度的SIFT特征描述子； 匹配模块，用于采用SIFT特征匹配算法匹配提取的左右视图的特征，将右视图中欧式距离最近的点作为当前左视图SIFT关键点的匹配点，记录匹配点对的坐标信息； 合成模块，用于通过预先设置的特定的像素排列方式对左右视图像素点进行排列，生成一帧可在光栅下显示的立体图像数据。18.根据权利要求17所述的两视点立体图像合成系统，其特征在于，还包括剔除模块，用于采用RANSAC算法剔除误匹配的特征点，并估计左右视图像素坐标映射模型。19.根据权利要求18所述的两视点立体图像合成系统，其特征在于，还包括遮挡修复模块，用于利用估计得到的左右视图像素坐标映射模型确定存在遮挡区时，对对某一视图中被异物遮挡的区域用另一视图对应像素点的灰度值修正，以实现遮挡区域的修复。20.根据权利要求19所述的两视点立体图像合成系统，其特征在于，还包括噪声修复模块，用于利用中值滤波器检测左右视图的噪声，并对噪声点加以标注后输出给合成模块。
【专利摘要】本发明公开了一种两视点立体图像合成方法及系统，包括利用双MIPI接口采集双视点图像；对采集到的双视点图像进行匹配、合成处理，生成两视点立体图像数据；通过狭缝光栅前置LED立体显示器实现对两视点立体图像的裸眼显示。本发明中的匹配提取的左右视图的特征更能有效地应对了“焦距突变”等移动终端拍摄时经常遇到的图像突变问题，增强了匹配稳定性、提高抗噪声能力，从而显示出高质量的立体图像。
【IPC分类】H04N13/00, H04N13/04
【公开号】CN105430368
【申请号】CN201410489839
【发明人】侯春萍, 刘佳杰, 李飞, 胡文迪
【申请人】中兴通讯股份有限公司
【公开日】2016年3月23日
【申请日】2014年9月22日
【公告号】WO2016045425A1