一种3D视频帧特征点提取的方法及系统与流程

文档序号:13886806阅读:470来源:国知局
本发明涉及图像处理领域,具体为3d视频帧特征点提取。
背景技术
:立体视频,即3d视频,其可以通过特殊的装置在观看时呈现立体效果,常见的立体视频包括左右、右左、上下、下上四种类型;特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点;特征匹配指通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系以及相似性和一致性的分析,寻求相似影像目标的方法。sift:scale-invariantfeaturetransform,是一种检测局部特征的算法,该算法通过求一幅图中的特征点及其有关缩放和方向的描述子,得到特征并进行图像特征点匹配。sift特征不只具有尺度不变性,即使改变旋转角度,图像亮度或拍摄视角,仍然能够得到好的检测效果。然而,传统的特征点搜索和匹配如sift是针对图片做全局的特征计算和全局搜索匹配,现有的技术方案只是将传统使用的特征点提取和匹配的方法用于3d视频帧中,没有将3d视频的一些先知特征充分利用,主要劣势在于庞大的计算量,sifi算法为了提高特征点的匹配,使其具有其对旋转、尺度缩放、亮度变化保持不变性,采用了常见的图像金字塔模式,将原有图像进行缩放分层,并对各层进行特征提取,其计算量大。sift是一种优秀的特征提取和匹配的方法,但在3d视频中特征点的提取和匹配中,无法发挥其优势。另一方面,视频中的视频帧各种各样,传统的特征提取并未在特征提取和匹配前对该帧的特征丰富度做处理,遇到图像颜色单一的视频帧用传统的方法无法提取到足够的特征点。综上,该技术有必要进行改进。技术实现要素:为了解决上述技术问题,本发明的目的是提供一种可以快速且准确提取3d视频帧特征点的方法及系统。本发明所采用的技术方案是:本发明提供一种3d视频帧特征点提取的方法,其包括以下步骤:从待处理视频中获取一帧图像,并将所述图像分别沿着竖直中线、水平中线进行分割;分别统计竖直分割后左、右两幅图像的灰度直方图以及水平分割后上、下两幅图像的灰度直方图,并分别进行灰度直方图匹配计算;通过比较灰度直方图匹配计算结果,得出所述图像的类型;若所述图像类型为2d,则重新从待处理视频中获取一帧图像,并重复上述步骤;若所述图像类型为3d,则将所述图像沿着其对称线进行分割,得到第一半图像和第二半图像;分别将第一半图像和第二半图像分为n等份;通过求解第一半图像的各等份的特征点,进而可得第二半图像中相应的特征匹配点。其中,所述方法还包括:对所述图像进行灰度化处理,统计所述图像中纯色区域所占的比例;当纯色区域所占比例大于预设阈值时,则重新从所述视频中获取一帧图像;当纯色区域所占的比例小于预设阈值时,则将所述图像分别沿着竖直中线、水平中线进行分割。作为该技术方案的改进,所述预设阈值的范围为0.1~0.9。作为该技术方案的改进,所述灰度直方图匹配计算采用以下公式:其中,h1、h2分别为沿着中线分割后的两幅图像的灰度;i为像素种类。进一步地,所述步骤通过比较灰度直方图匹配计算结果,得出所述图像的类型,其包括将所得左、右两幅图像的灰度直方图匹配计算结果与上、下两幅图像的灰度直方图匹配计算结果进行比较,其中匹配计算结果越小,则其图像相似性越高。进一步地,所述步骤通过比较灰度直方图匹配计算结果,得出所述图像的类型,其还包括将所述灰度直方图匹配计算结果与预设匹配阈值进行比较,若所述灰度直方图匹配计算结果小于预设匹配阈值,则输出相应的图像类型。进一步地,若左、右两幅图像的灰度直方图匹配计算结果大于上、下两幅图像的灰度直方图匹配计算结果,且所述上、下两幅图像的灰度直方图匹配计算结果小于预设匹配阈值,则所述图像类型输出为3d上下/3d下上。进一步地,所述预设匹配阈值为0.1。进一步地,其中,对各个点采用以下公式以进行特征点求解:g(x,y)=f(x-1,y-1)+f(x,y-1)+f(x,y+1)+f(x-1,y)+f(x+1,y)+f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)-8*f(x,y)其中,f(x,y)表示输入图像的函数;g(x,y)为点(x,y)处图像变化率值。进一步地,所述方法包括判断所得图像变化率极值是否位于图像的边缘,若是,则剔除该点以及其匹配点。进一步地,剔除位于图像边缘的极值点后,选取此时的图像变化率最大值所对应的点以及其相应匹配点,即为所述图像的特征点。另一方面,本发明还提供一种3d视频帧特征点提取的系统,包括:分割模块,用于执行步骤从待处理视频中获取一帧图像,并将所述图像分别沿着竖直中线、水平中线进行分割;计算模块,用于执行步骤分别统计竖直分割后左、右两幅图像的灰度直方图以及水平分割后上、下两幅图像的灰度直方图,并分别进行灰度直方图匹配计算;通过比较灰度直方图匹配计算结果,得出所述图像的类型;若所述图像类型为2d,则重新从待处理视频中获取一帧图像,并重复上述步骤;特征点求解模块,用于执行步骤若所述图像类型为3d,则将所述图像沿着其对称线进行分割,得到第一半图像和第二半图像;分别将第一半图像和第二半图像分为n等份;通过求解第一半图像的各等份的特征点,进而可得第二半图像中相应的特征匹配点。进一步地,其还包括灰度处理模块,用于执行步骤对所述图像进行灰度化处理,统计所述图像中纯色区域所占的比例;当纯色区域所占比例大于预设阈值时,则重新从所述视频中获取一帧图像;当纯色区域所占的比例小于预设阈值时,则将所述图像分别沿着竖直中线、水平中线进行分割。进一步地,其还包括边缘特征点判断模块,用于执行步骤判断图像变化率极值是否位于图像的边缘,若是,则剔除该点以及其匹配点;剔除位于图像边缘的极值点后,选取此时的图像变化率最大值所对应的点以及其相应匹配点,即为所述图像的特征点。本发明的有益效果是:本发明提供的3d视频帧特征点提取的方法及系统,通过充分利用3d视频本身的对称特征条件,将图像进行分割,通过其中一半图像特征点的求解及提取,进而快速提取另一半图像的匹配特征点。采用该方案,可以快速准确的从3d视频帧中提取特征点,并进行特征匹配,其改善了传统的特征提取和匹配计算量大、准确度不够的问题,为视频视差计算、视频反视计算等问题提供技术基础。附图说明下面结合附图对本发明的具体实施方式作进一步说明:图1是本发明第一实施例的控制流程示意图;图2a、2b分别为本发明第二实施例的3d左右视频、3d上下视频的示意图;图3为本发明第三实施例的3d图像左右分割示意图;图4为本发明第四实施例的图像处理示意图;图5为本发明第五实施例的3d图像上下分割示意图;图6为本发明第六实施例的模块连接示意图。具体实施方式需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。参照图1,是本发明第一实施例的控制流程示意图。本发明提供一种3d视频帧特征点提取的方法,其包括以下步骤:从待处理视频中获取一帧图像,并将所述图像分别沿着竖直中线、水平中线进行分割;分别统计竖直分割后左、右两幅图像的灰度直方图以及水平分割后上、下两幅图像的灰度直方图,并分别进行灰度直方图匹配计算;通过比较灰度直方图匹配计算结果,得出所述图像的类型;所述图像的类型包括2d、3d上下/下上、3d左右/右左等。若所述图像类型为2d,则重新从待处理视频中获取一帧图像,并重复上述步骤;若所述图像类型为3d,则将所述图像沿着其对称线进行分割,得到第一半图像和第二半图像;如若其为3d上下/下上,则沿着水平中线进行分割。分别将第一半图像和第二半图像分为n等份;其中,n越大则分割的越多。通过求解第一半图像的各等分图像内的特征点,根据3d图像的对称性,进而可直接快速得到第二半图像中相应的特征匹配点。其中,所述方法还包括:对所述图像进行灰度化处理,统计所述图像中纯色区域所占的比例;当纯色区域所占比例大于预设阈值时,则重新从所述视频中获取一帧图像;当纯色区域所占的比例小于预设阈值时,则将所述图像分别沿着竖直中线、水平中线进行分割。作为该技术方案的改进,所述预设阈值的范围为0.1~0.9。其中,优选的采用0.9,使得保障了图像的色彩复杂度,保证了待处理图像色彩丰富度,使得图像中有足够的特征丰富度。作为该技术方案的改进,所述灰度直方图匹配计算采用以下公式:其中,h1、h2分别为沿着中线分割后的两幅图像的灰度;i为像素种类。进一步地,所述步骤通过比较灰度直方图匹配计算结果,得出所述图像的类型,其包括将所得左、右两幅图像的灰度直方图匹配计算结果与上、下两幅图像的灰度直方图匹配计算结果进行比较,其中匹配计算结果越小,则其图像相似性越高。进一步地,所述步骤通过比较灰度直方图匹配计算结果,得出所述图像的类型,其还包括将所述灰度直方图匹配计算结果与预设匹配阈值进行比较,若所述灰度直方图匹配计算结果小于预设匹配阈值,则输出相应的图像类型。所述图像类型包括2d、3d上下、3d左右等。进一步地,若左、右两幅图像的灰度直方图匹配计算结果大于上、下两幅图像的灰度直方图匹配计算结果,且所述上、下两幅图像的灰度直方图匹配计算结果小于预设匹配阈值,则所述图像类型输出为3d上下/3d下上。进一步地,所述预设匹配阈值为0.1。当所述匹配计算结果均大于0.1时,则输出为2d图像,则返回重新选取图像,重复上述步骤;若至少有一个灰度直方图匹配计算结果小于0.1,则其为3d图像,通过判断上、下两幅图像的灰度直方图匹配计算结果与左、右两幅图像的灰度直方图匹配计算结果的大小,以小的结果,则说明其两半图像的相似度更高,则输出其相应的3d图像类型。进一步地,其中,对各个点采用以下公式以进行特征点求解:g(x,y)=f(x-1,y-1)+f(x,y-1)+f(x,y+1)+f(x-1,y)+f(x+1,y)+f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)-8*f(x,y)其中,f(x,y)表示输入图像的函数;g(x,y)为点(x,y)处图像变化率值。进一步地,所述方法包括判断所得图像变化率极值是否位于图像的边缘,若是,则剔除该点以及其匹配点。进一步地,剔除位于图像边缘的极值点后,选取剔除后此时的图像变化率最大值所对应的点的坐标以及其相应匹配点,即为所述图像的特征点。参照图2a、2b所示,3d视频作为一种特殊的视频,画面显示特殊,3d视频分为左右/右左和上下/下上两大类,3d左右/右左视频画面左右对称,3d上下/下上视频画面上下对称,这一预知的特征是3d视频特征点提取和匹配的基础。作为一实施例,所述步骤包括:1.从待处理视频中解码获取一帧图像,并将图像进行灰度化处理,统计图像中纯色(纯黑或纯白等)所占比例,当纯色比例大于阈值时,重新从视频中获取图像,增加此步骤可以保证待处理图像色彩丰富度,保证图像中有足够的特征丰富度。2.对待处理图像进行分割,首先以垂直中间线分割为左右两幅图片,统计两幅图像的灰度直方图,并进行灰度直方图匹配。灰度直方图是对图像中各像素的灰度值的分布进行统计,统计每个灰度值出现的频率,灰度直方图匹配采用公式1进行计算,计算左右图像灰度直方图匹配结果dlr,同样的方式计算上下图像的灰度直方图dtd,结果越小表示两幅图的相似度越高,nd为灰度直方图匹配阈值,其可任意调整,优选的,所述匹配阈值为0.1,其中根据表1输出处理图像的处理结果:表1计算结果输出图像类型dlr>nd,dtd<nd3d上下dlr<nd,dtd>nd3d左右dlr>nd,dtd>nd2ddlr<nd,dtd<nd,dlr<dtd3d左右dlr<nd,dtd<nd,dtd<dlr3d上下将所得左、右两幅图像的灰度直方图匹配计算结果与上、下两幅图像的灰度直方图匹配计算结果进行比较,其中匹配计算结果越小,则其图像相似性越高。其还包括将所述灰度直方图匹配计算结果与预设匹配阈值进行比较,若所述灰度直方图匹配计算结果小于预设匹配阈值,则输出相应的图像类型。若左、右两幅图像的灰度直方图匹配计算结果大于上、下两幅图像的灰度直方图匹配计算结果,且所述上、下两幅图像的灰度直方图匹配计算结果小于预设匹配阈值,则所述图像类型输出为3d上下/3d下上。若两个灰度直方图匹配计算结果均小于预设匹配阈值,且dlr<dtd,则其属于3d左右。所述灰度直方图匹配计算采用以下公式:其中,h1、h2分别为沿着中线分割后的两幅图像的灰度;i为像素种类。3.根据步骤2所得到的结果进行计算,以3d左右为例进行特征点的求解,对图像左右分别进行切割,切割方式如图3所示,将左边图像和右边图像平均分割成n等分,n越大代表所求特征点越多,本例中n=9,由于3d左右图像具有严格意义上的左右对称,因此在a中的某一处的特征点在a1中的局部范围内也存在。对切分的每个模块进行求其特征点,对每个点使用公式2进行求解:g(x,y)=t[f(x,y)](2)其中f(x,y)是输入图像,g(x,y)是输出图像,t是在点(x,y)的邻域上定义的一种算子,此处使用的是以下矩阵掩膜进行处理,求解上下、左右、对角线等各方向的变化最大的数值,寻找变化率最大的图像极值点,对矩阵展开表示为如下公式3:其中,f(x,y)表示输入图像的函数;g(x,y)为点(x,y)处图像变化率值。参照图4,为本发明第四实施例的图像处理示意图。图像a中从原点开始,从一个像素向另一个像素移动,对图像中的每一个像素使用公式3,并输出该位置产生的运算结果,这样对于任意一个输入(x,y),都会对应的产生g(x,y),然后求解该图像中g(x,y)最大的值gmax(a),并记录当前的位置a(x,y),若g(x,y)位于图像边界,则踢除,记录对应的位置坐标,同理在图像a1中进行类似的运算,寻找对应的最大值gmax(a1)和对应的坐标a1(x,y)。若a中进行了踢除操作,在a1中需要进行同样的踢除操作。剔除后,再次寻找图像中g(x,y)最大的值gmax(a),并记录当前的位置a(x,y),以及其匹配点a1(x,y)。此时所得的a(x,y)和a1(x,y)即为所求的对应特征值的坐标,同理可求出其他分割图像中对应的特征点和相应的特征匹配点。通过求解各分区域内点的图像变化率值g(x,y),并找出极值,通过删除位于图像分割线边缘的极值点,再次比较图像变化率值g(x,y),找出的极值所对应的位置即为特征点的位置。对于图像类型为3d上下模式时,处理方式与上述方式类似,将对应的分割方式按照如图5所示的上下分割,同样的求解方法在对应的匹配区域输出a(x,y)和a1(x,y)。参照图6,另一方面,本发明还提供一种3d视频帧特征点提取的系统,包括:分割模块,用于执行步骤从待处理视频中获取一帧图像,并将所述图像分别沿着竖直中线、水平中线进行分割;计算模块,用于执行步骤分别统计竖直分割后左、右两幅图像的灰度直方图以及水平分割后上、下两幅图像的灰度直方图,并分别进行灰度直方图匹配计算;通过比较灰度直方图匹配计算结果,得出所述图像的类型;若所述图像类型为2d,则重新从待处理视频中获取一帧图像,并重复上述步骤;特征点求解模块,用于执行步骤若所述图像类型为3d,则将所述图像沿着其对称线进行分割,得到第一半图像和第二半图像;分别将第一半图像和第二半图像分为n等份;通过求解第一半图像的各等份的特征点,进而可得第二半图像中相应的特征匹配点。进一步地,其还包括灰度处理模块,用于执行步骤对所述图像进行灰度化处理,统计所述图像中纯色区域所占的比例;当纯色区域所占比例大于预设阈值时,则重新从所述视频中获取一帧图像;当纯色区域所占的比例小于预设阈值时,则将所述图像分别沿着竖直中线、水平中线进行分割。进一步地,其还包括边缘特征点判断模块,用于执行步骤判断图像变化率极值是否位于图像的边缘,若是,则剔除该点以及其匹配点;剔除位于图像边缘的极值点后,选取此时的图像变化率最大值所对应的点以及其相应匹配点,即为所述图像的特征点。本发明提供的3d视频帧特征点提取的方法及系统,通过充分利用3d视频本身的对称特征条件,将图像进行分割,通过其中一半图像特征点的求解及提取,进而快速提取另一半图像的匹配特征点。采用该方案,可以快速准确的从3d视频帧中提取特征点,并进行特征匹配,其改善了传统的特征提取和匹配计算量大、准确度不够的问题,为视频视差计算、视频反视计算等问题提供技术基础。以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1