专利名称：：在频率域检测与估计图像显著的强相关方向的方法和系统的制作方法
技术领域：
：本发明涉及数字图像处理技术，特别是一种通过频率域的处理检测与估计图像显著的强相关方向的方法和系统。
背景技术：
：基于图像最强相关方向的插值方法，广泛应用于数字图像的超分辨分析、图像增强，以及视频序列的去隔行处理等多项技术中。现有的图像边缘检测方法的研究重点，是边缘点的准确定位以及检测方法的抗噪性能，不能给出图像任意像素处的最强相关方向的信息。而现有的图像最强相关方向的计算方法，均是在空域直接进行的，存在不能充分利用待处理像素附近像素的信息，以及抗噪性能差的问题。现有的边缘检测方法可以大致分为三类(1)利用梯度算子的方法使用预定义的模版，通过在图像平面移动模版，在每一位置计算对应中心像素位置的梯度值，所得的结果是源图像对应的梯度图。梯度算子有Roberts算子、PrewiU算子和Sobel算子等。(2)LoG算子:使用二阶导数算子来计算图像导数的过零点来获得边缘图。计算过程为①用一个二维的高斯平滑模版与源图像作巻积；②计算巻积后的图像的Uplace值；③检测Laplace图像的过零点，过零点即为边缘点。(3)Canny算子将边缘检测问题转换为检测单位函数极大值的问题来考虑。Camiy利用高斯i^莫型，借助图像滤波的概念，指出一个良好的边缘检测算法应该具备三个特性①低失误率；②高位置精度；③对每个边缘有唯一的响应。以此为基础，Canny提出判定边纟^险测算子的三个准则信噪比准则、定位精度准则和单边缘响应准则。Canny算子的本质是基于二阶导数的算子。现有的边缘检测算法，给出的是图像中边缘的位置信息。除了边缘上的像素外，并不能提供图像中其他像素处的最强相关方向的任何信息。而现有的方向插值(directionalinterpolation)方法和依赖边缘的插值(edgedependentinterpolation)方法中所使用的最强相关方向计算方法，虽然具有方法简单、计算开销小的优点，但是对于复杂图像，因为参与运算的像素数目过少，存在抗噪性能差，以及对最强相关方向判断的准确性较差的问题。经检索，还没有找到在频率域中进行图像最或显著的强相关方向的检测与估计的技术方案。
发明内容本发明针对现有技术中存在的缺陷或不足，提供一种通过频率域的处理检测与估计图像显著的强相关方向的方法，采用该方法能够充分利用待处理像素附近的像素信息，从而使得得到的图像最或显著的强相关方向的信息更为准确。本发明还提供一种通过频率域的处理检测与估计图像显著的强相关方向的系统。本发明总的技术构思为，通过利用图像块的显著的强相关方向与图像块的频谱信息之间所存在的确定关系，判断图像块内是否存在显著的强相关方向，若是，则给出图像中显著的强相关方向的信息。该构思基于频率域信息检测与估计图像显著的强相关方向的技术措施包括以下步骤确定待检测的图像块；对该图像块加窗后进行频谱计算，获得图像块的频谱信息；根据该频谱信息中的能量聚集现象及该能量聚集分布的方向特征，确定该图像块中显著的强相关方向的存在，并得到该强相关方向的信息，即该方向正交于能量聚集分布的方向。本发明技术方案如下通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于包含以下步骤①确定待处理的图像块的尺寸，对图像块做加二维窗函数的预处理；②计算加窗后图像块的频镨；③根据频谱中能量的聚集现象及能量聚集分布的方向特征，检测图像块中心附近的最或显著的强相关方向，估计该方向的角度参数；④图像块中心附近的最或显著的强相关方向的定性和/或定量输出。所述待检测的图像块为矩形，该矩形图像块的尺寸为，在一个方向上是M个像素，在另一个方向上是N个像素，且M和N的选择满足M不大于32;N不大于32。所述步骤①中的二维窗函数，是任意非负、在当前像素处最大、在图像平面上过当前像素的直线方向上随与当前像素的距离的增大而函数值单调不增的二维函数。所述步骤①中的对图像块做加二维窗函数的预处理是指用二维窗函数与图像块相乘；二维窗函数是任意非负、在当前像素处最大、在图像平面上过当前像素的直线方向上随与当前像素的距离的增大而函数值单调不增的二维函数；对于具有隐含周期性的频谱计算方法，可以保证加窗后的频i普主要反映图像块中心附近的频谱特性，防止隐含周期性造成的图像边界处不连续引起的"虛假"频谱特征。所述步骤①中的二维窗函数，可以是二维Harming窗函数。所述步骤②中的频谱是一种能够提供图像的幅度和相位信息的变换，此变换和图像信号的空域表示具有一一对应关系，并且要求具有旋转不变性，即若图像在空域旋转6,频谱在频域也旋转同样的角度e。所述步骤②中的频谱计算方法，可以是二维傅立叶变换(FT),离散傅立叶变换(DFT),或者快速傅立叶变换(FFT)。所述步骤②中，还包括对频镨进行以下处理仅保留频谱的幅度分量，即得到幅度谱，或者计算图像块的能量谱。所述步骤③中包括计算加窗后图像块的幅度谱或能量谱的楔特征，以幅度谱或能量谱的楔特征判断能量聚集程度并计算能量聚集分布的方向特征，进行显著的强相关方向的检测与估计。所述步骤③中包括利用加窗后图像的幅度谱或能量谱在环上的最大值的位置的相邻性，进行显著的强相关方向的检测与估计，即在幅度谱或能量谱上，以原点为圓心进行同心圆分割，以圆环上能量最大值或极大值的位置的相邻性质，确定能量聚集现象及该能量聚集分布的方向特征。所述的楔特征计算中，将加窗后图像的频"i昝从直角坐标形式转换为极坐标形式。所述的楔特征计算中，根据幅度谱或者能量语的对称性质，即关于原点对称，仅取过频域原点的半平面上的数据。在利用加窗后图像的幅度谱或能量语在环上的最大值的位置的相邻性进行显著的强相关方向的^^测与估计时，根据幅度谱或者能量谱关于原点的对称性质，仅取过频域原点的半平面上的数据。利用加窗后图像的幅度谱或能量谱在环上的最大值的位置的相邻性，进行显著的强相关方向的检测与估计时，输出的用于表示所有相关方向的角度的集合，为[O，tt)，或者是[-tt/2,丌/2)中均匀分布的k个值，且k正比于频谱计算的窗口的宽度或者高度。使用加窗后图像块的幅度谱或能量谱的楔特征，进行显著的强相关方向的检测与估计时，输出的用于表示所有相关方向的角度的集合，为[O，7t),或者是[-7t/2,7t/2)中均匀分布的k个值，且k正比于频谱计算的窗口的宽度或者高度。所述的定性输出的结果是是否存在显著的强相关方向，以及显著的强相关方向的个lt。所述的定量输出的结果是输出图像块中心附近的显著的强相关方向的角度或角度的等价参数。还包括以下步骤对被处理图像逐个像素使用本发明的方法进行显著的强相关方向的检测与估计。通过频率域的处理检测与估计图像显著的强相关方向的系统，其特征在于包含以下装置预处理装置，用于确定待处理的图像块尺寸，对图像块做加二維窗函数的预处理；频语计算装置，用于计算加窗后图像块的频语；检测与估计装置，根据频谱中能量的聚集现象及能量聚集分布的方向特征，检测图像块中心附近的最或显著的强相关方向，估计该方向的角度参数；输出装置，用于图像块中心附近的最或显著的强相关方向的定性和/或定量输出。系统的组成方式如图12所示。本发明技术效果如下由于本发明的通过频率域的处理检测与估计图像显著的强相关方向的方法或系统，充分利用了图像块的显著的强相关方法与图像块的频语信息之间所存在的确定关系，从而能够充分利用图像中心附近的像素值，对图像中心附近是否存在显著的强相关方向进行判断，并在存在显著的强相关方向时进行强相关方向的计算，解决了现有的在空域中直接计算图像最强相关方向的方法存在的难以充分利用图像中像素信息的问题；能够给出最或显著的强相关方向存在的可信度指标；本方法具有较好的抗噪性能，具有较高的稳健性。图l是本发明方法的流程图。图2是以灰度图表示的二维Hanning窗函数。图3是以三维立体方式表示的二维Harming窗函数。图4是具有Y方向最强相关方法的模版图像。图5是图4加二维Hanning窗后的图像。图6是图5的FFT幅度谱。图7是幅度谱或能量谱的楔特征示意图。图8是幅度镨或能量谱在同心圓环上能量最大值或极大值的位置连线特征示意图。图9是本发明方法的典型流程图。图IO是H.264中块内预测(intraprediction)的8个方向的示意图。图ll是采用本发明得到图IO所示的空间插值方向的流程图。图U是本发明的系统的組成方式示意囝。具体实施方式下面结合附图对本发明作进一步的详细说明。首先，对本说明书涉及的缩略语以及外文词解释如下DFT:DiscreteFourierTransform,离散傅立叶变换。FFT:FastFourierTransform,快速傅立口十变换。FT:傅立叶变换。vertical:垂直。horizontal:7K平。diagonal—down—left:对角下左。diagonal—down—right:对角下右。vertical—right:垂直偏右。horizontal-down:水平偏下。vertical—left:垂直偏左。horizontal—up:7Jc平偏上。dc:直流方式本发明提出的方法，是利用图像的频率域信息来判断图像中心附近是否存在显著的强相关方向，并在存在显著的强相关方向时计算此方向。本文中，最强相关方向包含在显著的强相关方向之中。本发明算法的流程如图l所示，本发明提出的通过频率域的处理检测与估计图像显著的强相关方向的方法，包括以下四个步骤图像块加窗、频谱计算、频率域特征检测与判决、最或显著的强相关方向信息输出。下面依次加以说明。(1)图像块加窗参与计算的图像块的尺寸，经实验确定，选择为MxN,且8《NK32，8《N《32.在计算图像信号的频谱时，积分或者加权求和均导致了图像的频谱对信号具有平均效应。如果参与频镨计算的图像块的尺寸过小，则图像频语的趋势表现得不明显；如果固像块的尺寸过大，则像素之问的相矢性减弱，可能会因为图像中存在多个强相关方法，频谱计算固有的平均效应将导致在图像频谱中出现错误趋势。因此必须选择适当尺寸的图像块。图像块尺寸确定后，对图像块进行加窗处理。加窗的目的如下为图像块中不同位置的像素分配不同的权重。图像中心处的权重为l,离图像块中心越远，权重越小，在图像块边缘，权重为G(或近似为0)。对于具有隐含周期性的频语计算方法(如DFT和FFT)，可以保证加窗后的频谱主要反映图像块中心附近的频语特性，防止隐含周期性造成的图像边界处不连续引起的"虚假"频谱特征。窗函数的选择准则非负，取值范围为[O，l];在过窗函数中心的直线上，函数形状为类似高斯函数型；在同一方向上，距离图像块中心越远，函数值越小；在边界处，函数值为零(或近似为零)；例如，窗函lt可选为二维Hanning窗<formula>formulaseeoriginaldocumentpage11</formula>0，x取其他值其中图2、图3分别是以灰度图和三维立体方式表示的二維Harming窗函数。(2)计算加窗后图像的频i普对加窗后的图像块进行频谙计算，获得图像的频谱信息。此处的频谱，可以是任意一种能够提供图像的幅度和相位信息的变换，此变换和图像信号的空域表示具有一一对应关系，并且要求具有旋转不变性。即若图像在空域旋转6,频谱在频域也旋转同样的角度6。典型的频谱可以是二维FT(二维傅立叶变换)、DFT(离散傅立叶变换)。FT和DFT均具有旋转不变性，更进一步，还可以用FFT快速高效地计算DFT。(3)频率域特征检测与判决为方便计算，得到加窗后图像块的频谱后，仅保留频谱的幅度分量，即幅度谱；或者计算加窗后图像块的能量谱。当图像块在中心附近存在显著的强相关方向时，加窗后图像块的频镨将出现能量聚集现象频域能量主要集中于过频域原点，和图像的显著的强相关方向垂直的直线方向上。同时，利用频:潜的旋转不变性质，即可通过^^测频谱中能量聚集的方向，对源图像是否在中心附近存在显著的强相关方向进行判决；并在判断存在显著的强相关方向时计算此方向。图4、图5、图6分别是模版图像，加二维Harming窗后的图像，以及加窗后图像的FFT幅度谱。对加窗后的图像的频谱，可以使用下列两种参数之一进行频谱特征检测幅度谱的楔特征；在频谱特征检测中，为简便起见，将频谱从直角坐标形式转换到极坐标形柳=S外，。式，用S("，。表示。楔特征定义为^t御，其物理意义为角度6上的频谱能量。楔特征因求和区间的形状如同楔子而得名。如前所述，在图像中心附近存在显著的强相关方向的图像，其幅度谱(或能量谙)的能量主要集中在与强相关方向垂直的方向上。通过计算楔特征，根据楔特征的最大值(也是极大值)和另外的极大值(如果存在)的相对关系，如图7所示，即可判断是否存在显著的强相关方向；是否仅有一个显著的强相关方向；是否存在多个显著的强相关方向。并可根据楔特征给出显著的强相关方向存在的可信度指标。幅度镨(能量谱)在环上的最大值的位置的相邻性；中心附近存在显著的强相关方向的图像，其频谱能量聚集在过原点，与显著的强相关方向垂直的直线方向上。则在频域原点为圆心的同心圆上，频谱能量最大的位置必为圓与上述直线的交点，如图8所示。才艮据不同半径的圓上的最大值是否在同一直线上，即可判断幅度语(或能量谱)能量的聚集程度.，进而判断是否存在显著的强相关方向。用于表示相关方向的角度的范围是[O，丌)，或者是[-丌/2，jt/2);设用于频谱计算的窗口尺寸为WxH，其中W为窗口的宽度，H为窗口的高度；则本方法输出的用于表示所有相关方向的角度的集合，为[O，tt),或者是[-7t/2,tt/2)中均匀分布的k个值，且k正比于频谱计算的窗口的宽度W或者高度H。(4)显著的强相关方向的定性/定量输出根据上述的幅度谱(能量谱)的楔特征，或者幅度谱(能量谱)在环上的最大值的位置的相邻性质，均可判断源图像是否在中心附近存在显著的强相关方向；以及显著的强相关方向的个数。并且在判断存在显著的强相关方向的前提下，估计强相关方向的角度参数。这就是本发明的方法和系统的输出结果。算法的典型流程如图9所示，包括l.对图像块加二维Hanning窗；2.计算加窗图像块的FFT;3.计算FFT幅度语的楔特征；4.利用楔特征进行判决并计算最或显著的强相关方向；5.输出最或显著的强相关方向信息。以下举例说明本发明的算法在H.264编码器中的应用在H.264的编解码过程中，对于I宏块和SI宏块，均需要进行块内预测(intraprediction)。对尺寸为4x4,8x8的块(block)或者子宏块(sub-macroblock)，均有9种预测模式，除了DC模式，其余的8种预测模式均对应一个空间插值的方向，如图10所示。<table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table>(表l)插值方向的数值及方向的关系，如表1所示。为了得到图IO所示的空间插值方向，可以根据本发明的方法，如图11所示，按照如下流程进行处理包括子宏块预处理；加二维Hanning窗；作二维FFT得到幅度谱；根据幅度谱判断、计算；结果输出。其中子宏块预处理对4x4块，通过线性插值，将图像块尺寸扩大至8x8。对8x8子宏块，不做任何处理；结果输出若经过判决，得知图像块中存在显著的强相关方向，则输出与8种插值方向最接近的方向；否则，即判断图像块中没有显著的强相关方向时，输出为DC预测模式。对于其他需要检测和估计图像中最强相关方向的应用，均可根据上述流程，做类似处理。本发明提出的方法带来的有益效果在于能够充分利用图像中心附近的像素值，对图像中心附近是否存在显著的强相关方向进行判断，并在存在显著的强相关方向时估计此方向，解决了现有的在空域中直接计算图像最强相关方向的方法存在的难以充分利用图像中像素信息的问题；能够给出显著的强相关方向存在的可信度指标；本方法具有较好的抗噪性能，具有较高的稳健性。如图12所示，本发明还提供一种通过频率域的处理4全测与估计图像显著的强相关方向的系统，其包含以下装置预处理装置，频镨计算装置，检测与估计装置，和输出装置。各装置的功能作用叙迷如下预处理装置，用于确定待检测的图像块尺寸，对图像块做加二维窗函数的预处理；频谱计算装置，用于计算加窗后图像块的频谱；检测与估计装置，根据频语中能量的聚集现象及能量聚集分布的方向特征，检测图像块中的最或显著的强相关方向，估计该方向的角度参数；输出装置，用于图像最或显著的强相关方向的定性和/或定量输出。本发明，a不以任何方式限制本发明。因此，尽管本^i兌明书参照附图和实施方式对本发明已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。权利要求1.通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于包含以下步骤①确定待处理的图像块的尺寸，对图像块做加二维窗函数的预处理；②计算加窗后图像块的频谱；③根据频谱中能量的聚集现象及能量聚集分布的方向特征，检测图像块中心附近的最或显著的强相关方向，估计该方向的角度参数；④图像最或显著的强相关方向的定性和/或定量输出。2.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述待检测的图像块为矩形，该矩形图像块的尺寸为，在一个方向上是M个像素，在另一个方向上是N个像素，且M和N的选择满足M不大于32;N不大于32。3.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤①中的二维窗函数，是任意非负、在当前像素处最大、在图像平面上过当前像素的直线方向上随与当前像素的距离的增大而函数值单调不增的二维函数。4.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤①中的对图像块做加二维窗函数的预处理是指用二维窗函数与图像块相乘；二维窗函数是任意非负、在当前像素处最大、在图像平面上过当前像素的直线方向上随与当前像素的距离的增大而函数值单调不增的二维函数；对于具有隐含周期性的频谱计算方法，可以保证加窗后的频谱主要反映图像块中心附近的频谱特性，防止隐含周期性造成的图像边界处不连续引起的"虚假"频语特征。5.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤①中的二维窗函数，是二维Hanning窗函数。6.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤②中的频镨是一种能够提供图像的幅度和相位信息的变换，此变换和图像信号的空域表示具有一一对应关系，并且要求具有旋转不变性，即若图像在空域旋转e，频谱在频域也旋转同样的角度e。7.根据权利要求i所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所迷步骤②中的计算加窗后图像块的频谱，是指采用二维傅立叶变换(FT),离散傅立叶变换(DFT)，或者快速傅立叶变换(FFT)进行频谱计算。8.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤②中，还包括对频谱进行以下处理仅保留频谱的幅度分量，即得到幅度谱，或者计算图像块的能量谱。9.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于'.所述步骤③中包括计算加窗后图像块的幅度谱或能量谱的楔特征，以幅度谱或能量谱的楔特征判断能量聚集程度并计算能量聚集分布的方向特征，进行最或显著的强相关方向的检测与估计。10.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述步骤③中包括利用加窗后图像的幅度谱或能量谱在环上的最大值的位置的相邻性，进行显著的强相关方向的检测与估计，即在幅度语或能量谱上，以原点为圆心进行同心圓分割，以圓环上能量最大值或极大值的位置的相邻性质，确定能量聚集现象及该能量聚集分布的方向特征。11.根据权利要求9所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述的楔特征计算中，将加窗后图像的频谱从直角坐标形式转换为极坐标形式。12.根据权利要求9所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述的楔特征计算中，根据幅度谱或者能量谘关于原点的对称性质，仅取过频域原点的半平面上的数据。13.根据权利要求IO所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于在利用加窗后图像的幅度谱或能量谱在环上的最大值的位置的相邻性进行最或显著的强相关方向的检测与估计时，根据幅度谱或者能量谱关于原点的对称性质，仅取过频域原点的半平面上的数据。14.根据权利要求9所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于使用加窗后图像块的幅度镨或能量镨的楔特征，进行显著的强相关方向的^r测与估计时，输出的用于表示所有相关方向的角度的集合，为[O,丌)，或者是[-丌/2，tt/2)中均匀分布的k个值，且k正比于频谱计算的窗口的宽度或者高度。15.根据权利要求10所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于利用加窗后图像的幅度镨或能量语在环上的最大值的位置的相邻性，进行显著的强相关方向的检测与估计时，输出的用于表示所有相关方向的角度的集合，为[O,tt),或者是[-7t/2,丌/2)中均匀分布的k个值，且k正比于频谱计算的窗口的宽度或者高度。16.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述的定性输出的结果是是否存在显著的强相关方向，以及显著的强相关方向的个数。17.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于所述的定量输出的结果是输出图像中的最或显著的强相关方向的角度或者角度的等价参数。18.根据权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于还包括以下步骤对被处理图像逐个像素应用权利要求1所述的通过频率域的处理检测与估计图像显著的强相关方向的方法。19.通过频率域的处理检测与估计图像显著的强相关方向的系统，其特征在于包含以下装置预处理装置，用于确定待检测的图像块尺寸，对图像块做加二维窗函数的预处理；频谱计算装置，用于计算加窗后图像块的频谱；检测与估计装置，根据频谱中能量的聚集现象及能量聚集分布的方向特征，检测图像块中的最或显著的强相关方向，估计该方向的角度参数；输出装置，用于图像最或显著的强相关方向的定性和/或定量输出。全文摘要本发明提供一种通过频率域的处理检测与估计图像显著的强相关方向的方法，其特征在于包含以下步骤①确定待处理的图像块的尺寸，对图像块做加二维窗函数的预处理；②计算加窗后图像块的频谱；③根据频谱中能量的聚集现象及能量聚集分布的方向特征，检测图像块中的最或显著的强相关方向，估计该方向的角度参数；④图像最或显著的强相关方向的定性和/或定量输出。采用该方法能够充分利用待处理像素附近的像素信息，从而使得得到的图像最或显著的强相关方向的信息更为准确。本发明还提供检测与估计图像显著的强相关方向的系统。文档编号H04N7/26GK101236646SQ20071000296公开日2008年8月6日申请日期2007年1月30日优先权日2007年1月30日发明者于燕斌,巍王,旭董申请人:宝利微系统控股公司