一种边缘导向的自适应图像插值方法及其vlsi实现装置制造方法
【专利摘要】一种边缘导向的自适应图像插值方法及其VLSI实现装置，计算源图像像素点梯度幅值和梯度方向，通过比较梯度幅值与局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；将边缘方向分类，利用边缘信息进行滤波，将图像分为规则边缘和非边缘区域。规则边缘区域沿边缘方向插值，且根据边缘信息的分类分别采用基于局部梯度信息的改进双三次插值方法、斜向双三次插值方法、斜向双线性插值方法进行图像插值；非边缘区域采用基于局部梯度信息的改进双三次插值方法进行图像插值；本发明的装置包括边缘信息提取模块，自适应插值模块、输入行场以及缩放后行场同步控制模块。本发明能显著提高高倍率缩放下的图像插值效果，有利于集成电路架构实现。
【专利说明】一种边缘导向的自适应图像插值方法及其VLSI实现装置
【技术领域】
[0001]本发明属于数字视频图像处理与显示【技术领域】，具体涉及一种边缘导向的自适应图像插值方法及其VLSI实现装置。
【背景技术】
[0002]视频显示系统中，由于视频源分辨率多种多样，视频输入信号在被送入平板显示器件显示之前，需要经过图像插值缩放处理。图像插值缩放单元将不同格式和分辨率的图像进行放大或缩小，使其成为显示屏可以支持的图像格式。随着显示面板尺寸和分辨率的不断提升，图像插值缩放技术在视频处理系统中的地位越来越重要。由于图像插值缩放的性能直接决定了视频显示的质量，因此视频显示系统迫切需要高质量的图像插值缩放来提闻用户的视觉体验。
[0003]当前，平板显示器件已普及了高清分辨率，并迅速向超高清分辨率4K(3840*2160)发展。然而，由于受到拍摄、编辑和处理设备等因素的限制，视频源大部分还处在标清分辨率水平。以480P (720*480)分辨率视频源在4K分辨率显示面板上显示为例，其放大倍数将达到近25倍，这样一高倍率缩放使传统基于双线性和双三次图像缩放技术在图像边缘区域产生较明显的锯齿或失真，从而无法满足实际需求。
[0004]基于边缘的自适应图像插值技术考虑到图像内容信息的差异，自适应选择恰当的方法，有望解决图像边缘和细节的失真。但是，考虑边缘的插值计算通常需要复杂的算法处理和较多的运算资源，难以通过集成电路设计来实现，因此很难满足实时处理的视频显示系统的需求。
【发明内容】
`
[0005]本发明的目的在于提出一种硬件资源耗费低的边缘导向的自适应图像插值方法及其VLSI实现装置，该方法能够在高缩放倍率条件下保证图像边缘和细节部分清晰无失真；同时，该方法还能以有限的运算资源实现对视频图像的实时处理，有利于集成电路架构实现。
[0006]为了实现上述目的，本发明边缘导向的自适应图像插值方法包括以下步骤:
[0007]I)计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向；
[0008]2)将边缘方向分类成8个角度域，采用边缘信息滤波方法对边缘信息进行滤波，以使源图像分为规则边缘区域与非边缘区域；其中，所述的滤波方法的步骤如下:
[0009]2.1)选取待插值点pi周围4x4阵列的16个像素点作为pi的边缘信息滤波参考点，4x4阵列为参考阵列，统计4x4阵列中边缘点个数，记为counter ;在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数，记为edge_counter (m), m=0, I,…7,找出8个角度域中边缘点分布最多的角度域mmax, mmax的边缘点个数记为 max_edge_counter, mmax 的边缘点方向记为 max_edge_region ；[0010]2.2)若 counter ^ 4,并且有 max_edge_counter/counter>th 时，则 pi 处于规则边缘区域，pi的边缘方向为max_edge_region,插值时pi沿边缘方向插值；否则,pi处于非边缘区域；其中，th表示判定阈值；
[0011]3)将边缘方向分类成的8个角度域划分成角度类1、角度类II以及角度类III ;当待插值点Pi处于规则边缘区域时，若Pi处于角度类I中，则采用基于局部梯度信息的改进双三次插值方法进行图像插值处于角度类II中，则采用斜向双三次插值方法进行图像插值处于角度类III中，则采用斜向双线性插值方法进行图像插值；
[0012]当pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行图像插值。
[0013]所述的局部自适应阈值的计算方法为:
[0014]对于源图像中的每一个像素点，计算以其为中心的3x3窗内的梯度幅值的均值average_th,局部自适应阈值local_th由下式得到:
[0015]local_th=max(average_th, min_th)
[0016]其中，min_th为设置的局部自适应阈值的下限。
[0017]所述的步骤2)将边缘方向分类成8个角度域的方法为:
[0018]将边缘方向划分为8个角度域，记为角度域0~7，分别以过零点的0、22.5°、45°、67.5°、90° >112.5°、135°以及157.5°方向的射线及其反向延长线为中心分割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°。
[0019]所述的步骤3)中`角度类I包括角度域0和角度域4，角度域0为水平边缘方向，角度域4为垂直边缘方向；角度类II包括角度域2和角度域6，角度域2为45°的边缘方向，角度域6为135°的边缘方向；角度类III包括角度域1、角度域3、角度域5以及角度域7，角度域I为22.5°的边缘方向、角度域3为67.5°的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。
[0020]所述的基于局部梯度信息的改进双三次插值方法为:
[0021]设pi为待插值点，P(i_l，j_l)~P(i+2，j+2)代表源图像中pi邻域的16个像素点，插值系数的权重调整模板由下式得到:
【权利要求】
1.一种边缘导向的自适应图像插值方法，其特征在于，包括以下步骤: 1)计算源图像像素点的梯度幅值和梯度方向，通过比较梯度幅值和局部自适应阈值获得边缘信息，边缘方向为梯度方向的垂直方向； 2)将边缘方向分类成8个角度域，采用边缘信息滤波方法对边缘信息进行滤波，以使源图像分为规则边缘区域与非边缘区域；其中，所述的滤波方法的步骤如下: 2.1)选取待插值点pi周围4x4阵列的16个像素点作为pi的边缘信息滤波参考点,4x4阵列为参考阵列，统计4x4阵列中边缘点个数,记为counter ;在4x4阵列的边缘点中统计边缘方向分类的8个角度域中各个角度域的边缘点个数,记为edge_counter (m)，m=0，I,…7,找出8个角度域中边缘点分布最多的角度域mmax, mmax的边缘点个数记为max_edge_counter, mmax 的边缘点方向记为 max_edge_region ； 2.2)若 counter ^ 4,并且有 max_edge_counter/counter>th 时，则 pi 处于规则边缘区域，pi的边缘方向为max_edge_region,插值时pi沿边缘方向插值；否则,pi处于非边缘区域；其中，th表示判定阈值； 3)将边缘方向分类成的8个角度域划分成角度类1、角度类II以及角度类III;当待插值点Pi处于规则边缘区域时，若Pi处于角度类I中，则采用基于局部梯度信息的改进双三次插值方法进行图像插值处于角度类II中，则采用斜向双三次插值方法进行图像插值处于角度类III中，则采用斜向双线性插值方法进行图像插值； 当Pi处于非边缘区域时，采用基于局部梯度信息的改进双三次插值方法进行图像插值。
2.根据权利要求1所述的边缘导向的自适应图像插值方法，其特征在于，所述的局部自适应阈值的计算方法为: 对于源图像中的每一个像素点，计算以其为中心的3 X 3窗内的梯度幅值的均值average_th,局部自适应阈值local_th由下式得到:local_th=max(average_th, min_th) 其中，min_th为设置的局部自适应阈值的下限。
3.根据权利要求1所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤2)将边缘方向分类成8个角度域的方法为: 将边缘方向划分为8个角度域，记为角度域0~7，分别以过零点的0、22.5°、45°、67.5°、90° >112.5°、135°以及157.5°方向的射线及其反向延长线为中心分割线，再将中心分割线分别向顺时针方向和逆时针方向旋转11.25°。
4.根据权利要求3所述的边缘导向的自适应图像插值方法，其特征在于:所述的步骤3)中角度类I包括角度域0和角度域4，角度域0为水平边缘方向，角度域4为垂直边缘方向；角度类II包括角度域2和角度域6，角度域2为45°的边缘方向，角度域6为135°的边缘方向；角度类III包括角度域1、角度域3、角度域5以及角度域7，角度域I为22.5°的边缘方向、角度域3为67.5°的边缘方向、角度域5为112.5°的边缘方向、角度域7为157.5°的边缘方向。
5.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于:所述的基于局部梯度信息的改进双三次插值方法为: 设Pi为待插值点，P(1-1, j-1)~P(i+2，j+2)代表源图像中pi邻域的16个像素点，插值系数的权重调整模板由下式得到:
H^/^\ + a (abs (P(i,./) — PO； —/ — I))) + ? (abs (P(i + l,j)-P(i + l,j-l)))
Hr = I/ Jl +a{iihs(P(i, j +1)-P(i, / + 2))) + ?、abs(P(i + 1, /+1)-P(i + i，./ + 2)))
<
V1 =1/^1 + ? {abs (Pd+1 j) 一 P(i + 2,,/))) + Cr (?te (P(i+lj + l)~ P(i + 2,/ + 2))) 式中:?——水平方向左侧权重的调整模板；民——水平方向右侧权重的调整模板；Vu——垂直方向上侧权重的调整模板J1——垂直方向下侧权重的调整模板； a——可调节的参数； 得到HpHpVuJ1模板后对插值系数进行归一化处理，即得到基于局部梯度信息的改进双三次插值的公式，然后采用基于局部梯度信息的改进双三次插值的公式对待插值点进行插值。
6.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤3)中斜向双三次插值方法与双三次插值方法的区别在于:在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。
7.根据权利要求4所述的边缘导向的自适应图像插值方法，其特征在于，所述的步骤3)中斜向双线性插值方法与双线性插值方法的区别在于:在选取待插值点阵列时，按待插值点所在的角度域对应的角度和待插值点位置对参考阵列进行方向偏移。
8.—种如权利要求1~7中任意一项所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于:包括边缘信息提取模块、自适应插值模块、输入行场同步控制模块以及缩放后行场同步控制模块； 输入行场同步控制模块用于为边缘信息提取模块、自适应插值模块以及缩放后行场同步控制模块提供同步后的行场信号H/V ； 边缘信息提取模块用于输入视频图像的边缘信息提取； 缩放后行场同步控制模块用于产生缩放后的视频H/V同步信息，缩放后行场同步控制模块将缩放后的行场同步信号H/V输入到自适应插值模块； 自适应插值模块用于对输入的视频进行自适应插值并输出缩放后匹配显示器分辨率的视频信号。
9.根据权利要求8所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于:所述的边缘信息提取模块包括第一行存阵列模块、梯度幅值计算模块、梯度方向计算及方向分类模块、局部自适应阈值计算模块、图像二值化模块、边缘信息滤波模块； 其中，第一行存阵列模块的硬件实现方式为双口 SRAM，用于缓存相邻视频数据行； 梯度幅值计算模块用于计算源图像的梯度幅值； 局部自适应阈值计算模块用于在梯度幅值计算基础上通过3x3的均值滤波器得到源图像每一个像素对应的局部自适应阈值； 图像二值化模块用于输入源图像的梯度幅值和局部自适应阈值，并通过比较源图像像素的梯度幅值和其对应的局部自适应阈值提取出源图像的边缘信息； 梯度方向计算及方向分类模块用于根据边缘方向划分的8个角度域对边缘进行方向归类； 边缘信息滤波模块用于确定待插值点是否处于规则边缘区域，并判断待插值点的边缘方向。
10.根据权利要求9所述的边缘导向的自适应图像插值方法的VLSI实现装置，其特征在于:所述的自适应插值模块包括第二行存阵列模块、待插值点偏移量生成与参考点选取模块、插值系数查找表memory模块、三种不同方式的插值模块以及输出选择模块； 其中，待插值点偏移量生成与参考点选取模块用于计算待插值点与参考点的偏移量以及用于计算当前插值所需的参考点阵列，待插值点偏移量生成与参考点选取模块将计算出的偏移量信号送给插值系数查找表memory模块； 插值系数查找表memory模块的硬件实现方式为ROM或者SRAM，用于根据偏移量得到当前待插值点所需的插值系数； 第二行存阵列模块的硬件实现方式为双口 SRAM，用于缓存相邻的视频数据行，并根据当前待插值点选取对应的参考点阵列； 三种不同方式的插值模块包括基于梯度信息的改进双三次插值模块、斜向双线性插值模块、斜向双三次插值模块；三种不同方式的插值模块的输入信号为插值系数查找表memory模块输出的插值系数和第二行存阵列模块输出的插值参考点阵列； 输出选择模块用于从三种不同方式的插值模块中选择何种的插值方法对当前待插值点进行插值，选择何种方式的插值方法由边缘信息提取模块输出的待插值点边缘信息作为控制信号进行输出选择的。
【文档编号】G06T5/00GK103500435SQ201310412603
【公开日】2014年1月8日 申请日期:2013年9月11日 优先权日:2013年9月11日
【发明者】孙宏滨, 陈秋伯, 杨洁, 张旭翀, 赵季中, 郑南宁 申请人:西安交通大学