专利名称：图像处理方法
技术领域：
本发明是相关于一种图像处理方法，特别是用以产生在图像页的遗失区块中的图像数据的图像处理方法。
背景技术：
第1图表示在图像页10中产生遗失区块12的传统方法。对应遗失区块12的遗失像素121，可以获得参考像素111、112、113和114。在与遗失区块12相邻的图像边界11上，该等参考像素111，112，113和114能被藉由与遗失像素121相同的垂直或水平位置来得到。参考像素提供数据藉以产生遗失像素的数据。结合贡献自所有参考像素的数据，遗失像素数据可被产生。重新产生的遗失区块是附近图像边界参考像素色彩的垂直及水平的渐层填入。
对于非垂直或非水平图案的图像，传统的方法不能够有效地重新产生令人满足的遗失区块。第2A图表示利用传统方法产生第2B图中遗失区块的结果。第2B图表示图像遗失区块数据之前的图案。由第2A图中可以看出，利用该传统方法重新产生的区块中，图像的图案被垂直及水平地切割而变得破碎。一个能重新产生图像中的图案的方法是被需要的。
发明内容
本发明提供一种图像处理方法，用以产生在图像页的遗失区块中的图像数据。该图像处理方法包括从该遗失区块周围图像边上检测边缘端点；计算每一边缘端点的方向；以个别边缘点为起点，根据该等边缘端点的方向形成边缘线进入该遗失区块，并将该遗失区块划分为多个遗失区域；以及利用与个别遗失区域相邻的图像边上的参考像素数据，计算该遗失区域中的遗失像素数据。
本发明通过后附详细说明的图示将会比较容易全盘了解，其仅为图解之用而非将本发明限制于图示范围。
第1图表示在图像页10中产生遗失区块12的传统方法。
第2A图表示图像遗失区块数据之前的图案。
第2B图表示利用传统方法产生第2A图中遗失区块的结果。
第3A图为依照本发明一实施例的一种方法的流程图。
第3B图表示有遗失区块31的图像30。
第3C图举例说明获得来自第3B图中的与遗失区块31相邻的边310上的边缘端点的步骤。
第3D图表示根据第3A图的步骤S2，k*k像素矩阵33被选取来决定边缘端点3101的方向。
第3E图表示根据本发明一实施例，连接二边缘端点A及B以形成的配对边缘线。
第3F图表示根据本发明一实施例，在第3B图中的图像30为遗失区域31找出边缘端点而且形成边缘线。
第3G图表示二进制树状结构代表第3F图中的遗失区块31的边缘线以及所划分出的遗失区域。
第3H图表示根据第3A图的步骤S4，由遗失区域H附近的图像中获得遗失像素340的参考像素的方法。
标号说明10、30 图像页12、31 遗失区块11、310、310A、310B 邻近图像边121、340 遗失像素111、112、113、114、3401、3402、3403、3404 参考像素3101、3103、3131、3122、3121、3111 边缘端点1、2、3、4、341、342 边缘线A、B、C、D、E、H 遗失区域343、344 虚拟参考线
具体实施例方式
在图像中的图案可以被识别出来，是由于色彩的急剧变化所造成的区别。边缘形成于不同的颜色之间，而且描画出图案。藉由找出一个遗失区块附近图像的边缘线，并且延伸该等边缘线进入遗失区块，可以重新建立图像的图案。
第3A图为依照本发明一实施例的一种方法的流程图。首先，边缘端点发现于与遗失区块相邻的图像边上(步骤S1)。其次，根据个别边缘端点计算出方向(步骤S2)。第三，边缘线形成于边缘端点，并根据所计算出的方向进入该遗失区块将该遗失区块切割为多个遗失区域(步骤S3)。然后，在个别遗失区域的遗失像素数据，则可利用与该遗失区域相邻的邻近图像边上的参考像素，而被计算出来(步骤S4)。
第3B图表示有遗失区块31的图像30。根据流程图3A的步骤S1，边缘端点从与遗失区块相邻的附近图像取得。第3C图举例说明获得来自第3B图中的与遗失区块31相邻的边310上的边缘端点的步骤。图示310A表示边缘端点3101、3102、3103和3104从边310找出，当毗连的像素数据差值超过(2×平均绝对差值)以及QP/2中较大的值；|xi-xi-1|>max(2N·Σk=1N|xi-xi-1|,QP2)]]>其中Xi是像素数据而QP是与图像页有关的量化(quantization)参数。
大体上来说，除了颜色变化锐利的图案边缘之外，一个图案的边缘上通常会发现多个边缘端点，例如边缘端点3102、3103和3104其实仅代表同一图案的边缘。为了要决定一个真实的单一边缘端点，边缘细化步骤将被执行而仅选取相邻多个边缘端点中，与前一像素数据相差值最大的边缘端点。图示310B表示边缘端点3103被选择来代表真正的边缘端点。
第3D图表示根据第3A图的步骤S2，包含边缘端点3101的邻近k×k像素矩阵33被选取来决定边缘端点3101的方向，其中k是奇数并介于在1到16之间。在本实施例中，选择k＝5。3×3索贝尔(Sobel)过滤器于本实施例被选择来计算边缘端点的方向。使用3×3 Sobel过滤器计算列和栏梯度GR(n)和GC(n)，k×k的像素矩阵将产生(k-2)×(k-2)组的GR(n)和GC(n)。然后能由GR(n)和GC(n)计算出边缘角度和边缘量。举例来说，边缘角度能由tan-1(GR(n)GC(n))]]>计算出，而边缘量能由(GR(n))2+(GC(n))2]]>计算出。当计算出的边缘角度值比零低的时候，边缘角度将被增加π，以使边缘角度为正值。然后计算k×k像素矩阵的平均边缘角度和量来当作该边缘端点的方向和量。当计算出的边缘量比(2×平均绝对差值)更少的时候，该组边缘角度和量将被舍弃，而不加入平均边缘角度和量的计算中。适当的像素矩阵大小能提供给边缘端点更正确的边缘方向特性。
来自遗失区块不同边上，有着相似边缘角度与边缘量的边缘端点可以被连接而形成边缘线。这可以让边缘线通过该遗失区块的图案顺利地重建，而产生平顺的画面数据。
然而复杂图像会包含许多小尺寸的彩色图案。小图案的边缘端点可能在遗失区块的边上被为发现。由于不同图案往往具有不同的颜色，连接遗失区块中来自不同的相邻边上而属于不同图案的边缘端点可能会使重建后的区块图像变得破碎；这是因为不同颜色的图案被错误的连接在一起。由于这情况往往是由于画面复杂而个别图案区块尺寸小而导致。本发明提供一实施例，可以检测出边缘端点是否属于小尺寸的图案，而在连接边缘端点的步骤时被舍弃，以防止产生的画面变得破碎。
一个边缘端点的量统计值在一实施例中被计算，低于30％量统计值的边缘端点将被舍弃而不作为形成边缘线之用。该统计值的计算方法为(1)以量化参数π/32，来量化边缘端点的k×k参考像素矩阵中的(k-2)×(k-2)组边缘角度以及边缘端点的平均边缘角度；(2)当量化后的边缘角度等于量化后的平均角度时，将其对应的边缘量加入边缘累计中，(3)将最后的边缘累计除以所有边缘量之和，得到该量统计值。一个边缘量低于平均绝对差值的边缘角度-量的组合将被舍弃而不纳入上述量统计值的计算。量统计值低的边缘端点意指附近的图像的边缘角度值非常不一致，并部署于非常明显的边缘线，或仅属于尺寸非常小的图案，而不应该被连接到遗失区块的其它边上。
第3A图中的步骤S3中，由边缘端点并根据其方向形成边缘线以分割遗失区块成为多个遗失区域的一种方法被描述如下。配对边缘线由两个有相似方向边缘端点所定义连接而成，而独立边缘线以个别未配对的边缘端点为起点形成，并以该未配对的边缘端点的方向进入该遗失区域，并结束于配对边缘在线。
决定两个边缘端点是否有相似的方向的条件为比较其个别的边缘角度和量。藉由将边缘角度除以π并将边缘量除以最大数据储存值，可将所有边缘端点的方向作归一化(normalize)。其中最大数据储存值为代表画速数据的最大值，例如在8位图像数据系统中，最大数据储存值为256。归一化之后所有的边缘角度以及边缘量的值均会介于0到1之间而可以彼此作比较。如果两个边缘端点的归一化边缘量差小于4×QP/N2而且归一化边缘角度差小于π/8，则将该两个边缘端点配对，藉以形成配对边缘线。上述边缘量临限4×QP/N2以及边缘角度临限π/8可以定义为其它的数值，以适应不同的图像处理需求。上述中N为边缘端点的数目而QP为相关于该图像页的量化参数。
第3E图表示根据本发明一实施例，连接二边缘端点A及B以形成的配对边缘线。其中该配对边缘线的斜率为S，而边缘端点A及B的边缘角度分别为DA和DB。由于DA和DB相似而形成该配对边缘线。然而，如果斜度S与边缘角度DA和DB之间的角度差过大，遗失区块内将产生错误的数据。DA和DB与斜度S的角度差可以被计算出来。如果角度差超过临限值0.125×π，该配对边缘线被舍弃，且边缘端点A及B两者都认为是未配对的。
第3F图表示根据本发明一实施例，在第3B图中的图像30为遗失区域31找出边缘端点而且形成边缘线。配对的边缘端点(3101，3131)和(3103，3122)分别形成配对边缘线1和2，且未配对的边缘端点3111和3121分别形成独立边缘线4和3。藉由将遗失区块31的水平位置当做x且将垂直位置当做y，而且设定遗失区块31的一个角落当做原点(0，0)，ax+bx+c＝0函数可产生来代表个别边缘线。
第3G图表示二进制树状结构代表第3F图中的遗失区块31的边缘线以及所划分出的遗失区域。节点1、2、3和4被建立来代表边缘线1、2、3和4。每个节点有一第一分支连接一节点代表该边缘线的正区域(ax+bx+c≥0)和一个第二分支的连接一节点代表该边缘线的正区域(ax+bx+c≤0)。配对节点首先被连接，然后连接独立的节点。二进制的树状结构上未连接的分支A、B、C、D和E分别对应来代表遗失区域A、B、C、D和E。
若配对节点对应的配对边缘端点的 为最小，其可被选择来当做二进制树状结构的开始节点；这是因为其边缘角度以及边缘量的差为最小，可代表最明显的边缘线的缘故；其中Pi和Pj为配对边缘端点的归一化边缘量且θi和θj为配对边缘端点的归一化边缘角度，而且ωθ是预定的权重系数。在本实施例中选择ωθ＝2，以使来自边缘角度的贡献变得更重要。
第3H图表示根据第3A图的步骤S4，由遗失区域H附近的图像中获得遗失像素340的参考像素的方法。遗失像素340位于遗失区域H，对应于配对边缘线341和独立边缘线342。与线342和341斜率相同的虚拟线函数被产生，藉以通过遗失像素340，并与遗失区块31相邻的图像边相交于像素3401、3402、3403和3404处，如虚线344和343所示。像素3401和3403因为不与遗失区域H相邻而被舍弃。像素3402和3403然后被选择为参考像素。所有的遗失像素在遗失区块31的4边上，可产生不同数量的参考像素。
遗失像素的数据然后被计算为每个参考像素的像素数据贡献的加总，其中每个参考像素的贡献为像素数据乘重量权数。遗失像素数据能如以下公式被计算出x^j=Σi=1Njaiyi,ai=1/diΣ1/dk]]>其中ai是重量权数等于参考像素与对应的遗失像素之间被归一化后的距离。
本发明揭露对于图像页的遗失区块，重新产生像素数据方法，提供一种平滑和且保持画面一致性的重见结果，可适用于图像通信中宏区块的遗失重建，或图像数据的特殊处理。图像页中的一个不想要的区块能被删除，然后根据本发明实施例所提供的方法，使用来自邻近地区图像的数据重新产生平滑和且保持画面一致性的重见结果。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许之更动与润饰，因此本发明的保护范围当视所附的权利要求范围所界定者为准。
权利要求
1.一种图像处理方法，用以产生在图像页的遗失区块中的图像数据；该图像处理方法包括从该遗失区块周围图像边上检测边缘端点；计算每一边缘端点的方向；以个别边缘点为起点，根据该等边缘端点的方向形成边缘线进入该遗失区块，并将该遗失区块划分为多个遗失区域；以及利用与个别遗失区域相邻的图像边上的参考像素数据，计算该遗失区域中的遗失像素数据。
2.根据权利要求1所述的图像处理方法，其中当该遗失区块周围图像边上的一像素与相邻的前一像素数据差值超过临限值时，决定该像素为边缘端点。
3.根据权利要求2所述的图像处理方法，其中该临限值为(2×平均绝对差值)以及QP/2中较大的值；其中QP是与图像页有关的量化参数。
4.根据权利要求1所述的图像处理方法，其中当边缘线的斜率与连接的边缘端点的角度之间的角度差超过临限值，该边缘线被舍弃。
5.根据权利要求4所述的图像处理方法，其中该临限值为0.125×π。
6.根据权利要求1所述的图像处理方法，其中该以个别边缘点为起点，根据该等边缘端点的方向形成边缘线进入该遗失区块的步骤包括连接任何二个有相似方向的边缘端点，以定义配对边缘线；以及以个别未配对的边缘端点为起点，形成独立边缘线，该独立边缘线根据该未配对的边缘端点的方向进入该遗失区域，并结束于配对边缘在线。
7.根据权利要求6所述的图像处理方法，其中连接任何二个有相似方向的边缘端点，以定义配对边缘线的步骤包括将个别边缘端点的该方向的边缘角度及边缘量作归一化；以及选择两个边缘端点，其归一化边缘量差小于一量临限值而且归一化边缘角度差小于角度临限值，将该两个边缘端点配对，藉以形成配对边缘线。
8.根据权利要求7所述的图像处理方法，其中该量临限值为4×QP/N2，而该角度临限值为π/8；其中N为边缘端点的数目而QP为相关于该图像页的量化参数。
9.根据权利要求6所述的图像处理方法，还包括产生配对节点以对应个别配对边缘线，以及产生独立节点以对应个别独立边缘线；其中个别配对节点及独立节点具有第一分支可连接一节点位于所对应边缘线的正区域，以及第二分支可连接一节点位于所对应的边缘线的负区域；依序连接所有配对节点以产生二进制树状结构；其中当配对节点位于前一配对节点的正区域，则将该配对节点连接到前一配对节点的第一分支；当配对节点位于前一配对节点的负区域，则将该配对节点连接到前一配对节点的第二分支；依序连接所有独立节点到其连接的配对节点上；其中配对节点可连接于其所连接的配对节点上，或连接于同一配对节点的一独立节点上；以及利用个别未连接的节点分支代表划分出的遗失区域。
10.根据权利要求9所述的图像处理方法，还包括选择配对节点来当做二进制树状结构的开始节点，其对应的配对边缘端点的 为最小；其中Pi和Pj为配对边缘端点的归一化边缘量且θi和θj为配对边缘端点的归一化边缘角度，而且ωθ是预定的权重系数。
11.根据权利要求10所述的图像处理方法，其中该权重系数ωθ＝2。
12.根据权利要求1所述的图像处理方法，其中计算个别边缘端点的方向的步骤包括选取包含边缘端点的邻近一k×k像素矩阵，其中k为正奇数且不小于3；利用3×3索贝尔过滤器计算k×k像素矩阵的列梯度和栏梯度；利用列梯度和栏梯度计算边缘角度以及边缘量；以及计算平均边缘角度以及平均边缘量表示该边缘端点的方向。
13.根据权利要求12所述的图像处理方法，其中边缘角度为 其中GR(n)为列梯度且GC(n)为栏梯度。
14.根据权利要求13所述的图像处理方法，其中当计算出的边缘角度值比零低的时候，将边缘角度加π。
15.根据权利要求12所述的图像处理方法，其中边缘量为(GR(n))2+(GC(n))2;]]>其中GR(n)为列梯度且GC(n)为栏梯度。
16.根据权利要求12所述的图像处理方法，其中当计算出的边缘量比(2×平均绝对差值)更少的时候，该组边缘角度和边缘量将被舍弃，而不加入该平均边缘角度和该平均边缘量的计算中。
17.根据权利要求12所述的图像处理方法，还包括计算个别边缘端点的一量统计值，包括以统计量化参数量化边缘端点的边缘角度以及平均边缘角度；当量化后的边缘角度等于量化后的平均角度时，将其对应的边缘量加入边缘累计中；将最后的边缘累计除以所有边缘量之和，得到该量统计值；以及舍弃量统计值低于统计临限值的边缘端点，不作为形成边缘线之用。
18.根据权利要求17所述的图像处理方法，其中该统计临限值为30％。
19.根据权利要求17所述的图像处理方法，其中边缘量低于平均绝对差值的边缘角度-量组合将被舍弃，而不纳入量统计值的计算。
20.根据权利要求17所述的图像处理方法，其中该统计量化参数为π/32。
21.根据权利要求1所述的图像处理方法，其中在遗失区域的遗失像素数据的参考像素数据，可于虚拟线函数相交于与该遗失区域相邻的图像边上的位置来获得；其中该虚拟线函数的斜率与划分出该遗失区域的边缘线相同且该虚拟线函数通过该遗失像素。
22.根据权利要求21所述的图像处理方法，其中该遗失像素数据为每个参考像素的像素数据贡献的加总。
23.根据权利要求22所述的图像处理方法，其中参考像素的贡献为其像素数据乘重量权数。
24.根据权利要求22所述的图像处理方法，其中该重量权数为该参考像素与该遗失像素的距离的倒数除以该遗失像素所有参考像素与该遗失像素的距离的倒数总合。
全文摘要
本发明提供一种图像处理方法，用以产生在图像页的遗失区块中的图像数据。该图像处理方法包括从该遗失区块周围图像边上检测边缘端点；计算每一边缘端点的方向；以个别边缘点为起点，根据该等边缘端点的方向形成边缘线进入该遗失区块，并将该遗失区块划分为多个遗失区域；以及利用与个别遗失区域相邻的图像边上的参考像素数据，计算该遗失区域中的遗失像素数据。
文档编号G06T5/00GK1897032SQ200510116150
公开日2007年1月17日 申请日期2005年10月24日 优先权日2005年7月14日
发明者金昌成, 施宣辉, 郭宗杰, 叶家宏 申请人:智辉研发股份有限公司