图像处理装置的制造方法
【技术领域】
[0001] 本发明涉及一种进行高分辨率处理的图像处理装置以及记录介质。
【背景技术】
[0002] 作为在图像处理以及影像处理中所使用的重要的技术，已知有倍增（upscaling) 处理。例如，随着与近年来的FHD(Full High Definition，全高清）分辨率对应的显示器的 普及，为了将SD(Standard Definition，标清）分辨率的影像内容显示于FHD分辨率显示 器，需要倍增处理。此外，与超过FHD分辨率的QFHD (Quad Full High Definition，四倍全 高清）分辨率对应的显示器正在被开发，进一步超过QFHD的UHD(Ultra High Definition， 超高清）分辨率的显示器也正在被研宄。这样，随着显示器的高分辨率化推进，高性能的倍 增处理的重要性正在提高。
[0003] 倍增处理作为一般的技术，具有最邻近插值（nearest neighbor)、双一次插值 (双线性插值）、双三次插值（bicubic插值）的插值方法。最邻近插值使用位于距离参照 的位置最近的位置的像素值来进行插值，若放大率变高则相同的像素持续几个，因此灰度 再现劣化，此外，边缘部变成锯齿状。双一次插值使用参照的位置的周边的2X2像素（4像 素），将像素值线性地插值来求取像素值，虽然精度比最邻近插值好，但由于使用经线性插 值的像素值，因此模糊。双三次插值使用参照的位置的周边的4X4像素（16像素），通过三 次式来进行插值并求取像素值，与最邻近插值、双一次插值相比性能好，但是存在在边缘部 产生锯齿的问题。
[0004] 专利文献1记载了不需复杂的处理而对图像以及影像高质量地进行倍增处理的 方法。专利文献1记载的倍增处理首先使用在倾斜方向上相邻的低分辨率输入像素来生成 倾斜高分辨率（HR)像素。接下来，使用在水平方向上相邻的低分辨率输入像素、以及在垂 直方向上相邻的倾斜高分辨率（HR)像素来生成水平高分辨率（HR)像素。最后，使用在垂 直方向上相邻的低分辨率输入像素、以及在水平方向上相邻的倾斜高分辨率（HR)像素来 生成垂直高分辨率（HR)像素，由此生成高分辨率（HR)图像。此外，在生成各高分辨率（HR) 像素时，进行控制以使距离边缘方向近的方向的权重大、且远离边缘方向的方向的权重小。 由此，不产生过冲（overshoot)，抑制锯齿伪影（joggy artifacts)。
[0005] 在先技术文献
[0006] 专利文献
[0007] 专利文献1 :日本公开专利公报"特开2010-67272号公报（2010年3月25日公 开）"
【发明内容】
[0008] -发明要解决的课题-
[0009] 但是，专利文献1所示的倍增处理用于生成位于所输入的低分辨率像素的中间的 插值像素。对低分辨率输入像素的右下像素值进行计算，接下来，使用右下像素值的计算结 果来对低分辨率输入像素的右像素值、以及下像素值进行计算，由于始终根据一个低分辨 率输入像素来新生成3个输出像素，因此难以实现2倍以外的任意倍率放大处理。
[0010] 此外，虽然通过同时采用作为现有技术的双一次插值和双三次插值的插值方法， 能够进行任意倍率放大处理，但其结果是，会产生上述这些插值方法的问题。
[0011] 进一步地，专利文献1中被考虑的边缘的方向被限定于水平方向、垂直方向、45° 方向以及-45°方向。因此，在这些之间存在倾斜方向的边缘时，不能参照适当方向的像素， 因此有时会变为不自然的插值结果。为了将边缘的方向更细分，考虑参照宽度更宽的范围 的像素。但是，在该情况下，特别是为了参照远离垂直方向的像素，需要安装更多的行缓冲 器。其原因是可参照的像素的范围取决于可安装的行缓冲器的根数。此外，存在为了参照 宽度宽的范围的像素而处理耗时的问题。
[0012] 本发明为了解决上述课题而作出，本发明的目的在于，提供一种能够进行实现任 意倍率放大处理、且抑制了画质的降低以及处理时间的增大的图像处理的图像处理装置以 及记录介质。
[0013] -解决课题的手段-
[0014] 为了解决上述课题，本发明的一方式所涉及的图像处理装置是一种依照所设定的 放大缩小率并通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图 像数据进行放大缩小的图像处理装置，具备：参照块设定部，其对包含上述插值像素的参照 块进行设定；边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边 缘梯度方向；参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形 的顶点的4个参照像素；参照像素值设定部，其在上述参照像素位于上述参照块外的情况 下，求取以该参照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该 交点相邻的参照块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的 距离以及该相邻输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，而在上 述参照像素位于上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设 为参照像素值；以及插值像素值计算部，其使用上述4个参照像素的参照像素值来计算上 述插值像素的浓度值。
[0015] 此外，本发明的一方式所涉及的图像处理装置是一种依照所设定的放大缩小率并 通过在所输入的图像数据中包含的输入像素之间设置插值像素来对上述图像数据进行放 大缩小的图像处理装置，具备：参照块设定部，其对包含上述插值像素的参照块进行设定； 边缘梯度方向设定部，其使用上述参照块内的输入像素来设定插值像素的边缘梯度方向； 参照像素设定部，其设定作为具有与上述边缘梯度方向垂直的2边的四边形的顶点的4个 参照像素；参照像素值设定部，其在上述参照像素位于上述参照块外的情况下，求取以该参 照像素为一端的上述四边形的一边与上述参照块的边界线的交点，将与该交点相邻的参照 块内的输入像素确定为相邻输入像素，并基于该相邻输入像素与该交点的距离以及该相邻 输入像素的浓度值来估计作为该参照像素的浓度值的参照像素值，而在上述参照像素位于 上述参照块内的情况下，将与参照像素为相同位置的输入像素的浓度值设为参照像素值； 第1插值处理部，其使用上述4个参照像素的参照像素值来计算取决于上述插值像素的边 缘梯度方向的浓度值即第1插值值；第2插值处理部，其使用不取决于上述边缘梯度方向的 插值处理来计算不取决于上述插值像素的边缘梯度方向的浓度值即第2插值值；可靠度计 算部，其计算由上述边缘梯度方向设定部设定的边缘梯度方向的可靠度；以及混合处理部， 其基于上述可靠度来决定分别针对上述第1插值值以及第2插值值的加权系数，并使用决 定的加权系数将上述第1插值值与上述第2插值值相加，来计算上述插值像素的浓度值。
[0016] -发明效果-
[0017] 根据本发明，能够进行实现任意倍率放大处理、且抑制了画质的降低以及处理时 间的增大的图像处理。
【附图说明】
[0018] 图1是表示本发明的实施方式1所涉及的电视接收机的结构的概况的框图。
[0019] 图2是表示图1所示的影像信号处理电路的结构的框图。
[0020] 图3是表示图2所示的缩放处理部的结构的框图。
[0021] 图4是表示针对插值像素的参照块的设定例的图。
[0022] 图5是表示1次微分滤波器的一个例子的图。
[0023] 图6是表示针对输入像素而计算出的边缘梯度的一个例子的图。
[0024] 图7是表示边缘梯度方向的各个区域的图。
[0025] 图8是表示使用了边缘梯度G= (Gx，Gy)的边缘梯度方向的设定处理的流程的流 程图。
[0026] 图9是表示图3所示的插值处理部的结构的框图。
[0027] 图10是表示参照块M = N = 4、边缘梯度方向的分割数NB = 12的情况下的、相对 于插值像素的边缘梯度方向Φ的平行四边形的设定例的图。
[0028] 图11是表示插值像素的位置与将临时参照坐标作为顶点的平行四边形的位置的 关系的图。
[0029] 图12A是表示将参照块设为M = N = 6、LHMax= LV Max= 5,将边缘梯度方向的分割 数设为NB = 20的情况下的、边缘梯度方向BQ、Bn-B19中的临时参照坐标4个点的设定例的 图。
[0030] 图12B是表示将参照块设为M = N = 6、LHMax= LV Max= 5,将边缘梯度方向的分割 数设为NB = 20的情况下的、边缘梯度方向B1-Bltl中的临时参照坐标4个点的设定例的图。
[0031] 图13是表示图9所示的参照像素值设定部所执行的临时参照坐标的像素值的设 定处理的流程图。
[0032] 图14是表示临时参照坐标处于参照块外的情况下的临时参照坐标的像素值的设 定方法的图。
[0033] 图15是表示图9所示的插值像素值计算部所执行的处理的流程图的图。
[0034] 图16是表示对插值像素的像素值进行计算的方法的图，（a)是Φ属于第1方向 群的情况，（b)是Φ属于第2方向群的情况。
[0035] 图17是表示对插值像素的像素值进行计算的方法的图。
[0036] 图18是表示用于求取边缘梯度的多个1次微分滤波器的例子的图。
[0037] 图19是表示为了决定插值像素的边缘梯度方向而选择出的ND个对象像素的例子 的图。
[0038] 图20是表示用于求取边缘梯度方向的模板的图。
[0039] 图21是表示本发明的实施方式2所涉及的电视接收机具备的缩放处理部的结构 的框图。
[0040] 图22是表示图21所示的边缘梯度方向设定部的结构的框图。
[0041] 图23是表示图21所示的可靠度计算部的处理例的流程图。
[0042] 图24是表示图21所示的可靠度计算部使用的查询表的一个例子的图。
[0043] 图25是表示不取决于边缘梯度方向的Lanczos插值处理中使用的加权系数的分 布（η = 2的情况）的图。
[0044] 图26是表示图21所示的可靠度计算部的另一处理例的流程图。
[0045] 图27是表示图21所示的可靠度计算部使用的查询表的另一例子的图。
[0046] 图28是表示缩放处理部的变形例的框图。
[0047] 图29是表示图28所示的边缘梯度方向设定部的结构的框图。
[0048] 图30是表示用于修正可靠度的滤波器的例子的图。
[0049