图像处理装置、图像处理方法及计算机可读记录介质与流程

本发明涉及一种图像处理装置、图像处理方法及计算机可读记录介质，尤其涉及一种用于生成高画质图像的图像处理装置、图像处理方法及计算机可读记录介质。

背景技术：

人工智能(ai：artificialintelligence)系统是一种实现人类水平的智能的计算机系统，与现有的基于规则(rule)的智能系统不同，是一种机器自己学习并判断而变聪明的系统。人工智能系统使用越多，识别率越高，并且能够更准确地理解用户的取向，从而现有的基于规则(rule)的智能系统正逐渐被基于深度学习的人工智能系统所取代。

人工智能技术由机器学习(深度学习)以及灵活运用机器学习的元素技术构成。

机器学习是自己对输入数据的特征进行分类/学习的算法技术，元素技术是灵活运用深度学习等机器学习算法来模拟人脑认知、判断等功能的技术，包括语言理解、视觉理解、推断/预测、知识表示、操作控制等技术领域。

应用人工智能技术的多种领域如下所述。语言理解是对人类的语言/文字进行识别并应用/处理的技术，包括自然语言处理、机器翻译、对话系统、查询响应、语音识别/合成等。视觉理解是如人类的视觉一样对事物进行识别并处理的技术，包括客体识别、客体跟踪、图像搜索、人物识别、场景理解、空间理解、图像改善等。推断预测是对信息进行判断，进而进行逻辑推断并预测的技术，包括基于知识/概率的推断、优化预测、基于偏好的计划、推荐等。知识表示是将人类的经验信息自动化处理为知识数据的技术，包括知识构建(数据生成/分类)、知识管理(数据灵活运用)等。操作控制是控制车辆的自动驾驶、机器人的运动的技术，包括运动控制(导航、碰撞、行驶)、操作控制(行动控制)等。

另外，进行了大量从在定量画质评价中通常大量使用的峰值信噪比(psnr：peaksignal-to-noiseratio)、结构相似性(ssim：structuralsimilarity)等方面改善画质的研究。但是，由于图像的画质受到人类的感性或喜好等多种因素的影响，因此利用目前为止所开发的技术从认知的角度改善画质存在限制。

从最近的画质改善技术来看，大致可以分为不使用外部数据库(database)的方法与使用外部数据库的方法这两个范畴。在不使用外部数据库的方法中，开发了vdsr(super-resolutionusingverydeepconvolutionalnetworks)。然而，尽管可以表达质感，例如草(grass)、布(fabric)等，但是目前的实情是，在高频成分较高的纹理(texture)区域中的性能仍然不足。使用外部数据库的技术虽然在纹理区域中也能够一定程度地改善画质，但是由于使用200mb以上的内存，因此难以应用于tv或移动终端。

因此，需要提出一种能够在不适用外部数据库的情况下对图像的纹理区域的画质进行改善的技术。

技术实现要素：

技术问题

本发明根据上述的必要性而提出，且本发明的目的在于提供一种能够在不使用外部数据库的情况下利用低画质图像生成高画质图像的图像处理装置、图像处理方法及计算机可读记录介质。

技术方案

根据本发明的一实施例的图像处理装置包括：输入部，输入部，接收输入的图像；以及处理器，缩小输入的图像并提取视觉特征，将提取的视觉特征反映于输入的图像而生成高画质图像。

在这种情况下，处理器可以利用预设的比例因子缩小输入的图像。

另外，处理器可以执行用于提高输入的图像的画质的预处理，并将缩小预处理后的图像而提取的视觉特征反映于预处理后的图像而生成高画质图像。

在这种情况下，图像处理装置还可以包括：存储部，存储与图像的多个劣化程度对应的多个比例因子，其中，处理器基于与输入的图像进行比较而测定的预处理后的图像的画质改善率来确定输入的图像的劣化程度，并利用存储的多个比例因子中的与确定的劣化程度对应的比例因子来缩小输入的图像。

另外，处理器可以将多个缩小后的图像以对应于输入的图像的大小的方式排列，并从排列后的图像中提取视觉特征。

另外，处理器可以仅在输入的图像中的一部分区域反映提取的视觉特征而生成高画质图像。

在这种情况下，一部分区域的图像信号的频率可以为预设值以上。

另外，所述图像处理装置还可以包括：显示部，显示生成的高画质图像。

另外，所述图像处理装置还可以包括：通信部，将生成的高画质图像传送至显示装置。

另外，根据本发明的一实施例的图像处理方法包括如下步骤：接收输入的图像；缩小输入的图像；从缩小后的图像中提取视觉特征；以及将提取的视觉特征反映于输入的图像而生成高画质图像。

在这种情况下，在进行缩小的步骤中，可以利用预设的比例因子缩小输入的图像。

另外，图像处理方法还可以包括如下步骤：执行用于提高输入的图像的画质的预处理，其中，在进行缩小的步骤中，缩小预处理后的图像。

在这种情况下，图像处理方法还可以包括如下步骤：存储与图像的多个劣化程度对应的多个比例因子，其中，在进行缩小的步骤中，基于与输入的图像进行比较而测定的画质提高后的图像的画质改善率来确定输入的图像的劣化程度，并利用存储的多个比例因子中的与确定的劣化程度对应的比例因子来缩小输入的图像。

另外，在进行提取的步骤中，可以将多个缩小后的图像以对应于输入的图像的大小的方式排列，并从排列后的图像中提取视觉特征。

另外，在生成的步骤中，可以仅在输入的图像中的一部分区域反映提取的视觉特征而生成高画质图像。

在这种情况下，一部分区域的图像信号的频率可以为预设值以上。

另外，图像处理方法还可以包括如下步骤：显示生成的高画质图像。

另外，图像处理方法还可以包括如下步骤：将生成的高画质图像传送至显示装置。

另外，对于根据本发明的一实施例的包括用于运行图像处理方法的程序的计算机可读记录介质而言，所述图像处理方法包括如下步骤：接收输入的图像；缩小输入的图像；从缩小后的图像中提取视觉特征；以及将提取的视觉特征反映于输入的图像而生成高画质图像。

附图说明

图1是用于说明根据本发明的一实施例的图像处理装置的简略构成的框图。

图2是用于说明根据本发明的一实施例的图像处理装置的具体构成的框图。

图3是示意性示出根据本发明的一实施例的图像处理方法的流程图。

图4是示出根据本发明的一实施例的比例因子确定方法的流程图。

图5是示出根据本发明的另一实施例的比例因子确定方法的流程图。

图6是用于说明根据本发明的一实施例的被划分区域的图像的图。

图7是用于说明图6所示的图的图像处理方法的流程图。

具体实施方式

以下，对本说明书中使用的术语进行简略的说明，并针对本发明进行具体说明。

本发明的实施例中使用的术语是考虑在本发明中的功能而选择的现在广泛使用的通用术语，然而这些术语可以根据从事本领域的技术人员的意图或案例、新技术的出现等而改变。并且，在特定情况下，也有申请人任意选择的术语，在这种情况下，相应的说明部分中将对其含义进行详细的记载。因此，本发明中使用的术语并非为单纯的术语的名称，而应该基于其术语具有的含义以及本说明书的总体内容来定义。

本发明的实施例可以进行各种变换且可以具有多种实施例，通过附图举例说明特定实施例并在详细的说明中进行详细说明。然而，其目的并不在于将范围限定于特定的实施方式，应该被理解为包括本发明的思想以及技术范围内所包含的所有变换、等同物乃至替代物。在对实施例进行说明的过程中，当针对相关已知技术的具体说明被判断为有可能对本发明的要点产生混淆时，省略该详细说明。

第一、第二等术语可用于说明多样的构成要素，但构成要素不限定于术语。术语仅以将一个构成要素与另一个构成要素区分的目的使用。

单数的表达除非在文中明确示出区别，否则还包含复数的表达。在本发明中，“包含”或者“构成”等术语旨在说明记载于说明书中的特征、数字、步骤、操作、构成要素、部件或者其组合的存在，应当被理解为并不预先排除一个或者一个以上的其他特征或者数字、步骤、操作、构成要素、部件或者其组合的存在以及附加可能性。

在本发明的实施例中，“模块”或“部”可以执行至少一个功能或操作，并且可以通过硬件或者软件实现，或者可以通过硬件和软件的结合而实现。并且，多个“模块”或“部”除了在其各自需要利用个别地特定硬件实现的情况以外，可以一体化为至少一个模块，从而体现为至少一个处理器。

以下，参照附图对本发明的实施例进行详细说明，使得本发明所属技术领域中具有普通知识水平的技术人员能够易于实施。然而，本发明可以实现为多种不同形态，因此并不限定于此处所说明的实施例。并且附图中为了对本发明进行明确的说明，省略与说明无关的部分，并且在整个说明书中对相似部分标示了相似的附图标号。

以下，参照附图对本发明进行更详细的说明。

图1是用于说明根据本发明的一实施例的图像处理装置的简略构成的框图。

参照图1，图像处理装置100包括输入部110及处理器120。在此，图像处理装置100可以实现为对输入的图像进行处理而传送至单独的显示装置的机顶盒、服务器形态。然而，并不局限于此，可以是在装置自身能够进行显示的配备有显示部的电视(tv)、个人计算机(pc)、移动装置等显示装置。

输入部110可以接收低画质图像。具体而言，输入部110可以通过有线或无线方式从外部接收图像，或者可以接收存储的多个图像中的将要由用户的选择来处理的图像。例如，输入部110可以通过天线或电缆接收图像，或者从存储部(未图示)接收用户所选择的图像。

处理器120可以生成将通过输入部110输入的图像进行放大比例(up-scaling)的高画质图像。具体而言，处理器120可以缩小输入的低画质图像，从而提取缩小后的图像的视觉特征，并将提取的视觉特征反映于输入的低画质图像，从而生成高画质图像。

在此，放大比例表示对为了从低画质图像实现高画质图像而增加的像素进行校正的操作，在画面的大小相同的情况下，能够获得比原来的画面更鲜明且清晰的图像，在画面的大小变大的情况下，也能够获得画质不低于原来的画面的图像。

并且，视觉特征是当用户通过肉眼观察图像时能够认知到的特征，不仅包括图像的亮度、色感、明暗、色度、对比度等图像的属性，而且还包括体现从图像内各区域的图像信号的频率形态、图像所包含的边缘的形态及密度、色相的排列等感受到的质感的纹理(texture)特征。

同上所述，根据本实施例，可以在没有外部数据库的情况下缩小低画质图像，进而利用提取的视觉特征生成高画质图像，从而能够减少使用的内存。并且，还具有能够提高现有的由高频区域构成而放大比例效果微弱的纹理区域的画质。

处理器120可以利用预设的比例因子(scalefactor)缩小输入的图像。在此，比例因子是确定输入的图像的缩小程度的因子，可以是0与1之间。此时，预设的比例因子可以是预先通过机器学习确定的值。例如，在存在高画质的原始图像的情况下，处理器120可以以使原始图像与对原始图像的低画质图像进行处理而得到的图像最相近的方式确定比例因子。此时，处理器120可以对多个原始图像执行相同的操作，从而确定用于将低画质图像处理为与原始图像最相近的比例因子。以下，参照图4，对利用相近度确定比例因子的具体方法进行详细说明。

另外，处理器120可以根据低画质图像的劣化程度确定比例因子。具体而言，图像处理装置100可以预先存储与图像的多种劣化程度分别对应的多个比例因子信息，此时，多个比例因子信息可以存储为查询表形态。另外，以下，参照图5，对根据图像的劣化程度确定比例因子的方法进行详细说明。

另外，处理器120可以在缩小输入的图像之前提高输入的图像的画质。具体而言，处理器120可以根据现有的为了提高画质而使用的算法对图像的画质进行一次提高之后，根据本发明的一实施例执行用于改善画质的图像处理。

另外，虽然处理器120可以从缩小后的图像自身提取视觉特征，但是并不局限于此，可以从将多个缩小后的图像以对应于输入的图像的大小的方式排列的图像中提取视觉特征。例如，处理器120可以在利用0.5的比例因子缩小输入的图像的情况下，将缩小后的图像以对应于输入的图像的大小的方式排列为2×2之后，从排列后的图像中提取视觉特征。

因此，在应用从输入的图像提取的视觉特征生成高画质图像的过程中，能够在没有附加的缩放步骤的情况下分别反映对应的像素的视觉特征，从而能够减少误差发生。

另外，处理器120可以将从缩小后的图像中提取的视觉特征反映于输入的图像而生成高画质图像。此时，处理器120可以将输入的图像划分为大小与缩小后的图像对应的多个区域，并以在划分的各个区域应用提取的视觉特征的形态生成高画质图像。

另外，处理器120还可以在输入的图像反复应用提取的视觉特征而生成高画质图像。

另外，处理器120可以仅在输入的图像中的一部分区域反映提取的视觉特征而生成高画质图像。对此，将在下文中参照图6及图7进行详细说明。

图2是用于说明根据本发明的一实施例的图像处理装置的具体构成的框图。

参照图2，图像处理装置100可以包括输入部110、处理器120、存储部130、显示部140、通信部150、视频处理器160、音频处理器170、按钮126、麦克风部180、拍摄部185、音频输出部190。在此，输入部110及处理器120与图1所示的构成相同，因此省略重复记载。

存储部130可以存储图像处理装置100的操作所需的各种程序及数据。具体而言，存储部130可以存储用于在缩小输入的图像时使用的比例因子。此时，存储的比例因子是制造商通过机器学习而算出的，其可以在出厂时已存储，或者定期通过固件升级进行更新。另外，存储部130也可以存储用于导出比例因子的算法。

并且，存储部130可以存储将要放大比例为高画质图像的多个低画质图像。处理器120可以生成关于存储的多个低画质图像中用户所选择的低画质图像的高画质图像。

并且，存储部130可以存储关于与图像的劣化程度对应的比例因子的信息。此时，根据劣化程度的比例因子可以存储为查询表形态。

并且，存储部130可以存储用于将低画质图像放大比例的程序及数据等。因此，处理器120可以利用存储于存储部130的程序及数据而由输入的低画质图像生成高画质图像，并且可以根据情况确定在放大比例过程中所利用的比例因子。

显示部140可以显示生成的高画质图像。显示部140可以利用液晶显示器(lcd：liquidcrystaldisplay)、有机发光二极管(oled：organiclightemittingdiodes)显示器、等离子体显示面板(pdp：plasmadisplaypanel)等多种形态的显示器实现。在显示部140内可以包括能够实现为非晶硅薄膜晶体管(a-sitft)、低温多晶硅(ltps：lowtemperaturepolysilicon)薄膜晶体管(tft)、有机薄膜晶体管(organictft)等形态的驱动电路以及背光单元等。并且，显示部140还可以实现为柔性显示器。

并且，显示部140可以包括用于感测用户的触摸手势的触摸传感器。触摸传感器可以利用静电式、压敏式、压电式等多种类型的传感器实现。静电式是利用涂覆于显示部表面的电介质感测当用户身体的一部分触摸显示部140表面时由用户的身体引起的微弱电力而算出触摸坐标的方式。压敏式是如下所述中的一种方式：包括内置于显示部140的两个电极板，从而在用户触摸画面的情况下，感测到被触摸的点的上下板接触而引起的电流的产生，从而算出触摸坐标。除此之外，在图像处理装置100还支持笔输入功能的情况下，除了用户的手指之外，显示部140还可以感测利用笔等输入单元的用户手势。在输入单元为内部包括线圈的触控笔(styluspen)的情况下，图像处理装置100还可以包括能够感测由于触控笔内部的线圈而变化的磁场的磁场感测传感器。因此，不仅能够感测触摸手势，而且能够感测接近手势，即悬停(hovering)。

另外，虽然上文对显示功能及手势感测功能在同一构成中执行的情形进行了说明，但是也可以在互不相同的构成中执行。并且，根据多种实施形态，图像处理装置100也可以不具备显示部140。

通信部150是根据多种类型的通信方式与多种类型的外部设备执行通信的构成。通信部150包括无线局域网(wifi)芯片151、蓝牙(bluetooth)芯片152、无线通信芯片153、近场通信(nfc：nearfieldcommunication)芯片154。处理器120利用通信部150与各种外部设备执行通信。

具体而言，通信部150可以从外部装置接收低画质图像，并将由处理器120生成的高画质图像传送至独立的显示装置等外部装置。

无线局域网芯片151、蓝牙芯片152分别以wifi方式、蓝牙方式执行通信。在利用无线局域网芯片151或者蓝牙芯片152的情况下，首先收发服务集标识(ssid)、会话密钥等各种连接信息，从而能够在利用其通信连接之后收发各种信息。无线通信芯片153表示根据ieee、无线个域网(zigbee)、3g(3rdgeneration)、3gpp(3rdgenerationpartnershipproject)、lte(longtermevoloution)等多种通信标准执行通信的芯片。近场通信芯片154表示以在135khz、13.56mhz、433mhz、860～960mhz、2.45ghz等多种rf-id频带中使用13.56mhz频带的近场通信(nfc：nearfieldcommunication)方式操作的芯片。

处理器120可以包括ram121、rom122、中央处理单元(cpu，centralprocessingunit)123、图形处理单元(gpu，graphicprocessingunit)124、总线125。ram121、rom122、cpu123、gpu124等可以通过总线125相互连接。

cpu123访问存储部130而利用存储于存储部130的操作系统(os：operatingsystem)来执行启动。并且，cpu123利用存储于存储部130的各种程序、内容、数据等来执行多种操作。

rom122中存储有用于启动系统的指令集等。当输入打开命令而供应电源时，cpu123根据存储于rom122的指令而将存储于存储部140的os复制到ram121，并运行os而启动系统。完成启动之后，cpu123将存储于存储部140的各种程序复制到ram121，并运行复制于ram121的程序而执行各种操作。

图像处理装置100的启动完成之后，gpu124将用户界面(ui)显示于显示部140。具体而言，gpu124可以利用运算部(未图示)及渲染部(未图示)生成包括图标、图像、文本等多样的客体的画面。运算部根据画面的布局而计算显示各个客体的坐标值、形态、大小、颜色等属性值。渲染部基于在运算部运算出的属性值来生成包括客体的多样的布局的画面。在渲染部生成的画面(或用户界面窗口)被提供至显示部140，并分别显示于主显示区域及子显示区域。

视频处理器160是用于对通过通信部150接收到的内容或存储于存储部130的内容中所包含的视频数据进行处理的构成要素。视频处理器160可以针对视频数据执行解码、缩放、噪声滤波、帧速率转换、分辨率转换等多种图像处理。

音频处理器170是用于对通过通信部150接收到的内容或存储于存储部130的内容中所包含的音频数据进行处理的构成要素。音频处理器170可以针对音频数据执行解码或增幅、噪声滤波等多种处理。

当针对多媒体内容执行再现应用程序时，处理器120可以驱动视频处理器160及音频处理器170以再现相应内容。此时，显示部140可以将在视频处理器160生成的图像帧显示在主显示区域、子显示区域中的至少一个区域。

音频输出部190输出在音频处理器170生成的音频数据。

按钮126可以是形成于图像处理装置100的主体外观的前表面部或侧面部、背面部等任意区域的机械按钮、触摸板、轮盘等多种类型的按钮。

麦克风部180是用于接收用户语音或其他声音而转换为音频数据的构成。处理器120可以在通话(call)过程中利用通过麦克风部180输入的用户语音，或者将其转换为音频数据并存储于存储部130。另外，麦克风部180可以利用从多个位置接收声音输入的立体麦克风构成。

拍摄部185是用于根据用户的控制拍摄静止图像或视频的构成。拍摄部185可以利用前置相机、后置相机等多个相机实现。同上所述，在用于跟踪用户的视线的实施例中，拍摄部185可以用作用于获取用户的图像的手段。

在配备有拍摄部185及麦克风部180的情况下，处理器120也可以根据通过麦克风部180输入的用户语音或由拍摄部185识别到的用户动作执行控制操作。即，图像处理装置100可以以动作控制模式或语音控制模式进行操作。在以动作控制模式进行操作的情况下，处理器120激活拍摄部185以拍摄用户，并跟踪用户的动作变化而执行与其对应的控制操作。在以语音控制模式进行操作的情况下，也可以以如下所述的语音识别模式进行操作：处理器120分析通过麦克风部180输入的用户语音，并根据分析出的用户语音执行控制操作。

对于支持动作控制模式或语音控制模式的图像处理装置100而言，语音识别技术或动作识别技术可以用于上述的多种实施例中。例如，在用户做出对显示于主画面的对象做出选择的动作，或者发音出与该对象对应的语言命令的情况下，则可以判断为选择了相应对象，并执行与该对象匹配的控制操作。

除此之外，虽然在图3中未图示，但是根据实施例，在图像处理装置100内当然还可以包括能够连接usb连接器的usb端口，或者用于与耳麦、鼠标、lan等多种外部端子连接的多种外部输入端口、接收并处理数字多媒体广播(dmb：digitalmultimediabroadcasting)信号的dmb芯片、多种传感器等。

图3是示意性示出根据本发明的一实施例的图像处理方法的流程图。

参照图3，首先，图像处理装置可以接收输入的图像(s310)。具体而言，接收的图像可以是从外部装置接收的图像，或者存储于图像处理装置的多个图像中用户所选择的图像。

接下来，虽然未图示，但是图像处理装置可以执行用于提高输入的图像的画质的预处理(pre-processing)。具体而言，图像处理装置可以利用现有的图像放大比例的方式对输入的图像执行预处理。例如，图像处理装置可以通过基于图像的信号变化检测边缘(edge)并缩小检测出的区域的宽度或者增加强度来对图像进行处理，使其包括更鲜明的边缘。这仅为一实施例，图像处理装置可以以多种形式执行用于提高输入的图像的画质的预处理。

另外，根据现有的放大比例的方式，针对图像内的信号由高频信号构成的纹理区域的放大比例效果可能比较微弱。对此，以下，通过根据本发明的图像处理还能够提高纹理区域的画质。

接下来，图像处理装置可以缩小输入的图像(s320)。具体而言，图像处理装置可以利用比例因子缩小输入的图像。此时，比例因子可以是预设的值，或者根据输入的图像确定的值。另外，在比例因子是预设的值的情况下，针对用于导出其的方法将在下文中参照图4而进行详细说明。另外，在比例因子是根据输入的图像确定的值的情况下，针对用于导出其的方法将在下文中参照图5而进行详细说明。

另外，在执行了用于提高输入的图像的画质的预处理的情况下，图像处理装置可以利用比例因子缩小预处理后的图像。

接下来，图像处理装置可以从缩小后的图像中提取视觉特征(s330)。具体而言，图像处理装置不仅可以提取缩小后的图像的亮度、色感、明暗、色度、对比度等图像的属性，而且还可以提取体现从图像内各区域的图像信号的频率形态、图像所包含的边缘的形态及密度、色相的排列等感受到的质感的纹理(texture)特征。

另外，虽然未图示，但是图像处理装置在提取视觉特征的步骤之前，还可以将多个缩小后的图像以对应于输入的图像的大小的方式排列，进而从排列后的图像中提取视觉特征。

另外，在执行了用于提高输入的图像的画质的预处理的情况下，缩小后的图像是预处理后的图像，并且图像处理装置还可以在执行预处理后从缩小的图像中提取视觉特征。

接下来，图像处理装置可以反映提取的视觉特征而生成高画质图像(s340)。具体而言，图像处理装置可以将输入的图像划分为与缩小后的图像对应的大小的多个区域，并以对被划分的各个区域应用从缩小后的图像中提取的视觉特征的形态来生成高画质图像。另外，在从排列有多个缩小后的图像的图像中提取视觉特征的情况下，图像处理装置还可以在输入的图像中分别对应于排列后的图像的位置应用视觉特征而生成高画质图像。此时，图像处理装置还可以在输入的图像反复应用提取的视觉特征而生成高画质图像。

另外，在执行了用于提高输入的图像的画质的预处理的情况下，图像处理装置还可以在预处理后的图像反映提取的视觉特征而生成高画质图像。

同上所述，根据本实施例，可以在没有外部数据库的情况下缩小低画质图像，进而利用提取的视觉特征来生成高画质图像，从而能够减少放大比例所使用的内存及时间。并且，还具有提高现有的由高频区域构成而放大比例效果微弱的纹理区域的画质。

图4是示出根据本发明的一实施例的比例因子确定方法的流程图。在此，虽然图4中未图示，但是还可以包括图像处理装置优先接收或存储原始图像及原始图像的低画质图像的步骤。

参照图4，图像处理装置可以从利用多个比例因子缩小后的图像中提取多个视觉特征(s410)。具体而言，图像处理装置可以利用多个比例因子分别对输入的低画质图像进行缩小，进而从缩小后的各个图像中提取视觉特征。

例如，图像处理装置可以从利用诸如0.1、0.3、0.5、0.7、0.9等五个比例因子缩小的多个缩小后的图像中提取视觉特征。接下来，图像处理装置可以对输入的图像分别反映提取的视觉特征而生成五个图像。

此时，图像处理装置可以将利用各个比例因子缩小后的多个图像以对应于输入的图像的大小的方式排列，进而从排列后的各个图像中提取视觉特征。例如，图像处理装置可以将利用0.1的比例因子缩小后的多个图像以对应于输入的图像的大小的方式排列，进而从排列后的图像中提取视觉特征。同样地，图像处理装置可以提取与0.3、0.5、0.7、0.9的比例因子的各自对应的视觉特征。另外，在实际实现时，比例因子并不局限于上述实施例所记载的值，比例因子的数量也可以是4个以下或6个以上。

接下来，图像处理装置可以将提取的多个视觉特征分别与原始图像的视觉特征进行比较(s420)。具体而言，图像处理装置可以利用多层(multi-layer)技术计算与原始图像的视觉特征及提取的多个视觉特征各自所对应的多种大小的特征图谱(featuremap)。在此，层与图像的大小有关，随着层索引增加，整个图像的大小变小。例如，若层索引较小，则计算关于图像内局部范围的特征图谱，若层索引较大，则计算关于图像内更大范围的特征图谱。

并且，可以基于算出的特征图谱计算在各个层上测定如公式(1)等特征图谱之间的相关关系的格拉姆矩阵(grammatrix，)。

在此，l表示层的索引(index)，i及j表示特征图谱的索引，k表示像素索引。

为了使从缩小的图像中提取的视觉特征与原始图像的视觉特征相近，各个层求得的格拉姆矩阵必须相近，首先，如公式(2)所示，图像处理装置求得各个层(l)上的原始图像的视觉特征与提取的视觉特征的格拉姆矩阵的差值(el)。

在此，g^l及分别表示原始图像的视觉特征及提取的视觉特征的在第l层上的格拉姆矩阵。

接下来，如公式(3)所示，图像处理装置可以计算原始图像的视觉特征与提取的视觉特征的相互对应的像素的格拉姆矩阵的差值的平均值

在此，及分别表示原始图像的视觉特征及提取的视觉特征的像素位置。

接下来，图像处理装置可以确定提取的多个视觉特征中的与原始图像的视觉特征相近度最高的视觉特征所对应的比例因子(s430)。在此，相近度最高表示格拉姆矩阵差值的平均值最小。即，图像处理装置可以将多个比例因子中的与原始图像的视觉特征格拉姆矩阵差值的平均值最小的视觉特征所对应的比例因子确定为针对后续输入的图像进行缩小时利用的比例因子。

另外，实际实现时，可以对于通过多次反复上述的过程的机器学习而确定最适合生成与原始图像相近的高画质图像的比例因子。

接下来，图像处理装置可以存储确定的比例因子(s440)。另外，根据情况，可以省略存储比例因子的过程。

另外，虽然上文中记载为，使用预设的比例因子缩小输入的低画质图像的过程在图像处理装置执行的情形，但是实际上，也可以在服务器等外部装置执行上述过程，并且还可以实现为图像处理装置接收并利用由外部装置确定的比例因子的形态。

同上所述，通过反复地与原始图像进行比较的机器学习，确定能够生成与原始图像最相近的高画质图像的比例因子，从而当以后输入低画质图像时，能够不使用外部数据库而生成质感最好的高画质图像。

图5是示出根据本发明的另一实施例的比例因子确定方法的流程图。在此，虽然图5中未图示，但是还可以包括图像处理装置优先以查询表的方式存储与图像的劣化程度对应的比例因子的步骤。

参照图5，图像处理装置可以对输入的图像执行用于提高画质的预处理(s510)。具体而言，图像处理装置可以利用现有的图像放大比例方式对输入的图像执行预处理。例如，图像处理装置可以通过基于图像的信号变化来检测边缘并缩小检测出的区域的宽度或者增加强度，从而将图像处理为其包括更鲜明的边缘。这仅为一实施例，图像处理装置可以以多种形式执行用于提高输入的图像的画质的预处理。

接下来，图像处理装置可以对预处理后的图像与输入的图像进行比较而测定预处理后的图像的画质改善率(s520)。具体而言，图像处理装置可以对输入的图像的画质性能与预处理后的图像的画质性能进行比较而测定预处理后的图像的画质改善率。

接下来，图像处理装置可以确定输入的图像的画质劣化程度(s530)。具体而言，图像处理装置可以利用测定的预处理后的图像的画质改善率确定输入的图像的画质劣化程度。例如，预处理后的图像的画质改善率越高，则图像处理装置可以确定输入的图像的画质劣化程度越严重。

接下来，图像处理装置可以确定与确定的画质劣化程度对应的比例因子(s540)。具体而言，图像处理装置可以在存储的查询表中将与确定的画质劣化程度对应的比例因子确定为将在缩小输入的图像时利用的比例因子。

同上所述，根据多种输入的图像的多种画质劣化程度确定比例因子，从而能够不使用外部数据库而生成质感最好的高画质图像。

图6是用于说明根据本发明的一实施例的被划分区域的图像的图。

参照图6，输入的图像60的示例包括站立于草地61上的斑马62。具体而言，输入的图像60可以包括：草地61区域，由于边缘较多且难以进行明确的划分，因此是图像信号为高频信号的区域；以及斑马62区域，由于边缘相对鲜明，因此是图像信号为低频信号的区域。

在这种情况下，图像处理装置可以仅对输入的图像60的一部分区域反映从缩小后的图像提取的视觉特征而生成高画质图像。具体而言，图像处理装置可以将图像划分为图像信号为高频信号的区域以及为相对低频信号的区域，进而分别执行互不相同的图像处理。以下，参照图7对此进行详细说明。

图7是用于说明图示于图6所示的图的图像处理方法的流程图。

参照图7，首先，图像处理装置可以根据图像信号的频率将输入的图像划分为多个区域。具体而言，图像处理装置可以判断输入的图像的图像信号的频率是否为预设值以上(s701)。

若判断是图像信号的频率为预设值以上的区域的情形(s701-y)，则图像处理装置可以缩小输入的图像(s702)。此时，图像处理装置可以利用根据预设的比例因子或输入的图像的劣化程度而确定的比例因子缩小输入的图像。

另外，虽然未图示，但是图像处理装置也可以在执行用于提高输入的图像的画质的预处理之后缩小预处理后的图像。

接下来，图像处理装置可以从缩小后的图像中提取视觉特征(s703)。对此的具体说明已记载于参照图1及图3而进行的说明中，因此省略重复说明。

另外，若判断是图像信号的频率小于预设值的区域的情形(s701-n)，则图像处理装置可以执行用于提高输入的图像的画质的处理(s704)。

接下来，图像处理装置可以从画质提高处理后的图像中提取视觉特征(s705)。关于此的具体操作与从缩小后的图像提取视觉特征的操作实际相同，因此省略重复说明。

接下来，图像处理装置可以对输入的图像反映提取的视觉特征而生成高画质图像(s706)。具体而言，图像处理装置可以针对输入的图像中的图像信号的频率为预设频率以上的区域应用从缩小后的图像中提取的视觉特征，并针对输入的图像中的图像信号的频率小于预设频率的区域应用从画质提高处理后的图像中提取的视觉特征。

另外，以上将输入的图像划分为两个区域，从而将图像处理分为应用比例因子和未应用比例因子的形态，然而当实际实现时，也可以实现为分别应用不同比例因子的形态，也可以将输入的图像划分为三个区域以上而进行图像处理。

并且，也可以实现为对每个帧应用不同的比例因子的形态。

同上所述，通过根据图像的特征应用多种比例因子，即使输入表现质感的纹理区域与非纹理区域混合的低画质图像，也能够生成整体更为高画质的图像。

根据同上所述的多种实施例，可以利用在没有外部数据库的情况下缩小低画质图像而提取的视觉特征来生成高画质图像，从而能够减少放大比例所使用的内存及时间。并且，还可以具有提高现有的由高频区域构成而放大比例效果微弱的纹理区域的画质的效果。

另外，同上所述的多种实施例可以利用软件(software)、硬件(hardware)或它们的组合而在可通过计算机(computer)或与其相似的装置读取的记录介质内实现。若通过硬件实现，本发明所述的实施例可以利用专用集成电路(asics：applicationspecificintegratedcircuits)、数字信号处理器(dspds：digitalsignalprocessors)、可编程逻辑器件(plds：programmablelogicdevices)、现场可编程门阵列(fpgas：fieldprogrammablegatearrays)、处理器(processor)、控制器(controller)、微控制器(micro-controllers)、微处理器(microprocessor)、用于执行其他功能的电子单元(unit)中的至少一种实现。在一些情况下，本说明书中所述的实施例也可以通过处理器120自身实现。若通过软件实现，本说明书中所述的步骤及功能等实施例可以通过单独的软件模块实现。所述软件模块中的每一个可以执行本说明书中所述的一个以上功能及操作。

另外，上述的根据本发明的多种实施例的显示装置的控制方法可以存储于非易失性可读介质(non-transitoryreadablemedium)。这样的非易失性可读介质可以搭载于多种装置中而进行使用。

非易失性可读介质并非如寄存器、缓存、存储器等一样短时间地存储数据的介质，而是表示能够半永久性地存储数据并可通过设备读取(reading)的介质。具体而言，用于执行上述多种方法的程序可以存储于cd、dvd、硬盘、蓝光光盘、usb、存储卡、rom等非易失性可读介质而进行提供。

以上针对本发明的优选实施例进行图示和说明，但是本发明并不局限于上述的特定实施例，在不脱离权利要求书中要求保护的本发明的主旨的范围内，能够被本发明所属的技术领域中具有基本知识的技术人员实现多样的变形实施，这是显而易见的，并且这些变形实施不应独立于本发明的技术思想或前景而被理解。