图像处理方法及图像接收装置与流程

本发明的一个方式涉及一种图像处理方法及根据该图像处理方法进行工作的图像接收装置。

此外，本发明的一个方式涉及一种半导体装置。注意，在本说明书等中，半导体装置是指能够通过利用半导体特性而工作的所有装置。显示装置、发光装置、存储装置、电光装置、蓄电装置、半导体电路以及电子设备有时包括半导体装置。

本发明的一个方式不局限于上述技术领域。本说明书等所公开的发明的技术领域涉及一种物体、方法或制造方法。此外，本发明的一个方式涉及一种工序(process)、机器(machine)、产品(manufacture)或者组合物(compositionofmatter)。由此，更具体而言，作为本说明书所公开的本发明的一个方式的技术领域的一个例子可以举出半导体装置、显示装置、液晶显示装置、发光装置、蓄电装置、摄像装置、存储装置、处理器、电子设备、这些装置的驱动方法、制造方法、检验方法或相关系统。

背景技术：

随着电视(tv)的大屏幕化，对收视高清晰度视频的需求也很大。在日本2015年开始通过通信卫星(cs)及有线电视等的4k实用广播，2016年开始通过广播卫星(bs)的4k·8k试播。今后计划开始8k实用广播。因此，现在正在开发对应8k广播的各种电子设备(非专利文献1)。8k的实用广播将并用4k广播及2k广播(全高清广播)。

8k广播中的视频分辨率(水平及垂直的像素数)为7680×4320，为4k(3840×2160)的4倍，为2k(1920×1080)的16倍。因此，被期待看到8k视频的人与看到2k广播的影像或4k广播的影像等的人相比能够感受更高的真实感。

另外，正在进行如下技术的开发：将利用人工神经网络等的人工智能用于各种电子设备而不局限于电视。被期待着通过利用人工神经网络可以实现比现有的诺依曼型计算机更高性能的计算机，近年来，已开展对在电子电路上构成人工神经网络的各种研究工作。非专利文献2揭露有关具有利用人工神经网络的自己学习功能的芯片的技术。

而且，在专利文献1中，公开了如下发明：由使用在沟道形成区域中包含氧化物半导体的晶体管的存储装置保持利用人工神经网络的计算中需要的权重数据。

[先行技術文献]

[专利文献]

[专利文献1]美国专利申请公开第2016/0343452号公报

[非专利文献]

[非专利文献1]s.kawashima,etal.,”13.3-in.8kx4k664-ppioleddisplayusingcaac-osfets,”sid2014digest,pp.627-630.

[非专利文献2]yutakaarimaetal,”aself-learningneuralnetworkchipwith125neuronsand10kself-organizationsynapses”,ieeejournalofsolid-statecircuits,vol.26,no.4,april1991,pp.607-611

技术实现要素：

发明所要解决的技术问题

因为像8k那样的高分辨率的影像的数据量多，所以从广播电视台向接收器传送数据时的通信负载大。为了减少通信负载需要如下技術，其中广播电视台广播低分辨率的影像，然后由接收该广播的接收器提高分辨率。

本发明的一个方式的目的之一是提供一种从低分辨率的图像数据生成高分辨率的图像数据的图像处理方法。另外，本发明的一个方式的目的之一是提供一种计算量少的图像处理方法。另外，本发明的一个方式的目的之一是提供一种能够显示高图像质量的图像的图像接收装置。另外，本发明的一个方式的目的之一是提供一种高可靠性的图像接收装置。另外，本发明的一个方式的目的之一是提供一种低功耗的图像接收装置。另外，本发明的一个方式的目的之一是提供一种高速地工作的图像接收装置。另外，本发明的一个方式的目的之一是提供一种新颖的图像处理方法、新颖的图像接收装置及新颖的半导体装置。

注意，本发明的一个方式的目的不局限于上述目的。上述目的并不妨碍其他目的的存在。此外，其他目的是上面没有提到而将在下面的记载中进行说明的目的。所属技术领域的普通技术人员可以从说明书或附图等的记载中导出并适当抽出该上面没有提到的目的。此外，本发明的一个方式实现上述记载及其他目的中的至少一个目的。此外，本发明的一个方式并不需要实现所有的上述记载及其他目的。

解决技术问题的手段

本发明的一个方式是一种从低分辨率的图像数据生成高分辨率的图像数据的图像处理方法，其中，通过分割低分辨率的图像数据来生成多个第一图像数据，将多个第一图像数据的相邻的两个中的一个作为第二图像数据，将另一个作为第三图像数据，通过由像素数据补充第二图像数据的周围来生成第四图像数据，像素数据包括第三图像数据的一部分，进行将第四图像数据作为输入的卷积神经网络，卷积神经网络输出第五图像数据，并且，通过结合多个第五图像数据来生成高分辨率的图像数据。

此外，在上述方式中，第五图像数据的分辨率也可以为第一图像数据的分辨率的n²倍(n是2以上的整数)。

另外，本发明的一个方式是一种接收低分辨率的图像数据来显示高分辨率的图像的图像接收装置，其中，通过分割低分辨率的图像数据来生成多个第一图像数据，将多个第一图像数据的相邻的两个中的一个作为第二图像数据，将另一个作为第三图像数据，通过由像素数据补充第二图像数据的周围来生成第四图像数据，像素数据包括第三图像数据的一部分，进行将第四图像数据作为输入的卷积神经网络，卷积神经网络输出第五图像数据，并且，通过结合多个第五图像数据来显示高分辨率的图像。

此外，在上述方式中，第五图像数据的分辨率也可以为第一图像数据的分辨率的n²倍(n是2以上的整数)。

另外，本发明的一个方式是一种接收低分辨率的图像数据显示高分辨率的图像的图像接收装置，包括：多个电路；以及显示面板，其中，将低分辨率的图像数据分割为多个第一图像数据，多个电路的每一个使用卷积神经网络将多个第一图像数据中的一个转换为第二图像数据，第二图像数据的分辨率比第一图像数据高，并且，显示面板通过结合多个第二图像数据来显示高分辨率的图像。

另外，在上述方式中，多个电路也可以由第一至第n电路(n是2以上的整数)而成，低分辨率的图像数据也可以被分割为m×n(m是1以上的整数)的第一图像数据。

发明效果

根据本发明的一个方式可以提供一种从低分辨率的图像数据生成高分辨率的图像数据的图像处理方法。另外，根据本发明的一个方式可以提供一种计算量少的图像处理方法。另外，根据本发明的一个方式可以提供一种能够显示高图像质量的图像的图像接收装置。另外，根据本发明的一个方式可以提供一种高可靠性的图像接收装置。另外，根据本发明的一个方式可以提供一种低功耗的图像接收装置。另外，根据本发明的一个方式可以提供一种高速地工作的图像接收装置。另外，根据本发明的一个方式可以提供一种新颖的图像处理方法、新颖的图像接收装置及新颖的半导体装置。

注意，本发明的一个方式的效果不局限于上述效果。上述效果并不妨碍其他效果的存在。此外，其他效果是上面没有提到而将在下面的记载中进行说明的效果。所属技术领域的普通技术人员可以从说明书或附图等的记载中导出并适当抽出该上面没有提到的效果。此外，本发明的一个方式实现上述效果及其他效果中的至少一个效果。由此，本发明的一个方式根据情况有时不包括以上举出的效果。

附图简要说明

[图1]示出图像处理方法的一个例子的图。

[图2]示出图像处理方法的一个例子的图。

[图3]示出cnn的结构例子的框图。

[图4]示出电视装置的结构例子的外观图及框图。

[图5]示出显示面板的结构例子的框图。

[图6]示出显示面板的结构例子的框图。

[图7]示出显示面板的结构例子的框图。

[图8]示出显示面板的结构例子的框图。

[图9]示出像素的结构例子的电路图。

[图10]示出显示面板的结构例子的截面图。

[图11]示出显示面板的结构例子的截面图。

[图12]示出半导体装置的结构例子的电路图。

[图13]示出积和运算元件的结构例子的框图。

[图14]示出可编程开关的结构例子的电路图。

[图15]示出电子设备的例的图。

[图16]示出图像处理方法的一个例子的图。

[图17]示出图像处理方法的一个例子的图。

[图18]示出显示结果的图。

实施发明的方式

在本说明书等中，人工神经网络(ann，以后称为神经网络)是指模拟生物的神经回路网的所有模型。一般而言，在神经网络中，以神经元为模型的单元通过以神经突触为模型的单元彼此结合。

通过对神经网络提供现有的信息，可以改变神经突触的结合(神经元的结合)强度(也称为权重系数)。有时将这样的对神经网络提供现有的信息决定结合强度的处理称为“学习”。

并且，通过对“学习”(决定了结合强度)过的神经网络提供某个信息，可以根据其结合强度输出新信息。有时将这样的在神经网络中根据被提供的信息和结合强度输出新信息的处理称为“推论”或“认知”。

作为神经网络的模型，例如可以举出hopfield网络、分层神经网络等。尤其是，将具有多层结构的神经网络称为“深度神经网络”(dnn)，将利用深度神经网络的机械学习称为“深度学习”。注意，dnn包括全连接神经网络(fc-nn：fullconnected-neuralnetwork)、卷积神经网络(cnn：convolutionalneuralnetwork)、循环神经网络(rnn：recurrentneuralnetwork)等。

在本说明书等中，金属氧化物(metaloxide)是指广义上的金属的氧化物。金属氧化物被分类为氧化物绝缘体、氧化物导电体(包括透明氧化物导电体)和氧化物半导体(oxidesemiconductor，也可以简称为os)等。例如，在将金属氧化物用于晶体管的半导体层的情况下，有时将该金属氧化物称为氧化物半导体。换言之，在金属氧化物能够构成包括具有放大作用、整流作用及开关作用中的至少一个的晶体管的沟道形成区域时，该金属氧化物称为金属氧化物半导体(metaloxidesemiconductor)，简称为os。此外，可以将osfet(或os晶体管)换称为包含金属氧化物或氧化物半导体的晶体管。

半导体的杂质例如是构成半导体层的主要成分之外的物质。例如，浓度低于0.1atomic％的元素是杂质。有时由于包含杂质而例如发生在半导体中形成dos(densityofstates：态密度)、载流子迁移率降低或结晶性降低等情况。在半导体是氧化物半导体时，作为改变半导体的特性的杂质，例如有第一族元素、第二族元素、第十三族元素、第十四族元素、第十五族元素或主要成分之外的过渡金属等，特别是，例如有氢(也包含在水中)、锂、钠、硅、硼、磷、碳、氮等。在半导体是氧化物半导体时，例如有时氢等杂质的混入导致氧缺陷的产生。此外，在半导体是硅层时，作为改变半导体的特性的杂质，例如有氧、除了氢之外的第一族元素、第二族元素、第十三族元素、第十五族元素等。

在本说明书等中，“第一”、“第二”、“第三”等序数词是为了避免构成要素的混淆而附加上的。因此，其不是为了限定构成要素的个数而附加上的。此外，其不是为了限定构成要素的顺序而附加上的。另外，例如，本说明书等的实施方式之一中附有“第一”的构成要素有可能在其他的实施方式或权利要求书中附有“第二”的序数词。另外，例如，本说明书等的实施方式之一中附有“第一”的构成要素有可能在其他的实施方式或权利要求书中被省略“第一”。

参照附图对实施方式进行说明。但是，所属技术领域的普通技术人员可以很容易地理解一个事实，就是实施方式可以以多个不同形式来实施，其方式和详细内容可以在不脱离本发明的宗旨及其范围的条件下被变换为各种各样的形式。因此，本发明不应该被解释为仅限定在实施方式所记载的内容中。注意，在实施方式中的发明的结构中，在不同的附图中共同使用相同的附图标记来表示相同的部分或具有相同功能的部分，而省略反复说明。

在本说明书等中，为方便起见，使用了“上”、“下”等表示配置的词句，以参照附图说明构成要素的位置关系。构成要素的位置关系根据描述各构成要素的方向适当地改变。因此，表示配置的词句不局限于本说明书中所示的记载，根据情况可以适当地更换表达方式。

此外，“上”或“下”这样的用语不限定构成要素的位置关系为“正上”或“正下”且直接接触的情况。例如，当记载为“绝缘层a上的电极b”时，不一定必须在绝缘层a上直接接触地形成有电极b，也可以包括绝缘层a与电极b之间包括其他构成要素的情况。

在附图中，为便于清楚地说明，有时夸大表示大小、层的厚度或区域。因此，本发明并不一定限定于上述尺寸。附图是为了明确起见而示出任意的大小的，而不局限于附图所示的形状或数值等。例如，可以包括噪声或定时偏差等所引起的信号、电压或电流的不均匀等。

在附图中，为了明确起见，有时省略部分构成要素的图示。

在附图中，有时使用同一附图标记表示同一构成要素、具有相同功能的构成要素、由同一材料构成的构成要素或者同时形成的构成要素等，并且有时省略重复说明。

在本说明书等中，在说明晶体管的连接关系时，将源极和漏极中的一方记为“源极和漏极中的一个”，将源极和漏极中的另一方记为“源极和漏极中的另一个”。这是因为晶体管的源极和漏极根据晶体管的结构或工作条件等而互换的缘故。可以将晶体管的源极和漏极根据情况适当地改称为源极(漏极)端子、源极(漏极)电极等。另外，在本说明书等中记载的晶体管具有两个以上的栅极时，有时将该栅极称为前栅极或背栅极。尤其是，可以将“前栅极”只换称为“栅极”。此外，可以将“背栅极”只换称为“栅极”。此外，底栅极是指在形成晶体管时在形成沟道形成区域之前形成的端子，“顶栅极”是指在形成晶体管时在形成沟道形成区域之后形成的端子。

晶体管包括栅极、源极以及漏极这三个端子。栅极被用作控制晶体管的导通状态的控制端子。在用作源极或漏极的两个输入输出端子中，根据晶体管的类型或者供应到各端子的电位电平将一个端子用作源极而将另一个端子用作漏极。因此，在本说明书等中，“源极”和“漏极”可以互相调换。

注意，在本说明书等中，“电极”或“布线”这样的词语不在功能上限定其构成要素。例如，有时将“电极”用作“布线”的一部分，反之亦然。再者，“电极”或“布线”这样的词语还包括多个“电极”或“布线”被形成为一体的情况等。

另外，在本说明书等中，可以适当地调换电压和电位。电压是指与标准电位之间的电位差，例如在标准电位为接地电位时，可以将电压换称为电位。接地电位不一定意味着0v。注意，电位是相对的，对布线等供应的电位有时根据标准电位而变化。

在本说明书等中，根据情况或状态，可以互相调换“膜”和“层”等词句。例如，有时可以将“导电层”变换为“导电膜”。此外，有时可以将“绝缘膜”变换为“绝缘层”。另外，根据情况或状态，可以使用其他词句代替“膜”和“层”等词句。例如，有时可以将“导电层”或“导电膜”变换为“导电体”。此外，例如有时可以将“绝缘层”或“绝缘膜”变换为“绝缘体”。

在本说明书等中，根据情况或状态，可以互相调换“布线”、“信号线”及“电源线”等词句。例如，有时可以将“布线”变换为“信号线”。此外，例如有时可以将“布线”变换为“电源线”等。反之亦然，有时可以将“信号线”或“电源线”等变换为“布线”。有时可以将“电源线”等变换为“信号线”等。反之亦然，有时可以将“信号线”等变换为“电源线”等。另外，根据情况或状态，可以互相将施加到布线的“电位”变换为“信号”等。反之亦然，有时可以将“信号”等变换为“电位”。

各实施方式所示的结构可以与其他实施方式所示的结构适当地组合而构成本发明的一个方式。另外，当在一个方式中示出多个结构例子时，可以适当地组合结构例子。

另外，可以将某一实施方式中说明的内容(或其一部分)应用/组合/替换成该实施方式中说明的其他内容(或其一部分)和另一个或多个其他实施方式中说明的内容(或其一部分)中的至少一个内容。

注意，实施方式中说明的内容是指各实施方式中利用各种附图所说明的内容或者利用说明书所记载的文章而说明的内容。

另外，通过将某一实施方式中示出的附图(或其一部分)与该附图的其他部分、该实施方式中示出的其他附图(或其一部分)和另一个或多个其他实施方式中示出的附图(或其一部分)中的至少一个附图组合，可以构成更多图。

(实施方式1)

在本实施方式中说明本发明的一个方式的图像处理方法的一个例子。

<图像处理方法的例子>

本发明的一个方式例如涉及一种提高图像数据的分辨率的图像处理方法。比如说，电视等图像接收装置接收由来自卫星广播或电波塔的广播电波传送的图像数据，并例如利用神经网络，特别利用cnn提高所接收的图像数据的分辨率。通过利用可进行本发明的一个方式的图像处理方法的图像接收装置，可以显示对应于其分辨率得到提高的图像数据的图像。例如，可以将具有对应于qvga(quartervideographicsarray)的分辨率的图像数据(320×240)转换为具有对应于vga的分辨率的图像数据(640×480)。例如，可以将具有对应于vga的分辨率的图像数据转换为具有对应于quad-vga(1280×960)的分辨率的图像数据。例如，可以将具有对应于2k(1920×1080)的分辨率的图像数据转换为具有对应于4k(3840×2160)的分辨率的图像数据。例如，可以将具有对应于4k的分辨率的图像数据转换为具有对应于8k(7680×4320)的分辨率的图像数据。例如，可以将具有对应于2k的分辨率的图像数据转换为具有对应于8k的分辨率的图像数据。

在本发明的一个方式的图像处理方法中，分割图像接收装置所接收的图像数据，将对应于相邻的图像数据的数据补充到被分割的图像数据的每一个。然后，提高图像数据的分辨率并结合该分辨率得到提高的各图像数据。通过进行在分割图像数据之后提高分辨率的处理，即使增大图像接收装置所接收的图像数据的容量也可以抑制进行提高该图像数据的分辨率的处理时所需要的计算量大幅度地增加。此外，通过补充对应于相邻的图像数据的数据，可以使结合被分割的图像数据时产生的结合部不容易被看到。以上，根据本发明的一个方式的图像处理方法，可以生成高图像质量的图像数据。

图1a、图1b、图1c、图1d、图1e是示出作为本发明的一个方式的图像处理方法的提高图像数据的分辨率的方法的图，具体地说是示出将具有对应于qvga的分辨率的图像数据(320×240)转换为具有对应于vga的分辨率的图像数据(640×480)的方法的图。

图1a所示的图像数据img1表示提高分辨率之前的图像数据，其分辨率为320×240。例如，图像数据img1可以是由来自卫星广播或电波塔的广播电波传送的图像数据。

在本发明的一个方式的图像处理方法中，首先，图像接收装置接收图像数据img1并矩阵状地分割所接收的图像数据img1。图1b示出将图像数据img1分割为2×2的情况。在图1b中，将左上的图像数据记为图像数据a[1，1]，将右上的图像数据记为图像数据a[2，1]，将左下的图像数据记为图像数据a[1，2]，将右下的图像数据记为图像数据a[2，2]。注意，在本说明书等中，在其他图像数据中有时使用同样标记进行区别。图像数据a[1，1]至图像数据a[2，2]的分辨率都为160×120(分辨率320×240的1/4)。

图1c示出分割后的图像数据img1。在本发明的一个方式的图像处理方法中，以将相邻的图像数据a的一部分补充到图像数据a[1，1]至图像数据a[2，2]的每一个的方式分割图像数据img1。在图1c中，虚线部示出补充到图像数据a[1，1]至图像数据a[2，2]的图像数据。

如图1b、图1c所示，例如分割后的图像数据img1[1，1]是图像数据a[1，1]的境界的外侧补充有与图像数据a[1，1]相邻的图像数据的图像数据a[2，1]的一部分、图像数据a[1，2]的一部分及图像数据a[2，2]的一部分的图像数据img1[1，1]。换言之，图像数据img1[1，1]的分辨率比图像数据a[1，1]的分辨率160×120大。另外，图像数据img1[2，1]、图像数据img1[1，2]及图像数据img1[2，2]也通过同样方法生成。由此，图像数据img1分割成图像数据img1[1，1]、图像数据img1[2，1]、图像数据img1[1，2]及图像数据img1[2，2]。

接着，对图像数据img1[1，1]至图像数据img1[2，2]的每一个进行提高分辨率的处理(上转换)。图1d示出作为上转换后的图像数据的图像数据img2[1，1]、图像数据img2[2，1]、图像数据img2[1，2]及图像数据img2[2，2]。图1d示出以图像数据img2[1，1]至图像数据img2[2，2]各自的分辨率分别为图像数据a[1，1]至图像数据a[2，2]的各分辨率的4倍的方式进行上转换的情况。即，示出图像数据img2[1，1]至图像数据img2[2，2]的各分辨率都为320×240的情况。

上转换可以利用神经网络，特别利用cnn来进行。当利用神经网络进行上转换时，通过神经网络的反复学习可以正确地进行上转换。由此，根据本发明的一个方式的图像处理方法进行工作的图像接收装置可以生成高图像质量的图像数据。

然后，结合图像数据img2[1，1]至图像数据img2[2，2]。图1e示出作为结合后的图像数据的图像数据img2。如图1e所示，图像数据img2的分辨率为640×480。通过上述方法将分辨率为320×240的图像数据上转换成分辨率为640×480的图像数据。

如上所述，在本发明的一个方式的图像处理方法中，在分割图像接收装置所接收的图像数据之后进行上转换。由此，即使增大图像接收装置所接收的图像数据的容量，也可以抑制对该图像数据进行上转换时所需要的计算量大幅度地增加。

此外，在本发明的一个方式的图像处理方法中，图像数据img1[1，1]至图像数据img1[2，2]等进行上转换之前的被分割的图像数据都包括相邻的图像数据的一部分。由此，相邻的图像数据不补充到被分割的图像数据，例如与进行边缘填料或零填料的情况相比可以抑制结合上转换后的图像数据时的各结合部(境界)处的图像数据的偏差。因此，在显示对应于上转换后的图像数据的图像时，可以使各结合部不容易被看到。由此，根据本发明的一个方式的图像处理方法，可以生成高图像质量的图像数据。

在图1a、图1b、图1c、图1d、图1e中，图像数据img1的分辨率为320×240，图像数据img2的分辨率为640×480，但是本发明的一个方式的图像处理方法不局限于此。图像数据img1可以具有任意的分辨率。此外，图像数据img2的分辨率大于图像数据img1的分辨率即可。例如，可以为2×2倍、3×3倍、4×4倍或5×5倍以上。

此外，在图1b、图1c中将图像数据img1分割为2×2，但是本发明的一个方式不局限于此。例如，可以将图像数据img1分割为3×3、4×4、10×10或多于10×10的图像数据。此外，水平方向上的分割数和垂直方向上的分割数也可以不同。例如，也可以将图像数据img1分割为4×3，即在水平方向上分割为四个，且在垂直方向上分割为三个。在此情况下，将图像数据img1分割为图像数据img1[1，1]至图像数据img1[4，3]。

此外，根据本发明的一个方式的图像处理方法进行工作的图像接收装置所包括的神经网络例如可以通过监督学习得到图像数据的上转换的功能。

接着，作为包括在根据本发明的一个方式的图像处理方法进行工作的图像接收装置中的神经网络所进行的学习方法的一个例子，说明用来得到将分割为2×2的图像数据img1上转换为图像数据img2的功能的学习方法。首先，准备对应于图像数据img2的图像，即具有与图像数据img2相同的分辨率的图像。接着，分割该图像数据来生成对应于图像数据img2[1，1]至图像数据img2[2，2]的图像数据。接着，通过降低对应于图像数据img2[1，1]至图像数据img2[2，2]的图像数据的分辨率，并利用与图1c等所示的方法同样的方法补充图像数据，来生成对应于图像数据img1[1，1]至图像数据img1[2，2]的图像数据。例如，在对应于图像数据img2[1，1]至图像数据img2[2，2]的图像数据的分辨率为320×240时，通过在将该图像数据的分辨率降低到160×120之后补充相邻的图像数据，来生成对应于图像数据img1[1，1]至图像数据img1[2，2]的图像数据。

然后，将对应于图像数据img1[1，1]至图像数据img1[2，2]的图像数据作为输入数据，将对应于图像数据img2[1，1]至图像数据img1[2，2]的图像数据作为监督数据来进行学习。例如，以从图像数据img1[1，1]推论的图像数据与图像数据img2[1，1]一致的方式进行神经网络的权系数的更新等。以上是学习方法的一个例子。

接着，详细地说明利用cnn将图像数据img1上转换为图像数据img2时的图像数据img1及图像数据img2的结构例子。

图2a示出与图1b所示的情况同样地图像数据img1由图像数据a[1，1]、图像数据a[2，1]、图像数据a[1，2]及图像数据a[2，2]而构成的情况。在图2a所示的情况下，图像数据a[1，1]包括像素数据da11、像素数据da21、像素数据da12及像素数据da22。图像数据a[2，1]包括像素数据db11、像素数据db21、像素数据db12及像素数据db22。图像数据a[1，2]包括像素数据dc11、像素数据dc21、像素数据dc12及像素数据dc22。图像数据a[2，2]包括像素数据dd11、像素数据dd21、像素数据dd12及像素数据dd22。也就是说，在图2a所示的情况下，图像数据a[1，1]至图像数据a[2，2]都包括2×2像素数据。另外，各图像数据a也可以包括3×3以上的像素数据。如上所述，图像数据img1也可以包括3×3以上的图像数据a。

在本说明书等中，像素数据例如是指对应于像素所表示的灰度的数据。一个像素数据例如可以为对应于一个像素所表示的灰度的数据。例如，当与图1b所示的情况同样地图像数据a[1，1]的分辨率为160×120时，图像数据a[1，1]可以包括160×120的像素数据。

图2b示出基于图2a所示的图像数据a[1，1]生成的图像数据img1[1，1]的结构例子。在图2b所示的情况下，在图像数据a[1，1]的周围补充有作为与图像数据a[1，1]相邻的像素数据的像素数据db11、像素数据db12、像素数据dc11、像素数据dc21及像素数据dd11。此外，图像数据a[1，1]的上边及左边不存在图像数据a，所以补充“0”的数据。

另外，在图2b所示的情况下，对图像数据a[1，1]的下边补充一行的像素数据，对其右边补充一列的像素数据，但是也可以补充两行以上及两列以上的像素数据。例如，在补充两行及两列的像素数据时，除了像素数据db11、像素数据db12、像素数据dc11、像素数据dc21及像素数据dd11之外还将像素数据db21、像素数据db22、像素数据dc12、像素数据dc22、像素数据dd21、像素数据dd12及像素数据dd22补充到图像数据a[1，1]。

此外，在图2b所示的情况下，对图像数据a[1，1]的左边补充一列的数据“0”，对其上边补充一行的数据“0”，例如可以对图像数据a[1，1]的左边补充两行以上的数据“0”，且可以对图像数据a[1，1]的上边补充两列以上的数据“0”。此外，可以补充“0”以外的特定数据代替数据“0”，或者也可以补充图像数据a[1，1]所包括的像素数据(像素数据da11、像素数据da21、像素数据da12、像素数据da22)中的任一个。另外，也可以不将数据“0”补充到图像数据img1的左边及上边。

图2c示出根据图2b所示的图像数据img1[1，1]生成的图像数据img2[1，1]的结构例子。在图2c所示的情况下，图像数据img2[1，1]包括4×4的像素数据。具体而言，包括像素数据up_da11、像素数据up_da21、像素数据up_da31、像素数据up_da41、像素数据up_da12、像素数据up_da22、像素数据up_da32、像素数据up_da42、像素数据up_da13、像素数据up_da23、像素数据up_da33、像素数据up_da43、像素数据up_da14、像素数据up_da24、像素数据up_da34及像素数据up_da44。

在此，如图2b、图2c中的阴影所示，像素数据up_da11、像素数据up_da21、像素数据up_da12及像素数据up_da22可以说是根据像素数据da11而生成的像素数据。像素数据up_da31、像素数据up_da41、像素数据up_da32及像素数据up_da42可以说是根据像素数据da21而生成的像素数据。像素数据up_da13、像素数据up_da23、像素数据up_da14及像素数据up_da24可以说是根据像素数据da12而生成的像素数据。像素数据up_da33、像素数据up_da43、像素数据up_da34及像素数据up_da44可以说是根据像素数据da22而生成的像素数据。

由此，2×2的像素数据的图像数据a[1，1]上转换成包括4×4的像素数据的图像数据img2[1，1]。也就是说，通过以其分辨率变为4倍的方式对具有图2a所示的结构的图像数据a[1，1]进行上转换，生成具有图2c所示的结构的图像数据img2[1，1]。

通过对所有图像数据a进行图2b及图2c所示的工作，图像数据img1上转换成具有其4倍的分辨率的图像数据img2。

<卷积神经网络>

接着，说明在本发明的一个方式的图像处理方法中利用的cnn。图3是示出cnn的结构例子的图。cnn被输入分割后的图像数据img1并进行特征提取，来输出对该图像数据img1进行上转换而得到的图像数据img2。图3示出被输入图像数据img1[1，1]并输出图像数据img2[1，1]的情况。

卷积层cl具有对图像数据进行卷积的功能。卷积通过反复进行图像数据的一部分与权重滤波器的滤波值的积和运算来进行。通过卷积层cl中的卷积，抽取图像的特征。

在卷积中可以使用权重滤波器。对输入到卷积层cl的图像数据使用滤波器fil施行滤波器处理来生成数据d。

在被施行卷积的数据d利用激活函数被转换之后，被输出到池化层pl。作为激活函数，可以使用relu(rectifiedlinearunits：线性整流函数)等。relu是如下函数：在输入值为负值时输出“0”，在输入值为“0”以上时直接输出输入值。作为激活函数，还可以使用sigmoid函数或tanh函数等。

池化层pl具有对从卷积层cl输入的图像数据进行池化的功能。池化是如下处理：将图像数据分割为多个区域，按该区域提取指定数据，并将该数据配置为矩阵状。通过池化，可以在保持卷积层cl所提取的特征的情况下缩小图像数据。作为池化，可以利用最大池化、平均池化、lp池化等。

cnn通过上述卷积处理及池化处理进行特征提取。cnn可以由多个卷积层cl及多个池化层pl构成。图3示出设置有z个(在此，z是1以上的整数)由卷积层cl及池化层pl构成的层l(l1至lz)且进行卷积处理及池化处理z次的结构。此时，可以在各层l中进行特征提取，因此可以实现更高度的特征提取。

全连接层fcl具有利用被进行卷积及池化的图像数据进行图像识别的功能。全连接层fcl具有某个层中的所有节点与下一个层的所有节点连接的结构。从卷积层cl或池化层pl输出的图像数据是二维特征图，该特征图在被输入到全连接层fcl时一维展开。并且，输出利用全连接层fcl的推论来得到的图像数据。

cnn的结构不局限于图3的结构。例如，可以按每多个卷积层cl设置池化层pl。另外，当想要尽量保持被提取的特征的位置信息时，可以省略池化层pl。

当从全连接层fcl的输出数据进行图像分类时，也可以设置有与全连接层fcl电连接的输出层。输出层可以作为似然函数使用softmax函数等输出分类结果。

cnn可以进行将图像数据用作学习数据及监督数据的监督学习。在监督学习中，例如可以使用反向传播算法。由于cnn的学习，因此可以使权重滤波器的滤波值、全连接层的权重系数等最优化。

本实施方式可以与本说明书等所示的其他实施方式适当地组合。

(实施方式2)

在本实施方式中，对通过实施方式1所示的图像处理方法工作的图像接收装置进行说明。另外，在本实施方式中，作为图像接收装置的例子对电视装置进行说明。

<图像接收装置的结构例子>

图4a是图像接收装置10的外观图。图像接收装置10具有从天线12所接收的广播信号生成图像数据并显示图像的功能。作为例子，图4a所示的图像接收装置10显示足球比赛的转播。

此外，图像接收装置10通过计算机网络11与服务器13进行通信。

作为天线12能够接收的广播电波，可以举出地上波或从卫星传送的电波等。此外，作为天线12能够接收的广播电波，有模拟广播、数字广播等，还有影像及声音的广播或只有声音的广播等。例如，可以接收在uhf带或vhf带的特定频带中传送的广播电波。此外，例如通过使用在多个频带中接收的多个数据，可以提高传输率，从而可以获得更多的信息。由此，可以将具有超过全高清(像素数1920×1080)的分辨率的影像显示在显示部30上。例如，可以显示具有4k2k(像素数3840×2160)、8k4k(像素数7680×4320)、16k8k或其以上的分辨率的图像。

作为计算机网络11，可以举出worldwideweb(www：环球网)的基础的因特网、内联网、外联网、pan(personalareanetwork)、lan(localareanetwork)、can(campusareanetwork)、man(metropolitanareanetwork)、wan(wideareanetwork)、gan(globalareanetwork)等。

图4b是示出图像接收装置10的结构例子的框图。图像接收装置10包括控制部20、存储部22、通信控制部23、图像处理电路24、译码器电路25、影像信号接收部26、时序控制器27、sd(源极驱动器)28、gd(栅极驱动器)29、显示面板30等。将sd28及gd29称为显示面板30的驱动电路。

显示面板30的驱动电路所包括的晶体管与构成显示面板30的像素的晶体管可以同时形成。

此外，也可以将驱动电路部的一部分或整个部分形成在其他基板上并将其电连接于显示面板30。例如，由使用单晶衬底的ic芯片形成驱动电路部的一部分或全部并将其电连接于显示面板30。例如，可以通过使用cog(chiponglass)法或cof(chiponfilm)法将上述ic芯片设置在显示面板30上。

控制部20例如可以被用作cpu。例如控制部20具有通过系统总线21控制存储部22、通信控制部23、图像处理电路24、译码器电路25及影像信号接收部26等组件的功能。

在控制部20与各组件之间通过系统总线21传输信号。此外，控制部20具有对从通过系统总线21连接的各组件输入的信号进行处理的功能、生成向各组件输出的信号的功能等，由此可以总体控制连接于系统总线21的各组件。

存储部22被用作控制部20及图像处理电路24能够存取的寄存器、高速缓冲存储器、主存储器、二次存储器等。

作为能够用作二次存储器的存储装置例如可以使用应用可重写的非易失性存储元件的存储装置。例如，可以使用快闪存储器、reram(resistiverandomaccessmemory)、mram(magnetoresistiverandomaccessmemory)、pram(phasechangeram)、feram(ferroelectricram)、nosram等。

注意，nosram(注册商标)是“nonvolatileoxidesemiconductorram”的简称，指具有增益单元型(2t型、3t型)存储单元的ram。nosram是利用os晶体管的关态电流低的特征的os存储器之一种。在nosram中，与快闪存储器不同地对能够写入次数没有限制且写入数据时的功耗小。因此，可以提供可靠性高且功耗小的非挥发性存储器。

作为能够被用作寄存器、高速缓冲存储器、主存储器等暂时存储器的存储装置，也可以使用dram(dynamicram：动态随机存取存储器)、sram(staticrandomaccessmemory：静态随机存取存储器)、dosram等易失性存储元件。

dosram(注册商标)是“dynamicoxidesemiconductorram(动态氧化物半导体随机存取存储器)”的简称，并是指包括1t(晶体管)1c(电容器)型存储单元的ram。dosram是利用os晶体管的关态电流低的特征的os存储器之一种。dosram的数据的刷新次数比dram少。此外，因为在dosram中可以在外围电路上制造存储单元，所以可以缩小占有面积。因此，可以提供功耗小且集成度高的易失性存储器。

例如，设置在主存储器中的ram，例如可以使用dram，虚拟地分配并使用作为控制部20的工作空间的存储空间。储存在存储部22中的操作系统、应用程序、程序模块、程序数据等在执行时被加载于ram中。被加载于ram中的这些数据、程序或程序模块被控制部20直接存取并操作。

另一方面，可以在rom中容纳不需要改写的bios(basicinput/outputsystem：基本输入/输出系统)或固件等。作为rom，可以使用遮罩式rom、otprom(onetimeprogrammablereadonlymemory：一次可编程只读存储器)、eprom(erasableprogrammablereadonlymemory：可擦除可编程只读存储器)等。作为eprom，可以举出通过紫外线照射可以消除存储数据的uv-eprom(ultra-violeterasableprogrammablereadonlymemory：紫外线-可擦除可编程只读存储器)、eeprom(electricallyerasableprogrammablereadonlymemory：电子式可抹除可编程只读存储器)以及快闪存储器等。

此外，除了存储部22还可以采用能够连接可拆卸存储装置的结构。例如，优选包括与被用作存储设备的硬盘驱动器(harddiskdrive：hdd)或固态驱动器(solidstatedrive：ssd)等记录媒体驱动器、快闪存储器、蓝光光盘、dvd等记录介质连接的端子。由此，可以记录影像。

通信控制部23具有控制通过计算机网络11进行的通信的功能。例如，控制部20根据来自控制部20的指令控制用来连接到计算机网络11的控制信号，而向计算机网络11发出该信号。由此，可以与计算机网络11连接并与服务器13进行通信。

通信控制部23具有使用wi-fi(注册商标)、bluetooth(注册商标)、zigbee(注册商标)等通信标准与计算机网络11或其他电子设备进行通信的功能。

影像信号接收部26例如包括解调电路及a-d转换电路(模拟-数字转换电路)等。解调电路具有解调从天线12输入的信号的功能。另外，a-d转换电路具有将被解调的模拟信号转换为数字信号的功能。将由影像信号接收部26处理的信号传送到译码器电路25。

译码器电路25具有如下功能：对从影像信号接收部26输入的数字信号所包括的影像数据根据被传送的广播规格进行译码，生成传送到图像处理电路的信号。例如，作为8k广播的广播规格，有h.265|mpeg-hhighefficiencyvideocoding(高效率视频编码)(简称：hevc)等。

另外，影像信号接收部26及译码器电路25也可以具有如下结构：利用通过计算机网络11的数据传送技术传送的广播数据而生成传送到图像处理电路24的信号。此时，在接收的信号为数字信号的情况下，影像信号接收部26也可以不包括解调电路及a-d转换电路等。

图像处理电路24具有根据从译码器电路25输入的影像信号生成输入到时序控制器27的影像信号的功能。

时序控制器27具有如下功能：基于被图像处理电路24处理的影像信号等中的同步信号生成对gd29及sd28输出的信号(时钟信号、起始脉冲信号等信号)。此外，时序控制器27具有对sd28除了上述信号之外还输出影像信号的功能。

显示面板30包括多个像素。各像素由从gd29及sd28供应的信号驱动。作为显示面板30的分辨率使用对应于全高清、4k2k、8k4k等规格的分辨率，即可。

作为图4b所示的控制部20或图像处理电路24的结构，例如可以采用包括处理器的结构。例如，控制部20可以使用被用作cpu的处理器。此外，作为图像处理电路24例如可以使用dsp(digitalsignalprocessor：数字信号处理器)、gpu等其他处理器。此外，控制部20或图像处理电路24也可以具有由fpga(fieldprogrammablegatearray：现场可编程门阵列)或fpaa(fieldprogrammableanalogarray：现场可编程模拟阵列)等pld(programmablelogicdevice：可编程逻辑装置)实现这种处理器的结构。

处理器通过解释且执行来自各种程序的指令，进行各种数据处理或程序控制。有可能由处理器执行的程序可以被存储在处理器中的存储器区域，也可以被存储在另外设置的存储装置中。

另外，也可以将控制部20、存储部22、通信控制部23、图像处理电路24、译码器电路25、影像信号接收部26及时序控制器27的各自具有的功能中的两个以上的功能集中于一个ic芯片上，构成系统lsi。例如，也可以采用包括处理器、译码器电路、调谐器电路、a-d转换电路、dram及sram等的系统lsi。

另外，控制部20或其他组件所包括的ic等也可以利用os晶体管。由于os晶体管的关态电流极小，所以通过将os晶体管用于保持流入用作存储元件的电容器的电荷(数据)的开关，可以确保较长的数据保持期间。通过将该特性用于控制部20等的寄存器或高速缓冲存储器，可以仅在必要时使控制部20工作，而在其他情况下使之前的处理信息储存在该存储元件中，从而可以实现常闭运算。由此，可以实现图像接收装置10的低功耗化。

图像接收装置10也可以除了图4b所示的构成要素以外还包括外部接口、声音输出部、触摸面板单元、传感单元、照相单元等。作为外部接口，有usb(universalserialbus：通用串行总线)端子、lan(localareanetwork：局域网)连接用端子、电源接收用端子、声音输出用端子、声音输入用端子、影像输出用端子、影像输入用端子等外部连接端子、使用红外线、可见光、紫外线等的光通信用收发机、设置在外壳中的物理按钮等。此外，例如作为声音输入输出部，有音响控制器、麦克风、扬声器等。

下面，对图像处理电路24进行更详细的说明。

图像处理电路24优选具有根据从译码器电路25输入的影像信号执行图像处理的功能。

作为图像处理，例如可以举出噪声去除处理、灰度转换处理、色调校正处理、亮度校正处理等。作为色调校正处理或亮度校正处理，例如有伽马校正等。

例如，在噪声去除处理中，去除各种噪声诸如产生在文字等的轮廓附近的蚊状噪声、产生在高速的动态图像中的块状噪声、产生闪烁的随机噪声、分辨率的上转换所引起的点状噪声等。

灰度转换处理是指将图像的灰度转换为对应于显示面板30的输出特性的灰度的处理。例如，在使灰度数增大时，通过对以较小的灰度数输入的图像补充且分配对应于各像素的灰度值，可以进行使直方图平滑化的处理。此外，扩大动态范围的高动态范围(hdr)处理也包括在灰度转换处理中。

此外，色调校正处理是指校正图像的色调的处理。此外，亮度校正处理是指校正图像的亮度(亮度对比)的处理。例如，检测设置有图像接收装置10的空间的照明的种类、亮度或色纯度等，根据这种信息将显示在显示面板30的图像的亮度或色调校正为最适合的亮度或色调。或者，也可以具有对照所显示的图像和预先储存的图像一览表中的各种场景的图像，而将显示的图像校正为适合于最接近的场景的图像的亮度或色调的功能。

此外，图像处理电路24优选具有执行如下处理的功能：随着分辨率的上转换的像素间补充处理；以及随着帧频率的上转换的帧间补充等的处理。

在像素间补充处理中，在使分辨率上转换时补充本来不存在的数据。

在帧间补充中，当增大显示的影像的帧频率时生成本来不存在的帧(补充帧)的图像。

图像处理电路24优选包括进行神经网络的计算的电路(下面，nn电路)。nn电路优选使用实施方式1所示的图像处理方法来进行上述像素间补充处理。由此，图像接收装置10可以接收低分辨率的影像信号并显示高分辨率的图像。

此外，用于神经网络的权系数的数据作为数据表储存在存储部22中。例如可以从服务器13通过计算机网络11下载最新的包括该权系数的数据表。或者，图像处理电路24也可以具有学习功能并能够更新包括权系数的数据表。

<显示面板的结构例子1>

图5是用来说明显示面板30及其外围电路的结构例子的框图。图5示出显示面板30、gd29、sd28_1至28_n(n为2以上的整数)以及图像处理电路24。此外，显示面板30包括配置为矩阵状的多个像素31，图像处理电路24包括nn电路32_1至32_n。在图5中，gd29设置在显示面板30的左边和右边。

显示面板30包括彼此大致平行地设置并与由gd29控制电位的多个扫描线gl以及彼此大致平行地设置并由sd28_1至28_n控制电位的多个信号线sl。

各扫描线gl与像素31中的设置在任一行的多个像素31电连接。此外，各信号线sl与像素31中的设置在任一列的多个像素31电连接。

nn电路32_1至32_n都可以通过实施方式1所示的图像处理方法进行图像数据的上转换。

例如，如图1所示，当将图像数据img1分割为2×2的图像数据，并对被分割的图像数据的每一个进行上转换时，在图5中，优选的是，n＝2，由nn电路32_1对img1[1，1]进行上转换，且由nn电路32_2对img1[2，1]进行上转换。同样地，优选由nn电路32_1对img1[1，2]进行上转换，且由nn电路32_2对img1[2，2]进行上转换。被进行上转换的各图像最后被结合而显示于显示面板30。

例如，当将图像数据img1分割为10×10的图像数据，并对被分割的图像数据的每一个进行上转换时，在图5中，优选的是，n＝10，由nn电路32_1、32_2、32_3、32_4、32_5、32_6、32_7、32_8、32_9、32_10对img1[1，1]、[2，1]、[3，1]、[4，1]、[5，1]、[6，1]、[7，1]、[8，1]、[9，1]、[10，1]分别进行上转换。

像这样，通过根据img1的分割数设置nn电路，图像接收装置10可以并列地对图像数据进行上转换。也就是说，图像接收装置10可以将从天线12接收的影像信号以时滞少的方式显示于显示面板30。

<显示面板的结构例子2>

图6是将图5的显示面板30分割为显示面板30_a、30_b、30_c、30_d的四个的例子。注意，将显示面板30_a至30_d统称为显示面板30。显示于显示面板30的图像数据被分割为四个，将每一个记为显示面板30_a至30_d。

nn电路32_a1至32_am(m为2以上的整数)通过实施方式1所示的方法对显示面板30_a进行图像数据的上转换，sd28_a1至28_am通过信号线sl_a对显示面板30_a供应图像数据。

nn电路32_b1至32_bm通过实施方式1所示的方法对显示面板30_b进行图像数据的上转换，sd28_b1至28_bm通过信号线sl_b对显示面板30_b供应图像数据。

nn电路32_c1至32_cm通过实施方式1所示的方法对显示面板30_c进行图像数据的上转换，sd28_c1至28_cm通过信号线sl_c对显示面板30_c供应图像数据。

nn电路32_d1至32_dm通过实施方式1所示的方法对显示面板30_d进行图像数据的上转换，sd28_d1至28_dm通过信号线sl_d对显示面板30_d供应图像数据。

与图5同样地，显示于显示面板30_a的图像数据被分割并受到上转换。优选根据上述分割数设置nn电路32_a1至32_am。例如，在将显示于显示面板30_a的图像数据分割为10×10并进行上转换时，优选设置nn电路32_a1至32_a10(m＝10)。显示面板30_b、30_c、30_d也是同样的。

在图6所示的结构中，可以减少连接到一个信号线的像素31的数量。也就是说，可以减少连接到一个信号线的电容。其结果是，显示面板可以缩短对信号线写入图像数据的时间。特别是，优选将图6所示的结构用于8k等高精细的显示面板。例如，通过将具有4k的像素数的显示面板用于显示面板30_a至30_d的每一个，图像接收装置10可以包括具有8k的像素数的显示面板。

<显示面板的结构例子3>

图7是将图5的显示面板30分割为显示面板41_1至41_n、显示面板42_1至42_n、显示面板43_1至43_n及显示面板44_1至44_n的例子。将该被分割的显示面板统称为显示面板30。显示于显示面板30的图像数据被分割为4×n，并由各显示面板显示。注意，显示面板30的分割数不局限于此而可以自由地设定。

nn电路32_u1通过实施方式1所示的方法对显示面板41_1、42_1进行图像数据的上转换，并且sd28_u1通过信号线sl_u1对显示面板41_1、42_1供应图像数据。

nn电路32_un通过实施方式1所示的方法对显示面板41_n、42_n进行图像数据的上转换，并且sd28_un通过信号线sl_un对显示面板41_n、42_n供应图像数据。

nn电路32_b1通过实施方式1所示的方法对显示面板43_1、44_1进行图像数据的上转换，并且sd28_b1通过信号线sl_b1对显示面板43_1、44_1供应图像数据。

nn电路32_bn通过实施方式1所示的方法对显示面板43_n、44_n进行图像数据的上转换，并且sd28_bn通过信号线sl_bn对显示面板43_n、44_n供应图像数据。

图7与图6的结构不同之处是一个显示面板连接有一个nn电路及一个源极驱动器的点。

<显示面板的结构例子4>

图8示出将图5的信号线sl分割为两个，即信号线sl1、sl2的例子。配置在相同列中的多个像素31与信号线sl1或信号线sl2交替电连接。

在图8所示的结构中，可以减少连接到一个信号线的像素31的数量。其结果是，显示面板30可以缩短对信号线写入图像数据的时间并高速地切换图像数据。

此外，在是图6、图7所示的结构的情况下，在显示面板和显示面板之间产生接缝，显示图像上显现其影响，但是在图8所示的结构中没有接缝，因此可以避免上述问题。其结果是，显示面板30可以显示没有接缝并流畅的图像。

<像素电路的结构例子>

接着，参照图9说明可用于上述像素31的电路结构。

图9a所示的像素31包括晶体管3431、电容器3233以及液晶元件3432。

晶体管3431的源极和漏极中的一个与信号线sl电连接，另一个与节点3436电连接。晶体管3431的栅极与扫描线gl电连接。晶体管3431具有控制对节点3436的数据信号的写入的功能。

电容器3233的一对电极中的一个电连接于被供应特定电位的布线(下面，称为“电容线cl”)，另一个电连接于节点3436。电容线cl的电位根据像素电路31的规格适当地设定。电容器3233具有保持写入到节点3436的数据的功能。

液晶元件3432的一对电极中的一个被供应共同电位(公共电位)，另一个与节点3436电连接。包括在液晶元件3432中的液晶的取向状态取决于写入到节点3436的电位。

作为液晶元件3432的模式，例如可以使用下列模式：tn模式；stn模式；va模式；asm(axiallysymmetricalignedmicro-cell：轴对称排列微单元)模式；ocb(opticallycompensatedbirefringence：光学补偿双折射)模式；flc(ferroelectricliquidcrystal：铁电液晶)模式；aflc(antiferroelectricliquidcrystal：反铁电液晶)模式；mva模式；pva(patternedverticalalignment：垂直取向构型)模式；ips模式；ffs模式；或者tba(transversebendalignment：横向弯曲取向)模式等。另外，作为其他例子，还有ecb(electricallycontrolledbirefringence：电控双折射)模式、pdlc(polymerdispersedliquidcrystal：聚合物分散液晶)模式、pnlc(polymernetworkliquidcrystal：聚合物网络液晶)模式、宾主模式等。注意，不限定于此，可以使用各种模式。

图9b所示的像素31包括晶体管3431、电容器3233、晶体管3232及发光元件3125。

晶体管3431的源极和漏极中的一个与被供应数据信号的信号线sl电连接，另一个与节点3435电连接。晶体管3431的栅极与被供应栅极信号的扫描线gl电连接。晶体管3431具有控制对节点3435的数据信号的写入的功能。

电容器3233的一对电极中的一个电连接于节点3435，另一个电连接于节点3437。电容器3233具有保持写入到节点3435的数据的作为存储电容器的功能。

晶体管3232的源极和漏极中的一个与电位供应线vl_a电连接，另一个与节点3437电连接。晶体管3232的栅极与节点3435电连接。晶体管3232具有控制流过发光元件3125的电流的功能。

发光元件3125的阳极和阴极中的一个与电位供应线vl_b电连接，另一个与节点3437电连接。

作为发光元件3125，例如可以使用有机电致发光元件(也称为有机el元件)等。注意，发光元件3125并不局限于此，也可以使用由无机材料构成的无机el元件。

例如，电位供应线vl_a具有供应vdd的功能。另外，电位供应线vl_b具有供应vss的功能。

<截面图>

接着，参照图10及图11说明显示面板30的截面的结构例子。

图10a和图10b所示的显示面板30包括电极4015，电极4015通过各向异性导电层4019电连接到fpc4018所包括的端子。电极4015在形成在绝缘层4112、绝缘层4111及绝缘层4110中的开口中与布线4014电连接。电极4015与第一电极层4030使用同一导电层形成。

设置在第一衬底4001上的像素31包括晶体管。在图10a中例示像素31所包括的晶体管3431，在图10b中例示像素31所包括的晶体管3232。

晶体管3431及晶体管3232设置在绝缘层4102上。晶体管3431及晶体管3232包括形成在绝缘层4102上的电极517，电极517上形成有绝缘层4103。绝缘层4103上形成有半导体层512。半导体层512上形成有电极510及电极511，电极510及电极511上形成有绝缘层4110及绝缘层4111，绝缘层4110及绝缘层4111上形成有电极516。电极510及电极511与布线4014使用同一导电层形成。

在晶体管3431及晶体管3232中，电极517被用作栅极，电极510被用作源极和漏极中的一个，电极511被用作源极和漏极中的另一个，电极516被用作背栅极。

当晶体管3431及晶体管3232具有底栅极结构且包括背栅极时，可以增大通态电流。另外，可以控制晶体管的阈值。另外，为了简化制造工序，也可以根据情况省略电极516。

在晶体管3431及晶体管3232中，半导体层512被用作沟道形成区域。半导体层512可以使用结晶硅、多晶硅、非晶硅、金属氧化物、有机半导体等。另外，根据需要可以将杂质引入半导体层512以提高半导体层512的导电率或者控制晶体管的阈值。

在作为半导体层512使用金属氧化物的情况下，半导体层512优选包含铟(in)。在半导体层512为包含铟的金属氧化物的情况下，半导体层512的载流子迁移率(电子迁移率)得到提高。此外，半导体层512优选为包含元素m的氧化物半导体。元素m优选是铝(al)、镓(ga)或锡(sn)等。作为可用作元素m的其他元素，有硼(b)、硅(si)、钛(ti)、铁(fe)、镍(ni)、锗(ge)、钇(y)、锆(zr)、钼(mo)、镧(la)、铈(ce)、钕(nd)、铪(hf)、钽(ta)、钨(w)等。注意，作为元素m，有时也可以组合多个上述元素。元素m例如是与氧的键能高的元素。元素m例如是与氧的键能高于铟的元素。此外，半导体层512优选为包含锌(zn)的金属氧化物。包含锌的金属氧化物有时容易晶化。

半导体层512不局限于包含铟的金属氧化物。半导体层512例如也可以是锌锡氧化物或镓锡氧化物等不包含铟但包含锌、镓或锡的金属氧化物等。

另外，图10a及图10b所示的显示面板30包括电容器3233。电容器3233包括电极511与电极4021隔着绝缘层4103彼此重叠的区域。电极4021与电极517使用同一导电层形成。

图10a示出作为显示元件采用液晶元件的液晶显示面板的一个例子。在图10a中，作为显示元件的液晶元件3432包括第一电极层4030、第二电极层4031以及液晶层4008。注意，以夹持液晶层4008的方式设置有用作取向膜的绝缘层4032、绝缘层4033。第二电极层4031设置在第二衬底4006一侧，第一电极层4030与第二电极层4031隔着液晶层4008重叠。

此外，间隔物4035是通过对绝缘层选择性地进行蚀刻而得到的柱状间隔物，并且它是为控制第一电极层4030和第二电极层4031之间的间隔(单元间隙)而设置的。注意，还可以使用球状间隔物。

当作为显示元件使用液晶元件时，可以使用热致液晶、低分子液晶、高分子液晶、高分子分散型液晶、铁电液晶、反铁电液晶等。这些液晶材料根据条件呈现出胆甾相、近晶相、立方相、手向列相、各向同性相等。

此外，液晶材料的固有电阻为1×10⁹ω·cm以上，优选为1×10¹¹ω·cm以上，更优选为1×10¹²ω·cm以上。另外，本说明书中的固有电阻的值为在20℃测量的值。

在晶体管3431使用os晶体管的情况下，晶体管3431可以降低关闭状态下的电流值(关态电流值)。因此，可以延长影像信号等的电信号的保持时间，并且，还可以延长供电状态下的写入间隔。因此，可以降低刷新工作的频率，所以具有抑制功耗的效果。

此外，在显示面板中，可以适当地设置黑矩阵(遮光层)、偏振构件、相位差构件、抗反射构件等的光学构件(光学衬底)等。例如，也可以使用利用偏振衬底以及相位差衬底的圆偏振。此外，作为光源，也可以使用背光、侧光等。

图10b为作为显示元件使用el元件等发光元件的显示面板的一个例子。el元件被分类为有机el元件及无机el元件。

在有机el元件中，通过施加电压，电子从一个电极注入到el层中，而空穴从另一个电极注入到el层中。通过这些载流子(电子及空穴)重新结合，发光有机化合物形成激发态，当从该激发态回到基态时发光。由于这种机理，有机el元件被称为电流激发型发光元件。el层除了发光化合物以外也可以还包括空穴注入性高的物质、空穴传输性高的物质、空穴阻挡材料、电子传输性高的物质、电子注入性高的物质或双极性的物质(电子传输性及空穴传输性高的物质)等。el层可以通过蒸镀法(包括真空蒸镀法)、转印法、印刷法、喷墨法、涂敷法等的方法形成。

无机el元件根据其元件结构而分类为分散型无机el元件和薄膜型无机el元件。分散型无机el元件包括发光层，其中发光材料的粒子分散在粘合剂中，并且其发光机理是利用供体能级和受主能级的供体-受主重新结合型发光。薄膜型无机el元件是其中发光层夹在电介质层之间，并且该夹着发光层的电介质层夹在电极之间的结构，其发光机理是利用金属离子的内壳层电子跃迁的局部型发光。

图10b示出作为发光元件3125使用有机el元件的例子。

在图10b中，发光元件3125与设置在像素31中的晶体管3232电连接。虽然发光元件3125具有第一电极层4030、发光层4511及第二电极层4031的叠层结构，但是不局限于该结构。根据从发光元件3125取出光的方向等，可以适当地改变发光元件3125的结构。

分隔壁4510使用有机绝缘材料或无机绝缘材料形成。尤其优选使用感光树脂材料，在第一电极层4030上形成开口部，并且将该开口部的侧面形成为具有连续曲率的倾斜面。

发光层4511可以使用一个层构成，也可以使用多个层的叠层构成。

为了防止氧、氢、水分、二氧化碳等侵入发光元件3125，也可以在第二电极层4031及分隔壁4510上形成保护层。作为保护层，可以形成氮化硅、氮氧化硅、氧化铝、氮化铝、氧氮化铝、氮氧化铝、dlc(diamondlikecarbon)等。此外，在由第一衬底4001、第二衬底4006以及密封剂4005密封的空间中设置有填充剂4514并被密封。如此，为了不暴露于外部气体，优选使用气密性高且脱气少的保护薄膜(粘合薄膜、紫外线固化树脂薄膜等)、覆盖材料进行封装(封入)。

作为填充剂4514，除了氮或氩等惰性气体以外，也可以使用紫外线固化树脂或热固化树脂，例如可以使用pvc(聚氯乙烯)、丙烯酸树脂、聚酰亚胺、环氧树脂、硅酮树脂、pvb(聚乙烯醇缩丁醛)或eva(乙烯-醋酸乙烯酯)等。填充剂4514也可以包含干燥剂。

作为密封剂4005，可以使用玻璃粉等玻璃材料或者两液混合型树脂等在常温下固化的固化树脂、光固化树脂、热固化树脂等树脂材料。密封剂4005也可以包含干燥剂。

另外，根据需要，也可以在发光元件的光射出面上适当地设置诸如偏振片或者圆偏振片(包括椭圆偏振片)、相位差板(λ/4板，λ/2板)、滤色片等的光学薄膜。此外，也可以在偏振片或者圆偏振片上设置抗反射膜。例如，可以进行抗眩光处理，该处理是通过利用表面的凹凸扩散反射光来降低反射眩光的处理。

通过使发光元件具有微腔结构，能够提取色纯度高的光。另外，通过组合微腔结构和滤色片，可以防止反射眩光，而可以提高图像的可见度。

作为第一电极层4030及第二电极层4031，可以使用包含氧化钨的铟氧化物、包含氧化钨的铟锌氧化物、包含氧化钛的铟氧化物、铟锡氧化物、包含氧化钛的铟锡氧化物、铟锌氧化物、添加有氧化硅的铟锡氧化物等具有透光性的导电材料。

此外，第一电极层4030及第二电极层4031可以使用钨(w)、钼(mo)、锆(zr)、铪(hf)、钒(v)、铌(nb)、钽(ta)、铬(cr)、钴(co)、镍(ni)、钛(ti)、铂(pt)、铝(al)、铜(cu)、银(ag)等金属、其合金和其氮化物中的一种以上形成。

此外，第一电极层4030及第二电极层4031可以使用包含导电高分子(也称为导电聚合体)的导电组成物形成。作为导电高分子，可以使用所谓的π电子共轭导电高分子。例如，可以举出聚苯胺或其衍生物、聚吡咯或其衍生物、聚噻吩或其衍生物、或者由苯胺、吡咯及噻吩中的两种以上构成的共聚物或其衍生物等。

为了将光从发光元件3125提取到外部，使第一电极层4030和第二电极层4031中的至少一个为透明。显示面板根据光提取方法被分为顶面发射(顶部发射)结构、底面发射(底部发射)结构及双面发射结构。顶面发射结构为从衬底4006提取光的结构。底面发射结构为衬底4001提取光的结构。双面发射结构为从衬底4006及衬底4001的双方提取光的结构。例如，在顶面发射结构中，第二电极层4031为透明。例如，在底面发射结构中，第一电极层4030为透明。例如，在双面发射结构中，第一电极层4030及第二电极层4031为透明，即可。

(衬底4001)

衬底4001等可以使用具有能够耐受制造工序中的热处理的程度的耐热性的材料。例如，可以将厚度为0.1mm以上且0.7mm以下的材料用于衬底4001。具体而言，可以使用抛光至0.1mm左右厚的材料。

例如，可以将第6代(1500mm×1850mm)、第7代(1870mm×2200mm)、第8代(2200mm×2400mm)、第9代(2400mm×2800mm)、第10代(2950mm×3400mm)等大面积的玻璃衬底用作衬底4001等。由此，可以制造大型显示装置。

可以将有机材料、无机材料或有机材料和无机材料等的复合材料等用于衬底4001等。例如，可以将玻璃、陶瓷、金属等无机材料用于衬底4001等。

具体而言，可以将无碱玻璃、钠钙玻璃、钾钙玻璃、水晶玻璃、铝硅酸玻璃、钢化玻璃、化学钢化玻璃、石英或蓝宝石等用于衬底4001等。具体而言，可以将无机氧化物膜、无机氮化物膜或无机氧氮化物膜等用于衬底4001等。例如，可以将氧化硅膜、氮化硅膜、氧氮化硅膜、氧化铝膜等用于衬底4001等。可以将不锈钢或铝等用于衬底4001等。

例如，可以将由硅或碳化硅而成的单晶半导体衬底或多晶半导体衬底、硅锗等化合物半导体衬底、soi衬底等用于衬底4001等。由此，可以将半导体元件形成于衬底4001等。

例如，可以将树脂、树脂薄膜或塑料等有机材料用于衬底4001等。具体而言，可以将聚酯、聚烯烃、聚酰胺、聚酰亚胺、聚碳酸酯或丙烯酸树脂等的树脂薄膜或树脂板用于衬底4001等。

例如，衬底4001等可以使用将金属板、薄板状的玻璃板或无机材料等的膜贴合于树脂薄膜等的复合材料。例如，衬底4001等可以使用将纤维状或粒子状的金属、玻璃或无机材料等分散到树脂薄膜而得到的复合材料。例如，衬底4001等可以使用将纤维状或粒子状的树脂或有机材料等分散到无机材料而得到的复合材料。

另外，可以将单层的材料或层叠有多个层的材料用于衬底4001等。例如，也可以将层叠有基材与防止包含在基材中的杂质扩散的绝缘膜等的材料用于衬底4001等。具体而言，可以将层叠有玻璃与防止包含在玻璃中的杂质扩散的选自氧化硅层、氮化硅层或氧氮化硅层等中的一种或多种的膜的材料用于衬底4001等。或者，可以将层叠有树脂与防止穿过树脂的杂质的扩散的氧化硅膜、氮化硅膜或氧氮化硅膜等的材料用于衬底4001等。

具体地，可以将聚酯、聚烯烃、聚酰胺、聚酰亚胺、聚碳酸酯或丙烯酸树脂等的树脂薄膜、树脂板或叠层材料等用于衬底4001等。

具体而言，可以将包含聚酯、聚烯烃、聚酰胺(尼龙、芳族聚酰胺等)、聚酰亚胺、聚碳酸酯、聚氨酯、丙烯酸树脂、环氧树脂或硅酮树脂等具有硅氧烷键合的树脂的材料用于衬底4001等。

具体而言，可以将聚对苯二甲酸乙二醇酯(pet)、聚萘二甲酸乙二醇酯(pen)、聚醚砜(pes)或丙烯酸树脂等用于衬底4001等。或者，可以使用环烯烃聚合物(cop)、环烯烃共聚物(coc)等。

另外，可以将纸或木材等用于衬底4001等。

例如，可以将具有柔性的衬底用于衬底4001等。

此外，可以采用在衬底上直接形成晶体管或电容器等的方法。另外，可以使用如下方法：例如在对制造工序中的加热具有耐性的工序用衬底上形成晶体管或电容器等，并将形成的晶体管或电容器等转置到衬底4001等。由此，例如可以在具有柔性的衬底上形成晶体管或电容器等。

(衬底4006)

例如，可以将能够用于衬底4001的材料用于衬底4006。例如，可以将选自能够用于衬底4001的材料中的具有透光性的材料用于衬底4006。或者，例如可以将在表面的一侧形成有1μm以下的抗反射膜的材料用于衬底4006。具体而言，可以将层叠有三层以上、优选为五层以上、更优选为十五层以上的介电质的材料用于衬底4006。因此，可以将反射率抑制为0.5％以下，优选抑制为0.08％以下。或者，可以将选自能够用于衬底4001的材料中的双折射被抑制的材料用于衬底4006。

例如，可以将铝硅酸玻璃、钢化玻璃、化学钢化玻璃或蓝宝石等适当地用于显示装置中的配置在靠近使用者的一侧的衬底4006。由此，可以防止使用时造成的显示面板的损坏或损伤。

例如，可以将环烯烃聚合物(cop)、环烯烃共聚物(coc)、三醋酸纤维素(tac)等树脂薄膜适当地用于衬底4006。由此，可以降低重量。或者，例如，可以降低因掉落导致的损伤等的发生频率。

此外，例如可以将厚度为0.1mm以上且0.7mm以下的材料用于衬底4006。具体而言，可以使用通过抛光被减薄的衬底。

图11a示出作为图10a所示的晶体管3431设置顶栅型晶体管的情况下的截面图。同样地，图11b示出作为图10b所示的晶体管3232设置顶栅型晶体管的情况下的截面图。

在图11a、图11b的晶体管3431、3232中，电极517被用作栅极，电极510被用作源极和漏极中的一个，电极511被用作源极和漏极中的另一个。

关于图11a、图11b的其他构成要素的详细内容可以参照图10a、图10b的记载。

如上所述，通过使用本实施方式所示的图像接收装置，可以高效地对低分辨率的图像数据进行上转换并显示高分辨率的图像。

(实施方式3)

在本实施方式中说明可用于上述实施方式所示的nn(神经网络)电路的半导体装置。

《半导体装置》

图12示出能够实现各种神经网络的半导体装置100的结构。

半导体装置100具有由运算层141[1]至141[n]及开关层142[1]至142[n-1]构成的分层结构。注意，n为2以上的整数。

运算层141[1]包括积和运算元件130[1]至130[s1]，运算层141[n]包括积和运算元件130[1]至130[sn]。开关层142[1]包括可编程开关140[1]至140[s2]，开关层142[n-1]包括可编程开关140[1]至140[sn]。注意，s1至sn都为1以上的整数。开关层142具有控制不同的两个运算层141的连接的功能。

可编程开关140具有控制第一运算层141中的多个积和运算元件130和第二运算层141中的积和运算元件130的连接的功能。例如，在图12中，可编程开关140[s2]具有控制运算层141[1]中的积和运算元件130[1]至130[s1]中的任一个与运算层141[2]中的积和运算元件130[s2]的连接的功能。

图12所示的分层结构可以对应图3所示的分层结构。在本说明书中，有时也将积和运算元件130称为神经元。

《积和运算元件》

图13是示出积和运算元件130的结构例子的方框图。积和运算元件130由分别与输入信号in[1]至in[s]对应的乘法元件131[1]至131[s]、加法元件133、激活函数元件134、cm(配置存储器)132[1]至132[s]、cm135构成。s为1以上的整数。

乘法元件131具有将cm132中储存的数据与输入信号in相乘的功能。cm132中储存有权系数。

加法元件133具有将乘法元件131[1]至131[s]的输出(相乘结果)都加在一起的功能。

激活函数元件134按照由cm135中保存的数据定义的函数对加法元件133的输出(积和运算结果)进行运算并输出输出信号out。作为该函数，可以采用sigmoid函数、tanh函数、softmax函数、relu函数、阈值函数等。作为这些函数，可以利用表格方式或折线近似等进行安装并将对应的数据作为配置数据储存在cm135中。

cm132[1：s]与cm135优选分别具有各自的写入电路。由此，可以独立地进行cm132[1：s]的数据更新及cm135的数据更新。即，可以在不更新cm135的数据的情况下对cm132[1：s]的数据反复地进行更新。如此，在进行神经网络学习时，可以反复地只对权系数进行更新，由此可以进行高效地学习。

《可编程开关》

图14a是示出可编程开关140的结构的电路图。可编程开关140包括开关160。

可编程开关140具有将输出信号out[1]至out[s]连接到输入信号in[1]至in[s]的功能。例如，在图12中，可编程开关140[s2]具有控制运算层141[1]的输出信号out[1]至out[s1]中的任一个与运算层141[2]所包括的积和运算元件130[s2]的输入信号in[1：s2]的连接的功能。

另外，可编程开关140具有控制信号“0”与积和运算元件130的输入信号in[1]至in[s]的连接的功能。

《开关》

图14b是示出开关160的结构例子的电路图。开关160包括cm161和开关162。开关162具有控制out[i]与in[i](i是1以上且s以下的整数)之间的导通的功能。另外，开关162具有控制“0”与in[i]之间的导通的功能。根据cm161中储存的配置数据控制开关162的开启/关闭。作为开关162可以使用晶体管。

另外，当积和运算元件130不将从上一运算层141输出的out[i]用作输入时，该积和运算元件130将in[i]连接到“0”。此时，停止对与in[i]对应的乘法元件131[i]的电力供应(进行电源门控)，由此可以降低功耗。例如，在图12中，当运算层141[2]中的积和运算元件130[s2]不将来自运算层141[1]的out[1]用作输入时，积和运算元件130[s2]将其in[1]连接到“0”，停止对乘法元件131[1]的电力供应。

此外，当某个运算层141所包括的积和运算元件130的out[i]不与其他运算层141所包括的任何积和运算元件130连接时，可以停止输出out[i]的积和运算元件130整体的电力供应，来减少功耗。例如，在图12中，当运算层141[1]所包括的积和运算元件130[s1]不与其他运算层141所包括的任何积和运算元件130连接时，停止积和运算元件130[s1]整体的电力供应。

在上述结构中，配置存储器可以使用快闪存储器、reram、mram、pram、feram等构成。另外，配置存储器也可以由os存储器构成。通过将os存储器用于配置存储器，可以大幅度地降低半导体装置100的功耗。

例如，通过以os存储器构成图13所示的cm132[1]至132[s]及cm135，作为半导体装置100可以以较少的元件数构成低功耗的网络。

例如，通过以os存储器构成图14b所示的cm161，作为半导体装置100可以以较少的元件数构成低功耗的网络。

另外，通过作为乘法元件131及加法元件133使用模拟积和运算元件，可以减少构成积和运算元件130的晶体管数。

再者，通过作为积和运算元件130的输入输出信号使用模拟信号，可以减少构成网络的布线数。

图12中的半导体装置100可以生成具有所希望的网络结构的可编程开关140的配置数据并按照该配置数据进行学习。当通过学习对权系数进行更新时，不更新可编程开关140的配置数据而仅反复地更新权系数的配置数据是有效的结构。因此，优选积和运算元件130中的cm132[1：s]与可编程开关140中的cm135通过不同电路被写入配置数据。

(实施方式4)

在本实施方式中，参照图15说明能够应用实施方式1所示的图像处理方法的电子设备。下面所示的电子设备可以通过采用实施方式1所示的图像处理方法来对低分辨率的图像数据进行上转换并将其显示于显示部。

图15a所示的移动电话机7400除了组装在外壳7401的显示部7402之外还具备操作按钮7403、外部连接端口7404、扬声器7405、麦克风7406等。移动电话机7400可以通过用手指等触摸显示部7402来输入信息。此外，通过用手指等触摸显示部7402可以进行打电话或输入文字等所有操作。此外，通过操作按钮7403的操作，可以进行电源的开关或切换显示在显示部7402的图像的种类。例如，可以将电子邮件的编写画面切换为主菜单画面。

图15b是手表型便携式信息终端的一个例子。图15b所示的便携式信息终端7100包括外壳7101、显示部7102、腕带7103、表扣7104、操作按钮7105、输入输出端子7106等。便携式信息终端7100可以执行移动电话、电子邮件、文章的阅读及编辑、音乐播放、网络通信、电脑游戏等各种应用程序。显示部7102的显示面是弯曲的，能够沿着弯曲的显示面进行显示。另外，显示部7102具备触摸传感器，可以用手指或触屏笔等触摸屏幕来进行操作。例如，通过触摸显示于显示部7102的图标7107，可以启动应用程序。

操作按钮7105除了时间设定之外还可以具有电源的开关、无线通信的开关、静音模式的设置及取消、省电模式的设置及取消等各种功能。例如，通过利用组装在便携式信息终端7100中的操作系统，还可以自由地设定操作按钮7105的功能。另外，便携式信息终端7100可以进行被通信标准化的近距离无线通信。例如，通过与可进行无线通信的耳麦相互通信，可以进行免提通话。另外，便携式信息终端7100具备输入输出端子7106，可以通过连接器直接与其他信息终端进行数据的交换。另外，也可以通过输入输出端子7106进行充电。另外，充电工作也可以利用无线供电进行，而不通过输入输出端子7106。

图15c示出笔记型个人计算机(pc)。图15c所示的pc7200包括外壳7221、显示部7222、键盘7223及指向装置7224等。

图15d是视频摄像机7600，其包括第一外壳7641、第二外壳7642、显示部7643、操作键7644、透镜7645、连接部7646等。

实施例1

在本实施例中说明通过实施方式1所示的方法进行上转换并显示对应于该被进行上转换的图像数据的图像时的显示结果。

图16a、图16b、图16c、图16d是示出在本实施例中执行的工作的图。在本实施例中，首先，如图16a所示，准备对应于vga的分辨率(640×480)的图像数据img1。接着，如图16b所示，将图像数据img1分割为10×10。即，将图像数据img1分割为图像数据img1[1，1]至图像数据img1[10，10]。注意，通过下述方法1或方法2，使图像数据img1[1，1]至图像数据img1[10，10]的分辨率为图16b所示的72×56，即大于64×48。

然后，使用cnn对图像数据img1[1，1]至图像数据img1[10，10]的每一个进行上转换。由此，如图16c所示，生成分辨率为128×96的图像数据img2[1，1]至图像数据img2[10，10]。注意，在cnn中，权重滤波器的滤波器尺寸为3×3，卷积层的层数为8，作为激活函数使用relu。通过结合图像数据img2[1，1]至图像数据img2[10，10]，如图16d所示，生成具有对应于quad-vga的分辨率(1280×960)的图像数据img2并显示对应于该图像数据img2的图像。通过上述方法，将分辨率为640×480的图像数据img1上转换为分辨率为1280×960的图像数据img2。

在本实施例中，通过方法1或方法2，使图像数据img1[1，1]至图像数据img1[10，10]的各分辨率为72×56，即大于64×48。在方法1中，通过图1b和图1c及图2a和图2b所示的方法，将图像数据img1[1，1]至图像数据img1[10，10]的各分辨率设定为72×56。在方法2中，通过图17a、图17b所示的方法，将图像数据img1[1，1]至图像数据img1[10，10]的各分辨率设定为72×56。

图17a、图17b是示出使图像数据img1[1，1]的分辨率为72×56，即大于64×48的方法的一个例子的图。图17a示出构成图像数据img1的图像数据a中的图像数据a[1，1]的结构例子。在图17a所示的情况下，图像数据a[1，1]包括像素数据de11、像素数据de21、像素数据de31、像素数据de41、像素数据de12、像素数据de22、像素数据de32、像素数据de42、像素数据de13、像素数据de23、像素数据de33、像素数据de43、像素数据de14、像素数据de24、像素数据de34及像素数据de44。

图17b示出根据图17a所示的结构的图像数据a[1，1]生成的图像数据img1[1，1]的结构例子。通过将设置于图像数据a[1，1]的境界部的像素数据补充到图像数据a[1，1]的外侧，可以使图像数据img1[1，1]的分辨率大于图像数据a[1，1]的分辨率。也就是说，通过对图像数据a[1，1]进行边缘填料，可以使图像数据img1[1，1]的分辨率大于图像数据a[1，1]的分辨率。

注意，图17a示出图像数据a[1，1]包括4×4的像素数据的情况，但是实际上包括64×48的像素数据。此外，图17b示出对图像数据a[1，1]的上边及下边补充一行的像素数据，对其左边及右边补充一列的像素数据的情况，但是实际上对图像数据a[1，1]的上边及下边补充四行的像素数据，对其左边及右边补充四列的像素数据。由此，可以从分辨率为64×48的图像数据a[1，1]生成分辨率为72×56的图像数据img1[1，1]。

如上所述，在本实施例中，将图像数据img1分割为图像数据img1[1，1]至图像数据img1[10，10]。在图像数据img1[1，1]至图像数据img1[10，10]中，图像数据img1[1，1]以外的图像数据也可以通过与图像数据img1[1，1]同样方法生成。

图18a示出应用方法1时的显示结果，图18b示出应用方法2时的显示结果。

在图18a中，确认不到图像的偏差。另一方面，在图18b中，在由箭头示出的部分中观察到图像的偏差。这起因于在图像数据的结合部处产生像素数据的偏差。

[符号说明]

10：图像接收装置、11：计算机网络、12：天线、13：服务器、20：控制部、21：系统总线、22：存储部、23：通信控制部、24：图像处理电路、25：译码器电路、26：影像信号接收部、27：时序控制器、28：sd、28_a1：sd、28_am：sd、28_b1：sd、28_bm：sd、28_bn：sd、28_c1：sd、28_cm：sd、28_d1：sd、28_dm：sd、28_n：sd、28_u1：sd、28_un：sd、28_1：sd、29：gd、30：显示面板、30_a：显示面板、30_b：显示面板、30_c：显示面板、30_d：显示面板、31：像素、32_a1：nn电路、32_a10：nn电路、32_am：nn电路、32_b1：nn电路、32_bm：nn电路、32_bn：nn电路、32_c1：nn电路、32_cm：nn电路、32_d1：nn电路、32_dm：nn电路、32_n：nn电路、32_u1：nn电路、32_un：nn电路、32_1：nn电路、32_2：nn电路、32_3：nn电路、32_4：nn电路、32_5：nn电路、32_6：nn电路、32_7：nn电路、32_8：nn电路、32_9：nn电路、32_10：nn电路、41_n：显示面板、41_1：显示面板、41_2：显示面板、42_n：显示面板、42_1：显示面板、43_n：显示面板、43_1：显示面板、44_n：显示面板、44_1：显示面板、100：半导体装置、130：积和运算元件、131：乘法元件、132：cm、133：加法元件、134：激活函数元件、135：cm、140：可编程开关、141：运算层、142：开关层、160：开关、161：cm、162：开关、510：电极、511：电极、512：半导体层、516：电极、517：电极、3125：发光元件、3232：晶体管、3233：电容器、3431：晶体管、3432：液晶元件、3435：节点、3436：节点、3437：节点、4001：衬底、4005：密封剂、4006：衬底、4008：液晶层、4014：布线、4015：电极、4018：fpc、4019：各向异性导电层、4021：电极、4030：电极层、4031：电极层、4032：绝缘层、4033：绝缘层、4035：间隔物、4102：绝缘层、4103：绝缘层、4110：绝缘层、4111：绝缘层、4112：绝缘层、4510：分隔壁、4511：发光层、4514：填充剂、7100：便携式信息终端、7101：外壳、7102：显示部、7103：腕带、7104：表扣、7105：操作按钮、7106：输入输出端子、7107：图标、7200：pc、7221：外壳、7222：显示部、7223：键盘、7224：指向装置、7400：移动电话机、7401：外壳、7402：显示部、7403：操作按钮、7404：外部连接端口、7405：扬声器、7406：麦克风、7600：视频摄像机、7641：外壳、7642：外壳、7643：显示部、7644：操作键、7645：透镜、7646：连接部。