图像处理装置及其操作方法与流程

1.本公开涉及电子装置，更具体地，涉及图像处理装置及其操作方法。


背景技术：

2.图像处理装置是用于处理图像以提高图像质量的装置。近来，随着计算机和通信行业的发展，在包括智能电话、数码相机、游戏机、物联网、机器人、安全摄像头、医疗相机等的各种电子装置中对于具有提高的性能的图像处理装置的需求已经增加。
3.特别地，最近研究了用于合成多个原始图像并将合成图像生成为最终图像的各种技术以使用图像处理装置来提高图像质量。


技术实现要素：

4.本公开的实施方式提供了一种用于通过将发生运动的区域和未发生运动的区域彼此区分开来生成具有提高的图像质量的图像的图像处理装置以及该图像处理装置的操作方法。
5.根据本公开的一方面，提供了一种图像处理装置，其包括：图像传感器，其被配置为获取多个像素中的每一个的像素值；以及控制器，其被配置为获取包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值的图案图像，基于图案图像中包括的多个像素当中的具有相同曝光值的像素生成多个超分辨率图像，基于多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图(motion map)，并根据多个超分辨率图像和运动地图的加权和生成目标图像。
6.根据本公开的另一方面，提供了一种用于操作图像处理装置的方法，该方法包括：获取包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值的图案图像，基于图案图像中包括的多个像素当中的具有相同曝光值的像素生成多个超分辨率图像，基于多个超分辨率图像中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图，并根据多个超分辨率图像和运动地图的加权和生成目标图像。
附图说明
7.下面将参照附图更全面地描述本公开的各种实施方式；然而，这些实施方式可以以不同的形式实施并且不应被解释为限于在本文中阐述的实施方式。相反，提供这些实施方式是为了使本公开将是彻底的和完整的，并将向本领域技术人员充分传达实施方式的范围。
8.在附图中，为了图示清楚，尺寸可能被夸大。将理解的是，当元件被称为在两个元件“之间”时，它可以是这两个元件之间的唯一元件，或者也可以存在一个或更多个中间元
件。相似的附图标记始终指代相似的元件。
9.图1是例示根据本公开的实施方式的图像处理装置的图。
10.图2a是例示根据本公开的实施方式的图像传感器的图。
11.图2b是例示根据本公开的实施方式的控制器的图。
12.图3是例示根据本公开的实施方式的图案图像的图。
13.图4a至图4d是例示根据本公开的实施方式的用于生成超分辨率图像的方法的图。
14.图5是例示根据本公开的实施方式的根据曝光值的超分辨率图像的图。
15.图6是例示根据本公开的实施方式的运动地图的图。
16.图7a是例示根据本公开的实施方式的用于计算曝光比率的方法的图。
17.图7b是例示根据本公开的实施方式的用于生成运动地图的方法的图。
18.图8是例示根据本公开的实施方式的目标图像的图。
19.图9是例示根据本公开的实施方式的用于生成目标图像的方法的图。
20.图10是例示根据本公开的实施方式的图像处理装置的操作方法的图。
21.图11是例示根据本公开的实施方式的包括图像处理装置的计算系统的图。
具体实施方式
22.本文公开的具体结构或功能描述仅仅是为了描述根据本公开的构思的实施方式的目的而例示的。根据本公开的构思的实施方式可以以各种形式实现，并且不应被解释为限于本文阐述的实施方式。
23.在下文中，将参照附图详细描述本公开的实施方式，以便本领域技术人员能够容易地实现本公开的技术精神。
24.图1是例示根据本公开的实施方式的图像处理装置1000的图。
25.参照图1，图像处理装置1000可以包括图像传感器100和控制器200。图像传感器100和控制器200可以被实现为彼此分离的单独芯片或者被实现为单个集成芯片.
26.图像处理装置1000可以被实现为各种电子装置。例如，图像处理装置1000可以被实现为数码相机、移动装置、智能电话、个人计算机(pc)、平板pc、笔记本、个人数字助理(pda)、企业数字助理(eda)、便携式多媒体播放器(pmp)、可穿戴装置、黑匣子、机器人等。在另一实施方式中，图像处理装置1000可以实现为封装组件。图像处理装置1000可以被包括在各种电子装置中。
27.图像传感器100可以获取多个像素中的每一个的像素值。具体地，图像传感器100可以通过将入射到多个像素中的每一个的光转换为电信号来获取像素值。图像传感器100可以通过多个像素中的每一个的像素值来获取图像。像素可以表示构成图像的单元。也就是说，图像可以包括多个像素。为此，图像传感器100可以被实现为电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器。
28.各种像素数据可以被映射到像素。像素数据可以包括表示像素的位置、像素的颜色、像素值(pv)和像素的曝光值(ev)中的至少一个的信息。像素和像素数据的概念可以同等地应用于将在下面描述的图案图像、超分辨率图像和目标图像。
29.多个像素可以包括单独的像素。多个像素当中的任何像素可以表示为像素(i,j)。这里，i和j中的每一个是自然数，并且i和j可以表示对应的像素在行方向和列方向上布置
的位置。像素(i,j)可以表示位于行方向上的第i行和列方向上的第j列的像素。
30.像素的颜色可以表示红色、绿色和蓝色中的一个。图像可以通过一个点像素来表达颜色，该一个点像素是通过组合红色像素、绿色像素和蓝色像素获得的。
31.像素值可以表示像素的亮度。例如，随着像素值是更大的值，对应的像素可以表现更高的亮度。可以根据像素的颜色和像素值通过显示装置(未示出)视觉地显示图像。
32.图像传感器100可以通过多个像素中的每一个的像素值来获取图案图像。图案图像可以表示具有以下图案的图像：其中第一颜色的像素所属的组、第二颜色的像素所属的组和第三颜色的像素所属的组在行方向和列方向上交替布置。第一颜色、第二颜色和第三颜色是不同的颜色，并且第一颜色、第二颜色和第三颜色中的每一个可以是红色、绿色和蓝色当中的一种颜色。像素所属的每个组可以位于每个局部区域中。
33.像素的曝光值可以表示曝光时间。例如，曝光值可以是计算为曝光时间、模拟增益值和数字增益值的乘积的值。曝光时间可以是在图像传感器100内的像素所对应的区域中感测光的时间量。多个像素可以根据其位置而具有相同的曝光值。例如，像素(1,1)、像素(1,3)、像素(1,5)、
…
可以具有相同的第一曝光值。像素(1,2)、像素(1,4)、像素(1,6)
…
可以具有相同的第二曝光值。第一曝光值是与第二曝光值不同的值。
34.控制器200可以获取图案图像。例如，控制器200可以通过从图像传感器100接收图案图像来获取图案图像。在另一示例中，控制器200可以从图像传感器100接收多个像素中的每一个的像素数据，并且通过所接收的多个像素中的每一个的像素数据来获取图案图像。图案图像可以包括多个像素。映射到多个像素中的每一个的像素数据可以包括表示像素的位置、像素的颜色、像素的像素值和像素的曝光值中的至少一个的信息。像素的曝光值可以包括在图像本身中，或者可以作为与图像分离的数据包括在图像的元数据中。
35.控制器200可以基于图案图像的多个像素当中具有相同曝光值的像素来生成多个超分辨率图像。多个超分辨率图像中的每一个可以表示基于具有特定曝光值的像素生成的图像。例如，可以基于具有第一曝光值的像素生成第一超分辨率图像，并且可以基于具有不同于第一曝光值的第二曝光值的像素生成第二超分辨率图像。此外，超分辨率图像包括中的多个像素中的每一个可以具有根据相同曝光值获取的单独像素值。
36.控制器200可以生成超分辨率图像，超分辨率图像的数量等于图案图像的不同曝光值的数量。例如，当图案图像中包括的多个像素的曝光值当中的不同曝光值的数量是4时，控制器200可以生成4个超分辨率图像。
37.每个超分辨率图像可以包括多个像素。多个像素当中的任何像素可以表示为像素(i,j)。这里，i和j中的每一个是自然数。
38.在实施方式中，超分辨率图像可以是分辨率高于图案图像的分辨率的图像。分辨率可以表示相对于横向方向和纵向方向中的每一个方向通过组合红色像素、绿色像素和蓝色像素而获得的点像素的数量。例如，当在横向方向上存在1920个点像素并且在纵向方向上存在1080个点像素时，分辨率可以表示为1920
×
1080。分辨率高意味着相对于横向方向和纵向方向中的每一个的点像素的数量变得较大。
39.控制器200可以基于多个超分辨率图像之间的曝光值的比率和像素值的比率来生成至少一个运动地图。运动地图可以表示发生物体的运动发生的程度。当多个超分辨率图像是四个超分辨率图像(即，第一超分辨率图像、第二超分辨率图像、第三超分辨率图像和
第四超分辨率图像)时，可以基于第一超分辨率图像和第二超分辨率图像之间的像素值和曝光值生成第一运动地图，可以基于第二超分辨率图像和第三超分辨率图像之间的像素值和曝光值生成第二运动地图，并且可以基于第三超分辨率图像和第四超分辨率图像之间的像素值和曝光值生成第三运动地图。每个运动地图可以包括多个运动单元。多个运动单元当中的任何运动单元可以表示为运动单元(i,j)。这里，i和j中的每一个是自然数。运动单元(i,j)可以与超分辨率图像的像素(i,j)具有相同的位置关系。
40.将基于多个超分辨率图像之间的处于相同位置的像素(i,j)来描述包括多个超分辨率图像当中的第一超分辨率图像和第二超分辨率图像的情况。作为示例，第一超分辨率图像的曝光值小于第二超分辨率图像的曝光值。
41.曝光值的比率是指第一超分辨率图像中的像素(i,j)的曝光值与第二超分辨率图像中的像素(i,j)的曝光值的比率，并且像素值的比率是指第一超分辨率图像中的像素(i,j)的像素值与第二超分辨率图像中的像素(i,j)的像素值的比率。控制器200可以通过使用曝光值的上述比率和像素值的上述比率来生成运动单元(i,j)。运动单元(i,j)可以具有预定范围内的值。预定范围可以是大于或等于0且小于或等于1的范围。运动单元(i,j)的值变得更接近0可以表示在像素(i,j)中没有发生任何运动。运动单元(i,j)的值变得更接近1可以表示在像素(i,j)中发生运动。控制器200可以通过对多个像素中的每一个重复上述操作来生成与多个像素中的所有像素相对应的运动地图。
42.控制器200可以基于多个超分辨率图像的像素值和至少一个运动地图来生成目标图像。目标图像可以表示作为通过对图案图像执行图像处理以提高图案图像的图像质量而获得的结果而生成的图像。控制器200可以将目标图像输出到显示装置，使得通过显示装置显示目标图像。
43.目标图像可以包括多个像素。多个像素当中的任何像素可以表示为像素(i,j)。这里，i和j中的每一个是自然数。目标图像的像素(i,j)可以与超分辨率图像的像素(i,j)和运动地图的运动单元(i,j)具有相同的位置关系。
44.将基于多个超分辨率图像之间的处于相同位置的像素(i,j)来描述包括多个超分辨率图像当中的第一超分辨率图像和第二超分辨率图像的情况。控制器200可以使用作为权重的运动单元(i,j)的运动值相对于第一超分辨率图像中的像素(i,j)的像素值和第二超分辨率图像中的像素(i,j)的像素值执行加权运算。控制器200可以获取目标图像的像素(i,j)的像素值作为加权运算的结果值。控制器200可以通过对多个像素中的每一个重复上述操作来获取所有像素的像素值，并通过所有像素数据生成目标图像。
45.根据本公开，可以提供一种图像处理装置以及图像处理装置的操作方法，图像处理装置用于生成具有提高的图像质量同时降低相对于诸如背景的边缘之类的纹理部分的可能被误认为是物体的运动的噪声的目标图像。
46.在下文中，将参照附图详细描述本公开的实施方式。
47.图2a是例示根据本公开的实施方式的图像传感器100的图。
48.参照图2a，图像传感器100可以包括像素阵列110、行解码器120、定时生成器130、信号转换器140和输出缓冲器150。
49.像素阵列110可以包括滤色器阵列111和光电转换层113。滤色器阵列111可以设置在光电转换层113的顶部上。光电转换层113可以设置在滤色器阵列111的底部上。顶部和底
部是基于光的前进方向来定义的，并且光可以在从滤色器阵列111到光电转换层113的方向上前进。
50.滤色器阵列111可以包括多个滤色器。多个滤色器中的每一个可以是r滤色器、g滤色器和b滤色器之一。r滤色器可以过滤入射光以允许显现红色的光透射穿过其中。g滤色器可以过滤入射光以允许显现绿色的光透射穿过其中。b滤色器可以过滤入射光以允许显现蓝色的光透射穿过其中。
51.光电转换层113可以包括多个感测电路。感测电路可以包括光电二极管和电容器。光电二极管可以通过光电效应生成相对于入射光的电流。电容器可以根据由光电二极管生成的电流来累积电荷。累积的电荷量可以对应于表示亮度的像素值。
52.像素阵列110可以包括与多个像素对应的感测区域。每个感测区域是可以独立感测光线的区域，并且可以包括滤色器阵列111的滤色器和光电转换层113的感测电路。感测区域可以沿行方向和列方向排列。
53.在实施方式中，像素阵列110还可以包括设置在滤色器阵列111的顶部上以折射光的透镜。透镜可以配置有单个透镜层或多个透镜层，形成用于折射光的光学系统。每个透镜层可以被配置为感测区域单元的微透镜。
54.行解码器120可以响应于从定时生成器130输出的地址和控制信号而选择位于与地址对应的行上的感测区域。像素阵列110可以输出与在选定感测区域中累积的电荷量对应的信号，并将信号提供给信号转换器140。
55.信号转换器140可以基于从像素阵列110输出的每个信号来获取多个像素中的每个像素的像素数据。像素数据可以包括像素值和颜色。例如，对于一个像素，信号转换器140可以获取与光电转换层113中的电容器中累积的电荷量相对应的像素值和与滤色器阵列111中的滤色器相对应的颜色。
56.输出缓冲器150可以用多个缓冲器来实现，以用于存储从信号转换器140输出的数字信号。具体地，输出缓冲器150可以锁存和输出从信号转换器140提供的列单元的每个像素数据。输出缓冲器150可以临时存储从信号转换器140输出的像素数据，并在定时生成器130的控制下顺序地输出像素数据。根据本公开的实施方式，可以省略输出缓冲器150。
57.图像传感器100可以基于根据在曝光时间内入射到感测区域中的光而累积的电荷量来获取与感测区域对应的像素的像素值。可以在感测区域中设置单独的曝光时间。也就是说，可以在与感测区域对应的像素中设置表示曝光时间的曝光值。
58.像素值可以根据入射光的量来确定。例如，尽管光线具有相同的强度，但当曝光时间变得更长时，像素值可以增加。
59.累积的电荷量不能超过电容器的电荷容量。因此，当存在电荷量达到预定参考值的感测区域时，可以定义与该感测区域对应的像素已经饱和。当像素饱和时，可以将与饱和的像素处于相同位置的运动单元的运动值处理为0。
60.图2b是例示根据本公开的实施方式的控制器200的图。
61.参照图2b，控制器200可以包括超分辨率图像生成器210、运动地图生成器220和目标图像生成器230。超分辨率图像生成器210、运动地图生成器220和目标图像生成器230可以实现为允许控制器200执行对应的操作的软件模块。然而，本公开不限于此，超分辨率图像生成器210、运动地图生成器220和目标图像生成器230可以实现为自主执行对应的操作
的硬件模块。
62.超分辨率图像生成器210可以基于图案图像中包括的多个像素当中具有相同曝光值的像素来生成多个超分辨率图像。
63.在实施方式中，超分辨率图像生成器210可以在图案图像中包括的多个像素当中提取具有第一曝光值的像素和具有第二曝光值的像素。第一曝光值和第二曝光值可以是不同的值。
64.超分辨率图像生成器210可以生成多个超分辨率图像当中的包括多个第一像素的第一超分辨率图像，在第一超分辨率图像中具有第一曝光值的像素根据颜色交替布置。此外，超分辨率图像生成器210可以生成多个超分辨率图像当中的包括多个第二像素的第二超分辨率图像，在第二超分辨率图像中具有第二曝光值的像素根据颜色交替布置。
65.超分辨率图像生成器210可以基于图案图像中包括的多个像素当中具有相同曝光值的像素，通过超分辨率技术生成多个超分辨率图像。超分辨率技术可以包括双线性插值技术、双立方插值技术和基于深度学习的卷积神经网络中的至少一种。
66.双线性插值技术表示相对于x轴和y轴中的每一个的线性插值技术。线性插值技术是当三个点当中的两个点的位置已知并且目标点的准确位置未知时，在三个点具有线性关系时通过利用两个已知点的距离比率来获得目标点的位置的技术。双立方插值技术是通过引入包括在先前图像的像素中的像素值和在其外围的像素的像素值的平均值来形成灰度的技术。卷积神经网络是指通过被学习为从低分辨率图像的输入中输出高分辨率图像的多网络来恢复图像的技术。
67.当图案图像具有比上述情况更多的曝光值的数量时，超分辨率图像生成器210可以通过以与上述相同的方式操作来生成更多数量的超分辨率图像。这将参照图4a至图4d来详细描述。
68.运动地图生成器220可以基于多个超分辨率图像中包括的多个像素当中位于选定位置的像素的曝光值的比率以及多个超分辨率图像中包括的多个像素当中位于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图。
69.在实施方式中，运动地图生成器220可以根据第一超分辨率图像中包括的多个第一像素和第二超分辨率图像中包括的多个第二像素当中的像素的地址来选择处于相同位置的像素。运动地图生成器220可以计算处于相同位置的选定像素的曝光值的比率和处于相同位置的选定像素的像素值的比率。
70.运动地图生成器220可以基于处于相同位置的选定像素的曝光值的比率和处于相同位置的选定像素的像素值的比率来计算处于相同位置的每个运动值。当多个第一像素和多个第二像素当中处于相同位置的选定像素中的至少一个饱和时，运动地图生成器220可以将与饱和的像素对应的运动值计算为0。运动地图生成器220可以生成包括计算出的运动值的运动地图。
71.当生成的超分辨率图像的数量大于上述情况的数量时，运动地图生成器220可以通过以与上述相同的方式操作来生成更多数量的运动地图。这将参照图6至图7b来详细描述。
72.目标图像生成器230可以根据多个超分辨率图像和运动地图的加权和来生成目标图像。
73.目标图像生成器230可以根据第一超分辨率图像中包括的多个第一像素和第二超分辨率图像中包括的多个第二像素当中的像素的地址来选择处于相同位置的像素。目标图像生成器230可以在运动地图中包括的多个运动值当中选择与选定像素处于相同位置的运动值。
74.目标图像生成器230可以计算处于选定位置的选定像素的每个像素值的总和，像素值由选定位置处的对应运动值进行加权。目标图像生成器230可以通过将选定位置处的加权和映射到目标图像中包括的多个像素当中处于选定位置的像素的像素值来生成目标图像。
75.当生成的超分辨率图像和运动地图的数量大于上述情况的数量时，目标图像生成器230可以以与上述类似的方式通过加权和来生成目标图像。这将参照图8和图9进行详细描述。
76.图3是例示根据本公开的实施方式的图案图像的图。
77.参照图3，控制器200可以获取包括多个像素中的每一个的像素值和曝光值的图案图像20。图3表示图案图像20的一部分，并且图案图像20还可以包括如图3所示重复布置的多个其它像素。
78.图案图像20可以包括多个局部区域20-1、20-2、20-3和20-4。也就是说，图案图像20可以以局部区域为单位进行划分。多个局部区域20-1、20-2、20-3和20-4中的每一个可以包括多个像素。
79.多个局部区域20-1、20-2、20-3和20-4中的每一个可以包括具有相同颜色的多个像素。
80.例如，第一局部区域20-1可以包括表示绿色的多个gr像素20gr、21gr、22gr和23gr。第二局部区域20-2可以包括表示红色的多个r像素20r、21r、22r和23r。第三局部区域20-3可以包括表示蓝色的多个b像素20b、21b、22b和23b。第四局部区域20-4可以包括表示绿色的多个gb像素20gb、21gb、22gb和23gb。
81.在实施方式中，多个局部区域20-1、20-2、20-3和20-4中的每一个中包括的多个像素可以以n
×
n阵列布置在对应的局部区域中。这里，n是自然数。例如，n可以是2、3等的值。在另一实施方式中，多个局部区域20-1、20-2、20-3和20-4中的每一个中包括的多个像素可以以m
×
n阵列布置在对应的局部区域中。这里，m和n中的每一个是自然数。
82.多个局部区域20-1、20-2、20-3和20-4中的每一个可以包括具有不同曝光值的多个像素。
83.例如，第一局部区域20-1可以包括具有第一曝光值ev0的第一gr像素20gr、具有第二曝光值ev1的第二gr像素21gr、具有第三曝光值ev2的第三gr像素22gr以及具有第四曝光值ev3的第四gr像素23gr。第二局部区域20-2可以包括具有第一曝光值ev0的第一r像素20r、具有第二曝光值ev1的第二r像素21r、具有第三曝光值ev2的第三r像素22r和具有第四曝光值ev3的第四r像素23r。第三局部区域20-3可以包括具有第一曝光值ev0的第一b像素20b、具有第二曝光值ev1的第二b像素21b、具有第三曝光值ev2的第三b像素22b和具有第四曝光值ev3的第四b像素23b。第四局部区域20-4可以包括具有第一曝光值ev0的第一gb像素20gb、具有第二曝光值ev1的第二gb像素21gb、具有第三曝光值ev2的第三gb像素22gb以及具有第四曝光值ev3的第四gb像素23gb。
84.在实施方式中，局部区域中相对位于相同位置的像素可以具有相同的曝光值。例如，在第一局部区域20-1至第四局部区域20-4的每一个中位于(1,1)的gr像素20gr、r像素20r、b像素20b和gb像素20gb可以具有相同的第一曝光值ev0。
85.每个像素可以包括根据其中设置的曝光值获取的像素值。例如，当第一曝光值ev0表示4ms的曝光时间时，第一gr像素20gr的像素值可以是通过在与第一gr像素20gr对应的感测区域中感测4ms的光获取的像素值。
86.如图3所示，多个局部区域20-1、20-2、20-3和20-4中的每一个中包括的多个像素可以全部具有不同的曝光值。然而，这仅仅是示例。另选地，多个局部区域20-1、20-2、20-3和20-4中的每一个中包括的多个像素中的仅一些像素可以具有不同的曝光值。
87.在下文中，基于图3所示的图案图像20例示了用于生成超分辨率图像、运动地图和目标图像的方法。
88.图4a至图4d是例示根据本公开的实施方式的用于生成超分辨率图像的方法的图。
89.参照图4a至图4d，控制器200可以基于图案图像20中具有相同曝光值的像素生成多个超分辨率图像30、31、32和33。多个超分辨率图像30、31、32和33可以包括第一超分辨率图像30、第二超分辨率图像31、第三超分辨率图像32和第四超分辨率图像33。
90.参照图4a，控制器200可以在图案图像20中包括的多个像素当中提取具有相同的第一曝光值ev0的第一gr像素20gr、第一r像素20r、第一b像素20b和第一gb像素20gb。
91.控制器200可以生成其中设置有提取的第一gr像素20gr、提取的第一r像素20r、提取的第一b像素20b和提取的第一gb像素20gb的第一超分辨率图像30。也就是说，第一超分辨率图像30可以包括具有相同的第一曝光值ev0的第一gr像素20gr、第一r像素20r、第一b像素20b和第一gb像素20gb。
92.具体地，控制器200可以生成其中提取的第一gr像素20gr、提取的第一r像素20r、提取的第一b像素20b和提取的第一gb像素20gb被重复设置的第一超分辨率图像30。例如，提取的第一gr像素20gr、提取的第一r像素20r、提取的第一b像素20b和提取的第一gb像素20gb可以分别设置在第一区域30-1、第二区域30-2、第三区域30-3和第四区域30-4中。第一超分辨率图像30的第一区域30-1至第四区域30-4的位置可以对应于作为从图案图像20中提取的像素所属于的区域的第一局部区域20-1至第四局部区域20-4的位置。
93.多个超分辨率图像30、31、32和33中的每一个可以是具有比图案图像20的分辨率更高的分辨率的图像。例如，在图3所示的图案图像20的情况下，表示红色、绿色和蓝色的16个像素彼此相邻以构成一个点像素。在图4a所示的第一超分辨率图像30的情况下，表示红色、绿色和蓝色的4个像素彼此相邻以构成一个点像素。根据设置的点像素的数量，图案图像20可以具有1
×
1的分辨率，并且根据设置的点像素的数量，第一超分辨率图像30可以具有2
×
2的分辨率。如上所述，根据本公开的实施方式的控制器200可以通过图案图像20生成具有比图案图像20的分辨率更高的分辨率的超分辨率图像30。
94.参照图4b，控制器200可以在图案图像20中包括的多个像素当中提取具有相同的第二曝光值ev1的第二gr像素21gr、第二r像素21r、第二b像素21b和第二gb像素21gb。
95.控制器200可以生成其中设置有提取的第二gr像素21gr、提取的第二r像素21r、提取的第二b像素21b和提取的第二gb像素21gb的第二超分辨率图像31。也就是说，第二超分辨率图像31可以包括具有相同的第二曝光值ev1的第二gr像素21gr、第二r像素21r、第二b
像素21b和第二gb像素21gb。
96.例如，控制器200可以生成其中提取的第二gr像素21gr、提取的第二r像素21r、提取的第二b像素21b和提取的第二gb像素21gb分别设置在第一区域31-1、第二区域31-2、第三区域31-3和第四区域31-4中的第二超分辨率图像31。
97.参照图4c，控制器200可以在图案图像20中包括的多个像素当中提取具有相同的第三曝光值ev2的第三gr像素22gr、第三r像素22r、第三b像素22b和第三gb像素22gb。
98.控制器200可以生成其中设置有提取的第三gr像素22gr、提取的第三r像素22r、提取的第三b像素22b和提取的第三gb像素22gb的第三超分辨率图像32。也就是说，第三超分辨率图像32可以包括具有相同的第三曝光值ev2的第三gr像素22gr、第三r像素22r、第三b像素22b和第三gb像素22gb。
99.例如，控制器200可以生成其中提取的第三gr像素22gr、提取的第三r像素22r、提取的第三b像素22b和提取的第三gb像素22gb分别设置在第一区域32-1、第二区域32-2、第三区域32-3和第四区域32-4中的第三超分辨率图像32。
100.参照图4d，控制器200可以在图案图像20中包括的多个像素当中提取多个具有相同的第四曝光值ev3的第四gr像素23gr、第四r像素23r、第四b像素23b和第四gb像素23gb。
101.控制器200可以生成其中设置有提取的第四gr像素23gr、提取的第四r像素23r、提取的第四b像素23b和提取的第四gb像素23gb的第四超分辨率图像33。也就是说，第四超分辨率图像32可以包括具有相同的第四曝光值ev3的第四gr像素23gr、第四r像素23r、第四b像素23b和第四gb像素23gb。
102.例如，控制器200可以生成其中提取的第四gr像素23gr、提取的第四r像素23r、提取的第四b像素23b和提取的第四gb像素23gb分别设置在第一区域33-1、第二区域33-2、第三区域33-3和第四区域33-4中的第四超分辨率图像33。
103.图5是例示根据本公开的实施方式的根据曝光值的超分辨率图像的图。
104.参照图5，控制器200可以通过图案图像20中具有第一曝光值ev0的像素生成第一超分辨率图像300。控制器200可以通过图案图像20中具有第二曝光值ev1的像素生成第二超分辨率图像330。图案图像20可以是通过拍摄具有物体向右移动的运动的物体而获得的图像。
105.第一超分辨率图像300可以包括区域a-1 301、区域b-1 303和区域c-1 305。区域a-1 301可以是物体在曝光时间内占据的区域，区域b-1 303和区域c-1 305可以是物体在曝光时间内未占据的背景区域。
106.第二超分辨率图像300可以包括区域a-2 331、区域b-2 333和区域c-2 335。区域a-2 331和区域c-2 335可以是物体在曝光时间内占据的区域，区域b-2 333可以是物体在曝光时间内未占据的背景区域。
107.第一超分辨率图像300的区域a-1 301、区域b-1 303和区域c-1 305的位置可以等于第二超分辨率图像330的区域a-2 331、区域b-2 333和区域c-2 335的位置。
108.作为示例，第一曝光值ev0是通过将4ms的曝光时间乘以增益值得到的值，第二曝光值ev1是通过将32ms的曝光时间乘以增益值得到的值。第二超分辨率图像330的第二曝光值ev1可以大于第一超分辨率图像300的第一曝光值ev0，因此，相对于同一区域，第二超分辨率图像330的像素值可以大于第一超分辨率图像300的像素值。
109.例如，当第一超分辨率图像300中的物体在4ms的曝光时间内占据的区域(即，区域a-1 301)中包括的像素值为100并且未被物体占据的区域(即，区域b-1 303和区域c-1 305)中包括的像素值为50时，第二超分辨率图像330中的物体在32ms的曝光时间内占据的区域(即，区域a-2 331和区域c-2 335)中包括的像素值可以是800，并且未被物体占据的区域(即，区域b-2 333)中包括的像素值可以是400。当物体在32ms的曝光时间内占据的区域(即，区域a-2 331和区域c-2 335)变得大于物体在4ms的曝光时间内占据的区域(即，区域a-1区域301)时，第二超分辨率图像330中的物体所占据的区域(即，区域a-2 331和区域c-2 335)中包括的像素值可以相对于800减小。
110.控制器200可以基于第一超分辨率图像300和第二超分辨率图像330中的每一个的多个像素当中处于相同位置的像素的曝光值的比率以及第一超分辨率图像300和第二超分辨率图像330中的每一个的多个像素当中处于相同位置的像素的像素值的比率来生成表示物体的运动的运动地图。这将参照图6至图7b来详细描述。
111.图6是例示根据本公开的实施方式的运动地图的图。
112.参照图6，控制器200可以基于多个超分辨率图像30、31、32和33中的每一个的多个像素当中处于相同位置的像素的曝光值的比率以及多个超分辨率图像30、31、32和33中的每一个的多个像素当中处于相同位置的像素的像素值的比率来生成运动地图401、412和423。一种用于计算运动地图401、412和423的方法稍后将与图7a和图7b一起描述。
113.在实施方式中，多个超分辨率图像30、31、32和33可以包括第一超分辨率图像30、第二超分辨率图像31、第三超分辨率图像32和第四超分辨率图像33。
114.控制器200可以基于第一超分辨率图像30和第二超分辨率图像31生成第一运动地图401。控制器200可以基于第二超分辨率图像31和第三超分辨率图像32生成第二运动地图412。控制器200可以基于第三超分辨率图像32和第四超分辨率图像33生成第三运动地图423。
115.在下文中，将描述基于第一超分辨率图像30和第二超分辨率图像31生成第一运动地图401的实施方式。
116.具体地，控制器200可以在第一超分辨率图像30和第二超分辨率图像31中的每一个中作为相同位置的位置(1,1)处选择第一gr像素30gr和第二gr像素31gr。
117.控制器200可以计算所选择的第一gr像素30gr的像素值与第二gr像素31gr的像素值的比率。控制器200可以计算所选择的第一gr像素30gr的曝光值ev0与所选择的第二gr像素31gr的曝光值ev1的比率。
118.控制器200可以根据计算出的位置(1,1)的曝光值的比率和计算出的位置(1,1)的像素值的比率来计算运动单元401gr的运动值。运动单元401gr可以具有与所选择的第一gr像素30gr和第二gr像素31gr相同的位置(1,1)。
119.控制器200可以对第一超分辨率图像30和第二超分辨率图像31中的每一个中处于相同位置的其它像素重复执行上述操作。因此，控制器200可以通过第一超分辨率图像30和第二超分辨率图像31生成包括多个运动单元的第一运动地图401。第一运动地图401的多个运动单元可以具有其中多个运动单元与第一超分辨率图像30或第二超分辨率图像31的多个像素一一对应的关系。多个运动单元中的每一个可以映射到一个运动值。
120.以此方式，控制器200可以选择第二超分辨率图像31和第三超分辨率图像32的每
一个中处于相同位置的第二gr像素31gr和第三gr像素32gr。控制器200可以计算第二gr像素31gr的像素值与第三gr像素32gr的像素值的比率，并计算第二gr像素31gr的曝光值ev1与第三gr像素32gr的曝光值ev2的比率。控制器200可以根据计算出的像素值的比率和计算的曝光值的比率计算与第二gr像素31gr和第三gr像素32gr的位置对应的运动单元412gr的运动值。控制器200可以对第二超分辨率图像31和第三超分辨率图像32中的处于相同位置的每个像素重复执行上述操作。因此，控制器200可以通过第二超分辨率图像31和第三超分辨率图像32生成包括运动单元412gr等的多个运动单元的第二运动地图412。
121.以此方式，控制器200可以选择第三超分辨率图像32和第四超分辨率图像33的每一个中处于相同位置的第三gr像素32gr和第四gr像素33gr。控制器200可以计算第三gr像素32gr的像素值与第四gr像素33gr的像素值的比率，并计算第三gr像素32gr的曝光值ev2与第四gr像素33gr的曝光值ev3的比率。控制器200可以根据计算出的像素值的比率和计算的曝光值的比率计算与第三gr像素32gr和第四gr像素33gr的位置对应的运动单元423gr的运动值。控制器200可以对第三超分辨率图像32和第四超分辨率图像33中的处于相同位置的每个像素重复执行上述操作。因此，控制器200可以通过第三超分辨率图像32和第四超分辨率图像33生成包括运动单元423gr等的多个运动单元的第三运动地图423。
122.图7a是例示根据本公开的实施方式的用于计算曝光比率的方法的图。
123.参照图7a，控制器200可以通过多个超分辨率图像30、31、32和33之间的处于相同位置的像素的曝光值的比率以及多个超分辨率图像30、31、32和33之间的处于相同位置的像素的像素值的比率来计算曝光比率er。曝光比率er可以表示其中多个超分辨率图像30、31、32和33中的每一个的多个像素当中处于相同位置的像素之间的像素值的比率与曝光值的比率的比率。曝光比率可以用于计算运动地图的运动值。
124.例如，图6所示的在第一超分辨率图像30和第二超分辨率图像31中包括的多个像素当中选择处于位置(1,1)的gr像素30gr和31gr的情况将用作示例。第一超分辨率图像30的位置(1,1)处的gr像素30gr的曝光值为ev0(1,1)，并且第一超分辨率图像30的位置(1,1)处的gr像素30gr的像素值为pixel_ev0(1,1)。另外，第二超分辨率图像31的位置(1,1)处的gr像素31gr的曝光值为ev1(1,1)，并且第二超分辨率图像31的位置(1,1)处的gr像素31gr的像素值为pixel_ev1(1,1)。
125.控制器200可以通过将上述值代入图7a的(1)中所示的等式来计算er01(1,1)。er01(1,1)可以表示通过第一超分辨率图像30和第二超分辨率图像31的位置(1,1)处的gr像素30gr和31gr计算的曝光比。
126.控制器200可以相对于第一超分辨率图像30和第二超分辨率图像31中包括的其它像素通过图7a的(1)中所示的等式计算其它曝光比率。
127.以此方式，控制器200可以相对于第二超分辨率图像31和第三超分辨率图像32中包括的多个像素中的每一个通过图7a的(2)中所示的等式来计算曝光比率。控制器200可以相对于第三超分辨率图像32和第四超分辨率图像33中包括的多个像素中的每一个通过图7a的(3)中所示的等式来计算曝光比率。
128.图7b是例示根据本公开的实施方式的用于生成运动地图的方法的图。
129.参照图7b，控制器200可以通过使用曝光比率来计算运动值。
130.例如，在第一超分辨率图像30和第二超分辨率图像31中包括的多个像素当中选择
处于位置(1,1)的gr像素30gr和31gr，如图6所示。曝光比率可以是er01(1,1)。控制器200可以通过图7b的(1)中所示的等式计算通过从er01(1,1)减去1获得的绝对值，并且通过将所计算的绝对值与1比较来确定更小的数作为运动值m01(1,1)。m01(1,1)是通过第一超分辨率图像30和第二超分辨率图像31的位置(1,1)处的gr像素30gr和31gr计算的运动值并且表示位置(1,1)处的运动单元的运动值。
131.控制器200可以相对于第一超分辨率图像30和第二超分辨率图像31中包括的其它像素通过图7b的(1)中所示的等式来计算其它运动值。因此，第一运动地图401包括多个计算出的运动值。
132.以此方式，控制器200可以相对于第二超分辨率图像31和第三超分辨率图像32中包括的多个像素中的每一个通过图7a的(2)和图7b的(2)中所示的等式来生成第二运动地图412。控制器200可以相对于第三超分辨率图像32和第四超分辨率图像33中包括的多个像素中的每一个通过图7a的(3)和图7b的(3)中所示的等式来生成第三运动地图423。
133.图8是例示根据本公开的实施方式的目标图像的图。
134.参照图8，控制器200可以根据多个超分辨率图像30、31、32和33以及运动地图401、412和423的加权和来生成目标图像501、512和523。
135.在实施方式中，多个超分辨率图像30、31、32和33可以包括第一超分辨率图像30、第二超分辨率图像31、第三超分辨率图像32和第四超分辨率图像33。此外，控制器200可以基于第一超分辨率图像30和第二超分辨率图像31生成第一运动地图401。控制器200可以基于第二超分辨率图像31和第三超分辨率图像32生成第二运动地图412。控制器200可以基于第三超分辨率图像32和第四超分辨率图像33生成第三运动地图423。
136.控制器200可以根据使用第一运动地图401作为第一超分辨率图像30和第二超分辨率图像31的权重的加权和来生成第一目标图像501。
137.此外，控制器200可以根据使用第二运动地图412作为第一目标图像501和第三超分辨率图像32的权重的加权和来生成第二目标图像512。此外，控制器200可以根据使用第三运动地图423作为第二目标图像512和第四超分辨率图像33的权重的加权和来生成第三目标图像523。
138.控制器200可以将第三目标图像523作为最终生成的目标图像输出到外部装置。外部装置是指位于控制器200的外部的装置，并且可以是显示装置或储存装置。最终生成的目标图像可以通过显示装置进行显示，或者可以存储在储存装置中。
139.图9是例示根据本公开的实施方式的用于生成目标图像的方法的图。
140.参照图8和图9，控制器200可以根据多个超分辨率图像30、31、32和33与运动地图401、412和423的加权和来生成目标图像501、512和523。图9的等式(1)表示对应于第一目标图像501的等式，图9的等式(2)表示对应于第二目标图像512的等式，而图9的等式(3)表示对应于第三目标图像523的等式。这里，i和j中的每一个是自然数。
141.参照图9的(1)，相对于相同位置的每个像素和运动单元，控制器200可以根据使用第一运动地图401作为第一超分辨率图像30和第二超分辨率图像31的权重的加权和来生成第一目标图像。
142.例如，这将基于位置(1,1)来描述。第一超分辨率图像30的位置(1,1)处的gr像素30gr的像素值为pixel_ev0(1,1)，并且第一超分辨率图像30的位置(1,1)处的gr像素30gr
的曝光值为ev0(1,1)。第二超分辨率图像31的位置(1,1)处的gr像素31gr的像素值为pixel_ev1(1,1)，而第二超分辨率图像31的位置(1,1)处的gr像素31gr的曝光值为ev1(1,1)。第一运动地图401的位置(1，1)处的运动单元401gr的运动值为m01(1，1)。
143.控制器200可以通过将pixel_ev0(1,1)、ev0(1,1)、pixel_ev1(1,1)、ev1(1,1)和m01(1,1)代入图9的(1)中所示的等式来计算img_ev01(1,1)。img_ev01(1,1)可以表示第一目标图像501的位置(1,1)处的gr像素501gr的像素值。
144.此外，控制器200可以通过图9的(1)中所示的等式计算要包括在第一目标图像501中的多个像素当中的处于另一位置的其它像素的像素值。控制器200可以通过多个计算出的像素值生成第一目标图像501。第一目标图像501可以包括多个像素，并且可以根据位置将多个计算出的像素值映射到多个像素。
145.以此方式，控制器200可以根据相对于处于相同位置的像素和运动单元，使用第二运动地图412作为第一目标图像501和第三超分辨率图像32的权重的加权和来计算第二目标图像512。
146.例如，这将基于位置(1,1)来描述。第二超分辨率图像31的位置(1,1)处的gr像素31gr的曝光值为ev1(1,1)。第三超分辨率图像32的位置(1,1)处的gr像素32gr的像素值为pixel_ev2(1,1)，并且第三超分辨率图像32的位置(1,1)处的gr像素32gr的曝光值为ev2(1,1)。第二运动地图412的位置(1，1)处的运动单元412gr的运动值为m12(1，1)。第一目标图像501的位置(1,1)处的像素的像素值为img_ev01(1,1)。
147.控制器200可以通过将img_ev01(1,1)、ev1(1,1)、pixel_ev2(1,1)、ev2(1,1)和m12(1,1)代入图9的(2)中所示的等式来计算img_ev12(1,1)。img_ev12(1,1)可以表示第二目标图像512的位置(1,1)处的gr像素512gr的像素值。
148.此外，控制器200可以通过图9的(2)中所示的等式计算要包括在第二目标图像512中的多个像素当中的处于另一位置的其它像素的像素值。控制器200可以通过多个计算出的像素值生成第二目标图像512。第二目标图像512可以包括多个像素，并且可以根据位置将多个计算出的像素值映射到多个像素。
149.以此方式，控制器200可以根据使用第三运动地图423作为第二目标图像512和第四超分辨率图像33的权重的加权和来生成第三目标图像523。也就是说，控制器200可以通过图9的(3)中所示的等式计算要包括在第三目标图像523中的多个像素中的每一个的像素值。控制器200可以通过多个计算的像素值生成第三目标图像523。第三目标图像523可以包括多个像素，并且可以根据位置将多个计算出的像素值映射到多个像素。
150.控制器200可以将最后生成的第三目标图像523确定为输出图像，并且第三目标图像523可以被输出到外部装置。
151.图10是例示根据本公开的实施方式的图像处理装置的操作方法的图。
152.参照图10，根据本公开的实施方式的图像处理装置的操作方法可以包括获取包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值的图案图像20的操作s1010，基于图案图像20中包括的多个像素当中具有相同曝光值的像素，生成多个超分辨率图像30、31、32和33的操作s1020，基于多个超分辨率图像30、31、32和33中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像30、31、32和33中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图
的操作s1030，以及根据多个超分辨率图像30、31、32和33以及运动地图的加权和来输出目标图像的操作s1040。
153.具体地，可以获取图案图像20，其包括多个像素中的每一个的像素值和表示获取像素值的曝光时间的曝光值(s1010)。
154.在实施方式中，图案图像20可以包括多个局部区域，其中分别布置有多个像素当中的具有不同曝光值的像素。
155.在实施方式中，生成多个超分辨率图像30、31、32和33的操作可以包括在图案图像20的多个局部区域的每一个中提取具有相同曝光值的像素的操作以及生成多个超分辨率图像30、31、32和33的操作，在多个超分辨率图像30、31、32和33中所提取的像素根据颜色交替布置。
156.此外，可以基于图案图像20中包括的多个像素当中具有相同曝光值的像素来生成多个超分辨率图像30、31、32和33(s1020)。
157.此外，可以基于多个超分辨率图像30、31、32和33中包括的多个像素当中处于选定位置的像素的曝光值的比率以及多个超分辨率图像30、31、32和33中包括的多个像素当中处于选定位置的像素的像素值的比率来生成表示物体的运动的运动地图(s1030)。
158.此外，可以根据多个超分辨率图像30、31、32和33以及运动地图的加权和来输出目标图像(s1040)。
159.图11是例示根据本公开的实施方式的包括图像处理装置的计算系统2000的图。
160.参照图11，计算系统2000可以包括图像传感器2010、处理器2020、储存装置2030、存储器装置2040、输入/输出(i/o)装置2050和显示装置2060。尽管图11中未示出，但是计算系统2000还可以包括端口，该端口可以与储存装置2030、存储器装置2040、i/o装置2050、显示装置2060等通信或者与外部装置通信。
161.图像传感器2010可以获取图案图像。图像传感器2010可以通过地址总线、控制总线和数据总线或者与其不同的通信链路连接到处理器2020以执行通信。上述图像传感器100的描述可以应用于图像传感器2010。
162.图像传感器2010可以用各种类型的封装来实现。例如，图像传感器2010的至少一些组件可以通过使用诸如层叠式封装(pop)、球栅阵列(bga)、芯片级封装(csp)、塑料引线芯片载体(plcc)、塑料双列直插式封装(pdip)、华夫包中晶片、晶圆形式晶片、板上芯片(cob)、陶瓷双列直插式封装(cerdip)、塑料公制四方扁平封装(mqfp)、薄型四方扁平包(tqfp)、小轮廓集成电路(soic)、收缩型小轮廓封装(ssop)、薄型小轮廓封装(tsop)、系统级封装(sip)、多芯片封装(mcp)、晶圆级制造封装(wfp)或晶圆级加工层叠封装(wsp)之类的封装来实现。在一些实施方式中，图像传感器2010可以与处理器2020集成在一个芯片中，或者图像传感器2010和处理器2020可以集成在不同的芯片中。
163.处理器2020可以控制计算系统2000的整体操作。处理器2020可以通过使用图案图像来生成目标图像。处理器2020可以控制显示装置2060以显示图案图像或目标图像。处理器2020可以将图案图像或目标图像存储在储存装置2030中。上述控制器200的描述可以应用于处理器2020。
164.处理器2020可以执行特定的计算或任务。根据本公开的实施方式，处理器2020可以包括中央处理单元(cpu)、应用处理单元(apu)、图形处理单元(gpu)等中的至少一个。
165.处理器2020可以通过地址总线、控制总线和数据总线连接到储存装置2030、存储器装置2040和i/o装置2050，以执行通信。根据本公开的实施方式，处理器2020还可以连接到诸如外围组件互连(pci)总线之类的扩展总线。
166.储存装置2030可以存储诸如图像之类的数据。存储在储存装置2030中的数据不仅可以在计算系统2000被驱动时被保存，而且在计算系统2000未被驱动时也可以被保存。例如，储存装置2030可以配置有诸如闪存装置、固态驱动器(ssd)、硬盘驱动器(hdd)和光盘之类的非易失性存储器装置中的至少一种。
167.存储器装置2040可以存储诸如图像之类的数据。存储在存储器装置2040中的数据可以仅在计算系统2000被驱动时才被保存。另选地，存储在存储器装置2040中的数据不仅可以在计算系统2000被驱动时被保存，而且在计算系统2000未被驱动时也可以被保存。例如，存储器装置2040可以包括诸如动态随机存取存储器(dram)和静态随机存取存储器(sram)之类的易失性存储器装置以及诸如可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)和闪存装置之类的非易失性存储器装置。
168.i/o装置2050可以包括输入装置和输出装置。输入装置是能够通过交互输入用户的命令的装置，并且可以实现为例如键盘、键板、鼠标、麦克风等。输出装置是能够输出数据的装置，并且可以实现为打印机、扬声器等。
169.显示装置2060是用于视觉地输出诸如图像之类的数据的装置。为此，显示装置2060可以用各种类型的显示器来实现，各种类型的显示器诸如是使用单独的背光单元(例如，发光二极管(led)等)作为光源的用于控制液晶的分子布置由此调整从背光单元发出的光透射过液晶的程度(光的亮度或光的强度)的液晶显示器(lcd)，以及没有光源而使用自发光元件的显示器(例如，尺寸为100至200μm的迷你led、尺寸为100μm或更小的微型led、有机led(oled)、量子点led(qled)等)。
170.显示装置2060可以包括多个像素。显示装置2060的多个像素可以具有多个像素对应于图像的多个像素的位置关系。显示装置2060的多个像素可以通过发出具有与图像的多个像素中的每一个的像素值相对应的照度的光来显示图像。显示装置2060可以包括与多个像素对应的多个驱动电路。驱动电路可以以非晶硅(a-si)薄膜晶体管(tft)、低温多晶硅(ltps)tft、有机tft(otft)等的形式实现。
171.在实施方式中，显示装置2060可以被实现为具有显示装置2060的形状是可弯曲的并且可以恢复的特性的柔性显示器。在实施方式中，显示装置2060可以被实现为具有光透射穿过其中的特性的透明显示器。在实施方式中，显示装置2060可以联接到用于识别用户触摸显示装置2060的位置的触摸传感器以被实现为触摸显示器。
172.根据本公开，可以提供一种用于通过将发生运动的区域和不发生运动的区域彼此区分开来生成图像的图像处理装置。
173.虽然已经参照本公开的某些实施方式示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物所定义的本公开的精神和范围的情况下，可以在其中做出形式和细节上的各种改变。因此，本公开的范围不应限于上述实施方式，而应不仅由所附权利要求而且由其等同物来确定。
174.在上述实施方式中，所有操作可以选择性地执行或者可以省略部分操作。在每个实施方式中，操作不一定按照所描述的顺序执行并且可以重新布置。在本说明书和附图中
公开的实施方式仅是辅助理解本公开的示例，并且本公开不限于此。也就是说，对于本领域技术人员来说应当显而易见的是，可以在本公开的技术范围的基础上做出各种修改。
175.已经在附图和说明书中描述了本公开的各种实施方式。尽管这里使用了特定的术语，但它们仅用于描述本公开的实施方式。因此，本公开不限于上述实施方式并且在本公开的精神和范围内可以有许多变化。本领域技术人员应当清楚，除了本文公开的实施方式和所附权利要求之外，还可以在本公开的技术范围的基础上做出各种修改。此外，可以组合实施方式以形成附加的实施方式。
176.相关申请的交叉引用
177.本技术要求于2021年3月19日递交的韩国专利申请no.10-2021-0036117的优先权，其全部公开内容通过引用合并于此。