图像拾取设备、执行图像补偿的方法和计算机可读记录介质的制作方法
【专利摘要】一种图像拾取设备，包括：图像拾取单元，使用图像拾取装置来连续地拾取在其间具有共同位移的多个图像；存储单元，存储图像拾取装置的缺陷区域的位置；图像补偿单元，利用多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
【专利说明】图像拾取设备、执行图像补偿的方法和计算机可读记录介质
【技术领域】
[0001]本发明总体发明构思总体涉及一种图像拾取设备、执行图像补偿的方法和计算机可读记录介质，更具体地讲，涉及一种通过连续拾取多个图像来对图像传感器的缺陷进行校正的图像拾取设备、执行图像补偿的方法和计算机可读记录介质。
【背景技术】
[0002]传统的图像拾取装置是指在移动电话相机或者数字静止摄影机(DSC)中生成图像的组件。图像拾取装置可以是电荷耦合器件(CCD)图像拾取装置或者互补金属氧化物半导体(CMOS)图像拾取装置。
[0003]CXD是这样的装置，其中，金属氧化物半导体(MOS)电容器靠得很近且载流子存储在电容器中并转移到电容器。CMOS图像传感器是利用CMOS技术来设置MOS晶体管的一种装置，其中，MOS晶体管的数量与像素的数量对应，CMOS技术使用控制电路和信号处理电路作为外围电路，从而使用MOS晶体管来顺序地检测输出的切换方法被采用。
[0004]最近，数码相机采用具有尺寸为1/2.33英寸、1/1.8英寸、21.5 X 14.4mm( 即，先进摄影系统C型,又名，APS-C)、35X24mm(即，全帧(full-frame))的图像传感器。这种图像传感器的尺寸与裸片(c hip die)的尺寸对应，如果裸片的尺寸大，则生产产量大大降低。例如，在正常的片上系统(SoC)的情况下，如果尺寸大于8mmX8mm，则大规模生产可能是不可行的。
[0005]考虑到这点，在现有技术中，通过利用没有缺陷的相邻像素的像素值来对图像拾取设备中的缺陷区域进行校正。然而，仅通过利用相邻像素来对图像拾取设备的缺陷进行校正导致如下问题，在有意地将缺陷区域置于诸如相差AF(Auto Focus)传感器中的情况下，即使在低灵敏度(ISO)且充足光量的情况下，与相差AF对应的像素也表现为缺陷，这对图像品质造成不良影响。
【发明内容】
[0006]技术问题
[0007]本发明总体发明构思提供一种能够通过连续拾取多个图像来对图像传感器的缺陷进行校正的图像拾取设备、执行图像补偿的方法和计算机可读记录介质。
[0008]在以下描述中本发明总体发明构思的其他特征和效用将被部分地阐述，部分地，通过描述将是明显的，或者可通过总体发明构思的实践来学习
[0009]技术方案
[0010]通过提供如下图像拾取设备来实现本发明总体发明构思的以上和/或其他特征和效用，所述图像拾取设备包括:图像拾取单元，使用图像拾取装置来连续地拾取在其间具有共同位移的多个图像；存储单元，存储图像拾取装置的缺陷区域的位置；图像补偿单元，利用多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
[0011]所述多个被拾取的图像可包括第一图像和第二图像，图像补偿单元可根据共同位移来补偿第一图像，计算出与第二图像的缺陷区域对应的被补偿的第一图像的像素值，并用计算出的像素值来替换第二图像的缺陷区域。
[0012]所述多个被拾取的图像中的每个可以是通过快门操作的全帧图像。
[0013]所述多个被拾取的图像中的至少一个可以是通过快门操作的全帧图像，所述多个被拾取的图像中的其他图像可以是用于实时取景(live-view)显示的实时取景图像。
[0014]实时取景图像可以是当释放快门时显示的小尺寸实时取景或者是当输入半按快门时显示的全方位实时取景。
[0015]实时取景图像可以是就在拾取全帧图像之前拾取的图像。
[0016]实时取景图像可以是在拾取全帧图像之后拾取的图像。
[0017]根据本发明的一方面的图像拾取设备还可包括:感测单元，感测图像拾取设备的移动；ois(光学图像稳定器)单元，按预设位移来移动图像拾取设备的图像拾取方向，从而在没有感测到图像拾取设备的移动的情况下所述多个被拾取的图像之间存在共同位移。
[0018]根据本发明的一方面的图像拾取设备还可包括:用户界面单元，显示由图像拾取单元拾取的实时取景图像。
[0019]根据本发明的一方面的图像拾取设备还可包括:控制单元，如果在显示实时取景的同时输入快门命令，则在将正在显示的实时取景图像存储为第一图像之后，通过快门操作来控制图像拾取单元拾取全帧图像。
[0020]存储单元可存储图像拾取装置的白色像素缺陷区域、图像拾取装置的黑色像素缺陷区域和AF相差缺陷区域中的至少一个的位置。
[0021]还可通过提供一种在图像拾取设备中执行图像补偿的方法来实现本发明总体发明构思的以上和/或其他特征和效用，所述方法包括:利用图像拾取装置来连续地拾取和存储在其间具有共同位移的多个图像；利用所述多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
[0022]所述多个被拾取的图像可包括第一图像和第二图像，补偿的步骤可包括:根据共同位移来移动第一图像；计算与第二图像的缺陷区域对应的被移动的第一图像的像素值；用计算出的像素值来替换第二图像的缺陷区域。
[0023]所述多个被拾取的图像中的每个可以是通过快门操作的全帧图像。
[0024]所述多个被拾取的图像中的至少一个可以是通过快门操作的全帧图像，所述多个被拾取的图像中的其他图像可以是用于实时取景显示的实时取景图像。
[0025]实时取景图像可以是当释放快门时显示的小尺寸实时取景或者是当输入半按快门时显示的全方位实时取景。
[0026]实时取景图像可以是就在拾取全帧图像之前拾取的图像。
[0027]实时取景图像可以是在拾取全帧图像之后拾取的图像。
[0028]执行图像补偿的方法还可包括:感测图像拾取设备的移动；按预设位移来移动图像拾取设备的图像拾取方向，从而在没有感测到图像拾取设备的移动的情况下所述多个被拾取的图像之间存在共同位移。
[0029] 执行补偿的方法还可包括:显示由图像拾取单元拾取的实时取景图像。[0030]拾取和存储的步骤可包括:如果在显示实时取景的同时输入快门命令，则在将正在显示的实时取景图像存储为第一图像之后，通过快门操作来拾取和存储全帧图像。
[0031]缺陷区域可以是图像拾取装置的白色像素缺陷区域、图像拾取装置的黑色像素缺陷区域和AF相差缺陷区域中的至少一个。
[0032]还可通过提供一种非暂时性计算机可读记录介质来实现本发明总体发明构思的以上和/或其他方面和效用，所述非暂时性计算机可读记录介质包括用于执行执行图像补偿的方法的计算机可读代码，其中，所述方法包括:利用图像拾取装置来连续地拾取和存储在其间具有共同位移的多个图像；利用所述多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
[0033]通过提供一种用于生成对象的校正的最终图像的图像拾取设备来实现本发明总体发明构思的以上和/或其他特征和效用，该图像拾取设备包括:图像拾取装置，包括预定缺陷区域，用于至少捕获对象的第一图像和第二图像，从而在缺陷区域被施加到第一图像时针对缺陷区域第二图像从第一图像移动特定距离；图像补偿单元，沿着与位移相反的方向移动第二图像的位置，以与缺陷区域对应，从而产生对象的校正的最终图像。
[0034]图像补偿单元还可包括:补偿处理器，通过将第二图像映射到第一图像来计算与缺陷区域的位置对应的第二图像的像素值，并用计算的第二图像的像素值来替换第一图像的缺陷区域。
[0035]第一图像可在由用户输入快门命令之后产生，第二图像可以是在输入快门命令之前产生的最终实时取景图像。
[0036]图像拾取设备还可包括:感测单元，通过检测图像拾取设备的移动来感测第二图像的位移。
[0037]有益效果
[0038]根据本发明总体发明构思的示例性实施例的图像拾取设备可通过连续拾取具有共同位移的多个图像来对由于图像传感器的缺陷而引起的画面质量的恶化进行校正。
【专利附图】
【附图说明】
[0039]通过下面结合附图对实施例进行的描述，将会变得清楚和更易于理解，其中:
[0040]图1是示出根据本发明总体发明构思的示例性实施例的图像拾取设备的配置的框图；
[0041]图2是示出图1的图像拾取单元和控制单元的详细配置的示图；
[0042]图3是示出根据本发明总体发明构思的示例性实施例的图像拾取设备的操作的示图；
[0043]图4是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备的操作的示图；
[0044]图5是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备的操作的示图；
[0045]图6是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备的操作的示图；
[0046]图7至图9D是示出图1中的图像补偿单元的操作的示图；[0047]图10是示出图1中的存储单元的存储区域的示例的示图；
[0048]图11是示出根据本发明总体发明构思的示例性实施例的执行图像补偿的方法的流程图；
[0049]图12是详细地示出图11中的图像拾取操作的流程图。
【具体实施方式】
[0050]现在将对本发明总体发明构思的示例性实施例进行详细参照，其示例在附图中示出，其中，相同的标号始终表示相同的元件。下面在参照附图的同时对实施例进行描述以解释本发明总体发明构思。
[0051]图1是示出根据本发明总体发明构思的示例性实施例的图像拾取设备100的配置的框图。
[0052]参照图1，图像拾取设备100包括:通信接口单元110、用户界面单元120、存储单元130、图像拾取单元140、感测单元150、光学图像稳定器(OIS)单元160、图像补偿单元170和控制单元180。根据图1的图像拾取设备100可包括能够连续地拾取多个图像的数码相机、摄影机、移动电话、PMP、网络摄像机、黑匣子等，但不限于此。
[0053]通信接口单元110被形成为连接至少一个外部终端装置50。通信接口单元110可通过局域网(LAN)和因特网来无线或有线地连接到外部终端装置50，还可通过通用串行总线(USB)端口和蓝牙模块连接到外部终端装置50。
[0054]此外，通信接 口单元110将存储在图像拾取设备100中的内容发送到外部终端装置50。具体地讲，通信接口单元110可将之后要描述的存储在存储单元130中的图像文件发送到外部终端装置50或者服务器。这里，内容可以是由图像拾取设备100生成的静止图像内容或者运动图像内容
[0055]用户界面单元120具有大量的功能键，所述功能键用于设置或者选择由图像拾取设备100支持的各种功能。用户界面单元120可由能够同时执行输入和输出的装置(诸如触摸板或者鼠标滚球)来实现，但不限于此，并且可由输入配置(诸如大量按钮)和显示配置(诸如彼此相关联的液晶二极管(LCD)或有机发光二极管(OLED)，)来实现，但不限于此。
[0056]用户界面单元120从用户接收各种控制命令，诸如实时取景显示命令、半按快门命令(又名，自动对焦)和快门命令(又名，全按快门或者图像拾取命令)。此外，用户界面单元120接收与图像拾取相关的设置的输入。具体地，用户界面单元120可接收输入，诸如，存储被拾取的图像的特定的文件格式、被拾取的图像的分辨率、是否施加根据本发明总体发明构思的实施例的图像补偿/校正、是否执行数字变焦、自动白平衡(AWB)、自动对焦(AF)和自动曝光(AE)，但不限于此。
[0057]此外，用户界面单元120可显示被拾取的图像。具体地讲，用户界面单元120可显示根据用户的图像拾取命令被拾取的图像或者以后要描述的由图像补偿单元170校正的图像。
[0058]此外，用户界面单元120可根据用户的再现命令来显示存储在存储单元130中的各种内容。所述内容可包括静止图像内容或者运动图像内容。例如，如果图像拾取设备100捕获运动图像并将其存储在存储单元130中，则用户界面单元120可再现存储在存储单元130中的运动图像内容。
[0059]此外，用户界面单元120可显示实时取景图像。具体地讲，用户界面单元120可响应于用户的实时取景显示命令来显示由图像拾取单元140拾取的实时取景图像，并且可包括实时显示的图像。这里，实时取景是在用户界面窗口上而非在取景器上显示由图像拾取单元140拾取的图像的功能，并且可被划分为全尺寸实时取景和小尺寸实时取景。
[0060]全尺寸实时取景包括在输入用户的半按快门命令之后拾取并显示具有高分辨率的图像的操作，小尺寸实时取景包括在没有输入半按快门或者快门命令的快门释放期间显示具有低分辨率的图像的操作。因此，用户界面单元120在快门释放期间根据小尺寸实时取景功能来显示小尺寸实时取景图像，在半按快门命令期间根据全尺寸实时取景功能来显示全尺寸实时取景图像。与此相反，全尺寸实时取景的分辨率和小尺寸实时取景的分辨率可根据图像拾取设备100的功能而改变，最佳分辨率可根据针对图像拾取设备100的制造商的说明书来选择。
[0061]存储单元130存储多个被拾取的图像。具体地讲，存储单元130可根据图像拾取的拾取顺序或者类型(或者操作状态)暂时存储由图像拾取单元140拾取的多个图像。这里，图像拾取的类型可被划分为全帧图像拾取和实时取景图像拾取，或者可被划分为全帧图像拾取、小尺寸实时取景图像拾取和全尺寸实时取景图像拾取。这里，全帧图像拾取是基本的静止图像拾取操作。
[0062]此外，存储单元130可存储由图像补偿单元170校正的图像。存储单元130还可存储由图像补偿单元170最终生成的内容(即，被拾取的图像的压缩形式)。
[0063]此外，存储单元130存储与图像拾取设备100的缺陷对应的信息。具体地讲，存储单元130可存储图像拾取设备100的缺陷区域的位置信息，诸如白色像素缺陷区域、黑色像素缺陷区域、AF相差缺陷区域。关于缺陷区域的这种信息可由制造商来预先产生和存储，并且可通过用户的测试操作来更新。
[0064]以上所描述的存储单元130可由图像拾取设备100中的存储介质和外部存储媒介来实现，例如，诸如包括USB存储器和闪存的可移动盘、连接到图像拾取设备100的存储介质，通过网络的网络服务器等。此外，存储单元130可包括如图10所示的多个存储空间，并且可存储捕获的图像和与缺陷区域对应的信息。此外，存储单元130可包括用于驱动图像处理单元170和控制单元180的易失性存储器(例如，DRAM)。
[0065]图像拾取单元140使用图像拾取装置141来连续地拾取在其间具有共同位移(mutual displacement)的多个图像。参照图1和图2,图像拾取单元140可包括透镜单元144、图像拾取装置141、模数(A/D)转换器145，透镜单元144包括一个透镜或者多个透镜来从物体会聚光，并且可在图像拾取区域上形成光学图像；图像拾取装置141用于执行将通过透镜入射的光转换为电信号的光电转换；模数(A/D)转换器145将来自图像拾取装置141的模拟信号转换为数字信号。图像拾取装置141可以是电荷耦合器件(CCD)或者电荷耦合器件(CCD)。
[0066]图像拾取单元140可根据图像拾取设备100的操作状态来生成全帧图像或者实时取景图像。将参照图3至图6对图像拾取单元140根据各种操作状态的详细的图像拾取操作进行描述。
[0067]感测单元150感测图像拾取设备100的移动。具体地讲，感测单元150可使用陀螺仪传感器、声传感器、光学传感器、磁传感器、摩擦电传感器、惯性开关传感器等(但不限于此)来感测图像拾取设备100的移动，并且可感测在多个图像的图像拾取操作之间的图像拾取设备100的位移。
[0068]OIS单元160通过改变由图像拾取单元140接收的光的路径来补偿图像拾取设备100的移动。具体地讲，如果图像拾取设备100的抖动被感测单元150感测到，则图像拾取设备100的移动可通过提供与抖动方向相反的光来改变提供给图像拾取单元140的光的路径的方向而被补偿。
[0069]另一方面，根据本发明总体发明构思的示例性实施例，为了补偿图像拾取装置141的缺陷区域，在其间具有共同位移的至少两个图像被使用。因此，OIS单元160可按预设的位移移动图像拾取装置141的图像拾取方向，从而如果图像拾取设备100的移动没有被感测单元150感测到(即，如果图像拾取设备100被三脚架固定等)，则在多个被拾取图像之间存在共同位移。沿图像拾取方向的这种位移移动是用于允许在图像之间存在共同位移，然而在单个图像拾取过程期间不存在该共同位移。因此，OIS单元160可在单个图像拾取过程期间执行如上所述的运动补偿操作。
[0070]另一方面，在本发明总体发明构思的示例性实施例中，实例表明使用OIS功能使共同位移存在于多个图像之间。然而，可使用使图像能够相对于彼此移动的微电子机械系统(MEMS)结构来实现共同位移以使其存在于多个图像之间。此外，当图像拾取设备100没有被固定在三脚架时，由于当拿着图像拾取设备100时用户的手抖动，因此位移自然地存在于被拾取的图像之间，这种情况下，不需要用于单独地移动图像拾取装置141的图像拾取方向的OIS功能。
[0071]图像补偿单元170使用另一个拾取图像来补偿多个拾取图像中的一个中的缺陷区域。具体地讲，为了对多个图像中的一个图像(例如，第一图像或者辅助图像，以下，被称为“主图像”)连同另一图像(例如，第二图像或者主图像，以下，被称为“辅助图像”)一起进行映射，图像补偿单元170补偿导致图像拾取设备100的移动(图像拾取设备100的移动造成与由感测单元150感测到的位移对应的辅助图像的位移)，通过将被补偿的(即，移动的)辅助图像映射到主图像来计算出与主图像的缺陷区域的位置对应的辅助图像的像素值，并且用计算出的辅助图像的像素值替换主图像的缺陷区域。
[0072]详细地，如上所述，图像拾取装置141可包括例如由制造商预设的预定的缺陷区域。因此，主图像可被拾取以使它包括图像拾取装置141的预定的缺陷区域。因此，当辅助图像被图像拾取装置141拾取时，辅助图像被映射到主图像以计算出辅助图像和主图像之间的位移。然后，基于该位移，计算出与主图像的缺陷区域的位置对应的辅助图像的像素值。最后，用计算出的辅助图像的像素值替换主图像的缺陷区域以生成最终的校正的图像。
[0073]此外，可以存在图像拾取装置141的多个缺陷区域，从而图像补偿单元170可执行如上所述的针对图像拾取装置141的多个各自的缺陷区域的补偿操作。辅助图像可以是全帧图像、小尺寸实时取景图像或者全尺寸实时取景图像，主图像可以是全帧图像。
[0074] 图像补偿单元170可执行信号处理，诸如针对从图像拾取单元140输出的图像或者已经针对缺陷区域进行校正的图像执行格式转换和图像缩放的数字变焦、AWB、AF和AE。此外，图像补偿单元170可通过将通过麦克风10接收的音频信号和多个图像组合来生成运动图像文件，并且可在存储单元130中存储生成的运动图像文件。麦克风10可以是图像补偿单元170的内部组件，或者可以被外部连接到图像补偿单元170。
[0075]控制单元180可控制在图像拾取设备100内的组件的各自的操作。具体地讲，控制单元180可控制图像拾取单元140来拾取实时取景图像(即，实时观看的图像)以对应于用户的实时取景的显示操作，并且控制用户界面单元120来显示被拾取的实时取景图像。
[0076]此外，如果在实时取景显示期间拾取命令(即，快门命令)被输入，则控制单元180可将正在显示的实时取景图像作为辅助图像存储在存储单元130中，然后可在辅助图像被存储之后控制图像拾取单元140来拾取作为全帧图像的主图像。此外，控制单元180可控制图像补偿单元170用与图像拾取装置141的缺陷区域对应的辅助图像的像素值替换主图像的缺陷区域。
[0077]此外，如果在没有实时取景显示操作的情况下从用户输入拾取命令，则控制单元180可控制图像拾取单元140来拾取多个全帧图像并控制图像补偿单元170来用另一全帧图像(即，辅助图像)的像素值替换多个被拾取的全帧图像中的一个(即，主图像)的缺陷区域。
[0078]此外，控制单元180可控制感测单元150来感测图像拾取设备100是否移动，并且如果预测到在连续拾取过程期间图像拾取设备100没有移动，即，如果预测到图像拾取设备100固定在三脚架上等，则控制单元180可控制OIS单元160以使共同位移存在于多个拾取图像之间。
[0079]如上所述，根据图1的图像拾取设备100可对因通过连续地拾取多个具有共同位移的多个图像的图像拾取单元140的缺陷而导致的画面质量的恶化进行校正。
[0080]图1示出图像 补偿单元170和控制单元180是彼此进行通信的单独的组件。然而，如图2所示，控制单元180可包括图像补偿单元170的功能，以由单芯片(例如，片上系统(SOC))上的控制单元180和图像补偿单元170的的组合配置来实现。
[0081]图2是示出图1的图像拾取单元140和控制单元180的详细配置的示图.[0082]参照图2，图像拾取单元140可包括图像拾取装置141、时序产生单元(又名，时序产生器)142、高速串口 143和透镜单元144。
[0083]图像拾取装置141执行通过透镜入射的光转换到电信号的光电转换。此外，图像拾取装置141可使用内置的模数(A/D)转换器145来将光电转换的模拟信号转换为数字信号。然而，可从图像拾取装置141的外部提供A/D转换器145。如上所述，图像拾取装置141可以是CCD或者CMOS。
[0084]时序产生单元142控制图像拾取装置141的图像拾取操作。具体地讲，时序产生单元142可生成控制信号来控制图像拾取装置141的重启时间和光电转换的电信号的读取时间，并将生成的控制信号提供给图像拾取装置141。
[0085]高速串口 143可将图像拾取装置141的数字信号发送到控制单元180。参照图2，由图像拾取装置141生成的信号以串口的方法被传输到控制单元180。然而，由图像拾取装置141生成的信号可通过并行通信被传输到控制单元180。
[0086]透镜单元144采集来自物体的光并在图像拾取区域上形成光学图像。
[0087]控制单元180可从图像拾取单元140接收图像，对输入图像进行校正，并将校正的图像存储在存储单元130中。具体地讲，控制单元180可包括预处理器181、总线182、图像处理链183、存储器控制器184、编解码器185、补偿处理器186、显示处理器187和中央处理单元(CPU) 188。
[0088]预处理器181控制图像拾取单元140的图像拾取操作。具体地讲，预处理器181可控制图像拾取单元140来生成实时取景图像来对应于用户的实时取景显示操作，并且将从图像拾取单元140接收的实时取景图像发送到显示处理器187，以使生成的实时取景图像显示在用户界面单元120上。
[0089]此外，预处理器181可控制图像拾取单元140生成多个图像以对应于用户的快门命令，并且将从图像拾取单元140接收的多个图像发送到补偿处理器186，从而使用另一图像来补偿多个生成的图像中的一个的缺陷区域。
[0090]总线182在控制单元180内的各自的组件之间传输信号。
[0091]图像处理链183可执行信号处理，诸如针对图像调整格式转换和图像缩放的数字变焦、AWB、AF 和 AE。
[0092]存储器控制器184控制易失性存储器的操作。
[0093]当图像拾取设备100执行运动图像捕捉操作时，编解码器185对多个图像进行编码以生成由图像拾取单元140拾取的多个图像。虽然在本示例性实施例中没有对音频信号接收进行描述，但是编解码器185可将通过单独的内部的或者外部的麦克风10接收的音频信号和多个被拾取的图像进行组合来生成运动图像文件。
[0094]补偿处理器186使用另一图像(即，辅助图像)来补偿多个被拾取的图像中的一个图像(即，主图像)中的缺陷区域。具体地讲，为了将多个图像的一个图像(以下，被称为“辅助图像”)映射到另一个图像(以下，被称为“主图像”)，补偿处理器186按感测单元150感测到的位移来补偿辅助图像的位置，通过将补偿的辅助图像映射到主图像上来计算出与主图像的缺陷区域的位置对应的辅助图像的像素值，并用计算出的辅助图像的像素值替换主图像的缺陷区域。
[0095]显示处理器187可生成将显示在用户界面单元120上的用户界面窗口或者控制用户界面单元120的操作。
[0096]CPU188控制在控制单元180中的各个组件。
[0097]虽然图2示出图像处理链183和补偿处理器186被单独地配置，但是图像处理链183和补偿处理器186可在单个组件中或者单芯片上被实现。
[0098]图3是示出根据本发明总体发明构思的示例性实施例的图像拾取设备100的操作的示图。
[0099]具体地讲，图3示出使用另一全帧图像来补偿一个全帧图像的缺陷区域的操作。
[0100]参照图3，如果实时取景显示命令被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120来执行小尺寸实时取景功能。具体地讲，图像拾取单元140连续拾取并发送小尺寸实时取景图像，并且用户界面单元120显示发送的小尺寸实时取景图像。
[0101]此后，如果半按快门被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120来执行全尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并发送全尺寸实时取景图像，并且用户界面单元120显示发送的全尺寸实时取景图像。
[0102]如果在输入半按快门之后输入快门，则控制单元180控制图像拾取单元140连续地生成多个全帧图像。第一个被拾取的全帧图像可被用作主图像，最后被拾取的全帧图像可以被用作辅助图像。此外，控制单元180可控制图像补偿单元170来用辅助图像的像素值替换主图像的缺陷区域。
[0103]虽然第一个被拾取的全帧图像被用作主图像，但是也可将第二个全帧图像用作主图像也。
[0104]尽管图3示出了生成两个全帧图像，但是也可生成三个或者更多个全帧图像，并且使用所述三个或者更多全帧图像来用两个或者更多全帧图像的像素值替换一个全帧图像的缺陷区域。
[0105]如上所述，为了补偿一个全帧图像的缺陷区域，另一全帧图像被使用。然而，如随后的图4中所示，辅助图像可以不是全帧图像，但是反而可以是实时取景图像。
[0106]图4是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备100的操作的示图。
[0107]具体地讲，图4示出使用全尺寸实时取景图像来补偿一个全帧图像的缺陷区域的操作。
[0108]参照图4，如果实时 取景显示命令被用户输入，控制单元180控制图像拾取单元140和用户界面单元120执行小尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并发送小尺寸实时取景图像，并且用户界面单元120显示发送的小尺寸实时取景图像。
[0109]此后，如果半按快门被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120执行全尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并且发送全尺寸实时取景图像，并且用户界面单元120显示发送的全尺寸实时取景图像。
[0110]如果在输入半按快门之后输入快门，则控制单元180控制图像拾取单元140生成全帧图像。被拾取的全帧图像可被用作主图像，就在快门命令之前的全尺寸实时取景图像被用作辅助图像。此外，控制单元180可控制图像补偿单元170用辅助图像的像素值替换主图像的缺陷区域。
[0111]虽然在图4中一个全尺寸实时取景图像被用作辅助图像，但是两个或者更多个全尺寸实时取景图像可被使用。例如，就在快门命令之前的两个或者更多个全尺寸实时取景图像可被用作辅助图像。
[0112]此外，图4示出就在全帧图像之前的实时取景图像被使用。然而，如随后的图5中所示，在拾取全帧图像之后使用实时取景图像也是可行的。
[0113]图5是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备100的操作的示图。
[0114]具体地讲，图5示出了使用小尺寸实时取景图像来补偿一个全帧图像的缺陷区域的操作。
[0115]参照图5，如果实时取景显示命令被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120执行小尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并发送小尺寸实时取景图像，并且用户界面单元120显示发送的小尺寸实时取景图像。
[0116]此后，如果半按快门被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120执行全尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并发送全尺寸实时取景图像，并且用户界面单元120显示发送的全尺寸实时取景图像。
[0117]如果在输入半按快门之后输入快门，则控制单元180控制图像拾取单元140生成全帧图像。被拾取的全帧图像可以是主图像。[0118]此外，在生成全帧图像之后，控制单元180控制图像拾取单元140和用户界面单元120来执行小尺寸实时取景功能。在快门命令之后的小尺寸实时取景图像被用作辅助图像。此外，控制单元180可控制图像补偿单元170来用辅助图像的像素值替换主图像的缺陷区域。
[0119]虽然在图5中一个小尺寸实时取景图像被用作辅助图像，但是两个或者更多个小尺寸实时取景图像可以被使用。例如，在快门命令之后的两个或者更多个小尺寸实时取景图像可被用作辅助图像。
[0120]此外，在图4和图5中，在一个时间点(例如，就在快门命令之前或者之后)的实时取景图像被使用。然而，在快门命令之前的全尺寸实时取景图像和在快门命令之后的辅助尺寸实时取景图像可被用作辅助图像。
[0121]虽然图4和图5示出了在半按快门之后快门被输入的实施例，但是如随后的图6所示，快门可被输入而不需要半按快门。
[0122]图6是示出根据本发明总体发明构思的另一示例性实施例的图像拾取设备100的操作的示图。
[0123]具体地讲，图6示出使用小尺寸实时取景图像(以下，被称为“辅助图像”)来补偿一个全帧图像(以下，被称为“主图像”)的缺陷区域的操作。
[0124]参照图6，如果实时取景显示命令被用户输入，则控制单元180控制图像拾取单元140和用户界面单元120执行小尺寸实时取景功能。具体地讲，图像拾取单元140连续地拾取并发送小尺寸实时取景图像 ，并且用户界面单元120显示发送的小尺寸实时取景图像。
[0125]此后，如果快门被用户输入，则控制单元180控制图像拾取单元140生成全帧图像。被拾取的全帧图像是主图像，小尺寸实时取景图像被用作辅助图像。此外，控制单元180可控制图像补偿单元170来用辅助图像的像素值替换主图像的缺陷区域。
[0126]虽然在图6中一个小尺寸实时取景图像被用作辅助图像，但是两个或者更多个小尺寸实时取景图像可以被使用。此外，就在快门命令之前的小尺寸实时取景图像和在快门命令之后的辅助尺寸实时取景图像可被用作辅助图像。
[0127]图7至图9D是示出图1中示出的图像补偿单元的操作的示图。
[0128]参照图7，示出两个连续被拾取的图像。
[0129]这里，被拾取图像是作为全帧图像的主图像，辅助图像是用于补偿主图像的缺陷区域的辅助图像。
[0130]由于主图像和辅助图像具有共同位移，因此图像补偿单元170按主图像和辅助图像之间的位移来补偿辅助图像的位置。例如，如果在主图像和辅助图像之间存在在X轴上的多达“a”的位移，则可按在X轴上的“-a”来对辅助图像的位置进行校正。
[0131]此外，在主图像和辅助图像之间的位移可被感测单元150感测或者使用已知的位移感测算法被感测到。例如，如图8A至SC中所示，通过将辅助图像(图8A)映射到主图像(图8B)上，如图SC中所示，可发现在主图像和辅助图像之间的位移(a，b)。
[0132]此外，通过映射补偿的辅助图像和主图像，可计算出与主图像的缺陷区域的位置对应的辅助图像的像素值。将参照图9A至图9D对此进行描述。
[0133]参照图9A至图9D，图9A示出辅助图像，图9B示出主图像，图9C示出缺陷区域的位置，图9D示出被校正的主图像。[0134]参照图9C，缺陷区域的位置可对应于可由制造商提前提供的值，如果通过以上所描述的操作得知位移，则可计算出与主图像的缺陷区域的位置对应的辅助图像的像素位置。
[0135]因此，如图9D所示，可以通过计算出与计算出的辅助图像的像素位置对应的像素值并用计算出的像素值替换主图像的缺陷区域来对主图像进行校正。例如，如果主图像的缺陷区域对应于一个像素(X，y)，则计算出与主图像的像素(X，y)对应的辅助图像的像素位置(x’，y’)，并且用辅助图像的像素值(x’，y’ )替换主图像的像素值(x，y)。
[0136]虽然辅助图像的像素值按原样被用于主图像的缺陷区域，但是可使用与主图像的缺陷区域对应的辅助图像的像素和相邻像素来计算出所述像素值，在这种情况下，不仅主图像的缺陷区域而且主图像的缺陷区域的位置和相邻的像素可以被校正。
[0137]图10是示出图1的存储单元130的存储区域的示例的示图。
[0138]参照图10，存储单元130可包括:区域(O)，用于存储辅助图像；区域(1)，用于存储主图像；区域(2)，用于存储位置被补偿的辅助图像；区域(3)，用于存储图像拾取装置141的缺陷区域的位置；区域(4)，用于存储具有被补偿的缺陷区域的主图像。
[0139]用于存储辅助图像的区域(O)是用于存储由图像拾取单元140拾取的多个图像中的用于校正主图像的图像的区域，并且全帧图像、全尺寸实时取景图像和小尺寸实时取景图像可被存储在区域(O)中。区域(O)还可被划分为两个部分，以存储多个实时取景图像，诸如，第一图像、第三图像、第五图像等被存储在区域(O)的“奇数”部分，第二图像、第四图像、第六图像等被存储在区 域(O)的“偶数”部分。
[0140]用于存储主图像的区域(I)是用于存储由图像拾取单元140拾取为全帧图像的图像的区域，所述全帧图像被存储在区域(I)中。
[0141]用于存储位置被补偿的辅助图像的区域(2)是用于存储由图像补偿单元170移动了其位置的辅助图像的区域。
[0142]用于存储图像拾取装置141的缺陷区域的位置的区域(3)是用于存储图像拾取装置141的白色像素缺陷区域、图像拾取装置141的黑色像素缺陷区域和AF相差缺陷区域的位置信息的区域。
[0143]用于存储具有被补偿的缺陷区域的主图像的区域(4)是用于存储由图像补偿单元170补偿了其缺陷区域的主图像的区域。
[0144]图11是示出根据本发明总体发明构思的示例性实施例的执行图像补偿的方法的流程图。
[0145]参照图11，使用图像拾取装置141来连续地拾取具有共同位移的多个图像(操作S1110)。下面将参照图12来描述详细的图像拾取操作。
[0146]然后，存储多个被拾取的图像(操作S1120)。具体地讲，可根据拾取顺序或者拾取的类型(或者操作状态)来暂时地存储多个被拾取的图像。
[0147]然后，利用其他被拾取的图像来补偿所述多个被拾取的图像中的一个中的缺陷区域(操作S1130)。具体地讲，为了将多个图像中的一个图像(以下，被称为“辅助图像”)映射到其他图像(以下，被称为“主图像”)，辅助图像的位置按感测的位移被移动，通过将被移动的辅助图像映射到主图像来计算出与主图像的缺陷区域的位置对应的辅助图像的像素值，并且用计算出的辅助图像的像素值来替换主图像的缺陷区域。[0148]图12是详细地示出如图11中所示的图像拾取操作SlllO的流程图。
[0149]参照图12，首先显示实时取景图像(操作S1210)。具体地讲，实时取景图像可经由用户的实时取景显示命令被拾取和显示。
[0150]其后，如果图像拾取命令被输入(操作S1220)，则就在图像拾取命令之前的实时取景图像被存储为辅助图像(操作S1230)。
[0151]然后，图像拾取操作被执行以生成全帧图像(操作S1240)。通过该操作拾取的图像被存储为主图像。
[0152]虽然已参照图12对如图6中示出的图像拾取操作进行了描述，但是可通过如图3至图5中示出的图像拾取操作来拾取多个图像。
[0153]如上所述，根据依照本发明总体发明构思的示例性实施例的执行图像补偿的方法，可通过连续地拾取具有共同位移的多个图像并替换另一图像的像素值以对应于一个图像中的缺陷区域，来校正由于与图像传感器对应的缺陷而引起的图像的画面质量的恶化。如图10或者图11中示出的执行图像拾取的方法可由具有图1的配置的图像拾取设备100来执行，但不限于此。
[0154]本发明总体发明构思(诸如如上所述的执行图像补偿的方法)还可被体现为计算机可读介质上的计算机可读代码。计算机可读介质可包括计算机可读记录介质和计算机可读传输介质。计算机可读记录介质是任何可以存储其后可以由计算机系统读取的数据的数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可以分布在联网的计算机系统上，从而以分布 式的方式存储和执行计算机可读代码。计算机可读传输介质可传输载波或者信号(例如，通过因特网的有线或无线数据传输)。此外，用于完成本发明总体发明构思的功能程序、代码和代码段可容易地由与本发明总体发明构思相关的领域的程序员来解释。
[0155]虽然已显示和描述了本发明总体发明构思的一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明总体发明构思的原理和精神的情况下，可以对这些实施例进行修改。
【权利要求】
1.一种图像拾取设备，包括: 图像拾取单元，使用图像拾取装置来连续地拾取在其间具有共同位移的多个图像； 存储单元，存储图像拾取装置的缺陷区域的位置； 图像补偿单元，利用多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
2.根据权利要求1所述的图像拾取设备，其中: 所述多个被拾取的图像包括第一图像和第二图像， 图像补偿单元根据共同位移来补偿第一图像，计算出与第二图像的缺陷区域对应的被补偿的第一图像的像素值，并用计算出的像素值来替换第二图像的缺陷区域。
3.根据权利要求1所述的图像拾取设备，其中， 所述多个被拾取的图像中的每个是通过快门操作的全帧图像。
4.根据权利要求1所述的图像拾取设备，其中: 所述多个被拾取的图 像中的至少一个是通过快门操作的全帧图像， 所述多个被拾取的图像中的其他图像是用于实时取景显示的实时取景图像。
5.根据权利要求4所述的图像拾取设备，其中，实时取景图像是当释放快门时显示的小尺寸实时取景或者是当输入半按快门时显示的全方位实时取景。
6.根据权利要求4所述的图像拾取设备，其中，实时取景图像是就在拾取全帧图像之前拾取的图像。
7.根据权利要求4所述的图像拾取设备，其中，实时取景图像是在拾取全帧图像之后拾取的图像。
8.根据权利要求1所述的图像拾取设备，还包括: 感测单元，感测图像拾取设备的移动； 光学图像稳定器单元，按预设位移来移动图像拾取设备的图像拾取方向，从而如果没有感测到图像拾取设备的移动，则所述多个被拾取的图像之间存在共同位移。
9.根据权利要求1所述的图像拾取设备，还包括: 用户界面单元，显示由图像拾取单元拾取的实时取景图像。
10.根据权利要求9所述的图像拾取设备，还包括: 控制单元，如果在显示实时取景的同时输入快门命令，则在将正在显示的实时取景图像存储为第一图像之后，通过快门操作来控制图像拾取单元拾取全帧图像。
11.根据权利要求1所述的图像拾取设备，其中， 存储单元存储图像拾取装置的白色像素缺陷区域、图像拾取装置的黑色像素缺陷区域和AF相差缺陷区域中的至少一个的位置。
12.—种在图像拾取设备中执行图像补偿的方法，所述方法包括: 利用图像拾取装置来连续地拾取和存储在其间具有共同位移的多个图像； 利用所述多个被拾取的图像中的一个图像来补偿所述多个被拾取的图像中的另一个图像中的缺陷区域。
13.根据权利要求12所述的执行图像补偿的方法，其中: 所述多个被拾取的图像包括第一图像和第二图像， 补偿的步骤包括:根据共同位移来移动第一图像，计算出与第二图像的缺陷区域对应的被移动的第一图像的像素值；用计算出的像素值来替换第二图像的缺陷区域。
14.根据权利要求20所述的执行图像补偿的方法，其中， 拾取和存储的步骤包括:如果在显示实时取景的同时输入快门命令，则在将正在显示的实时取景图像存储为第一图像之后，通过快门操作来拾取和存储全帧图像。
15.根据权利要求12所述的执行图像补偿的方法，其中， 缺陷区域是图 像拾取装置的白色像素缺陷区域、图像拾取装置的黑色像素缺陷区域和AF相差缺陷区域中的至少一个。
【文档编号】H04N5/232GK104025565SQ201280062151
【公开日】2014年9月3日 申请日期:2012年11月29日 优先权日:2011年12月16日
【发明者】裴点汉, 金基镐, 李濬熙, 崔奎烈 申请人:三星电子株式会社