摄像装置及其控制方法以及计算机可读记录介质的制作方法
【专利摘要】摄像装置包括摄像单元和图像处理单元，其中，摄像单元以设置于摄像装置的第一曝光时间捕获第一图像以及以根据照明的闪烁频率确定的第二曝光时间捕获第二图像，图像处理单元通过使用第一图像和第二图像来去除闪烁。
【专利说明】
摄像装置及其控制方法以及计算机可读记录介质
技术领域
[0001]一个或多个示例性实施方式涉及摄像装置、控制摄像装置的方法以及存储执行控制摄像装置的方法的计算机程序代码的计算机可读记录介质。
【背景技术】
[0002]摄像装置通过使成像设备以曝光时间曝光而生成成像信号。成像设备可通过快门仅以曝光时间曝光。全局快门系统和滚动快门系统被用于摄像装置。
[0003]全局快门系统同时重置整个屏幕并且开始曝光。虽然全局快门系统不会引起闪烁，但是需要传感器中单独的存储空间，导致效率降低和成本增加。
[0004]滚动快门系统控制以行为单位的曝光。虽然滚动快门系统不需要传感器中单独的存储空间，但是可能引起果冻效应。即，在屏幕的上部和下部可能出现视差。
[0005]当摄像装置在使用交流电的照明下捕获主题时，照明的亮度随时间而变化。此时，照明的亮度的频率与交流电的频率成正比。例如，韩国使用具有1/60秒频率的交流电，当主题是在使用这种交流电的照明下拍摄时，照明的亮度根据与1/60秒成正比的频率而变化。在使整个屏幕曝光的全局快门系统的情况下，整个屏幕的亮度变化归因于照明的亮度变化。因此，在全局快门系统的情况下，屏幕中不会发现闪烁。相反，在滚动快门系统的情况下，照明的亮度在屏幕中不均匀地变化。例如，条纹可根据照明亮度的变化出现在所捕获图像上。屏幕亮度根据照明亮度的变化而不均匀的现象称为闪烁。
[0006]如果出现闪烁，则所捕获图像的亮度根据区域而不同，因此所捕获图像的质量降低。
【发明内容】
[0007]—个或多个示例性实施方式旨在当自由改变曝光时间时，在使用滚动快门系统的摄像装置中，从所捕获图像中去除闪烁。
[0008]—个或多个示例性实施方式旨在当自由改变曝光时间时，在使用滚动快门系统的电子快门的摄像装置中，从所捕获图像中去除闪烁。
[0009]一个或多个示例性实施方式使得可在安装有小型摄像单元的摄像装置中，在手动模式下自由地改变曝光时间和捕获图像。
[0010]其他的方面将在以下描述中部分地阐述，并部分地通过这些描述而显而易见，或可通过实践本示例性实施方式而习得。
[0011]根据一个或多个示例性实施方式，摄像装置包括摄像单元和图像处理单元，其中，摄像单元以设置于摄像装置的第一曝光时间捕获第一图像以及以根据照明的闪烁频率确定的第二曝光时间捕获第二图像，图像处理单元通过使用第一图像和第二图像去除闪烁。
[0012]第二曝光时间可以是N/2f，其中，N是自然数，f是用于照明的交流电的频率。
[0013]摄像单元可从预览图像中捕获第二图像。
[0014]第二图像可以是与捕获第一图像之前预览图像的最后一帧对应的图像。
[0015]预览图像的帧频可根据照明的闪烁频率确定。
[0016]当输入快门释放信号时，摄像单元可连续地捕获第一图像和第二图像。
[0017]摄像单元可操作为控制以行为单位进行曝光的电子快门系统。
[0018]图像处理单元可通过以下方式来去除闪烁:通过计算第一图像的像素值与第二图像的像素值之比来确定校正增益；以及将所确定的校正增益应用于第一图像的像素值。
[0019]在确定校正增益之前，图像处理单元可:通过将第一图像的像素值与第二图像的像素值进行比较，在第一图像中确定未出现闪烁的第一区域;计算第一图像与第二图像之间的第一区域的像素值的差异；以及通过将第一区域的像素值的差异应用于从由第一图像和第二图像组成的组中选择的至少之一，去除第一图像的像素值与第二图像的像素值之间差异的偏移。
[0020]图像处理单元可针对每个颜色分量通过计算像素值之比来确定校正增益；以及针对每个颜色分量，将校正增益应用于第一图像的像素值。
[0021 ]图像处理单元可针对第一图像和第二图像的每个块去除闪烁，每个块可包括多个像素行。
[0022]图像处理单元可针对第一图像和第二图像的每个像素去除闪烁。
[0023]图像处理单元可同时执行校正透镜阴影的过程与去除闪烁的过程。
[0024]第二图像的分辨率可低于第一图像的分辨率。
[0025]摄像单元可在手动模式下捕获第一图像，第一曝光时间可由使用者设置。
[0026]摄像单元可连续地捕获多个第一图像，图像处理单元可通过使用单个第二图像从多个第一图像中去除闪烁。
[0027]图像处理单元可通过将第一图像与第二图像进行比较来确定是否出现闪烁，当确定出现闪烁时执行去除闪烁的过程。
[0028]根据一个或多个示例性实施方式，控制摄像装置的方法包括:以设置于摄像装置的第一曝光时间捕获第一图像；以根据照明的闪烁频率确定的第二曝光时间捕获第二图像;以及通过使用第一图像和第二图像去除闪烁。
[0029]第二曝光时间可以是N/2f，其中，N是自然数，f是用于照明的交流电的频率。
[0030]捕获第二图像可包括从预览图像中捕获第二图像。
[0031]第二图像可以是与捕获第一图像之前预览图像的最后一帧对应的图像。
[0032 ]预览图像的帧频可根据照明的闪烁频率确定。
[0033]捕获第一图像以及捕获第二图像可通过输入快门释放信号时连续地捕获第一图像和第二图像来执行。
[0034]摄像装置可操作为控制以行为单位进行曝光的电子快门系统。
[0035]去除闪烁可包括:通过计算第一图像的像素值与第二图像的像素值之比确定校正增益；以及将所确定的校正增益应用于第一图像的像素值以去除闪烁。
[0036]在确定校正增益之前，去除闪烁还可包括:通过将第一图像的像素值与第二图像的像素值进行比较，确定第一图像中未出现闪烁的第一区域;计算第一图像与第二图像之间的第一区域的像素值的差异；以及通过将第一区域的像素值的差异应用于从由第一图像和第二图像组成的组中选择的至少之一，去除第一图像的像素值与第二图像的像素值之间差异的偏移。
[0037]确定校正增益可包括:针对每个颜色分量通过计算像素值之比确定校正增益；以及去除闪烁可包括:针对每个颜色分量，将校正增益应用于第一图像的像素值。
[0038]去除闪烁可针对第一图像和第二图像的每个块执行，每个块可包括多个像素行。
[0039]去除闪烁可针对第一图像和第二图像的每个像素执行。
[0040]去除闪烁可与校正透镜阴影的过程同时执行。
[0041 ]第二图像的分辨率可低于第一图像的分辨率。
[0042]捕获第一图像可以在手动模式下执行，第一曝光时间可由使用者设置。
[0043]捕获第一图像可包括连续地捕获多个第一图像；以及确定是否出现闪烁和去除闪烁可通过使用单个第二图像来对多个第一图像执行。
[0044]该方法还可包括通过将第一图像与第二图像进行比较来确定是否出现闪烁；以及当确定出现闪烁时可执行闪烁的去除。
[0045]根据一个或多个示例性实施方式，提供了计算机可读记录介质，其存储有计算机程序代码，当计算机程序代码被处理器读取和执行时，处理器执行控制摄像装置的方法。
【附图说明】
[0046]通过以下结合附图对示例性实施方式的描述，这些和/或其他方面将变得明显以及更容易理解，其中:
[0047]图1是根据示例性实施方式的摄像装置的方框图；
[0048]图2是示出了出现闪烁的图像的图；
[0049]图3和图4是描述闪烁如何出现的图；
[0050]图5是根据示例性实施方式，在图像处理单元中去除闪烁的过程的流程图；
[0051 ]图6是根据示例性实施方式，控制摄像装置的方法的流程图；
[0052]图7是根据示例性实施方式，捕获第一图像和第二图像的方法的图；
[0053]图8是根据另一示例性实施方式，捕获第一图像和第二图像的方法的图；
[0054]图9是根据示例性实施方式，描述去除闪烁的过程的图；
[0055]图10是根据示例性实施方式，示出了针对每行的第一图像的像素值、第二图像的像素值以及校正增益的图；
[0056]图11是根据示例性实施方式，描述去除第一图像与第二图像之间的校正偏移的过程的图；
[0057]图12是根据示例性实施方式，控制摄像装置的方法的流程图；
[0058]图13是根据另一示例性实施方式的图像处理单元的方框图；
[0059]图14是根据示例性实施方式，控制摄像装置的方法的流程图；以及
[0060]图15是根据示例性实施方式的摄像装置的配置的方框图。
【具体实施方式】
[0061 ]现在将详细参考示例性实施方式，在附图中示出示例性实施方式的实施例，其中，全文中相同的附图标记指代相同的元件。在这方面，本申请中的示例性实施方式可具有不同形式，并且不应被理解为限于本文中阐述的描述。相应地，通过参照附图，以下描述的示例性实施方式仅仅是为了说明本申请的诸方面。
[0062]将简要描述本文中使用的术语，然后详细描述示例性实施方式。
[0063]作为本文所使用的术语，根据功能尽可能选择了广泛使用的通用术语;然而，这些术语可根据本领域技术人员的意图、先例或新技术的出现而改变。在一些情况下，有的术语也可能是由
【申请人】随意选择的，并且将在对示例性实施方式的描述中的相应部分详细描述这些术语的含义。因此，本文中所使用的术语不是简单的术语，而应当根据其含义和示例性实施方式的全部描述来限定。
[0064]应理解的是，除非另有限定，否则在本文中使用术语“包括(comprise)”、“包括(include)”以及“具有(have)”时，表示存在所陈述的元件但不排除存在或添加其他元件。如本文所使用的，术语“单元(unit)”指代诸如FPGA或ASIC的软件部件或硬件部件，并且“单元”执行某些任务。然而，“单元”不应该被理解为限于软件或硬件。“单元”可配置成驻留在可寻址存储介质上以及配置成执行一个或多个处理程序。因此，“单元”可包括，举例来说，部件(诸如软件部件、面向对象的软件部件、类部件和任务部件)、过程、功能、属性、程序、子程序、程序代码片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表格、数组以及变量。在部件和“单元”中提供的功能可以合并成更少的部件和单元或进一步划分成额外的部件和“单元”。
[0065]下面将参照附图详细描述示例性实施方式以使本领域普通技术人员可容易地实现示例性实施方式。然而，示例性实施方式可以以许多不同形式体现，而不应该被理解为限于本文阐述的实施方式。此外，为清楚描述示例性实施方式，在图中将省略与示例性实施方式的描述无关的部分，在整个说明书中，相同的附图标记将表示相同的元件。
[0066]图1是根据示例性实施方式的摄像装置100的方框图。
[0067]根据本示例性实施方式的摄像装置100可包括摄像单元110和图像处理单元120。
[0068]摄像装置100可以以多种形式实现，诸如照相机、移动电话、智能电话、平板个人电脑(PC)、笔记本电脑以及摄录像机。
[0069]摄像单元110可包括镜头、光圈、成像设备等等。摄像单元110可汇聚入射光以及执行光电转换以生成成像信号。根据实施方式，摄像单元110可用设置于摄像装置100的第一曝光时间捕获第一图像以及用根据照明的闪烁频率确定的第二曝光时间捕获第二图像。第一图像和第二图像的捕获顺序可根据实施方式不同地确定。
[0070]图像处理单元120可通过使用第一图像和第二图像去除闪烁。图像处理单元120可从第一图像中去除闪烁。图像处理单元120还可附加地对第一图像执行图像处理(诸如噪声去除、插值、镜头阴影校正以及畸变校正)，生成存储所处理的第一图像的图像文件，以及在存储器(未示出)中存储该图像文件。
[0071 ]根据实施方式，摄像单元110可使用滚动快门系统。
[0072]根据实施方式，摄像单元110可包括使用前帘和后帘的焦平面快门。焦平面快门可通过调节前帘运行开始与后帘运行开始之间的时间差来调节曝光时间。根据实施方式，摄像单元110可通过调节前帘与后帘的时间差，用第一曝光时间捕获第一图像以及用第二曝光时间捕获第二图像。
[0073]根据另一示例性实施方式，摄像单元110可使用具有滚动快门系统的电子快门。根据本示例性实施方式的具有滚动快门系统的电子快门可针对每行重复重置操作、曝光操作以及读出操作。
[0074]图2是示出了出现闪烁的图像的图。
[0075]在摄像单元110使用滚动快门系统的情况下，闪烁可在所捕获图像中出现，如图2中所示。当出现闪烁时，条纹可出现于所捕获图像中，如图2中所示。
[0076]图3和图4是描述闪烁如何出现的图。
[0077]如图3中所示，交流电可具有带有预定频率的正弦波形。例如，韩国使用具有60Hz频率的交流电，日本使用具有50Hz频率的交流电。
[0078]使用这种交流电运行的照明具有交流电频率的两倍频率。照明使用经整流的交流电。在交流电是全波整流的情况下，输出如图3中所示的照明波形。由于从照明输出的光下亮度的变化，反映这种波形。
[0079]在这种照明下，当曝光时间被设置成N/2f(其中，N为自然数，f为交流电的频率)时，在所捕获图像中不会出现闪烁。如图4中所示，当曝光时间Tl设置成l/2f时，在照明闪烁的一个周期期间，成像设备的各个行均被曝光。由于在各行中照明的光强积分值彼此相等，因此不会出现闪烁。如图4中所示，由于每行的曝光时间总是l/2f，因此即使当读出周期TR分别介于各行的曝光时间之间，也不会在所捕获图像中出现闪烁。
[0080]然而，当曝光时间设置成不等于N/2f的值时，闪烁可出现在所捕获图像中。例如，如图4中所示，当曝光时间T2设置成小于l/2f时，由于在各行中照明的光强积分值彼此分别不同，因此在所捕获图像中会出现闪烁。这种不适经常出现在具有滚动快门系统的电子快门中。根据示例性实施方式，出现在用第一曝光时间(为任意曝光时间)捕获的第一图像中的闪烁通过使用以N/2f的第二曝光时间捕获的第二图像而被去除。
[0081]第一曝光时间可由使用者设置或可由摄像装置100自动地设置。当图像是在手动模式下捕获时，使用者可直接设置第一曝光时间或可通过调节光圈值、亮度值等间接设置第一曝光时间。当图像是在自动模式下捕获时，摄像装置100的控制器(未示出)等可根据环境亮度、由使用者设置的摄像模式、由使用者设置的摄像设定值等设置第一曝光时间。第一曝光时间可不考虑根据交流电频率而定的照明的闪烁频率来确定。
[0082]第二曝光时间可根据照明的闪烁频率而确定。根据实施方式，第二曝光时间被确定为N/2f。
[0083]图5是根据示例性实施方式，在图像处理单元120中去除闪烁的过程的流程图。
[0084]当输入第一图像和第二图像时，图像处理单元120计算用于从第一图像和第二图像中校正闪烁的校正增益(S502)。
[0085]根据实施方式，图像处理单元120可通过计算第一图像的亮度值与第二图像的亮度值之比来计算校正增益。在这种情况下，第一图像和第二图像可用YCbCr格式来表示并且亮度值是Y值。根据实施方式，可针对每个像素计算第一图像的亮度值与第二图像的亮度值之比以及校正增益。根据另一示例性实施方式，可针对每个块计算第一图像的亮度值与第二图像的亮度值之比以及校正增益。
[0086]根据另一示例性实施方式，图像处理单元120可通过将第一图像的R值、G值以及B值与第二图像的R值、G值以及B值进行比较来计算R值、G值以及B值中每一个的校正增益。图像的每个像素的像素值通过限定红色分量值、绿色分量值以及蓝色分量值来限定。红色分量值、绿色分量值以及蓝色分量值分别用R、G以及B代表。根据实施方式，R值、G值以及B值的比较以及校正增益的计算可针对每个像素或每个块而执行。
[0087]图像处理单元120可通过使用校正增益来去除闪烁(S504)。根据实施方式，图像处理单元120可通过将校正增益乘以第一图像的每个像素或每个块来去除闪烁。
[0088]根据实施方式，校正增益可乘以第一图像的每个像素的亮度值(例如，YCbCr图像的Y值)。
[0089]根据另一示例性实施方式，校正增益可乘以第一图像的每个像素的R值、G值以及B值。
[0090]图6是根据示例性实施方式，控制摄像装置的方法的流程图。
[0091]摄像装置可用第一曝光时间捕获第一图像以及用第二曝光时间捕获第二图像(S602和S604)。第一图像和第二图像的捕获顺序不限于参照图6所描述的示例，而可根据实施方式被不同地确定。第一曝光时间是设置于摄像装置的曝光时间。第一曝光时间可由使用者直接或间接设置、或可由摄像装置自动地设置。第二曝光时间可以是N/2f。
[0092]摄像装置可通过使用第一图像和第二图像来去除闪烁(S606)。例如，可通过使用第一图像和第二图像来计算用于去除闪烁的校正增益，以及可通过将校正增益乘以第一图像的每个像素来从第一图像去除闪烁。
[0093]图7是根据示例性实施方式，捕获第一图像和第二图像的方法的图。
[0094]根据实施方式，当在预览模式中输入快门释放信号S2以及图像被捕获时，第二图像可以是与在预览模式的连续帧中捕获第一图像之前的最后一帧对应的图像。此外，预览模式的帧频可根据照明的闪烁频率来确定。根据实施方式，帧频可以是2f/N。预览图像的最后一帧可暂时存储在摄像装置的主存储器中，并且图像处理单元120可使用暂时存储在主存储器中的预览图像的最后一帧作为第二图像。
[0095]因此，当输入快门释放信号S2时，图像处理单元120可捕获预览图像的最后一帧作为第二图像，以及在捕获第二图像之后立即捕获第一图像。
[0096]当完成第一图像的捕获时，图像处理单元120可从第一图像去除闪烁以及生成存储所处理的第二图像的图像文件。
[0097]图8是根据另一示例性实施方式，捕获第一图像和第二图像的方法的图。
[0098]根据另一示例性实施方式，当输入快门释放信号S2时，第一图像和第二图像可被连续捕获。第一图像可用当前设置于摄像装置的第一曝光时间来捕获，第二图像可用由照明的闪烁频率确定的第二曝光时间来捕获。第一图像和第二图像的捕获顺序可根据实施方式不同地确定。
[0099]图9是根据示例性实施方式，描述去除闪烁的过程的图。
[0100]根据实施方式，可针对每个块计算校正增益和执行去除闪烁的过程。块可包括一行或多行，如图9中所示。如图9中所示，行可以是在与滚动快门移动方向垂直的方向上排列的行L1、L2、L3、…、Ln。例如，如图9中所示，块BLOCKl、块BL0CK2以及块BL0CK3中的每一个可包括两行。块BLOCK 1、块BL0CK2以及块BL0CK3中的每一个中所包括的行的数量可以根据实施方式而变化。
[0101]根据本示例性实施方式，图像处理单元120可针对每个块比较第一图像与第二图像。根据实施方式，图像处理单元120可针对每个块通过使用每个块的像素值的平均值，来比较第一图像与第二图像。
[0102]在滚动快门的情况下，闪烁可以以行的形式出现，闪烁可在同一行中大体上相似地出现。因此，根据在对包括一行或多行的每个块执行闪烁去除的本示例性实施方式，可减少用于去除闪烁的吞吐量，得到优秀的闪烁去除性能。
[0103]图10是示出了根据示例性实施方式，针对每行的第一图像和第二图像的像素值以及校正增益的图。
[0104]根据实施方式，当第一图像的像素值与第二图像的像素值相互比较时，可输出如图10中所示的由第一图像中出现的闪烁产生的波形。参照图10的曲线图，可以看出第一图像的像素值相对于第二图像的像素值随预定频率上升和下降。就此而言，当第二图像的像素值除以第一图像的像素值时，具有预定频率正弦波形的校正增益被计算出。通过将校正增益乘以第一图像的像素值可从第一图像中去除闪烁。
[0105]根据实施方式，可针对每个块进行校正增益的计算过程以及可针对每个像素进行将校正增益乘以第一图像的像素值的过程。
[0106]根据另一示例性实施方式，第二图像可具有比第一图像的分辨率低的分辨率。在这种情况下，根据实施方式，在第二图像的分辨率增加之后，第一图像可与第二图像相比。根据另一示例性实施方式，在从第二图像中发现与第一图像的每个像素对应的像素之后，第一图像可与第二图像相比。
[0107]图11是根据示例性实施方式，描述去除第一图像与第二图像之间校正偏移的过程的图。
[0108]根据实施方式，图像处理单元120可从第一图像中检测未出现闪烁的区域，从未出现闪烁的区域计算第一图像和第二图像之间的校正偏移，去除校正偏移的影响以及计算校正增益。例如，如图11中所示，当在行LI和行L2中出现闪烁、在行L3和行L4中未出现闪烁以及在行L5和行L6中出现闪烁时，可通过使用未出现闪烁的行L3和行L4的像素值计算校正偏移。
[0109]图像处理单元120可通过将第一图像的像素值与第二图像的像素值进行比较来提取未出现闪烁的区域。例如，当第一图像的亮度值和第二图像的亮度值之间的差异等于或小于参考值时，图像处理单元120可确定在相应区域中没有出现闪烁。
[0110]图像处理单元120可通过计算在第一区域中第一图像的像素值与第二图像的像素值之间的差异来计算校正偏移。
[0111]根据实施方式，可针对整个图像计算校正偏移。即，针对整个第一图像可只计算一个值。例如，校正偏移可被确定为第一图像的像素的各个像素值之间的差异的平均值。
[0112]根据另一示例性实施方式，可针对每个块计算校正偏移。例如，图像处理单元120可使用第一区域中在每个块中计算的校正偏移，以及可通过使用插值法等估算在不同于第一区域的其它区域中的校正偏移。
[0113]根据另一示例性实施方式，可针对每个像素计算校正偏移。例如，图像处理单元120可将在每个块中计算的校正偏移限定为第一区域的校正偏移，以及可通过使用插值法等估算在不同于第一区域的其它区域中的校正偏移。
[0114]根据实施方式，在第一区域中可通过从第二图像的像素值中减去第一图像的像素值来计算校正偏移。
[0115]在校正偏移被应用于第一图像的每个像素或第二图像的每个像素之后，图像处理单元120可通过计算第一图像的像素的各个像素值之比来计算校正增益。例如，图像处理单元120可通过将第二图像的像素的各个像素值除以第一图像的像素的各个像素值来计算校正增益。根据实施方式，可针对每个像素计算校正增益。
[0116]根据另一示例性实施方式，可针对每个块计算校正增益。块可包括一行或多行。当针对每个块计算校正增益时，图像处理单元120可通过使用每个块内包括的像素的像素值的平均值来计算针对每个块的校正增益。
[0117]根据实施方式，可针对R值、G值以及B值中的每一个计算校正偏移和校正增益。此夕卜，可针对每个像素计算校正偏移和校正增益。在这种情况下，可使用下面的方程1、方程2以及方程3来计算闪烁校正的R值、G值以及B值。
[0118]R’(x，y)=R(x，y)*Kl(x，y)+Cl(x，y)(方程I)
[0119]G，(x，y)=G(x，y)*K2(x，y)+C2(x，y)(方程2)
[0120]B，(x，y)=B(x，y)*K3(x，y)+C3(x，y)(方程3)
[0121]以^7)、6(^50和以^50分别代表在每个像素(^50的闪烁校正之前的对直、6值和8值，以及1?’(^7)、6’(^7)和8’(^7)分别代表在每个像素(^7)的闪烁校正之后的对直、6值和B值。KI (X，y)、K2 (X，y)和K3 (X，y)分别代表针对每个像素的R值、G值和B值的校正增益，以及Cl(X，y)、C2(X，y)和C3(x,y)分别代表针对每个像素的R值、G值和B值的校正偏移。
[0122]根据实施方式，可相对于亮度值计算校正偏移和校正增益。此外，可针对每个像素计算校正偏移和校正增益。当第一图像和第二图像是用YCbCr格式表示时，可相对于Y值计算校正偏移和校正增益。可通过使用下面的方程4来计算闪烁校正的Y值。
[0123]Y’(x，y)=Y(x，y)*K4(x，y)+C4(x，y)(方程4)
[0124]Y(x，y)代表在像素(x，y)的闪烁校正之前的Y值，以及Y’(x，y)代表在像素(x，y)的闪烁校正之后的Y值。K4(x，y)代表针对每个像素的Y值的校正增益，以及C4(x，y)代表针对Y值的校正偏移。
[0125]根据实施方式，可针对R、G以及B颜色中的每一个计算校正偏移和校正增益。此外，可针对每行计算校正偏移和校正增益，或可针对包括多行的每个块计算校正偏移和校正增益。例如，可通过使用每行或每个块的R值的平均值来计算每行或每个块针对R的校正增益和校正偏移。用类似于R的方式，可通过使用每行或每个块的G值和B值的平均值来针对G和B计算校正增益和校正偏移。根据本示例性实施方式，可通过使用针对每行或每个块计算的校正增益和校正偏移来计算在每个像素中校正的R值、G值以及B值。在这种情况下，可使用下面的方程5、方程6以及方程7来计算闪烁校正的R值、G值以及B值。
[0126]R’(x，y)=R(x，y)*Kl(y)+Cl(y)(方程5)
[0127]G，(x，y)=G(x，y)*K2(y)+C2(y)(方程6)
[0128]B，(x，y)=B(x，y)*K3(y)+C3(y)(方程7)
[0129]以^50、6(1，50和以1，50分别代表在每个像素(^50的闪烁校正之前的对直、6值和8值，以及1?’(^7)、6’(^7)和8’(^7)分别代表在每个像素(^7)的闪烁校正之后的对直、6值和糾直。1(1(7)、1(2(7)和1(3(7)分别代表针对每行或每个块的1?、6和8的校正增益，以及(:1(y)、C2(y)和C3(y)分别代表针对每行或每个块的R、G和B的校正偏移。
[0130]根据实施方式，可相对于亮度值计算校正偏移和校正增益。此外，可针对每行计算校正偏移和校正增益，或可针对包括多行的每个块计算校正偏移和校正增益。例如，可通过使用每行或每个块的亮度值的平均值来计算每行或每个块的校正增益和校正偏移。当第一图像和第二图像是用YCbCr格式表示时，可相对于Y值计算校正偏移和校正增益。可通过使用下面的方程8计算闪烁校正的Y值。
[0131]Y’(x，y)=Y(x，y)*K4(y)+C4(y)(方程 8)
[0132]Y(x，y)代表在像素(x，y)的闪烁校正之前的Y值，以及Y’(x，y)代表在像素(x，y)的闪烁校正之后的Y值。K4(y)代表针对每个像素的Y值的校正增益，以及C4(y)代表针对Y值的校正偏移。
[0133]根据本示例性实施方式，在由第一图像和第二图像之间捕获时间的时间差引起的图像的像素值之间的差异被校正偏移抵偿之后，计算校正增益，还可去除由第一图像和第二图像之间的时间差产生的变量。因此，根据本示例性实施方式，可避免第一图像的数据在闪烁校正过程期间畸变。
[0134]根据实施方式，在检测未出现闪烁的区域时，图像处理单元120可通过使用交流电的频率以及读出的帧频估算由一个帧中的闪烁生成的斑点数，然后使用斑点数来检测未出现闪烁的区域。例如，当不清楚预定区域中是否出现闪烁时，根据估算的斑点数，可确定在相应区域中是否出现闪烁。当估算的斑点数是五个或六个并且当前检测的由闪烁引起的斑点数是四个时，可确定闪烁已在不清楚是否出现闪烁的区域中出现。可通过使用以下方程
9、方程10以及方程11计算斑点数。
[0135]tl=N/2f(方程 9)
[0136]t2 = l/S(方程 10)
[0137]站点数=七2八1 = 2"(淋5)(方程11)
[0138]其中，N是自然数，f是交流电的频率以及S是每秒钟读出帧数。
[0139]图12是根据示例性实施方式，控制摄像装置的方法的流程图。
[0140]控制摄像装置的方法从第一图像中确定未出现闪烁的第一区域(S1202)。可通过将第一图像的亮度值与第二图像的亮度值进行比较来确定未出现闪烁的第一区域。例如，当第一图像的亮度值和第二图像的亮度值之间的差异等于或小于参考值时，可确定第一区域是未出现闪烁的区域。
[0141]控制摄像装置的方法通过计算第一区域的亮度值之间的差异来计算校正偏移(S1204)。
[0142]控制摄像装置的方法从第一图像和第二图像中去除校正偏移(S1206)。例如，可通过从第一图像的每个像素的像素值和第二图像的每个像素的像素值中减去校正偏移来去除校正偏移。
[0143]针对从其中去除了校正偏移的第一图像和第二图像，控制摄像装置的方法通过计算第一图像的像素值与第二图像的像素值之比来计算校正增益(S1208)。例如，可通过将去除了校正偏移的第二图像的像素值除以去除了校正偏移的第一图像的像素值来计算校正增益。
[0144]如上所述，可针对每个像素或每个块来计算校正偏移和校正增益。此外，如上所述，可相对于YCbCr格式中的Y值计算校正偏移和校正增益，或可相对于RGB格式中的R值、G值以及B值中的每一个计算校正偏移和校正增益。
[0145]控制摄像装置的方法通过使用校正偏移和校正增益从第一图像中去除闪烁(S1210)。去除闪烁的过程可通过使用如上所述的方程I至方程8来执行。
[0146]图13是根据另一示例性实施方式的图像处理单元120a的方框图。
[0147]该图像处理单元120a可包括镜头阴影校正单元1310和畸变校正单元1320。
[0148]镜头阴影校正单元1310校正由镜头引起的镜头阴影。镜头阴影是在所捕获图像中出现的圆形亮度变化。在镜头阴影中，图像边缘部分处的亮度比其中心部分处的亮度降低得更多。当镜头的直径减小时，由于照相机模块的尺寸减小以及主光线入射角的增大导致镜头阴影倾向于变得更加严重。此外，随着传感器的分辨率增加以及相对光圈(f数)增加，导致镜头阴影倾向于变得更加严重。镜头阴影校正单元1310校正第一图像和第二图像的像素的各个像素值从而校正镜头阴影。例如，镜头阴影校正单元1310在均以YCbCr格式表示的第一图像和第二图像中校正Y值。
[0149]畸变校正单元1320校正由镜头引起的图像畸变。在捕获图像时，畸变可由镜头的色差引起。畸变校正单元1320可通过移动所捕获图像的每个像素或调节每个像素的像素值来校正所捕获图像中的镜头畸变。
[0150]根据实施方式，镜头阴影校正单元1310同时进行闪烁校正与镜头阴影校正。该镜头阴影校正单元1310可使用查找表或矩阵形式的校正函数来校正镜头阴影。此时，通过校正函数中用于闪烁校正的映射处理，镜头阴影校正单元1310可同时进行镜头阴影校正和闪烁校正。例如，镜头阴影校正单元1310可在用于镜头阴影校正的矩阵的每个变量中反映出校正偏移和校正增益二者，然后计算矩阵的矩阵积和第一图像的像素的各个像素值。
[0151]根据另一示例性实施方式，畸变校正单元1320进行镜头畸变校正和闪烁校正。当畸变校正单元1320执行移动像素的过程和调节各个像素的像素值的过程时，畸变校正单元1320可同时执行用于闪烁校正的过程与调节像素的像素值的过程。例如，当通过使用查找表或矩阵形式的校正函数来进行调节第一图像的像素的各个像素值的过程时，用于闪烁校正的过程可反映在校正函数中。例如，畸变校正单元1320可在用于畸变校正的校正像素值的矩阵的每个变量中反映出校正偏移和校正增益二者，然后计算矩阵的乘积和第一图像的像素的各个像素值。
[0152]图14是根据示例性实施方式，控制摄像装置的方法的流程图。
[0153]根据本示例性实施方式，控制摄像装置的方法捕获第一图像和第二图像(S1402和S1404)，将第一图像与第二图像作比较(S1406)以及确定是否出现闪烁(S1408)。可通过获取相对于YCbCr格式中的Y值的差异图像或通过获取相对于R值、G值以及B值中的每一个的差异图像，来执行第一图像与第二图像之间的比较。当亮度值在差异图像中有规律地变化时，例如，当在整个图像上出现如图2中所示的规则条纹时，控制摄像装置的方法确定出现闪烁。
[0154]如果确定闪烁出现，控制摄像装置的方法执行从第一图像中去除闪烁的过程(S1410)。否则，如果确定未出现闪烁，则不执行去除闪烁的过程。
[0155]根据另一示例性实施方式，可根据摄像装置的摄像模式，执行或不执行去除闪烁的过程。例如，当摄像装置的摄像模式是户外摄像模式、风景摄像模式或夜景摄像模式时，可不执行去除闪烁的过程。
[0156]根据实施方式，当摄像装置的摄像模式是手动模式时，可执行去除闪烁的过程。根据另一示例性实施方式，当摄像装置的摄像模式是手动模式时，可确定是否出现闪烁以及可执行去除闪烁的过程。
[0157]根据另一示例性实施方式，可根据摄像装置的白平衡设置，执行或不执行去除闪烁的过程。例如，当摄像装置白平衡设置成荧光灯时，可执行去除闪烁的过程，当摄像装置的白平衡设置成白炽灯或日光时，可不执行去除闪烁的过程。
[0158]根据实施方式，当在连续摄像模式中捕获图像时，可连续捕获多个第一图像以及可捕获单个第二图像。在这种情况下，从多个第一图像中去除闪烁的过程可通过使用单个第二图像来执行。
[0159]根据实施方式，可执行对出现于第一图像和第二图像之间的全局运动进行校正的过程。在这种情况下，在捕获第一图像和第二图像之后，图像处理单元120可在去除闪烁的过程之前执行校正全局运动的过程。全局运动是由于摄像装置在第一图像与第二图像的摄像观察点之间的运动导致的第一图像和第二图像的像素相互偏离。根据本示例性实施方式，通过在校正全局运动之后执行去除闪烁的过程，可使因去除闪烁的过程导致的图像畸变的出现最小化以及更精确地去除闪烁。
[0160]虽然上面已经描述了第一图像和第二图像由R值、G值和B值限定以及对R值、G值和B值执行闪烁校正的实施方式，但是第一图像的各个像素值和第二图像的各个像素值还可由不同于R、G和B颜色分量的其它颜色分量的组合限定。在这种情况下，还可对限定第一图像的各个像素和第二图像的各个像素的颜色分量的组合执行闪烁校正。例如，可相对于与R、G和B颜色分量不同的颜色分量的组合来计算校正偏移和校正增益。
[0161]图15是根据示例性实施方式的摄像装置10a的配置的方框图。
[0162]根据示例性实施方式的摄像装置10a可包括摄像单元1510、模拟信号处理器1520、存储器1530、存储/读取控制器1540、数据存储器1542、程序存储器1550、显示驱动器1562、显示单元1564、中央处理单元(CPU)/数字信号处理器(DSP)1570以及操纵单元1580。
[0163]摄像装置10a的全部操作由CPU/DSP 1570控制。CHJ/DSP 1570为镜头驱动器1512、光圈驱动器1515以及成像设备控制器1519提供用于控制镜头驱动器1512、光圈驱动器1515以及成像设备控制器1519的操作的控制信号。
[0164]摄像单元1510生成与来自入射光的电信号对应的图像，以及包括镜头1511、镜头驱动器1512、光圈1513、光圈驱动器1515、成像设备1518以及成像设备控制器1519。
[0165]镜头1511可包括多个镜头组，其中，每个镜头组包括多个镜头。镜头1511的位置通过镜头驱动器1512调节。镜头驱动器1512根据由CPU/DSP 1570提供的控制信号调节镜头1511的位置。
[0166]光圈1513的开启和关闭的程度通过光圈驱动器1515调节。光圈1513调节入射至成像设备1518上的光量。
[0167]已经穿过镜头1511和光圈1513的光信号在成像设备1518的光接收表面上形成主题的图像。成像设备1518可以是将光信号转换成电信号的电荷耦合设备(CCD)图像传感器或互补金属氧化物半导体图像传感器(CIS)。成像设备1518的灵敏度及其他系数可通过成像设备控制器1519调节。成像设备控制器1519可根据由实时输入的图像信号自动生成的控制信号或由使用者操纵手动输入的控制信号来控制成像设备1518。
[0168]成像设备1518的曝光时间可通过快门(未示出)调节。快门可分为通过移动黑色屏幕的位置来调节入射光量的机械快门或通过将电信号提供给成像设备1518来控制曝光的电子快门。
[0169]模拟信号处理器1520对由成像设备1518提供的模拟信号执行降噪、增益控制、波形整形以及模-数转换。
[0170]由模拟信号处理器1520处理的信号可直接或通过存储器1530输入至CPU/DSP1570。在这种情况下，存储器1530操作为摄像装置10a的主存储器，以及当CPU/DSP 1570运行时暂时存储必要的信息。程序存储器1530存储用于运行摄像装置10a的诸如操作系统和应用系统的程序。
[0171]此外，显示单元1564显示摄像装置10a的操作状态或显示通过摄像装置10a获取的图像信息。显示单元1564可为使用者提供视觉信息和/或听觉信息。为了提供视觉信息，显示单元1564可包括液晶显示(IXD)面板或有机发光显示(OLED)面板。此外，显示单元1564可包括可接收触摸输入的触摸屏。
[0172]显示驱动器1562为显示单元1564提供驱动信号。
[0173]CPU/DSP 1570处理输入的图像信号，以及根据所处理的图像信号或外部输入信号控制摄像装置10a的部件。CPU/DSP 1570可对输入的图像数据执行图像信号处理(诸如降噪、伽马校正、滤色阵列插值、颜色矩阵、颜色校正以及颜色增强)以提高图像质量。此外，CPU/DSP 1570可将通过图像信号处理获取的图像数据压缩成图像文件，或可从图像文件中重现原始图像数据。图像压缩格式可以是可逆的或不可逆的。例如，静态图像可被压缩成联合照相专家组(JPEG)格式或JPEG2000格式。为了记录运动图像，可根据运动图片专家组(MPEG)将多个帧压缩成运动图像文件。例如，可根据可交换图像文件格式(Exif)创建图像文件。
[0174]从CPU/DSP1570输出的图像数据可直接或通过存储器1530输入至存储/读取控制器1540。存储/读取控制器1540自动地或根据由使用者输入的信号将图像数据存储在数据存储器1542中。此外，存储/读取控制器1540可从存储在数据存储器1542中的图像文件读取与图像有关的数据，以及通过存储器1530或另一路径将该数据输入至显示驱动器1562以便在显示单元1564上显示图像。数据存储器1542可以可拆卸地或永久地附设于摄像装置10a0
[0175]此外，CPU/DSP 1570可执行锐度处理、颜色处理、模糊处理、边缘强化处理、图像判读处理、图像识别处理、图像效果处理等等。图像识别处理可包括人脸识别处理和场景识别处理。此外，CPU/DSP 1570可处理显示图像信号以便在显示单元1564上显示与图像信号对应的图像。例如，CPU/DSP 1570可进行亮度级别调整处理、颜色校正处理、对比调整处理、边缘增强处理、屏幕分片处理、特征图像生成处理以及图像合成处理。CPU/DSP 1570可连接至外部监视器以执行预定图像信号处理，从而在外部监视器上显示结果图像。然后CPU/DSP1570可将通过预定图像信号处理获取的图像数据传输至外部监视器，以使得结果图像可在外部监视器上显示。
[0176]CPU/DSP 1570可执行存储在程序存储器1530中的程序或可包括单独的模块来生成用于控制自动聚焦、缩放、聚焦以及自动曝光补偿的控制信号，将控制信号提供给光圈驱动器1515、镜头单元驱动器1512以及成像设备控制器1519，以及控制包括在摄像装置10a内的部件(诸如快门和闪光灯)的全部操作。
[0177]操纵单元1580允许使用者输入控制信号。操纵单元1580可包括多种功能按钮，诸如快门释放按钮、电源按钮、缩放按钮、模式选择按钮以及用于调节摄像设置的其他按钮，其中，快门释放按钮用于输入快门释放信号，通过使成像设备1518曝光预定时间，使用该快门释放信号来拍照；电源按钮用于输入控制信号以控制摄像装置10a的电源开/关状态;缩放按钮用于根据输入来加宽或缩小视角。操纵单元1580可以以允许使用者输入控制信号的任何形式实现，诸如按钮、键盘、触摸板、触摸屏或遥控器。
[0178]图1的摄像单元110可与图15的摄像单元1510对应。图1的图像处理单元120可与图15 的 CPU/DSP 1570对应。
[0179]图15的摄像装置10a仅仅是示例性实施方式，根据示例性实施方式的摄像装置不限于图15的摄像装置100a。
[0180]如上所述，根据上述示例性实施方式的一个或多个，当自由改变曝光时间时，可在使用滚动快门系统的摄像装置中从所捕获图像中去除闪烁。
[0181]另外，当自由改变曝光时间时，可在使用滚动快门系统的电子快门的摄像装置中从所捕获图像中去除闪烁。
[0182]此外，可在安装有小型摄像单元的摄像装置的手动模式中自由地改变曝光时间以及捕获图像。
[0183]此外，其他示例性实施方式也可通过在介质(例如，计算机可读介质)中/上的计算机可读代码/计算机可读指令实现以控制至少一个处理元件，从而实现任何上述描述的实施方式。介质可与容许存储和/或传输计算机可读代码的任何介质对应。
[0184]计算机可读代码可在介质上以多种方式记录/传输，其中，介质的示例包括诸如磁存储介质(例如，R0M、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)的记录介质以及诸如因特网传输介质的传输介质。因此，介质可以是包括或携带信号或信息的如此限定的和可测量的结构，诸如携带根据一个或多个示例性实施方式的比特流的设备。介质还可以是分布式网络，以使得计算机可读代码以分布式方式存储/传输以及执行。此外，处理元件可包括处理器或计算机处理器，以及处理元件可以是分布式的和/或包括在单个设备内。
[0185]应理解的是，本文中描述的示例性实施方式应当仅以描述性含义考虑以及并非出于限制性的目的。对每个示例性实施方式内的特征或方面的描述通常应当被看作是可用于其他示例性实施方式中的其他类似特征或方面。
[0186]虽然已经参照附图描述了一个或多个示例性实施方式，但是本领域普通技术人员将理解的是，在不背离由以下权利要求所限定的精神和范围的情况下，可在形式和细节方面作多种修改。
【主权项】
1.摄像装置，包括: 摄像单元，以设置于所述摄像装置的第一曝光时间捕获第一图像，以及以根据照明的闪烁频率确定的第二曝光时间捕获第二图像;以及 图像处理单元，通过使用所述第一图像和所述第二图像来去除闪烁。2.根据权利要求1所述的摄像装置，其中，所述第二曝光时间是N/2f，其中N是自然数，f是用于所述照明的交流电的频率。3.根据权利要求1所述的摄像装置，其中，所述摄像单元从预览图像中捕获所述第二图像。4.根据权利要求3所述的摄像装置，其中，所述第二图像是与捕获所述第一图像之前所述预览图像的最后一帧对应的图像。5.根据权利要求3所述的摄像装置，其中，所述预览图像的帧频根据所述照明的闪烁频率确定。6.根据权利要求1所述的摄像装置，其中，当输入快门释放信号时，所述摄像单元连续地捕获所述第一图像和所述第二图像。7.根据权利要求1所述的摄像装置，其中，所述摄像单元操作为控制以行为单位进行曝光的电子快门系统。8.控制摄像装置的方法，所述方法包括: 以设置于所述摄像装置的第一曝光时间捕获第一图像； 以根据照明的闪烁频率确定的第二曝光时间捕获第二图像；以及 通过使用所述第一图像和所述第二图像去除闪烁。9.根据权利要求8所述的方法，其中，所述第二曝光时间是N/2f，其中N是自然数，f是用于所述照明的交流电的频率。10.根据权利要求8所述的方法，其中，捕获第二图像的步骤包括从预览图像中捕获所述第二图像。11.根据权利要求10所述的方法，其中，所述第二图像是与捕获所述第一图像之前所述预览图像的最后一帧对应的图像。12.根据权利要求10所述的方法，其中，所述预览图像的帧频根据所述照明的闪烁频率确定。13.根据权利要求8所述的方法，其中，捕获第一图像的步骤和捕获第二图像的步骤是通过输入快门释放信号时连续地捕获所述第一图像和所述第二图像来执行的。14.根据权利要求8所述的方法，其中，所述摄像装置操作为控制以行为单位进行曝光的电子快门系统。15.计算机可读记录介质，存储有计算机程序代码，当所述计算机程序代码被处理器读取和执行时，所述处理器执行根据权利要求8至14中任一项所述的控制摄像装置的方法。
【文档编号】H04N5/232GK106063249SQ201480076694
【公开日】2016年10月26日
【申请日】2014年11月18日
【发明人】陈炳宰, 刘相晙
【申请人】三星电子株式会社