用于消除失真的装置和方法
【专利摘要】提供一种用于消除失真的装置和方法。所述方法包括：通过在参考图像与输入图像之间的局部运动矢量对指示输入图像中的失真量的参数集进行估计，并通过使用估计的参数集来重构输入图像。
【专利说明】用于消除失真的装置和方法
[0001] 本申请要求于2013年8月27日提交到韩国知识产权局的第10-2013-0102021号 韩国专利申请的优先权，所述申请的公开通过引用完全合并于此。
【技术领域】
[0002] 与本发明构思的示例性实施例一致的设备和方法涉及消除相机图像中的失真，更 具体地讲，涉及消除由相机的互补金属氧化物半导体（CMOS)传感器中使用的卷帘快门造 成的抖动。
【背景技术】
[0003] 卷帘快门模式是图像获取的方法，其中，通过垂直或水平地扫描过图像帧来记录 每个图像帧。在卷帘快门模式中，从顶部到底部依次逐行进行读出。
[0004] 在卷帘快门模式中，像素的顶行是开始收集光的第一行并且是完成收集光的第一 行。对于每个下面的行的光收集的开始和结束是稍有延迟的，因此造成诸如偏斜或抖动的 失真。
[0005] -种用于消除这样的由卷帘快门造成的失真的方法包括：针对每个帧计算二维或 三维空间中的相机的位置，通过使用CMOS传感器的参数（诸如帧速率、读出时间和帧延迟 时间）来针对每条扫描线确定相机的位置，并校正由卷帘快门造成的失真。然而，该方法具 有以下缺点：在校正卷帘快门失真之前必须对CMOS传感器进行校准，并且校正的性能受到 CMOS传感器的校准的准确度的影响。
【发明内容】
[0006] -个或更多个示例性实施例提供一种用于消除由互补金属氧化物半导体（CMOS) 传感器中使用的卷帘快门模式造成的诸如偏斜或抖动的失真的装置和方法。
[0007] 实施例的各方面部分地将在下面的描述中部分地阐明，并且从描述中部分是清楚 的，或者通过本发明的实施可以被理解。
[0008] 根据示例性实施例的一方面，提供一种用于消除失真的装置，所述装置包括：拍摄 单元，被配置为通过使用卷帘快门来连续地拍摄多个帧；存储单元，被配置为存储拍摄的多 个帧的图像；局部运动矢量产生器，被配置为产生拍摄的图像中的参考图像与输入图像之 间的局部运动矢量；参数估计器，被配置为基于局部运动矢量对指示鉴于参考图像的输入 图像中的失真量的参数集进行估计；图像重构单元，被配置为通过使用估计的参数集和关 于输入图像的信息来产生重构的图像。
[0009] 参数估计器可通过在参考图像中选择至少一条扫描线并在输入图像中选择至少 一条相应的线来估计参数集，其中，参数集是表示输入图像中的所述相应的线的起点和终 点的坐标的变量的集合。
[0010] 参数估计器可通过在参考图像中选择存在于所述扫描线上的至少一个点并在输 入图像中的相应的线中选择至少一个相应的点来估计参数集。
[0011] 参数估计器可基于局部运动矢量来选择相应的点。
[0012] 参数估计器可通过选择点和相应的点使得两个点分别以相同的比例内部地划分 参考图像中的扫描线和输入图像中的相应的线来估计参数集。
[0013] 参数估计器可通过参考图像中的扫描线的y-坐标的函数设置相应的线中的所有 点来估计参数。
[0014] 参数估计器可通过使用Ax= b形式的线性方程来计算输入图像中的相应的点的 坐标，其中，A是由扫描线的y-坐标的函数表示的矩阵，x是参数集，并且b是输入图像中的 相应的点的坐标。
[0015] 图像重构单元可通过使用估计的参数集来搜索与重构的图像中的至少一个任意 点相应的输入图像中的至少一个点，并通过使用输入图像中的所述至少一个点的像素值来 产生重构的图像。
[0016] 根据另一示例性实施例的一方面，提供一种在用于消除失真的装置中从输入图像 消除失真的方法，所述方法可包括：将由拍摄单元通过使用卷帘快门连续拍摄的多个帧存 储在存储单元中；在局部运动矢量产生器中产生拍摄的图像中的参考图像与输入图像之间 的局部运动矢量；在抖动参数估计器中基于局部运动矢量估计用于确定鉴于参考图像的输 入图像中的失真量的参数集；并在图像重构单元中通过使用估计的参数集和关于输入图像 的信息来产生重构的图像。
[0017] 在估计参数集的步骤中，可通过在参考图像中选择至少一条扫描线并在输入图像 中选择至少一条相应的线来估计参数集，其中，参数集是表示输入图像中的相应的线的起 点和终点的坐标的变量的集合。
[0018] 在估计参数集的步骤中，可通过在参考图像中选择存在于扫描线上的至少一个点 并在输入图像中的相应的线中选择至少一个相应的点来估计参数集。
[0019] 在估计参数集的步骤中，可基于局部运动矢量来选择相应的点。
[0020] 在估计参数集的步骤中，可选择点和相应的点使得两个点分别以相同的比例内部 地划分参考图像中的扫描线和输入图像中的相应的线。
[0021] 在估计参数集的步骤中，可通过参考图像中的扫描线的y_坐标的函数设置相应 的线中的所有点。
[0022] 在估计参数集的步骤中，可通过使用Ax=b形式的线性方程来计算输入图像中的 相应的点的坐标，其中，A是由扫描线的y_坐标的函数表示的矩阵，x是参数集，并且b是输 入图像中的相应的点的坐标。
[0023] 在产生重构的图像的步骤中，可通过使用估计的参数集来搜索与重构的图像中的 至少一个任意点相应的输入图像中的至少一个点，并且通过使用输入图像中的所述至少一 个点的像素值来产生重构的图像。
[0024] 根据示例性实施例的用于消除失真的装置和方法适应于消除可出现在成像装置 中的所有类型的失真。具体地，所述装置和方法能够补偿由相机振动和缩放（诸如，三轴旋 转和3D空间中的平移）造成的平移、平面内的旋转、缩放、偏斜和投影振动。
[0025] 所述装置和方法还适应于在不使用关于CMOS传感器的信息和不执行运动估计的 情况下通过仅使用局部运动矢量来重构由抖动造成失真的图像。
[0026] 在所述装置和方法中，可通过使用如Ax= b的线性方程来执行估计参数的处理， 并且伪逆矩阵可用于找到线性方程的解，从而消除对单独优化方法的需要。因此，可提供封 闭式的参数估计。
[0027] 从而，所述装置和方法可被应用于使用CMOS相机的各种智能图像监控系统以从 系统中消除失真。智能图像监控系统可被用在重要的国家设施（诸如军用机场、海港、道路 和桥梁、地铁、公共汽车、建筑物的屋顶、场馆、停车场、汽车、移动装置和机器人）中，从而 从系统消除失真。
【专利附图】
【附图说明】
[0028] 通过结合附图进行的以下示例性实施例的描述，这些和/或其它方面将变得清楚 和更容易理解，其中：
[0029] 图1是示出根据示例性实施例的数字相机的构造的框图；
[0030] 图2示出根据示例性实施例的使用卷帘快门的互补金属氧化物半导体（CMOS)传 感器中的图像的获取；
[0031] 图3示出经抖动的（woobled)输入图像的示例；
[0032] 图4示出根据示例性实施例的用于消除失真的装置的内部构造；
[0033] 图5示出根据示例性实施例的使用卷帘快门的CMOS图像传感器的扫描线的第一 特性；
[0034]图6示出根据示例性实施例的使用卷帘快门的CMOS图像传感器的扫描线的第二 特性；
[0035] 图7示出根据示例性实施例的被估计用于确定与参考图像中的扫描线相应的经 抖动的输入图像中的线的抖动参数集；以及
[0036] 图8示出根据示例性实施例的使用抖动参数集的图像的重构。
【具体实施方式】
[0037] 现将详细参考在附图中示出的示例性实施例，其中，同样的附图标号始终指示同 样的元件。在这方面，本实施例可具有不同形式并不应被理解为限于本文中所阐述的描述。 因此，以下仅通过参照附图描述实施例以解释本描述的多个方面。
[0038] 在此使用的术语仅是为了描述具体实施例的目的，而并非意图限制本发明构思。 此外，除非在此明确地这样定义，否则在此使用的技术术语具有与实施例所属领域的普通 技术人员的一般理解相同的含义，并不会以过于宽泛或狭窄的含义解释所述术语。
[0039] 还将理解：如果在此使用的技术术语不能准确地表达本发明构思的精神，则使用 可被本领域的普通技术人员理解的正确的技术术语替代错误的技术术语。还应该将在此使 用的一般术语解释为具有常用词典中定义的或与它们在相关领域的上下文中的含义一致 的含义，并不会以理想的或过于正式的含义解释所述术语。
[0040] 图1是示出根据示例性实施例的数字相机100的构造的框图。
[0041] 参照图1，数字相机100包括：光单元11，用于接收来自对象的光信号；成像装置 12,用于将通过光单元11接收的光信号转换为电信号；输入信号处理器13,用于对由成像 装置12提供的电信号执行信号处理操作（诸如降噪和模数（A/D)转换）；马达14,用于驱 动光单元11 ;驱动单元15,用于控制马达14的操作。
[0042] 数字相机100还包括：用户输入单元（UI) 20,用于接收用户的操作信号；同步动态 随机存取存储器（SDRAM) 30,用于临时存储输入图像数据、用于处理操作的数据和处理的结 果；闪存40,用于存储数字相机100的操作所需的算法；作为记录装置的安全数字（SD) /紧 凑式闪存（CF)/智能媒体（SM)卡50,用于存储图像文件。
[0043] 数字相机100配备有作为显示单元的液晶显示器（IXD) 60。数字相机100还可包 括：音频信号处理器71，用于将声音转换为数字信号或将来自声源的数字信号转换为模拟 信号并产生音频文件；扬声器SPK72,用于输出声音；麦克风MIC73,用于输入声音。数字 相机100还包括用于控制数字相机的操作的数字信号处理器（DSP)80。
[0044] 现将更详细地描述每个组件的构造和功能。
[0045] 光单元11可包括：镜头单元，用于聚焦光信号；光圈，用于调整光信号的幅度（强 度）；快门，用于控制光信号的输入。镜头单元包括用于根据焦距增加或减少视角的变焦镜 头和用于将对象聚焦到焦点的聚焦镜头。可从单个镜头或一组多个镜头元件构造变焦镜头 和聚焦镜头中的每个镜头。快门可以是具有上下移动的幕帘的机械快门。可选择地，可通 过控制对成像装置12的电信号的供应将成像装置12用作快门代替单独的快门。
[0046] 用于驱动光单元11的马达14可驱动镜头位置的设置、光圈的打开/关闭和快门 的操作以便执行诸如自动聚焦、自动曝光控制、光圈调整和焦点改变的操作。
[0047] 驱动单元15响应于从DSP80接收的控制信号来控制马达14的操作。
[0048] 成像装置12从光单元11接收光信号并形成对象的图像。
[0049] 输入信号处理器13包括用于将从成像装置12(诸如电荷耦合器件（CXD))供应的 作为模拟信号的电信号转换为数字信号的A/D转换器。输入信号处理还可包括用于对由成 像装置12提供的电信号执行信号处理（诸如增益控制或波形整形）的电路。
[0050]DSP80对输入图像数据执行图像信号处理操作。图像信号处理操作可包括：伽马 校正、彩色滤波阵列插值、彩色矩阵、色彩校正、色彩增强、抖动参数的估计和基于估计的抖 动参数的图像重构。DSP80还将通过图像信号处理获得的图像数据压缩为图像文件或从图 像文件重构原始图像数据。可使用可逆的或不可逆的算法来压缩图像。
[0051]DSP80可执行上述图像信号处理操作并根据处理的结果或响应于通过n20输 入的用户控制信号来控制每个组件。根据示例性实施例，DSP80和输入信号处理器可被构 成为单个单元。
[0052] 图2示出根据示例性实施例的互补金属氧化物半导体（CMOS)传感器中的图像的 获取。参照图2,CMOS传感器按照规则间隔针对每条扫描线获取图像。图3示出经抖动的 输入图像的示例。参照图3,当使用卷帘快门模式的CMOS传感器获取对象的图像时，在快门 的顶部扫描图像帧的时间与在快门的底部扫描图像帧的时间存在差别。如图3所示，这个 时间差可表现为偏斜、抖动和/或部分曝光。因此，图像的内容可能会失真。
[0053] 现在将更详细地描述根据示例性实施例的消除由CMOS传感器中使用的卷帘快门 造成的失真的方法。
[0054] 图4示出根据示例性实施例的用于消除失真的装置400的内部构造。
[0055] 根据本实施例的装置400包括：拍摄单元410、存储单元（未示出）、局部运动矢量 产生器420、抖动参数估计器430和图像重构单元440。
[0056] 在本实施例中，存储单元存储由拍摄单元410拍摄的图像，并且局部运动矢量产 生器420计算在参考图像与经抖动的输入图像之间的局部运动矢量。通过使用局部运动矢 量的值，可确定参考图像中的任意扫描线已移动到的经抖动的输入图像中的线。
[0057] 抖动参数估计器430基于局部运动矢量估计抖动参数集，抖动参数集是指示与参 考图像相比的经抖动的输入图像的失真量的变量的集合。例如，抖动参数估计器430通过 在参考图像中选择至少一条扫描线并在输入图像中选择至少一条相应的线来估计抖动参 数集。以下将参照图5和图6和等式（1)至等式（16)描述对抖动参数集进行估计的处理。
[0058] 在对指示经抖动的输入图像的失真量的抖动参数集进行估计之后，图像重构单元 440基于估计的抖动参数集来重构经抖动的输入图像。以下将参照图7和等式（17)和等式 (18)描述对输入图像进行重构的处理。
[0059] 根据示例性实施例，抖动参数估计器430使用由CMOS传感器扫描的扫描线的两个 特性来估计抖动参数集。
[0060] 图5示出根据示例性实施例的由使用卷帘快门的CMOS传感器扫描的扫描线的 第一特性。参照图5,扫描线的第一特性是当前经抖动的输入图像200具有连接两个端点 卩以价和?啦杜的线I-bled21〇 其中，线I?_21〇 与参考图像 100中的连接两个端点PK，left和PK，right的任意扫描线IMf110 (巧雄化妙）相应。
[0061] 图6示出根据示例性实施例的由CMOS传感器扫描的扫描线的第二特性。
[0062] 扫描线的第二特性是与参考图像100中的任意扫描线IMf110上的任意点 Pref120(以下，称为'PK120'）相应的点PTObbled220(以下，称为'Pw220'）位于与任意扫描线 W10相应的当前经抖动的输入图像200中的线ITObbled210上。
[0063] 两个点PK120和Pw220分别在参考图像100中的任意扫描线IMf110和当前经抖动 的输入图像200中的线ITObbled210上。两个点PK120和Pw220位于分别以m比1-m的比例内 部地划分任意扫描线IMfll〇和线Ubled210的位置上。
[0064] 为了通过使用等式表示扫描线的上述两个特性，PK120、PK，left121、PK，Hght122、 Pw220、Pw，left221 和Pw，right222 由等式la至等式If定义。
【权利要求】
1. 一种用于消除失真的装置，所述装置包括： 拍摄单元，被配置为通过使用卷帘快门来连续拍摄多个帧； 存储单元，被配置为存储拍摄的多个帧的图像； 局部运动矢量产生器，被配置为产生拍摄的图像中的参考图像与输入图像之间的局部 运动矢量； 参数估计器，被配置为基于局部运动矢量对指示鉴于参考图像的输入图像中的失真量 的参数集进行估计；以及 图像重构单元，被配置为通过使用估计的参数集和关于输入图像的信息来产生重构的 图像。
2. 根据权利要求1所述的装置，其中，参数估计器通过在参考图像中选择至少一条扫 描线并在输入图像中选择至少一条相应的线来估计参数集， 其中，所述参数集是表示输入图像中的所述相应的线的起点和终点的坐标的变量的集 合。
3. 根据权利要求2所述的装置，其中，所述至少一条扫描线包括水平地穿过参考图像 使得起点和终点具有相同的y坐标的线。
4. 根据权利要求2所述的装置，其中，参数估计器通过在参考图像中选择存在于扫描 线上的至少一个点并在输入图像中的相应的线中选择至少一个相应的点来估计参数集。
5. 根据权利要求4所述的装置，其中，参数估计器基于局部运动矢量选择相应的点。
6. 根据权利要求4所述的装置，其中，参数估计器通过选择点和相应的点使得两个点 分别以相同的比例内部地划分参考图像中的扫描线和输入图像中的相应的线来估计参数 集。
7. 根据权利要求4所述的装置，其中，参数估计器通过参考图像中的扫描线的y-坐标 的函数设置相应的线中的所有点来估计参数集。
8. 根据权利要求7所述的装置，其中，参数估计器通过使用Ax = b形式的线性方程来 计算输入图像中的相应的点的坐标，其中，A是由扫描线的y-坐标的函数表示的矩阵，x是 参数集，并且b是输入图像中的相应的点的坐标。
9. 根据权利要求1所述的装置，其中，图像重构单元通过使用估计的参数集来搜索与 重构的图像中的至少一个任意点相应的输入图像中的至少一个点，并通过使用输入图像中 的所述至少一个点的像素值来产生重构的图像。
10. -种在用于消除失真的装置中从输入图像消除失真的方法，所述方法包括： 将由拍摄单元使用卷帘快门连续拍摄的多个帧存储在存储单元； 在局部运动矢量产生器中产生拍摄的图像中的参考图像与输入图像之间的局部运动 矢量； 在抖动参数估计器中基于局部运动矢量来估计用于确定鉴于参考图像的输入图像中 的失真量的参数集；以及 在图像重构单元中通过使用估计的参数集和关于输入图像的信息来产生重构的图像。
11. 根据权利要求10所述的方法，其中，在估计参数集的步骤中，通过在参考图像中选 择至少一条扫描线并在输入图像中选择至少一条相应的线来估计参数集， 其中，所述参数集是表示输入图像中的所述相应的线的起点和终点的坐标的变量的集 合。
12. 根据权利要求11所述的方法，其中，所述至少一条扫描线包括水平地穿过参考图 像使得起点和终点具有相同的y坐标的线。
13. 根据权利要求11所述的方法，其中，在估计参数集的步骤中，通过在参考图像中选 择存在于扫描线上的至少一个点并在输入图像中的相应的线中选择至少一个相应的点来 估计参数集。
14. 根据权利要求13所述的方法，其中，在估计参数集的步骤中，基于局部运动矢量来 选择相应的点。
15. 根据权利要求13所述的方法，其中，在估计参数集的步骤中，选择点和相应的点使 得两个点分别以相同的比例内部地划分参考图像中的扫描线和输入图像中的相应的线。
16. 根据权利要求13所述的方法，其中，在估计参数集的步骤中，通过参考图像中的扫 描线的y-坐标的函数设置相应的线中的所有点。
17. 根据权利要求16所述的方法，其中，在估计参数集的步骤中，通过使用Ax = b形式 的线性方程来计算输入图像中的相应的点的坐标，其中，A是由扫描线的y-坐标的函数表 示的矩阵，x是参数集，并且b是输入图像中的相应的点的坐标。
18. 根据权利要求10所述的方法，其中，在产生重构的图像的步骤中，通过使用估计的 参数集来搜索与重构的图像中的至少一个任意点相应的输入图像中的至少一个点，并通过 使用输入图像中的所述至少一个点的像素值来产生重构的图像。
【文档编号】H04N5/232GK104427212SQ201410408855
【公开日】2015年3月18日 申请日期:2014年8月19日 优先权日:2013年8月27日
【发明者】柳然杰, 朴相志, 李活石 申请人:三星泰科威株式会社