即时影像处理方法及其装置制造方法
【专利摘要】本发明提供一种即时影像处理方法及其装置。即时处理装置用以执行即时影像处理方法。即时影像处理方法包含撷取第一影像、第二影像及第三影像，再提高第一影像、第二影像及第三影像的解析度，获得第一高析影像、第二高析影像及第三高析影像，并由第一高析影像、第二高析影像及第三高析影像获得第一位移向量及第二位移向量，并依据第一位移向量、第二位移向量、第一高析影像、第二高析影像、第三高析影像获得叠置高析影像，再由第一位移向量、及第二位移向量获得补偿位移向量，最终以补偿位移向量输出超解析影像。
【专利说明】即时影像处理方法及其装置
【技术领域】
[0001] 本发明关于一种影像处理，特别是一种即时解析度运算的影像处理方法及其装 置。
【背景技术】
[0002] 现今影像处理技术的研究与改良，大多着重于提供给使用者更好的视觉体验。而 影响使用者视觉体验的主要因素之一就是影像的解析度。此外，于手持摄影装置及具光学 变焦功能的监视器中，影响使用者视觉体验的因素更包括了因手持摄影装置的手震、及监 视器机身移动时造成的晃动。
[0003] 倘若只要获得具高解析度并清楚的影像，于常见的数字相机及摄影机中，一般使 用光学变焦及数字变焦。当使用者的要求超过了光学变焦可以支援的最大倍率时，数字变 焦将会取代光学变焦。而数字变焦的变焦方式则是由内建的处理器进行模拟放大，在像素 上必然有些部分是模拟产生，因此对于影像的画质有所影响。但若只是将影像放大，并没有 提高影像的视觉清晰度，往往造成放大后的影像存在着模糊感。而影像放得越大，就越有这 样的问题。
[0004] 再者，大多数使用者并不是专业的摄影人员，因此常常于使用数字相机或摄影机 时造成手震。先前有研发物理的改良方式，以减少镜头的震动。物理的改良方式则是于镜 头上设置防震元件，但这种改良方式会增加成本及机身的重量。对于目前使用者对于数字 相机的轻便需求，仍存在无法克服的问题。另一方面，对于解析度的要求，这种方法亦无法 处理。
[0005] 综合上述，于现有影像处理方式中，虽然都有各自解决的方式，但于获得高视觉清 晰度的影像上，数字变焦仍有一定的限制。而于防止影像震动产生的模糊问题，经由加装防 震元件于镜头上的方式，会让影像处理装置的整体架构变得较为复杂、增加机身重量或提 高成本等问题。
【发明内容】
[0006] 鉴于以上的问题，本发明提出一种即时影像处理装置及其方法，用以帮助使用者 于使用影像处理装置时，可提高连续影像的解析度并同时减少震动。
[0007] 本发明提供一即时影像处理方法，其包含撷取一第一影像、一第二影像及一第三 影像。再提高第一影像、第二影像及第三影像的解析度，用以分别得到一第一高析影像、一 第二高析影像及一第三高析影像。并藉由第一高析影像及第二高析影像获得第一位移向 量，再由第二高析影像及第三高析影像获得第二位移向量。并由第一位移向量、第二位移向 量、第一高析影像、第二高析影像及第三高析影像取得一叠置高析影像。再由第一位移向量 及第二位移向量获得一补偿位移向量，并根据补偿位移向量产生超解析影像。
[0008] 本发明再提供一种即时影像处理装置，其包含一影像撷取单元及一影像处理单 元。影像撷取单元用以撷取第一影像、第二影像及第三影像。影像处理单元连接影像撷取 单元，执行一即时影像处理方法，以获得超解析影像，其包含以下步骤。先撷取第一影像、第 二影像及第三影像，再提高第一影像、第二影像及第三影像的解析度，分别得到第一高析影 像、第二1?析影像及第二1?析影像。并利用第一影像、第二影像及第二影像获得第一位移向 量及第二位移向量。并由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第 三高析影像取得一叠置高析影像。再依据第一位移向量、第二位移向量获得一补偿位移向 量，并依据补偿位移向量输出超解析影像。
[0009] 以上的关于本
【发明内容】
的说明及以下的实施方式的说明用以示范与解释本发明 的精神与原理，并且提供本发明的专利申请范围更进一步的解释。
【专利附图】
【附图说明】
[0010] 图1，为本发明一实施例的即时影像处理方法的流程图；
[0011] 图2,为本发明一实施例的即时影像处理装置的架构图；
[0012] 图3,为本发明一实施例的即时影像处理方法中影像内容进行位移的示意图；
[0013] 图4,为本发明一实施例的即时影像处理方法中影像内容位移比对的示意图；
[0014] 图5,为本发明一实施例的即时影像处理方法中叠置高析影像其像素重叠的示意 图；
[0015] 图6,为本发明一实施例的即时影像处理装置的使用示意图；
[0016] 图7,为本发明一实施例的即时影像处理方法中获得高析影像的示意图；
[0017] 图8,为本发明一实施例的即时影像处理方法中移动向量计算的示意图。
[0018] 其中，附图标记：
[0019] 30 即时影像处理装置
[0020] 302 影像撷取单元
[0021] 304 影像处理单元
[0022] 306 影像输出单元
[0023] 42 第一影像
[0024] 44 第二影像
[0025] 46 第三影像
[0026] 52 第一高析影像
[0027] 522 影像内容
[0028] 54 第二高析影像
[0029] 542 第一目前影像内容
[0030] 544 第一先前影像位置
[0031] 56 第二商析影像
[0032] 562 第二目前影像内容
[0033] 564 第二先前影像位置
[0034] 602 像素位置
[0035] 604 像素位置
[0036] 606 像素位置
[0037] 608 像素位置
[0038] 62 覆盖像素
[0039] 70 即时影像处理装置
[0040] 702 影像撷取单元
[0041] 704 影像处理单元
[0042] 706 影像输出单元
[0043] 72 影像标的物
[0044] 80 原始影像
[0045] 82 高析影像
[0046] 822 空白像素
[0047] 90 第一高析影像
[0048] 902 第一区块
[0049] 92 第二高析影像
[0050] 922 第二区块
[0051] 924 第一目前影像内容
[0052] 926 第一先前影像位置
[0053] 94 第二商析影像
[0054] 942 第三区块
[0055] 944 第二目前影像内容
[0056] 946 第二先前影像位置
【具体实施方式】
[0057] 以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何熟习 相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利 范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的目的及优点。以下的实施例 进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。
[0058] 鉴于现有技术已存在的问题，本发明提出一种即时影像处理方法及其装置。其中 即时影像处理装置可为一数字相机、一摄影机或一监视器等，或是任何具有如前述可以执 行本发明所提出的即时影像处理方法和即时影像处理方法的装置。且影像处理装置也可 以应用于手持设备拍摄、自动移动设备拍摄或是各种进行移动的装置进行监视或是观察用 途。
[0059] 请参考图1，其为本发明一实施例的即时影像处理方法的流程图。其中即时影像处 理方法可包含下列步骤：撷取一第一影像、一第二影像及一第三影像(步骤S100);提高第一 影像、第二影像及第三影像的解析度，得到一第一高析影像、一第二高析影像及一第三高析 影像(步骤S110);利用第一高析影像、第二高析影像及第三高析影像，得到一第一位移向量 及一第二位移向量(步骤S120);利用第一位移向量及第二位移向量，结合第一高析影像、第 二高析影像及第三高析影像，获得一叠置高析影像(步骤S130);在经由计算第一位移向量 及第二位移向量后，获得一补偿位移向量(步骤S140);再利用补偿位移向量，结合叠置高析 影像，获得一超解析影像(步骤S150)。
[0060] 在步骤S100中，请一并参照图2及图3,其中第一影像42、第二影像44及第三影 像46,经由即时影像处理装置30中的影像撷取单元302进行撷取。影像撷取单元302可为 数字相机的感光元件，但并不以此为限。而第一影像42、第二影像44及第三影像46具有同 一摄影范围及时间上的先后相依性，于本实施例中，第一影像42、第二影像44及第三影像 46,其为在时间轴上依序撷取的影像，但并不以此为限。撷取影像时，并不以三张为限。但 至少需撷取两张影像以上，撷取越多影像加入即时影像处理方法可让最后产生的超解析影 像更为精细。
[0061] 而在步骤S110中，第一影像42、第二影像44和第三影像46分别拥有多个原始像 素点，而提高解析度的做法可以为但不限于在原始像素点之间将多个空白像素点插入。请 参阅图4,其中第一高析影像52、第二高析影像54和第三高析影像56,为第一影像42、第二 影像44和第三影像46插入空白像素后产生的高析影像。值得注意的是，放大倍率不一定 为长与宽的比值采一比一的正方形式的提高解析度，也可以为长方形式的提高解析度，也 就是说，可以将所撷取到的正方形影像，在一轴向（如水平轴）放大三倍形成长轴，而另一 轴（如垂直轴）放大二倍形成宽轴，提高解析度后的影像即成为长方形，除此之外，提高解 析度后的长宽比例可以是但不限于十六比九或十六比十的影像。
[0062] 接着于步骤S120中，请同时参阅图4,于第一高析影像52中，锁定一影像内容 522,对影像内容522于第二高析影像54及第三高析影像56中进行持续追踪。于第二高析 影像54中，影像内容522的位置已经移动至第一目前影像内容544的位置，先前于第一高 析影像52中的位置以第一先前影像位置542用虚线进行标示，进行坐标比对计算后得出第 一位移向量。于第三高析影像56中，影像内容522的位置已经移动至第二目前影像内容 564的位置，先前于第二高析影像54中的位置以第二先前影像位置562用虚线进行标示，进 行坐标比对计算后得出第二位移向量。于影像比对时，取得位移向量的方式可以是但不限 于光流法（Optical flow)或区块移动估计法（Block Motion Estimation, BME)，其详细说 明将以后续图示及叙述说明。
[0063] 再者，于步骤S130中，请继续参阅图4,依据第一位移向量将第二高析影像54中 第一目前影像内容544,进行反向调整以对应第一高析影像52的内容，即将第一目前影像 内容 544调整回第一先前影像位置542,以对应第一高析影像52。同样地，依据第一位移向 量及第二位移向量将第三高析影像56中第二目前影像内容564,进行两次反向调整以对应 第一高析影像52的内容，即将第二目前影像内容564调整回第一先前影像位置542,以对 应第一高析影像52。重叠经过调整的第二高析影像54和第三高析影像56于第一高析影 像52上，而获得叠置高析影像。由于叠置高析影像包含了第一高析影像52、第二高析影像 54和第三高析影像56,因此一并包含了来自第一影像42、第二影像44和第三影像46的多 个原始像素点和因为重叠所产生的多个剩余空白像素点。请参阅图5,经过重叠后,有部分 像素会跨越于像素与像素之间，如覆盖像素62,跨越了像素位置602、像素位置604、像素位 置606及像素位置608。因此需依据覆盖像素62的亮度（彩色画面另包括彩度），计算邻 近剩余空白像素点的亮度（彩色画面另包括彩度）。而计算剩余空白像素点的值的方法为， 依据要计算的剩余空白像素点周围的多个原始像素点，使用内插法计算。
[0064] 而在步骤S140中，利用第一位移向量及第二位移向量，获得补偿位移向量。本发 明一实施例的即时影像处理方法中补偿向量计算的流程可整理为以下公式组。
[0065]
【权利要求】
1. 一种即时影像处理方法，其特征在于，该即时影像处理方法包含： 撷取一第一影像、一第二影像及一第三影像； 提高该第一影像、该第二影像及该第三影像的解析度以分别得到一第一高析影像、一 第二高析影像及一第三高析影像； 利用该第一高析影像、该第二高析影像及该第三高析影像获得一第一位移向量及一第 二位移向量； 依据该第一位移向量、该第二位移向量、该第一高析影像、该第二高析影像及该第三高 析影像获得一叠置高析影像； 依据该第一位移向量、及该第二位移向量获得一补偿位移向量；以及 依据该补偿位移向量输出一超解析影像。
2. 根据权利要求1所述的即时影像处理方法，其特征在于，该第一影像、该第二影像及 该第三影像各别包含了多个原始像素点，提高该第一影像、该第二影像及该第三影像的解 析度以分别得到该第一高析影像、该第二高析影像及该第三高析影像为依据一放大倍率于 该第一影像、该第二影像及该第三影像的所述原始像素点间插入多个高析空白像素点。
3. 根据权利要求1所述的即时影像处理方法，其特征在于，该各别获得该第一高析影 像、该第二高析影像及该第三高析影像的该第一位移向量、及该第二位移向量包含： 使用区块移动估计法计算所述位移向量或是使用光流法计算所述位移向量。
4. 根据权利要求1所述的即时影像处理方法，其特征在于，该第一影像、该第二影像及 该第三影像各别包含了所述原始像素点，依据该第一位移向量、该第二位移向量、该第一高 析影像、该第二高析影像及该第三高析影像获得该叠置高析影像的步骤包含： 依据该第一位移向量与该第二位移向量将该第一高析影像与该第二高析影像及该第 三高析影像重叠，获得该叠置高析影像，该叠置高析影像包含该第一影像、该第二影像与该 第三影像的所述原始像素点、以及多个剩余空白像素点；以及 依据该第一影像、该第二影像与该第三影像的所述原始像素点而获得所述剩余空白像 素点的值。
5. 根据权利要求1所述的即时影像处理方法，其特征在于，获得该补偿向量的方法为 以下一公式组：
其中i、n及k为自然数，^为第n影像的补偿向量，且K为第i影像相对于第（i-1) 影像的位移向量，Wlri与Wn为以任意数表示的权重值，在计算该第三影像及该第三影像之后 续影像的补偿向量时，Wlri为一常数Wa，Wn亦为一常数wb。
6. 根据权利要求5所述的即时影像处理方法，其特征在于，该公式组中的k值由绝对值 总合法决定，绝对值总合法公式如下，
其中A(x，y)代表A影像中对应坐标（x，y)的像素值，B(x，y)代表B影像中对应坐标 (x，y)的像素值，若SAD(第j影像，第（j-1)影像）大于一门槛值则k为j，否则k为1，且 j为自然数，该门槛值为任意数。
7. -种即时影像处理装置，其特征在于，包含： 一影像撷取单元，用以撷取一第一影像、一第二影像、及一第三影像；以及 一影像处理单元，连接该影像撷取单元，执行一即时影像处理方法，用以获得一超解析 影像，包含： 撷取该第一影像、该第二影像、及该第三影像； 提高该第一影像、该第二影像、及该第三影像的解析度以分别得到一第一高析影像、一 第二高析影像及一第三高析影像； 利用该第一高析影像、该第二高析影像、及该第三高析影像获得一第一位移向量、一第 二位移向量； 依据该第一位移向量、该第二位移向量、该第一高析影像、该第二高析影像、及该第三 1?析影像获得一超解析影像； 依据该第一位移向量、该第二位移向量获得一补偿位移向量；以及 依据该补偿位移向量输出该超解析影像。
8. 根据权利要求7所述的即时影像处理装置，其特征在于，该即时影像处理装置还含 有一输出单元，连接该影像处理单元，用以输出该超解析影像。
9. 根据权利要求7所述的即时影像处理装置，其特征在于，该影像处理单元另执行一 影像压缩程序。
10. 根据权利要求7所述的即时影像处理装置，其特征在于，该影像撷取单元是一光学 变焦影像撷取单元。
11. 根据权利要求7所述的即时影像处理装置，其特征在于，该补偿向量利用以下一公 式组获得：
其中i、n及k为自然数，^为第n影像的补偿向量，且f为第i影像相对于第（i-1) 影像的位移向量，Wlri与Wn为以任意数表示的权重值，在计算该第三影像及该第三影像之后 续影像的补偿向量时，Wlri为一常数Wa，Wn亦为一常数wb。
12.根据权利要求11所述的即时影像处理方法，其特征在于，该公式组中的k值由绝对 值总合法决定，绝对值总合法公式如下，
其中A(x，y)代表A影像中对应坐标（x，y)的像素值，B(x，y)代表B影像中对应坐标 (x，y)的像素值，若SAD(第j影像，第（j-1)影像）大于一门槛值则k为j，否则k为1，且 j为自然数，该门槛值为任意数。
【文档编号】H04N5/232GK104243794SQ201410100746
【公开日】2014年12月24日 申请日期:2014年3月18日 优先权日:2013年6月14日
【发明者】吴仁智 申请人:晶睿通讯股份有限公司