拍摄高动态范围影片的方法
【专利摘要】本发明揭露一种拍摄高动态范围影片的方法。其包含：利用图像感测器拍摄由多个长曝光区及多个短曝光区互相交错的原始图像，原始图像包含多个像素；多个长曝光区形成长曝光场，而多个短曝光区形成短曝光场；根据长曝光场及短曝光场每一像素的像素值，经过重建过程而形成与原始图像相同分辨率的重建的长曝光场及重建的短曝光场；以及经过结合过程，根据重建的长曝光场及重建的短曝光场的每一像素的像素值，而形成一高动态范围图像。
【专利说明】拍摄高动态范围影片的方法
【技术领域】
[0001]本发明的实施例是关于一种拍摄高动态范围影片的方法，特别是关于一种利用交错式图像感测器，在单张画面上获得两种不同曝光时间的曝光信息，并结合两种不同曝光时间的曝光信息，而形成一张高动态范围图像的方法。
【背景技术】
[0002]目前的消费型数字相机或网络摄影机(Webcam)的动态范围(Dynamic Range)(亮度信号最大值与最小值的比值)约为400。然而，室内场景的动态范围大多超过1500，而室外场景的动态范围往往高达105。因此，该些器材仅能捕捉到场景的部分亮度信息，亦即，该些器材无法同时捕捉场景中的所有亮度信息。
[0003]为解决以上的问题，P.E.Debevec在1997年提出了高动态范围图像的技术，“PaulE.DebevecjJitendra Malik, Recovering High Dynamic Range Radiance Maps fromPhotographs, SIGGRAPH 1997”。即结合多张不同曝光时间的图像。然而，这种技术只限用于静止的图像，因为一旦两张图像中的物体有所移动，结合后的图像将会产生鬼影现象(Ghost Effect),如图1 所不。
【发明内容】
[0004]本发明提出一种拍摄高动态影片的方法，利用交错式图像感测器(InterlacedImage Sensor),在单张的画面(Frame)同时获得两种不同曝光时间的曝光信息,便可结合这两种曝光信息，因此本方法不会产生鬼影现象。值得注意的是，本方法的低运算量特性，可实时地将拍摄到的高动态范围图像呈现给使用者观看。
[0005]根据本发明的目的，提出了一种拍摄高动态范围影片的方法，其包含:利用图像感测器拍摄由多个长曝光区及多个短曝光区互相交错的原始图像，原始图像包含多个像素。多个长曝光区形成长曝光场，多个短曝光区形成短曝光场。根据长曝光场及短曝光场的每一像素的像素值，经过重建过程而形成与原始图像相同分辨率的重建的长曝光场及重建的短曝光场。以及经过结合过程，根据重建的长曝光场及重建的短曝光场的每一像素的像素值，而形成高动态范围图像。其中，像素值可为从O到2X-1的其中之一整数值，X可为该图像感测器的位数，不同像素值可对应不同亮度，多个长曝光区的长曝光时间及多个短曝光区的短曝光时间的比值可为曝光时间比(R)。
[0006]承上所述，本发明的拍摄高动态影片的方法，利用交错式图像感测器拍摄长曝光区与短曝光区交错的原始图像，并使用重建过程补上长曝光区及短曝光区缺漏的部分，而形成与原始图像相同分辨率的重建的长曝光场及重建的短曝光场，再利用结合过程将重建的长曝光场及重建的短曝光场结合而成高动态范围图像。本发明通过图像重建，解决了一般采用交错式图像感测器造成分辨率降低一半而导致图像质量下降的问题。
【专利附图】
【附图说明】
[0007]图1为根据先前技术的方法产生鬼影现象的示意图。
[0008]图2为根据本发明第一实施例的拍摄高动态影片的方法的流程图。
[0009]图3为根据本发明的由交错式图像感测器撷取的高动态范围场景的原始图像的示意图。
[0010]图4为根据本发明的长曝光场及短曝光场的示意图。
[0011]图5为根据本发明的长曝光场像素值与短曝光场像素值对应亮度的示意图。
[0012]图6为根据本发明的亮度与长曝光场及短曝光场的像素值的关系图。
[0013]图7为根据本发明的重建的长曝光场与重建的短曝光场的示意图。
[0014][标号说明]
[0015]S51?S56:步骤流程101:第一长曝光区
[0016]102:第一短曝光区103:第二长曝光区
[0017]104:第二短曝光区105:长曝光场
[0018]106:短曝光场107:重建的长曝光场
[0019]108:重建的短曝光场
【具体实施方式】
[0020]为利贵审查员了解本发明的技术特征、内容与优点及其所能达成的功效，兹将本发明配合附图，并以实施例的表达形式详细说明如下，而其中所使用的图式，其主旨仅为示意及辅助说明书之用，未必为本发明实施后的真实比例与精准配置，故不应就所附的图式的比例与配置关系解读、局限本发明于实际实施上的权利范围，合先叙明。
[0021]本发明提出一种拍摄高动态范围影片的方法，提供使用者以交错式图像感测器拍摄出具有多个长曝光区及多个短曝光区的原始图像。利用长曝光区撷取的图像信息以于重建过程中提供场景较暗的部分，并利用短曝光区撷取的图像信息以于重建过程中提供场景较亮的部分。经过重建过程及结合过程而形成高动态范围图像，避免图像质量下降的缺陷。此外，本方法具有低运算量的特性，因此使用者可实时将拍摄到的高动态范围图像呈现出。
[0022]本发明的拍摄高动态范围影片的方法，可应用于具备图像感测器的任何电子产品，例如手机、数字相机、平板计算机、笔记本型计算机。
[0023]图2为本发明第一实施例的拍摄高动态影片的方法的流程图，其流程步骤可包含如下:
[0024]S51:利用交错式图像感测器撷取高动态范围场景的原始图像。
[0025]S52:由原始图像取得分辨率为原始图像一半的长曝光场。
[0026]S53:由原始图像取得分辨率为原始图像一半的短曝光场。
[0027]S54:利用短曝光场的信息将长曝光场重建成分辨率与原始图像相同。
[0028]S55:利用长曝光场的信息将短曝光场重建成分辨率与原始图像相同。
[0029]S56:结合长曝光场及短曝光场以得到高动态范围图像。
[0030]本发明使用交错式图像感测器撷取高动态范围场景的原始图像，该交错式图像感测器可为贝尔模式(Bayer Pattern)图像感测器，其可设定第一列与第二列的曝光时间较长，其捕捉的图像信息用以重建图像场景中低亮度的部分，而第三列与第四列的曝光时间较短，其捕捉的图像信息用以重建图像场景中高亮度的部分，以此类推。因此原始图像可由分辨率为原始图像一半的多个长曝光区及分辨率为原始图像一半的多个短曝光区结合而成。接着，重建过程包含利用短曝光区的信息填补长曝光区缺漏的部分，而形成分辨率与原始图像相同的长曝光场，同时利用长曝光区的信息填补短曝光区缺漏的部分，而形成分辨率与原始图像相同的短曝光场。最后，结合过程包含结合长曝光场及短曝光场的信息，以得到高动态范围图像。
[0031]图3为本发明由交错式图像感测器撷取的高动态范围场景的原始图像的示意图。为了使以下说明更容易理解，在此使用8x8的分辨率进行说明。因此原始图像可由第一长曝光区101、第一短曝光区102、第二长曝光区103及第二短曝光区104交错组成。须说明的是，并非任一曝光区皆须具有连续二列的图像感测元件，亦可设定第一列的曝光时间较长，第二列的曝光时间较短，第三列的曝光时间较长，第四列的曝光时间较短，以此交错以撷取原始图像。此外，本实施例是以至少一列的横向的图像感测元件为曝光区，然而，本发明并不限于，亦可将曝光区定义为纵向的图像感测元件，例如第一行与第二行的曝光时间较长，而第三行与第四行的曝光时间较短。
[0032]图4为本发明长曝光场及短曝光场的示意图。请同时参阅图3及图4，长曝光场105可包含第一长曝光区101及第二长曝光区103,短曝光场106可包含第一短曝光区102及第二短曝光区104。如图4所示，长曝光场105及短曝光场106分别捕捉到场景中的不同部分。
[0033]图5为本发明长曝光场像素值与短曝光场像素值对应亮度的示意图。环境中同一亮度的光源，受到曝光时间的差异会形成不同的像素值(Pixel Value)。假设x为图像感测器的位数，则像素值可为O至2X-1之间的整数。另外，假设长曝光场的曝光时间与短曝光场的曝光时间的比值为曝光时间比(R)。则同样亮度的光源，在长曝光场与短曝光场所撷取的图像的像素值会有R倍的差异。例如于本实施例中，于相同的亮度下，若长曝光场的像素值R，则短曝光场的像素值I ;于相同的亮度下，若长曝光场的像素值2X，则短曝光场的像素值27R。须说明的是，本示意图的图像暗区超过短曝光场的撷取能力，即此时短曝光场于此图像暗区的像素值皆为O或小于某一预设值，因此于重建过程中，此暗区信息将由长曝光场所撷取的图像信息加以重建；相对地，本示意图的图像亮区超过长曝光场的撷取能力，即此时长曝光场于此图像暗区的像素值皆为255或大于某一预设值，因此于重建过程中，此亮区信息将由短曝光场所撷取的图像信息加以重建。
[0034]图6为本发明亮度与长曝光场及短曝光场的像素值的关系图。为了方便说明，在此假设图像感测器的位数为8，因此像素值的最大值为28-1=255，并假设曝光时间比R为4，长曝光场可撷取的亮度为I至1000，对应的像素值为O至255 (假设亮度I至1000皆在长曝光场的撷取能力内，亦即未过曝或过暗而损失图像细节)。由于曝光时间比R为4，因此短曝光场可撷取的亮度为4至4000 (假设亮度4至4000皆在短曝光场的撷取能力内，亦即未过曝或过暗而损失图像细节)。长曝光场的像素值O至255线性地对应到亮度I至1000，而短曝光场的像素值O至255线性地对应到亮度4至4000。在同样像素值之下，短曝光场的亮度为长曝光场的4倍，而同样亮度之下，长曝光场的像素值为短曝光场的4倍。因此，若原本图像感测器可撷取的亮度为I至1000，本发明使用交错式图像感测器可撷取的亮度可被扩充为I至4000。简言之，若原本图像感测器的动态范围比值为D，则通过本方法可得到动态范围比值为R*D的高动态范围图像。
[0035]于一具体实施例中，曝光时间比R可由使用者自行决定，当曝光时间比R决定之后，可利用一般相机的自动曝光(Auto Exposure)机制决定出曝光时间A,而长曝光场与短曝光场的曝光时间可以A作为基准而对称地伸缩，亦即，长曝光场与短曝光场的曝光时间的平均值等于A。举例来说，若曝光时间比R为3，则长曝光场的曝光时间为1.5A，而短曝光场的曝光时间为0.5A。若曝光时间比R为7,则长曝光场的曝光时间为1.75A,而短曝光场的曝光时间为0.25A。
[0036]图7为本发明的重建的长曝光场与重建的短曝光场的示意图。请同时参阅图4、图5、图6及图7。重建的长曝光场107可由短曝光场106所有像素(第一短曝光区102及第二短曝光区104)的像素乘以R倍后，与长曝光场105 (第一长曝光区101及第二长曝光区103)组合而成，而重建的短曝光场108可由长曝光场105所有像素的像素值(第一长曝光区101及第二长曝光区103)除以R倍后，与短曝光场106 (第一短曝光区102及第二短曝光区104)组合而成。由于本发明的重建过程，利用长曝光场105及短曝光场106重建出彼此缺漏部分的信息，因此不会有一般使用交错式图像感测器垂直分辨率减少一半的情况。有别于传统的图像内插法，本方法也不会有模糊(Blur)或失真(Aliasing)的缺陷。
[0037]如图7所示，在完成重建过程并获得重建的长曝光场107(分辨率8x8)及重建的短曝光场108(分辨率8x8)之后，便接着进行结合过程。结合过程包含逐一比对该重建的长曝光场107的每一像素及该重建的短曝光场108对应的每一像素的像素值。为了使以下说明更容易理解，假设重建的长曝光场107的第一列的第一个像素为a，重建的短曝光场108的第一列的第一个像素为b，像素a的像素值(Pixel Value)假设为PV(a)，而像素b的像素值假设为PV(b)。由于像素值太高或太低皆不具任何信息，因此可分别设定一预设值，例如可设定像素值的第一预设值为250及第二预设值10。像素值超过第一预设值250代表此区域亮度过高，而取得的信息皆为错误信息。像素值低于第二预设值10代表此区域亮度过低，而取得的信息亦为错误信息。
[0038]承上所述，在结合重建的长曝光场107及重建的短曝光场108的过程中会发生以下五种情况:若PV (a)大于第一预设值250，代表此区域亮度过高，已超过重建的长曝光场107的撷取能力，此时以PV (b)*R取代PV (a)作为高动态范围图像的像素值。若PV(b)小于第二预设值10，代表此区域亮度过低，已超过重建的短曝光场107的撷取能力，此时以PV (a)/R取代PV (b)作为高动态范围图像的像素值。若PV (a)小于第二预设值10，代表此区域使用长曝光时间仍然亮度过暗，因此延长第一长曝光区101及第二长曝光区103的曝光时间以解决此区域亮度过暗的问题。若PV(b)大于第一预设值250，代表此区域使用短曝光时间仍然亮度过亮，因此缩短第一短曝光区102及第二短曝光区104的曝光时间以解决此区域亮度过亮的问题。若PV (a)及PV (b)皆在第二预设值10至第一预设值250之间，则以PV(a)作为高动态范围图像的像素值。
[0039]本发明的第二实施例可参考图4来说明。第二实施例与第一实施例不同之处在于形成长曝光场105及短曝光场106之后，重建与结合过程如以下所述。如图4所示，假设像素 c，d, e, f，g, h 的像素值分别为 PV (c)，PV (d)，PV (e)，PV (f)，PV (g)，PV (h)。当欲重建长曝光场缺漏的像素g时，先判断像素e的像素值PV (e)，若PV (e)小于一第三预设值10，代表像素e不具任何信息，则以(PV (c)+PV (d))/2作为像素g的像素值PV (g)。若PV(e)介于第三预设值10至一第四预设值250之间，则以PV(e)*R作为像素g的像素值PV (g)。当欲重建短曝光场缺漏的像素h时，先判断像素d的像素值PV (d)，若PV (d)大于第四预设值250，代表像素d不具任何信息，则以(PV (e) +PV (f)) /2作为像素h的像素值PV (h)。若PV (d)介于第三预设值10至第四预设值250之间，则以PV (d)/R作为像素h的像素值PV (h)。利用以上方法将长曝光场105及短曝光场106的所有像素填补完成之后，即可完成重建过程。
[0040]承上所述，本发明的第二实施例在使用交错式图像感测器拍摄长曝光区及短曝光区互相交错的原始图像之后，不直接使用短曝光场106的像素值乘以R填补长曝光场105对应像素的像素值，而是先判断短曝光场106的像素值有意义(像素值介于10至250之间)之后，再乘以R以填补长曝光场105对应像素的像素值。如此可避免利用无意义的像素值做运算，而造成其运算结果仍然是无意义的数值。换句话说，第二实施例的重建过程与结合过程是完成于单一过程中。
[0041]综合上述，本发明提出一种拍摄高动态范围影片的方法，提供使用者以交错式图像感测器拍摄出具有多个长曝光区及多个短曝光区的原始图像。利用长曝光区撷取的图像信息以于重建及结合过程中提供场景较暗的部分，并利用短曝光区撷取的图像信息以于重建及结合过程中提供场景较亮的部分。若原本图像感测器的动态范围比值为D，则通过本方法可得到动态范围比值为R*D的高动态范围图像，其中R为曝光时间比。值得注意的是，本方法具有低运算量的特性，因此使用者可实时将拍摄到的高动态范围图像呈现出。
[0042]综合上述，可见本发明在突破先前的技术下，确实已达到所欲增进的功效，且也非熟悉该项技艺者所易于思及，再者，本发明申请前未曾公开，且其所具的进步性、实用性，显已符合专利的申请要件，爰依法提出专利申请。
[0043]当本发明的实施例参考其例示性实施例被特别显示及描述时，其可为所属【技术领域】具有通常知识者理解的是，在不脱离由上述权利要求范围及其等效物所定义的本发明的精神及范畴内，可对其进行形式及细节上的各种变更。
【权利要求】
1.一种拍摄高动态范围影片的方法，用于一电子产品，包含一图像感测器，该方法包含下列步骤: 利用该图像感测器拍摄由多个长曝光区及多个短曝光区互相交错的一原始图像，该原始图像包含多个像素； 该多个长曝光区形成一长曝光场，该多个短曝光区形成一短曝光场； 根据该长曝光场及该短曝光场的每一像素的像素值，经过一重建过程而形成与该原始图像相同分辨率的一重建的长曝光场及一重建的短曝光场；以及 经过一结合过程，根据该重建的长曝光场及该重建的短曝光场的每一像素的像素值，形成一闻动态范围图像； 其中，像素值为从O到2X-1的其中之一整数值，X为该图像感测器的位数，不同像素值是对应不同亮度，该多个长曝光区的一长曝光时间及该多个短曝光区的一短曝光时间的比值为一曝光时间比(R)。
2.根据权利要求1所述的拍摄高动态范围影片的方法，其中该每一长曝光区包含至少一列像素，该每一短曝光区包含至少一列像素。
3.根据权利要求1所述的拍摄高动态范围影片的方法，其中该图像感测器的第一列及第二列的曝光时间为该长曝光时间，第三列及第四列的曝光时间为该短曝光时间。
4.根据权利要求1所述的拍摄高动态范围影片的方法，其中该重建过程包含: 将该多个长曝光区的每一像素的像素值除以该曝光时间比(R)，以对应填补该多个短曝光区的缺漏部分，并与该多个短曝光区组合而成该重建的短曝光场；以及 将该多个短曝光区的每一像素的像素值乘以该曝光时间比(R)，以对应填补该多个长曝光区的缺漏部分，并与该多个长曝光区组合而成该重建的长曝光场。
5.根据权利要求4所述的拍摄高动态范围影片的方法，其中该结合过程包含逐一比对该重建的长曝光场的每一像素及该重建的短曝光场对应的每一像素的像素值，并根据比对结果进行以下步骤: 当该重建的长曝光场的像素值大于一第一预设值，则以该重建的短曝光场的像素值乘以R取代该重建的长曝光场的像素值作为该高动态范围图像的像素值；以及 当该短曝光场的像素值小于一第二预设值，则以该重建的长曝光场的像素值除以R取代该重建的短曝光场的像素值作为该高动态范围图像的像素值。
6.根据权利要求5所述的拍摄高动态范围影片的方法，其中该结合过程还包含: 当该重建的长曝光场的像素值小于该第二预设值，则延长该多个长曝光区的该长曝光时间； 当该重建的短曝光场的像素值大于该第一预设值，则缩短该多个短曝光区的该短曝光时间；以及 当该重建的长曝光场及该重建的短曝光场的像素值皆介于该第一预设值与该第二预设值之间，则以该重建的长曝光场的像素值作为该高动态范围图像的像素值。
7.根据权利要求6所述的拍摄高动态范围影片的方法，其中该第一预设值为250，该第二预设值为10。
8.根据权利要求1所述的拍摄高动态范围影片的方法，其中该重建过程及该结合过程包含对该多个长曝光区缺漏部分的每一像素进行以下步骤: 当该多个长曝光区缺漏部分的一像素对应的短曝光区的像素的像素值小于一第三预设值，则以该多个长曝光区缺漏部分的该像素对应的上下长曝光区的两像素的像素值的平均值作为该像素的像素值；以及 当该多个长曝光区缺漏部分的一像素对应的短曝光区的像素的像素值介于该第三预设值与一第四预设值之间，则以该多个长曝光区缺漏部分的该像素对应的短曝光区的像素的像素值乘以R作为该像素的像素值。
9.根据权利要求8所述的拍摄高动态范围影片的方法，其中该重建过程还包含对多个短曝光区缺漏部分的每一像素进行以下步骤: 当该多个短曝光区缺漏部分的一像素对应的长曝光区的像素的像素值大于该第四预设值，则以该多个短曝光区缺漏部分的该像素对应的上下短曝光区的两像素的像素值的平均值作为该像素的像素值；以及 当该多个短曝光区缺漏部分的一像素对应的长曝光区的像素的像素值介于该第三预设值与该第四预设值之间，则以该多个短曝光区缺漏部分的该像素对应的短曝光区的像素的像素值除以R作为该像素的像素值。
10.根据权利要求9所述的拍摄高动态范围影片的方法，其中该第三预设值为10，该第四预设值为250。
【文档编号】H04N5/355GK104349069SQ201310373742
【公开日】2015年2月11日 申请日期:2013年8月23日 优先权日:2013年7月29日
【发明者】杨文助, 林耿生 申请人:广达电脑股份有限公司