专利名称：全景图像的结合程度的实时提示方法
技术领域：
本发明涉及一种摄影方法，且特别是有涉及一种全景图像的接合程度的实时提示
方法。
背景技术：
—般来说，于全景图像摄像时，多是使用者自行以手动方式依序移动数字摄像装 置，同时依序进行拍摄，以取得多个图像。于拍摄时，使用者会自行调整取景位置，使所拍摄 得的多个图像皆有部分重迭。然后，使用者再将此些图像自数字摄像装置传送至计算机，并 于计算机上进行此些具有部分重迭的图像的合成处理。于此，是利用安装于计算机上的图 像处理软件将此些图像的重迭部分接合在一起，以产生一全景图像。 然而，使用特定的图像处理软件来进行接合图像以产生全景图像，此方式使用者 不仅要在计算机上安装此图像处理软件，还要学习如何使用此图像处理软件。而且，图像处 理软件的功能也相当复杂，使用者并不见得会具有此方面的知识及能力。因此，此种方式对 于使用者而言，存在有相当的难度。 再者，对于由使用者自行调整取景位置的方法，使用者需要更专业的拍摄技巧，并 且要具备相当程度的图像辨识能力，否则会造成后续图像接合时难度提高，或图像接合的 效果不佳。 如上所述，一般的数字摄像装置未能提供使用者简易便利的方式来拍摄全景图 像，因而造成全景拍摄对于使用者来说相当不容易。 相关技术与研究可参考美国专利第7， 289， 147及7， 050， 085号、以及美国专利申 请案公开第20070200926、20080043093及20080266408号等。
发明内容
鉴于以上的问题，本发明提供一种全景图像的接合程度的实时提示方法，以解决 先前技术的全景拍摄方法，由于没有高成功率的有效拍摄的方式，导致全景相片容易拍摄 失败的问题。 本发明所公开的全景图像的接合程度的实时提示方法应用于一数字摄像装置。数
字摄像装置储存有先前拍摄的一第一图像。 于此，先撷取第一图像的边缘以得到边缘图像。 检测第二图像。 合并边缘图像与第二图像的局部图像。 显示合并后的第二图像于数字摄像装置的屏幕上。其中边缘图像会与第二图像的 局部图像重迭显示。 并且，计算边缘图像与局部图像重迭的关连性数值。 然后，显示相应关连性数值的提示信号于数字摄像装置的屏幕上。 其中，撷取第一图像的边缘以得到边缘图像的步骤可包括下列步骤。将第一图像
4区分成多个图像区块，并将每个图像区块的图像成份量化为特征数值。从第一图像的边缘 开始，依序累计量化后的特征数值以得到一累计值。并且，根据累计值，合并对应已累计特 征数值的图像区块为边缘图像。 其中，图像成份可为高频成份或特征成份。特征成份可为边缘、线、或锐角等特征。
其中，根据累计值合并对应已累计特征数值的图像区块为边缘图像的步骤可包 括，当累计值累计达一预定值时，合并已累计特征数值的图像区块为边缘图像。
其中，计算边缘图像与局部图像的关连性数值的步骤可包括下列步骤。分析边缘 图像与局部图像的特征点。比对边缘图像的特征点与局部图像的特征点，以得到边缘图像 与局部图像之间相同的特征点。然后，根据比对得的相同的特征数值产生关连性数值。
此外，计算边缘图像与局部图像的关连性数值的步骤可包括下列步骤。取得局部 图像的一列像素，并且取得边缘图像中对应取得的局部图像的一列像素的一列像素。接着， 比较取得的局部图像的一列像素中每个像素的像数值与取得的边缘图像的一列像素中相 同对应位置的像素的像数值。然后，统计像数值的比较结果以得到边缘图像与局部图像的 关连性数值。其中，取得的边缘图像的一列像素合并后显示于屏幕上时会与取得的局部图 像的一列像素重迭。 其中，合并边缘图像与局部图像的步骤可包括，转换边缘图像为单色，并合并单色 的边缘图像与局部图像。 综上所述，根据本发明的全景图像的接合程度的实时提示方法应用于数字摄像装 置时，在拍摄时，数字摄像装置能够显示提示信号来提供使用者前一张图像与即将拍摄的 图像之间接合效果的信息，以提高后续制成全景图像的成功率，并且大幅降低使用者拍摄 全景图像失败的发生率。 有关本发明的特征、实例与功效，现配合附图作最佳实施例详细说明如下。
图1为根据本发明第一实施例的全景图像的接合程度的实时提示方法的流程图；
图2A为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的显 示第一图像的示意图； 图2B为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的第 一图像及边缘图像的示意图； 图3A为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的显 示边缘图像、第二图像及提示信号的示意图； 图3B为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的第 一图像和第二图像的对应关系的示意图； 图4为根据本发明第二实施例的全景图像的接合程度的实时提示方法的流程图；
图5为根据本发明第三实施例的全景图像的接合程度的实时提示方法的流程图；
图6为根据本发明第四实施例的全景图像的接合程度的实时提示方法的流程图；
图7为根据本发明第五实施例的全景图像的接合程度的实时提示方法的流程图；
图8为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的显示 全景图像的示意 图9为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的撷取 第一图像的边缘的流程图； 图IO为于根据本发明的全景图像的接合程度的实时提示方法中，一实施例的量 化后图像区块的示意图； 图11为根据本发明的全景图像的接合程度的实时提示方法中，一实施例的合并 边缘图像与局部图像的流程图； 图12为根据本发明的全景图像的接合程度的实时提示方法中，第一实施例的计 算关连性数值的流程图； 图13为根据本发明的全景图像的接合程度的实时提示方法中，第二实施例的计 算关连性数值的流程图；以及 图14为于第二实施例的计算关连性数值中，一实施例的第一图像和第二图像的 对应关系的示意图。其中，附图标记10数字摄像装置11屏幕12第一图像12-1图像区块12-2图像区块12-3图像区块12-n图像区块13边缘图像13'半透明状的边缘图像14第二图像15局部图像16提示信号18全景图像0特征数值1特征数值L13 —列像素L15 一列像素
具体实施例方式
以下叙述的关于本发明的详细特征以及优点，其内容足以使任何本领域的技术人 员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求书以及附
图，本领域的技术人员可轻易地理解本发明相关的目的及优点。
图1为根据本发明一实施例的全景图像的接合程度的实时提示方法的流程图。
此全景图像的接合程度的实时提示方法应用于一数字摄像装置IO，且可用以辅助 使用者进行全景拍摄。 数字摄像装置10中储存有先前拍摄的第一图像12，如图2A所示。 请参照图1及图2B，数字摄像装置10会撷取第一图像12的边缘以得到一边缘图
像13(步骤110)。 然后，数字摄像装置10检测前方待拍摄的图像作为第二图像14(步骤120)。
将边缘图像13与第二图像14的局部图像15合并(步骤130)，并且将与边缘图像 13合并后的第二图像14显示于屏幕11上(步骤140)，如图3B所示。
其中，第二图像14的局部图像15即是于屏幕11上，第二图像14与半透明状的边 缘图像13'重迭的区域的图像。换言之，于屏幕11上边缘图像13与第二图像14的局部图 像15呈现重迭，即可于屏幕11上第二图像14的局部图像15处看见呈现半透明状的边缘图
6像13'。例如边缘图像13可以50%以上的透明度呈现于第二图像14的局部图像15上。
于此，可将边缘图像13的像素值减半，并将第二图像14的局部图像15的像素值 减半。然后，将减半后的边缘图像13的每个像素与相对应像素位置的减半后的局部图像15 的像素相加，以得到与边缘图像13合并后的第二图像14。换言之，边缘图像13和局部图像 15系位在合并后的第二图像14的相同区域上。 其中，参照图3B，第一图像12的边缘图像13和第二图像14的局部图像15可作为 之后第一图像12与第二图像14相互接合的图像区域。换言之，于屏幕11上，半透明状的 边缘图像13'可重迭于位于第二图像14边缘的欲接合图像(即局部图像15)上。S卩，第一 图像12的边缘图像13的尺寸会相同于第二图像14的局部图像15的尺寸。
请再参照图1及图3A，此时，数字摄像装置10会计算边缘图像13和第二图像14 的局部图像15的关连性数值的关连性数值(步骤150)，并且显示相应关连性数值的提示信 号16于屏幕ll上(步骤160)。 虽然上述以步骤110至步骤160依序描述，但并非本发明的限制。于实际运作上， 可配合数字摄像装置10内置处理器的能力及软件设计来适当地调整上述步骤的执行顺序。 举例来说，参照图4，首先，撷取第一图像12的边缘以得到边缘图像13，并检测第 二图像14(步骤210)。换言之，边缘图像13的撷取与检测第二图像14可同时进行。或者 是，先检测第二图像14，再进行边缘图像13的撷取。 接着，合并边缘图像13与局部图像15，并计算边缘图像13和第二图像14的局部 图像15的关连性数值(步骤220)。换言之，边缘图像13与局部图像15的合并处理及关连 性数值的计算可同时进行。或者是，先计算关连性数值，再进行边缘图像13与局部图像15 的合并处理。 最后，显示与边缘图像13合并后的第二图像14和相应关连性数值的提示信号16 于屏幕11上(步骤230)。换言之，合并后的第二图像14和提示信号16可同时显示，或是 依序显示。 其中，提示信号16可以百分比数值(如图3B所示)来实现。利用百分比数值来 表示出第一图像12的边缘图像13与第二图像14的局部图像15之间的相似度。
提示信号16亦可以色块来实现(图中未显示)。通过于屏幕11上显示不同颜色 的色块来表示出第一图像12的边缘图像13与第二图像14的局部图像15的间的相似度。
再者，提示信号16还可以简单的数值来实现(图中未显示)。举例来说，以O-IO 的数值来表示出第一图像12的边缘图像13与第二图像14的局部图像15之间的相似度。
然而，亦可以先预设一临界值，当关连性数值低于此临界值时，才显示出提示信号 16以告知使用者第一图像12的边缘图像13与第二图像14的局部图像15之间的相似度不 佳。举例来说，当第一图像12的边缘图像13与第二图像14的局部图像15之间的相似度 低于90%时，屏幕11会显示出以符号、数字等表示的提示信号16以告知相似度不佳。
于此，数字摄像装置10除了显示出提示信号16之外，当关连性数值过低(例如 低于临界值)时，数字摄像装置IO亦可发出一警示信号，以通知使用者第一图像12的边缘 图像13与第二图像14的局部图像15之间的相似度不佳(步骤240)，如图5所示。此警示 信号可于屏幕11上显出文字、符号或图案等信息或是直接发出声音来通知使用者。
7
再者，于关连性数值过低(例如低于临界值)时，数字摄像装置IO亦可产生一锁 定信号，以锁定数字摄像装置10的摄像功能(步骤242)，如图6所示。换言之，当关连性数 值过低(例如低于临界值)时，因摄像功能响应锁定信号而锁定，因此使用者将无法进行 摄像的动作。 此外，数字摄像装置IO会随着前方待拍摄的图像(即第二图像14)的改变，重新 合并边缘图像13和第二图像14的局部图像15，并重新计算第一图像12的边缘图像13和 第二图像14的局部图像15的关连性数值。然后，将重新合并后的第二图像14和相应重新 计算得的关连性数值的提示信号16于屏幕11上。 请参照图7，数字摄像装置10持续检测第二图像14以确定第二图像14是否改变 (步骤170)。当第二图像14改变时，则回到步骤130以重新合并边缘图像13和第二图像 14的局部图像15，以显示重新合并后的第二图像14(步骤140)。并且，重新计算第一图像 12的边缘图像13和第二图像14的局部图像15的关连性数值(步骤150)，以显示重新合 并后的第二图像14和相应重新计算得的关连性数值的提示信号16(步骤160)。如此一来， 当数字摄像装置IO移动拍摄位置时，第二图像14会随之改变，并且屏幕11上显示提示信 号16则会相应第二图像14而随之改变。因此，使用者即可通过数字摄像装置10上显示的 提示信号16来判断第一图像12与第二图像14的接合效果，以决定第二图像14的拍摄位 置。 举例来说，当使用者欲进行全景拍摄时，使用者先将数字摄像装置10的模式切换 至全景拍摄模式。然后，使用者可使用数字摄像装置10拍摄得第一图像12，如图2A所示。 接续要拍摄下一张图像(即第二图像14)时，数字摄像装置10会撷取第一图像12的边缘 图像13。于数字摄像装置IO检测到前方的待拍摄图像(即第二图像14)时，将边缘图像 13和第二图像14的局部图像15合并。此时屏幕11上会同时呈现出数字摄像装置10前方 的待拍摄图像(即第二图像14)和与第二图像14的局部图像15相互重迭的半透明状的边 缘图像13'，如图3A所示。并且，数字摄像装置IO会计算第一图像12的边缘图像13与第 二图像14的局部图像15之间的关连性数值，并显示相应此关连性数值的提示信号16于屏 幕11上，如图3A所示。并且，当使用者移动数字摄像装置10时，数字摄像装置10上显示 的提示信号16会随着前方待拍摄图像(即第二图像14)的改变而随的改变。
如此一来，使用者即可通过数字摄像装置10上显示的提示信号16来判断第一图 像12与第二图像14的接合效果。例如当提示信号16呈现100%时，即表示第一图像12 的边缘图像13与第二图像14的局部图像15极为相似，因此于后续接合时，第一图像12与 第二图像14的结合成功率极高。换句话说，应用根据本发明的全景图像的接合程度的实时 提示方法的数字摄像装置10可实时显示相应于第一图像12与第二图像14的结合成功率 的提示信号16，以于使用者利用数字摄像装置10进行全景拍摄时，辅助使用者进行每个场 景的区块图像(例如，上述的第一图像12和第二图像14)的拍摄。并且，于使用者完成每个 场景的区块图像的拍摄后，数字摄像装置IO可将所摄得的区块图像接合成一全景图像18， 如图8所示。 其中，可通过累计第一图像12的图像成份来决定于撷取得的边缘图像13。换言
之，可根据第一图像12的边缘处的特征状态来决定边缘图像13的大小。 请参照图9和图10，首先将第一图像12区分多个图像区块12-1、 12-2、 12-3 12-n(为方便说明，以下通称为12')，并且将每一个图像区块12'的图像成份量化为一特征 数值(例如图8中所示的0和1)(步骤112)。于此，n为正整数。其中，图像成份可为高 频成份或特征成份。特征成份可为边缘、线、或锐角等特征。 接着，从边缘开始依序累计每一个图像区块12'的特征数值为一累计值(步骤 114)。举例来说，可由图8所示的第一图像12的右侧向左侧依序累计每个图像区块12'的 特征数值。 然后，根据累计值合并已累计的特征数值的图像区块12'以作为第一图像12的边 缘图像13(步骤116)。其中，数字摄像装置10中已先预设一预定值。当每一图像区块12' 的特征数值累计后，所得的累计值会与预定值相比较。当累计值未达预定值时，则继续累加 上下一个图像区块12'的特征数值。而当累计值达预定值时，则将进行图像区块12'的合 并，以将其特征数值已累计到累计值中的图像区块12'合并成一个完整图像，以作为边缘图 像13。也就是说，数字摄像装置10在进行图像区块12'的特征数值累计时，会先记录已累 计的图像区块12'，以便于当累计值达预定值时，可进行已累计的图像区块12'的合并。
举例来说，数字摄像装置10先累计图像区块12-1的特征数值以得第一累计值。当 第一累计值未达预定值时，数字摄像装置10则继续将图像区块12-2的特征数值累加至得 第一累计值，以得到第二累计值。当第二累计值未达预定值时，数字摄像装置10则继续将 图像区块12-3的特征数值累加至得第二累计值，以得到第三累计值。当第三累计值达预定 值(即大于或等于预定值)时，数字摄像装置10则将图像区块12-l、12-2、12-3合并以获 得边缘图像13。 再者，于边缘图像13可以单色方式表现。参照图11，数字摄像装置10先将第一图 像12的边缘图像13转换成单色(步骤132)，并且转换成单色后的边缘图像与第二图像14 的局部图像15合并(步骤134)。然后，再将与边缘图像13合并后的第二图像14显示于屏 幕11上，即，屏幕11上显示有第二图像14且于显示在屏幕11的边缘处的第二图像14上 呈现有半透明状的边缘图像13'(步骤140)。
图12为第一实施例的计算关连性数值的流程图。 请参照图12，于关连性数值计算上，数字摄像装置IO会先分析第一图像的边缘图
像13的特征点以及第二图像14的局部图像15的特征点(步骤152)。 将第一图像的边缘图像13的特征点与第二图像14的的局部图像15的特征点做
比对，以得到边缘图像13与局部图像15的间相同的特征点(步骤154)。 根据比对得的相同的特征点产生关连性数值(步骤156)。 此夕卜，也可以边缘图像13与第二图像14的局部图像15重迭后(即合并后)相同
位置处的一列像素进行统计来得到关连性数值。 图13为第二实施例的计算关连性数值的流程图。 请参照图13，首先，分别取得边缘图像13与局部图像15中相互对应的一列像素 L13、L15 (步骤151)，如图14所示。换言之，边缘图像13的一列像素L13会与局部图像15 的一列像素L15合并。并且，合并后屏幕11上会显示半透明状的边缘图像13'和第二图 像14时，半透明状的边缘图像13'的一列像素L13会与局部图像15的一列像素L15重迭。 即，边缘图像13的一列像素L13与局部图像15的一列像素L15于相对位置上系为相同。
再将边缘图像13的一列像素L13中的像素逐一与局部图像15的一列像素L15中
9的相同对应位置的像素相比对(步骤153)。其中，边缘图像13的一列像素L13中的像素会 分别对应于局部图像15的一列像素L15中的像素，以致于相对应的像素于淡化后的边缘图 像13和局部图像15重迭时会位于相同位置，即相互重迭。于此，即依序比对边缘图像13 的一列像素L13中与局部图像15的一列像素L15中相互对应的像素的像素值。
然后，统计相互对应的像素的像素值的比较结果以得到边缘图像13与局部图像 14的关连性数值(步骤155)。 于此，可通过软件或韧体程序内置于数字摄像装置10的内存中，再由数字摄像装 置10的执行内置的软件或韧体程序来实现根据本发明的全景图像的接合程度的实时提示 方法。其中，数字摄像装置10除了屏幕11夕卜，还可设置有摄像模块、内存和处理器。于此， 摄像模块可用以进行第一图像12和第二图像14的拍摄。内存可设置有一个或多个。内 存可用以储存拍摄得的第一图像12和第二图像14，各种预先设定好的数值(例如上述的 临界值和预定值等)、处理器进行各种运算处理所需的执行程序，以及处理器于运算处理过 程中需要暂存的图像和数值等数据(例如上述的第一图像的边缘图像、第二图像、图像区 块、特征数值、累计值和像素值等)。处理器亦可设置有一个或多个。处理器则用以依据内 存所储存的执行程序进行图像检测、图像撷取、图像合并、图像成份量化、关连性数值计算 和显示等运作的执行处理。 综上所述，根据本发明的全景图像的接合程度的实时提示方法应用于数字摄像装 置时，在拍摄时，数字摄像装置能够显示提示信号来提供使用者前一张图像与即将拍摄的 图像之间接合效果的信息，以提高后续制成全景图像的成功率，并且大幅降低使用者拍摄 全景图像失败的发生率。
10
权利要求
一种全景图像的接合程度的实时提示方法，应用于一数字摄像装置，该数字摄像装置储存有先前拍摄的一第一图像，其特征在于，包括撷取该第一图像的边缘以得到一边缘图像；检测一第二图像；合并该边缘图像与该第二图像的一局部图像；显示合并后的该第二图像于该数字摄像装置的该屏幕上，其中该边缘图像与该第二图像的该局部图像重迭显示；计算该边缘图像与该局部图像的一关连性数值；以及显示相应该关连性数值的一提示信号于该数字摄像装置的该屏幕上。
2. 如权利要求1所述的全景图像的接合程度的实时提示方法，其特征在于，该撷取该 第一图像的边缘以得到一边缘图像的步骤，包括将该第一图像区分成多个图像区块； 将每个该图像区块的一图像成份量化为一特征数值；从该第一图像的边缘开始，依序累计量化后的该特征数值以得到一累计值；以及 根据该累计值，合并该多个图像区块中已累计该特征数值的至少一图像区块为该边缘 图像。
3. 如权利要求2所述的全景图像的接合程度的实时提示方法，其特征在于，该将每个 该图像区块的一图像成份量化为一特征数值的步骤，包括将每个该图像区块的一高频成 份量化为一特征数值。
4. 如权利要求2所述的全景图像的接合程度的实时提示方法，其特征在于，该将每个 该图像区块的一图像成份量化为一特征数值的步骤，包括将每个该图像区块的一特征成 份量化为一特征数值。
5. 如权利要求2所述的全景图像的接合程度的实时提示方法，其特征在于，该根据该 累计值，合并该多个图像区块中已累计该特征数值的至少一图像区块为该边缘图像的步 骤，包括当该累计值累计达一预定值时，将已累计该特征数值的该至少一图像区块合并为 该边缘图像。
6. 如权利要求1所述的全景图像的接合程度的实时提示方法，其特征在于，该计算该 边缘图像与该局部图像的一关连性数值的步骤，包括分析该边缘图像的至少一特征点与该局部图像的至少一特征点；比对该边缘图像的该至少一特征点与该局部图像的该至少一特征点，以得到该边缘图 像与该局部图像之间相同的特征点；以及根据比对得的该相同的特征点产生该关连性数值。
7. 如权利要求1所述的全景图像的接合程度的实时提示方法，其特征在于，该计算该 边缘图像与该局部图像的一关连性数值的步骤，包括取得该局部图像的一列像素；取得该边缘图像中对应取得的该局部图像的该列像素的一列像素，其中合并后的该边 缘图像的该列像素重迭于取得的该局部图像的该列像素；比较取得的该局部图像的该列像素中每个该像素的像素值与取得的该边缘图像的该 列像素相同对应位置的该像素的像素值；以及统计该像素值的比较结果以得到该边缘图像与该局部图像的该关连性数值。
8.如权利要求1所述的全景图像的接合程度的实时提示方法，其特征在于，该合并该 边缘图像与该第二图像的一局部图像的步骤，包括 转换该边缘图像为单色；以及合并单色的该边缘图像与该第二图像的该局部图像。
全文摘要
本发明公开了一种全景图像的结合程度的实时提示方法，应用于数字摄像装置。于此，首先，撷取第一图像的边缘以得到边缘图像，并检测第二图像。接着，合并边缘图像与第二图像的局部图像，并计算边缘图像和第二图像的局部图像的关连性数值。然后，显示与边缘图像合并后的第二图像和相应关连性数值的提示信号于屏幕上。本发明可以提高后续制成全景图像的成功率，并且大幅降低使用者拍摄全景图像失败的发生率。
文档编号H04N5/232GK101753830SQ20081018812
公开日2010年6月23日 申请日期2008年12月18日 优先权日2008年12月18日
发明者李运锦, 杨庆隆 申请人:华晶科技股份有限公司