专利名称：全周鸟瞰影像无缝接合方法与系统的制作方法
技术领域：
本发明涉及一种影像处理技术，特别是涉及一种全周鸟瞰影像无缝接合方法与系统。
背景技术：
影像辅助驾驶的技术已经行之有年，然而现有的影像辅助驾驶的技术中，多半是 撷取影像之后，直接显示给使用者。虽然有可取之处，但是随着影像撷取单元的数量增加， 在一个显示器中显示多个影像，对于驾驶者而言反而是一种视觉负担。因此，鸟瞰影像的重 组技术便应运而生。在先进安全车辆的设计中，以利用架设于载具周围的相机发展影像式 的全周鸟瞰辅助驾驶系统，为近年来各车厂及车辆系统商的主要研发技术。藉由影像转换 与处理，将一般影像撷取单元所撷取的影像进行鸟瞰转换，再予以拼接组合以形成的全周 鸟瞰影像，可以提供驾驶者参考，进而提升驾驶的安全性。然而要将各个位置的环境影像重组形成鸟瞰影像的其中之一要件就是要如何决 定在相邻的两的影像撷取单元所撷取的影像中共同重迭的区域所形成的影像。在现有技术 中，如美国公开号US. Pub. No. 2007/0003108揭示一种鸟瞰影像处理技术，在该技术中对于 两相邻影像的结合之间则具有屏蔽线作为相邻影像间的区隔。因此在该技术中，对于影像 无缝接合的技术并无相关的揭示。对于这类的技术，由于载具各方向所取得的影像没有做 完整的接合动作，因此可能需要在两两影像重迭区域范围内，辅以车用超音波雷达传感器 来达到警示效果，但如此可能在成本上是一额外负担。此外在美国公开号US. Pat. No. 2006/0202984则教导针对相机架设高度来决定采 用的俯角，产生单一鸟瞰影像后，根据取得的重迭区域去裁切出全周鸟瞰影像，最后利用载 具移动关系去模拟出较大的全周鸟瞰画面进行布局。日本特开平2008-048317则教导一种 当两影像组合时，特征物体重迭的处理方式，该技术根据重迭区域内所出现的物体所占的 比重，来决定该重达区块采用的相机信息进行布局。也就是说，该技术以权重比高的影像作 为重迭区域的影像，也就是保留权重比高的影像，而删除权重比低影像中的重迭区域部分， 最后拼接成全区域鸟瞰影像。又在美国公开号US. Pat. No. 2009/0097708则教导一种针对 不同的相机架设模式，参考一对应平面后，判断重迭区域的多寡，利用拼接的方式产生接缝 式的全周鸟瞰影像。又如日本特开平2006-121587也揭示一种针对不同相机的视野涵盖 范围，去找出重迭区域的位置后，改变不同模式的接缝式的显示模式，进而产生全周鸟瞰影 像。前述这四个专利技术内容主要针对相机的架设位置信息来转换鸟瞰影像后，参考重迭 区域去做接合动作或是用显示模式的选择来决定全周鸟瞰画面的四周信息。另外，又如美国专利US. Pat. No. 7，161，616则揭示一种合成鸟瞰影像的技术，该 技术对于重迭区域的影像处理是利用各影像中的对应像素所具有的特征乘上一权值，再除 以权值的总和。
发明内容
本发明提供一种全周鸟瞰影像无缝接合方法与系统，其是针对不同载具搭配不同
4视野涵盖范围的相机，利用校正技术和鸟瞰转换算法法则，辅以已知的地平面特征点信息， 达到全周鸟瞰无接缝式的画面呈现技术，让使用者完整掌握载具移动时，载具的运动方向 状态和周遭环境完整的对应关系，以避免接缝处造成使用者在驾驶时的误判。在一实施例中，本发明提供一种全周鸟瞰影像无缝接合方法，其包括有下列步骤 提供多张环境影像；对该多张环境影像进行视角转换以形成多张鸟瞰影像；取得相邻两鸟 瞰影像所具有的一重迭区域；藉由多次的权重运算以得到每一相邻两鸟瞰影像间的一迭合 影像，每一次的权重运算还包括有下列步骤求得每一迭合影像中的每一迭合像素与该重 迭区域中关于该两相邻重达影像的一边界距离；根据该边界距离决定关于该每一迭合影像 的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重；以及将该两相邻鸟瞰影像中 对应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运 算以得到关于该迭合像素的一迭合特征；以及将该多张鸟瞰影像中所具有的非重迭影像以 及相邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号。在另一实施例中，本发明还提供一种全周鸟瞰影像无缝接合系统，包括多个影像 撷取单元，其分别设置于一载具的不同位置上，每一影像撷取单元产生一环境影像；一控制 单元，其接收该多张环境影像，该控制单元对该多张环境影像进行视角转换以形成多张鸟 瞰影像，并取得相邻两鸟瞰影像所具有的一重迭区域，再藉由一权重运算以得到每一相邻 两鸟瞰影像间的一迭合影像，该控制单元求得每一迭合影像中的每一迭合像素与该重迭区 域中关于该两相邻重迭影像的一边界距离，然后根据该边界距离决定关于该每一迭合影像 的两相邻鸟瞰影像所分别具有的一第一权重以及一第二权重，再将该两相邻鸟瞰影像中对 应该迭合像素的像素所分别具有的一影像特征以及该第一权重以及该第二权重进行运算 以得到关于该迭合像素的一迭合特征，再将该多张鸟瞰影像中所具有的非重迭影像以及相 邻鸟瞰影像间的迭合影像进行组合以得到一全周鸟瞰影像讯号；以及一显示单元，其设置 于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰影像讯号，并显示对应的 全周鸟瞰影像。
图1为本发明的全周鸟瞰影像无缝接合方法实施例流程示意图。图2A为各个影像撷取单元所撷取的影像示意图。图2B为各个环境影像转换成鸟瞰影像示意图。图2C为鸟瞰影像中的特征点示意图。图2D为相邻两鸟瞰影像调整示意图。
图2E为相邻两鸟瞰影像根据权重迭合完成示意图。图2F为经过影像处理之后所形成的全周鸟瞰影像示意图。图3为本发明的寻找重迭区域流程示意图。图4为本发明的权重运算流程示意图。图5A与图5B为本发明的全周鸟瞰影像无缝接合系统实施例示意图。附图符号说明2-全周鸟瞰影像无缝接合方法20 25-步骤
220 222-步骤230 232-步骤3-全周鸟瞰影像无缝接合系统30-影像撷取单元31-控制单元310-影像接收接口311-运算处理单元312-影像输出接口313-存储模块3130-静态随机存取存储器3131-闪存314-电源界面315-载具讯号接口32-显示单元90-载具900 903-影像撷取单缘91 94-环境影像91a 94a_鸟瞰影像910、940-物体95、96-影像撷取范围97-重达区域98-全周无接缝的鸟瞰影像981-重迭合成区域
具体实施例方式为对本发明的特征、目的及功能有更进一步的认知与了解，下文特将本发明的装 置的相关细部结构以及设计的理念原由进行说明，以使得可以了解本发明的特点，详细说 明陈述如下请参阅图1所示，该图为本发明的全周鸟瞰影像无缝接合方法实施例流程示意 图。该方法首先以步骤20提供多张环境影像。该环境影像为可以为关于一载具的周围 环境影像。该载具可以为可动的移动载具，例如车辆。而产生该多张环境影像的方式， 可以在该载具的不同位置上分别设置多个影像撷取单元，例如电耦合感测组件(charged coupled device, CCD)或者是互补金属氧化物半导体(complementary metal oxide semiconductor, CMOS)的感光组件。藉由该多个影像撷取单元分别撷取该载具周围的环 境影像。以形成如图2A的状态，图2A为各个影像撷取单元所撷取的影像示意图。在图2A 中，载具90上的前、后、左与右各设置有一影像撷取单元900 903，其分别所撷取环境影像 91 94。再回到图1所示，接着进行步骤21，对该多张环境影像进行视角转换以形成多张 鸟瞰影像。在本步骤中，主要是为由架设于不同位置的影像撷取单元所取得的环境影像后，利用校正技术消除鱼眼或者是变形的效应，然后将各个环境影像转换成鸟瞰平面的鸟瞰影 像，以形成图2B所示的状态。在图2B中，鸟瞰影像91a 94a，分别对应该载具的前、后，左 与右侧的环境影像91 94。至于消除与眼以及转换成鸟瞰影像的影像处理技术属于已有 的技术，在此不作赘述。再回到图1所示，接着进行步骤22，取得相邻两鸟瞰影像所具有的一重迭区域。如 图2A所示，以影像撷取单元900与903为例，影像撷取单元900与903所具有的影像撷取 范围95与96具有重迭的部分，也就是说，关于该载具的环境影像91与94中会具有重迭的 物体。因此，在图2B中，经过鸟瞰视角转换所形成的相邻的鸟瞰影像，例如鸟瞰影像91a 与93a、鸟瞰影像91a与94a、鸟瞰影像92a与93a以及鸟瞰影像9 与94a间会有重迭的 区域。因此，藉由步骤22可以将重迭区域找出。请参阅图3所示，该图为本发明的寻找重 迭区域流程示意图。首先以步骤220，决定一参考平面。在本步骤中，该参考平面可以为地 平面为主，但不以此为限。接着进行步骤221，于该相邻的鸟瞰影像中寻找出，落于该参考平 面上且相互对应的至少一特征点。如图2C所示，该图为鸟瞰影像中的特征点示意图。在图 2C中，于鸟瞰影像91a与94a中，分别具有对应的物体910与940，而物体910与940上则 可以寻找出落于参考平面上的特征点Pl与P2以及ΡΓ与P2’。要说明的是，该特征点可为 图样、线条、文字，但不以此为限。个别寻找出对应的特征点之后，再来进行步骤222，对该两相邻的鸟瞰影像进行影 像的几何调整，使两相邻的鸟瞰影像中相对应的该至少一特征点的对应误差最小。该误差 为该两相邻的鸟瞰影像中相对应的至少一特征点所具有的特征信息差值的平均平方和，其 可以表示成如下式(1)所示
权利要求
1.一种全周鸟瞰影像无缝接合方法，其包括有下列步骤 提供多张环境影像；对该多张环境影像进行视角转换以形成多张鸟瞰影像； 取得相邻两鸟瞰影像所具有的一重迭区域；藉由多次的权重运算以得到每一相邻两鸟瞰影像间的一迭合影像，每一次权重运算还 包括有下列步骤求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭影像的一边 界距离；根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分别具有的一第一权 重以及一第二权重；以及将该两相邻鸟瞰影像中对应该迭合像素的像素所分别具有的一影像特征以及该第一 权重以及该第二权重进行运算以得到关于该迭合像素的一迭合特征；以及将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影像进行组合 以得到一全周鸟瞰影像讯号。
2.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该影像特征为亮度以及色彩。
3.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中决定该重迭区域还包括有下 列步骤决定一参考平面；于该相邻的鸟瞰影像中寻找出，落于该参考平面上且相互对应的至少一特征点；以及 对相邻的两鸟瞰影像进行调整，使两相邻的鸟瞰影像中相对应的该至少一特征点的对应误差最小。
4.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该特征点为该鸟瞰影像中的 线条、图样或者是文字信息。
5.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该调整方式为藉由旋转、缩 放或平移的方式进行调整。
6.如权利要求3所述的全周鸟瞰影像无缝接合方法，其中该误差为该两相邻的鸟瞰影 像中相对应的至少一特征点所具有的特征信息差值的平均平方和。
7.如权利要求6所述的全周鸟瞰影像无缝接合方法，其中该特征信息为亮度或色彩。
8.如权利要求1所述的全周鸟瞰影像无缝接合方法，其还包括有将该全周鸟瞰影像讯 号传递至一影像显示单元以进行显示的步骤。
9.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该多张环境影像是利用设置 于一载具上不同位置的影像撷取单元撷取该载具周围环境的影像而得。
10.如权利要求1所述的全周鸟瞰影像无缝接合方法，其中该载具为车辆。
11.一种全周鸟瞰影像无缝接合系统，包括多个影像撷取单元，其分别设置于一载具的不同位置上，每一影像撷取单元产生一环 境影像；一控制单元，其还包括有一影像接收接口、一运算处理单元、一存储模块以及一影像输 出界，该影像接收接口其接收该多个环境影像，该运算处理单元，其接收该多个环境影像，以对该多个环境影像进行处理以形成一全周鸟瞰影像讯号，该存储模块，其与该运算处理 单元相耦接，该一影像输出界面，其与该运算处理单元以及该显示单元相耦接，以输出该全 周鸟瞰影像讯号；以及一显示单元，其设置于该载具内并与该控制单元相耦接，该显示单元接收该全周鸟瞰 影像讯号，并显示对应的全周鸟瞰影像。
12.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该多个影像撷取单元分别 设置于该载具的前、后、左与右侧上。
13.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该控制单元接收该多张环 境影像，该控制单元对该多张环境影像进行视角转换以形成多张鸟瞰影像，并取得相邻两 鸟瞰影像所具有的一重迭区域，再藉由一权重运算以得到每一相邻两鸟瞰影像间的一迭合 影像，该控制单元求得每一迭合影像中的每一迭合像素与该重迭区域中关于该两相邻重迭 影像的一边界距离，然后根据该边界距离决定关于该每一迭合影像的两相邻鸟瞰影像所分 别具有的一第一权重以及一第二权重，再将该两相邻鸟瞰影像中对应该迭合像素的像素所 分别具有的一影像特征以及该第一权重以及该第二权重进行运算以得到关于该迭合像素 的一迭合特征，再将该多张鸟瞰影像中所具有的非重迭影像以及相邻鸟瞰影像间的迭合影 像进行组合以得到该全周鸟瞰影像讯号。
14.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该载具为车辆。
15.如权利要求13所述的全周鸟瞰影像无缝接合系统，其中该控制单元决定该重迭区 域还包括有下列步骤决定一参考平面；于该相邻的鸟瞰影像中寻找出，落于该参考平面上且相互对应的至少一特征点；以及 对相邻的两鸟瞰影像进行调整，使两相邻的鸟瞰影像中相对应的该至少一特征点的对应误差最小。
16.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该特征点为该鸟瞰影像中 的线条、图样或者是文字信息。
17.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该调整方式为藉由旋转、 缩放或平移的方式进行调整。
18.如权利要求15所述的全周鸟瞰影像无缝接合系统，其中该误差为该两相邻的鸟瞰 影像中相对应的至少一特征点所具有的特征信息差值的平均平方和。
19.如权利要求18所述的全周鸟瞰影像无缝接合系统，其中该特征信息为亮度或色彩。
20.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该控制单元还具有一电源 接口以接收电压源以及载具讯号接口以接收载具所产生的讯号。
21.如权利要求11所述的全周鸟瞰影像无缝接合系统，其中该影像撷取单元为照相机 或动态影像摄影装置。
22.如权利要求11所述的全周鸟瞰影像无缝接合系统，其该存储模块还具有一静态随 机存取存储器模块以及一闪存模块。
全文摘要
本发明提供一种全周鸟瞰影像无缝接合方法与系统，其是对不同影像撷取单元所取得的关于一载具的多张环境影像进行组合，以形成一无接缝的鸟瞰影像。其中，该多张环境影像是先经由转换形成对应的鸟瞰影像。在组合多张鸟瞰影像的过程中，找出相邻鸟瞰影像所具有的重迭区域并根据相邻鸟瞰影像位于重迭区域的特征点信息位置，分别计算出该特征点和该重迭区域边界距离，藉此决定相邻鸟瞰影像分别对于重迭区域的影像贡献的权重，进而形成重迭影像。决定相邻的鸟瞰影像间的重迭影像之后，即可形成无接缝的全周鸟瞰影像。
文档编号G03B37/00GK102143302SQ20101010626
公开日2011年8月3日 申请日期2010年1月29日 优先权日2010年1月29日
发明者吴东权, 曾定章, 沈信良, 郑国祥 申请人:财团法人工业技术研究院