图像处理方法、图像处理装置及显示系统与流程

本发明涉及一种图像处理方法、图像处理装置及显示系统。

背景技术：

随着多媒体技术的发展，数字图像及视频应用日益广泛，也产生各种全景图像应用上的需求，像是视频会议、防盗监视等等。

传统上，全景图像的建构需藉由使用者拍摄一系列针对不同角度的图像，再通过组合此些图像来完成。在产生全景图像的过程中，运算装置会直接依据图像间的相似性来进行组合。然而，此作法往往会耗费大量的运算资源，故通常需采离线的方式运作，以致于无法即时地显示全景图像供使用者浏览。

因此，如何提供一种可即时显示全景图像的显示技术，乃目前业界所致力的课题之一。

技术实现要素：

本发明涉及一种图像处理方法、图像处理装置及显示系统，可供使用者即时观看全景图像。

根据本发明一方面，提出一种图像处理装置，其包括图像取得电路、存储模块以及图像处理模块。图像取得电路用以接收第一鱼眼图像以及第二鱼眼图像。存储模块用以存储鱼眼镜头信息。图像处理模块耦接图像取得电路以及存储模块，用以依据鱼眼镜头信息对第一鱼眼图像以及第二鱼眼图像进行全景坐标转换以产生第一转换图像以及第二转换图像，并对第一转换图像以及第二转换图像进行接合处理以产生全景图像。

根据本发明另一方面，提出一种图像处理方法，其包括以下步骤：接收第一鱼眼图像以及第二鱼眼图像；依据鱼眼镜头信息对第一鱼眼图像以及第二鱼眼图像进行全景坐标转换以产生第一转换图像以及第二转换图像；以及对第一转换图像以及第二转换图像进行接合处理以产生全景图像。

根据本发明又一方面，提出一种显示系统，其包括图像提取装置以及图 像处理装置。图像提取装置包括第一鱼眼镜头模块、第二鱼眼镜头模块以及发送电路。第一鱼眼镜头模块用以提取第一鱼眼图像。第二鱼眼镜头模块用以提取第二鱼眼图像。发送电路用以将第一鱼眼图像以及第二鱼眼图像以串流方式输出。图像处理装置包括图像取得电路、存储模块以及图像处理模块。图像取得电路用以自图像提取装置接收第一鱼眼图像以及第二鱼眼图像。存储模块用以存储鱼眼镜头信息。图像处理模块耦接图像取得电路以及存储模块，用以依据鱼眼镜头信息对第一鱼眼图像以及第二鱼眼图像进行全景坐标转换以产生第一转换图像以及第二转换图像，并对第一转换图像以及第二转换图像进行接合处理以产生全景图像。

为了对本发明的上述及其他方面有更佳的了解，下文特举优选实施例，并配合附图，作详细说明如下：

附图说明

图1绘示依据本发明的一实施例的图像处理系统的示意图。

图2绘示依据本发明的一实施例的图像提取装置的示意图。

图3绘示依据本发明的一实施例的全景坐标转换的方法流程图。

图4绘示全景坐标转换的细节流程图的一例。

图5绘示依据图像提取装置所拍摄的第一及第二鱼眼图像，产生对应的第一及第二转换图像的示意图。

图6绘示依据本发明的一实施例的图像接合处理的方法流程图。

图7绘示对图4所示的第一转换图像以及第二转换图像进行接合处理以产生全景图像的示意图。

图8绘示依据本发明的一实施例的图像处理系统的示意图。

【符号说明】

100、800：图像处理系统

102、202、502、802：图像提取装置

1020、2020、5020、8020：第一鱼眼镜头模块

1022、2022、5022、8022：第二鱼眼镜头模块

1024、8030：发送电路

104：图像处理装置

1040、8024：图像取得电路

1042、8026：存储模块

1044、8028：图像处理模块

1046、8046：使用者接口

804：终端装置

8042：接收电路

8044：处理器

F1、F1’、F1”：第一鱼眼图像

F2、F2’、F2”：第二鱼眼图像

CF1’：第一转换图像

CF2’：第二转换图像

REF：参考虚拟线

OX：光轴

S302、S304、S402、S404、S406、S408、S602、S604、S606：步骤

OB：物体

OVR：图像重叠区域

MP1：第一图像特征

MP2：第二图像特征

AI：全景图像

具体实施方式

以下提出实施例进行详细说明，实施例仅用以作为范例说明，并不会限缩本公开欲保护的范围。此外，实施例中的附图省略不必要的元件，以清楚显示本公开的技术特点。

图1绘示依据本发明的一实施例的图像处理系统的示意图。如图1所示，图像处理系统100包括图像提取装置102以及图像处理装置104。图像提取装置102用以提取环境图像，并通过有线或无线的方式，以串流方式将图像数据传输至图像处理装置104作后续处理。

图像提取装置102包括第一鱼眼镜头模块1020、第二鱼眼镜头模块1022以及发送电路1024。第一鱼眼镜头模块1020以及第二鱼眼镜头模块1022可以是具备鱼眼镜头的摄像机、相机或摄像模块，用以提取不同视域的图像。由于鱼眼镜头具备超广角的特性，故通过适当地配置第一鱼眼镜头模块1020 以及第二鱼眼镜头模块1022的相对位置并接合其所提取的图像，可获得超广视域的全景图像。

发送电路1024可对图像数据进行编码与串流处理，并通过有线或无线的方式将图像数据传输至图像处理装置104。如图1所示，发送电路1024可自第一及第二鱼眼镜头模块1020、1022分别接收第一及第二鱼眼图像F1、F2，并在对其进行视频编码以及串流化处理后，将串流数据输出至图像处理装置104。

图像处理装置104例如是便携式电子装置(例如智能手机、笔记型计算机、平板计算机等移动载具)、个人计算机、监视设备、或任何具备图像处理能力的电子装置。图像处理装置104主要包括图像取得电路1040、存储模块1042以及图像处理模块1044。图像取得电路1040用以接收第一鱼眼图像F1以及第二鱼眼图像F2。在此例子中，图像取得电路1040例如是接收电路，可对接收到的串流数据进行解码处理以取得第一鱼眼图像F1以及第二鱼眼图像F2。

存储模块1042用以存储鱼眼镜头信息，其可通过存储器电路、查阅表等各种不同的存储介质来实现。鱼眼镜头信息可以是任何关联于第一及第二鱼眼镜头模块1020、1022的镜头参数，例如镜头中心位置、焦距、视角等等。鱼眼镜头信息可在图像提取装置102出厂时经由镜头校正程序后记录而取得，其被提供至图像处理模块1044以进行后续的图像处理。

图像处理模块1044耦接图像取得电路1040以及存储模块1042，用以依据鱼眼镜头信息对第一鱼眼图像F1以及第二鱼眼图像F2进行全景坐标转换以产生第一转换图像以及第二转换图像，并接合此第一转换图像以及第二转换图像以产生全景图像。图像处理模块1044可例如以处理器、芯片、硬件电路、软件程序、固件或存有指令以供执行的介质来实现。

上述的全景坐标转换可用于消除第一、二鱼眼图像F1、F2中图像内容的变形失真。因此，通过适当地接合全景坐标转换后所产生的第一及第二转换图像，可获得具备超大视域或是全视域的全景图像。关于全景坐标转换以及接合程序的细节，将在稍后配合图3至图7作说明。

图像处理系统100可还包括使用者接口1046，其用以回应于外部指令选择一观看模式，使得全景图像被转换为符合此观看模式的显示图像。使用者接口1046可例如以触控屏幕或是具有显示操作功能的接口来实现。观看模式 例如包括视球全景模式(Sphere mode)、平面全景模式(Panorama mode)以及鱼眼视野模式(Fisheye mode)。然本发明并不限于此，上述的观看模式也可由其它具有不同视觉效果的浏览模式来实现。

举例来说，假设图像提取装置102是一装设于远端的监视器，而图像处理装置104是一智能手机，图像处理装置104可通过APP应用程序对远端图像提取装置102发送的图像串流数据进行解码及全景坐标转换处理。处理后得到的双频道图像(即第一、二转换图像)经由内部的裁切接合处理后，即可生成相应的全景图像。图像处理模块1044并可进行各个视野的参数运算，以供使用者即时地在远端通过所选的观看模式浏览该全景图像。

由于本发明的图像处理装置可即时地依据鱼眼镜信息对串流接收的第一、二鱼眼图像进行全景坐标转换以及接合处理，故可将图像提取装置所拍摄的景物即时地显示于浏览视窗，并以使用者喜爱的观看模式加以呈现。在一实施例中，图像处理装置更可利用OpenGL和/或数字信号处理等技术，以加速整体视频显示的效能。

图2绘示依据本发明的一实施例的图像提取装置的示意图。如图2所示，图像提取装置202设置有第一鱼眼镜头模块2020以及第二鱼眼模块2022。第一鱼眼镜头模块2020与第二鱼眼镜头模块2022以参考虚拟线REF为中心，在一光轴OX上朝两外侧反向设置。第一鱼眼镜头模块2020与第二鱼眼镜头模块2022例如具有大于190°的超广角，故第一鱼眼镜头模块2020所拍摄的第一鱼眼图像可几乎涵盖图像提取装置202左半侧的景物，而第二鱼眼镜头模块2022所拍摄的第二鱼眼图像可几乎涵盖图像提取装置202右半侧的景物。因此，通过对第一、二鱼眼图像进行全景坐标转换以及适当的接合，即可产生720°(全视域)的全景图像。可以理解的是，本发明并不以上述例子为限。第一鱼眼镜头模块2020与第二鱼眼镜头模块2022的相对位置以及采用的鱼眼镜头规格皆可依据不同的应用而有所调整。举例来说，第一鱼眼镜头模块2020的光轴与第二鱼眼镜头模块2022的光轴可以是非平行，而鱼眼镜头的广角角度也可大于或小于190°。此外，上述的全景图像并不以720°全景图像为限，其也可是小于720°的全景图像，端视不同应用而定。

图3绘示依据本发明的一实施例的全景坐标转换的方法流程图。承前所述，全景坐标转换可消除第一、二鱼眼图像中图像内容的变形失真。如图3所示，首先，在步骤S302，图像处理模块将待求得的全景图像坐标转换至极 坐标空间。接着，在步骤S304，图像处理模块依据鱼眼镜头信息建立全景图像极坐标和原始鱼眼图像坐标间的转换关系，以产生对应的第一转换图像以及第二转换图像供后续接合处理。

图4绘示全景坐标转换的细节流程图的一例。首先，在步骤S402，图像处理模块先将全景图像坐标转换至极坐标轴。举例来说，图像处理模块可利用以下公式计算出各全景图像坐标中任一图像点(x，y)转换至极坐标的角度(θ，)。

θ＝PI×(x/width–0.5)

其中PI表示圆周率，width表示图像宽度，height表示图像高度。

接着，在步骤S404，图像处理模块可依据转换求得的极坐标角度建立三维空间向量。举例来说，图像处理模块可依据以下公式，利用极坐标角度(θ，)建立三维空间的向量值(spX，spY，spZ)。

之后，在步骤S406，图像处理模块可进一步基于以下公式，依据各个三维空间向量(spX，spY，spZ)计算出极坐标(r，θ1，)。

θ1＝arctan(spZ/spX)

其中FOV表示视野范围。最后，在步骤S408，图像处理模块即可依据极坐标(r，θ1)以及鱼眼镜头信息计算原始对应的鱼眼图像坐标(x1，y1)如下：

x1＝Cx+r×cosθ1

y1＝Cy+r×sinθ1

其中，Cx、Cy表示校正过后的鱼眼镜头中心位置坐标。如此一来，即可求得鱼眼图像坐标与全景图像极坐标之间的坐标转换关系。然本发明并不以上述例示为限。全景坐标转换也可通过其它二维/三维空间坐标的转换来达成。此外，上述公式中的参数系数仅是一范例，其也可依据不同的显示需求而作调整。

图5绘示依据图像提取装置所拍摄的第一及第二鱼眼图像，产生对应的第一及第二转换图像的示意图。在图5的例子中，图像提取装置502通过第一鱼眼镜头模块5020以及第二鱼眼镜头模块5022对物体OB进行拍摄，以分别于产生第一鱼眼图像F1’以及第二鱼眼图像F2’。基于鱼眼镜头超广角的特性，第一鱼眼图像F1’以及第二鱼眼图像F2’中的图像内容相较于实际的物体OB产生了变形失真，如图5所示。接着，通过全景坐标转换，第一及第二鱼眼图像F1’、F2’被校正以分别得到第一转换图像CF1’以及第二转换图像CF2’。在此例中，第一转换图像CF1’的图像内容对应物体OB的左半部形貌，第二转换图像CF2’的图像内容对应物体OB的右半部形貌。

承前所述，图像处理模块可通过适当地接合第一转换图像及第二转换图像以获得具备更大视域的全景图像。图6是绘示依据本发明的一实施例的图像接合处理的方法流程图。首先，在步骤S602，图像处理模块将第一转换图像以及第二转换图像进行图像裁切处理以分别产生第一裁切图像以及第二裁切图像。接着，在步骤S604，图像处理模处将第一及第二裁切图像进行边缘光滑处理以分别产生第一待接合图像以及第二待接合图像。之后，在步骤S606，图像处理模处将第一待接合图像以及第二待接合图像合并以产生全景图像。

图7绘示对图4所示的第一转换图像以及第二转换图像进行接合处理以产生全景图像的示意图。如图7所示，第一转换图像CF1’以及第二转换图像CF2’具有图像重叠区域OVR。此图像重叠区域OVR中的图像内容例如对应于第一鱼眼镜头模块5020及第二鱼眼镜头模块5022拍摄视角重叠的部分。

为了适当地接合第一及第二转换图像CF1’、CF2’，图像处理模块可先自图像重叠区域OVR中提取第一转换图像CF1’的图像边缘特征以及第二转换图像CF2’的图像边缘特征。此图像边缘特征可通过各种的图像处理技术而加以提取，例如通过判断图像的对比、色彩的差异、图样的连续性等等。

由于第一及第二转换图像CF1’、CF2’在其图像重叠区域OVR中的图像内容理论上是重复或近似的，故图像处理模块可依据上述的第一、二图像特征之间的相似程度来决定图像接合点。如图7所示，第一转换图像CF1’包括多个第一图像特征MP1，第二转换图像CF2’包括多个第二图像特征MP2。假设第一图像特征MP1与第二图像特征MP2的相似程度高于一预设值(或是相似度相较于其它图像特征为最大)，图像处理模块即可将此些图像特征MP1、 MP2视为图像接合点，也就是两图像相接时的对准点。

在决定好图像接合点后，图像处理模块可依据图像接合点对第一转换图像CF1’以及第二转换图像CF2’进行裁切缝合。对于两图像接合的边缘处，则依图像的像素值与其重叠边界距离的比例，进行光滑化处理后合并输出，以产生全景图像AI。

在一实施例中，图像处理装置可设置在图像提取装置中。如图8所示，其绘示依据本发明的一实施例的图像处理系统的示意图。在图8的例子中，图像处理系统800包括图像提取装置802以及终端装置804。终端装置804例如是一具有显示操作功能的电子装置，像是便携式装置。与图1的图像处理系统100的主要差异在于，本实施例的图像提取装置802可实现图像处理装置104的图像处理功能，例如全景坐标转换以及接合处理，并将接合好的全景图像发送至终端装置804，以供其依据使用者喜好呈现不同的观看模式。

如图8所示，图像提取装置802包括第一鱼眼镜头模块8020、第二鱼眼镜头模块8022、图像取得电路8024、存储模块8026、图像处理模块8028以及发送电路8030。图像取得电路8024可自第一及第二鱼眼镜头模块8020、8024分别接收第一及第二鱼眼图像F1”、F2”。图像处理模块8028自图像取得电路8024取得第一及第二鱼眼图像F1”、F2”后，可依据存储模块8026中的鱼眼镜头信息对第一及第二鱼眼图像F1”、F2”进行全景坐标转换以及接合处理以输出全景图像至发送电路8030。之后，发送电路8030再以有线或无线的方式将全景图像以串流方式发送至终端装置804。

终端装置804例如包括接收电路8042、处理器8044以及使用者接口8046。接收电路8042可接收并解码所接收到的串流数据以得到全景图像。通过处理器8044的运算，使用者接口8046可依据使用者的喜好，通过所选的观看模式呈现全景图像。

综上所述，本发明的图像处理方法、图像处理装置及显示系统利用双鱼眼镜头的宽广视野，克服一般镜头拍摄的视野限制。另外，藉由预存的鱼眼镜头信息以及串流技术，图像处理装置可即时地对双通道的鱼眼图像进行校正及接合运算并产生相应的全景图像，以提供使用者即时观看全方位视角的环场体验。

虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员在不脱离本发明的精神和范围内，当可作各种的更动与 润饰。因此，本发明的保护范围当视所附权利要求书界定范围为准。