全景图像合成装置、方法及计算机可读存储介质与流程

文档序号:15935652发布日期:2018-11-14 02:20阅读:160来源:国知局

本发明涉及计算机技术领域,尤其涉及一种全景图像合成装置、方法及计算机可读存储介质。

背景技术

随着数码相机,智能手机等手持设备的兴起,照片的拍摄和分享变得日益便捷,逐渐成为我们生活中一项重要的娱乐活动。由于单个相机的视角有限,因此许多拍照程序都提供一种全景拍摄模式,引导用户拍摄多张照片,然后通过全景拼接技术将采集的多张照片自动合成一幅大视角全景图。

现有的全景图像的拼接技术一般采用特征匹配算法对照片之间的相同特征点进行匹配,进而根据匹配结果对照片进行拼接和融合,但是现有的图像拼接过程中缺乏误配点的消除措施,当匹配结果中存在错误匹配点时,会导致拼接处会有很多瑕疵,例如,在融合边界处存在明显的拼接痕迹、拼接处有错位等,造成整张全景图像的拼接效果差。



技术实现要素:

本发明提供一种全景图像合成装置、方法及计算机可读存储介质,其主要目的在于提高全景图像拼接效果。

为实现上述目的,本发明提供一种全景图像合成装置,该装置包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的全景图像合成程序,所述全景图像合成程序被所述处理器执行时实现如下步骤:

接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像;

对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系;

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对;

根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像;

根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

可选地,所述按照预设的特征匹配算法对多张图像进行两两配准,以确定所述多张图像之间的匹配关系的步骤包括:

按照预设的特征匹配算法对所述多张图像进行两两匹配;

若两张图像之间匹配到的特征点对的数量小于第一预设阈值,则判定该两张图像之间不具有匹配关系;

若两张图像之间匹配到的特征点对的数量大于第一预设阈值,则判定该两张图像之间具有匹配关系。

可选地,所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对的步骤包括:

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;

按照预设的特征点筛选算法判断所述特征点对是否匹配正确,以筛选出匹配正确的特征点对;

计算匹配正确的特征点对的数量,并判断计算得到的数量是否大于第二预设阈值;

若是,则停止筛选;

若否,则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对的步骤,直至匹配正确的特征点对的数量大于所述第二预设阈值。

可选地,所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确,以筛选出匹配正确的特征点对的步骤包括:

将获取的脸部图像分割为k×k个网格区域,统计每个网格区域内的匹配到的特征点在其l×l的邻域内匹配的特征点对的数量;

若统计的数量小于第三预设阈值,则判定该特征点为匹配错误的特征点对,若统计的数量大于或者小于所述第三预设阈值,则判定该特征点为匹配正确的特征点对。

可选地,所述根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像的步骤包括:

根据匹配正确的特征点对在图像上的分布确定对应的具有匹配关系的图像之间的配准线和重叠区域;

根据确定的配准线对所述重叠区域进行融合处理,将所述多张图像合成为全景图像。

此外,为实现上述目的,本发明还提供一种全景图像合成方法,该方法包括:

接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像;

对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系;

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对;

根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像;

根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

可选地,所述按照预设的特征匹配算法对多张图像进行两两配准,以确定所述多张图像之间的匹配关系的步骤包括:

按照预设的特征匹配算法对所述多张图像进行两两匹配;

若两张图像之间匹配到的特征点对的数量小于第一预设阈值,则判定该两张图像之间不具有匹配关系;

若两张图像之间匹配到的特征点对的数量大于第一预设阈值,则判定该两张图像之间具有匹配关系。

可选地,所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对的步骤包括:

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;

按照预设的特征点筛选算法判断所述特征点对是否匹配正确,以筛选出匹配正确的特征点对;

计算匹配正确的特征点对的数量,并判断计算得到的数量是否大于第二预设阈值;

若是,则停止筛选;

若否,则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对的步骤,直至匹配正确的特征点对的数量大于所述第二预设阈值。

可选地,所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确,以筛选出匹配正确的特征点对的步骤包括:

将获取的脸部图像分割为k×k个网格区域,统计每个网格区域内的匹配到的特征点在其l×l的邻域内匹配的特征点对的数量;

若统计的数量小于第三预设阈值,则判定该特征点为匹配错误的特征点对,若统计的数量大于或者小于所述第三预设阈值,则判定该特征点为匹配正确的特征点对。

此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有全景图像合成程序,所述全景图像合成程序可被一个或者多个处理器执行,以实现如上所述的全景图像合成方法的步骤。

本发明提出的全景图像合成装置、方法及计算机可读存储介质,接收客户端发送的全景图像合成请求时,获取与请求对应的多张图像,对多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定多张图像之间的匹配关系,按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对,根据匹配正确的特征点对,将有匹配关系的图像进行融合后处理,合成为全景图像,根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示,本发明通过对匹配的特征点对进行筛选,取出匹配错误的特征点对,提高特征点匹配的准确度,减少拼接处的瑕疵,使得合成的全景图像有较好的拼接效果。

附图说明

图1为本发明全景图像合成装置较佳实施例的示意图;

图2为本发明全景图像合成装置一实施例中全景图像合成程序的程序模块示意图;

图3为本发明全景图像合成方法第一实施例的流程图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明提供一种全景图像合成装置。参照图1所示,为本发明全景图像合成装置较佳实施例的示意图。

在本实施例中,全景图像合成装置可以是pc(personalcomputer,个人电脑),也可以是智能手机、平板电脑、便携计算机等终端设备。

该全景图像合成装置1至少包括存储器11、处理器12,通信总线13,以及网络接口14。

其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是全景图像合成装置1的内部存储单元,例如该全景图像合成装置1的硬盘。存储器11在另一些实施例中也可以是全景图像合成装置1的外部存储设备,例如全景图像合成装置1上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,存储器11还可以既包括全景图像合成装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于全景图像合成装置1的应用软件及各类数据,例如全景图像合成程序01的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行全景图像合成程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如wi-fi接口),通常用于在该装置1与其他电子设备之间建立通信连接。

图1仅示出了具有组件11-14以及全景图像合成程序01的全景图像合成装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。

可选地,该装置1还可以包括用户接口,用户接口可以包括显示器(display)、输入单元比如键盘(keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在全景图像合成装置1中处理的信息以及用于显示可视化的用户界面。

在图1所示的装置1实施例中,存储器11中存储有全景图像合成程序01;处理器12执行存储器11中存储的全景图像合成程序01时实现如下步骤:

接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像;

对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系。

以下实施例中的客户端为与全景图像合成装置建立通讯连接的应用软件,该应用软件可以运行在手机、平板电脑等设备上,用户可以通过该客户端进入图像采集模式采集多个视角拍摄的二维图像,将采集的多张图像上传到全景图像合成装置,同时发送全景图像合成请求至全景图像合成装置。

全景图像合成装置对接收到的多张图像进行预处理,主要包括对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作,提高图像质量,为后续的图像拼接做准备。

按照预设的特征匹配算法对经过预处理的多张图像进行两两匹配,其中,预设的特征匹配算法可以是orb(orientedfastandrotatedbrief)算法,orb算法是一种快速特征点提取和描述的算法,能够对上述两张脸部图像进行特征点的检测和匹配,找出两张图像中匹配的特征点对。或者,在其他的实施例中,也可以采用sift(scale-invariantfeaturetransform,尺度不变特征变换)算法进行特征对的计算。通过算法匹配到的特征点对的数量判断两张图像之间是否有匹配关系,例如,若两张图像之间匹配到的特征点对的数量小于第一预设阈值,则判定该两张图像之间不具有匹配关系;若两张图像之间匹配到的特征点对的数量大于第一预设阈值,则判定该两张图像之间具有匹配关系。

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对。

接下来按照同样的特征匹配算法和预设的特征点筛选算法迭代的对具有匹配关系的图像进行匹配和筛选,先按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;然后,按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对。具体地,按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;按照预设的特征点筛选算法判断特征点对是否匹配正确,以筛选出匹配正确的特征点对;计算匹配正确的特征点对的数量,并判断计算得到的数量是否大于第二预设阈值;若是,则停止筛选;若否,则继续执行按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对的步骤,直至匹配正确的特征点对的数量大于第二预设阈值。

其中,预设的特征点筛选算法具体如下,将图像分割为k×k个网格区域,其中,k值的大小可以根据采集的脸部图像的像素来确定,例如,照片的尺寸为1600×1600,则k值可以设置为80,则每一个网格区域中有20×20个像素点,其中,一个特征点对应于一个像素点,统计每个网格区域内的匹配到的特征点在其l×l的邻域内匹配的特征点对的数量,优选地,在一实施例中,l=3,则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理,匹配的特征点的邻域内必然有较多匹配的特征点,也就是说,如果有一对特征点是匹配的,那么在这个特征点的邻域内,必然存在一定数量的其他相匹配的特征点对,反之,若某一特征点匹配错误,那么在这个特征点的邻域内,匹配到的特征点的数量必然会非常少,甚至不存在其他匹配的特征点对。基于这样的原理,对按照预设的特征匹配算法匹配到的特征点对进行统计,以判断匹配结果是否正确。若在一特征点的邻域内,统计的特征点对的数量小于第三预设阈值,则判定该特征点为匹配错误的特征点对,若在一特征点的邻域内,统计的特征点对的数量大于或者小于第三预设阈值,则判定该特征点为匹配正确的特征点对。其中,第三预设阈值可以根据实际情况设置一个合理的值。

此外,为了得到足够多的正确匹配的特征点对,在每一次匹配和筛选之后,确定筛选后匹配正确的特征点对的数量,并判断是否大于第二预设阈值。若小于第二预设阈值,则再次按照上述预设的特征匹配算法进行特征匹配,并再次对匹配结果进行筛选。按照这个过程不断地迭代计算,直至匹配正确的特征点对的数量大于第二预设阈值。或者,在其他实施例中,可以预先设置迭代计算的次数,在实际计算过程中,对迭代计算的次数进行统计,当迭代的次数达到预设的次数,则停止迭代,完整特征点对的匹配和筛选。

通过上述方案,采用一种新的对特征点匹配的处理方法,根据算法迭代地进行特征点的匹配和筛选,删除每一次匹配的错误的特征点,提高特征点匹配的准确度,并且在特征点处理时,采用网格划分的方式,对所有特征点的邻域内的匹配情况进行统计,根据统计结果判断匹配点是否正确,通过这种方式得到的匹配正确的特征点对的数量比现有算法中更多,使得后续图像拼接时,确定的配准线的准确程度跟高,避免在拼接处出现瑕疵,能够得到良好的拼接效果。

根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像。

根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

按照匹配正确的特征点对,确定相邻两张图像之间的配准线和重叠区域,该配准线和重叠区域能够唯一确定两张图像的位置,按照这样的方式确定多张图像之间的位置关系,对于图像之间的重叠区域采用平滑处理,生成融合后的图像,对融合后的图像,进行消除重影处理,提高图像质量。

此外,客户端在发送全景图像合成请求时,请求中会携带图像展示方式,图像展示方式包括360度全景展示和720度全景展示,对于360度全景展示方式,通过krpano引擎处理拼接后的全景图片,生成用于展示该全景图片的html(hypertextmarkuplanguage,超级文本标记语言)页面,当用户在客户端上访问该全景图片时,将该html页面发送至客户端上显示;对于720度全景展示方式,全景图片拼接完成之后,将拼接结果直接发送至客户端,在客户端利用开源的opengl(opengraphicslibrary)技术展示拼接结果。

本实施例提出的全景图像合成装置,接收客户端发送的全景图像合成请求时,获取与请求对应的多张图像,对多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定多张图像之间的匹配关系,按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对,根据匹配正确的特征点对,将有匹配关系的图像进行融合后处理,合成为全景图像,根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示,本发明通过对匹配的特征点对进行筛选,取出匹配错误的特征点对,提高特征点匹配的准确度,减少拼接处的瑕疵,使得合成的全景图像有较好的拼接效果。

可选地,在其他的实施例中,全景图像合成程序还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明,本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段,用于描述全景图像合成程序在全景图像合成装置中的执行过程。

例如,参照图2所示,为本发明全景图像合成装置一实施例中的全景图像合成程序的程序模块示意图,该实施例中,全景图像合成程序可以被分割为图像获取模块10、图像匹配模块20、特征点筛选模块30、图像拼接模块40和图像发送模块50,示例性地:

图像获取模块10用于:接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像;

图像匹配模块20用于:对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系;

特征点筛选模块30用于:按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对;

图像拼接模块40用于:根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像;

图像发送模块50用于:根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

上述图像获取模块10、图像匹配模块20、特征点筛选模块30、图像拼接模块40和图像发送模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同,在此不再赘述。

此外,本发明还提供一种全景图像合成方法。参照图3所示,为本发明全景图像合成方法第一实施例的流程图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。

在本实施例中,全景图像合成方法包括:

步骤s10,接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像。

步骤s20,对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系。

以下实施例中的客户端为与全景图像合成装置建立通讯连接的应用软件,该应用软件可以运行在手机、平板电脑等设备上,用户可以通过该客户端进入图像采集模式采集多个视角拍摄的二维图像,将采集的多张图像上传到全景图像合成装置,同时发送全景图像合成请求至全景图像合成装置。

全景图像合成装置对接收到的多张图像进行预处理,主要包括对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作,提高图像质量,为后续的图像拼接做准备。

按照预设的特征匹配算法对经过预处理的多张图像进行两两匹配,其中,预设的特征匹配算法可以是orb(orientedfastandrotatedbrief)算法,orb算法是一种快速特征点提取和描述的算法,能够对上述两张脸部图像进行特征点的检测和匹配,找出两张图像中匹配的特征点对。或者,在其他的实施例中,也可以采用sift(scale-invariantfeaturetransform,尺度不变特征变换)算法进行特征对的计算。通过算法匹配到的特征点对的数量判断两张图像之间是否有匹配关系,例如,若两张图像之间匹配到的特征点对的数量小于第一预设阈值,则判定该两张图像之间不具有匹配关系;若两张图像之间匹配到的特征点对的数量大于第一预设阈值,则判定该两张图像之间具有匹配关系。

步骤s30,按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对。

接下来按照同样的特征匹配算法和预设的特征点筛选算法迭代的对具有匹配关系的图像进行匹配和筛选,先按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;然后,按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对。具体地,按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对;按照预设的特征点筛选算法判断特征点对是否匹配正确,以筛选出匹配正确的特征点对;计算匹配正确的特征点对的数量,并判断计算得到的数量是否大于第二预设阈值;若是,则停止筛选;若否,则继续执行按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对的步骤,直至匹配正确的特征点对的数量大于第二预设阈值。

其中,预设的特征点筛选算法具体如下,将图像分割为k×k个网格区域,其中,k值的大小可以根据采集的脸部图像的像素来确定,例如,照片的尺寸为1600×1600,则k值可以设置为80,则每一个网格区域中有20×20个像素点,其中,一个特征点对应于一个像素点,统计每个网格区域内的匹配到的特征点在其l×l的邻域内匹配的特征点对的数量,优选地,在一实施例中,l=3,则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理,匹配的特征点的邻域内必然有较多匹配的特征点,也就是说,如果有一对特征点是匹配的,那么在这个特征点的邻域内,必然存在一定数量的其他相匹配的特征点对,反之,若某一特征点匹配错误,那么在这个特征点的邻域内,匹配到的特征点的数量必然会非常少,甚至不存在其他匹配的特征点对。基于这样的原理,对按照预设的特征匹配算法匹配到的特征点对进行统计,以判断匹配结果是否正确。若在一特征点的邻域内,统计的特征点对的数量小于第三预设阈值,则判定该特征点为匹配错误的特征点对,若在一特征点的邻域内,统计的特征点对的数量大于或者小于第三预设阈值,则判定该特征点为匹配正确的特征点对。其中,第三预设阈值可以根据实际情况设置一个合理的值。

此外,为了得到足够多的正确匹配的特征点对,在每一次匹配和筛选之后,确定筛选后匹配正确的特征点对的数量,并判断是否大于第二预设阈值。若小于第二预设阈值,则再次按照上述预设的特征匹配算法进行特征匹配,并再次对匹配结果进行筛选。按照这个过程不断地迭代计算,直至匹配正确的特征点对的数量大于第二预设阈值。或者,在其他实施例中,可以预先设置迭代计算的次数,在实际计算过程中,对迭代计算的次数进行统计,当迭代的次数达到预设的次数,则停止迭代,完整特征点对的匹配和筛选。

通过上述方案,采用一种新的对特征点匹配的处理方法,根据算法迭代地进行特征点的匹配和筛选,删除每一次匹配的错误的特征点,提高特征点匹配的准确度,并且在特征点处理时,采用网格划分的方式,对所有特征点的邻域内的匹配情况进行统计,根据统计结果判断匹配点是否正确,通过这种方式得到的匹配正确的特征点对的数量比现有算法中更多,使得后续图像拼接时,确定的配准线的准确程度跟高,避免在拼接处出现瑕疵,能够得到良好的拼接效果。

步骤s40,根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像。

步骤s50,根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

按照匹配正确的特征点对,确定相邻两张图像之间的配准线和重叠区域,该配准线和重叠区域能够唯一确定两张图像的位置,按照这样的方式确定多张图像之间的位置关系,对于图像之间的重叠区域采用平滑处理,生成融合后的图像,对融合后的图像,进行消除重影处理,提高图像质量。

此外,客户端在发送全景图像合成请求时,请求中会携带图像展示方式,图像展示方式包括360度全景展示和720度全景展示,对于360度全景展示方式,通过krpano引擎处理拼接后的全景图片,生成用于展示该全景图片的html(hypertextmarkuplanguage,超级文本标记语言)页面,当用户在客户端上访问该全景图片时,将该html页面发送至客户端上显示;对于720度全景展示方式,全景图片拼接完成之后,将拼接结果直接发送至客户端,在客户端利用开源的opengl(opengraphicslibrary)技术展示拼接结果。

本实施例提出的全景图像合成方法,接收客户端发送的全景图像合成请求时,获取与请求对应的多张图像,对多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定多张图像之间的匹配关系,按照特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对,根据匹配正确的特征点对,将有匹配关系的图像进行融合后处理,合成为全景图像,根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示,本发明通过对匹配的特征点对进行筛选,取出匹配错误的特征点对,提高特征点匹配的准确度,减少拼接处的瑕疵,使得合成的全景图像有较好的拼接效果。

此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有全景图像合成程序,所述全景图像合成程序可被一个或多个处理器执行,以实现如下操作:

接收客户端发送的全景图像合成请求时,获取与所述请求对应的多张图像;

对所述多张图像进行预处理,并按照预设的特征匹配算法对多张图像进行两两匹配,以确定所述多张图像之间的匹配关系;

按照所述特征匹配算法对具有匹配关系的两张图像进行匹配,获取匹配的特征点对,并按照预设的特征点筛选算法对获取的特征点对进行筛选,以删除匹配错误的特征点对,保留匹配正确的特征点对;

根据匹配正确的特征点对,将有匹配关系的图像进行融合处理后,合成为全景图像;

根据所述全景图像合成请求确定全景图像展示方式,按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。

本发明计算机可读存储介质具体实施方式与上述全景图像合成装置和方法各实施例基本相同,在此不作累述。

需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1