全景图像生成方法、装置及系统与流程

文档序号:11254268阅读:953来源:国知局
全景图像生成方法、装置及系统与流程

本发明涉及虚拟现实技术领域,具体而言,涉及全景图像生成方法、装置及系统。



背景技术:

随着vr技术的不断发展,vr在生活、工作中的应用也越来越广泛,特别在房产、大宗商品买卖等场所,人们对vr体验的要求也越来越高。



技术实现要素:

有鉴于此,本发明实施例提供了全景拍摄方法、装置及系统,以解决上述问题。

为了实现上述目的,本发明采用的技术方案如下:

第一方面,本发明实施例提供了一种全景图像生成方法,应用于vr系统,所述vr系统包括第一图像获取设备、第二图像获取设备、图像处理设备以及vr显示设备,所述方法包括:所述图像处理设备分别接收所述第一图像获取设备拍摄的第一实时场景信息以及第二图像获取设备拍摄的第二实时场景信息;将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息;将所述第三实时场景信息发送至所述vr显示设备。

第二方面,本发明实施例提供了一种全景图像生成方法,应用于vr系统,所述vr系统包括第一图像获取设备、第二图像获取设备、图像处理设备以及vr显示设备,所述方法包括:所述第一图像获取设备拍摄第一实时场景信息,并将所述第一实时场景信息发送至所述图像处理设备;所述第二图像获取设备拍摄第二实时场景信息,并将所述第二实时场景信息发送至所述图像处理设备;所述图像处理设备将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息;所述图像处理设备将所述第三实时场景信息发送至所述vr显示设备。

第三方面,本发明实施例提供了一种全景图像生成装置,应用于vr系统,所述vr系统包括第一图像获取设备、第二图像获取设备、图像处理设备以及vr显示设备,所述装置包括:接收单元,用于接收所述第一图像获取设备拍摄的第一实时场景信息以及第二图像获取设备拍摄的第二实时场景信息。全景图像生成单元,用于将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。发送单元,用于将所述第三实时场景信息发送至所述vr显示设备。

第四方面,本发明实施例提供了一种全景图像生成系统,所述全景图像生成系统包括第一图像获取设备、第二图像获取设备、图像处理设备以及vr显示设备:所述第一图像获取设备用于拍摄第一实时场景信息,并将所述第一实时场景信息发送至所述图像处理设备。所述第二图像获取设备用于拍摄第二实时场景信息,并将所述第二实时场景信息发送至所述图像处理设备。所述图像处理设备用于将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。所述图像处理设备用于将所述第三实时场景信息发送至所述vr显示设备。

上述本发明实施例提供的全景图像生成方法、装置及系统,由图像处理设备对接收到的第一图像获取设备发送的第一实时场景信息以及第二图像获取设备发送的第二实时场景信息,并对第一实时场景信息以及第二实时场景信息进行拼接处理,使第一图像获取设备的第一实时场景信息以及第二实时场景信息拼接成全景图像的第三实时场景,不仅减少了vr系统需要的图像获取设备的数量,而且能够获得全景图像。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1示出了本发明实施例提供的vr系统的结构框图;

图2是本发明较佳实施例提供的电子设备的结构示意图;

图3示出了本发明第二实施例提供的全景图像生成方法的步骤流程图;

图4示出了本发明第三实施例提供的全景图像生成方法的步骤流程图;

图5示出了本发明第四实施例提供的全景图像生成方法的步骤流程图;

图6示出了本发明第五实施例提供的全景图像生成装置的结构框图。

具体实施方式

下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

图1为本发明实施例提供的vr系统100的结构框图,所述vr系统100,包括:第一图像获取设备110、第二图像获取设备120、图像处理设备130、vr显示设备140以及服务器150,所述第一图像获取设备110、第二图像获取设备120分别与110分别与图像处理设备130之间通过无线连接,以进行数据通信或者交互。所述图像处理设备130以及vr显示设备140分别与所述服务器通过无线连接,以进行数据通信或者交互。当然,所述第一图像获取设备110、第二图像获取设备120还可以与所述服务器150通过无线连接,以进行数据交互。

请参见图2,图2示出了一种可应用于本发明实施例提供的全景图像生成方法、装置及系统的电子设备200的结构框图。作为一种实施方式,所述电子设备可以为个人电脑(personalcomputer,pc)、平板电脑、智能手机、个人数字助理(personaldigitalassistant,pda)、可穿戴设备等终端。

图2示出了一种可应用于本申请实施例中的电子设备200的结构框图。该电子设备200可以作为第一图像获取设备110、第二图像获取设备120、图像处理设备130以及vr显示设备140。如图2所示,电子设备200可以包括存储器202、存储控制器203、处理器204和网络模块205。

存储器202、存储控制器203、处理器204、网络模块205各元件之间直接或间接地电连接,以实现数据的传输或交互。例如,这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。所述全景图像生成方法及装置分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器202中的软件功能模块,例如所述全景图像生成装置包括的软件功能模块或计算机程序。

存储器202可以存储各种软件程序以及模块,如本申请实施例提供的全景图像生成方法及装置对应的程序指令/模块。处理器204通过运行存储在存储器202中的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本申请实施例中全景图像生成方法。存储器202可以包括但不限于随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。

处理器204可以是一种集成电路芯片,具有信号处理能力。上述处理器可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

网络模块205用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。

电子设备200还可以包括显示模块,该显示模块可以电子设备200与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。

第一实施例

请继续参见图1,本发明提供的全景图像生成系统,应用于vr系统,包括第一图像获取设备、第二图像获取设备、图像处理设备以及vr显示设备。

所述第一图像获取设备用于拍摄第一实时场景信息,并将所述第一实时场景信息发送至所述图像处理设备。

所述第二图像获取设备用于拍摄第二实时场景信息,并将所述第二实时场景信息发送至所述图像处理设备。

所述图像处理设备用于将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。

所述图像处理设备用于将所述第三实时场景信息发送至所述vr显示设备。

第二实施例

请参见图3,为本发明第二实施例提供的全景图像生成方法的步骤流程图。下面将结合图3,对本实施例提供的全景图像生成方法进行详细说明。

步骤s310,所述图像处理设备分别接收所述第一图像获取设备拍摄的第一实时场景信息以及第二图像获取设备拍摄的第二实时场景信息。

本实施例提供的图像生成方法应用于vr系统,图像获取设备将拍摄的图像发送至图像处理设备,由图像处理设备处理后,发送至vr设备显示,于本实施例中,所述vr显示设备包括3d眼镜以及显示终端,显示终端用于显示图像,例如,所述显示终端为计算机或个人电脑。用户佩戴3d眼镜后,使显示终端上的图像呈3d效果显示。

第一图像获取设备以及第二图像获取设备均为摄像头,第一图像获取设备以及第二图像设备拍摄角度均为180度,分别用于获取所在空间的不同图像,由第一摄像头获取空间的第一实时场景信息,即所在空间的一部分图像,第二摄像头获取同一空间的第二实时场景信息,即同一空间的另外一部分图像,第一实时场景信息与第二实时场景信息构成了整个空间的图像。

作为一种实施方式,第一图像获取设备以及第二图像获取设备均为两颗鱼眼摄像头,采用ov8865芯片,8m像素。单颗鱼眼摄像头视角可以达到180度,两颗鱼眼摄像头可以达到360度视角。作为一种实施方式,所述图像处理设备可以采用应用处理器apq8053。应用处理器apq8053包含双路isp,可以同时接收到,第一图像获取设备以及第二图像获取传来的图像数据。应用处理器apq8053支持h.264/h.265/vp8录像编码格式,支持4k@30fps,1080p@60fps帧率,可以保证生成的录像质量,避免了vr常见的颗粒感等情况。ov8865芯片的控制信号通过iic(inter-integratedcircuit)总线与应用处理器apq8053相连,数据传输位速率在标准模式下可达100kbit/s,快速模式下可达400kbit/s。数据信号通过4lane的mipi(mobileindustryprocessorinterface)总线与应用处理器apq8053相连。

步骤s320,将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。

图像处理设备接收到第一图像获取设备传输的第一实时场景信息以及第二图像获取设备传输的第二实时场景信息后,需要将其拼接成一个完整的场景信息,以还原第一图像获取设备以及第二图像获取设备所在的空间场景的实际图像。

作为一种实施方式,可以使用ldc(lensdistortioncorrection)算法以及cac(chromaticaberrationcorrection)算法,将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。从而保证了拼接图像的正确性,避免了图像的扭曲及失真。

步骤s330,将所述第三实时场景信息发送至所述vr显示设备。

作为一种实施方式,所述图像处理设备与所述vr显示设备之间进行通讯连接,以实现信息传输,图像处理设备在得到第三实时场景信息后,传输至vr显示设备,在vr显示设备上显示。

作为另一种实施方式,所述图像处理设备以及所述vr显示设备分别与服务器连接,可以通过wlan将拼接完成的第三实时场景信息发送到服务器,由所述服务器发送至所述vr显示设备。在保证传输速率的同时,增强了设备的便捷性。

本发明实施例提供的全景图像生成方法,由图像处理设备对接收到的第一图像获取设备发送的第一实时场景信息以及第二图像获取设备发送的第二实时场景信息,并对第一实时场景信息以及第二实时场景信息进行拼接处理,使第一图像获取设备的第一实时场景信息以及第二实时场景信息拼接成全景图像的第三实时场景,不仅减少了vr系统需要的图像获取设备的数量,而且能够获得全景图像。

第三实施例

请参见图4,为本发明第三实施例提供的全景图像生成方法的步骤流程图。第三实施例提供的全景图像生成方法包括:

步骤s410,所述图像处理设备分别接收所述第一图像获取设备拍摄的第一实时场景信息以及第二图像获取设备拍摄的第二实时场景信息。

步骤s421,获取所述预先存储的原始场景信息。

由于图像处理设备需要将接收到的第一实时场景信息以及第二场景信息进行拼接。

作为一种实施方式,将图处理设备中预先存储的原始场景信息作为参考,对第一实时场景信息以及第二实时场景信息进行拼接。具体地,用户需要实时查看某一空间的实时场景时,在使用之前,先注册账号信息以及空间中设置的第一图像获取设备以及第二图像获取设备的信息,并将第一图像获取设备以及第二图像获取设备与用户账号信息绑定,同时,图像处理设备预先存储这一空间的原始场景信息,并与用户的账号信息绑定。

步骤s422,从所述原始场景信息中获取预先存储的标定场景信息。

为了方便对应原始场景信息以及第一场景信息、第二场景信息,在原先存储原始场景信息时,在原始场景信息选择一个物体,作为标定场景信息,优选地,选择原始场景信息中相对固定的物体作为标定场景信息,例如,需要将一间卧室作为原始场景信息进行存储,卧室中的床的位置相对固定,可以选择“床”作为标定场景信息

步骤s423,根据所述标定场景信息,将所述第一实时场景信息以及所述第二实时场景信息根据进行拼接,生成第三实时场景信息。

在获取标定场景信息后,拼接第一实时场景信息以及第二实时场景信息时,从第一实时场景信息或第二实时场景信息中找到标定场景信息,根据原始场景信息进行拼接。

同样地,在本实施例中使用ldc算法以及cac算法,将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,以生成第三实时场景信息。

步骤s430,将所述第三实时场景信息发送至所述vr显示设备。

在实施例三中,步骤s410以及s430与实施例一种的步骤s310、以及s230相同。具体实施方式请参见实施例一,这里不再赘述。

本实施例提供的全景图像生成方法,使用第一图像获取设备拍摄第一实时场景信息,第二图像获取设备拍摄第二实时场景信息,并通过图像处理设备预先存储的原始场景信息以及原始场景信息中的标定场景信息对第一实时场景信息以及第二实时场景信息进行拼接,获得第三实时场景信息,并将第三实时场景信息发送至vr显示设备进行3d显示,不仅减少了vr系统需要的图像获取设备的数量,而且能够获得全景图像。

第四实施例

请参见图5,为本发明第四实施例提供的全景图像生成方法的步骤流程图。第四实施例提供的全景图像生成方法应用于vr系统,包括:

步骤s510,所述第一图像获取设备拍摄第一实时场景信息,并将所述第一实时场景信息发送至所述图像处理设备。

步骤s520,所述第二图像获取设备拍摄第二实时场景信息,并将所述第二实时场景信息发送至所述图像处理设备。

步骤s530,所述图像处理设备将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。

步骤s540,所述图像处理设备将所述第三实时场景信息发送至所述vr显示设备。

本发明实施例提供的全景图像生成方法的具体实施过程可以参见第二实施例以及第三实施例,在此不再一一赘述。

第五实施例

请参见图6,为本发明第五实施例提供的全景图像生成装置600的结构框图。所述全景图像生成装置600包括:

接收单元610,用于接收所述第一图像获取设备拍摄的第一实时场景信息以及第二图像获取设备拍摄的第二实时场景信息。

全景图像生成单元620,用于将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。

作为一种实施方式,全景图像生成单元620包括全景图像生成子单元,用于使用ldc算法以及cac算法,将所述第一实时场景信息以及所述第二实时场景信息根据所述图像处理设备预先存储的原始场景信息进行拼接,生成第三实时场景信息。

进一步地,所述全景图像生成单元620还包括:

第一获取单元621,用于获取所述预先存储的原始场景信息;

第二获取单元622,用于从所述原始场景信息中获取预先存储的标定场景信息。

拼接单元623,用于根据所述标定场景信息,将所述第一实时场景信息以及所述第二实时场景信息根据进行拼接,生成第三实时场景信息。

发送单元630,用于将所述第三实时场景信息发送至所述vr显示设备。

作为一种实施方式,发送单元630包括:

发送子单元,用于将所述第三实时场景信息发送至所述服务器,由所述服务器发送至所述vr显示设备。

本发明实施例提供的全景图像生成装置的具体实施过程可以参见上述方法实施例,在此不再一一赘述。

综上所述,本发明实施例提供的全景图像生成方法、装置及系统,由图像处理设备对接收到的第一图像获取设备发送的第一实时场景信息以及第二图像获取设备发送的第二实时场景信息,并对第一实时场景信息以及第二实时场景信息进行拼接处理,使第一图像获取设备的第一实时场景信息以及第二实时场景信息拼接成全景图像的第三实时场景,不仅减少了vr系统需要的图像获取设备的数量,而且能够获得全景图像。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1