全景图像的拍摄系统及方法与流程

本发明涉及虚拟现实技术，尤指一种全景图像的拍摄系统及方法。

背景技术：

全景视频能够为用户提供全方位视角、浸入式视频观看体验，已逐渐成为虚拟现实和视频播放的热点。随着虚拟现实技术的不断成熟，全景内容正在普及，并进入人们的生活，人们可以通过各种各样的途径接触到种类繁多的全景内容。

现有技术中，为了获取全景图像，需要使用全景相机进行拍摄。全景相机通常设置有两个或两个以上的镜头，通过全景相机拍摄多个方向的图像，再将两个或两个以上镜头拍摄的多个方向的图像过拼接算法进行拼接，得到全景图像，然后通形成全景视频。

由于全景相机本身具有全景拍摄、图像处理、数据存储、传输等完善的功能，因此，结构复杂、技术水平高、实现难度大，这就导致其成本高昂，在很大程度上限制了全景相机的普及。

技术实现要素：

为了解决上述技术问题，本申请提供了一种全景图像的拍摄系统及方法，能够大大降低全景拍摄设备的技术复杂度及成本，并增加了拍摄设备的可移植性。

为了达到本发明目的，本申请提供了一种全景采集装置，具有两个相同结构的成像单元以及通信芯片，其中：

两个成像单元相对设置且光轴相互重合，每个成像单元均包括超过180度视场角的鱼眼镜头和用于将鱼眼镜头的光信号鱼眼图像转换为电信号鱼眼图像的图像传感器，每个图像传感器分别与所述通信芯片连接，将电信号鱼眼图像传输给所述通信芯片；

所述通信芯片将每个图像传感器传输的电信号鱼眼图像通过对外通信接口输出，以实现图像处理。

本申请还提供了一种全景处理装置，包括：应用处理器、存储器和对外通信接口，所述存储器与应用处理器连接，所述对外通信接口设置在应用处理器上，其中：

所述应用处理器通过所述对外通信接口与全景采集装置连接，在连接的状态下，接收所述全景采集装置传输的电信号鱼眼图像，对所述电信号鱼眼图像进行图像处理。

本申请还提供了一种全景图像的拍摄系统，包括：全景采集装置和全景处理装置，所述全景采集装置与所述全景处理装置在物理上相互独立，通过对外通信接口实现连接，其中：

所述全景采集装置具有两个相同结构的成像单元以及通信芯片，两个成像单元相对设置且光轴相互重合，每个成像单元均包括超过180度视场角的鱼眼镜头和用于将鱼眼镜头的光信号鱼眼图像转换为电信号鱼眼图像的图像传感器，每个图像传感器分别与所述通信芯片连接，将电信号鱼眼图像传输给所述通信芯片；所述通信芯片将每个图像传感器传输的电信号鱼眼图像通过对外通信接口输出给所述全景处理装置；

所述全景处理装置通过与全景采集装置配合使用的对外通信接口与所述全景采集装置的通信芯片连接，在连接的状态下，接收所述通信芯片传输的电信号鱼眼图像，对所述电信号鱼眼图像进行图像处理。

本申请还提供了一种全景图像的拍摄方法，包括：

通过两个鱼眼镜头采集外界图像，得到两路光信号鱼眼图像；

将所述光信号鱼眼图像转换为电信号鱼眼图像，得到两路电信号鱼眼图像；

将所述两路电信号鱼眼图像通过对外通信接口输出，以实现图像处理。

本申请还提供了一种全景处理装置，包括：接收单元和图像处理单元，其中：

所述接收单元，用于接收全景采集装置传输的电信号鱼眼图像；

所述图像处理单元，用于对所述电信号鱼眼图像进行图像处理。

与现有技术相比，本申请包括全景采集装置和全景处理装置，全景处理装置与全景采集装置在物理上相互独立，通过对外通信接口实现连接，其中：全景采集装置具有两个相同结构的成像单元以及通信芯片，两个成像单元相对设置且光轴相互重合，每个成像单元均包括超过180度视场角的鱼眼镜头和用于将鱼眼镜头的光信号鱼眼图像转换为电信号鱼眼图像的图像传感器，每个图像传感器分别与通信芯片连接，将电信号鱼眼图像传输给通信芯片；通信芯片将每个图像传感器传输的电信号鱼眼图像通过对外通信接口输出给全景处理装置；全景处理装置通过对外通信接口与全景采集装置的通信芯片连接，在连接的状态下，接收通信芯片传输的电信号鱼眼图像，对电信号鱼眼图像进行图像处理。本申请的全景图像的拍摄系统将图像采集与图像处理划分为两个独立的装置完成，由相互独立的两个装置分别完成图像采集与图像处理，不仅能够大大简化全景拍摄装置的复杂度，从而降低产品的成本，而且能够将图像采集装置迁移到其他设备上使用，使全景采集装置具有了可移植性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请的一实施例提供的全景图像的拍摄系统的整体结构图；

图2为本申请的另一实施例提供的全景采集装置的电路图；

图3为本申请的另一实施例提供的全景处理装置的电路图；

图4为本申请的另一实施例提供的全景图像的拍摄方法的流程图；

图5为本申请的另一实施例提供的全景处理装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中的全景相机将全景拍摄、图像处理、数据存储、数据传输等各种功能集于一体。在用户使用全景相机进行拍摄时，可以由全景相机完成从拍摄鱼眼图像到输出拼接后的全景图像或全景视频等全部工作，这就导致全景相机的结构复杂、实现难度大，并且成本高昂，不仅使全景相机的制造难度巨大，而且在很大程度上限制了全景相机的普及。

本申请中考虑到在很多场景下都需要进行图像采集，在全景拍摄逐渐普及的情况下，全景图像采集已被应用到更多的场景中。在很多需要拍摄全景图像的场景下，如果使用现有的全景相机进行拍摄，不仅成本高昂，而且很多情况下难以满足不同场景差异化的图像处理需求。本申请中将图像采集与图像处理划分为两个独立的装置完成，由相互独立的两个装置分别完成图像采集与图像处理，不仅能够大大简化全景拍摄装置的复杂度，从而降低产品的成本，而且能够将图像采集装置迁移到其他设备上使用，满足多种场景对于全景拍摄的需求，并且能够适应不同场景对于图像处理的差异化需求。

如图1所示，本申请一实施例提供的全景图像的拍摄系统，包括：全景采集装置1和全景处理装置2，全景采集装置1与全景处理装置2在物理上相互独立，通过对外通信接口实现连接。

在非工作状态下，全景采集装置1与全景处理装置2可分离放置，并可单独与其他设备配合工作。在全景采集装置1与全景处理装置2相配合工作的状态下，全景采集装置1与全景处理装置2通过对外通信接口连接在一起，全景处理装置2为全景采集装置1供电。全景采集装置1将采集到的光信号鱼眼图像转换为电信号鱼眼图像，并将电信号鱼眼图像传输给全景处理装置2。全景处理装置2对电信号鱼眼图像进行图像处理。

本实施例中的全景处理装置2可以是单独设计、制造的装置，也可以是智能手机、平板电脑等智能终端，或者是笔记本电脑或PC等设备。本申请中并不对全景处理装置的具体形式进行限制，任何能够与全景采集装置1建立连接，并能够进行图像处理的终端、设备均可以作为本申请中的全景处理装置2。

在不同的应用场景中，全景采集装置1可以迁移到不同的全景处理装置2上，与不同的全景处理装置2配合使用。由于不同的全景处理装置2可能具有不同的图像处理能力或图像处理方式，因此，将全景采集装置1迁移到不同的全景处理装置2上，可以满足不同场景中对于图像处理的差异化需要，解决了一部全景相机只能提供统一效果的全景图像且成本高昂的问题。

例如，在家庭监控场景中，可以将全景采集装置1与专为家庭监控设计的全景处理装置2或笔记本电脑等设备连接，全景采集装置1进行图像采集，全景处理装置2进行图像处理，实现家庭全景监控。在户外公共场所监控场景中，可以将全景采集装置1与专为户外监控设计的全景处理装置2连接，实现户外场所的监控。由于家庭监控与户外监控可能会有不同的画质要求，因此，可以针对不同的场景设计不同的全景处理装置2，满足不同的图像处理需要。而对于不同场景下的全景图像采集需求，通过全景采集装置1即可满足。当然，本申请中也可以针对不同的场景设计不同结构的图像采集装置1满足差异化的需求。

本申请中的全景图像的拍摄系统可以应用到各种需要拍摄全景图像或全景视频的场景中，不论是风景、人物拍摄，还是家庭、户外监控等。相应的，本申请中的全景采集装置可以移植到任何需要进行全景采集的场景中，与相应场景下适合使用的全景处理装置配合工作，实现全景图像或全景视频的拍摄。

如图2所示，在本申请的一可选实施例中，全景采集装置可以是具有两个相同结构的成像单元以及一通信芯片，两个成像单元相对设置且光轴相互重合，每个成像单元均包括超过180度视场角的鱼眼镜头和用于将鱼眼镜头的光信号鱼眼图像转换为电信号鱼眼图像的图像传感器，每个图像传感器分别与通信芯片连接，将电信号鱼眼图像传输给通信芯片；通信芯片将每个图像传感器传输的电信号鱼眼图像通过对外通信接口输出给全景处理装置。

也就是说，在本实施例中，全景采集装置1具有第一成像单元11、第二成像单元12和通信芯片13，第一成像单元11包括第一鱼眼镜头101和第一图像传感器102，第二成像单元12包括第二鱼眼镜头103和第二图像传感器104。第一图像传感器102与第二图像传感器104分别与通信芯片13连接。

第一成像单元11和第二成像单元12的光轴重合。为了能够获得周围环境水平360度和垂直360度的全景图像，第一鱼眼镜头101和第二鱼眼镜头103的视场角大于180度，特别地，可以选用185度视场角的鱼眼镜头，或者可以选用视场角为190度的鱼眼镜头。第一成像单元11的第一鱼眼镜头101对其周围半球区域进行成像。第二成像单元12的第二鱼眼镜头103对其周围半球区域进行成像。

此外，第一鱼眼镜头101和第二鱼眼镜头103采集的外界图像需保证有部分重叠区域。

第一图像传感器102和第二图像传感器104可以是CCD(电荷耦合器件)图像传感器，也可以是CMOS(互补金属氧化物半导体)图像传感器。第一鱼眼镜头101和第二鱼眼镜头103分别设置在第一图像传感器102和第二图像传感器104的前面。

通信芯片13可以是WIFI模块、蓝牙模块、USB芯片或通用输入输出接口芯片等。优选的，通信芯片13选择使用USB芯片，全景采集装置1这一侧设置USB公头作为对外通信接口，全景处理装置2一侧设置USB母头作为与全景采集装置1配合使用的对外通信接口。全景采集装置1可以通过通信芯片13连接全景处理装置2后，将电信号鱼眼图像传输给全景处理装置2，以使全景处理装置2对电信号鱼眼图像进行图像处理。

与全景采集装置1相对应的，全景处理装置2通过与全景采集装置1配合使用的对外通信接口与全景采集装置1的通信芯片13连接，在连接的状态下，接收通信芯片13传输的电信号鱼眼图像，对电信号鱼眼图像进行图像处理。

如图3所示，全景处理装置2包括应用处理器21、存储器22和与全景采集装置1配合使用的对外通信接口23，存储器22与应用处理器21连接，与全景采集装置1配合使用的对外通信接口23设置在应用处理器21上。

应用处理器21通过与全景采集装置1配合使用的对外通信接口23接收电信号鱼眼图像，对电信号鱼眼图像进行图像处理。图像处理包括对电信号鱼眼图像进行同步和展开处理，得到展开图像，并对展开图像进行拼接融合得到全景图像或全景视频。除此之外，应用处理器21还可以对输入的电信号鱼眼图像进行颜色调整、白平衡处理和镜头畸变校正等图像处理。

存储器22用于存储应用处理器21进行图像处理后得到的全景图像或全景视频，经过应用处理器21处理后的得到的全景图像或全景视频传入存储器22中进行存储。存储器22可以包含SD卡，将用户拍摄的全景视频或全景图像存储在SD卡中。

不仅如此，应用处理器21上还可以设置网络接口，网络接口可以是WIFI或蓝牙等无线传输接口。应用处理器21可以通过网络接口接收用户通过手机等智能终端对全景处理装置2的控制，同时，也可以通过网络接口向智能终端发送全景图像或全景视频。

请再次参考图1，对于本申请的全景图像的拍摄系统的外形形式，针对单独设计的全景处理装置2，可以使全景采集装置1还包括第一壳体，将全景采集装置1的电路部分设置在第一壳体中；使全景处理装置2还包括第二壳体，将全景处理装置2的电路部分设置在第二壳体中。在全景采集装置1与全景处理装置2通过通信接口连接的状态下，第二壳体支撑起第一壳体。也就是说，在连接状态下，可以将保持有全景采集装置1的电路部分的第一壳体设置在保持有全景处理装置2的电路部分的第二壳体的上方。

本申请中不对第一壳体和第二壳体的具体结构形式进行限定，任何能够设置电路部分并具有一定美感的结构设计都可以作为壳体的形式。

另外，在全景采集装置1中还可以设置音频采集单元。音频采集单元可以采集音频信号，并将音频信号传输至通信芯片13。通信芯片13在向全景处理装置2传输电信号鱼眼图像的同时，还将音频信号传输给全景处理装置2。在本申请的一可选实施例中，音频采集单元可以是麦克风，也可以为其他的音频采集装置。

本申请的全景图像的拍摄系统能够应用到任何需要进行全景拍摄的场景中，并且全景采集装置1可以迁移到不同的全景处理装置2上，满足不同场景中对于图像处理的差异化需要，解决了一部全景相机只能提供统一效果的全景图像且成本高昂的问题。

如图4所示，本申请的另一实施例提供的全景图像的拍摄方法，包括：

步骤401：通过两个鱼眼镜头采集外界图像，得到两路光信号鱼眼图像；

步骤402：将光信号鱼眼图像转换为电信号鱼眼图像，得到两路电信号鱼眼图像；

步骤403：将两路电信号鱼眼图像通过对外通信接口输出，以实现图像处理。

本实施例中，通过相对放置的两组成像单元采集两路光信号鱼眼图像，再将光信号鱼眼图像转换为电信号鱼眼图像，最后通过对外通信接口将电信号鱼眼图像输出，以实现图像处理。

上述每个成像单元包括一个鱼眼镜头和一个摄取由鱼眼镜头所形成光信号鱼眼图像的图像传感器，每个鱼眼镜头的视场角超过180度。两个成像单元背向设置，保证采集到水平和垂直各360°的全景图像。全景处理装置可以将各成像单元采集的电信号鱼眼图像展开并拼接在一起获得立体角弧度为4π的图像。

对于电信号鱼眼图像的接收端，也就是全景处理装置，可以通过对外通信接口接收电信号鱼眼图像，对电信号鱼眼图像进行图像处理。图像处理包括对两路电信号鱼眼图像进行同步和展开处理，得到展开图像，并对展开图像进行拼接融合得到全景图像。

由于两路成像单元相互独立，因此，采集到的鱼眼图像有先后时间差异，即使进行同步控制，也无法保证拍摄得到的两路电信号鱼眼图像精确同步。因此，在得到两路电信号鱼眼图像后，需要对这两路电信号鱼眼图像先进行同步处理。

鱼眼镜头的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头在成像过程中存在较大的畸变，畸变图像不符合人眼的观看习惯，所以畸变图像需要进行校正。基于此，在对两路电信号鱼眼图像进行同步处理后，需要对每一路电信号鱼眼图像进行畸变校正。本实施例在对电信号鱼眼图像进行的图像处理中，可以通过对两路电信号鱼眼图像展开实现鱼眼图像的畸变校正。

在对电信号鱼眼图像进行展开，得到展开图像后，就可以进行重叠区域的拼接融合处理，得到全景图像，对于视频拍摄即可得到全景视频。本实施例对电信号鱼眼图像进行的图像处理中，在将每一路电信号鱼眼图像展开后，对展开图像的重叠区域进行拼接融合处理，将两路展开图像融合后合二为一，得到全景图像或全景视频。

融合的方法可以采用如小波融合、加权平均融合等。

进一步，本实施例提供的方法中，在对两路展开图像的重叠区域进行拼接融合处理得到全景图像或全景视频后，还可以将拼接后的全景视频或全景图像编码压缩为标准的数据格式，并将压缩后的全景视频或全景图像传输给后端设备进行后期处理或显示。例如，可以通过USB接口、wifi接口等数据传输接口传输压缩后的全景视频或全景图像。

此外，本实施例提供的方法中，在对电信号鱼眼图像进行图像处理后，还可以对得到的全景视频或全景图像进行移动侦测、笑脸检测、人形检测和烟雾检测等图像处理工作。

如图5所示，本申请另一实施例提供的全景处理装置，包括：接收单元和图像处理单元，其中：

接收单元，用于接收全景采集装置传输的电信号鱼眼图像；

图像处理单元，用于对所述电信号鱼眼图像进行图像处理。

图像处理单元，具体用于对电信号鱼眼图像进行同步和展开处理，得到展开图像，并对展开图像进行拼接融合得到全景图像。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。