三维的360度虚拟现实相机系统的制作方法

文档序号:18457553发布日期:2019-08-17 01:44阅读:201来源:国知局
三维的360度虚拟现实相机系统的制作方法

本公开总体上涉及相机组件,并且更具体地涉及用于虚拟现实系统的三维(3d)的360度相机系统。



背景技术:

虚拟现实系统利用一个或多个相机来捕获环境的图像和/或视频。重建由这些相机捕获的图像和/或视频,以创建用户可与之交互的虚拟现实。该一个或多个相机的配置影响所捕获的图像的质量以及重建图像以实现无缝虚拟现实体验的能力。因此,相机的配置和较低质量的捕获图像可能不利地影响用户的虚拟现实体验。



技术实现要素:

一种相机系统被配置成捕获360度的本地区域的图像和/或视频,其至少一部分是立体的。该相机系统包括多个外围相机和一个或多个轴线相机。该相机系统可包括第一刚性板和第二刚性板。

该多个外围相机围绕相机系统的中心点布置成环形配置。每个外围相机的光轴位于一平面内,并且每个外围相机背离中心点,使得本地区域中距离中心点超过阈值距离的对象位于至少两个外围相机的视场内。因此,外围相机能够立体地将超过阈值距离的对象成像。第一刚性板可以固定至外围相机的顶表面,并且第二刚性板可以固定至外围相机的底表面,从而创建刚性结构。该刚性结构使外围相机相对于彼此的移动最小化。

该一个或多个轴线相机可例如包括顶部轴线相机和底部轴线相机。顶部轴线相机可以耦接至第一刚性板的顶表面,并且底部轴线相机可以耦接至第二刚性板的底表面。在一些实施方式中,顶部轴线相机和底部轴线相机两者被布置成使得每个相机的光轴与对准轴线共线。在一些实施方式中,该多个轴线相机可包括耦接至第一刚性板的顶表面的、耦接至第二刚性板的底表面、或两者的附加相机。在一些实施方式中,一个或多个附加轴线相机可以被定位成与顶部轴线相机、底部轴线相机、一个或多个外围相机、附加轴线相机或其某种组合一起提供立体成像。

该多个外围相机和一个或多个轴线相机被配置成捕获本地区域的图像信息。相机系统将图像信息发送至处理服务器,该处理服务器根据图像信息生成本地区域的3d-360度内容。3d-360度内容是与相机系统的360度视场相关联的媒体内容,并且可以以3d呈现,例如,图像、视频、音频信息或其某种组合。

根据本发明的实施方式尤其公开在涉及相机系统的所附权利要求中,其中,在一种权利要求类型中提到的任何特征(例如,系统)同样可以在另一种权利要求类型(例如,方法)中要求保护。仅因为形式问题的原因而选择所附权利要求的引用或回引。然而,从对任何在前权利要求的有意回引所得的任何主题(特别是多项引用)也可以被要求保护,以便权利要求及其特征的任何组合被公开并可以要求保护而与在所附权利要求中选择的引用关系无关。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合,而且还包括权利要求中的特征的任何其他组合,其中,权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征组合相结合。此外,可以在单独的权利要求中和/或在与本文所描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护本文中描述或描绘的任何实施方式和特征。

在根据本发明的实施方式中,相机系统包括:

多个外围相机,这些外围相机围绕中心点布置成环形配置,使得每个相机的光轴在一平面内,并且每个相机的视场背离中心点,并且使得在阈值距离之外,在本地区域的一部分中的任何对象处于至少两个外围相机的视场内;

至少一个轴线相机,定位成使得该至少一个轴线相机的光轴沿着通过中心点延伸的对准轴线;

第一刚性板,沿对准轴线定位,使得对准轴线与第一板的中心相交,第一刚性板包括第一顶表面和第一底表面,第一顶表面耦接至至少一个轴线相机的第一安装表面,第一底表面耦接至该多个外围相机的第一安装表面;以及

第二刚性板,沿对准轴线定位,使得对准轴线与第二板的中心相交,第二刚性板包括第二顶表面,第二顶表面耦接至该多个外围相机的第二安装表面。

第一板和第二板可以是盘形的。

在根据本发明的实施方式中,相机系统可以包括底部轴线相机,该底部轴线相机被定位成使得底部轴线相机的光轴沿着通过中心点延伸的对准轴线,并且中心点处于顶部轴线相机与底部轴线相机之间。

第二板可以包括第二底表面,并且相机系统可以包括:

支撑结构,该支撑结构耦接至第二底表面,该支撑结构被配置成支撑相机系统。

在根据本发明的实施方式中,相机系统可以包括:

相机控制器,该相机控制器被配置成:

指示相机系统生成本地区域的图像信息,

将图像信息提供给处理服务器,其中,处理服务器使用图像信息生成内容,并且所生成的内容包括3维(3d)部分和多个二维(2d)部分,3d部分对应于使用来自外围相机的图像信息生成的内容部分,并且2d部分对应于使用来自该至少一个轴线相机的图像信息生成的内容部分。

在根据本发明的实施方式中,相机系统可以包括多个轴线相机,该多个轴线相机包括第一组相机,该第一组相机定位成使得其各自的光轴处于平面与对准轴线之间,该第一组相机具有包含本地区域的第二部分的总视场,并且在第二阈值距离之外,在本地区域的第二部分中的任何对象处于第一组相机中的至少两个轴线相机的视场内。

该至少一个轴线相机的视场可大于外围相机中的每个外围相机的视场。

在根据本发明的实施方式中,相机系统包括:

多个外围相机,这些外围相机围绕中心点布置,使得每个相机的光轴在一平面内,并且每个相机的视场背离中心点,并且在阈值距离之外,在本地区域的一部分中的任何对象处于至少两个外围相机的视场内;以及

至少一个轴线相机,该至少一个轴线相机被定位成使得该至少一个轴线相机的光轴沿着通过中心点延伸的对准轴线。

在根据本发明的实施方式中,相机系统可包括:

第一刚性板,沿对准轴线定位,使得对准轴线与第一板的中心相交,第一刚性板包括第一顶表面和第一底表面,第一顶表面耦接至顶部轴线相机的第一安装表面,第一底表面耦接至该多个外围相机的第一安装表面;以及

第二刚性板,沿对准轴线定位,使得对准轴线与第二板的中心相交,第二刚性板包括第二顶表面,第二顶表面耦接至该多个外围相机的第二安装表面。

第一板和第二板可以是盘形的。

第二刚性板可以包括第二底表面,并且相机系统可以包括:

支撑结构,该支撑结构耦接至第二底表面,该支撑结构被配置成支撑相机系统。

在根据本发明的实施方式中,相机系统可以包括底部轴线相机,该底部轴线相机耦接至第二刚性板的第二底表面,并且该底部轴线相机被定位成使得底部轴线相机的光轴沿着通过中心点延伸的对准轴线,并且中心点处于顶部轴线相机与底部轴线相机之间。

在根据本发明的实施方式中,相机系统可以包括:

相机控制器,该相机控制器被配置成:

指示相机系统生成本地区域的图像信息,并且

将图像信息提供给处理服务器,其中,处理服务器使用图像信息生成内容,并且所生成的内容包括3维(3d)部分和多个二维(2d)部分,3d部分对应于使用来自外围相机的图像信息生成的内容部分,并且2d部分对应于使用来自该至少一个轴线相机的图像信息生成的内容部分。

在根据本发明的实施方式中,相机系统可以包括多个轴线相机,该多个轴线相机包括第一组相机,该第一组相机定位成使得其各自的光轴处于平面与对准轴线之间,该第一组相机具有包含本地区域的第二部分的总视场,并且在第二阈值距离之外,在本地区域的第二部分中的任何对象处于第一组相机中的至少两个轴线相机的视场内。

该至少一个轴线相机的视场可大于外围相机中的每个外围相机的视场。

在根据本发明的实施方式中,相机系统包括:

多个外围相机,这些外围相机围绕中心点布置,使得每个相机的光轴在一平面内,并且每个相机的视场背离中心点,并且在阈值距离之外,在本地区域的一部分中的任何对象处于至少两个外围相机的视场内;

多个轴线相机,该多个轴线相机包括顶部轴线相机和底部轴线相机,顶部轴线相机被定位成使得顶部轴线相机的光轴沿着通过中心点延伸的对准轴线,并且底部轴线相机被定位成使得底部轴线相机的光轴沿着通过中心点延伸的对准轴线,并且中心点处于顶部轴线相机与底部轴线相机之间;

第一刚性板,沿对准轴线定位,使得对准轴线与第一板的中心相交,第一刚性板包括第一顶表面和第一底表面,第一顶表面耦接至顶部轴线相机的第一安装表面,第一底表面耦接至该多个外围相机的第一安装表面;以及

第二刚性板,沿对准轴线定位,使得对准轴线与第二板的中心相交,第二刚性板包括第二顶表面,第二顶表面耦接至该多个外围相机的第二安装表面。

第二板可包括第二底表面,并且相机系统可以包括:

支撑结构,该支撑结构耦接至第二底表面,该支撑结构被配置成支撑相机系统。

在根据本发明的实施方式中,相机系统可以包括第二底部轴线相机,第二底部轴线相机耦接至第二刚性板的第二底表面,并且第二底部轴线相机被定位成使得第二底部轴线相机的第二光轴平行于通过中心点延伸的对准轴线,并且支撑结构平行于第二光轴和对准轴线并处于第二光轴与对准轴线之间。

在根据本发明的实施方式中,相机系统可以包括:

相机控制器,该相机控制器被配置成:

指示相机系统生成本地区域的图像信息,并且

将图像信息提供给处理服务器,其中,处理服务器使用图像信息生成内容,并且所生成的内容包括3维(3d)部分和多个二维(2d)部分,3d部分对应于使用来自外围相机的图像信息生成的内容部分,并且2d部分对应于使用来自轴线相机的图像信息生成的内容部分。

该多个轴线相机可以包括第一组相机,该第一组相机定位成使得其各自的光轴处于平面与对准轴线之间,该第一组相机具有包含本地区域的第二部分的总视场,并且在第二阈值距离之外,在本地区域的第二部分中的任何对象处于第一组相机中的至少两个轴线相机的视场内。

附图说明

图1是示出了根据实施方式的用于为虚拟现实系统生成3d-360度图像的系统的实施方式的高层级框图。

图2a示出了根据实施方式的用于捕获图像信息的相机组件的透视图。

图2b示出了根据实施方式的图2中所示的相机组件的俯视图。

图2c示出了根据实施方式的图2中所示的相机组件的侧视图。

图2d示出了根据实施方式的用于捕获图像信息的相机组件的侧视图。

图3是示出了根据实施方式的在相机系统内的模块的详细视图的高层级框图。

图4示出了根据实施方式的根据图像信息生成的3d-360度内容。

图5示出了根据实施方式的用于相机系统的用户界面。

附图仅为了说明的目的描述本公开的实施方式。本领域技术人员从以下描述中容易认识到,在不背离此处所描述的本公开的原理或推崇的益处的情况下,可以采用本发明中所示出的结构和方法的替代实施方式。

具体实施方式

图1是示出了根据实施方式的用于为虚拟现实系统生成3d-360度图像的系统100的实施方式的高层级框图。系统100包括网络105,该网络将用户设备110连接至数据存储器120、相机系统130和处理服务器140。在图1的实施方式中,仅示出了一个用户设备110,但是可以存在该实体的多个实例。例如,可以存在经由网络105耦接至数据存储器120、相机系统130和处理服务器140的多个用户设备110。

网络105在用户设备110、数据存储器120、相机系统130和处理服务器140之间提供通信基础设施。网络105通常是互联网,但也可以是任何网络,包括但不限于局域网(lan)、城域网(man)、广域网(wan)、移动有线或无线网络、专用网络或虚拟专用网络。

用户设备110是执行计算机程序模块的计算设备,例如,支持网络的浏览器150或一些其他的客户端应用,其允许用户查看相机系统130的用户界面。用户设备110可以是例如个人计算机、平板计算机、智能电话、膝上型计算机或其他类型的能够联网的设备。

数据存储器120存储来自相机系统130和处理服务器140的图像信息。在一些实施方式中,数据存储器120可以是基于云的,并且由相机系统130和处理服务器140经由网络105访问。数据存储器120可以直接从相机系统130接收和存储图像信息,或者数据存储器120可以在图像信息已被处理之后从处理服务器140接收和存储图像信息。在一个实施方式中,数据存储器120是处理服务器140的一部分。在另一实施方式中,数据存储器120是由第三方存储提供商维护的档案。

相机系统130使用相机系统130周围的本地区域的捕获图像和/或音频信息来生成图像信息。相机系统130包括定位成捕获本地区域的360度视图的相机组件。在图1的实施方式中,该组件包括安装至刚性表面或结构上的多个相机。该多个相机中的至少一部分被布置成使得相邻相机可以产生本地区域的立体图像。下面关于图2a、图2b、图2c、图2d和图3来详细讨论相机系统130的实施方式。

本地区域是相机系统130周围的环境。例如,本地区域可以是房间,相机系统130在其内部,或者相机系统130可以在外部并且本地区域是相机系统130可见的外部区域。图像信息是由相机系统130输出的信息。图像信息可以包括例如一个或多个图像、音频信息(例如,由一个或多个麦克风捕获的声音)、视频信息、元数据或其某种组合。元数据是与图像信息相关联的附加信息。元数据可以包括例如帧速率、曝光设置(例如,快门速度、增益等)、版权信息、日期/时间信息、相机标识符、名称、标签、与图像信息相关联的一些其他信息或其某种组合。相机系统130包括缓冲和存储图像信息的内存存储器。在一些实施方式中,相机系统130可以(例如,经由一些有线和/或无线的连接)本地耦接至外部数据存储器。在一些实施方式中,相机系统130被配置成经由网络105将图像信息发送至处理服务器140。在替代实施方式中,相机系统130被配置成处理图像信息以形成高分辨率的3d-360度内容。例如,3d-360度内容视频内容可以例如为4k、6k、8k分辨率、或由相机系统130支持的一些其他分辨率。

相机系统130接收来自用户的指令以捕获本地区域的图像信息。例如,相机系统130可以包括网络服务器,该网络服务器允许用户经由网络105使用例如用户设备110上的支持网络的浏览器150来控制相机系统130。相机系统130使用来自相机组件130中的一个或多个相机的信息确定全局曝光设置(例如,增益、快门速度、光圈),并将全局曝光设置应用于相机系统130中的所有相机。因此,每个相机(无视该相机特定的测光)都使用该全局曝光设置。相机系统130使用全局快门来同步图像信息的捕获,该全局快门使得相机系统130中的所有相机同时进行曝光(使用全局曝光设置)。因此,拍摄帧的曝光和时间在所有图像信息中是一致的。

处理服务器140使用图像信息生成3d-360度内容。3d-360度内容是与相机系统130的360度视场相关联的媒体内容,并且其至少一部分包括深度信息并且可以以三维(3d)呈现。3d-360度内容可以包括例如图像、视频、音频信息或其某种组合。处理服务器140可以以高分辨率生成3d-360度内容。例如,3d-360度内容视频内容可以例如为4k、6k、8k分辨率、或由相机系统130支持的一些其他分辨率。例如,3d-360度内容可以是本地区域的视频,该视频是由相机系统130拍摄的图像的合并表示,并且呈现为与外围相机拍摄的图像对应的视频的3d部分。

处理服务器140从相机系统130、数据存储器120或其某种组合接收图像信息。处理服务器140被配置成利用由一组计算机实现的指令执行的算法来创建3d-360度内容。该算法识别与同一时间值相关联的图像信息中的一组图像(例如,元数据指示同时捕获),并将这些图像合并为3d-360度内容的单个帧。另外,处理服务器140可以通过将与不同时间相关联的多个3d-360度内容帧结合在一起来生成视频文件。3d-360度内容被处理服务器140输出,并且可以存储在数据存储器120中以便稍后访问。

系统100有利地允许用户捕获本地区域的图像信息并构造可以在例如虚拟现实(vr)环境或一些其他环境(例如,增强现实和/或混合现实)中使用的本地区域的3d-360度内容。系统100具有刚性结构、同步操作和基于网络的界面。相机系统130的刚性防止了在每个相机已经对准和校准后多个相机相对于彼此移动,使得更容易处理图像信息并将这些图像融合在一起以构造3d-360度内容。该多个相机的同步性允许将全局设置应用于每个相机并且改善所捕获的图像信息的质量,这进而改善了所构造的3d-360度内容的质量。基于网络的界面为用户设置系统100、预览捕获的图像信息、应用全局设置、处理图像信息以及访问、使用或存储3d-360度内容提供了易用性。

图2a示出了根据一个实施方式的用于捕获图像信息的相机组件200的透视图。在一些实施方式中,相机组件200是系统100中的相机组件130的实施方式。替代地,相机组件200可以是一些其他系统的一部分。相机组件200的一些实施方式具有与这里描述的那些部件不同的部件。类似地,在一些情况下,功能可以以不同于这里描述的方式在部件之间分配。

如下面更详细描述的,相机组件200使用本地区域的捕获图像和/或音频信息来生成图像信息。相机组件200包括顶板202、底板204、顶部轴线安装件206、底部轴线安装件208(未示出)、多个外围相机210、以及包括顶部轴线相机212和底部轴线相机214(未示出)的多个轴线相机。顶板202、底板204、顶部轴线安装件206、底部轴线安装件208(未示出)、顶部轴线相机212和底部轴线相机214(未示出)沿着对准轴线216对准。该多个外围相机210布置成使得它们围绕与对准轴线216相交的中心点218形成环。顶板202耦接至外围相机210的环的顶表面,并且底板204耦接至外围相机210的环的底表面。这种配置创建了防止外围相机210振动和过热的刚性结构,并且允许外围相机210捕获用于生成3d-360度内容中的3d内容部分的高质量图像和/或视频。

顶板202被配置成固定该多个外围相机210和一个或多个轴线相机(例如,顶部轴线相机212)。顶板202包括顶表面220、底表面222和多个固定机构224。顶板202由刚性材料构成并且基本上是盘形的。刚性材料可以是例如金属(例如铝、钢等)、刚性塑料、一些其他刚性材料或其某种组合。顶表面220将顶部轴线安装件206耦接至顶板202,使得顶部轴线安装件206沿着对准轴线216居中。沿顶板202的周边是多个固定机构224。每个固定机构224被配置成将外围相机210固定至顶板202的底表面222。例如,固定机构224可以是将顶板202耦接至该多个外围相机210的机械紧固件(例如,螺钉、螺栓)。

底板204被配置成固定该多个外围相机210和一个或多个轴线相机(例如,底部轴线相机214)并且基本上类似于顶板202。底部轴线相机214在图2a中未示出,但是在图2c中示出为轴线相机214。底板204包括顶表面226、底表面228和多个固定机构224。底板204由刚性材料构成并且基本上是盘形的。刚性材料可以是例如金属(例如铝、钢等)、刚性塑料、一些其他刚性材料或其某种组合。底表面228被配置成将底部轴线安装件208(图2a中未示出)耦接至底板204,使得底部轴线安装件208沿着对准轴线216居中。沿着底板204的周边是附加的多个固定机构224,其中每个固定机构224将一外围相机210固定至底板204的顶表面226。底表面228进一步被配置成耦接至支撑结构,该支撑结构为相机系统130提供直立或安装支撑和稳定性。支撑结构可以是各种安装件(例如,独脚架、三脚架、四脚架(quadrantpod)、墙壁安装件等)。

轴线安装件被配置成将轴线相机(例如,顶部轴线相机212或底部轴线相机214)垂直于顶板202或底板204的表面来固定。轴线安装件基本上是圆柱形的并且是中空的。这种配置允许轴线相机竖直地偏离顶板202或底板204的表面,从而允许轴线相机212、214和外围相机210的视场有较少重叠。连接至轴线相机的线可以隐藏在轴线安装件的中空部分内。在图2a的实施方式中,顶部轴线安装件206耦接至顶板202的顶表面220,并且底部轴线安装件208耦接至底板210的底表面214。每个轴线安装件沿着对准轴线216对准,并为轴线相机提供稳定性。

外围相机210被配置成捕获本地区域的360度视图的图像和/或视频。该多个外围相机210被定位成使得它们形成围绕与对准轴线216相交的中心点218的环。该多个外围相机210围绕中心点218定位,使得每个外围相机210的光轴在一平面内,并且每个外围相机210的视场背离中心点218。每个外围相机210以一定距离和一定角度定位在相邻的外围相机210旁边。这种配置允许捕获的图像和/或视频在被处理成3d-360内容时包括立体效果的(也称为立体的)部分。在一些实施方式中,该距离模拟人眼之间的瞳孔间距离。模拟的瞳孔间距离取决于相邻外围相机210的水平视场之间的重叠量。重叠量是在校正了桶形失真之后的每个外围相机210的水平视场以及环形配置中的外围相机210的角间距或数量的函数。例如,模拟大于6.4cm的瞳孔间距离(大约是人的瞳孔间距离的中值)的实施方式由均匀间隔的十四个外围相机组成,每个外围相机在校正了桶形失真后具有大于或等于77度的水平视场。这种配置允许捕获的图像和/或视频模拟人的感知。外围相机210的数量可以变化并且可以取决于顶板202和底板204的大小和/或每个外围相机210的视场。在图2a的实施方式中,存在十四个外围相机210来形成环并捕获环境的360度视图。在其他实施方式中,可以存在更多或更少的外围相机210。

外围相机210包括传感器(未示出)、镜头230和相机控制器(未示出)。传感器是使用光敏像素阵列捕获光的电子设备,其中每个像素将光转换成电子信号。传感器可以具有不同的特征,诸如,分辨率、像素大小和灵敏度、光灵敏度、快门类型和信号处理类型。镜头230是相机的一个或多个光学元件,其有助于将光聚焦到传感器上。镜头具有可以固定或可变的特征(诸如焦点和光圈)、可以具有变化的焦距、并且可以覆盖有光学涂层。一些实施方式可以具有可互换的镜头,使得可以从相机移除第一镜头并且可以将第二镜头耦接至相机。在一些实施方式中,外围相机210可以具有麦克风以捕获音频信息。麦克风可以位于相机内,或者可以位于相机外部。

相机控制器能够基于入射在传感器上的光来确定相机的曝光设置(例如,光圈、增益、快门)。在一些实施方式中,相机控制器用作主相机,即,相机控制器控制多个其他相机。在其他实施方式中,相机控制器用作辅助相机,即,相机控制器被第二相机控制。外围相机210用作辅助相机的实施方式中,快门和曝光设置由主相机全局设置。在图2a的实施方式中,外围相机210包括若干属性,诸如,小形状因数、高分辨率(例如,2048x2048)、高帧速率(例如,每秒90帧)、1”传感器和用于镜头的c型安装座。范围从约50度到120度的视场通常被称为宽视场,并且大于120度的视场通常被称为鱼眼视场。每个外围相机210的视场范围可以从广角到鱼眼视场。例如,每个外围相机210的视场范围可以在50度至180度之间。在图2a的实施方式中,镜头230具有阻挡红外光的光学涂层、f/2.4光圈、用于相机的cs安装座、以及92度的水平和竖直视场。在校正桶形失真之后,镜头230的有效视场是77度。在其他实施方式中,每个外围相机210可以具有不同的视场。例如,每个外围相机210可以具有180度视场(即,鱼眼镜头)。极宽的视场(即,鱼眼)有可能减少用于生成3d-360度内容的立体部分的外围相机的数量,然而,由于图像信息倾向于包括更大量的失真而使得图像信息的处理变得更加困难。

适配器232允许使用相机组件200中的现成(off-the-shelf)部件。适配器232被配置成通过在第一端固定至外围相机210的c型安装座并在第二端固定至镜头230的cs安装座来将外围相机210耦接至镜头230。

每个外围相机210还包括多个固定机构,以将外围相机210固定在顶板202与底板204之间。固定机构与固定机构224相互作用,允许外围相机210耦接至顶板202的底表面222和耦接至底板204的顶表面220。在图2a的实施方式中,每个外围相机210定位成使得镜头230从中心点218径向向外指向。外围相机210可以是电池供电的、经由电缆和电缆接口(例如,通用串行总线(usb)接口)供电的、或其某种组合。另外,一些实施方式可以具有安装在顶板202与底板204之间的支撑结构,以增加相机组件200的刚性和稳定性。支撑结构可以是柱、支撑块或其某种组合。

该多个轴线相机被配置成捕获本地区域的顶部视图和底部视图的图像和/或视频。轴线相机包括顶部轴线相机212和底部轴线相机214(图2c中所示),该顶部轴线相机和该底部轴线相机固定至其各自的轴线安装件206、208并且定位成使得顶部轴线相机212和底部轴线相机214两者均沿着对准轴线216对准,使得每个轴线相机212、214的光轴与对准轴线216共线。顶部轴线相机212的视场和底部轴线相机214的视场背离相机组件200的中心点218指向。

顶部轴线相机212提供本地区域的一部分的顶部视图,而底部轴线相机214(如图2c所示)提供本地区域的不同部分的底部视图。如前所述,顶部轴线相机和底部轴线相机212、214相对于外围相机210竖直地偏移,以限制视场之间的重叠。轴线相机的数量和取向可以不同。在图2a的实施方式中,存在两个轴线相机,其捕获本地区域的顶部视图和底部视图。在替代实施方式中(例如,如关于图2d所讨论的),相机组件200包括两个底部轴线相机,这两个底部轴线相机被布置成使得第一底部轴线相机的视场和第二底部轴线相机的视场具有足够的重叠来移除作为3d-360度内容中的遮挡的支撑相机组件200的安装件。在其他实施方式中,顶板202和底板204可以各自固定多个轴线相机,使得这些轴线相机的布置覆盖半球并提供球形视场。

轴线相机包括传感器(未示出)、镜头234和相机控制器(未示出)。传感器是使用光敏像素阵列捕获光的电子设备,其中每个像素将光转换成电子信号。传感器可以具有不同的特征,诸如,分辨率、像素大小和灵敏度、光灵敏度、快门类型和信号处理类型。镜头234包括相机的一个或多个光学元件,其有助于将光聚焦在传感器上。镜头具有可以固定或可变的特征(诸如焦点和光圈)、可以具有变化的焦距、并且可以覆盖有光学涂层。一些实施方式可以具有可互换的镜头,使得可以从相机移除第一镜头并且可以将第二镜头耦接至相机。在一些实施方式中,轴线相机可以具有麦克风以捕获音频信息。麦克风可以位于相机内,或者可以位于相机外部。

相机控制器能够确定相机的曝光设置(例如,光圈、增益、快门)并且控制帧速率。在一些实施方式中,相机控制器用作主相机,即,相机控制器控制多个其他相机。在其他实施方式中,相机控制器用作辅助相机,即,相机控制器被第二相机控制。轴线相机用作辅助相机的实施方式中,快门和曝光设置由主相机全局设置。在图2a的实施方式中,轴线相机包括若干属性,诸如,小形状因数、高分辨率(例如,2048x2048)、高帧速率(例如,每秒90帧)、1”传感器和用于镜头的c型安装座。每个轴线相机的视场(fov)范围可以在120度至185度之间。在替代实施方式中,轴线相机的fov也可小于120或大于185。至少,它必须足够大以覆盖外围相机210留下的孔。例如,如果外围相机210具有垂直fov为x度,则为了将覆盖中的孔成像,轴线相机应具有2*(90-x)度的fov。在一些实施方式中,可以使用更大的fov来确保足够的重叠,以使得3d-360度内容能够从对应于来自轴线相机的图像信息的部分平滑过渡到对应于来自外围相机210的图像信息的部分。

在图2a的实施方式中,镜头234具有阻挡红外光的光学涂层、f/1.8-16光圈、用于相机的c型安装座、以及185度的水平和竖直视场。轴线相机可以是电池供电的、经由电缆和电缆接口(例如,usb接口)供电的、或其某种组合。

相机组件200使用定位成查看360度的本地区域的多个外围相机210和轴线相机来捕获图像信息。可以由用户远程预览和修改相机组件200的设置。可以将图像信息发送至数据存储器120或处理服务器140以生成3d-360度内容。

图2b示出了根据实施方式的图2中所示的相机组件200的俯视图。图2b展示了外围相机210的配置并且突出显示了分别由三个外围相机210a、210b和210c看到的视场236、视场238和视场240。由外围相机210a、210b和210c查看本地区域中的对象242和对象244。图2b中的图示用于参考,并且可能未按比例示出。

如关于图2a所描述的那样,外围相机210布置成使得它们形成围绕中心点218的环,其中镜头230从与对准轴线216相交的中心点218向外指向。每个外围相机210与任何相邻的外围相机210隔开一间隔距离。间隔距离是在相邻的外围相机210的传感器之间的距离。在一些实施方式中,间隔距离与人眼的瞳孔间距离大致相同。这种配置允许捕获的图像和/或视频模拟人将如何感知本地区域的成像部分。

外围相机210被定位成环形配置;因此,每个相机相对于相邻相机成微小角度θ1。例如,在一些实施方式中,角度θ1是25.71度,这允许外围相机210的视场之间有显著重叠。每个外围相机210的角度θ1和视场被配置成使得由外围相机210成像的本地区域中的对象可以被至少两个外围相机210看到。如图2b中所示,外围相机210a、210b、210c的视场236、238、240相应地在阈值距离处开始重叠;重叠的视场由阴影区域表示。在图2b的实施方式中,每个外围相机210具有的视场为θ2,其为77度。在视场236、238、240之间的区域是盲点区域246,任何外围相机210都无法查看到该盲点区域中的对象。

阈值距离是本地区域中的对象可以被至少两个外围相机210查看到的距离。阈值距离在整个本地区域内取决于θ1的大小而变化。例如,对象242距离中心点218处于第一距离并且可以被三个外围相机210a、210b和210c查看到;然而,对象244位于第二距离处,该第二距离小于第一距离并且位于外围相机210a和外围相机210b两者的视场内。外围相机210和轴线相机被定位成使得环境中超过阈值距离的每个对象可以被至少两个外围相机210查看到。这种配置允许相机组件200从多个角度查看本地区域中的对象并以显著重叠来捕获图像信息,使得系统100能够重建高质量的3d-360度图像和/或视频。

图2c示出了根据实施方式的图2中所示的相机组件200的侧视图。如关于图2a的实施方式所描述的那样,镜头234是具有广角θ3视场的鱼眼镜头。在图2c的实施方式中,角度θ3是185度,其在其他实施方式中可以改变。镜头234被配置成具有环境的顶部和底部区域的宽覆盖范围,并且提供与外围相机210的视场的充分重叠,使得可以创建高质量的3d-360度图像。在一些实施方式中,表面248可以是用于使相机组件200搁置在桌子上或耦接至相机安装件或支架的支撑结构。

图2d示出了根据实施方式的用于捕获图像信息的相机组件250的侧视图。在一些实施方式中,相机组件250是系统100中的相机组件130的实施方式。替代地,相机组件250可以是一些其他系统的一部分。相机组件250的一些实施方式具有与这里描述的那些部件不同的部件。类似地,在一些情况下,功能可以以不同于这里描述的方式在部件之间分配。

相机组件250与相机组件200基本相同,除了相机组件250包括安装件255和两个底部轴线相机260、265。安装件255支撑相机组件250。安装件255包括支撑件270和平台275。支撑件270以稳定的方式(即,最小的振动)将相机组件250的负载传递到平台275。在该实施方式中,支撑件270是将平台275耦接至相机组件250的单个杆。在其他实施方式中,支撑件270可以包括多个杆、或从平台275到相机组件250的其他支撑装置。支撑件275可以由例如木材、金属、塑料等构成。

平台275是用于支撑件270和相机系统250的稳定基座。在该实施方式中,平台275仅是彼此间隔开的三个支腿。平台275可以由例如木材、金属、塑料等构成。应注意,在替代实施方式中,可以使用其他安装件。

底部轴线相机255、260与底部轴线相机214基本相同。底部轴线相机255、260被布置成使得底部轴线相机255的视场和底部轴线相机260的视场具有足够的重叠以移除作为3d-360度内容中的遮挡的一些或所有安装件265(例如,支撑件270的部分)。

图3是示出了根据实施方式的相机系统130内的模块的详细视图的高层级框图。相机系统130的一些实施方式具有与这里描述的那些模块不同的模块。类似地,功能可以以不同于这里描述的方式在模块之间分配。相机系统130包括多个模块,这些模块包括相机组件310、数据存储器320、网络服务器330、用户界面340和相机控制器350。

相机组件310使用定位成查看360度本地区域的多个相机来捕获图像信息。在一些实施方式中,相机组件310是相机组件200的实施方式。替代地,相机组件310可以是一些其他相机组件,其被配置成捕获覆盖360度并且其至少一部分是以立体的方式捕获的多个图像。图像信息可以包括例如一个或多个图像、音频信息、视频信息、元数据或其某种组合。可以以图像(例如,.jpeg、.gif、.png等)、音频(例如,.aac、.mp3、.wav等)和/或视频(例如,.mpg、.mov、.wmv等)的各种文件格式来捕获图像信息。相机组件310响应于来自相机控制器350的指令来捕获图像信息。在一些实施方式中,相机组件310确保从每个外围相机210和轴线相机捕获的图像信息是一致的并且允许构造均匀、自然的3d-360度内容。相机组件310捕获一些或所有图像信息并将其发送至例如用户界面340、数据存储器320、处理服务器130、数据存储器120或其某种组合。

相机系统130的数据存储器320是存储图像信息的本地存储器。数据存储器320接收并存储来自相机组件310的图像信息。在一些实施方式中,数据存储器320可以将图像信息上传至例如外部数据存储器(例如,数据存储器120)、处理服务器(例如,处理服务器130)或其某种组合。在一些实施方式中,数据存储器320用作缓冲器。例如,相机系统130生成图像信息的速率可能超过了通至外部数据存储器和/或处理服务器的上传速率。因此,数据存储器320可以临时缓冲图像信息以确保上传速率不超过外部数据存储器和/或处理服务器。

网络服务器330用作相机系统130的网络105接口。网络服务器330通过网络105将数据从相机组件310传输至用户设备110、处理服务器140、一些其他实体或其某种组合。在一些情况下,相机组件310可以使用有线接口(例如,usb)将数据传输至网络服务器330。数据可以被压缩或解压缩。

用户界面340允许用户与相机系统130对接。在一些实施方式中,用户界面340是图形用户界面(gui)。下面参考图5详细描述示例用户界面。用户界面340允许用户预览由相机组件310捕获的数据并控制相机组件310的设置。在一些实施方式中,可以通过在移动电话、平板电脑、pc等上的网络连接或具有网络连接的任何其他设备来访问用户界面340。在替代实施方式中,用户界面340可以包括直接耦接至相机组件310的显示器和一个或多个输入/输出设备(例如,鼠标键盘)。

相机控制器350被配置成控制相机组件310的操作。在图3的实施方式中,相机组件310被配置成使一个相机用作主相机,并且附加相机用作辅助相机。主相机是其中的相机控制器用作多个其他相机的主机的相机。辅助相机是其中的相机控制器用作主机相机的从属的相机。主相机可以是任一外围相机210或轴线相机;在图3的实施方式中,主相机是耦接至顶板202的顶部轴线相机212。相机控制器350控制相机组件310中的对于相机的曝光设置。相机曝光确定了在相机捕获时图像将显现得多明或多暗。曝光设置可以包括例如光圈大小、快门速度、增益或其某种组合。光圈大小控制到达传感器的光量。快门速度是传感器曝光的时长。增益是传感器对光的灵敏度。在一些实施方式中,相机控制器350指示相机组件310确定相机组件310中的每个相机的曝光设置。相机控制器350使用所确定的曝光设置来确定全局曝光设置,并将全局曝光设置提供给相机组件310中的所有相机。全局曝光设置是应用于相机组件310中的所有相机的单个曝光设置。在替代实施方式中,相机控制器350指示主相机确定其曝光设置,然后将确定的曝光设置设置为全局曝光设置,并将全局曝光设置提供给相机组件310中的所有相机。全局曝光设置提供所有多个外围相机210和轴线相机的均匀曝光。在没有全局曝光设置的情况下,相机组件310中的每个可能在不同的曝光设置下捕获图像信息,使得一些图像看起来比其他图像更亮或更暗。当将图像拼接在一起以构造3d-360度内容时,这可能产生各个图像之间的不一致。均匀曝光有助于在3d-360度内容中创建看起来自然的图像和/或视频。

相机控制器350控制相机组件310的全局快门。全局快门链接相机组件310中的每个相机的快门,使得每个快门同时打开(即,彼此在小于1毫秒内),从而允许相机组件310捕获同步图像信息。相机控制器350可以指示主相机向相机组件310中的辅助相机提供主触发信号。主触发信号命令每个辅助相机的快门与主相机的快门同时打开。相机组件310内的外围相机210和轴线相机可以与电源锁定电缆(例如usb3.0电源锁定电缆)连接,以确保同步捕获数据。捕获同步图像信息确保了各个图像匹配并且可以由处理服务器140精确地拼接在一起以构造3d-360度内容。

图4示出了根据实施方式的根据图像信息生成的3d-360度内容。在图4的实施方式中,3d-360度内容是使用各个图像帧402-430生成的构造图像400。各个图像帧402-430由处理服务器140处理并构造形成360度图像,该图像对于从帧402-430生成的图像的部分是3d的。

帧402-428由多个外围相机210捕获,其中单个帧由一个外围相机210捕获。每一帧402-428包括本地区域的二维(2d)部分。将从多个2d视角捕获本地区域的图像组合成单个图像允许图像内的对象显示为3d。当由具有本地区域的360度视图的相机组件捕获的各个帧(诸如帧402-428)被结合时,其产生的构造图像400示出了本地区域的3d-360度视图。每一帧402-430包括与相应的相邻帧重叠的区域,如图4所示。帧402-428的重叠区域是由外围相机210的视场的重叠产生的,如关于图2b所描述的。重叠区域允许处理服务器140无缝且精确地将帧402-428构造成用于虚拟现实系统的360度图像。

类似地,帧429和430由多个轴线相机捕获,其中单个帧由一个轴线相机捕获。在图4的实施方式中,帧429是由顶部轴线相机212捕获,并且帧430是由底部轴线相机214捕获。每一帧429和430包括与由外围相机210捕获的帧402-428重叠的区域,提供了本地区域的顶部视图和底部视图。帧429和430的重叠区域由轴线相机与外围相机210的视场的重叠产生。这些重叠区域允许处理服务器140将帧429和430与帧402-428无缝且精确地结合成虚拟现实系统的360度图像。

此外,在图4的实施方式中,每一帧402-430包括允许处理服务器140由各个帧402-430创建构造图像400的元数据。如关于图1所述,元数据可以包括例如帧速率、曝光设置(例如,快门速度、增益等)、版权信息、日期/时间信息、相机标识符、名称、标签、与图像信息相关联的一些其他信息或其某种组合。例如,在一个实施方式中,为了创建构造图像400,处理服务器140可以使用每一帧的日期/时间信息来验证结合了适当的帧。在另一实施方式中,处理服务器140可以使用相机标识符信息来确保这些帧是以正确的顺序结合的。每一帧402-428包括的元数据确保了各个帧被正确地结合以创建用于虚拟现实系统的360度图像。

图5示出了根据实施方式的用于相机系统130的用户界面500。用户界面500可以是例如用户界面340。用户界面500允许用户控制相机系统130。用户界面500包括曝光控制510、文件类型控制520、激活控制530和预览区域540。

曝光控制510允许用户控制和调整相机组件310的曝光设置。曝光控制510可以包括亮度、光圈、快门和增益设置。在一些实施方式中,可以从相机组件310中的主要相机确定曝光设置,或者可以从相机组件310中的所有相机确定曝光设置。所确定的设置可以用作初始设置,用户可以使用曝光控制510从该初始设置进行调整。一旦曝光控制510已经被调整到期望的设置,就可以向相机组件310中的每个相机提供期望的设置。

文件类型控制520允许用户控制捕获的图像信息的格式。文件类型控制520可以包括用于图像(例如,.jpeg、.gif、.png等)、音频(例如,.aac、.mp3、.wav等)和/或视频(例如,.mpg、.mov、.wmv等)的各种文件格式。一些实施方式可以允许用户控制每一种类型的图像信息的文件类型。

激活控制530允许用户控制相机组件310的操作。激活控制530可以包括但不限于以下选项:为相机组件310打开和关闭电源、激活相机组件310以捕获图像信息、重置相机组件310的设置、激活处理服务器140以开始或停止处理所捕获的图像信息、以及相机系统130的其他功能。

预览区域540允许用户预览根据相机组件310的相机捕获的图像信息构造的图像。预览区域540帮助用户确定相机组件310的期望曝光设置和/或相机组件310在本地区域内的期望定位。预览区域540确保相机组件310正在捕获图像信息以构造用于虚拟现实系统的期望的3d-360度内容。

在一些实施方式中,用户界面340还允许用户控制处理服务器140、访问数据存储器120、以及访问数据存储器320。在图5的实施方式中,用户界面340包括设置(例如,亮度、曝光、快门、增益)、图像预览以及与图像预览相关联的元数据。这些设置可以由用户修改,并且这些设置被发送至相机控制器350,该相机控制器命令相机组件310并将相机设置全局地实现到外围相机210和轴线相机上。可以在与网络105具有网络连接的任何设备上访问用户界面340。

附加配置信息

本公开的实施方式的上述描述仅出于说明目的而呈现,并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员可以认识到,根据上述公开,可以有多种修改和变化。

本说明的一些部分在对信息的操作的算法和符号表示法的方面描述本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用,以便将他们的工作实质有效传达给本领域的其他技术人员。这些操作,当被描述为功能性的、计算性的或逻辑性的时,被理解为由计算机程序或其他等同电路、微代码等实现。此外,有时,可方便地把这些操作的安排称为模块,而不失一般性。所描述的操作及其关联模块可体现为软件、固件、硬件或其任意组合。

本文中描述的任何步骤、操作或处理可以用一个或多个硬件或软件模块单独或与其他设备组合执行或实现。在一个实施方式中,软件模块可以用计算机程序产品实现,该计算机程序产品包括包含计算机程序代码的计算机可读介质,该程序代码可以被用于执行任何或所有所描述的步骤、操作或处理的计算机处理器执行。

本公开的实施方式还可以涉及一种用于执行本文中的操作的装置。该装置可以针对所需目的而具体构造和/或该装置可以包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这样的计算机程序可以存储在非暂时性有形计算机可读存储介质中,或者适合于存储电子指令的任何类型的介质中,这些介质可以耦接至计算机系统总线。而且,本说明书中提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以增加计算能力的架构。

本公开的实施方式还可以涉及由本文中所描述的计算处理制造的产品。这样的产品可以包括由计算处理产生的信息,其中信息存储在非暂时性有形计算机可读存储介质上,并且可以包括计算机程序产品的任何实施方式或本文描述的其他数据组合。

最后,原则上出于可读性和指示性目的来选择本说明书中使用的语言,并且所使用的语言并不被选择来划定或者限制本发明的主题。因此,本公开的范围并不旨在由具体实施方式来限定,而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此,这些实施方式的公开旨在用于说明,而非限制在所附权利要求中阐述的本公开的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1