全立体成像的制作方法
【专利说明】
[0001] 相关申请的夺叉引用
[0002] 本专利申请要求2013年2月4日提交的美国临时申请序列号61/760, 383的优先 权。
技术领域
[0003] 本发明涉及沉浸式成像以获得具有深度感知的360度视场的领域。 技术背景
[0004] 传统的立体成像使用沿基线分开的两个相机来捕捉朝同一方向看的两个略有不 同的视点。该立体图像对然后可被投影到立体显示器上并由人类大脑融合来获得景深的强 烈暗示。
[0005] 全立体成像的目的是提供用于观察者周围多达360度的立体线索。全立体图像可 被用于虚拟环境中的导航，而无需跟踪头部定向。
[0006] 捕捉全立体图像的困难性在于仅仅使用并排的两个相机可能不能完成捕捉。这样 的捕捉会在正中线（垂直于基线）上提供最大立体信息，但非沿基线的立体信息。
[0007] 概沭
[0008] 本文描述了一种用于立体沉浸式（全立体）捕捉的相机设置。全立体的一对图像 给予了绕中央观察者多达360度的立体信息。该全向相机设置使用最少三个具有超广角镜 头的相机。围绕该设置的每个可见点可由至少两个相机以大约180的视场，从大约相机的 高度及之上或相机的高度及之下（这取决于该设置的定向）被立体捕捉。
[0009] -种拼接方法获得该相机设置的图像，产生不具有因视差造成的水平不重合 (mi sal ignment)的全立体的一对图像。拼接是在由相邻相机图像中的核点所穿过的垂直平 面处进行的。在相机行进的同时可捕捉不受约束的动态场景。捕捉的视频被格式化以在全 立体穹幕中显示。核线拼接方法也可被用于设计使用标准镜头的高分辨率单目相机设置。 该设置减少了由于通常在传统系统中观察到的视差造成的不重合。
[0010] 根据第一宽泛方面，提供了一种全向成像设备，包括：位于基线高度且绕一圆基本 等距安置的至少三个相机，所述至少三个相机中的每一个相机具有以相同方向定向且适应 于捕捉基本360度的视场的一部分的图像的广角镜头；以及用于将所述至少三个相机保持 在固定位置的安装装置。
[0011] 在某些实施例中，所述设备进一步包括处理设备，所述处理设备用于从所述至少 三个相机接收捕捉的图像，以及将来自所述至少三个相机中每一个相机的所述捕捉的图像 的一些部分拼接在一起以生成基本360度视场的左眼视图和右眼视图。
[0012] 在某些实施例中，所述至少三个相机中的每一个相机被适应于捕捉作为动态图像 的图像。
[0013] 在某些实施例中，来自所述至少三个相机中的每一个相机的所述捕捉的图像中被 选择来拼接的部分各自对应于360° /N的视场，其中N是所述至少三个相机的数量。
[0014] 在一些实施例中，所述处理设备用于为所述至少三个相机中的一个给定相机所捕 捉的图像中被选择用来拼接的每一部分定义第一边界和第二边界，所述第一边界至少部分 地对应于将所述给定相机的中心点与所述至少三个相机中和所述给定相机相邻的第一个 相机的中心点相连接的第一线，所述第二边界至少部分地对应于将所述给定相机的中心点 与所述至少三个相机中和所述给定相机相邻的第二个相机的中心点相连接的第二线。
[0015] 在某些实施例中，对于一捕捉的图像中被选择来拼接的每一部分，所述处理设备 用于定义所述第一边界以对应于所述第一线，以及定义所述第二边界以对应于所述第二线 直到到达所述图像的周界。
[0016] 在某些实施例中，所述处理设备用于接收捕捉的图像包括从所述给定相机接收包 括第一相邻相机的第一重现以及第二相邻相机的第二重现的图像，所述图像的第一部分和 所述图像的第二部分被选择来拼接。
[0017] 在某些实施例中，所述处理设备用于为所述图像的所述第一部分和所述第二部分 中的每一个定义所述第一边界和所述第二边界，每个边界包括第一段和第二段，对于所述 图像的所述第一部分，所述第一边界的第一段对应于所述第一线，所述第二边界的第一段 对应于所述第二线，所述第一边界的第二段离开所述第一线延伸来从所述图像的所述第一 部分去除所述第一重现，所述第二边界的第二段离开所述第二线延伸并具有与所述第一边 界的第二段相同的形状，以及对于所述图像的所述第二部分，所述第一边界的第一段对应 于所述第二线，所述第二边界的第一段对应于所述第一线，所述第一边界的第二段离开所 述第二线延伸来从所述图像的所述第二部分去除所述第二重现，所述第二边界的第二段离 开所述第一线延伸并具有与所述第一边界的第二段相同的形状。
[0018] 在某些实施例中，所述图像的所述第一部分的所述第一边界被定义成对应于所述 第一线直到到达所述第一重现，所述图像的所述第二部分的所述第一边界被定义成对应于 所述第二线直到到达所述第二重现，所述图像的所述第一部分和所述第二部分中任一部分 的第一边界和第二边界具有相同的长度。
[0019] 在某些实施例中，所述处理设备通过将来自所述至少三个相机中的每一个相机的 捕捉的图像中被选择来拼接的部分沿左边界和右边界拼接来生成所述左眼视图和所述右 眼视图。
[0020] 在某些实施例中，所述处理设备通过将捕捉的图像的所述一些部分中第一组多个 部分拼接在一起来生成所述左眼视图，以及通过将捕捉的图像的所述一些部分中第二组多 个部分拼接在一起来生成所述右眼视图，所述捕捉的图像的所述一些部分中所述第二组多 个部分对应于所述捕捉的图像的所述一些部分中所述第一组多个部分的180度旋转。
[0021] 在某些实施例中，所述处理设备用于将所述捕捉的图像的所述一些部分中包括第 一组多个点的第一多个部分选择作为所述捕捉的图像的所述一些部分中的所述第一组多 个部分，以及将所述捕捉的图像的所述一些部分中包括第二组多个点的第二多个部分选择 作为所述捕捉的图像的所述一些部分中的所述第二组多个部分，所述第一组多个点各自从 以所述圆的中心与所述第一组多个点之一之间的第一视线逆时针安置的所述至少三个相 机中的第一相机被观看，所述第二组多个点各自从以所述圆的中心与所述第二组多个点之 一之间的第二视线顺时针安置的所述至少三个相机中的第二相机被观看。
[0022] 在某些实施例中，所述至少三个相机中的每一个相机具有以向上方向和向下方向 中的一个方向定向的广角镜头，所述向上方向用以捕捉来自大约所述基线高度及之上的图 像，所述向下方向用以捕捉来自大约所述基线高度及之下的图像。
[0023] 在某些实施例中，所述至少三个相机中的每一个相机具有单视点鱼眼镜头。
[0024] 在某些实施例中，所述至少三个相机中的每一个相机被适应于每隔一定时间捕捉 图像，所述至少三个相机被同步在一起使得在任一给定时刻由所述至少三个相机同步地捕 捉图像。
[0025] 在某些实施例中，所述处理设备用于格式化所述左眼视图和所述右眼视图来在球 面视图中显示。
[0026] 在某些实施例中，所述处理设备用于格式化所述左眼视图和所述右眼视图来在直 线视图中显示。
[0027] 在某些实施例中，所述处理设备用于格式化所述左眼视图和所述右眼视图来在柱 面视图中显示。
[0028] 在某些实施例中，所述处理设备用于将所述左眼视图和右眼视图编码成立体图。
[0029] 在某些实施例中，所述处理设备用于格式化所述左眼视图和所述右眼视图来在头 戴式显示器上显示。
[0030] 根据另一宽泛方面，提供了一种用于从拍摄自多个间隔开的相机的图像生成基本 360度视图的方法，所述方法包括：从绕一圆基本等距地固定在基线高度处的多个相机捕 捉图像；以及沿第一边界和第二边界将来自所述多个相机中的每一个相机的图像的一些部 分拼接在一起，所述第一边界和所述第二边界至少部分地对应于连接所述多个相机中相邻 相机的中心点的线。
[0031] 在某些实施例中，所述方法进一步包括生成所述基本360度视图的左眼视图和右 眼视图，以及将所述左眼视图和所述右眼视图投影在一起以创建深度感知。
[0032] 在某些实施例中，捕捉所述图像包括捕捉动态图像。
[0033] 在某些实施例中，从所述多个相机捕捉图像包括从至少三个相机捕捉图像，每个 相机具有以相同方向定向并适应于捕捉所述基本360度视图的一部分的图像的广角镜头。 [0034] 在某些实施例中，捕捉图像包括在任何给定时刻同步地从所述多个相机捕捉图 像。
[0035] 在某些实施例中，将图像的所述一些部分拼接在一起包括将所述一些部分拼接在 一起，其中每个部分对应于360度/N的视场，其中N是所述多个相机的数量。
[0036] 在某些实施例中，捕捉图像包括从所述多个相机中的任何一个相机捕捉一图像， 所述图像包括所述多个相机中与所述相机相邻的第一相机的第一重现以及所述多个相机 中与所述相机相邻的第二相机的第二重现，所述图像的第一部分和所述图像的第二部分被 选择来拼接。
[0037] 在某些实施例中，所述图像的所述第一部分和所述第二部分中的每一个部分的第 一边界和第二边界各自包括第一段和第二段，对于所述图像的所述第一部分，所述第一边 界的第一段对应于连接所述相机的中心点和第一相邻相机的中心点的第一线，所述第二边 界的第一段对应于连接所述相机的中心点和第二相邻相机的中心点的第二线，所述第一边 界的第二段离开所述第一线延伸来从所述图像的所述第一部分去除所述第一重现，所述第 二边界的第二段离开所述第二线延伸并具有与所述第一边界的第二段相同的形状，以及对 于所述图像的所述第二部分，所述第一边界的第一段对应于所述第二线，所述第二边界的 第一段对应于所述第一线，所述第一边界的第二段离开所述第二线延伸来从所述图像的所 述第二部分去除所述第二重现，所述第二边界的第二段离开所述第一线延伸并具有与所述 第一边界的第二段相同的形状。
[0038] 在某些实施例中，拼接包括沿所述第一边界和所述第二边界拼接，对于每个图像， 所述图像的所述第一部分的第一边界被定义成对应于所述第一线直到到达所述第一重现， 所述图像所述第二部分的第一边界被定义成对应于所述第二线直到到达所述第二重现，所 述图像的所述第一部分和所述第二部分中的任一部分的第一边界和第二边界具有相同的 长度。
[0039] 在某些实施例中，拼接包括沿所述第一边界和所述第二边界拼接，对于一捕捉的 图像中被选择来拼接的每一部分，所述第一边界被定义成对应于所述第一线，所述第二边 界被定义成对应于所述第二线直到到达所述图像的周界。
[0040] 在某些实施例中，生成左眼视图包括将图像的一些第一部分拼接在一起，生成右 眼视图包括将图像的一些第二部分拼接在一起，图像的所述一些第二部分对应于图像的所 述一些第一部分的18