一种多屏融合成像的方法、智能设备及系统与流程

本发明属于图像处理技术领域，特别涉及一种多屏融合成像的方法、智能设备及系统。

背景技术：

目前，多屏融合的使用大多局限于平面融合，即多个屏普通连接融合成像。其立体空间多屏融合成像运用偏少，且在融合成像过程中使用三维软件进行人工拼接，经常使用在商业演出等场合；如家具展示、楼层户型展示等。

市面上，多屏融合的技术通常是使用3dmax、maya、aftereffects等传统二维和三维设计软件制作图像，渲染成图片或序列帧；再用watchout等融合软件拼接处理拼接，调整画面大小，拼接成一个整体画面；最后使用投影仪进行投射。

然而，在立体空间多屏融合成像存在观看视角固定，不能跟随观看者位置变化，而保持其观看者的观看视角实时更新的缺陷。当视角固定后，观看者站在另一位置观看时，其呈现出来的立体场景图像存在扭曲等现象，不仅影响观看者的观看感受，还无法让观看者真正观看到立体场景图像。

技术实现要素：

本发明的目的是提供一种多屏融合成像的方法、智能设备及系统，其观看视角随着观看者位置变化而变化，能够保持观看者的观看视角实时更新，其呈现出来的立体场景画面也能够及时更新；不会因观看位置发生变化，其呈现出来的立体场景图像存在扭曲等现象。

本发明提供的技术方案如下：

本发明提供了一种多屏融合成像的方法，包括：获取观看位置对应的位置参考信息；结合所述位置参考信息计算出所述观看位置的多个方位视角；虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；将多个方位的虚拟画面融合成在所述观看位置观看所述虚拟场景的场景画面，并对所述场景画面进行投影。

进一步优选的，所述的结合所述位置参考信息计算出所述观看位置的多个方位视角具体包括：结合所述位置参考信息，计算出所述观看位置一个方位上的方位视角；根据计算出的方位视角以及相邻方位之间的角度关系，计算出多个方位中剩余方位相邻方位的方位视角。

进一步优选的，所述的结合所述位置参考信息计算出所述观看位置的多个方位视角具体包括：结合所述位置参考信息以及各个方位的视角计算公式，分别计算出所述观看位置的多个方位视角。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，在虚拟场景中切割出左方位视角和/或右方位视角各自对应的虚拟画面；

和/或；

计算出前方位视角和/或后方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，在虚拟场景中切割出前方位视角和/或后方位视角各自对应的虚拟画面；

和/或；

计算出左方位视角和/或右方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当左右两个方位的方位视角不相等，前后两个方位的方位视角不相等时，分别计算出各个方位视角对应的裁剪区域；

在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，在虚拟场景中按照x轴对应的方位视角切割成对应的虚拟画面；

和/或；

分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，在虚拟场景中按照y轴对应的方位视角切割成对应的虚拟画面；

和/或；

分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

进一步优选的，所述的虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：当x坐标信息不在x轴中心线上，y坐标信息不在y轴中心线上时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

进一步优选的，所述的计算出方位视角对应的裁剪区域具体包括：每个方位对应的方位视角及位置参考信息，计算出每个方位对应的视角画面参数；根据每个方位对应的视角画面参数及观看空间参数，计算出每个方位对应的裁剪区域。

进一步优选的，所述的计算出方位视角对应的裁剪区域具体包括：分析所述位置参考信息相对于预设位置信息的位置偏移信息，结合所述位置偏移信息计算出对应的裁剪区域。

进一步优选的，还包括：生成多个正交相机，并将多个正交相机进行相互绑定；每个正交相机垂直于该正交相机所在方位对应的平面；利用正交相机在所述虚拟场景中截取每个方位对应的虚拟画面。

进一步优选的，所述的获取观看位置对应的位置参考信息具体包括：

根据观看空间的空间坐标与虚拟场景的虚拟坐标之间的对应关系，将在观看空间内的观看位置信息转换成所述虚拟场景内的虚拟位置信息；并将所述虚拟位置信息作为位置参考信息；

或者；

根据观看空间的空间坐标与虚拟场景的画面像素之间的对应关系，将在观看空间内的观看位置信息转换成所述虚拟场景内的位置像素信息；并将所述位置像素信息作为位置参考信息。

进一步优选的，所述虚拟场景的场景模型与观看空间的空间模型之间成特定比例关系。

进一步优选的，所述特定比例关系为1：1。

与现有技术相比，本发明提供的一种多屏融合成像的方法、智能设备及系统具有以下有益效果：

本发明其观看视角随着观看者位置变化而变化，能够保持观看者的观看视角实时更新，其呈现出来的立体场景画面也能够及时更新；不会因观看位置发生变化，其呈现出来的立体场景图像存在扭曲等现象。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种多屏融合成像的方法、智能设备及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种多屏融合成像的方法的流程示意图；

图2是本发明又一种多屏融合成像的方法的流程示意图；

图3是本发明再一种多屏融合成像的方法的流程示意图；

图4是本发明另一种多屏融合成像的方法的流程示意图；

图5是本发明又一种多屏融合成像的方法的流程示意图；

图6是本发明中画面呈现装置的示意图；

图7是本发明中一视点/观察位置各个方位上的视角示意图；

图8是本发明中另一视点/观察位置各个方位上的视角示意图；

图9是本发明中再一视点/观察位置各个方位上的视角示意图；

图10是本发明中一视点/观察位置前方方位上的裁剪示意图；

图11是本发明中一视点/观察位置后方方位上的裁剪示意图；

图12是本发明中一视点/观察位置左侧方方位上的裁剪示意图；

图13是本发明中一视点/观察位置右侧方方位上的裁剪示意图；

图14是本发明一种智能设备的结构示意框图；

图15是本发明一种多屏融合成像系统的结构示意框图；

附图标号说明：

10—移动终端

20—智能设备21—获取模块22—计算模块

23—画面生成模块24—画面融合模块

30—投影设备

40—画面呈现装置

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种多屏融合成像的方法，包括：

s10、获取观看位置对应的位置参考信息；

具体的，当观看者进入观看空间后，利用观看者随身携带的移动终端10获取观看者的观看位置；其移动终端10能够完成室内定位。移动终端10可以是手机、平板电脑、智能手环等，在观看者平时经常使用的设备上集成室内定位功能；也可以是专门生产一款手持终端等，集成室内定位功能。

s20、结合位置参考信息计算出观看位置的多个方位视角；

具体的，在不同位置处，在每个方位上，人的透视视角也会不同；如在不同位置，同一个方位观看同一物体所呈现的画面是不同的；之所以看到不同画面，是因为在观看物体时，其透视视角发生了变化。

观看位置的位置信息包括x轴坐标信息、y轴坐标信息、z轴坐标信息，可以通过观看位置的位置信息计算出多个方位视角；例如：正前方的方位视角、正后方的方位视角、左侧方的方位视角、右侧方的方位视角、正上方的方位视角、正下方的方位视角。

s30、虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；

具体的，虚拟场景是一个整体的画面，该虚拟场景可以套间内装修有家居的场景；商品房展示的场景，也可以是商品展示的场景等。需要在三维空间里将虚拟场景进行切割；在计算出观看位置的方位视角后，如结合正前方的方位视角，在三维空间中将虚拟场景切割成正前方的虚拟画面；依照此方式，可以得到正后方、左侧方、右侧方、正上方、正下方的虚拟画面。

s40、将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

具体的，在得到正前方、正后面、左侧方、右侧方的虚拟画面后，将正前方、正后面、左侧方、右侧方的虚拟画面进行无缝拼接融合成一个在观看位置所观看到的完整场景画面。

本实施例中，在获取观看位置对应的位置参考信息时，其位置参考信息可以是两种类型的位置信息：

第一类型，位置参考信息为虚拟位置信息：

根据观看空间的空间坐标与虚拟场景的虚拟坐标之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的虚拟位置信息；并将虚拟位置信息作为位置参考信息；

具体的，在实时渲染的情况下，将观看位置信息转换成虚拟位置信息，通过虚拟位置信息完成方位视角的计算、虚拟画面的生成。实时渲染的本质就是图形数据的实时计算和输出。

第二类型，位置参考信息为位置像素信息：

根据观看空间的空间坐标与虚拟场景的画面像素之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的位置像素信息；并将位置像素信息作为位置参考信息。

具体的，在离线渲染的情况下，将观看位置信息转换成位置像素信息，通过位置像素信息完成方位视角的计算、虚拟画面的生成。

其中，虚拟场景的场景模型与观看空间的空间模型之间成特定比例关系；观看空间如图6所示。特定比例关系为1：1。

本实施例中，多个方位可以四个方位，如前、后、左、右；也可以是六个方位，如前、后、左、右、上、下；还可以是两个方位，如上、下。

在不同观看位置，计算出多个方位视角，且同一方位具有不同方位视角；针对不同方位视角，同一方位生成的虚拟画面不同。在同一观看位置，将多个方位的虚拟画面进行无缝拼接形成一个完整的场景画面；从而可以实现多屏融合成像，并且，其观看视角随着观看者位置变化而变化，能够保持观看者的观看视角实时更新，其呈现出来的立体场景画面也能够及时更新；不会因观看位置发生变化，其呈现出来的立体场景图像存在扭曲等现象。

根据本发明提供的一种实施例，如图2所示，一种多屏融合成像的方法，包括：

s10、获取观看位置对应的位置参考信息；

s201、结合位置参考信息，计算出观看位置一个方位上的方位视角；

具体的，在需要计算出多个方位视角时，例如前、后、左、右四个方位的方位视角；可以利用前方方位视角的视角计算公式，计算出前方方位视角；如图10所示，前方方位视角为fov，fov＝2∠θ；tanθ＝(l1/2+s)/y；其中，l1为观看空间的宽度，s为距离观看空间中心位置的偏移值，y是在观看空间内正前方的观看距离。

s202、根据计算出的方位视角以及相邻方位之间的角度关系，计算出多个方位中剩余方位相邻方位的方位视角。

具体的，前方方位视角和左或右侧方方位视角之间的方位角度为180°固定角度，在计算出前方方位视角后，利用180°固定角度减去前方方位视角后，即可得到左或右侧方位的方位视角。

如图10所示，前方方位视角和右侧方方位视角之间的方位角度为180°固定角度，右侧方位的方位视角等于180°减去前方方位视角。前后方位视角相等。视点o的圆周角为360°，在右侧方位视角、∠aob已知的情况下，可以计算出左侧方的方位视角。

s30、虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；

s40、将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

根据本发明提供的一种实施例，如图3所示，一种多屏融合成像的方法，包括：

s10、获取观看位置对应的位置参考信息；

s211、结合位置参考信息以及各个方位的视角计算公式，分别计算出观看位置的多个方位视角。

具体的，在需要计算出多个方位视角时，例如前、后、左、右四个方位的方位视角；可以利用前方方位视角的视角计算公式，计算出前方方位视角；可以利用后方方位视角的视角计算公式，计算出后方方位视角；可以利用左侧方方位视角的视角计算公式，计算出左侧方方位视角；可以利用右侧方方位视角的视角计算公式，计算出右侧方方位视角。

如图10所示，前方方位视角为fov，fov＝2∠θ；tanθ＝(l1/2+s)/y；其中，l1为观看空间的宽度，s为距离观看空间中心位置的横向偏移值，y是在观看空间内正前方的观看距离。

如图11所示，后方方位视角为fov，tanθ＝(l1/2+s)/(l2-y)；其中，l2为观看空间的长度，s为距离观看空间中心位置的横向偏移值，y是在观看空间内正前方的观看距离。

在视点o的位置信息已知时，各个方位的方位视角均可计算出来，其左右侧方各自对应的方位视角，也是可以通过公式计算得到的，此处不再赘述。

s30、虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；

s40、将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

本实施例中，利用每个方位对应的视角计算公式，分别计算出每个方位对应的方位视角；可以提高每个方位视角的准确性；不会因一个方位视角计算错误，影响到其他方位视角的正确性。

根据本发明提供的一种实施例，如图4所示，一种多屏融合成像的方法，包括：

s10、获取观看位置对应的位置参考信息；

s20、结合位置参考信息计算出观看位置的多个方位视角；

s21、生成多个正交相机，并将多个正交相机进行相互绑定；每个正交相机垂直于该正交相机所在方位对应的平面；利用正交相机在虚拟场景中截取每个方位对应的虚拟画面。

具体的，根据视角角度，正交相机垂直于所对应平面(如正前方对应的平面)的特性，其视角角度大小和位置就对应唯一的视锥，通过这个视锥截取虚拟场景的一部分画面，并且将多个画面无缝拼接，就得到一个整体的立体空间画面。

s301、当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，在虚拟场景中切割出左方位视角和/或右方位视角各自对应的虚拟画面；

具体的，在计算出多个方位视角后，分析多个方位视角中是否有两个相等的方位视角，如果存在两个相等的方位视角，则分析两个相等方位视角对应的两个方位是否为相对的两个方位。

在分析出前后相对两个方位的方位视角相等时，如图10、图11所示，前后两个方位是相对的；根据实际展示情况需要，可以在虚拟场景中切割出左方位视角对应的虚拟画面，可以在虚拟场景中切割出右方位视角对应的虚拟画面，还可以在虚拟场景中切割出左右方位视角各自对应的虚拟画面，该虚拟画面不会对虚拟场景中左右方位的正常画面进行裁剪。

特殊的，观看位置为中心位置，如图7所示，所有相对两个方位的方位视角均相等时，在中心位置处在各个方位上将虚拟场景切割成的虚拟画面为正常画面。

s302、当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，计算出前方位视角和/或后方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

具体的，在分析出前后相对两个方位的方位视角相等时，前方位视角、后方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从前方位视角、后方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s303、当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，在虚拟场景中切割出前方位视角和/或后方位视角各自对应的虚拟画面；

具体的，在计算出多个方位视角后，分析多个方位视角中是否有两个相等的方位视角，如果存在两个相等的方位视角，则分析两个相等方位视角对应的两个方位是否为相对的两个方位。

在分析出左右相对两个方位的方位视角相等时，如图8、9所示，图12、13所示，左右两个方位是相对的；根据实际展示情况需要，可以在虚拟场景中切割出前方位视角对应的虚拟画面，可以在虚拟场景中切割出后方位视角对应的虚拟画面，还可以在虚拟场景中切割出前后方位视角各自对应的虚拟画面，该虚拟画面不会对虚拟场景中前后方位的正常画面进行裁剪。

s304、当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，计算出左方位视角和/或右方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

具体的，在分析出左右相对两个方位的方位视角相等时，左方位视角、右方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从左方位视角、右方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s305、当左右相对两个方位的方位视角不相等，前后相对两个方位的方位视角不相等时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

具体的，在分析出左右相对两个方位的方位视角不相等、前后相对两个方位的方位视角不相等时，前方视角、后方视角、左方位视角、右方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从前方视角、后方视角、左方位视角、右方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s40、将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

本实施例中，在虚拟场景中切割出每个方位各自对应的虚拟画面时，是结合每个正交相机对应的方位视角及位置参考信息，每个正交相机在虚拟场景中截取每个方位对应的虚拟画面。

在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面时，是结合每个正交相机对应的方位视角、位置参考信息及裁剪区域，每个正交相机在虚拟场景中截取每个方位对应的虚拟画面。

根据本发明提供的一种实施例，如图5所示，一种多屏融合成像的方法，包括：

s10、获取观看位置对应的位置参考信息；

s20、结合位置参考信息计算出观看位置的多个方位视角；

s21、生成多个正交相机，并将多个正交相机进行相互绑定；每个正交相机垂直于该正交相机所在方位对应的平面；利用正交相机在虚拟场景中截取每个方位对应的虚拟画面。

s311、当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，在虚拟场景中按照x轴对应的方位视角切割成对应的虚拟画面；

具体的，x轴中心线为观看空间的1/2宽度、且平行于y轴的直线；如观看空间的规格为长4米、宽2米时，其x轴中心线为宽为1米、且平行于y轴的直线。

x轴中心线为观看空间的1/2宽度、且平行于y轴的直线；如观看空间用像素表示时，其规格为长800dp、宽400dp时，其x轴中心线为宽为200dp、且平行于y轴的直线。

当位置参考信息中x坐标信息为1m或200dp时，若x轴对应的前后两个方位，可以根据实际展示情况需要，可以在虚拟场景中切割出前方位视角对应的虚拟画面，可以在虚拟场景中切割出后方位视角对应的虚拟画面，还可以在虚拟场景中切割出前后方位视角各自对应的虚拟画面，该虚拟画面不会对虚拟场景中前后方位的正常画面进行裁剪。

s312、当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

具体的，当位置参考信息中含有y坐标信息、z坐标信息时，若y轴对应左右两个方位，z轴对应上下两个方位。

左方位视角、右方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从左方位视角、右方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s313、当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，在虚拟场景中按照y轴对应的方位视角切割成对应的虚拟画面；

当位置参考信息中y坐标信息为2m或400dp时，若y轴对应的左右两个方位，可以根据实际展示情况需要，可以在虚拟场景中切割出左方位视角对应的虚拟画面，可以在虚拟场景中切割出右方位视角对应的虚拟画面，还可以在虚拟场景中切割出左右方位视角各自对应的虚拟画面，该虚拟画面不会对虚拟场景中左右方位的正常画面进行裁剪。

s314、当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

具体的，当位置参考信息中含有x坐标信息、z坐标信息时，若x轴对应前后两个方位，z轴对应上下两个方位。

前方位视角、后方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从前方位视角、后方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s315、当x坐标信息不在x轴中心线上，y坐标信息不在y轴中心线上时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

具体的，在位置参考信息中x坐标信息不在x轴中心线上、位置参考信息中y坐标信息不在y轴中心线上时，前方视角、后方视角、左方位视角、右方位视角、上方位视角、下方位视角对应的画面不再是正常画面，需要对正常画面进行裁剪。

根据实际展示情况需要，从前方视角、后方视角、左方位视角、右方位视角、上方位视角、下方位视角中选择几个方位后，裁剪出各个方位对应的虚拟画面。

s40、将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

本实施例中，在虚拟场景中切割出每个方位各自对应的虚拟画面时，是结合每个正交相机对应的方位视角及位置参考信息，每个正交相机在虚拟场景中截取每个方位对应的虚拟画面。

在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面时，是结合每个正交相机对应的方位视角、位置参考信息及裁剪区域，每个正交相机在虚拟场景中截取每个方位对应的虚拟画面。

在计算出各个方位视角对应的裁剪区域时，有两种计算方案：

第一种计算方案：

每个方位对应的方位视角及位置参考信息，计算出每个方位对应的视角画面参数；

具体的，在方位视角已知的情况下，位置参考信息中含有观看距离；可以计算出在观看位置处每个方位的视角画面宽度，例如视角画面宽度为600dp；视角画面宽度作为视角画面参数。

根据每个方位对应的视角画面参数及观看空间参数，计算出每个方位对应的裁剪区域。

具体的，当每个方位对应的视角画面宽度(600dp)计算出来后，观看空间在每个方位上的画面观看宽度(400dp)是固定的，利用视角画面宽度(600dp)减去画面观看宽度(400dp)，得到每个方位对应的裁剪区域。

第二种计算方案：

分析位置参考信息相对于预设位置信息的位置偏移信息，结合位置偏移信息计算出对应的裁剪区域。

具体的，如图10所示，其正前方方位视角对应的虚拟画面，需裁剪的宽度为2s；前方方位视角为fov，fov＝2∠θ；tanθ＝(l1/2+s)/y；其中，l1为观看空间的宽度，s为距离观看空间中心位置的横向偏移值，y是在观看空间内正前方的观看距离。

如图11所示，其正前方方位视角对应的虚拟画面，需裁剪的宽度为2s；后方方位视角为fov，tanθ＝(l1/2+s)/(l2-y)；其中，l2为观看空间的长度，s为距离观看空间中心位置的横向偏移值，y是在观看空间内正前方的观看距离。

根据本发明提供的一种实施例，如图14所示，一种智能设备，包括：

获取模块21，用于获取观看位置对应的位置参考信息；

计算模块22，与获取模块21连接，用于结合位置参考信息计算出观看位置的多个方位视角；

画面生成模块23，与计算模块22连接，用于虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；

画面融合模块24，与画面生成模块23连接，用于将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面，并对场景画面进行投影。

本实施例中，除了上述内容外，还包括以下内容：

一种方式，结合位置参考信息计算出观看位置的多个方位视角具体包括：

结合位置参考信息，计算出观看位置一个方位上的方位视角；

根据计算出的方位视角以及相邻方位之间的角度关系，计算出多个方位中剩余方位相邻方位的方位视角。

另一种方式，结合位置参考信息计算出观看位置的多个方位视角具体包括：

结合位置参考信息以及各个方位的视角计算公式，分别计算出观看位置的多个方位视角。

一种方式，虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，在虚拟场景中切割出左方位视角和/或右方位视角各自对应的虚拟画面；

和/或；

当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，计算出前方位视角和/或后方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，在虚拟场景中切割出前方位视角和/或后方位视角各自对应的虚拟画面；

和/或；

当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，计算出左方位视角和/或右方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当左右两个方位的方位视角不相等，前后两个方位的方位视角不相等时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

另一种方式，虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，在虚拟场景中按照x轴对应的方位视角切割成对应的虚拟画面；

和/或；

当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，在虚拟场景中按照y轴对应的方位视角切割成对应的虚拟画面；

和/或；

当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当x坐标信息不在x轴中心线上，y坐标信息不在y轴中心线上时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

一种方式，计算出方位视角对应的裁剪区域具体包括：

每个方位对应的方位视角及位置参考信息，计算出每个方位对应的视角画面参数；

根据每个方位对应的视角画面参数及观看空间参数，计算出每个方位对应的裁剪区域。

另一种方式，计算出方位视角对应的裁剪区域具体包括：

分析位置参考信息相对于预设位置信息的位置偏移信息，结合位置偏移信息计算出对应的裁剪区域。

生成多个正交相机，并将多个正交相机进行相互绑定；每个正交相机垂直于该正交相机所在方位对应的平面；利用正交相机在虚拟场景中截取每个方位对应的虚拟画面。

获取观看位置对应的位置参考信息具体包括：

根据观看空间的空间坐标与虚拟场景的虚拟坐标之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的虚拟位置信息；并将虚拟位置信息作为位置参考信息；

或者；

根据观看空间的空间坐标与虚拟场景的画面像素之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的位置像素信息；并将位置像素信息作为位置参考信息。

虚拟场景的场景模型与观看空间的空间模型之间成特定比例关系。特定比例关系为1：1。

根据本发明提供的一种实施例，如图15所示，一种多屏融合成像系统，包括移动终端10、智能设备20、投影设备30和画面呈现装置40：

移动终端10，用于获取在观看空间的观看位置；

智能设备20包括：

获取模块21，用于获取观看位置对应的位置参考信息；

计算模块22，与获取模块21连接，用于结合位置参考信息计算出观看位置的多个方位视角；

画面生成模块23，与计算模块22连接，用于虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面；

画面融合模块24，与画面生成模块23连接，用于将多个方位的虚拟画面融合成在观看位置观看虚拟场景的场景画面；

投影设备30将场景画面投影在画面呈现装置40上，画面呈现装置40内侧形成观看空间。

本实施例中，除了上述内容外，还包括以下内容：

一种方式，结合位置参考信息计算出观看位置的多个方位视角具体包括：

结合位置参考信息，计算出观看位置一个方位上的方位视角；

根据计算出的方位视角以及相邻方位之间的角度关系，计算出多个方位中剩余方位相邻方位的方位视角。

另一种方式，结合位置参考信息计算出观看位置的多个方位视角具体包括：

结合位置参考信息以及各个方位的视角计算公式，分别计算出观看位置的多个方位视角。

一种方式，虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，在虚拟场景中切割出左方位视角和/或右方位视角各自对应的虚拟画面；

和/或；

当多个方位视角中前后两个方位的方位视角相等、且左右两个方位的方位视角不相等时，计算出前方位视角和/或后方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，在虚拟场景中切割出前方位视角和/或后方位视角各自对应的虚拟画面；

和/或；

当多个方位视角中前后两个方位的方位视角不相等、左右两个方位的方位视角相等时，计算出左方位视角和/或右方位视角和/或上方位视角和/或下方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当左右两个方位的方位视角不相等，前后两个方位的方位视角不相等时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

另一种方式，虚拟场景按照每个方位的方位视角生成每个方位对应的虚拟画面具体包括：

当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，在虚拟场景中按照x轴对应的方位视角切割成对应的虚拟画面；

和/或；

当位置参考信息中x坐标信息在x轴中心线上、且位置参考信息中y坐标信息不在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，在虚拟场景中按照y轴对应的方位视角切割成对应的虚拟画面；

和/或；

当位置参考信息中x坐标信息不在x轴中心线上、且位置参考信息中y坐标信息在y轴中心线上时，分别计算出位置参考信息中剩余轴线上坐标信息对应的方位视角各自对应的裁剪区域，在虚拟场景中按照裁剪区域及裁剪区域对应的方位视角裁剪出对应的虚拟画面。

和/或；

当x坐标信息不在x轴中心线上，y坐标信息不在y轴中心线上时，分别计算出各个方位视角对应的裁剪区域；在虚拟场景中按照每个方位视角及裁剪区域裁剪出对应的虚拟画面。

一种方式，的计算出方位视角对应的裁剪区域具体包括：

每个方位对应的方位视角及位置参考信息，计算出每个方位对应的视角画面参数；

根据每个方位对应的视角画面参数及观看空间参数，计算出每个方位对应的裁剪区域。

另一种方式，的计算出方位视角对应的裁剪区域具体包括：

分析位置参考信息相对于预设位置信息的位置偏移信息，结合位置偏移信息计算出对应的裁剪区域。

生成多个正交相机，并将多个正交相机进行相互绑定；每个正交相机垂直于该正交相机所在方位对应的平面；利用正交相机在虚拟场景中截取每个方位对应的虚拟画面。

获取观看位置对应的位置参考信息具体包括：

根据观看空间的空间坐标与虚拟场景的虚拟坐标之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的虚拟位置信息；并将虚拟位置信息作为位置参考信息；

或者；

根据观看空间的空间坐标与虚拟场景的画面像素之间的对应关系，将在观看空间内的观看位置信息转换成虚拟场景内的位置像素信息；并将位置像素信息作为位置参考信息。

虚拟场景的场景模型与观看空间的空间模型之间成特定比例关系。特定比例关系为1：1。

其中，智能设备20可以是计算机，画面呈现装置40可以是搭建的一个观看房间，也可以由几折屏幕/墙板等围成的立方体空间模型；也可是几折屏幕/墙板等围成的几个面。

上述实施例中，基于现有多屏融合拼接成像技术，在制作过程中优化了设计软件的输出方式，将三维软件里的虚拟相机做了模块化处理，互相绑定，调整好任意一个的相机设置，其他的也会随之设置好，简化了部分操作流程，但是视角依旧固定，不能实时跟随观看者，也不能使用固定的算法，每做一个就要重新计算一次，效率比较低，不适合产品化量产。

现有技术中，首先，根据硬件设备探测真实空间实时生成虚拟坐标是很成熟的技术，也被各个行业广泛应用；其次，真实比例的多平融合成像方法也在很多地方应用，但都是固定视角；第三，实时渲染技术也是非常成熟的技术；最后，本算法是将三个相对成熟的技术，通过特定的算法进行融合，将实时坐标转化为实时成像的视角原点，算出视角角度，实时渲染成像拼接成完成的空间图像。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。