一种全视角平滑的沉浸式显示方法和系统的制作方法
【专利摘要】本发明提出一种全视角平滑的沉浸式显示方法和系统，其中方法包括：按照预设角度预先设置一个主设备及一个以上从设备；主设备分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备，从设备根据初始化参数设置渲染图像参数；当主设备的渲染心跳到期时，主设备根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态，各个从设备分别根据所述场景状态更新显示图像。本发明能够解决现有沉浸式显示方法的造价昂贵、使用不便、沉浸感不强、显示画面不连续且受观察视角影响而产生拼接处畸变等缺点。
【专利说明】一种全视角平滑的沉浸式显示方法和系统
【技术领域】
[0001]本发明涉及图像显示【技术领域】，尤其涉及一种全视角平滑的沉浸式显示方法和系统。
【背景技术】
[0002]沉浸式显示(Immersive Display)技术是一种先进的、数字化的人机接口技术,其特点在于计算机产生的一种人为的虚拟环境，生成一个以视觉感受为主的人工环境，人们可以通过立体视觉感知计算机模拟的虚拟世界，也可以通过运动、语音、表情、手势等最自然的方式和虚拟世界进行交互，从而产生身临其境的沉浸式体验。沉浸式显示技术是计算机技术、传感器技术、人际交互技术、人工智能技术等多种技术的综合发展，目前已经在军事、医学、教育、娱乐、制造业、工程训练等方面得到应用，它被认为是当前以及将来影响人们生活的重要技术之一。
[0003]沉浸式显示系统是通过一些特殊的外部设备、高性能计算机以及相应的软件来实现。它使人完全沉浸到计算机创造的图形世界里，犹如感受真实世界。沉浸式虚拟现实显示系统是一种高级的虚拟现实系统，它提供一个完全沉浸的体验，让使用者有一种置身于虚拟境界之中的感觉。它利用特定的显示设备，为参与者提供一种全心投入和沉浸其中的感觉。
[0004]现有的沉浸式显示系统包括洞穴(CAVE)沉浸式虚拟现实显示系统、头盔式三维立体显示系统、柱面环幕投影沉浸式虚拟现实系统等。
[0005]洞穴沉浸式虚拟现实显示系统是大型的VR系统，但是该方法造价昂贵，长期以来主机使用高档工作站，多通道图形系统，配置复杂，对场景环境要求较高，一般用户无法承受，无法广泛的推广，同时无法获取真正无缝的、连续的虚拟现实画面；
[0006]头盔式三维立体显示系统利用头盔式显示器或其他设备，把参与者的视觉、听觉和其他感觉封闭起来，并提供一个新的、虚拟的感觉空间，但是该方法中头戴式显示设备的重量过大(一般在1.5kg至2kg)、分辨率低、视场不够宽、眼睛容易疲劳等，无法被用户接受；
[0007]柱面环幕投影沉浸式虚拟显示系统是将平面的投影图像经过非线性失真几何校正投射到环形屏幕上，但是该方法只能提供水平方向视角上的全景图像，缺少垂直方向视角的图像，无法真正实现显示画面的高度沉浸感。
[0008]可见，现有的沉浸式显示方法存在造价昂贵、使用不便、沉浸感不强、显示画面不连续且受观察视角影响而产生拼接处畸变的不足。
【发明内容】
[0009]本发明提供了一种全视角平滑的沉浸式显示方法，解决现有沉浸式显示方法的造价昂贵、使用不便、沉浸感不强、显示画面不连续且受观察视角影响而产生拼接处畸变等缺点。
[0010]本发明还提供了一种全视角平滑的沉浸式显示系统，解决现有沉浸式显示方法的造价昂贵、使用不便、沉浸感不强、显示画面不连续且受观察视角影响而产生拼接处畸变等缺点。
[0011]本发明的技术方案是这样实现的:
[0012]一种全视角平滑的沉浸式显示方法，按照预设角度预先设置一个主设备及一个以上从设备，所述方法包括:
[0013]主设备分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备，从设备根据初始化参数设置渲染图像参数；
[0014]当主设备的渲染心跳到期时，主设备根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态，各个从设备分别根据所述场景状态更新显示图像。
[0015]一种全视角平滑的沉浸式显示系统，包括:一个主设备和一个以上从设备，所述主设备和从设备按照预设角度设置；其中，
[0016]所述主设备，用于分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备；还用于当主设备的渲染心跳到期时，根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态；
[0017]所述从设备，用于向主设备上报视角信息，根据主设备反馈的初始化参数设置渲染图像参数；还用于根据主设备发送的场景状态更新显示图像。
[0018]可见，本发明提出全视角平滑的沉浸式显示方法和系统，使用多个任意形式的显示设备显示图像，造价较低、使用方便；并且，采用球面全景图或计算机生成的图像，从显示信息源方面保证了全视角的沉浸式显示，保证了显示的平滑性。
【专利附图】
【附图说明】
[0019]图1本发明提出的全视角平滑的沉浸式显示方法实现流程图；
[0020]图2-1为实施例一中主设备和从设备的部署方式一示意图；
[0021]图2-2为实施例一中主设备和从设备的部署方式二示意图；
[0022]图2-3为实施例一中主设备和从设备的部署方式三示意图；
[0023]图3为实施例二中主设备和从设备之间图像信息同步的实现流程图；
[0024]图4为主设备与各从设备的连接结构示意图。
【具体实施方式】
[0025]本发明提出一种全视角平滑的沉浸式显示方法，按照预设角度预先设置一个主设备及一个以上从设备，如图1为该方法实现流程图，包括:
[0026]步骤101:主设备分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备，从设备根据初始化参数设置渲染图像参数；
[0027]步骤102:当主设备的渲染心跳到期时，主设备根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态，各个从设备分别根据所述场景状态更新显示图像。
[0028]上述方法中，如果主设备的渲染心跳没有到期，而从设备的渲染心跳到期时，从设备根据上一帧的信息更新显示图像。从设备渲染心跳的设置，是为了在主设备因计算缓慢或网络阻塞导致无法及时更新数据到从设备时，从设备上仍然能够继续平滑显示而不会被阻塞。
[0029]上述步骤101中，初始化参数可以包括:球面全景图的初始被显示区域的坐标，或计算机生成图形时内部相机的初始世界坐标和相机镜头视角。
[0030]上述步骤102中，最新的场景状态可以包括:球面全景图的当前被显示区域坐标，或计算机生成图形时内部相机当前世界坐标。
[0031]通过主设备和从设备分别根据上述场景状态更新显示图像，可以实现多个显示设备同步显示由相机拍摄并经球面全景投影处理后的球面全景图，或者显示由计算机生成的图形；相对于普通的图像，提供了更大视角或360度全视角的显示图像信息。
[0032]上述方法中，按照预设角度预先设置一个主设备及一个以上从设备的方式可以为:
[0033]主设备和从设备设置为一定弧度的球面或一个平面；
[0034]或者，将主设备设置为中心显示设备，将一个尺寸大的从设备设置为外围显示设备;
[0035]或者，主设备和从设备以不同角度投影到球面屏幕上。
[0036]以下结合附图，举具体的实施例详细介绍。
[0037]实施例一:
[0038]本实施例介绍主设备和从设备的三种部署方式。
[0039]图2-1给出了一种主从设备部署方式，即可将多个显示设备按照一定角度摆放成一个平面或者具有一定弧度的球面，选取一个设备为主设备，其它设备为从设备，图2-1中选取了中心设备为王设备。
[0040]图2-2所示为将便携式设备作为中心显示设备，并配备一个尺寸较大的显示设备作为外围显示设备，图中选取中心显示设备为主设备，另一个设备为从设备。
[0041]图2-3中，以投影仪将显示信息投影到一个球面，选取其中一个设备为主设备，其余为从设备。
[0042]除上述三种部署方式以外，本发明还可以采用其它任何可以提供多视角的显示器和显示器位置部署方式，以更高清、更灵活的方式提供虚拟图像的不同视角，克服由于场景环境的限制而导致的图像沉浸感不足的缺陷。
[0043]实施例二:
[0044]本实施例介绍主设备和从设备之间进行图像信息同步的具体过程。
[0045]首先介绍经过上述部署后，主设备和从设备作为一个整体所显示的图像形式。可以包括两种形式的图像显示:
[0046]第一种,球面全景图:
[0047]对于普通相机拍摄的照片，因为相机视角的局限性，只能对现实场景的部分视角成像。全景图技术通过将不同视角的照片拼接成一个全视角的图像，而经过球面投影技术而形成的全景图称为球面全景图。球面全景图可以提供水平和垂直方向360度的视角。
[0048]本发明中通过采用球面全景图技术，根据显示设备的视角信息(根据各从设备相对于主设备的大小和相对位置来获得)，定位其视平面在球面全景图中的像素范围，最终经过对视平面的几何校正，颜色校正，从而达到各显示设备显示图像的平滑性。
[0049]第二种，计算机生成的图形:
[0050]对于计算机图形系统生成的图形，需要根据显示设备的视角信息(根据各从设备相对于主设备的大小和相对位置来获得)来设置计算机内部的相机的角度。以此来达到各设备合作完成对整个计算机图形系统生成的图形的全视角平滑性观看。
[0051]以下介绍主从设备的同步过程，如图3为主从设备的同步过程示意图。具体包括以下三个阶段。
[0052]第一阶段:建立连接。
[0053]主/从设备都开启了三个线程，包括主线程、渲染线程和网络线程。其中，主线程用于网络事件的处理、外部设备事件的处理以及渲染心跳的计时器管理等，作为渲染线程和网络线程的管理线程，主设备的渲染心跳周期为Timerl，从设备的渲染心跳周期Timer2。
[0054]连接建立时，主设备就绪，支持从设备的动态加入。具体的建立连接过程为:
[0055]从设备网络线程向主设备发送一条消息，请求与主设备建立连接，该消息中携带从设备的视角信息；
[0056]主设备的网络线程收到从设备请求建立连接的消息，通知主设备的主线程，主设备的主线程将从设备加入到主设备的从设备列表中，并根据从设备的视角信息计算从设备的初始化参数，将初始化参数下发至该从设备；其中，初始化参数可以包括从设备中球面全景图的初始被显示区域的坐标，或计算机生成图形时内部相机的初始世界坐标和相机镜头视角；
[0057]从设备根据初始化参数设置渲染图像参数，完成后续显示图像的准备工作。
[0058]针对每一个从设备，分别上述过程建立于主设备与从设备之间的连接。
[0059]第二阶段:交互渲染。
[0060]为了达到主从设备图像同步的实时性，本实施例设计基于心跳周期Timerl的同步，保证主从设备信息的同步周期性更新。
[0061]具体的同步过程为:主线程接收事件(如用户通过外设发出的输入事件)，在心跳周期计时器发生时更新场景状态，并发送最新的场景状态给从设备，场景状态包括同步需要的必需数据，比如球面全景图的当前被显示区域坐标，计算机生成图形时内部相机当前世界坐标等。从设备主线程将通知从设备渲染线程根据接收到的场景状态更新显示图像。同时，主设备也根据最新的场景状态更新显示图像。
[0062]另外，当主设备的渲染心跳没有到达，而从设备的渲染心跳到达时，从设备可以根据上一帧的信息更新显示图像，进行虚拟现实场景的渲染。从设备渲染心跳的设置是为了在主设备因计算缓慢或网络阻塞导致无法及时更新数据到从设备时，从设备上仍然能够继续平滑显示而不会被阻塞。
[0063]第三阶段:退出。
[0064]当从设备的网络线程发送取消连接的消息给主设备时，主设备的网络线程接收到该取消连接的消息，并通知主设备主线程，主线程将该设备从主设备从设备列表中删除，从设备退出连接。
[0065]本发明还提出一种全视角平滑的沉浸式显示系统，包括一个主设备和一个以上从设备，所述主设备和从设备按照预设角度设置；其中，
[0066]所述主设备，用于分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备；还用于当主设备的渲染心跳到期时，根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态；
[0067]所述从设备，用于向主设备上报视角信息，根据主设备反馈的初始化参数设置渲染图像参数；还用于根据主设备发送的场景状态更新显示图像。
[0068]上述从设备还可以用于，当从设备的渲染心跳到期时，根据上一帧的信息更新显示图像。
[0069]上述系统中，初始化参数可以包括:球面全景图的初始被显示区域的坐标，或计算机生成图形时内部相机的初始世界坐标和相机镜头视角。
[0070]最新的场景状态可以包括:球面全景图的当前被显示区域坐标，或计算机生成图形时内部相机当前世界坐标。
[0071]上述系统中，主设备和从设备可以设置为一定弧度的球面或一个平面；
[0072]或者，主设备可以设置为中心显示设备，一个尺寸大的从设备设置为外围显示设备;
[0073]或者，主设备和从设备可以以不同角度投影到球面屏幕上。
[0074]如图4为主设备(Master)与各从设备(Slave)的连接结构示意图。主从设备通过网络连接，主从设备可以采用任意形式的显示设备，可以针对不同的虚拟应用场景配置不同形式的显示设备，例如3IXD投影仪、柔性显示器、普通显示器、便携的移动设备以及3D显示设备等一种或多种显示设备。设备部署灵活简便。
[0075]综上可见，本发明提出的全视角平滑的沉浸式显示方法和系统，使用多个任意形式的显示设备并设置外部用户交互设备，增强了人机交互；且设备灵活简便，可移植性高；采用球面全景图和计算机生成的图形，从显示信息源方面保证了全视角的沉浸式体验，对于全景图显示到设备之前进行了几何校正、颜色校正，保证了显示的平滑性。并且，本发明设计主从设备之间采用心跳同步机制实现信息的传递，实时保证了主从设备图像显示的同步。为了增加灵活性，主设备就绪后支持从设备的动态加入；为实现高效同步和多设备平滑的并行显示，分别设定主设备节点渲染心跳Tl和从设备节点渲染心跳T2，主设备节点实时地获取各交互设备节点反馈的用户交互信息，计算游戏场景变换信息。
[0076]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1.一种全视角平滑的沉浸式显示方法，其特征在于，按照预设角度预先设置一个主设备及一个以上从设备，所述方法包括: 主设备分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备，从设备根据初始化参数设置渲染图像参数； 当主设备的渲染心跳到期时，主设备根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态，各个从设备分别根据所述场景状态更新显示图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括:从设备的渲染心跳到期时，从设备根据上一帧的信息更新显示图像。
3.根据权利要求1或2所述的方法，其特征在于，所述初始化参数包括:球面全景图的初始被显示区域的坐标，或计算机生成图形时内部相机的初始世界坐标和相机镜头视角。
4.根据权利要求1或2所述的方法，其特征在于，所述最新的场景状态包括:球面全景图的当前被显示区域坐标，或计算机生成图形时内部相机当前世界坐标。
5.根据权利要求1或2所述的方法，其特征在于，所述按照预设角度预先设置一个主设备及一个以上从设备的方式为: 主设备和从设备设置为一定弧度的球面或一个平面； 或者，将主设备设置为中心显示设备，将一个尺寸大的从设备设置为外围显示设备； 或者，主设备和从设备以不同角度投影到球面屏幕上。
6.—种全视角平滑的沉浸式显不系统，其特征在于，所述系统包括:一个主设备和一个以上从设备，所述主设备和从设备按照预设角度设置；其中， 所述主设备，用于分别接收各个从设备上报的视角信息，根据各个从设备的视角信息计算各个从设备的初始化参数，将初始化参数分别下发至相应的从设备；还用于当主设备的渲染心跳到期时，根据最新的场景状态更新显示图像，并分别向各个从设备发送最新的场景状态； 所述从设备，用于向主设备上报视角信息，根据主设备反馈的初始化参数设置渲染图像参数；还用于根据主设备发送的场景状态更新显示图像。
7.根据权利要求6所述的系统，其特征在于，所述从设备还用于，当从设备的渲染心跳到期时，根据上一帧的信息更新显示图像。
8.根据权利要求6或7所述的系统，其特征在于，所述初始化参数包括:球面全景图的初始被显示区域的坐标，或计算机生成图形时内部相机的初始世界坐标和相机镜头视角。
9.根据权利要求6或7所述的系统，其特征在于，所述最新的场景状态包括:球面全景图的当前被显示区域坐标，或计算机生成图形时内部相机当前世界坐标。
10.根据权利要求6或7所述的系统，其特征在于，所述主设备和从设备设置为一定弧度的球面或一个平面； 或者，主设备设置为中心显示设备，一个尺寸大的从设备设置为外围显示设备； 或者，主设备和从设备以不同角度投影到球面屏幕上。
【文档编号】H04L29/06GK104168315SQ201410391218
【公开日】2014年11月26日 申请日期:2014年8月8日 优先权日:2014年8月8日
【发明者】罗蛟, 朱欢欢, 唐洪英 申请人:三星电子（中国）研发中心, 三星电子株式会社