虚拟现实、增强现实的实时显示方法和系统的制作方法
【专利摘要】本发明公开了一种虚拟现实、增强现实的实时显示方法和系统，其方法包括确定需要处理的计算操作；将所述计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置；所述显示终端和若干增强处理装置分别对各自接收到的计算子模块进行数据处理；汇集显示终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形；在显示终端上显示渲染后的计算机图形。本发明能够实时显示虚拟现实、增强现实，且图形质量高、影像播放流畅。
【专利说明】
虚拟现实、増强现实的实时显示方法和系统
技术领域
[0001]本发明涉及一种虚拟现实、增强现实技术领域，更具体地，涉及一种虚拟现实、增强现实的实时显示方法和系统。
【背景技术】
[0002]虚拟现实技术和增强现实技术在国防、商业、娱乐、工业领域等方面有巨大的应用价值。
[0003]人们通过配戴如Oculus的虚拟现实眼镜、微软的hololens等虚拟现实装置或增强现实装置等显示终端，以使自己沉浸在虚拟现实场景或增强现实场景中。
[0004]但是，现有技术的显示终端，经常会出现画面显示质量下降、计算机图形与现实场景匹配出现延迟等情况，极大地影响了用户的体验。
【发明内容】
[0005]本发明的第一方面目的在于提供一种虚拟现实、增强现实的实时显示方法，该方法能够实时显示虚拟现实、增强现实，且图形质量高、影像播放流畅。
[0006]为了能实现上述目的，本发明按照以下技术方案实现:
[0007]虚拟现实、增强现实的实时显示方法，其包括:
[0008]确定需要处理的计算操作；
[0009]将所述计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置；
[0010]所述显示终端和若干增强处理装置分别对各自接收到的计算子模块进行数据处理，分别在移动终端和增强处理装置进行并行处理；
[0011 ]汇集显示终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形；
[0012]在显示终端上显示渲染后的计算机图形。
[0013]作为一种具体的实施例，所述确定需要处理的计算操作具体为:根据显示终端获取到的其自身的定位信息、周边环境三维信息或操作信息判断计算机图形的形态是否需要发生改变，若是，则确定为需要处理的计算操作；
[0014]所述操作信息包括语音、手势、键盘、鼠标、触摸屏操作信息。
[0015]作为一种具体的实施例，所述计算资源分配规则为:将图像显示实时性要求高且计算量小的计算子模块直接分配给显示终端，将其余的计算子模块分配给若干增强处理装置。
[0016]作为一种具体的实施例，所述显示终端和若干增强处理装置可以采用运动预测方法对各自接收到的计算子模块进行数据处理，提高操作的实时性。
[0017]作为一种具体的实施例，所述汇集显示移动终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形具体为:
[0018]当显示终端与一台增强处理装置通信连接时，将显示终端处理后的数据传输给增强处理装置，由增强处理装置汇集自身、和显示终端处理后的数据，所述增强处理装置根据汇集后的数据，渲染计算机图形；
[0019]当显示终端与至少两台增强处理装置通信连接时，将显示终端处理后的数据传输给至少两台增强处理装置中主增强处理装置，由主增强处理装置汇集自身、从增强处理装置、和显示终端处理后的数据，所述主增强处理装置根据汇集后的数据，渲染计算机图形。
[0020]进一步地，所述增强处理装置将渲染后的计算机图形实时传输给显示终端，当计算机图形渲染结束，实时传输结束。
[0021]作为一种具体的实施例，所述汇集显示终端和增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形具体为:
[0022]将若干增强处理装置处理后的数据传输给显示终端，由显示终端汇集自身、和若干增强处理装置处理后的数据，所述显示终端根据汇集后的数据，渲染计算机图形。
[0023]本发明的第二方面目的，在于提供一种虚拟现实、增强现实的实时显示系统，其包括:显示终端、与显示终端通信连接的增强处理装置。
[0024]该系统还包括:检测判断模块，其设置在显示终端和/或增强处理装置上，用于确定需要处理的计算操作；
[0025]计算资源分配模块，其设置在显示终端和/或增强处理装置上，用于将需要处理的计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置；
[0026]数据处理模块，其设置在显示终端和增强处理装置上，用于对显示终端接收到的计算子模块进行数据处理；
[0027]汇集模块，其设置在显示终端和/或增强处理装置上，用于汇集显示终端和若干增强处理装置处理后的数据；
[0028]渲染模块，其设置在显示终端和/或增强处理装置上，用于根据汇集后的数据，渲染计算机图形；
[0029]显示模块，其设置在显示终端上，用于显示渲染后的计算机图形。
[0030]作为一种具体的实施例，所述显示终端还包括:即时定位和地图构建模块，用于获取获取显示终端的定位信息、周边环境三维信息；控制模块，用于获取显示终端的操作信息;其中，所述操作信息包括语音、手势、键盘、鼠标、触摸屏操作信息。
[0031]作为一种具体的实施例，所述显示终端还包括:所述显示终端为头戴式显示装置；所述增强处理装置为个人电脑。
[0032]本发明与现有技术相比，其有益效果为:
[0033]本发明的虚拟现实、增强现实的实时显示方法和系统通过计算资源分配模块，将需要进行处理的计算操作，合理分配给与显示终端通信连接的如个人电脑等增强处理装置，在显示终端、个人电脑同时处理，然后再根据处理后的数据渲染计算机图形，以实时显示虚拟现实或增强现实。本发明的方法和系统，不仅增强了整个显示系统的数据处理能力、处理速度，使计算机图形实时显示，而且还降低了对显示终端处理能力的要求，也即降低了对显示终端的配置要求，降低了显示终端的计算成本，同时，由于对显示终端的计算处理能力降低，显示终端的续航能力也得到了很大的提高。
[0034]为了能更清晰的理解本发明，以下将结合【附图说明】阐述本发明的【具体实施方式】。
【附图说明】
[0035]图1是本发明实施例的虚拟现实、增强现实的实时显示方法流程图。
[0036]图2是本发明实施例的显示终端、增强处理装置通信连接示意图。
[0037]图3是本发明实施例的显示终端、增强处理装置通信连接示意图。
[0038]图4是本发明实施例的显示终端的结构框图。
[0039]图5是本发明实施例的增强处理装置的结构框图。
【具体实施方式】
[0040]现有技术中，现有技术的显示终端，经常会出现画面显示质量下降、计算机图形与现实场景匹配出现延迟等情况，极大地影响了用户的体验。
[0041]其中，显示终端的计算能力对画面显示质量至关重要，但是，我们发现，现有技术中的显示终端，其往往在芯片等器件上受到很大的限制，其计算能力难以满足高品质的画面渲染和人机互动。换言之，如果计算能力不足，就会导致画面显示质量下降、计算机图形和现实场景的匹配出现延迟等等。
[0042]本发明实施例提供一种虚拟现实、增强现实的实时显示方法和系统，该方法和系统借助增强处理装置(如家庭个人电脑等)，以分布式的方式，对数据进行并行处理，提高虚拟现实或者增强现实移动终端的显示图形画质和速度。从而实现了实时显示虚拟现实和增强现实，有效地解决了现有技术中显示画面质量下降、计算机图形与现实场景匹配延迟等问题，可有效保证用户的高品质、流畅使用体验。
[0043]下面，参考图1，对本发明实施例的虚拟现实、增强现实的实时显示方法进行阐述说明。
[0044]实施例1:
[0045]如图1所示，本发明实施例的虚拟现实、增强现实的实时显示方法包括以下步骤:
[0046]SlOO:确定需要处理的计算操作。
[0047]其中，所述确定需要处理的计算操作具体为:根据显示终端获取到的其自身的定位信息、周边环境三维信息或操作信息判断计算机图形的形态是否需要发生改变，若是，则确定为需要处理的计算操作。
[0048]其中，所述显示终端其自身的定位信息、周边环境三维信息可通过显示终端中的即时定位和地图构建模块获得。
[0049]在一些实施例中，所述即时定位和地图构建模块用于控制单目摄像头、两个或两个以上摄像头对显示终端的周边环境进行摄像，并根据拍摄到的图像构建显示终端周边环境的二维彳g息。
[0050]在另一些实施例中，所述即时定位和地图构建模块用于控制深度摄像头、普通彩色摄像头对显示终端的周边环境进行摄像，并根据拍摄到的图像构建显示终端周边环境的二维f目息。
[0051]优选地，所述即时定位和地图构建模块还用于控制惯性传感器，以检测和测量显示终端在移动过程中，其自身的加速度、倾斜度、冲击力、振动、旋转、和多自由度运动。
[0052]所述计算机图形的形态包括图形显示位置、大小、视差信息等信息。
[0053]所述操作信息包括语音、手势、键盘、鼠标、触摸屏操作信息。具体地，通过显示终端中的第一控制模块或增强处理设备中的第二控制模块获取得到。
[0054]S200:将所述计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置。
[0055]其中，所述计算资源分配规则为:将图像显示实时性要求高，如低于19毫秒的动作，且计算量小的计算子模块直接分配给显示终端，将其余的计算子模块分配给若干增强处理装置。其中，所述实时性要求高和计算量小，是针对各个计算子模块之间比较而言的。具体，所述计算资源分配规则可以是事先预设好的静态计算资源分配规则；也可以是动态分配规则，例如，可以根据与显示终端通信连接的各个增强处理设备的配置、计算能力等进行动态分配，配置高、处理速度高的，则分配计算要求高的计算子模块。
[0056]S300:所述显示终端和若干增强处理装置分别对各自接收到的计算子模块进行数据处理。
[0057]其中，由于大部分场景的运动是一种有序的行为，优选地，本发明实施例的所述显示终端和若干增强处理装置采用运动预测方法对各自接收到的计算子模块进行数据处理，以提高数据处理的效率。
[0058]具体地，可以通过以“参考数据帧”为基础，预测即将要处理的“数据帧”实现。对于特定的场景活动，可利用一本地的“参考数据库”，进行预测，估算出运动矢量。其中，所述参考数据库可通过机器学习获取和完善。
[0059]S400:汇集显示终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形。
[0060]其中，在一种实施例中，由增强处理装置汇集显示终端和若干增强处理装置处理后的数据。
[0061]具体地，当显示终端与一台增强处理装置通信连接时，将显示终端处理后的数据传输给增强处理装置，由增强处理装置汇集自身、和显示终端处理后的数据，所述增强处理装置根据汇集后的数据，渲染计算机图形；
[0062]当显示终端与至少两台增强处理装置通信连接时，将显示终端处理后的数据传输给至少两台增强处理装置中主增强处理装置，由主增强处理装置汇集自身、从增强处理装置、和移显示终端处理后的数据，所述主增强处理装置根据汇集后的数据，渲染计算机图形。
[0063]所述增强处理装置在渲染完一部分计算机图形后，即将该部分渲染后的计算机图形实时传输给显示终端，当计算机图形渲染结束，实时传输结束。渲染后的计算机图形被保存至显示终端的存储模块中，具体地，可以是以临时文件的形式，存储在存储模块的临时文件夹中。显示终端中的显示模块可直接从临时文件夹中获取将要播放或显示的计算机图形，从而确保了图形的实时显示，且显示流畅。
[0064]在另一些实施例中，由显示终端汇集显示终端和若干增强处理装置处理后的数据。
[0065]具体地，将若干增强处理装置处理后的数据传输给显示终端，由显示终端汇集自身、和若干增强处理装置处理后的数据，所述显示终端根据汇集后的数据，渲染计算机图形。显示终端渲染后的计算机图形存储至存储模块中。具体地，可以是以临时文件的形式，存储在存储模块的临时文件夹中。显示终端中的显示模块可直接从临时文件夹中获取将要播放或显示的计算机图形，从而确保了图形的实时显示，且显示流畅。
[0066]S500:在显示终端上显示渲染后的计算机图形。
[0067]其中，所述显示终端包括有显示模块，用于显示渲染后的计算机图形。所述显示模块可以是液晶屏幕、有机发光管、投影装置等。
[0068]实施例2
[0069]下面，参考图2，对本发明实施例的虚拟现实、增强现实的实时显示系统进行阐述说明。
[0070]如图2和图3所示，本发明实施例的虚拟现实、增强现实的实时显示系统包括:
[0071]显示终端230;与显示终端230通信连接的增强处理装置210。
[0072]其中，优选地，所述显示终端230为头戴式显示装置;所述增强处理装置210为个人电脑。
[0073]如图2所示，在一些实施例中，显示终端230通过有线电缆或无线网络220与一台增强处理装置210通信连接。
[0074]如图3所示，在另一些实施例中，所述显示终端230通过有线电缆或无线网络220与至少两台增强处理装置210通信连接。
[0075]如图4所示，在一种实施例中，所述显示终端230上设置有:
[0076]显示模块238，用于显示渲染后的计算机图形。
[0077]即时定位和地图构建模块231，用于获取显示终端的定位信息、周边环境三维信息。
[0078]第一控制模块232，用于获取显示终端的操作信息。其中，本发明实施例的显示终端可以与鼠标、键盘、玩具枪等外设设备连接，通过控制模块获取所述外设设备的操作，以获取操作信息。
[0079]第一检测判断模块233，用于确定需要处理的计算操作。
[0080]第一计算资源分配模块234，用于将需要处理的计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置。
[0081]第一数据处理模块235，用于对显示终端接收到的计算子模块进行数据处理。
[0082]优选地，本实施例的显示终端还包括:第一汇集模块236，用于汇集显示终端和若干增强处理装置处理后的数据。第一渲染模块237，用于根据汇集后的数据，渲染计算机图形。
[0083]如图5所示，所述增强处理装置210包括有:第二数据处理模块211，用于对增强处理装置210接收到的计算子模块进行数据处理。在本实施例中，由显示终端汇集显示终端和若干增强处理装置处理后的数据，并进行渲染。
[0084]实施例3
[0085]本实施例与实施例2的技术方案基本相同，其区别点主要在于:所述增强处理装置210还包括:
[0086]第二汇集模块212，用于汇集显示终端和若干增强处理装置处理后的数据。
[0087]第二渲染模块213，用于根据汇集后的数据，渲染计算机图形。
[0088]换言之，在本实施例中，可以由增强处理装置汇集显示终端和若干增强处理装置处理后的数据，然后进行渲染。
[0089]实施例4
[0090]本实施例与实施例2或3的技术方案基本相同，其区别点主要在于:所述增强处理装置210还包括:
[0091]第二控制模块216，用于获取增强处理装置的操作信息。所述增强处理装置可以是个人电脑，优选地，所述个人电脑可以是只有主机的计算机，也即可以没有显示器等其他周边设备，所述个人电脑也可以是家庭笔记本、台式机等等，其可以与其他外接设备连接，所述第二控制模块可以用于获取这些外接设备的操作。
[0092]第二检测判断模块214，用于确定需要处理的计算操作。
[0093]第二计算资源分配模块215，用于将需要处理的计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置。换言之，在本实施例中，可以由增强处理装置对需要进行处理的计算操作进行资源分配。
[0094]需要说明的，参阅上述实时显示方法中，可以清楚获知本发明实施例的实时显示系统中各个功能模块的作用，故在对本发明实施例的描述中不再赘述。
[0095]本发明并不局限于上述【具体实施方式】，如果对本发明的各种改动或变型不脱离本发明的精神和范围，倘若这些改动和变型属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。
【主权项】
1.虚拟现实、增强现实的实时显示方法，其特征在于，包括: 确定需要处理的计算操作； 将所述计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置； 所述显示终端和若干增强处理装置分别对各自接收到的计算子模块进行数据处理； 汇集显示终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形； 在显示终端上显示渲染后的计算机图形。2.根据权利要求1所述的方法，其特征在于，所述确定需要处理的计算操作具体为:根据显示终端获取到的其自身的定位信息、周边环境三维信息或操作信息判断计算机图形的形态是否需要发生改变，若是，则确定为需要处理的计算操作； 所述操作信息包括语音、手势、键盘、鼠标、触摸屏操作信息。3.根据权利要求1所述的方法，其特征在于，所述计算资源分配规则为:将图像显示实时性要求高且计算量小的计算子模块直接分配给显示终端，将其余的计算子模块分配给若干增强处理装置。4.根据权利要求1所述的方法，其特征在于，所述显示终端和若干增强处理装置采用运动预测方法对各自接收到的计算子模块进行数据处理。5.根据权利要求1所述的方法，其特征在于，所述汇集显示终端和若干增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形具体为: 当显示终端与一台增强处理装置通信连接时，将显示终端处理后的数据传输给增强处理装置，由增强处理装置汇集自身、和显示终端处理后的数据，所述增强处理装置根据汇集后的数据，渲染计算机图形； 或当显示终端与至少两台增强处理装置通信连接时，将显示终端处理后的数据传输给至少两台增强处理装置中主增强处理装置，由主增强处理装置汇集自身、从增强处理装置、和显示终端处理后的数据，所述主增强处理装置根据汇集后的数据，渲染计算机图形。6.根据权利要求5所述的方法，其特征在于，还包括:所述增强处理装置将渲染后的计算机图形实时传输给显示终端，当计算机图形渲染结束，实时传输结束。7.根据权利要求1所述的方法，其特征在于，所述汇集显示终端和增强处理装置处理后的数据，并根据汇集后的数据，渲染计算机图形具体为: 将若干增强处理装置处理后的数据传输给显示终端，由显示终端汇集自身、和若干增强处理装置处理后的数据，所述显示终端根据汇集后的数据，渲染计算机图形。8.虚拟现实、增强现实的实时显示系统，其特征在于，包括:显示终端、与显示终端通信连接的增强处理装置； 该系统还包括: 检测判断模块，其设置在显示终端和/或增强处理装置上，用于确定需要处理的计算操作； 计算资源分配模块，其设置在显示终端和/或增强处理装置上，用于将需要处理的计算操作分成若干计算子模块，并根据计算资源分配规则，将所述若干计算子模块分配给显示终端、与显示终端通信连接的若干增强处理装置； 数据处理模块，其设置在显示终端和增强处理装置上，用于对显示终端接收到的计算子模块进行数据处理； 汇集模块，其设置在显示终端和/或增强处理装置上，用于汇集显示终端和若干增强处理装置处理后的数据； 渲染模块，其设置在显示终端和/或增强处理装置上，用于根据汇集后的数据，渲染计算机图形； 显示模块，其设置在显示终端上，用于显示渲染后的计算机图形。9.根据权利要求8所述的系统，其特征在于，所述显示终端还包括: 即时定位和地图构建模块，用于获取显示终端的定位信息、周边环境三维信息； 控制模块，用于获取显示终端的操作信息； 其中，所述操作信息包括语音、手势、键盘、鼠标、触摸屏操作信息。10.根据权利要求8所述的系统，其特征在于，所述显示终端还包括:所述显示终端为头戴式显示装置;所述增强处理装置为个人电脑。
【文档编号】G06F3/14GK106067159SQ201610370443
【公开日】2016年11月2日
【申请日】2016年5月27日 公开号201610370443.9, CN 106067159 A, CN 106067159A, CN 201610370443, CN-A-106067159, CN106067159 A, CN106067159A, CN201610370443, CN201610370443.9
【发明人】范杭
【申请人】范杭