图像处理系统及方法与流程

本发明涉及图像处理技术领域，特别是涉及一种图像处理系统及方法。

背景技术：

增强现实(Augmented Reality，简写AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。随着随身电子产品运算能力的提升，增强现实的用途越来越广。虚拟现实(Virtual Reality，简写VR)是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

由于增强现实和虚拟现实设备的使用状态多数为覆盖在用户头部，导致用户看不到设备后边的或者是设备之外的环境。当用户处于可移动的状态时，比如用户采取站立行走姿态，如果周围环境有障碍物体，包括建筑物的墙壁，则可能出现安全问题或使用不便。另外，比如用户同虚拟现实或增强现实环境内的内容，或其他使用者存在互动的使用场景，应用中需要对使用者在佩戴设备之后的动作进行诱导和干预，比如让用户潜移默化的转身、走弧线等，以达到应用或游戏需要的效果，目前的技术还不能实现这些效果。

技术实现要素：

本发明主要解决的技术问题是提供一种图像处理系统及方法，能够影响和干预用户的行为。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像处理系统，所述图像处理系统用于虚拟现实或增强现实系统中，所述图像处理系统包括：运动探测模块、动态图像处理模块、图像显示模块以及干预指令模块；所述运动探测模块用于探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息，并将所述实际运动信息发送给所述动态图像处理模块；所述干预指令模块用于形成和激活干预指令，并将所述干预指令发送给所述动态图像处理模块，以干预所述动态图像处理模块的图像处理过程；所述动态图像处理模块用于接收所述运动探测模块发送的所述实际运动信息和所述干预指令模块发送的所述干预指令，基于所述实际运动信息和所述干预指令，动态生成叠加有干预指令的图像，并将所述叠加有干预指令的图像发送给所述图像显示模块；所述图像显示模块用于接收所述动态图像处理模块发送的所述叠加有干预指令的图像，进而进行显示，以影响和干预所述用户的行为。

其中，所述干预指令模块具体用于根据所述虚拟现实或增强现实设备的周围环境情况，或根据来自第三方应用程序和所述系统中其它服务组件的信息和控制指令，形成和激活干预指令，并将所述干预指令发送给所述动态图像处理模块，以干预所述动态图像处理模块的图像处理过程。

其中，所述干预指令包括干预参数附加值，所述干预参数附加值是在动态生成图像的过程中，计算与图像处理时所参考的运动参数值时的干预值。

其中，所述干预参数附加值是根据所述虚拟现实或增强现实设备的运动情况和环境情况进行变化的。

其中，所述动态图像处理模块具体用于在每次进行图像处理的过程中，对特定维度平面内的特定运动方向的实际运动数据进行分析，当所述特定方向的所述实际运动数据为正值时，则采用所述实际运动数据叠加所述干预参数附加值，从而生成新的图像，当所述特定方向的所述实际运动数据为负值或没有变化时，则采用所述实际运动数据按照常规的图像生成方法生成图像。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种图像处理方法，所述方法用于虚拟现实或增强现实系统中，所述方法包括：探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息；当接收到干预指令时，基于所述实际运动信息和所述干预指令，动态生成叠加有干预指令的图像；显示所述叠加有干预指令的图像，以影响和干预所述用户的行为。

其中，所述方法还包括：根据所述虚拟现实或增强现实设备的周围环境情况，或根据来自第三方应用程序和所述系统中其它服务组件的信息和控制指令，形成和激活所述干预指令。

其中，所述干预指令包括干预参数附加值，所述干预参数附加值是在动态生成图像的过程中，计算与图像处理时所参考的运动参数值时的干预值。

其中，所述干预参数附加值是根据所述虚拟现实或增强现实设备的运动情况和环境情况进行变化的。

其中，所述基于所述实际运动信息和所述干预指令，动态生成叠加有干预指令的图像的步骤，包括：在每次进行图像处理的过程中，对特定维度平面内的特定运动方向的实际运动数据进行分析，当所述特定方向的所述实际运动数据为正值时，则采用所述实际运动数据叠加所述干预参数附加值，从而生成新的图像；所述方法还包括：当所述特定方向的所述实际运动数据为负值或没有变化时，则采用所述实际运动数据按照常规的图像生成方法生成图像。

本发明的有益效果是：区别于现有技术的情况，本发明运动探测模块用于探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息，并将实际运动信息发送给动态图像处理模块；干预指令模块用于形成和激活干预指令，并将干预指令发送给动态图像处理模块，以干预动态图像处理模块的图像处理过程；动态图像处理模块用于接收运动探测模块发送的实际运动信息和干预指令模块发送的干预指令，基于实际运动信息和干预指令，动态生成叠加有干预指令的图像，并将叠加有干预指令的图像发送给图像显示模块；图像显示模块用于接收动态图像处理模块发送的叠加有干预指令的图像，进而进行显示，以影响和干预用户的行为。由于动态图像处理模块在生成图像时，叠加有干预指令，因此叠加有干预指令的图像在显示后能够引导用户的行为，通过这种方式，能够影响和干预用户的行为。

附图说明

图1是本发明图像处理系统一实施方式的结构示意图；

图2是本发明图像处理方法一实施方式的流程图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

参阅图1，图1是本发明图像处理系统一实施方式的结构示意图，该图像处理系统用于虚拟现实或增强现实系统中。

增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。

该图像处理系统包括：运动探测模块101、动态图像处理模块102、图像显示模块103以及干预指令模块104。

运动探测模块101用于探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息，并将实际运动信息发送给动态图像处理模块102。

运动探测模块101可以位于虚拟现实或增强现实设备内部或与虚拟现实或增强现实设备有通讯连接的附属设备内。当用户戴上虚拟现实或增强现实设备时，可能会施加一些运动，例如：转弯、摇头、朝某一方向走动等等，运动探测模块101主要用来探测和采集使用设备的用户附加在虚拟现实或增强现实设备上的实际运动信息，同时将该信息传输给动态图像处理模块102。

干预指令模块104用于形成和激活干预指令，并将干预指令发送给动态图像处理模块102，以干预动态图像处理模块102的图像处理过程。

干预指令是指需要对用户的行为进行干预的指令，以引导用户的行为朝着干预的方向运动。例如，用户戴着设备在往前方走动，看不见用户前方的视线，为避免用户撞在前方的墙，需要引导用户向左或右转弯，此时，可以形成并激活干预指令，将该指令发送给动态图像处理模块102，以使得动态图像处理模块102在图像处理过程也考虑该指令，不按照常规方式处理图像，而是做一些新的处理。

动态图像处理模块102用于接收运动探测模块101发送的实际运动信息和干预指令模块104发送的干预指令，基于实际运动信息和干预指令，动态生成叠加有干预指令的图像，并将叠加有干预指令的图像发送给图像显示模块103。

动态图像处理模块102接收到实际运动信息和干预指令后，在图像处理过程也考虑该指令，即不完全按照实际运动信息处理图像，而是叠加干预指令，做一些新的处理，生成叠加有干预指令的图像，然后将叠加有干预指令的图像发送给图像显示模块103。

图像显示模块103用于接收动态图像处理模块发送的叠加有干预指令的图像，进而进行显示，以影响和干预用户的行为。

图像显示模块103显示叠加有干预指令的图像，用户看到显示的图像后，即可按照图像的引导进行行为的改变，从而达到影响和干预用户行为的目的。

本发明实施方式运动探测模块用于探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息，并将实际运动信息发送给动态图像处理模块；干预指令模块用于形成和激活干预指令，并将干预指令发送给动态图像处理模块，以干预动态图像处理模块的图像处理过程；动态图像处理模块用于接收运动探测模块发送的实际运动信息和干预指令模块发送的干预指令，基于实际运动信息和干预指令，动态生成叠加有干预指令的图像，并将叠加有干预指令的图像发送给图像显示模块；图像显示模块用于接收动态图像处理模块发送的叠加有干预指令的图像，进而进行显示，以影响和干预用户的行为。由于动态图像处理模块在生成图像时，叠加有干预指令，因此叠加有干预指令的图像在显示后能够引导用户的行为，通过这种方式，能够影响和干预用户的行为。

其中，干预指令模块104具体用于根据虚拟现实或增强现实设备的周围环境情况，或根据来自第三方应用程序和系统中其它服务组件的信息和控制指令，形成和激活干预指令，并将干预指令发送给动态图像处理模块，以干预动态图像处理模块的图像处理过程。

简单介绍一下虚拟现实或增强现实图像处理过程。

基于虚拟现实或增强现实的技术和应用，绝大多数是设计为以用户身体中轴线为中心轴的三维空间内的图像处理和显示系统。虽然有柱面和球面图像系的区别，但图像的处理和显示均需要一个输入参数的激发，那就是虚拟现实或增强现实设备本身或与设备通讯的附属设备所采集到的该设备或附属设备在三维空间内的某一个或多个维度上的运动参数。比如，在水平维度内，设备采集到设备在水平空间内向前后左右方向移动的方向和距离，然后虚拟现实或增强现实的图像处理单元则根据该参数，基于场景的设计蓝图，参考以及后端服务和数据系统反馈的图像数据和控制信息，在三维空间内重新以用户视点为中心，进行数据的计算和调整，生成部分或全部重新绘制之后的图像。这样对用户来说，就看到了环境对应自己的前后左右的运动视角变化后景象。具体图像处理和生成技术是已经成熟的图像处理算法，不是本发明的实质内容，在此不再进行赘叙。

其中，干预指令包括干预参数附加值，干预参数附加值是在动态生成图像的过程中，计算与图像处理时所参考的运动参数值时的干预值。

在一实施方式中，干预参数附加值有两种形式：一种为一个增加在实际输入运动数据上的一个绝对值；一种为一个百分比值，也即增加在实际输入数据上的一个百分比比例值。不论实际应用中采用哪种形式，干预参数附加值在一次激活干预功能、直至功能关闭的过程中，保持不变；该值可以是正值，也可以是负值。

其中，干预参数附加值是根据虚拟现实或增强现实设备的运动情况和环境情况进行变化的。

在一实施方式中，在动态图像处理模块102收到运动检测模块101的更新的实际运动信息，将要进行图像处理和图像更新的时候，动态图像处理模块102检测是否在前次操作之后收到过来自干预指令模块104的最新指令。如果收到，则根据干预指令进行干预参数附加值的激活、关闭、更新。

当干预指令模块104接收到来自虚拟现实或增强现实设备、附属设备或后端系统的干预需求时，则通知图像处理系统在特定维度平面内的特定干预方向内，开启干预引导，激活系统预设的或来自其他系统输入的干预参数附加值。

动态图像处理模块102开启干预引导功能之后，在每次进行图像处理的过程中，对特定维度平面内的特定运动方向的实际运动数据进行分析，当特定方向的实际运动数据为正值时，则采用实际运动数据叠加干预参数附加值，从而生成新的图像，当特定方向的实际运动数据为负值或没有变化时，则采用实际运动数据按照常规的图像生成方法生成图像。

当收到的干预指令为停止干预时，动态图像处理模块102将干预引导功能关闭，干预参数附加值清零，在后续的图像处理中，不再对运动数据的计算进行叠加，按照常规的图像生成方法生成图像。

经过如上的处理，在实际用户佩戴头戴式虚拟现实或增强现实设备的时候，通过实现图像在特定方向的偏转，导致用户头部和身体方向不一致，人的身体在图像的驱动下，逐渐运动，进而改变人体将要执行的定向移动。更直接的一个例子是，当用户佩戴头戴式游戏眼罩，并且在用户正前方几米外有一个柱子阻挡时，如果根据游戏场景设计或者设备安全设计的要求，此时希望引导用户向右运动，以避免与柱子碰撞，则激活在水平维度向左侧运动数据上相对向右侧方向的“负向”干预，则每次用户带着眼罩向自己的右侧移动的时候，图像都会比用户向左侧移动的时候少移动“干预参数附加值”这么大的一个幅度，或者用户向左侧摆头或移动的时候，图像会比向右时“移动更多”或者说“返回更多”。几次之后用户的原视场已经向左侧偏移了。如果此时用户不运动身体，又要看到原视场内的场景，脖子和身体已经扭曲；而现实中人就会向右转身以纠正视场角度，寻求回到原来的视场位置。于是干预效果达成并可以停止。又例如在游戏场景中，可能给特殊用户身份较多的危险信息数据，于是在虚拟现实图像设备场景下，在能够发现该危险信息的运动方向给予正值的干扰项，当用户运动时，就能在该方向上积累更多运动量，看到更多的信息，当然也包括危险信号，从而较易才去防御或躲避措施。

参阅图2，图2是本发明图像处理方法一是实施方式的流程图，该方法可以通过上述的系统实现，相关内容的详细说明请参见上述系统部分，在此不再赘叙。该方法用于虚拟现实或增强现实系统中，该方法包括：

步骤S101：探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息。

步骤S102：当接收到干预指令时，基于实际运动信息和干预指令，动态生成叠加有干预指令的图像。

步骤S103：显示叠加有干预指令的图像，以影响和干预用户的行为。

本发明实施方式探测并采集用户附加在虚拟现实或增强现实设备上的实际运动信息；当接收到干预指令时，基于实际运动信息和干预指令，动态生成叠加有干预指令的图像；显示叠加有干预指令的图像，以影响和干预用户的行为。由于在生成图像时，叠加有干预指令，因此叠加有干预指令的图像在显示后能够引导用户的行为，通过这种方式，能够影响和干预用户的行为。

该方法还包括：根据虚拟现实或增强现实设备的周围环境情况，或根据来自第三方应用程序和系统中其它服务组件的信息和控制指令，形成和激活干预指令。

其中，干预指令包括干预参数附加值，干预参数附加值是在动态生成图像的过程中，计算与图像处理时所参考的运动参数值时的干预值。

其中，干预参数附加值是根据虚拟现实或增强现实设备的运动情况和环境情况进行变化的。

其中，步骤S102具体包括：在每次进行图像处理的过程中，对特定维度平面内的特定运动方向的实际运动数据进行分析，当特定方向的实际运动数据为正值时，则采用实际运动数据叠加干预参数附加值，从而生成新的图像；当特定方向的实际运动数据为负值或没有变化时，则采用实际运动数据按照常规的图像生成方法生成图像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。