一种混合现实画面处理方法及服务设备与流程

本发明涉及混合现实技术领域，具体涉及一种混合现实画面处理方法及服务设备。

背景技术：

混合现实技术可以合并真实世界和虚拟世界以产生一个既包含真实实体也包含虚拟画面的全新可视化环境。在混合现实的情境下，用户可以看到mr头显的屏幕中同时存在实体景象以及虚拟景象，为了模糊实体景象和虚拟景象之间的界限，混合现实技术可以捕捉到用户头部的位移或转动等动作对应的视野变化，并且根据视野变化对待渲染的虚拟景象进行相应的处理。然而，目前由于处理器计算能力等因素的影响，混合现实技术从确定用户视野变化到在mr头显的屏幕中显示画面之间存在一定的时延，当时延过大时，用户可以明显感觉到显示画面中的虚拟景象和实体景象脱节，甚至会因此产生强烈的眩晕感。

技术实现要素：

本发明实施例公开了一种混合现实画面处理方法及服务设备，能够减少画面显示的时延。

本发明实施例第一方面公开一种混合现实画面处理方法，所述方法包括：

获取mr头显佩戴者的眼球注视方向以及mr头显屏幕的显示画面；

识别所述眼球注视方向在所述显示画面上对应的注视区域；

判断所述注视区域内显示的目标景象是否为实体景象，如果是，降低待渲染的虚拟景象的分辨率，得到第一分辨率，并按照所述第一分辨率渲染所述待渲染的虚拟景象，得到渲染后的虚拟景象；

其中，所述第一分辨率低于预设的分辨率。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

如果所述目标景象不是实体景象，确定所述注视区域在所述待渲染的虚拟景象中对应的中心区域；

降低所述待渲染的虚拟景象中除所述中心区域以外的周边区域的分辨率，得到第二分辨率；

按照所述预设的分辨率渲染所述中心区域，以及按照所述第二分辨率渲染所述周边区域，得到渲染后的虚拟景象；

其中，所述第二分辨率低于所述预设的分辨率。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像；

对所述图像进行实体景象与背景图像之间的分离；

将分离得到的实体景象加载至所述渲染后的虚拟景象中。

作为一种可选的实施方式，在本发明实施例第一方面中，在所述控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像之后，所述方法还包括：

判断所述图像中是否存在实体景象，如果是，执行所述对所述图像进行实体景象与背景图像之间的分离的步骤。

作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：

识别所述目标景象的内容，并查找与所述内容绑定的提示信息；

将所述提示信息加载至所述渲染后的虚拟景象中。

本发明实施例第二方面公开一种服务设备，包括：

获取单元，用于获取mr头显佩戴者的眼球注视方向以及mr头显屏幕的显示画面；

第一识别单元，用于识别所述眼球注视方向在所述显示画面上对应的注视区域；

第一判断单元，用于判断所述注视区域内显示的目标景象是否为实体景象；

处理单元，用于在所述第一判断单元判断出所述目标景象为实体景象时，降低待渲染的虚拟景象的分辨率，得到第一分辨率；

渲染单元，用于按照所述第一分辨率渲染所述待渲染的虚拟景象，得到渲染后的虚拟景象；

其中，所述第一分辨率低于预设的分辨率。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

确定单元，用于在所述第一判断单元判断出所述目标景象不是实体景象时，确定所述注视区域在所述待渲染的虚拟景象中对应的中心区域；

所述处理单元，还用于降低所述待渲染的虚拟景象中除所述中心区域以外的周边区域的分辨率，得到第二分辨率；

所述渲染单元，还用于按照所述预设的分辨率渲染所述中心区域，以及按照所述第二分辨率渲染所述周边区域，得到渲染后的虚拟景象；

其中，所述第二分辨率低于所述预设的分辨率。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

控制单元，用于控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像；

分离单元，用于对所述图像进行实体景象与背景图像之间的分离；

第一加载单元，用于将分离得到的实体景象加载至所述渲染后的虚拟景象中。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

第二判断单元，用于在所述控制单元控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像之后，判断所述图像是否存在实体景象；

所述分离单元，具体用于在所述第二判断单元判断出所述图像中存在实体景象时，对所述图像进行实体景象与背景图像之间的分离。

作为一种可选的实施方式，在本发明实施例第二方面中，还包括：

第二识别单元，用于识别所述目标景象的内容，并查找与所述内容绑定的提示信息；

第二加载单元，用于将所述提示信息加载至所述渲染后的虚拟景象中。

与现有技术相比，本发明实施例具有以下有益效果：

服务设备通过获取mr头显佩戴者的眼球注视方向，可以确定mr头显佩戴者在mr头显屏幕的显示画面上的注视区域，也就是说可以确定出mr头显佩戴者在显示画面中注意力最集中的区域，如果该区域内显示的景象是实体景象，可以认为mr头显佩戴者的注意力不在虚拟景象中，因此降低待渲染的虚拟景象的分辨率，并按照降低后的分辨率渲染该待渲染的虚拟景象，能够提高渲染效率，从而可以减少画面显示的时延，还可以使用户看到的显示画面中实体景象是清晰的，而虚拟景象是模糊的，使得显示画面更符合现实生活中人们的视觉规律。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种混合现实画面处理方法的流程示意图；

图2是本发明实施例公开的另一种混合现实画面处理方法的流程示意图；

图3是本发明实施例公开的另一种混合现实画面处理方法的流程示意图；

图4是本发明实施例公开的一种服务设备的结构示意图；

图5是本发明实施例公开的另一种服务设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种混合现实画面处理方法及服务设备，能够减少画面显示的时延。以下分别进行详细说明。

实施例一

请参阅图1，图1是本发明实施例公开的一种混合现实画面处理方法的流程示意图。其中，图1所描述的混合现实画面处理方法适用于与mr头显连接的服务设备，本发明实施例不做限定。举例来说，与mr头显连接的服务设备可以是个人电脑、智能手机、云服务器等，本发明实施例不做限定。其中，与mr头显连接的服务设备的操作系统可包括但不限于windows操作系统、linux操作系统、android操作系统、ios操作系统等等，本发明实施例不做限定。如图1所示，该混合现实画面处理方法可以包括以下步骤：

101、服务设备获取mr头显佩戴者的眼球注视方向以及mr头显屏幕的显示画面。

作为一种可选的实施方式，在本发明实施例中，服务设备获取mr头显佩戴者的眼球注视方向的方式具体可以为：

服务设备利用高速的近红外摄像头拍摄mr头显佩戴者的人眼红外特征图像；

服务设备从上述的人眼红外特征图像中提取出人眼特征点；

服务设备根据人眼特征点以及预先建立的眼球转动模型，计算出人眼注视点的位置作为mr头显佩戴者的眼球注视方向。

102、服务设备识别眼球注视方向在上述的显示画面上对应的注视区域。

本发明实施例中，服务设备可以将以人眼的注视点位置为中心，以指定距离为半径的圆形区域看作为眼球注视方向在现实画面上对应的注视区域。在日常生活中，当我们注视一个物体的时候，注意力会集中在被注视的物体上，而很少会留意到周边的物体，比如说当我们在观看一块屏幕播放的内容的时候，我们很少会注意到周边的窗帘，甚至是这块屏幕本身的结构，此时在我们可能会看到屏幕播放的内容是清晰而周边的窗帘是模糊的，因此可以技术人员可以通过实验调整得出一个符合视觉规律的距离作为上述的指定距离。

103、服务设备判断注视区域内显示的目标景象是否为实体景象，如果是，执行步骤104，如果否，结束本流程。

本发明实施例中，mr头显屏幕的显示画面可能既包括现实世界中真实存在的实体景象，也包括由服务设备生成并显示到屏幕中的虚拟景象。举例来说，在一个多用户的混合现实会展情境下，用户a(也就是mr头显佩戴者)看到的显示画面中可以包括用户b以及多个展品，其中，用户b是实体人像，用户a看到的就是用户b真实的外表，其余多个展品是服务设备生成的虚拟扎品。当用户a与用于b面对面交谈的时候，用户a可能看向用户b，此时服务设备通过分析用户a的眼睛特征，确用户a的注视区域为显示画面中包含用户b的区域，用户b身上可能佩戴有用于标定用户b在真实空间中的位置的标定物，而虚拟展品不需要标定位置，没有标定物，因此服务设备可以利用图像识别算法查找注视区域中是否存在上述的标定物，如果存在，可以判定注视区域内显示的目标景象(也就是用户b)是实体景象。

104、服务设备降低待渲染的虚拟景象的分辨率，得到第一分辨率，并按照第一分辨率渲染待渲染的虚拟景象，得到渲染后的虚拟景象。

本发明实施例中，上述的第一分辨率低于预设的分辨率。一般来说，服务设备在生成虚拟景象的时候，需要将虚拟景象的三维模型投影至二维平面，然后对每个像素点进行着色渲染。而且在混合现实技术中，画面的渲染是实时的，比如说某一帧虚拟景象已经完成渲染并显示在mr头显的屏幕上，也就是步骤101中服务设备获取到的mr头显的显示画面，服务设备需要根据该时刻mr头显佩戴者的位置信息确定下一帧虚拟景象的三维模型，再对上述的下一帧虚拟景象进行渲染。目前，大部分混合现实技术对待渲染的虚拟景象中每个像素点都以高分辨率进行渲染，以使显示画面中所有区域都比较清晰，因此画面渲染占据了服务设备大量的计算资源，在服务设备计算资源有限的情况下，会导致运算时间增长。然而，在混合现实情境中可以不需要以相同的清晰度来呈现显示画面中的所有物体，如果用户注视的是实体景象，那么用户可能不会留意虚拟景象中的物体，因此服务设备可以使用数值较低的第一分辨率渲染待渲染的虚拟景象，可以减少画面渲染时的计算量，提高渲染效率，从而减少画面显示的时延。此外，服务设备不需要对实体景象进行渲染，可以直接将mr头显拍摄到的实体景象画面加载至虚拟景象中，因此用户在注视显示画面中的实体景象时，看到的实体景象是清晰的，而虚拟景象是模糊的，这样更符合现实生活中人们的视觉规律，而且也不会因为画面中所有物体都是清晰的而使眼睛因为处理过多信息而感到疲劳。

可见，实施图1所描述的混合现实画面处理方法，服务设备可以通过获取mr头显佩戴者的眼球注视方向，确定mr头显佩戴者在mr头显屏幕的显示画面上的注视区域，也就是说可以确定出mr头显佩戴者在显示画面中注意力最集中的区域，如果该区域内显示的景象是实体景象，可以认为mr头显佩戴者的注意力不在虚拟景象中，因此降低待渲染的虚拟景象的分辨率，并按照降低后的分辨率渲染该待渲染的虚拟景象，能够提高渲染效率，从而减少画面显示的时延。此外，在图1所描述的方法中，服务设备生成的显示画面呈现在mr头显的屏幕中时更符合现实生活中人们的视觉规律，而且也不会因为画面中所有物体都是清晰的而使用户眼睛因为处理过多信息而感到疲劳。

实施例二

请参阅图2，图2是本发明实施例公开的另一种混合现实画面处理方法的流程示意图。如图2所示，该混合现实画面处理方法可以包括以下步骤：

201、服务设备获取mr头显佩戴者的眼球注视方向以及mr头显屏幕的显示画面。

202、服务设备识别眼球注视方向在上述的显示画面上对应的注视区域。

203、服务设备判断注视区域内显示的目标景象是否为实体景象，如果是，执行步骤204，如果否，执行步骤205～步骤207。

204、服务设备降低待渲染的虚拟景象的分辨率，得到第一分辨率，并按照第一分辨率渲染待渲染的虚拟景象，得到渲染后的虚拟景象。

本发明实施例中，上述的第一分辨率低于预设的分辨率。

205、服务设备确定注视区域在待渲染的虚拟景象中对应的中心区域。

本发明实施例中，当mr头显佩戴者(也就是用户)的注视区域内显示的目标景象是虚拟景象时，用户看到的显示画面同样遵循注视区域内的景象是清晰的而注视区域外的景象是模糊的这一视觉规律，因此服务设备可以使用不同的分辨率对待渲染的虚拟景象中的不同区域进行渲染。由于mr头显(也就是用户头部)的位移或者转动，注视区域内显示的目标图像在待渲染的虚拟景象中的位置与在显示画面中的位置之间存在一定的差异，服务设备可以根据mr头显的陀螺仪和加速度测量出的mr头显的运动方向和运动速度，可以计算出注视区域在待渲染的虚拟景象中对应的中心区域。

206、服务设备降低待渲染的虚拟景象中除中心区域以外的周边区域的分辨率，得到第二分辨率。

207、服务设备按照预设的分辨率渲染中心区域，以及按照第二分辨率渲染周边区域，得到渲染后的虚拟景象。

本发明实施例中，上述的第二分辨率低于预设的分辨率，服务设备可以将周边区域作为一个整体，按照第二分辨率渲染周边区域，从而在目标景象为虚拟景象时，也可以减少画面渲染的计算量，减少画面显示的时延。按照不同的分辨率对中心区域和周边区域进行渲染，得到渲染后的虚拟景象中，中心区域的景象是清晰的，而周边区域的景象是模糊的。

可选的，服务设备还可以对周边区域进行细分，举例来说，服务设备可以将周边区域分为包围但不包含中心区域的第一区域，以及周边区域中除第一区域以外的第二区域，并按照预设的分辨率的百分之六十渲染第一区域，以及按照预设的分辨率的百分之二十渲染第二区域，从而使用户看到的显示画面从清晰的中心区域自然地过渡到模糊的周边区域。进一步可选的，服务设备在渲染时还可以调整中心区域与第一区域和第二区域之间的对比度，降低用户因画面模糊而产生隧道视觉效应的概率。

可见，实施图2所描述的方法，服务设备可以在用户注视实体景象时，按照低于预设的分辨率的第一分辨率渲染待渲染的虚拟景象，从而可以减少画面渲染时的计算量，减少画面显示的时延。进一步地，服务设备还可以在用户注视虚拟景象时，将待渲染的虚拟景象划分为中心区域与周边区域，并按照预设的分辨率渲染中心区域，按照低于预设的分辨率的第二分辨率渲染周边区域，可以进一步减少渲染时的计算量，还可以使得呈现的虚拟景象也符合现实生活中的视觉规律，改善用户体验。更进一步地，在图2所描述的方法中，服务设备还可以对周边区域进行细分，使得显示画面从清晰的中心区域自然地过渡到模糊的周边区域。此外，服务设备还可以在渲染时调整中心区域与周边区域之间的对比度，降低用户因画面模糊而产生隧道视觉效应的概率。

实施例三

请参阅图3，图3是本发明实施例公开的另一种混合现实画面处理方法的流程示意图。如图3所示，该混合现实画面处理方法可以包括以下步骤：

本发明实施例中，步骤301～步骤307与上述的步骤201～步骤207相同，以下内容不做赘述。其中，服务设备执行步骤304得到渲染后的虚拟景象之后，直接执行步骤308，以及，服务设备执行步骤307得到渲染后的虚拟景象之后，继续执行步骤308。

308、服务设备控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像。

309、服务设备判断该图像中是否存在实体景象，如果是，执行步骤310～步骤313，如果否，直接执行步骤312～步骤313。

310、服务设备对该图像进行实体景象与背景图像之间的分离。

311、服务设备将分离得到的实体景象加载至渲染后的虚拟景象中。

本发明实施例中，服务设备可以将分离得到的实体景象按照原始尺寸加载至虚拟景象中，得到一帧用于输出至mr头显屏幕的显示画面，使得用户可以看到融合了实体景象和虚拟景象的显示画面，同时可以使用户获悉用户与实体景象(如另一用户)之间的真实距离，从而可以降低用户由于无法获悉用户与实体景象之间的真实距离而发生碰撞等伤害事件的发生概率。

作为一种可选的实施方式，服务设备可以与多个mr头显连接，服务设备在得到从第一mr头显设备采集到的图像中分离出的实体景象，并且通过该实体景象的标定物识别出该实体景象为第二mr头显的佩戴者时，获取第二mr头显佩戴者的眼球注视方向；

服务设备根据数据库中第二mr头显佩戴者的脸部模型以及第二mr头显佩戴者的眼球注视方向，生成第二mr头显佩戴者的眼部动作模型；

服务设备利用第二mr头显的位置标定物把该眼部动作模型与分离得到的实体景象中第二mr头显佩戴者的面部其余部分对齐，该面部其余部分指第二mr头显佩戴者的面部没有被mr头显遮挡的部分；

服务设备渲染该眼部动作模型使其与分离得到的图像中第二mr头显佩戴者的面部其余部分融合，得到处理后的实体景象；

服务设备将处理后的实体景象加载至第一mr头显对应的渲染后的虚拟景象中。

其中，实施上述的实施方式，可以在第一mr头显屏幕的显示画面中重现第二mr头显佩戴者的面部被mr头显遮挡的部分，使得第一mr头显佩戴者(如用户a)可以看到第二mr头显佩戴者(如用户b)的面部表情，提高混合现实场景中不同用户在交流时的真实性。

312、服务设备识别目标景象的内容，并查找与该内容绑定的提示信息。

313、服务设备将提示信息加载至渲染后的虚拟景象中。

本发明实施例中，上述的目标景象可以是实体景象，也可以是虚拟景象，本发明实施例不做限定。举例来说，如果服务设备识别出目标景象是虚拟展品，查找到与该虚拟展品绑定的是该虚拟展品的介绍，那么服务设备将该虚拟展品的介绍加载至渲染后的虚拟景象中，使得用户可以在mr头显的屏幕中看到该虚拟展品以及其介绍；如果服务设备识别出目标景象是实体人像(如另一用户)，查找到与该实体人像绑定的是该用户在游戏场景中的属性，那么服务设备将该实体人像的属性加载至渲染后的虚拟景象中，使得用户可以在mr头显的屏幕中看到该实体人像以及其属性。

作为一种可选的实施方式，在混合现实游戏场景中，服务设备识别出目标景象的内容之后，可以查找与该内容绑定的虚拟场景作为待渲染的虚拟景象，并对该待渲染的虚拟景象进行渲染，使得服务设备可以根据用户的眼球注视方向触发剧情，提高用户在游戏场景中的交互体验。

可见，在图3所描述的方法中，服务设备可以在用户注视实体景象时，降低待渲染的虚拟景象的渲染分辨率，以及在用户注视虚拟景象时，将待渲染的虚拟景象划分为中心区域以及周边区域，并降低周边区域的渲染分辨率，从而可以减少画面渲染时的计算量，减少画面显示的时延。进一步地，在图3所描述的方法中，服务设备可以按照原始尺寸将分离得到的实体景象加载至渲染后的虚拟景象中，使得用户可以获悉用户与实体景象之间的真实距离，降低发生碰撞等伤害事故的概率，当实体景象是实体人像时，服务设备也可以在显示画面中重现实体人像的面部表情，提高混合现实场景中不同用户在交流时的真实性。

此外，在图3所描述的方法中，服务设备还可以在识别出用户注视的目标景象的内容时，将与目标景象的内容绑定的提示信息加载至渲染后的虚拟景象中，使得用户可以无需点击等操作，直接在mr头显的屏幕中看到上述的提示信息，可以提高用户的交互体验。或者，服务设备也可以在查找出与该内容绑定的虚拟场景之后，把该虚拟场景作为待渲染的虚拟景象，并对该待渲染的虚拟景象进行渲染，使得服务设备可以根据用户的眼球注视方向触发游戏剧情，也可以提高用户的交互体验。

实施例四

请参阅图4，图4是本发明实施例公开的一种服务设备。如图4所示，该服务设备包括：

获取单元401，用于获取mr头显佩戴者的眼球注视方向以及mr头显屏幕的显示画面；

作为一种可选的实施方式，在本发明实施例中，获取单元401获取mr头显佩戴者的眼球注视方向的方式具体可以为：

获取单元401利用高速的近红外摄像头拍摄mr头显佩戴者的人眼红外特征图像；

获取单元401从上述的人眼红外特征图像中提取出人眼特征点；

获取单元401根据人眼特征点以及预先建立的眼球转动模型，计算出人眼注视点的位置作为mr头显佩戴者的眼球注视方向。

第一识别单元402，用于识别获取单元401获取的眼球注视方向在显示画面上对应的注视区域；

第一判断单元403，用于判断第一识别单元402识别出的注视区域内显示的目标景象是否为实体景象；

处理单元404，用于在第一判断单元403判断出目标景象为实体景象时，降低待渲染的虚拟景象的分辨率，得到第一分辨率；

渲染单元405，用于按照处理单元404得到的第一分辨率渲染待渲染的虚拟景象，得到渲染后的虚拟景象；

本发明实施例中，上述的第一分辨率低于预设的分辨率。

其中，实施图4所示的服务设备，可以通过获取mr头显佩戴者的眼球注视方向，可以确定mr头显佩戴者在mr头显屏幕的显示画面上的注视区域，也就是说可以确定出mr头显佩戴者在显示画面中注意力最集中的区域，如果该区域内显示的景象是实体景象，可以认为mr头显佩戴者的注意力不在虚拟景象中，因此降低待渲染的虚拟景象的分辨率，并按照降低后的分辨率渲染该待渲染的虚拟景象，能够提高渲染效率，从而减少画面显示的时延。此外，实施图5所示的服务设备，可以使生成的显示画面呈现在mr头显的屏幕中时更符合现实生活中人们的视觉规律，而且也不会因为画面中所有物体都是清晰的而使用户眼睛因为处理过多信息而感到疲劳。

实施例五

请参阅图5，图5是本发明实施例公开的另一种服务设备的结构示意图。其中，图5所示的服务设备由图4所示的服务设备进行优化得到的。与图4所示的服务设备相比较，图5所示的服务设备还可以包括：

确定单元406，用于在第一判断单元403判断出目标景象不是实体景象时，确定注视区域在待渲染的虚拟景象中对应的中心区域；

本发明实施例中，作为一种可选的实施方式，确定单元406可以根据mr头显的陀螺仪和加速度测量出的mr头显的运动方向和运动速度，计算出注视区域在待渲染的虚拟景象中对应的中心区域。

上述的处理单元404，还用于降低待渲染的虚拟景象中除确定单元406确定出的中心区域以外的周边区域的分辨率，得到第二分辨率；

上述的渲染单元405，还用于按照预设的分辨率渲染中心区域，以及按照处理单元404确定的第二分辨率渲染周边区域，得到渲染后的虚拟景象；

其中，上述的第二分辨率低于预设的分辨率。

可选的，图5所示的服务设备还可以包括：

控制单元407，用于控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像；

第二判断单元408，用于在控制单元407控制mr头显利用模拟人眼工作的双目摄像头采集视野范围内的图像之后，判断控制单元407获取的图像是否存在实体景象；

分离单元409，用于在第二判断单元408判断出上述的图像中存在实体景象时，对图像进行实体景象与背景图像之间的分离；

第一加载单元410，用于将分离得到的实体景象加载至渲染单元405得到的渲染后的虚拟景象中；

本发明实施例中，作为一种可选的实施方式，服务设备可以与多个mr头显连接，因此，第一加载单元410在得到分离单元409从第一mr头显设备采集到的图像中分离出的实体景象之后，并且通过该实体景象的标定物识别出该实体景象为第二mr头显的佩戴者时，还用于从获取单元401中获取第二mr头显佩戴者的眼球注视方向；根据数据库中第二mr头显佩戴者的脸部模型以及第二mr头显佩戴者的眼球注视方向，生成第二mr头显佩戴者的眼部动作模型，并利用第二mr头显的位置标定物把该眼部动作模型与分离得到的实体景象中第二mr头显佩戴者的面部其余部分对齐，该面部其余部分指第二mr头显佩戴者的面部没有被mr头显遮挡的部分；触发渲染单元405执行渲染该眼部动作模型使其与分离得到的图像中第二mr头显佩戴者的面部其余部分融合的操作，并从渲染单元405中获得处理后的实体景象；将处理后的实体景象加载至第一mr头显对应的渲染后的虚拟景象中。

其中，实施上述的实施方式，可以在第一mr头显屏幕的显示画面中重现第二mr头显佩戴者的面部被mr头显遮挡的部分，使得第一mr头显佩戴者(如用户a)可以看到第二mr头显佩戴者(如用户b)的面部表情，提高混合现实场景中不同用户在交流时的真实性。

进一步可选的，图5所示的服务设备还可以包括:

第二识别单元411，用于识别第一识别单元402识别出的注视区域内显示的目标景象的内容，并查找与该内容绑定的提示信息；

第二加载单元412，用于将第二识别单元411提示信息加载至渲染单元405得到渲染后的虚拟景象中。

本发明实施例中，作为一种可选的实施方式，第二识别单元411识别出目标景象的内容之后，还可以查找与该内容绑定的虚拟场景作为待渲染的虚拟景象，并触发渲染单元405对该待渲染的虚拟景象进行渲染，使得服务设备可以根据用户的眼球注视方向触发剧情，提高用户在混合现实游戏场景中的交互体验。

其中，实施图5所示的服务设备，可以在用户注视实体景象时，按照低于预设的分辨率的第一分辨率渲染待渲染的虚拟景象，以及，在用户注视虚拟景象时，将待渲染的虚拟景象划分为中心区域与周边区域，并按照预设的分辨率渲染中心区域，按照低于预设的分辨率的第二分辨率渲染周边区域，从而可以减少渲染时的计算量，减少画面显示的时延。此外，实施图5所示的服务设备还可以使得呈现的画面中用户注视的景象是清晰的，而其他景象是模糊的，使得呈现的画面符合现实生活中的视觉规律，改善用户体验。进一步地，实施图5所示的服务设备可以将分离得到的实体景象加载至渲染后的虚拟景象中，使得用户可以获悉用户与实体景象之间的真实距离，降低发生碰撞等伤害事故的概率，也可以在实体景象是实体人像时，在显示画面中重现实体人像的面部表情，从而提高混合现实场景中不同用户在交流时的真实性。更进一步地，实施图5所示的服务设备还可以在识别出用户注视的目标景象的内容时，将与目标景象绑定的提示信息加载至渲染后的虚拟景象中，使得用户可以无需点击等操作，直接在mr头显的屏幕中看到上述的提示信息，从而可以提高用户的交互体验。或者，服务设备也可以在查找出与该内容绑定的虚拟场景之后，把该虚拟场景作为待渲染的虚拟景象，并对该待渲染的虚拟景象进行渲染，使得服务设备可以根据用户的眼球注视方向触发游戏剧情，也可以提高用户的交互体验。

实施例六

本发明实施例公开一种服务设备，包括：

存储有可执行程序代码的存储器以及与存储器耦合的处理器；

其中，处理器调用存储器中存储的可执行程序代码，执行图1～图3所示的任一种混合现实画面处理方法。

此外，本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1～图3任一种混合现实画面处理方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种混合现实画面处理方法及服务设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。