一种3D视频图像处理方法及服务器和客户端与流程

本发明涉及虚拟现实
技术领域：
，尤其一种3D视频图像处理方法及服务器和客户端。
背景技术：
：VR(VirtualReality)虚拟现实，综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。虚拟现实技术可以创建体验虚拟世界的计算机仿真系统，利用计算机生成一种多源信息融合的交互式的三维动态视景和实体行为的模拟环境，使用户沉浸到该环境中。3D视频(立体电影)利用人双眼的视角差和会聚功能产生立体效果，这种视频放映时通过观众的特制眼镜或幕前辐射状半锥形透镜光栅等技术手段，使观众左眼看到从左视角拍摄的画面，右眼看到从右视角拍摄的画面，通过双眼的会聚功能，合成为立体视觉影像。目前，3D视频发展成熟，资源丰富，3D视频编码长宽比一般是16:9或者4:3，播放器在播放3D视频的3D图像时按照左右格式或者上下格式进行播放，播放器中3D图像双眼画面不混合，左右或上下分割，其中左右格式和上行格式的3D图像如图1所示。普通3D内容在播放时，左右格式长宽比如果是16:9，通过眼镜混合后图像比例变为8:9，导致图像变形，如图3中的左右格式的视频帧。同理，左右格式长宽比如果是4:3，通过眼镜混合后，图像比例变为2:3，也导致图像变形。上下格式的视频在播放前，需要将上下部分画面分割再拼接成左右格式，然后再播放。上下格式长宽比如果是16:9，分割再拼接后，通过眼镜混合后图像比例变为32:9，导致图像变形，如图4中的上下格式的视频帧。同理，上下格式长宽比如果是4:3，通过眼镜混合后，图像比例变为8:3，也导致图像变形。为了能够得到满足人脑的3D视频编码长宽比16:9的3D画面，在终端进行播放时还需要适应性地调整播放器的画面尺寸，如图2中左右格式的3D图像在播放器播放时纵向尺寸被缩短至一半，这样在人体视网膜成像才能满足16:9的比例，而且图像不会严重失真。可见，3D视频的这种播放方法因为播放器在播放时调整了画面尺寸导致信息量丢失，导致降低了带宽利用率。技术实现要素：本发明实施例提供一种3D视频图像处理方法及服务器和客户端，用以解决现有的3D视频播放方法因为播放器在播放时调整了画面尺寸导致信息量丢失，导致降低带宽利用率的问题。本发明方法包括一种3D视频图像处理方法，该方法包括：接收客户端发送的3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率；根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合；根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源；将与所述客户端的显示屏幕的分辨率相匹配的视频源发送给所述客户端。基于同样的发明构思，本发明实施例进一步地提供一种服务器，该设备包括：接收单元，用于接收客户端发送的3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率；确定视频源集合单元，用于根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合；确定视频源单元，用于根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源；发送单元，用于将与所述客户端的显示屏幕的分辨率相匹配的视频源发送给所述客户端。本发明实施例客户端向视频服务器发送3D视频播放请求，其中，3D视频播放请求中包含待播放的视频源标识和客户端的显示屏幕的分辨率，这样视频服务器就可以根据接收的3D视频播放请求查找对应的待播放的视频源，查找的原则是先确定与所述3D视频播放请求对应的视频编码长宽比例的视频源集合，然后所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源，因为视频服务器输出的待播放的视频源的视频编码长宽比例满足了左眼图像和右眼图像的要求，通过这一视频处理方法就可以避免现有技术在客户端进行3D图像调整的动作，提高了视频观看的清晰度，而且待播放的视频源的视频分辨率与所述显示屏幕的分辨率相匹配，也使得数量流量得到了充分的利用。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有技术提供的播放格式分别是左右格式和上下格式的视频帧示意图；图2为现有技术提供的一种由客户端进行3D视频处理的方法示意图；图3为现有技术提供的一种左右格式的3D视频在播放时发生失真的示意图；图4为现有技术提供的一种上下格式的3D视频在播放时发生失真的示意图；图5为本发明实施例提供的一种3D视频图像处理方法流程示意图一；图6为本发明实施例提供的一种3D视频图像处理方法效果示意图；图7为本发明实施例提供的一种3D视频图像处理方法流程示意图二；图8为本发明实施例提供的一种服务器；图9为本发明实施例提供的一种客户端。具体实施方式为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。因为现有的左右格式的3D视频帧的视频编码长宽比例一般是16:9或者4:3，分辨率常见有1920*1080、1280*720、2560*1440、3840*2160，使用手机播放左右格式3D视频，将手机放入VR眼镜中，对好瞳距和焦距，使得左眼看到左边的画面，右眼看到右边的画面。如图3所示，然后在人脑中合成具有出屏效果的影像，如图3中的长宽比例为8:9格式的合成图像。因为通过这种播放方法直接观看16:9的左右格式的3D视频帧，会感觉人物比例变形，影响观看效果。现有的常用解决方法是在手机播放器中调整画面大小，将视频纵向尺寸减半，从而在人脑合成长宽比是16:9的画面，人物比例正常，达到好的感官效果。解决方法流程如图2所示。显然这种使用手机播放器减小纵向尺寸方法实质是对视频画面做隔行采样，只有一半的数据被显示，另一半数据舍弃掉。所以只有50％的信息量得到利用，丢失了50％的信息量。因为信息量丢失50％，从而影响画面质量，造成观感不佳体验。同理，对于上下格式的3D视频，指3D视频的两幅画面以上下方式排列，如图1所示，因为上下格式的3D视频帧是从中间水平方向将视频帧等分成几乎相等的两部分，只有稍许差别。视频长宽比一般是16:9或者4:3，分辨率常见有1920X1080、1280X720、2560X1440、3840X2160这四种，使用手机播放上下格式3D视频，需要使用专用播放器将上下格式视频画面调整为左右格式，再将手机放入VR眼镜中，对好瞳距和焦距，使得左眼看到左边的画面，右眼看到右边的画面，如图4所示，因为这种方法在人脑中合成具有出屏效果的影像的比例为32:9，视频画面存在视频长宽比不是标准16:9或者4:3，人物比例发生变形，同样影响观看效果。所以为了解决这一问题，现有的解决方法是在手机播放器中调整画面大小，将视频横向的尺寸减半，从而在人脑合成长宽比是16:9的画面，从而人物比例正常，达到好的观看效果。显然，使用手机播放器调整画面大小这种方法的缺点与左右格式视频的缺点相同，不再赘述。为了解决现有技术存在的问题，本发明实施例从服务器侧提供一种3D视频图像处理方法流程示意图，该方法由服务器执行，参见图5所示，具体地实现方法包括：步骤S101，接收客户端发送的3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率。步骤S102，根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合。步骤S103，根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源。步骤S104中，将与所述客户端的显示屏幕的分辨率相匹配的视频源发送给所述客户端。也就是说，客户端向视频服务器发送3D视频播放请求，比如说请求中包含3D电影名称：阿凡达，同时客户端还在该请求中包含自身显示屏幕的分辨率，例如，1920X1080，这样，视频服务器根据阿凡达查找到各种不同分辨率的视频源，其中有的视频源的每帧图像的播放格式是上下格式的，有的视频源的每帧图像的播放格式是左右格式的，但是需要说明的是，对于播放格式是左右格式的视频源，这类视频源已经被预先处理成视频编码长宽比为32:9的格式，例如1920X540、1280X360、2560X720、3840X1080这4种；对于播放格式是上下格式的视频源，这类视频源已经被预先处理成视频编码长宽比为8:9的格式，例如960X1080、640X720、1280X1440、1920X2160这4种。然后再从包含不同分辨率的视频源集合中确定出与所述客户端的显示屏幕的分辨率相匹配的视频源。这样客户端就可以对应地播放该视频源，这样的视频源在人脑合成长宽比是16:9的画面，人物比例正常，达到好的观看效果，不再需要进行图像地调整，而且因为视频源与所述客户端的显示屏幕的分辨率相匹配，使得充分利用了原视频帧的每个像素点，传输解码后，与客户端屏幕的每个像素点一一映射，信息量利用率达到100％。进一步地，所述3D视频播放请求还包括：待播放的视频源的播放格式；根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源，包括：若所述视频播放请求的播放格式为左右格式，则从所述视频源集合中确定视频编码长宽比例为32比9的第一视频源集合；根据所述视频播放请求的客户端的显示屏幕的分辨率，从第一视频源集合中确定视频源的纵向分辨率为所述显示屏幕的纵向分辨率一半且横向分辨率为所述显示屏幕的横向分辨率一致的目标视频源。比如说，客户端上未安装专用播放器，所以客户端会主动向视频服务器发送播放格式是左右格式的视频播放请求，这样，视频服务器就会筛选出播放格式是左右格式的视频源集合，比如筛选出播放格式是左右格式的，视频分辨率分别是1280X360、1920X540、2560X720、3840X1080的视频源。因为客户端还同步上报了自身屏幕的分辨率，所以，当播放格式是左右格式时，需要满足客户端纵向分辨率是显示屏幕的纵向分辨率一半的原则，且横向分辨率相同时，该视频源是最为恰当的视频源，视频源中的像素可以完全不被丢失地在客户端的播放器中播放，其中，表一指示了客户端的纵向分辨率与视频分辨率的对应关系。表1：客户端纵向分辨率视频源的分辨率7201280X36010801920X54014402560X72021603840X1080进一步地，若所述视频播放请求的播放格式为上下格式，则从所述视频源集合中确定视频编码长宽比例为8比9的第二视频源集合；根据所述视频播放请求的客户端的显示屏幕的分辨率，从第二视频源集合中确定视频源的纵向分辨率与所述显示屏幕的纵向分辨率一致且横向分辨率为所述显示屏幕的横向分辨率一致的目标视频源。比如说，客户端上安装了专用播放器，所以客户端会主动向视频服务器发送播放格式是上下格式的视频播放请求，这样，视频服务器就会筛选出播放格式是上下格式的视频源集合，比如筛选出播放格式是上下格式的，视频分辨率分别是640X720、960X1080、1280X1440、1920X2160的视频源。因为客户端还同步上报了自身屏幕的分辨率，所以，当播放格式是上下格式时，需要满足客户端纵向分辨率与显示屏幕的纵向分辨率一致的原则，且横向分辨率相同时，该视频源是最为恰当的视频源，视频源中的像素可以完全不被丢失地在客户端的播放器中播放，其中，表二指示了客户端的纵向分辨率与视频分辨率的对应关系。表2：进一步地，从所述待播放的视频源的数据发送给客户端，在客户端解码，从每帧图像中分离出左眼图像和右眼图像，以使所述客户端对所述视频源进行播放和正确显示。可见采用本发明实施例提供的方法，与现有的视频编码长宽比例是16:9的3D视频帧相比，该方法充分利用了原视频帧的每个像素点，经过传输解码后，与客户端屏幕的每个像素点一一映射，信息量利用率达到100％。如图6所示，比如，一部屏幕分辨率是1920X1080的手机，向服务器请求的3D左右格式视频，分辨率是1920X540。经过网络传输解码后，在屏幕上占据1920X540像素的尺寸显示，同码率下比较，清晰度比16:9的3D视频提高1倍，观看效果提升显著。另外，同样清晰度下比较，码率降低50％，有效降低服务器成本，降低网络带宽要求，减少卡顿。另外，本发明实施例从客户端侧提供一种3D视频图像处理方法流程示意图，该方法由客户端执行，参见图7所示，具体地实现方法包括：步骤S201，向服务器发送3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率，以使所述服务器根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合，并根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源；步骤S202，接收所述服务器发送的与所述客户端的显示屏幕的分辨率相匹配的视频源。因为具体地视频图像处理方法与服务器侧一致，所以此处不再赘述。基于相同的技术构思，本发明实施例还提供一种服务器，该服务器可执行上述服务器侧的方法实施例。本发明实施例提供的服务器如图8所示，包括：接收单元301、确定视频源集合单元302、确定视频源单元303，发送单元304，其中：接收单元301，用于接收客户端发送的3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率；确定视频源集合单元302，用于根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合；确定视频源单元303，用于根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源；发送单元304，用于将与所述客户端的显示屏幕的分辨率相匹配的视频源发送给所述客户端。进一步地，所述3D视频播放请求还包括：待播放的视频源的播放格式；所述确定视频源单元303具体用于：若所述视频播放请求的播放格式为左右格式，则从所述视频源集合中确定视频编码长宽比例为32比9的第一视频源集合；根据所述视频播放请求的客户端的显示屏幕的分辨率，从第一视频源集合中确定视频源的纵向分辨率为所述显示屏幕的纵向分辨率一半且横向分辨率为所述显示屏幕的横向分辨率一致的目标视频源。进一步地，所述确定视频源单元303还用于：若所述视频播放请求的播放格式为上下格式，则从所述视频源集合中确定视频编码长宽比例为8比9的第二视频源集合；根据所述视频播放请求的客户端的显示屏幕的分辨率，从第二视频源集合中确定视频源的纵向分辨率与所述显示屏幕的纵向分辨率一致且横向分辨率为所述显示屏幕的横向分辨率一致的目标视频源。进一步地，所述发送单元304具体用于：将所述待播放的视频源的数据流编码后发送给所述客户端，以使所述客户端解码所述视频流，并将解码分离得出的左眼图像和右眼图像进行显示。另外，基于相同的技术构思，本发明实施例还提供一种客户端，该客户端可执行上述客户端侧的方法实施例。本发明实施例提供的服务器如图9所示，包括：发送单元401、接收单元402，其中：发送单元401，用于向服务器发送3D视频播放请求，所述3D视频播放请求包括待播放的视频源标识和客户端的显示屏幕的分辨率，以使所述服务器根据所述待播放的视频源标识，确定所述待播放的视频源标识对应的视频编码长宽比例的视频源集合，并根据所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源；接收单元402，用于接收所述服务器发送的与所述客户端的显示屏幕的分辨率相匹配的视频源。综上，本发明实施例客户端向视频服务器发送3D视频播放请求，其中，3D视频播放请求中包含待播放的视频源标识和客户端的显示屏幕的分辨率，这样视频服务器就可以根据接收的3D视频播放请求查找对应的待播放的视频源，查找的原则是先确定与所述3D视频播放请求对应的视频编码长宽比例的视频源集合，然后所述视频源集合中的各视频源的播放格式和所述客户端的显示屏幕的分辨率，确定与所述客户端的显示屏幕的分辨率相匹配的视频源，因为视频服务器输出的待播放的视频源的视频编码长宽比例满足了左眼图像和右眼图像的要求，通过这一视频处理方法就可以避免现有技术在客户端进行3D图像调整的动作，提高了视频观看的清晰度，而且待播放的视频源的视频分辨率与所述显示屏幕的分辨率相匹配，也使得数量流量得到了充分的利用。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页1 2 3