本发明涉及视频图像处理领域，尤其涉及一种虚拟背景的显示方法、电子设备和计算机可读存储介质。
背景技术：
随着互联网技术的发展，越来越多的通信功能得到开发及应用，其中，视频通信功能由于可以实现异地用户的可视化沟通而得到广泛应用。目前，视频通信功能也很好地在医疗远程会诊方面起到了作用。
然而，医生固定于会诊室进行会诊。实际医生工作地点不固定是常态化：可能在门诊坐诊；可能在科室查房；可能下社区医院等等。这些情况下，医生只能选择回到会诊室会诊或是使用便携设备就地会诊。前者时间成本高后者不具有会诊权威性。因此本发明旨在综合两者的优势，在主管部门允许和授权的前提下，为医生会诊的场景匹配合规的背景画面和场所，为患者呈现便捷丰富可信的会诊视频方式，同时也兼顾了保护用户在视频过程中不相干的其他人员的隐私安全。
技术实现要素：
本发明的主要目的在于提供一种虚拟背景的显示方法、电子设备和计算机可读存储介质，旨在实现在视频过程中，通过虚拟背景实体化的方法将用户选择的虚拟背景与现实人物完美融合，变换视频中的人物背景。
为实现上述目的，本发明提供一种虚拟背景的显示方法，所述虚拟背景的显示方法包括以下步骤：
获取视频图像；
对所述视频图像进行人体识别，得到人体图像和非人体图像；
将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加；
将合并后的图像发送给显示端进行显示。
可选地，所述将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加的步骤包括：
对视频图像的人体图像进行位姿计算，得到所述视频图像人体图像的坐标；
根据所述人体图像的坐标，对人体图像进行叠加虚拟背景图像。
可选地，所述对视频图像的人体图像进行位姿计算，得到所述视频图像人体图像的坐标的步骤包括：
获得视频图像提取的人体几何特征；
根据几何特征参数形成的特征向量集；多组特征向量可确认该画面人体坐标；
根据人体坐标与预设数据库中的人体模型匹配，生成人体特征坐标对应人体模型的投影矩阵；
根据所述投影矩阵和预设的内参矩阵来计算位姿矩阵，确定人体坐标为有效人体姿态坐标。
可选地，所述根据所述人体图像的坐标，对人体图像进行叠加虚拟背景图像的步骤包括：
从预设数据库中获得所述预设的虚拟背景图像；
将所述虚拟背景图像与所述人体图像的坐标进行融合计算，使所述人体图像叠加浮于虚拟背景图像上。
可选地，所述虚拟背景的显示方法还包括：
获取视频中人体图像的特征向量；
跟踪视频中特征向量的运动，判断所述特征向量的运动是否超过范围；
若是，则返回执行步骤：获取视频图像。
可选地，所述获取视频中人体图像的特征向量的步骤包括：
将所述视频图像投影到多个低维子空间，得到图像在多个低维子空间的特征点；
将所述多个低维子空间的特征点进行组合构建，获得所述视频图像中的人体的特征向量。
可选地，所述跟踪视频中特征向量的运动，判断所述特征向量的运动是否超过范围的步骤包括：
根据预设的运动参数，计算特征向量的运动模型；
根据视频中的特性向量的运动是否超出运动模型，判断所述特征向量的运动是否超过范围。
可选地，所述预设的背景图像包括二维虚拟背景图像或者三维虚拟背景图像。
此外，为实现上述目的，本发明还提供一种虚拟背景的显示电子设备，所述虚拟背景的显示电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟背景的显示程序，所述虚拟背景的显示程序被所述处理器执行时实现如上所述的身虚拟背景的显示方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟背景的显示程序，所述虚拟背景的显示程序被处理器执行时实现上述的虚拟背景的显示方法的步骤。
本发明提供一种虚拟背景的显示方法、电子设备和计算机存储介质。在该方法中，获取视频图像；对所述视频图像进行人体识别，得到人体图像和非人体图像；将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加；将合并后的图像发送给显示端进行显示。通过上述方式，本发明能够实现在视频过程中，通过人体识别技术识别出人体区域和背景区域，并将人体图像浮于预先设定合规的场景的背景图像上，使视频中的背景图像能够变更为通过管理部门审核后的用户选择的背景图像，使用户不在拘束于视频地点，为医生会诊的场景匹配合规的背景画面和场所，为患者呈现便捷丰富可信的会诊视频方式，同时也兼顾了保护用户在视频过程中不相干的其他人员的隐私安全。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本发明虚拟背景的显示方法第一实施例的流程示意图；
图3为本发明虚拟背景的显示方法第二实施例的流程示意图；
图4为本发明虚拟背景的显示方法第三实施例的流程示意图；
图5为本发明虚拟背景的显示方法第四实施例的流程示意图；
图6为本发明虚拟背景的显示方法第五实施例的流程示意图；
图7为本发明虚拟背景的显示方法第六实施例的流程示意图；
图8为本发明虚拟背景的显示方法第七实施例的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。
本发明实施例终端可以是pc，也可以是智能手机、平板电脑、便携计算机等具有数据处理功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wi-fi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟背景的显示程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的虚拟背景的显示程序，并执行以下操作：
获取视频图像；
对所述视频图像进行人体识别，得到人体图像和非人体图像；
将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加；
将合并后的图像发送给显示端进行显示。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
对视频图像的人体图像进行位姿计算，得到所述视频图像人体图像的坐标；
根据所述人体图像的坐标，对人体图像进行叠加虚拟背景图像。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
获得视频图像提取的人体几何特征；
根据几何特征参数形成的特征向量集；多组特征向量可确认该画面人体坐标；
根据人体坐标与预设数据库中的人体模型匹配，生成人体特征坐标对应人体模型的投影矩阵；
根据所述投影矩阵和预设的内参矩阵来计算位姿矩阵，确定人体坐标为有效人体姿态坐标。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
从预设数据库中获得所述预设的虚拟背景图像；
将所述虚拟背景图像与所述人体图像的坐标进行融合计算，使所述人体图像叠加浮于虚拟背景图像上。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
获取视频中人体图像的特征向量；
跟踪视频中特征向量的运动，判断所述特征向量的运动是否超过范围；
若是，则返回执行步骤：获取视频图像。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
将所述视频图像投影到多个低维子空间，得到图像在多个低维子空间的特征点；
将所述多个低维子空间的特征点进行组合构建，获得所述视频图像中的人体的特征向量。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
根据预设的运动参数，计算特征向量的运动模型；
根据视频中的特性向量的运动是否超出运动模型，判断所述特征向量的运动是否超过范围。
进一步地，处理器1001可以调用存储器1005中存储的虚拟背景的显示程序，还执行以下操作：
所述预设的背景图像包括二维虚拟背景图像或者三维虚拟背景图像。
本发明虚拟背景的显示设备的具体实施例与下述虚拟背景的显示方法各实施例基本相同，在此不作赘述。
参照图2，图2为本发明虚拟背景的显示方法第一实施例的流程示意图，所述虚拟背景的显示方法包括：
步骤s100，获取视频图像；
本发明可以主要用于视频过程中，比如用于视频会诊过程中，当然也可以用于其他视频场景。本实施例以应用于视频会诊过程中为例进行说明。本实施过程主要通过具有图像处理功能的设备来完成，该设备可以为具有图像处理功能的设备pc，服务器，也可以是智能手机、平板电脑、录像机、便携计算机等可移动式终端设备。视频图像可以通过摄像头来采集，也可以通过网络传输获得，摄像头可以是手机摄像头、电脑摄像头等。
例如，在视频会诊过程中，医生可以通过电脑相互建立连接进行远程医疗，电脑摄像头通过视频拍摄获得医生的视频图像，将视频图像传给服务器，服务器对视频图像进行处理使视频图像的背景图像替换为用户选择的图像背景，然后发送给另一端进行显示，另一端的背景图像也可以进行同样的处理，这样，医生间看到的就是对方选定的背景图像而不是真实的背景图像，从而保护了双方的隐私。
步骤s200，对所述视频图像进行人体识别，得到人体图像和非人体图像；
本实施例中对人体进行识别，获得人体图像和非人体图像即背景图像。人体识别，是基于人的姿态特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人体的图像或视频流，并自动在图像中检测和跟踪人体，进而对检测到的人体进行识别的一系列相关技术。人体识别方法可以采用opencv人体轮廓提取、基于rgb-d数据的人体检测等识别方法。通过这些方法，识别对人体的识别，获得人体图像和非人体图像。
步骤s300，将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加；
将非人体图像即背景图像替换为用户设置的背景图像，此预设的背景图像包括二维虚拟背景图像或者三维虚拟背景图像，可以为通过场景处理模块生成虚拟场景文件，也可以为地存储的图片或直播网站上提供的背景图片。图像合并可以采用逻辑滤波法，灰度加权平均法等方法。将替换后的背景图像与人体图像进行合并，即可得到变更背景后的视频图像。
步骤s400，将合并后的图像发送给显示端进行显示。
将合并后的图像传递给显示端，即可在显示端上进行显示，从而显示合并后的图像即变更背景图像后的图像。该显示端可以是手机上的显示装置上，也可以是电脑的电视屏。
本发明提供一种虚拟背景的显示方法、电子设备和计算机存储介质。在该方法中，获取视频图像；对所述视频图像进行人体识别，得到人体图像和非人体图像；将所述非人体图像替换为预设的背景图像，并将所述人体图像和所述背景图像进行叠加；将合并后的图像发送给显示端进行显示。通过上述方式，本发明能够实现在视频过程中，通过人体识别技术识别出人体区域和背景区域，并将人体图像浮于预先设定合规的场景的背景图像上，使视频中的背景图像能够变更为通过管理部门审核后的用户选择的背景图像，使用户不在拘束于视频地点，为医生会诊的场景匹配合规的背景画面和场所，为患者呈现便捷丰富可信的会诊视频方式，同时也兼顾了保护用户在视频过程中不相干的其他人员的隐私安全。
请参阅图3，图3为本发明虚拟背景的显示方法第二实施例的流程示意图。
基于上述实施例，本实施例中，步骤s300包括：
步骤s310，对视频图像的人体图像进行位姿计算，得到所述视频图像人体图像的坐标；
本实施例中，根据匹配结果映射表找到人体特征坐标对应人体模型的投影矩阵；根据所述投影矩阵和预设的内参矩阵来计算位姿矩阵，之后进行几何校验和反投影误差分析，判断其是否是有效的位姿矩阵。如果存在有效的位姿矩阵，则确定所述视频图像的坐标。
步骤s320，根据所述人体图像的坐标，对人体图像进行叠加虚拟背景图像。
当确定所述视频图像的坐标后，在定义数据库中背景图像的坐标，根据两个的坐标进行重合叠加，即通过计算将两坐标进行融合进而将背景图像渲染叠加到视频图像中。
请参阅图4，图4为本发明虚拟背景的显示方法第三实施例的流程示意图。
基于上述实施例，本实施例中，步骤s310包括：
步骤s311，获得视频图像提取的人体几何特征；
本实施例中，获得视频图像人体坐标，该坐标可通过对视频图像进行人体几何特征提取，形成的多组特征向量集确认。
步骤s312，根据几何特征参数形成的特征向量集；多组特征向量可确认该画面人体坐标；
本实施例中，获得视频图像中人体(2d坐标)对应人体模型(3d坐标)的投影矩阵，将视频图像中的2维图像与数据库中的3维人体模型建立投影矩阵，获得视频图像到数据库中人体模型的对应关系。
步骤s313，根据人体坐标与预设数据库中的人体模型匹配，生成人体特征坐标对应人体模型的投影矩阵；
根据投影矩阵和相机内部的内参矩阵恢复位姿矩阵，即根据所述投影矩阵和预设的内参矩阵生成的位姿矩阵。
步骤s314，根据所述投影矩阵和预设的内参矩阵来计算位姿矩阵，确定人体坐标为有效人体姿态坐标。
得到位姿矩阵之后，进行几何校验和反投影误差分析，判断其是否是有效的位姿矩阵。如果存在有效的位姿矩阵，则获得所述视频图像的坐标。该几何校验和反投影误差分析为常用技术手段，此处不做详细赘述。
请参阅图5，图5为本发明虚拟背景的显示方法第四实施例的流程示意图。
基于上述实施例，本实施例中，步骤s320包括：
步骤s321，从预设数据库中获得所述预设的虚拟背景图像；
从预设的训练数据库中，获得用户选定的预设的虚拟背景图像，将虚拟背景图像定义一个坐标。使虚拟背景图像为一静态的参照体，便于在虚拟的背景图像中叠加人物头像。
步骤s322，将所述虚拟背景图像与所述人体图像的坐标进行融合计算，使所述人体图像叠加浮于虚拟背景图像上。
获得预设的虚拟背景图像和视频图像的坐标之后，将虚拟物体(虚拟背景图像)与真实场景坐标系的对齐，并进行虚拟场景的融合计算；使人体图像叠加浮于虚拟背景图像上，系统融合后的信息会实时地显示在显示器中。这样，通过虚拟背景图像，可将人体图像叠加浮于虚拟背景图像上。
请参阅图6，图6为本发明虚拟背景的显示方法第五实施例的流程示意图。
基于上述实施例，本实施例步骤还包括：
步骤s500，获取视频中人体图像的特征向量；
获得视频图像，将图像信息转换为特性向量信息。主要是利用融合人体三维定位与增强现实技术通过对视频图像进行多个空间降维和特征提取，提取图片人体中尽可能多的特征值，构建特征向量。特征向量对应包含有图片中人体的特征信息。图片中不同的人体，对应的特征向量不同，每个特征向量相当于捕捉或者描述人体之间的一种变化或者特性，每个人体都可以表示为这些特征值的线性组合。这样就能利用特征向量识别出人体区域。
步骤s600，跟踪视频中特征向量的运动，判断所述特征向量的运动是否超过范围；
若是，则返回执行步骤s100，：获取视频图像。
本实施例中，通过检测位姿矩阵，提取特征点，求解补偿系数，判断跟踪的特征点是否影响位姿矩阵精度，影响的情况，回到第二点重新识别匹配渲染。进一步说，就是摄像头继续采集的画面，后台服务对该画面进行跟踪计算，当跟踪到的点数影响到了计算位姿矩阵的精度时，则重新进行识别检测再次渲染，以此往复。即摄像头继续捕获画面，后台服务提取画面的关键点，并基于帧间连续性实时创建的运动模型，在此二者基础上输出位姿矩阵目标值，当跟踪到的关键点超出目标值时，可认定图像运动，则需要重新进行识别检测再次渲染，以此往复，从而达到背景根据医生位置姿势不同而动态显示，医生像真实的置身于虚拟背景中。
请参阅图7，图7为本发明虚拟背景的显示方法第六实施例的流程示意图。
基于上述实施例，本实施例中，步骤s500包括：
步骤s510，将所述视频图像投影到多个低维子空间，得到图像在多个低维子空间的特征点；
本实施中的基本思路是，把二维的图像先灰度化，转化为一通道的图像，之后再把它首尾相接转化为一个列向量，假设图像大小是20*20的，那么这个向量就是400维，理论上讲组织成一个向量，就可以应用任何机器学习算法了，但是维度太高算法复杂度也会随之升高，所以需要使用pca算法降维，然后使用简单排序或者knn就可以进行计算。具体地说，原始图像可以转换为n维向量的原始图像，将图像投射到空间维度小于n的特征空间，将空间维度小于n的特征空间定义为低维子空间，通过它的投影点在子空间的位置以及投影线的长度确定图像在在多个子空间的特征点。将图像变换到另一个空间后，同一个类别的图像会聚到一起，不同类别的图像会聚力比较远，在原像素空间中不同类别的图像在分布上很难用简单的线或者面切分，变换到另一个空间，就可以很好的把他们分开。通过投射到多个低维子空间，就可以利用原始图像在不同子空间的特征点的不同，从而将图像特征加以区别分类，这样就可以得到图像在多个子空间的特征点。本实施例可以采用pca(主成分分析)空间变换方法，利用pca得到人体分布的主要成分，具体实现是对训练集中所有人体图像的协方差矩阵进行本征值分解，得到对应的本征向量，即特征点。
步骤s520，将所述多个低维子空间的特征点进行组合构建，获得所述视频图像中的人体的特征向量。
将按照特征值的从大到小的顺序排列特征向量，对应于最大特征值的特征向量反应了训练图像间的最大差异，而对应的特征值越小的特征向量，反应的图像间的差异越小。所有的非零特征值对应的特征向量,组成特征空间，也就是所谓的“特征脸”空间，排列特征向量：按照非零特征值，从大到小的顺序，将对应的特征向量排列。所组成的特征向量矩阵即为特征空间u，u的每一列为一个特征向量。这样每一幅人体图像都可以投影到由张成的子空间中。因此每一幅人体图像对应于子空间中的一个点，同样，子空间中的每个点对应于一幅图像。训练图像投影得到特征脸子空间，有了这样一个由“特征脸”组成的降维特征子空间，任何一幅中心化后的人体图像都可以通过下面的式子投影到特征脸子空间并获得一组坐标系，即包含人体信息的特性向量。
请参阅图8，图8为本发明虚拟背景的显示方法第七实施例的流程示意图。
基于上述实施例，本实施例中，步骤s600包括：
步骤s610，根据预设的运动参数，计算特征向量的运动模型；
本实施例，跟踪阶段进行跟踪计算新的位姿矩阵，当跟踪到的点数影响到了计算位姿矩阵的精度时，重新进行识别和检测。可以采用多关键帧(multikeyframe)的跟踪方式，通过边缘轮廓特征提取，对位姿的全局运动参数进行估计，结合位姿的运动模型，求解运动参量的补偿系数，实现对位姿的随机扫描和全局运动参数求解，对位姿进行自适应harris角点检测，最后输出检测后的位姿目标值，实现对位姿的关键帧快速跟踪和识别。位姿目标值就可获得特征向量的运动模型。根据特征向量的运动模型估计特征向量可能的运动规律。
步骤s620，根据视频中的特性向量的运动是否超出运动模型，判断所述特征向量的运动是否超过范围。
首先，对输入的原始图像进行图像降噪和角点检测处理，通过对运动参量的全局估计和误差补偿，实现对运动图像的关键帧快速跟踪识别。对运动图像的关键帧跟踪方法主要有基于白平衡偏差融合的帧跟踪方法，基于lwt小波分割的关键帧跟踪方法，基于运动衰减参量估计的关键帧跟踪方法。通过继续获得视频图像，通过对视频图像中特征向量的运动进行跟踪，根据视频中的特性向量的运动是否超出运动模型，判断所述特征向量的运动是否超过范围。例如，画面的关键点是基础位姿矩阵，通过运动模型，算出目标位姿矩阵，就像静止(0，0)坐标，运动模型是每秒走1m，那么目标值是你(0,1)坐标时，就相当于走了一步。
本实施例的具体原理就是：运动图像在采集过程中，通常受到噪声的干扰，需要进行图像的降噪处理，提高对目标图像的关键帧的跟踪准确度，在图像滤波降噪处理的基础上，对运动图像进行灰度处理，通过边缘轮廓特征提取，对运动图像的全局运动参数进行估计，结合图像的运动模型，求解运动参量的补偿系统，实现对图像的随机扫描和全局运动参数求解，在此基础上，对运动图像进行自适应harris角点检测，最后输出检测后的运动目标值，实现对运动图像的关键帧快递跟踪和识别。
此外，本发明实施例还提出一种计算机可读存储介质。
本发明计算机可读存储介质上存储有虚拟背景的显示程序，所述虚拟背景的显示程序被处理器执行时实现如上所述的虚拟背景的显示方法的步骤。
其中，在所述处理器上运行的虚拟背景的显示程序被执行时所实现的方法可参照本发明虚拟背景的显示方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。