一种视频图像传输方法及传输系统与流程

本申请涉及图像处理技术领域，尤其涉及一种视频图像传输方法及传输系统。

背景技术：

近年来，随着拍摄设备的不断发展，拍摄的图像和视频的质量得到了大幅提高，所以拍摄的图像和视频的数据量也急剧的增长。现有技术中对于视频的传输是将视频图像的每一帧均完整的进行传输，因此现有技术中对高质量、高数据量的视频传输，无疑对现有的网络造成了较大的压力，传输过程中容易出现卡顿的现象。

因此，如何对高数据量的视频数据进行传输，并且避免传输过程中出现卡顿的现象，是目前本领域技术人员急需解决的技术问题。

技术实现要素：

本申请提供了一种视频图像传输方法及传输系统，以对高数据量的视频数据进行传输，并且避免传输过程中出现卡顿的现象。

为解决上述技术问题，本申请提供如下技术方案：

一种视频图像传输方法，包括如下步骤：依据采集的视频图像的前n帧视频序，分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像；对第一灰度图像至第n灰度图像中的像素点x计算信息熵；将信息熵大于预设阈值的区域对应的图像定义为前景图像；依据前景图像在第一灰度图像中占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型；将视频图像的第一帧序列和建立的第一背景模型进行传输，以使传输后的第一帧视频序列作为视频的第一帧进行显示；将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像进行传输；以使传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示。

如上所述的视频图像传输方法，其中，优选的是，将每一帧视频序列中的各个像素点的三种颜色r、g、b的值设置为相同，通过以下公式r＝g＝b＝wr*r+wg*g+wb*b进行灰度化处理，生成灰度图像，其中wr、wg、wb分别为r、g、b的权值。

如上所述的视频图像传输方法，其中，优选的是，将第一帧视频序列作为静止不变的背景，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割。

如上所述的视频图像传输方法，其中，优选的是，分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域。

如上所述的视频图像传输方法，其中，优选的是，前景图像中的运动或者外形发生变化的物体在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。

一种视频图像的传输系统，包括：第一终端和第二终端，第一终端包括：采集模块、分割模块和第一传输模块，第二终端包括：合成模块、显示模块和第二传输模块；其中，采集模块采集视频图像的每一帧视频序列，分割模块依据采集的视频图像的前n帧视频序，分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像，对第一灰度图像至第n灰度图像中的像素点x计算信息熵，将信息熵大于预设阈值的区域对应的图像定义为前景图像，依据前景图像在第一灰度图像中占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型；第一传输模块将视频图像的第一帧序列和建立的第一背景模型向第二传输模块进行传输；第二传输模块接收第一帧视频序列和建立的第一背景模型进行传输，显示模块将第一帧视频序列作为视频的第一帧进行显示；分割模块将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，第一传输模块将分割后的前景图像向第二传输模块进行传输；第二传输模块接收前景图像，合成模块将传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，显示模块将进行了前景覆盖的图像作为视频的第二帧进行显示。

如上所述的视频图像传输系统，其中，优选的是，分割模块将每一帧视频序列中的各个像素点的三种颜色r、g、b的值设置为相同，通过以下公式r＝g＝b＝wr*r+wg*g+wb*b进行灰度化处理，生成灰度图像，其中wr、wg、wb分别为r、g、b的权值。

如上所述的视频图像传输系统，其中，优选的是，分割模块将第一帧视频序列作为静止不变的背景，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割。

如上所述的视频图像传输系统，其中，优选的是，分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域。

如上所述的视频图像传输系统，其中，优选的是，合成模块将前景图像中的运动或者外形发生变化的物体在在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；合成模块将前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。

相对上述背景技术，本申请提供的视频图像传输方法及传输系统，由于第一帧视频序列之后的视频序列的传输仅传输分割后的前景图像，从而使得该视频传输的方法可以在降低高数据量的视频数据的传输量，从而避免传输过程中出现卡顿的现象。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的视频图像传输方法的流程图；

图2是本申请一个实施例提供的依据前n帧视频序列建立第一背景模型的流程图；

图3是本申请实施例提供的另一个实施例提供的依据前n帧视频序列建立第一背景模型的流程图；

图4是本申请实施例后一帧视频序列的示意图；

图5是本申请实施例提供的视频图像的传输系统的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本申请提供的视频图像传输系统包括至少两个终端设备，两个终端设备之间进行视频图像的传输。例如：两个手机之间进行视频图像传输、手机与电脑之间进行视频图像传输、摄像机与电脑之间进行视频图像传输等。

下面以第一终端和第二终端之间进行视频图像传输为例，介绍本申请提供的视频图像传输方法，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

请参阅图1，图1是本申请实施例提供的视频图像传输方法的流程图。

本申请提供了一种视频图像传输方法，包括如下步骤：

步骤s110、第一终端依据采集的视频图像建立第一背景模型，并且将视频图像的第一帧序列和建立的第一背景模型传输至第二终端；

第一终端采集视频图像的每一帧，并且依据前n帧视频序列建立第一背景模型，请参阅图2，具体的包括如下子步骤：

步骤s111、分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像；

将每一帧视频序列中的各个像素点的三种颜色r、g、b的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式r＝g＝b＝wr*r+wg*g+wb*b进行灰度化处理，其中wr、wg、wb分别为r、g、b的权值。

步骤s112、依次计算第一灰度图像至第n灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；

以对第一帧视频序列对应的第一灰度图像求边缘点为例进行介绍，第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值m(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值m(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点。

依据上述公式对第二帧视频序列至第n帧视频序列对应的第二灰度图像至第n灰度图像中的每个像素点依次求绝对梯度值m(x，y)，并且将绝对梯度值m(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点。

步骤s113、依据边缘点所包围的图像在n个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；

每个灰度图像的边缘点会包围形成一个或多个图像，该图像相同或相应的边缘点的位置f(x，y)在m个灰度图像中均发生了变化，其中2≤m≤n，则认为该图像对应的物体正在运动或外形变化，反之则认为该图像对应的物体既没有运动，外形也没有发生变化。

步骤s114、若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；

本申请中将正在运动或者外形发生变化的物体(例如：飞翔的小鸟、走路的人、行驶的汽车、摇曳的柳枝)对应的图像定义为前景图像，而将相对静止的物体对应的图像定义为背景图像，以待后续重复利用背景图像。

步骤s115、依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。

另外，依据第一终端采集到的视频图像的前n帧视频序列建立第一背景模型，请参阅图3，具体还可以包括如下子步骤：

步骤s111’、分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像；

将每一帧视频序列中的各个像素点的三种颜色r、g、b的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式r＝g＝b＝wr*r+wg*g+wb*b进行灰度化处理，生成灰度图像，其中wr、wg、wb分别为r、g、b的权值。

步骤s112’、对第一灰度图像至第n灰度图像中的像素点x计算信息熵h(x)；

具体的，设a(x)＝{a0，a1，...，an-1}为第一灰度图像至第n灰度图像中点x的样本集合，b(x)表示以点x为中心的3×3邻域内的所有像素点的集合，点x的信息熵为

其中，p(μ)为b(x)内的所有像素点的灰度概率密度；m＝3×3×n,表示前n帧视频序列中以x为中心的b(x)内所有样本点集合的总数；m(ai)为a(x)中像素点ai对应的特征等级，i为从0到n-1的整数；δ[m(ai)-μ]为狄克拉函数，用来判断像素点的颜色值是否等于集合b(x)中第μ个像素点的颜色值，等于为1，不等为0。

步骤s113’、将信息熵h(x)大于预设阈值的区域对应的图像定义为前景图像；

若某一区域的信息熵h(x)大于预设阈值，该区域像素间差异较大，那么该区域的图像对应的事物处于动态状态，本申请中将处于动态状态的事物对应的图像定义为前景图像；反之该区域的信息熵h(x)小于预设阈值，该区域像素间差异较小，那么该区域的图像对应事物处于静止状态，将处于静止状态的事物对应的图像定义为背景图像。

步骤s114’、依据前景图像在第一灰度图像中占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。

请继续参阅图1，步骤s120、第二终端将第一帧视频序列作为视频的第一帧进行显示，并且将接收到的第一背景模型作为初始背景模型，以待依据接下来接收的视频图像更新初始背景模型；

第二终端接收第一终端发送的未被分割的第一帧视频序列以及第一终端发送的分割后的第一背景模型，将第一帧视频序列作为视频的第一帧在第二终端的显示器上进行显示，而将第一背景模型在第二终端中进行缓存，以作为初始背景模型，以待后续重复利用。

步骤s130、第一终端将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输至第二终端；

第一终端将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，将采集到的第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即id(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了像素点所形成区域，从而将该区域作为前景图像从第二帧视频序列中进行了分割。

分割出来的前景图像中，如图4，其中a为分割出来的前景图像，是一个物体(例如：球体)的前一时刻的位置a1到后一时刻的位置a2相对应的图像变化情况，也就是分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，即a2，该部分发送至第二终端后，用于在第一背景模型的基础上进行前景的覆盖。而分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，即a1,该部分发送至第二终端后，用于在第一背景模型的基础上进行背景缺失部分的更新。

步骤s140、第二终端将前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示；

第二终端将接收到的前景图像中的运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新，从而将第一背景模型更新为第二背景模型，以待后续接下来进一步更新背景模型。前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，在第二背景模型的基础上进行前景覆盖，并且将进行前景覆盖了的图像作为视频的第二帧进行显示。

接下来，重复步骤s130和步骤s140，第一终端将后一帧视频序列中相对于前一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输至第二终端；第二终端将前景图像在前一背景模型的基础进行背景缺失部分的更新，以更新至后一背景模型，并且进行前景覆盖，以将前景覆盖后的图像作为后一帧视频序列进行显示。

本申请中，由于第一帧视频序列之后的视频序列的传输仅传输分割后的前景图像，从而使得该视频传输的方法可以在降低高数据量的视频数据的传输量，从而避免传输过程中出现卡顿的现象。

实施例二

请参阅图5，本申请还提供了一种视频图像传输系统，包括：第一终端510和第二终端520，其中，第一终端510包括：分割模块511、采集模块512和第一传输模块513，第二终端520包括：显示模块521、合成模块522和第二传输模块523。

第一终端510的采集模块512采集视频图像，即采集视频图像的每一帧视频序列，并且将采集到的视频图像的每一帧视频序列均传输至分割模块511，并且采集模块512将采集到的第一帧视频序列传输至第一传输模块513；分割模块511依据采集的视频图像建立第一背景模型，并且将建立的第一背景模型也传输至第一传输模块513；第一传输模块513将视频图像的第一帧序列和建立的第一背景模型传输至第二终端520的第二传输模块523。

第一终端510的采集模块512采集视频图像，并且分割模块511依据前n帧视频序列建立第一背景模型。

具体的，分割模块511分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像。

具体的，分割模块511将每一帧视频序列中的各个像素点的三种颜色r、g、b的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式r＝g＝b＝wr*r+wg*g+wb*b，其中wr、wg、wb分别为r、g、b的权值，进行灰度化处理。

接着，分割模块511依次计算第一灰度图像至第n灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点。

以对第一帧视频序列对应的第一灰度图像求边缘点为例进行介绍，第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值m(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值m(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点。

依据上述公式对第二帧视频序列至第n帧视频序列对应的第二灰度图像至第n灰度图像中的每个像素点依次求绝对梯度值m(x，y)，并且将绝对梯度值m(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点。

然后，分割模块511依据边缘点所包围的图像在n个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；

每个灰度图像的边缘点会包围形成一个或多个图像，该图像相同或相应的边缘点的位置f(x，y)在m个灰度图像中均发生了变化，其中2≤m≤n，则认为该图像对应的物体正在运动或外形变化，反之则认为该图像对应的物体既没有运动，外形也没有发生变化。

若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，分割模块511则将该图像定义为前景图像；

本申请中将正在运动或者外形发生变化的物体(例如：飞翔的小鸟、走路的人、行驶的汽车、摇曳的柳枝)对应的图像定义为前景图像，而将相对静止的物体对应的图像定义为背景图像，以待后续重复利用背景图像。

最后，分割模块511依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。

另外，分割模块511依据第一终端采集到的视频图像的前n帧视频序列建立第一背景模型，具体还可以如下：

首先，分割模块511分别将第一帧视频序列至第n帧视频序列转换为第一灰度图像至第n灰度图像；

接着，分割模块511对第一灰度图像至第n灰度图像中的像素点x计算信息熵h(x)；

具体的，设a(x)＝{a0，a1，...，an-1}为第一灰度图像至第n灰度图像中点x的样本集合，b(x)表示以点x为中心的3×3邻域内的所有像素点的集合，点x的信息熵为

其中，p(μ)为b(x)内的所有像素点的灰度概率密度；m＝3×3×n,表示前n帧视频序列中以x为中心的b(x)内所有样本点集合的总数；m(ai)为a(x)中像素点ai对应的特征等级，i为从0到n-1的整数；δ[m(ai)-μ]为狄克拉函数，用来判断像素点的颜色值是否等于集合b(x)中第μ个像素点的颜色值，等于为1，不等为0。

接着，分割模块511将信息熵h(x)大于预设阈值的区域对应的图像定义为前景图像；

若某一区域的信息熵h(x)大于预设阈值，该区域像素间差异较大，那么该区域的图像对应的事物处于动态状态，本申请中将处于动态状态的事物对应的图像定义为前景图像；反之该区域的信息熵h(x)小于预设阈值，该区域像素间差异较小，那么该区域的图像对应事物处于静止状态，将处于静止状态的事物对应的图像定义为背景图像。

最后，分割模块511依据前景图像在第一灰度图像中的占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。

第二终端520的第二传输模块523接收第一终端510发送的未被分割的第一帧视频序列以及第一终端510发送的第一背景模型，第二终端520的显示模块521将第一帧视频序列作为视频的第一帧在第二终端520的显示模块521上进行显示。

第一终端510的分割模块511将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输第一传输模块513，以通过第一传输模块513传输至第二终端520的第二传输模块523。

第一终端510的分割模块511将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即id(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了像素点所形成区域，从而将该区域作为前景图像从第二帧视频序列中进行了分割。

分割出来的前景图像中，如图4，其中a为分割出来的前景图像，是一个物体(例如：球体)的前一时刻的位置a1到后一时刻的位置a2相对应的图像变化情况，也就是分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，即a2，该部分发送至第二终端后，用于在第一背景模型的基础上进行前景的覆盖。而分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，即a1,该部分发送至第二终端后，用于在第一背景模型的基础上进行背景缺失部分的更新。

第二终端520的第二传输模块523接收第一终端510的第一传输模块513发送的前景图像，并且将前景图像发送至合成模块522；合成模块522将前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且合成模块522在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像传输至显示模块521；显示模块521将进行了前景覆盖的图像作为视频的第二帧进行显示。

第二终端520的合成模块522将前景图像中的运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新，从而将第一背景模型更新为第二背景模型，以待后续接下来进一步更新背景模型。并且合成模块522将前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，在第二背景模型的基础上进行前景覆盖，显示模块将进行前景覆盖了的图像作为视频的第二帧进行显示。

接下来，第一终端510的分割模块511将后一帧视频序列中相对于前一帧视频序列发生变化的区域进行前景分割，并且第一传输模块513将分割后的前景图像传输至第二终端520的第二传输模块523；第二终端520的合成模块522将前景图像在前一背景模型的基础进行背景缺失部分的更新，以更新至后一背景模型，并且进行前景覆盖，以使显示模块521将前景覆盖后的图像作为后一帧视频序列进行显示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。