视频图像的运动估计方法、显示设备和芯片与流程

1.本技术涉及显示设备技术领域，特别涉及一种视频图像的运动估计方法、显示设备和芯片。


背景技术：

2.运动估计是指图像信号内的估计运动向量，是帧率转换算法的重要部分。基于块匹配的运动估计算法是目前帧率转换算法中最为常用的算法，它是将图像分为若干个图像块，为了提高运动估计中运动向量的准确性，对图像块建立至少两个候选运动向量；对每个所述候选运动向量，计算误差准则，以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述图像块的估计运动向量。误差准则判断块相似程度，直接影响运动估计的精度，块匹配运算复杂度，运动估计复杂度在很大程度上取决于搜索采用的误差准则，常用的匹配准则有：mad(绝对均方误差)，sad(绝对差值和)等。
3.相关技术中，图像中物体不光存在变速、形变，还受拍摄过程中设备、光照等影响，可能导致前后两帧图像存在一定的差异性。对于上述这类视频，基于块匹配的运动估计算法不够准确。
4.因此，相关技术中运动估计算法不够准确需要提供一种能够提高运动估计准确性的方法。


技术实现要素：

5.本技术的目的是提供一种视频图像的运动估计方法、显示设备和芯片，用以解决相关技术中运动估计算法不够准确的问题。
6.第一方面，本技术提供一种视频图像的运动估计方法，目标视频中每连续多帧原始图像构成一个图像组，所述方法包括：
7.获取目标视频中的待处理图像；
8.确定所述待处理图像中每个点的运动矢量；
9.对各点的运动矢量进行归一化操作，得到所述待处理图像的显著性分布图；
10.将所述显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述待处理图像的显著性区域分布图；
11.按所述待处理图像的显著性区域分布图，对所述待处理图像中各区域进行图像变换，得到优化图像；所述图像变换用于提升相似区域的差异度；
12.对所述待处理图像的优化图像进行运动估计，得到待处理图像的优化图像的运动矢量；
13.基于所述待处理图像的优化图像的运动矢量和所述待处理图像进行运动补偿。
14.在一种可能的实施方式中，所述目标视频中每连续多帧原始图像构成一个图像组；
15.针对每个图像组，所述待处理图像为所述图像组中的第一帧原始图像，所述方法
包括：
16.分别对所述图像组中各帧其余图像执行以下操作：
17.基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图；
18.按所述其余图像的显著性区域分布图，对所述其余图像中各区域进行图像变换，得到所述其余图像的优化图像；
19.对所述其余图像的优化图像进行运动估计，得到所述其余图像的运动矢量；
20.基于所述其余图像的运动矢量和所述其余图像进行运动补偿。
21.在一种可能的实施方式中，所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，具体包括：
22.针对所述其余图像中每个像素点，在所述第一帧图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
23.在一种可能的实施方式中，所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，具体包括：
24.若所述其余图像为第二帧原始图像，则基于以下公式确定所述第二帧原始图像的显著性分布图：
25.sn(i+mvx
n-1
,j+mvy
n-1
)＝s
n-1
(i,j)
26.其中，s
n-1
(i,j)表示所述第一帧原始图像的显著性分布图中(i,j)点处的像素值、mvx
n-1
表示所述第一帧原始图像的(i,j)点处x轴方向的运动矢量、mvy
n-1
表示所述第一帧原始图像的(i,j)点处y轴方向的运动矢量、第一帧原始图像中(i,j)点为第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)点处的映射点、sn(i+mvx
n-1
,j+mvy
n-1
)表示所述第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)处点的像素值；
27.若所述第二帧原始图的显著性分布图中包括未在所述第一帧原始图像的显著性分布图中找到映射点的空位置，采用默认值作为所述空位置的值；
28.将所述第二帧原始图像的显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述第二帧原始图像的显著性区域分布图；
29.若所述其余图像为所述第二帧原始图像之后的其余图像，则针对所述其余图像中每个像素点，在所述第二帧原始图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
30.在一种可能的实施方式中，所述对各点的运动矢量进行归一化操作，具体包括：
31.采用以下归一化公式进行归一化操作：
[0032][0033]
其中，s
n-1
(i,j)表示所述显著性分布图中(i,j)点处的像素值、floor表示向下取整、mv
n-1
(i,j)表示所述待处理图像的(i,j)点处的运动矢量、mv
n-1
表示所述待处理图像中所有点的运动矢量集合、‖‖表示取范数、max表示取最大值、min表示取最小值。
[0034]
在一种可能的实施方式中，所述在所述第一帧图像中查找与所述像素点的像素值最接近的区域，具体包括：
[0035]
确定所述第一帧原始图像中各区域的像素均值；
[0036]
计算所述像素点的像素值与各区域的像素均值之间的差值；
[0037]
选择差值最小的区域作为与所述像素点的像素值最接近的区域。
[0038]
在一种可能的实施方式中，所述对所述待处理图像中各区域进行图像变换之前，所述方法还包括：
[0039]
对所述待处理图像的显著性区域分布图进行中值滤波处理；
[0040]
所述对所述其余图像中各区域进行图像变换之前，所述方法还包括：
[0041]
对所述其余图像的显著性区域分布图进行中值滤波处理。
[0042]
第二方面，本技术提供一种视频图像的运动估计装置，目标视频中每连续多帧原始图像构成一个图像组，所述装置包括：
[0043]
获取模块，被配置为获取目标视频中的待处理图像；
[0044]
确定模块，被配置为确定所述待处理图像中每个点的运动矢量；
[0045]
归一化模块，被配置为对各点的运动矢量进行归一化操作，得到所述待处理图像的显著性分布图；
[0046]
区域划分模块，被配置为将所述显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述待处理图像的显著性区域分布图；
[0047]
图像变换模块，被配置为按所述待处理图像的显著性区域分布图，对所述待处理图像中各区域进行图像变换，得到优化图像；所述图像变换用于提升相似区域的差异度；
[0048]
运动估计模块，被配置为对所述待处理图像的优化图像进行运动估计，得到待处理图像的优化图像的运动矢量；
[0049]
运动补偿模块，被配置为基于所述待处理图像的优化图像的运动矢量和所述待处理图像进行运动补偿。
[0050]
可选的，所述目标视频中每连续多帧原始图像构成一个图像组；
[0051]
针对每个图像组，所述待处理图像为所述图像组中的第一帧原始图像，所述装置还包括：
[0052]
优化模块，被配置为分别对所述图像组中各帧其余图像执行以下操作：
[0053]
基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图；
[0054]
按所述其余图像的显著性区域分布图，对所述其余图像中各区域进行图像变换，得到所述其余图像的优化图像；
[0055]
对所述其余图像的优化图像进行运动估计，得到所述其余图像的运动矢量；
[0056]
基于所述其余图像的运动矢量和所述其余图像进行运动补偿。
[0057]
可选的，执行所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，所述优化模块具体被配置为：
[0058]
针对所述其余图像中每个像素点，在所述第一帧图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
[0059]
可选的，所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，所述优化模块具体被配置为：
[0060]
若所述其余图像为第二帧原始图像，则基于以下公式确定所述第二帧原始图像的
显著性分布图：
[0061]
sn(i+mvx
n-1
,j+mvy
n-1
)＝s
n-1
(i,j)
[0062]
其中，s
n-1
(i,j)表示所述第一帧原始图像的显著性分布图中(i,j)点处的像素值、mvx
n-1
表示所述第一帧原始图像的(i,j)点处x轴方向的运动矢量、mvy
n-1
表示所述第一帧原始图像的(i,j)点处y轴方向的运动矢量、第一帧原始图像中(i,j)点为第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)点处的映射点、sn(i+mvx
n-1
,j+mvy
n-1
)表示所述第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)处点的像素值；
[0063]
若所述第二帧原始图的显著性分布图中包括未在所述第一帧原始图像的显著性分布图中找到映射点的空位置，采用默认值作为所述空位置的值；
[0064]
将所述第二帧原始图像的显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述第二帧原始图像的显著性区域分布图；
[0065]
若所述其余图像为所述第二帧原始图像之后的其余图像，则针对所述其余图像中每个像素点，在所述第二帧原始图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
[0066]
可选的，执行所述对各点的运动矢量进行归一化操作，所述归一化模块被配置为：
[0067]
采用以下归一化公式进行归一化操作：
[0068][0069]
其中，s
n-1
(i,j)表示所述显著性分布图中(i,j)点处的像素值、floor表示向下取整、mv
n-1
(i,j)表示所述待处理图像的(i,j)点处的运动矢量、mv
n-1
表示所述待处理图像中所有点的运动矢量集合、‖‖表示取范数、max表示取最大值、min表示取最小值。
[0070]
可选的，执行所述在所述第一帧图像中查找与所述像素点的像素值最接近的区域，所述优化模块具体被配置为：
[0071]
确定所述第一帧原始图像中各区域的像素均值；
[0072]
计算所述像素点的像素值与各区域的像素均值之间的差值；
[0073]
选择差值最小的区域作为与所述像素点的像素值最接近的区域。
[0074]
可选的，执行所述对所述待处理图像中各区域进行图像变换之前，所述装置还包括：
[0075]
滤波模块，被配置为对所述待处理图像的显著性区域分布图进行中值滤波处理；
[0076]
所述滤波模块，被配置为对所述其余图像中各区域进行图像变换之前，对所述其余图像的显著性区域分布图进行中值滤波处理。
[0077]
第三方面，本技术提供一种显示设备，包括：
[0078]
显示器，用于显示目标视频；
[0079]
存储器，用于存储处理器的可执行指令；
[0080]
处理器，用于执行所述可执行指令，以实现如上述第一方面中任一项所述的视频图像的运动估计方法。
[0081]
第四方面，本技术提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备执行时，使得所述终端设备能够执行如上述第一方面中任一项所述的视
频图像的运动估计方法。
[0082]
第五方面，本技术提供一种芯片，用于执行如上述第一方面中任一项所述的视频图像的运动估计方法。
[0083]
第六方面，本技术提供一种计算机程序产品，包括计算机程序：
[0084]
所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的视频图像的运动估计方法。
[0085]
本技术的实施例提供的技术方案至少带来以下有益效果：
[0086]
本技术实施例中若接收到目标视频，则在进行运动估计之前先获取待处理图像中每个点的运动矢量，然后对各点的运动矢量进行归一化操作，得到待处理图像的显著性分布图，本技术实施例通过对原始图像中各点的运动矢量进行归一化处理，得到了原始图像的显著性分布图，实现了将二维数据运动矢量转换为一维数据图像像素值，使得图像特征更明显并便于计算；并将显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到显著性区域分布图，使得处于同一预设取值范围的点的特征是相似的，便于区分出不同区域；将待处理图像的显著性区域分布图进行图像变换，使得每个区域与其他区域区分的更加明显，并将变换后的将优化图像进行运动估计，得到待处理图像的优化图像的运动矢量，将待处理图像的优化图像的运动矢量和待处理图像进行运动补偿，最终实现了在不额外增加匹配算法的复杂度的基础上提高运动估计的准确性。
[0087]
本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0088]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0089]
图1为本技术实施例提供的显示设备与控制装置之间操作场景的示意图；
[0090]
图2为本技术实施例提供的显示设备200的硬件配置框图；
[0091]
图3为本技术实施例提供的控制设备100的硬件配置框图；
[0092]
图4为本技术实施例提供的显示设备200中软件配置示意图；
[0093]
图5为本技术实施例提供的显示设备200中应用程序的图标控件界面显示示意图；
[0094]
图6为本技术实施例提供的相关技术与本技术提供的视频图像的运动估计方法的对比示意图；
[0095]
图7为本技术实施例提供的视频图像的运动估计方法的流程示意图；
[0096]
图8为本技术实施例提供的显著性分布图的效果示意图；
[0097]
图9为本技术实施例提供的视频图像的运动估计方法的又一流程示意图；
[0098]
图10为本技术实施例提供的视频图像的运动估计方法的再一流程的示意图；
[0099]
图11为本技术实施例提供的图像变换前后的对比示意图；
[0100]
图12为本技术实施例提供的视频图像的运动估计装置的结构示意图。
具体实施方式
[0101]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
[0102]
并且，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
[0103]
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0104]
基于运动估计运动补偿的帧率转换算法是通过预测连续运动图像中物体的运动轨迹，根据运动估计计算所得的运动矢量插值出中间图像，使得物体运动更加流畅，从而可以改善视频播放时的抖动拖尾等问题。
[0105]
运动估计是指图像信号内的估计运动向量，是帧率转换算法的重要部分。基于块匹配的运动估计算法是目前帧率转换算法中最为常用的算法，它是将图像分为若干个图像块，为了提高运动估计中运动向量的准确性，对图像块建立至少两个候选运动向量；对每个所述候选运动向量，计算相应的误差准则，以及选择使误差准则的非线性函数最小化的候选运动向量，作为所述图像块的估计运动向量。误差准则判断块相似程度，直接影响运动估计的精度，块匹配运算复杂度，运动估计复杂度在很大程度上取决于搜索采用的误差准则，常用的匹配准则有：mad(绝对均方误差)，sad(绝对差值和)等。
[0106]
相关技术中，由于图像中物体不光存在变速、形变，还受拍摄过程中设备、光照等影响，导致前后两帧图像存在一定的差异性。对于这类视频，基于块匹配的运动估计算法不够准确。
[0107]
有鉴于此，本技术提供了一种视频图像的运动估计方法、显示设备和芯片，用以解决相关技术中运动估计算法不够准确的问题。
[0108]
本技术的发明构思可概括为：本技术获取目标视频中的待处理图像，确定待处理图像中每个点的运动矢量；对各点的运动矢量进行归一化操作得到著性分布图；将显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到显著性区域分布图；然后对待处理图像中各区域进行图像变换，得到优化图像，该图像变换用于提升相似区域的差异度；最后，将变换后的将优化图像进行运动估计，得到待处理图像的优化图像的运动矢量，将待处理图像的优化图像的运动矢量和待处理图像进行运动补偿。本技术实施例通过对原始图像中各点的运动矢量进行归一化处理，得到了原始图像的显著性分布图，实现了将二维数据运动矢量转换为一维数据图像像素值，使得图像特征更明显并便于计算；并将显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到显著性区域分布图，使得处于同一预设取值范围的点的特征是相似的，便于区分出不同区域；将待处理图像的显著性区域分布图进行图像变换，使得每个区域与其他区域区分的更加明显，并将变换后的将
优化图像进行运动估计，得到待处理图像的优化图像的运动矢量，将待处理图像的优化图像的运动矢量和待处理图像进行运动补偿，最终实现了在不额外增加匹配算法的复杂度的基础上提高运动估计的准确性。
[0109]
在介绍完本技术实施例的主要发明思想之后，下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
[0110]
首先，图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
[0111]
在一种可能的实施方式中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
[0112]
在一种可能的实施方式中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
[0113]
在一种可能的实施方式中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
[0114]
在一种可能的实施方式中，也可以使用智能设备300和显示设备200进行数据的通信。
[0115]
在一种可能的实施方式中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
[0116]
在一种可能的实施方式中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
[0117]
在一种可能的实施方式中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
[0118]
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用户与显示设备200之间交互中介作用。
[0119]
在一种可能的实施方式中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
[0120]
在一种可能的实施方式中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
[0121]
下面以显示设备200为例对实施例进行具体说明。应该理解的是，图3所示显示设备200仅是一个范例，并且显示设备200可以具有比图3中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
[0122]
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
[0123]
在一种可能的实施方式中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
[0124]
在一种可能的实施方式中，控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
[0125]
在一种可能的实施方式中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
[0126]
在一种可能的实施方式中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
[0127]
在一种可能的实施方式中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
[0128]
在一种可能的实施方式中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
[0129]
在一种可能的实施方式中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器(图中未示出)，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
[0130]
在一种可能的实施方式中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
[0131]
在一种可能的实施方式中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
[0132]
在一种可能的实施方式中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
[0133]
在一种可能的实施方式中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
[0134]
在一种可能的实施方式中，控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
[0135]
cpu处理器是显示设备200的控制中心，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
[0136]
在一种可能的实施方式中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
[0137]
在一种可能的实施方式中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可在显示设备200上显示或播放的信号。
[0138]
在一种可能的实施方式中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
[0139]
在一种可能的实施方式中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
[0140]
在一种可能的实施方式中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0141]
在一种可能的实施方式中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
[0142]
在一种可能的实施方式中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
[0143]
在一种可能的实施方式中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，
它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
[0144]
参见图4，在一种可能的实施方式中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
[0145]
在一种可能的实施方式中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
[0146]
框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
[0147]
如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
[0148]
在一种可能的实施方式中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
[0149]
在一种可能的实施方式中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
[0150]
在一种可能的实施方式中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
[0151]
图5为根据本技术实施例的显示设备200中应用程序的图标控件界面显示示意图，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序，可以通过不同的信号源提供直播电视。视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。应用程序中心，可以提供储存各种应用程序。
[0152]
本技术实施例中的显示设备200并不限定于智能电视，也可以为手机、平板电脑等电子设备。
153，区域r3的取值范围是154-204，区域r4的取值范围是205-255，上述取值范围只是示例，并不表示图8中5个区域。将划分为5个区域的显著性分布图s
n-1
与待处理图像i
n-1
的原始图像进行对照，也将待处理图像i
n-1
的原始图像划分为5个区域，从而得到待处理图像i
n-1
的显著性区域分布图，并统计显著性区域分布图中各区域中的平均像素值，分别为记d0，d1，d2，d3，d4。
[0166]
前述步骤中可将目标视频中每帧图像作为待处理图像分别得到每帧图像的显著性区域分布图。
[0167]
在另一些实施例中，为了提高计算效率，可将目标视频中连续多帧图像划分为一个图像组，针对每个图像组，由该图像组中第一帧原始图像作为待处理图像，依照步骤701-步骤704得到该第一帧原始图像的显著性区域分布图，该图像组中其他图像可由第一帧图像的显著性分布图推导而来。
[0168]
例如，目标视频共有n帧，每连续3帧图像作为一个图像组，则针对每个图像组，待处理图像为该图像组中的第一帧原始图像。
[0169]
针对每个图像组，获取到第一帧原始图像(即待处理图像i
n-1
)的显著性区域分布图之后，基于第一帧原始图像的显著性区域分布图，构建其余图像的显著性区域分布图。例如，继续以一个图像组设定为3帧图像为例，这3帧图像分别记为i
n-1
、in、i
n+1
，则基于图像i
n-1
的显著性区域分布图，构建in和i
n+1
的显著性区域分布图，包括以下内容：
[0170]
针对其余图像中每个像素点，在第一帧图像中查找与像素点的像素值最接近的区域作为像素点所属的区域，如图9，具体可实施为：
[0171]
在步骤901中，确定第一帧原始图像中各区域的像素均值。即上述步骤中，统计图像i
n-1
的显著性区域分布图中各区域中的平均像素值，分别为记d0，d1，d2，d3，d4。
[0172]
在步骤902中，计算其余图像中像素点的像素值与各区域的像素均值之间的差值。
[0173]
在步骤903中，选择差值最小的区域作为与该像素点的像素值最接近的区域。
[0174]
计算图像in中每个像素点的像素值分别与i
n-1
的显著性区域分布图中d0，d1，d2，d3，d4的差值，假设该差值依序为diff0，diff1，diff2，diff3，diff4，获得diff0，diff1，diff2，diff3，diff4中的最小值，例如该最小差值为diff4，则将图像in中该像素点标记为区域r4，依此类推，将图像in中每个像素点均划分到不同区域中，得到图像in的显著性区域分布图。
[0175]
与上述步骤类似，计算图像i
n+1
中每个像素点的像素值分别与i
n-1
的显著性区域分布图中d0，d1，d2，d3，d4的差值，同样假设该差值依序为diff0，diff1，diff2，diff3，diff4，获得diff0，diff1，diff2，diff3，diff4中的最小值，例如该最小差值为diff4，则将图像i
n+1
中该像素点标记为区域r4，依此类推，将图像i
n+1
中每个像素点均划分到不同区域中，得到图像i
n+1
的显著性区域分布图。
[0176]
需要补充的是，根据目标视频中图像特征不同，预设取值范围以及划分区域的个数均可根据需求自定义。例如，若显著性分布图中(i,j)点处的像素值仅为0和50，则本技术实施例可将该显著性分布图划分为两个区域，每个区域的预设取值分别为0和50。
[0177]
在另一种可能的实施方式中，基于第一帧原始图像的显著性区域分布图，构建其余图像的显著性区域分布图，如图10所示，具体包括以下内容：
[0178]
在步骤1001中，若其余图像为第二帧原始图像，则基于以下公式(2)确定第二帧原始图像的显著性分布图：
[0179]
sn(i+mvx
n-1
,j+mvy
n-1
)＝s
n-1
(i,j)
ꢀꢀ
(2)
[0180]
其中，s
n-1
(i,j)表示第一帧原始图像的显著性分布图中(i,j)点处的像素值、mvx
n-1
表示第一帧原始图像的(i,j)点处x轴方向的运动矢量、mvy
n-1
表示第一帧原始图像的(i,j)点处y轴方向的运动矢量、第一帧原始图像中(i,j)点为第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)点处的映射点、sn(i+mvx
n-1
,j+mvy
n-1
)表示第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)处点的像素值。
[0181]
在步骤1002中，若第二帧原始图的显著性分布图中包括未在第一帧原始图像的显著性分布图中找到映射点的空位置，采用默认值作为空位置的值。
[0182]
在一种可能的实施方式中，若第二帧原始图的显著性分布图中包括未在第一帧原始图像的显著性分布图中找到映射点的空位置，即发生了相当于错位映射的情况，本技术将空位置的值设置为0，避免了存在部分区域的像素点没有被赋值的情况。
[0183]
在步骤1003中，将第二帧原始图像的显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到第二帧原始图像的显著性区域分布图。
[0184]
在步骤1004中，若其余图像为所述第二帧原始图像之后的其余图像，则针对其余图像中每个像素点，在第二帧原始图像中查找与像素点的像素值最接近的区域作为像素点所属的区域，得到其余图像的显著性区域分布图。
[0185]
例如，将一个图像组设定为3帧图像，并分别记为i
n-1
、in、i
n+1
，若其余图像为第二帧原始图像in，则首先采用上书公式(2)确定第二帧原始图像的显著性分布图，定义为sn，即采用上述公式(2)基于第一帧原始图像i
n-1
的显著性分布图s
n-1
确定了第二帧原始图像in的显著性分布图sn。
[0186]
根据显著性分布图得到显著性区域分布图，即步骤1003中将第二帧原始图像的显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到第二帧原始图像的显著性区域分布图，包括以下内容：
[0187]
例如，将第二帧原始图像in的显著性区域sn分为5个区域分别标记为r0,r1,r2,r3,r4，将划分为5个区域的显著性分布图sn与第二帧原始图像in进行对照，也将待处理图像in的原始图像划分为5个区域，从而得到待处理图像in的显著性区域分布图，定义为初始区域分布图，并统计初始区域分布图中各区域中的平均像素值，分别为记d0，d1，d2，d3，d4。
[0188]
针对步骤1004，若其余图像为所述第二帧原始图像之后的其余图像，则针对其余图像中每个像素点，在第二帧原始图像中查找与像素点的像素值最接近的区域作为像素点所属的区域，得到其余图像的显著性区域分布图。可实施为：
[0189]
图像i
n+1
为第二帧原始图像in之后的其余图像，则计算图像i
n+1
中每个像素点的像素值分别与第二帧图像in的显著性区域分布图中d0，d1，d2，d3，d4的差值，同样假设该差值依序为diff0，diff1，diff2，diff3，diff4，获得diff0，diff1，diff2，diff3，diff4中的最小值，例如该最小差值为diff4，则将图像i
n+1
中该像素点标记为区域r4，依此类推，将图像i
n+1
中每个像素点均划分到不同区域中，得到图像i
n+1
的显著性区域分布图。
[0190]
得到显著性区域分布图之后，在步骤705中，按待处理图像的显著性区域分布图，对待处理图像中各区域进行图像变换，得到优化图像；图像变换用于提升相似区域的差异度。
[0191]
针对每个图像组，若得到的是其余图像的显著性区域分布图，则依据上述步骤
705，按其余图像的显著性区域分布图，对其余图像中各区域进行图像变换，得到其余图像的优化图像。
[0192]
在一种可能的实施方式中，如图11所示，左边为原始灰度图，头发区域与树影区域，由于其像素值相似，纹理特征，颜色特征均不明显，采用本技术实施例提供的视频图像的运动估计方法后，经过变换后的优化图像(如图11右图)可有效区分头发区域与树影区域，因此，图像变换提升了相似区域的差异度。
[0193]
需要说明的是，图像变换包括色彩变换，边缘增强等，根据目标视频中图像特征不同，可选用不同的图像变换方法，只要图像变换可以于提升相似区域的差异度，就采用相应的图像变换。
[0194]
需要补充的是，对待处理图像中各区域进行图像变换之前，为了防止局部误检，这里的误检是指某一个像素点被标记为r4,然而它周围一定范围内的像素点都被标记为r3，那么这个时候便认为这个像素点是误检的，是很孤立的一些点或者小块，本技术实施例对待处理图像的显著性区域分布图进行中值滤波处理。针对图像组，对其余图像中各区域进行图像变换之前，本技术实施例还将对其余图像的显著性区域分布图进行中值滤波处理。
[0195]
在步骤706中，对待处理图像的优化图像进行运动估计，得到待处理图像的优化图像的运动矢量。
[0196]
在步骤707中，基于待处理图像的优化图像的运动矢量和待处理图像进行运动补偿。
[0197]
针对每个图像组，若得到的是其余图像的优化图像，则上述步骤706和707执行如下步骤：
[0198]
对其余图像的优化图像进行运动估计，得到其余图像的运动矢量；基于其余图像的运动矢量和其余图像进行运动补偿。
[0199]
需要补充的是，步骤706得到的运动矢量还将返回步骤703，用于对各点的运动矢量进行归一化操作，得到待处理图像的显著性分布图。
[0200]
在一种可能的实施例中，将优化图像进行运动估计，得到运动矢量，并将优化图像的运动矢量和原始待处理图像进行运动补偿之后，得到的图像将组成输出视频，从而实现目标视频到输出视频的视频质量优化。
[0201]
综上，本技术实施例中若接收到目标视频，则在进行运动估计之前先获取待处理图像中每个点的运动矢量，然后对各点的运动矢量进行归一化操作，得到待处理图像的显著性分布图，本技术实施例通过对原始图像中各点的运动矢量进行归一化处理，得到了原始图像的显著性分布图，实现了将二维数据运动矢量转换为一维数据图像像素值，使得图像特征更明显并便于计算；并将显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到显著性区域分布图，使得处于同一预设取值范围的点的特征是相似的，便于区分出不同区域；将待处理图像的显著性区域分布图进行图像变换，使得每个区域与其他区域区分的更加明显，并将变换后的将优化图像进行运动估计，得到运动矢量，将优化图像的运动矢量和待处理图像进行运动补偿，最终实现了在不额外增加匹配算法的复杂度的基础上提高运动估计的准确性。
[0202]
基于相同的发明构思，本技术实施例还提供一种视频图像的运动估计装置1200，如图12所示，目标视频中每连续多帧原始图像构成一个图像组，所述装置包括：
[0203]
获取模块1201，被配置为获取目标视频中的待处理图像；
[0204]
确定模块1202，被配置为确定所述待处理图像中每个点的运动矢量；
[0205]
归一化模块1203，被配置为对各点的运动矢量进行归一化操作，得到所述待处理图像的显著性分布图；
[0206]
区域划分模块1204，被配置为将所述显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述待处理图像的显著性区域分布图；
[0207]
图像变换模块1205，被配置为按所述待处理图像的显著性区域分布图，对所述待处理图像中各区域进行图像变换，得到优化图像；所述图像变换用于提升相似区域的差异度；
[0208]
运动估计模块1206，被配置为对所述待处理图像的优化图像进行运动估计，得到待处理图像的优化图像的运动矢量；
[0209]
运动补偿模块1207，被配置为基于所述待处理图像的优化图像的运动矢量和所述待处理图像进行运动补偿。
[0210]
可选的，所述目标视频中每连续多帧原始图像构成一个图像组；
[0211]
针对每个图像组，所述待处理图像为所述图像组中的第一帧原始图像，所述装置还包括：
[0212]
优化模块，被配置为分别对所述图像组中各帧其余图像执行以下操作：
[0213]
基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图；
[0214]
按所述其余图像的显著性区域分布图，对所述其余图像中各区域进行图像变换，得到所述其余图像的优化图像；
[0215]
对所述其余图像的优化图像进行运动估计，得到所述其余图像的运动矢量；
[0216]
基于所述其余图像的运动矢量和所述其余图像进行运动补偿。
[0217]
可选的，执行所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，所述优化模块具体被配置为：
[0218]
针对所述其余图像中每个像素点，在所述第一帧图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
[0219]
可选的，所述基于所述第一帧原始图像的显著性区域分布图，构建所述其余图像的显著性区域分布图，所述优化模块具体被配置为：
[0220]
若所述其余图像为第二帧原始图像，则基于以下公式确定所述第二帧原始图像的显著性分布图：
[0221]
sn(i+mvx
n-1
,j+mvy
n-1
)＝s
n-1
(i,j)
[0222]
其中，s
n-1
(i,j)表示所述第一帧原始图像的显著性分布图中(i,j)点处的像素值、mvx
n-1
表示所述第一帧原始图像的(i,j)点处x轴方向的运动矢量、mvy
n-1
表示所述第一帧原始图像的(i,j)点处y轴方向的运动矢量、第一帧原始图像中(i,j)点为第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)点处的映射点、sn(i+mvx
n-1
,j+mvy
n-1
)表示所述第二帧原始图像的显著性分布图中(i+mvx
n-1
,j+mvy
n-1
)处点的像素值；
[0223]
若所述第二帧原始图的显著性分布图中包括未在所述第一帧原始图像的显著性分布图中找到映射点的空位置，采用默认值作为所述空位置的值；
[0224]
将所述第二帧原始图像的显著性分布图中属于同一预设取值范围内的点划分到同一区域，得到所述第二帧原始图像的显著性区域分布图；
[0225]
若所述其余图像为所述第二帧原始图像之后的其余图像，则针对所述其余图像中每个像素点，在所述第二帧原始图像中查找与所述像素点的像素值最接近的区域作为所述像素点所属的区域，得到所述其余图像的显著性区域分布图。
[0226]
可选的，执行所述对各点的运动矢量进行归一化操作，所述归一化模块被配置为：
[0227]
采用以下归一化公式进行归一化操作：
[0228][0229]
其中，s
n-1
(i,j)表示所述显著性分布图中(i,j)点处的像素值、floor表示向下取整、mv
n-1
(i,j)表示所述待处理图像的(i,j)点处的运动矢量、mv
n-1
表示所述待处理图像中所有点的运动矢量集合、‖‖表示取范数、max表示取最大值、min表示取最小值。
[0230]
可选的，执行所述在所述第一帧图像中查找与所述像素点的像素值最接近的区域，所述优化模块具体被配置为：
[0231]
确定所述第一帧原始图像中各区域的像素均值；
[0232]
计算所述像素点的像素值与各区域的像素均值之间的差值；
[0233]
选择差值最小的区域作为与所述像素点的像素值最接近的区域。
[0234]
可选的，执行所述对所述待处理图像中各区域进行图像变换之前，所述装置还包括：
[0235]
滤波模块，被配置为对所述待处理图像的显著性区域分布图进行中值滤波处理；
[0236]
所述滤波模块，被配置为对所述其余图像中各区域进行图像变换之前，
[0237]
对所述其余图像的显著性区域分布图进行中值滤波处理。
[0238]
在示例性实施例中，本技术还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器120，上述指令可由终端设备100的处理器180执行以完成上述视频图像的运动估计方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0239]
在示例性实施例中，本技术还提供一种芯片，用于执行实现如本技术提供的视频图像的运动估计方法。
[0240]
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器180执行时实现如本技术提供的视频图像的运动估计方法。
[0241]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0242]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到
通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0243]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0244]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0245]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。