图像重定向质量评估的制作方法
【专利说明】图像重定向质量评估
[0001] 相关申请案交叉申请
[0002] 本申请要求2012年12月13日递交的发明名称为"图像重定向质量评估"的第 13/713, 110号美国非临时申请案的在先申请优先权，该在先申请的内容以引入的方式并入 本文。
[0003] 关于由联邦政府赞助研究或开发的声明
[0004] 不适用。
[0005] 参考缩微胶片附录
[0006] 不适用。
【背景技术】
[0007] 随着各种屏幕尺寸和各种分辨率的各种类型移动设备的出现，对图像重定向的需 求日益增加。图像重定向可包括用来调整图像尺寸的算法。为了在各种用户设备（UE)屏 幕上使用，一个图像可重定向成多种分辨率。图像重定向可能导致图像数据丢失和/或形 状失真，导致图像并不理想。已经开发出各种图像重定向算法，以尽可能减小图像数据丢失 和/或破坏，但没有一种图像重定向算法可以在各种情况下都优于其他任一图像重定向算 法。
【发明内容】
[0008] 在一实施例中，本发明包括一种图像重定向质量评估方法，包括在频域上比较原 始图像和重定向图像，其中，通过对所述原始图像进行重定向算法运算而获得所述重定向 图像。
[0009] 在另一实施例中，本发明包括一种装置，其包括一种处理器，用于进行图像重定向 质量评估，以及在空域上比较原始图像和重定向图像；其中，通过对所述原始图像进行重定 向算法运算而获得所述重定向图像，所述在空域上比较原始图像和重定向图像包括比较所 述原始图像和所述重定向图像以确定图像间的形状失真量。
[0010] 在另一实施例中，本发明还包括一种装置，其包括一种处理器，用于为多个重定向 图像计算多个图像重定向质量评估分数向量，并使用经验数据自适应学习图像重定向质量 评估分数融合模型。
[0011] 以下结合附图和权利要求对以上以及其他特征做更清晰明了的详细描述。
【附图说明】
[0012] 为了更透彻地理解本发明，现参阅结合附图和【具体实施方式】而描述的以下简要说 明，其中的相同参考标号表不相同部分。
[0013] 图1为一种图像重定向质量评估系统示意图。
[0014] 图2为一种示例图像的实施例。
[0015] 图3为一种确定频域质量分数的方法流程图。
[0016] 图4为一种频域系数分布的实施例图。
[0017] 图5为一种确定形状失真质量分数的方法流程图。
[0018] 图6示出了示例像素位移向量图。
[0019] 图7为一种确定局部内容质量分数的方法流程图。
[0020] 图8为一种确定全局内容质量分数的方法流程图。
[0021] 图9为一种自适应学习质量分数融合模型的方法流程图。
[0022] 图10为一种网元（NE)实施例示意图。
[0023] 图11为一种UE实施例示意图。
【具体实施方式】
[0024] 首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的系 统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明 决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性 设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
[0025] 此处公开了一种进行图像重定向质量评估的方法，以确定哪种重定向算法得到的 重定向图像最有可能吸引用户。所述图像质量评估方法包括在频域和空域上比较原始图像 和重定向图像。这两个图像均可以转换成频域且以系数进行描述。系数间的差异可量化 为频域质量分数（Q fJ。在空域上，形状失真可使用尺度不变特征转换（SIFT)算法和/或 SIFT流算法进行测量以确定所述原始图像和所述重定向图像间的像素移动程度。产生的形 状失真可量化为形状失真质量分数（Q ss)。此外在空域上，视觉内容变化可局部量化为局部 内容质量分数（Qsl。)，并全局量化为全局内容质量分数（Q sg。)。Qf%、Qss、Qsl。、和Qsg。可一起用 来评价重定向图像的质量。可将所述质量分数进行加权以获得总质量分数（Q)。通过机器 学习可确定在总质量等式中给每项质量分数分配的适当权重。总质量分数Q可用来对重定 向算法进行自动评级，并自动从多个重定向图像中选择质量最高的重定向图像。
[0026] 图1为一种图像重定向质量评估系统100的示意图。所述系统100可在网络设备， 比如用户设备（UE)、网元（NE)、服务器和/或其他计算机上实现。所述系统100可接收原 始图像110和多个相关联的重定向图像112作为输入，其将结合图2进行讨论，且其可存储 在存储器115中。所述系统100可在空域130和频域120上比较所述图像110和112。所 述空域130可以是用于在二维（2D)和/或三维（3D)视觉图像空间分析图像的域。例如， 在空域上分析2D图像可以是在坐标和/或像素位置和/或视觉2D空间的其他视觉对象方 面进行分析。所述频域120可以是用于在随时间变化方面分析图像的域。例如，一个图像 可以包括多种不同强度的颜色。当对所述空域130进行迭代读取时，图像的颜色强度随时 间而变。这种随时间的变化可在所述频域120中表示出来。
[0027] 所述系统100可包括形状失真和视觉内容变化测量单元140,用于在所述频域120 上比较形状失真和视觉内容变化以确定Q fs。，这将结合图3进行讨论。所述系统100还可包 括形状失真测量单元150、局部视觉内容变化测量单元160和全局视觉内容变化测量单元 170,可用于测量所述空域130中的形状失真和视觉内容变化。具体地，所述形状失真测量 单元150可用于测量形状失真以确定Q ss，这将结合图5进行讨论。所述局部视觉内容变化 测量单元160可用于测量局部视觉内容变化以确定Qsl。，这将结合图7进行讨论。所述全局 视觉内容变化测量单元170可用于测量全局视觉内容变化以确定Qsg。，这将结合图8进行讨 论。所述系统100还可包括质量因素整合单元180,用于整合来自单元140、150、160和170 的质量分数以确定重定向图像的Q，这将结合图9进行讨论。所述系统还可包括图像选择单 元190,可用于使用Q从多个重定向图像中自动选择一个优选的重定向图像。
[0028] 图2为一种示例图像200的实施例。所述示例图像200可包括原始图像210 (可以 是原始图像110)、重定向图像221和222(可以是重定向图像112)和重建图像230。如上 所述，对原始图像进行自动重定向与具有各种屏幕尺寸和分辨率等的显示器的各种UE和/ 或其他设备结合使用可以是有利的。例如，所述系统100可将所述重定向图像22U222和/ 或使用其它重定向算法得到的其他图像与所述原始图像210进行比较，从而自动确定哪个 图像是用户可能喜欢的。
[0029] 所述原始图像210是可能显示给用户的原始图像的一个示例。一个系统，如所述 系统100,对所述原始图像210进行重定向显示。为将图像重定向至较小尺寸，系统可移除 像素，也可称为裁剪，可导致数据丢失、像素移动，造成图像形状失真，或其任一组合。所述 重定向图像221可以是对所述原始图像210进行裁剪的结果。所述重定向图像221可包括 右侧221a和左侧221b。如图2所示，与所述原始图像210相比，所述重定向图像221可能 包括最小视觉形状失真或没有视觉形状失真。但与所述原始图像210相比，所述重定向图 像221可能在所述右侧221a和所述左侧221b均包括视觉数据丢失。所述重定向图像222 可以是通过线裁剪算法所述原始图像210进行重定向的结果。如图2所示，所述重定向图 像222可包括与所述原始图像210极其相同的视觉数据。但在所述重定向图像222中，所 述原始图像210的像素可能在横轴上移动以压缩所述图像222,导致视觉形状失真。所述 重建图像230可以是通过使用块匹配算法或其他图像构建算法、使用来自所述重定向图像 221的图像图块和来自所述原始图像210的其他视觉数据在所述重定向图像221上重建所 述原始图像210的结果。块匹配算法可以是用于结构编辑的随机通信算法。图块可以是图 像的一部分。
[0030] 图3为一种确定Qfs。的方法300的流程图。例如，通过所述形状失真和视觉内容 变化测量单元140确定。在方框310中，所述方法300可获得原始图像，如原始图像110和 /或210,以及重定向图像，如重定向图像112、221和/或222。在方框320中，所述原始图 像可以转换成频域；在方框330中，所述重定向图像也可以转换成频域。可通过将空域上的 每个像素表征为在指定距离的强度值变化，将所述原始和重定向图像转换成频域。所述转 换可以通过变换的方式实现，如傅里叶变换、离散小波变换、或其他变换等。将图像转换成 频域可能造成使用多个系数，例如哈尔小波、对角线子带等，来描述所述图像。
[0031] 在方框340中，可比较所述原始图像和所述重定向图像的频率系数来确定所述图 像在空域上的差异，如空间形状失真和视觉内容变化。例如，原始图像频率系数（f。）的直 方图可分成多个等间隔的直方条（fji))。重定向图像频率系数（f R)的直方图也可分成多 个与f Ji)对应的等间隔的直方条（fR(i))。所述频率系数可通过对每个f Ji)与每个对应 fR(i)的比值的对数进行求和并用所述和除以直方条的个数来进行比较。在一实施例中，可 能有一百个直方条（例如，N f可设置成一百）。结果可以是在频域的质量分数Q fs。。Qfs。可 通过以下等式表示：
[00