基于艺术意图的视频译码的制作方法

背景技术：

现今，艺术家可能希望向其观众描绘的包括意义、原因或概念的艺术意图可以在内容(例如图片、视频、音频等)中被表达、刻画、传达等。这样的内容可以被编码(例如压缩)以降低存储和/或传输带宽，例如，以便于内容可以被流传输和/或存储在物理介质上。不幸地是，译码可以负面影响(例如，失真，使不重要等)和/或甚至消除该艺术意图的表达。

技术实现要素：

公开了用于保留内容中的艺术意图的表达的基于艺术意图的内容译码的系统、方法和装置。艺术意图的表达被标识(例如通过信令或内容分析)并被表达为艺术意图位置part和艺术意图特性cart的集合。艺术意图特性cart可以被用信号通知并被用于标识艺术意图位置part。艺术意图保留译码和处理可以被应用到采样位置part以保留特性cart。译码用户界面可以允许用户指定艺术集合(例如part和/或cart)并选择和/或配置与艺术集合相关联的像素和/或块的处理，例如保真增强、qp调整值和/或后处理。内容优先级或重要性等级可以被隐含地或明确地指示在内容的细(例如像素、采样)和/或粗(例如块)等级中，以变化(例如增强的，降低的)内容编码、传递、处理和/或误差恢复/鲁棒性中的处理的等级。

附图说明

图1是基于块的混合视频编码器的示例的图；

图2是基于块的视频解码器的示例的图；

图3是hevc中的预测单元模式的图；

图4示出了具有死区的标量量化的示例；

图5示出了bt.709和bt.2020色域的比较；

图6示出了具有沿着y轴的亮度和沿着x，y轴的颜色的3d颜色量；

图7是深度图的示例的图；

图8是使用相机视点生成任意视点的示例；

图9是内容生成和内容递送工作流的示例；

图10是具有在不同参考显示上的不同颜色分级的内容的示例；

图11是基于艺术意图的视频译码的示例流程图；

图12是使用多边形近似的二维cart形状的示例；

图13是cart信令的示例流程图；

图14是具有part块和常规块的译码单元(cu)的示例；

图15是具有相邻块和当前块的解块的示例；

图16是用于艺术意图保留的基于块的视频解码器的示例的图；

图17是用信号通知任意位置集合的重要性等级的示例流程图；

图18a是可以实施一个或多个公开的实施方式的示例通信系统的系统图；

图18b是可以在图18a中示出的通信系统中使用的示例无线发射/接收单元(wtru)的系统图；

图18c是可以在图18a中示出的通信系统中使用的示例无线电接入网和示例核心网的系统图；

图18d是可以在图18a中示出的通信系统中使用的另一示例无线电接入网和示例核心网的系统图；

图18e是可以在图18a中示出的通信系统中使用的另一示例无线电接入网和示例核心网的系统图。

具体实施方式

现在参考各种图描述示意性实施方式的详细描述。虽然该描述提供了可能实施的详细示例，应当注意这些细节旨在示意性而绝不限制本申请的范围。

例如，视频译码系统压缩数字视频信号以降低用于数字视频信号的存储和/或传输带宽。可以有多种类型的视频译码系统，例如基于块、基于小波、基于对象和基于块的混合视频译码系统。此外，可以有多种基于块的视频译码系统，其中一些可以基于国际视频译码标准。mpeg1/2/4部分2,h.264/mpeg-4部分10avc,vc-1,和h.265/hevc(高效率视频译码)可以是基于国际视频译码标准的基于块的视频译码系统的示例。mpeg-2,h.264/avc和hevc标准例如由itu-t/sg16/q.6/视频译码专家组(vceg)和iso/iecjtc1sc29wg11运动图片专家组(mpeg)开发。如这里所述，译码可以影响艺术家可能想要描绘内容的艺术家的意图。例如，视频译码系统可以照亮艺术家可能已经想要其更生动的对象的颜色，由此其可以突出且由此对象可以在译码之后在内容中不再突出。

图1是基于块的混合视频编码器的示例的图。输入视频信号2可以被处理，例如逐块处理。视频块单元可以例如在mpeg1/2/4和h.264/avc中包括16x16亮度采样和相应的色度采样。色度采样的数量可以取决于输入视频信号的色彩格式。例如当使用4：2：0二次采样时，两个8x8色度块可以对应于亮度采样的一个16x16块。译码块单元(例如标准译码块单元)可以被称为宏块(mb)。扩展块尺寸可以称为“译码树单元(ctu)”。ctu可以例如用于压缩高分辨率视频信号，例如1080和更高分辨率。ctu可以具有各种尺寸，例如64x64、32x32和16x16亮度采样。ctu尺寸可以例如在序列级被选择并在序列参数集(sps)被用信号通知。ctu可以例如经由四叉树分割被划分成译码单元(cu)。可以例如在cu级选择帧内或帧间预测模式。cu可以被划分成预测单元(pu)。分开的预测可以被应用到pu。

图3是hevc中预测单元(pu)模式或cu的划分的图。可以针对任意一个或多个输入视频块(mb或cu)执行空间预测(160)和/或时间预测(162)。

空间预测(称为“帧内预测”)可以例如通过使用来自视频图片/分片(slice)内的已经译码的相邻块的像素预测当前视频块。空间预测可以降低视频信号中的空间冗余。

时间预测(称为“帧间预测”或“运动补偿预测”)可以例如通过使用来自已经译码的视频图片的像素预测当前视频块。时间预测可以降低视频信号的时间冗余。可以例如通过一个或多个运动向量和一个或多个参考索引来用信号通知针对给定视频块的时间预测。运动向量可以指示当前块与参考块之间的运动的量(例如幅度或速率)和方向。参考索引可以标识解码图片缓冲器中的一个或多个参考图片，一个或多个时间预测块来自该参考图片。解码图片缓冲器的示例在图1中被标记为“参考图片库64”。

图1中示出的编码器中的模式决定块80可以选择(例如最佳)预测模式(例如帧内模式或帧间模式)和相关联的预测信息(例如用于帧内译码或运动划分的亮度和色度预测模式；用于帧间编码的运动向量和参考索引)。选择可以在空间和/或时间预测之后发生。

编码器模式决定逻辑可以例如依赖速率-失真优化技术以选择模式(例如最佳模式)来提供失真和速率之间的最优折衷。失真可以例如意味着重构视频块和原始视频块之间的均方误差。速率可以是例如花费在对块进行译码的比特数。

求和块16可以通过从当前视频块减去预测块来生成预测残差。变换4可以变换预测残差。量化6可以量化变换的预测残差。逆量化10可以逆量化被量化的残差系数。逆变换12可以逆变换被逆量化的残差系数。逆量化10和逆变换12的可替换方式是变换跳过模式。在变换单元(tu)级的变换跳过模式可以绕过变换阶段并直接在空间域中量化tu块的预测残差。逆量化10和逆变换12的另一示例或可替换方式可以是变换和量化绕过模式。在变换单元(tu)级的变换和量化绕过模式可以绕过变换阶段和量化阶段。

逆量化10和逆变换12生成重构残差。求和26通过将重构残差加到预测块来生成重构视频块。

环滤波器66可以将环内滤波应用到重构视频块。参考图片库64可以存储滤波后的重构视频块。滤波后的重构视频块可以用于译码将来的视频块。解块滤波器可以被例如h.264/avc和hevc支持。解块滤波器是在块边界应用的自适应平滑滤波器以降低由于用于译码两个相邻块的不同模式和/或参数导致的块效应。非线性环内滤波器(例如采样自适应偏移(sao)滤波器)可以被例如hevc支持。可以有两种类型的sao滤波：1)带偏移(bo)，其可以降低带效应，和2)边缘偏移(eo)，其可以恢复例如在量化期间失真的边缘。可以支持其他环内滤波方法，例如自适应环滤波(alf)。

熵译码单元8生成输出视频比特流20。译码模式(例如帧内或帧间)、预测模式信息、运动信息(例如运动向量和参考索引)、量化的残差系数、环内滤波参数(例如eo和/或bo参数)可以被提供给熵译码单元8，用于进一步的压缩和打包以生成比特流20。

图4示出了具有死区的标量量化的示例。量化6可以例如通过具有死区的量化在压缩期间带来失真。在量化期间带来的失真的量可取决于死区的尺寸和量化步长。虽然量化过程可能引入失真，但其还可以明显降低用于译码视频的比特数。通过量化过程量化的信号可以被量化为在一定范围内具有相同的量化输出值。例如，死区内的输入值可以具有等于零的量化输出值。一些编解码器，例如h.264/avc和hevc，可以使用具有死区的标量量化。死区可以用于使用小幅度来抑制空间域中变换系数和/或预测残差。例如依据译码模式可以使用不同尺寸的死区。

图2是基于块的视频解码器的示例的图。图2示出了可以对应于图1中的编码器的基于块的混合视频解码器。熵解码单元208解包并熵解码视频比特流202。译码模式和相关联的预测信息可以被提供给空间预测单元260(例如当帧内译码时)或时间预测单元(运动补偿预测单元)262(例如当帧间译码时)。空间预测单元260或运动补偿预测单元262可以生成预测块。

逆量化单元210和逆变换单元212从由熵解码单元208生成的残差变换系数重构残差块。求和226将预测块与重构残差块相加以形成重构块。重构看可以被提供给环内滤波单元266并存储在参考图片库264。虽然没有在图2中显示，环内滤波参数(例如eo和/或bo参数)可以从比特流被解析并可被发送给环内滤波单元266，例如以控制环滤波操作。参考图片库264中的重构视频可以被提供以驱动显示设备和/或预测将来的视频块。

图1和2中示出的示例系统架构中的功能块可以使用具有不同等级的复杂度和不同等级的译码效率的多种技术来实施。例如，双预测(形式是时间预测、多参考图片和解块滤波器)、灵活块结构和sao可以被实施。更复杂的技术可以涉及在编码器和解码器处的更多计算。但是，更复杂的技术可以提供明显改善的译码效率。在视频编码标准的演进中，更近一代的编解码器可以是例如上一代编解码器效率的两倍。作为示例，hevc可以使用平均低于h.264/avc使用的比特率一半的比特率来传递相同的主观视频质量。

由于有线和无线网络的明显技术进步世界越来越连在一起。智能电话、平板电脑和其他便携式设备具有增加的计算能力和更快的网络连接。这些趋势和视频压缩技术的进步一起导致了广泛存在的经过不同市场分段的高清(hd)视频。hd视频被提供在线性tv节目中、tv广播中、基于订阅或广告支持的点播视频流服务中(例如netflix,hulu,amazon,google’syoutube)、直播流中、以及移动视频应用(例如，用户生成的内容、视频记录、回放、视频聊天)中。

视频质量改善继续到hd之上。超高清(uhd)视频技术可以提供下一代视频服务，具有给消费者的改善的图片质量。在uhd显示器(例如4k分辨率tv)的制造和销售，以及相关联服务(例如更高速有线和无线通信连接以随时随地接收和/或传送uhd质量视频)中存在显著利益。

uhd视频格式已经正式在建议itu-rbt.2020和smptest2036-1中被定义。uhd格式在视频信号的一些方面中定义增强的参数。表1提供了针对hd和uhd的视频参数之间的比较。与hd相比，uhd支持更高空间分辨率(例如3840x2160和7680x4320)、更高帧率(例如高达120hz)、更高采样比特深度(例如针对高动态范围支持高达12比特)以及实现更生动颜色呈现的更宽色域。

表1-高清(hd)和超高清(uhd)视频格式的比较

图5示出了bt.709和bt.2020色域的比较。图5示出了hd色域(内三角形)和uhd色域(外三角形)，覆盖有cie1931颜色空间色品图(马蹄形)。马蹄形代表人眼可见颜色的范围。bt.709色域和bt.2020色域分别覆盖cie1931颜色空间的约36％和76％。换句话说，与可以在bt.709(hd)显示器(其已经统治消费者显示器市场许多年)上再现的颜色量相比，bt.2020显示器明显增加了可再现颜色的量。bt.2020可以提供更多更生动和更丰富的颜色给视频消费者。

图6示出了3d颜色量，具有沿着y轴的亮度和沿着x,y轴的颜色。(x,y)平面对应于图5中的cie1931颜色空间。垂直y轴对应于亮度(例如明亮度)信号。亮度信号以cd/m²(坎德拉每平方米)为单位被测量，也称为尼特(1尼特＝1cd/m²)。动态范围是显示器支持的亮度信号的范围。许多消费者显示器支持大约100尼特的峰值亮度。高动态范围(hdr)显示器(例如具有大约1000至4000尼特的峰值亮度)可以提供明显的可察觉质量收益。

hdr支持可以涉及明显的修改，例如整个生态系统改变。hdr修改可以发生在获取、内容创建工作流、传递和显示中。从hdr视频的强烈的质量收益的角度，hdr对消费者部署具有先进性，例如dolbyvision。在hdr显示器的支持中，显示器制造商已经演示了hdr显示器。在hdr内容创建的支持中，可察觉量化器(pq)被标准化到smpetst2084中。在hdr传递的支持中，hevc的主10文档可以用于压缩使用bt.2020容器的以10比特y’cbcr格式携带的hdr信号。可以有对hevc主10文档的译码效率改进，提供与标准动态范围(sdr)视频的后向兼容性。

除了uhd和hdr视频提供的视频质量改进，3d视频还提供增强的视频质量。3d视频产生、传递、和呈现研究与3d内容的扩展和特殊眼镜(例如3d眼镜)的取消一起继续。自动立体(无眼镜)显示技术正在开发以避免眼镜疲劳、头痛、由于降低的空间分辨率导致的内容混叠。视点的数量可以明显增加，例如以缓解这样的问题。但是，直接在许多视点中译码视频采样可能有明显的开销消耗。深度图和有效视点间预测的使用可以是3d视频改善的部分，例如以降低3d视频产生和传递成本的负担。

图7是深度图的示例的图。深度图是具有灰度值采样的图像，其中灰度值可以指示对象离观察者的深度或距离。一些相机获取的视点伴随有高质量深度图，例如可以允许接收机/显示器在任意视点位置呈现对象以创建期望的3d效果。

图8是使用相机视点生成任意视点的示例。图8示出了使用固定数量的相机获取的视点和相应的深度图生成任意视点的示例。深度图支持任意视点呈现并还可以支持相机获取视点的有效率的压缩。作为示例，从图8中的第一相机视点直接预测第二相机视点的替换方式是深度图用于将第一相机视点投影到第二相机视点的位置。深度图可以用于提供第二相机视点的更精确的预测。hevc标准的扩展，即3d-hevc，可以使用深度图和高级视点合成算法来增加压缩效率并降低用于传递3d视频的带宽。

如这里所述，视频产生、传递和呈现技术的进步，例如hdr、wcg和基于深度的3d视频，可以给内容制造者(例如，导演、色彩艺术家和创建用户生成的内容的用户)提供更大的“调色板”(例如视频参数和工具的更宽集合)，以更自由和精确地表达他们的艺术意图。作为示例，调色师可以选择应用尤其生动饱和的红色来作为盛开的花的场景。饱和的红色可以使用bt.2020颜色空间得到，但bt.709颜色空间(例如其可以是可用的颜色空间或由于编码得到)不可以。这样，在示例中，艺术家可以例如使用hdr在图片中相比于星光更如实地呈现日出。在自然世界中，星光的亮度等级大约在10^-3尼特，而阳光的亮度要高出许多数量级，在大约10⁵尼特。从事3d视频的导演或调色师可能想要强调距离观众或观看者特定距离(例如深度)的3d对象。在空间域中工作的导演可以选择通过将主对象放置在场景的某区域来表达艺术意图。作为示例，导演可以选择将女主角的脸放在图片的右侧。在示例中，用于译码的当前技术可能不能提供相同的强调和/或可能导致导演期望的且在译码前的内容中描绘的女演员的位置和/或3d对象丢失强调。

图9是内容生成和内容传递工作流的示例300。如图所示，在302，内容可以被记录。内容可以包括音频、视频、还仍然可包括图像，和/或如这里的示例中所述的类似项。在304，例如在302的获取或记录之后，解马赛克可以被应用以从来自图像传感器的不完全颜色采样输出来重构完全颜色图像。调色师可以使用参考显示来创建表达其艺术意图的图像(例如在306和308)。参考显示可以是sdr显示，具有rec.709颜色空间(例如艺术家可以与其交互，在306)或高级hdr显示，具有rec.2020颜色空间(例如艺术家可以与其交互，在308)。不管是哪种显示，调色师可以期望呈现的图像代表其艺术意图(例如并可以在306和308使用这样的显示来调整图像以反映或表达此意图)。在310，图像可以被输出和/或呈现到合适的格式，例如数字图片交换(dpx)格式，其是用于smpte标准st268m-2003标准化的中间和视觉效果工作的文件格式。图9中的最终的功能可以准备专业工作室内容用于递送给消费者。在示例中，准备可以包括例如到消费者格式的格式转换，例如dpx到yuv4：2：0的转换(在312)，以及消费者格式视频(例如yuv4：2：0)的压缩(例如译码)以满足带宽需求(在314)。

在这里的示例中，在图9中示出的中央功能块中(例如在304-310中)，艺术家意图可以在内容创建期间被表达。调色师可以例如依据呈现设备(例如显示器)创建具有不同颜色的场景(在306和/或308)且具有表达强调的此场景可以被呈现(在310)。如这里所述，艺术意图可以包括在图像的场景中对象、颜色、音频等的强调。包含在具有艺术意图(例如添加强调)的图像中的场景可以被呈现或输出并可以在转换到不同格式(例如流传输、物理介质等)时最终如这里所述被译码。不幸的是，使用当前的技术和/或方法，这样的艺术意图可能在这样的译码期间被丢失。这样，如这里所述的系统、方法和/或装置可以被提供以在例如在312和314的转换和译码期间保留这样的(例如在304-310输入和/或添加的)强调。

图10是在不同参考显示上具有不同颜色分级的内容的示例。作为示例，使用索尼f65相机获取的内容在两个不同参考显示上被分级。左边的内容在rec.709参考显示上分级，而右边的内容在dci-p3显示上分级。dci-p3是比rec.709宽但是比rec.2020窄的颜色空间。图10示出了xy色品图上的分级的内容的投影，与rec.709空间(例如每个轴集合中的较小三角形)和rec.2020空间(例如每个轴集合中的较大三角形)重叠。调色师对右边的参考显示有更多自由，例如因为其能够表达(例如呈现)更多颜色。

可以期望在图10的右侧的分级的内容的压缩期间例如通过确保增加的颜色(例如较小rec.709三角形外的颜色)不失真来保留艺术意图的表达。这些颜色可能在压缩期间对量化敏感，这可以使得在目标显示上的最终呈现的颜色(在译码之后)在视觉上看起来与艺术意图更加不同。

视频译码标准(例如h.264和hevc)可以用于支持原始视频内容的面貌(例如表达的艺术意图)的保留。h.264和hevc中的胶片颗粒特性补充增强信息(sei)消息可以用于改善原始视频内容中的胶片颗粒的保留。胶片颗粒是类噪声信号，其经常存在于使用胶片原始获取的内容中。其可以成为“舒适噪声”，一些内容创建者用来保留视频(例如电影)中的期望的“观感”。

艺术导演可能更希望保留胶片颗粒，甚至在已经数字化视频内容以后。数字视频信号中的胶片颗粒可能例如通过在变换域中生成大量的高频系数而给编码器带来很大挑战。例如当编码器量化这些高频系数时，原始胶片颗粒可能被失真和/或丢失。例如当编解码器如实保留这些系数时，编码比特率可能明显增加。胶片颗粒sei可以指定用于胶片颗粒合成的参数化模型。编码器可以在编码之前从原始信号移除胶片颗粒并使用该胶片颗粒sei来向解码器传达如何重新生成胶片颗粒并在显示之前将其添加回视频信号。

译码工具，例如量化矩阵，可以用于保留视频内容中的艺术意图。h.264和hevc中的默认量化/解量化可以将固定的标量量化器应用到变换的残差系数的一个或多个频率分量。量化矩阵可以被指定用于视频序列或视频图片(例如使用序列参数集或图片参数集)，例如以改善主观质量。标量量化器的不同值可以被应用到变换域中的不同频率分量。量化矩阵的规范可以被限制，且可以定址到一个特定功能块，例如图1和图2中的视频译码系统中的量化和解量化。胶片颗粒sei消息可以是可选的且可以是解码器可以丢弃的额外信息。换句话说，在示例中，可以限制保留艺术意图的能力。

译码工具可以用于保留信号保真，改善主观质量和/或移除译码效应。译码工具，例如块级量化参数(qp)调整、解块滤波器、采样自适应偏移(sao)可以在块级被应用。块级qp调整可以允许qp值(例如应的量化的量)例如在相邻块间被改变。块级qp调整可以用于独立于另一块来控制块的质量。不同qp调整可以被应用于亮度和色度颜色分量。语法元素可以作为变换单元(tu)语法结构的部分被用信号通知，例如在hevc中，例如以指示增量(delta)qp被应用于到当前译码单元(cu)。例如依据编码器的模式决定逻辑(图1中的块180)，不同的块尺寸可以被选择用于对区域进行译码，在该区域中艺术意图被表达。

具有表达的艺术意图的区域(例如具有艺术表达的区域)可以具有不规则形状。交替形状可以用于表示并保留不规则形状的艺术表达。视频译码技术可以用于促进艺术意图的保留，其可以在内容中被隐式或显式表达。艺术意图可以在细粒度被标识，例如采样可以符合艺术意图。艺术意图可以在采样级(例如像素级)被标识并保留而不导致明显的信令开销。译码工具可以原始被设计或修改以在编码的内容中保留艺术意图。

公开了系统、方法和措施用于保留内容中的艺术意图的表达的基于艺术意图的内容译码。艺术意图的表达被标识(例如通过信令或内容分析)并被表达为艺术意图位置part和艺术意图特性cart的集合。艺术意图特性cart可以被用信号通知并用于标识艺术意图位置part。艺术意图保留译码和处理被应用到采样位置part以保留特性cart。译码用户界面(例如其可以包括图形用户界面)可以允许用户指定艺术集(例如part和/或cart)并选择和/或配置与艺术集相关联的像素和/或块的处理，例如保真增强、qp调整值和/或后处理。内容优先级或重要性等级可以以内容的细(例如像素、采样)或粗(例如块)等级被隐含或明确地指示，以变化(例如增强，降低)内容译码、传递、处理和/或误差恢复/鲁棒性的处理的等级。

例如，如这里所述，艺术家和电影工业可能对压缩技术没有控制，其可以用于将影院质量的电影压缩成其他格式，例如dvd、蓝光、数字内容等。此外，没有合适的技术可供艺术家使用来提供在这样的压缩期间(例如编码和解码)可以使用的信息来解译影片(例如，可以用于解译艺术家可以对影片中的对象、颜色和/或其他项做出的表达和/或增强)。根据示例，这样的系统、方法和/或装置可以使得可以指示艺术家意图的信息或元数据(例如针对每个像素的特性，例如cart)被(例如在像素级)添加到对象、颜色和/或其他项。此外，在这样的系统中、方法和/装置中，可以指示艺术家意图的信息或元数据可以被关联到压缩过程，即如这里所述，其可以在压缩期间被编码且在回放期间被解码。

在这里的示例中，保留艺术意图包括提供这些元数据或信息，高质量内容(例如无损内容)可以被提供给艺术家或其他用户。艺术家或用户可以与例如图形用户界面的界面交互以在压缩格式(例如蓝光)中调整内容看起来如何。艺术家或用户可以使用工具，该工具可与经由界面提供的动作、功能、方法等相关联，来指定内容的什么部件或部分在内容中进行不同处理或调整。艺术家或用户可以在用户界面中视觉上看到对像素的这种调整的结果。

在选择内容的像素或部分进行不同处理后，艺术家或用户可以使用工具来指示在转换期间如何对像素或部分进行不同处理或调整，即是否模糊，增加颜色，和/或如这里所述的类似操作。在示例中，在该阶段(例如使用工具调整或指示如何对像素进行不同处理)，艺术家或用户可以使用用户界面及其工具来降低量化步长，由此更多比特流到内容的所选像素或部分，所选像素或部分可以作为结果而在更高保证中，该更多比特流可以调整环滤波器如何被应用到内容的所选像素或部分，和/或可以执行任意其他合适的调整、增强或修改以对内容的所选像素或部分进行不同处理。

在示例中(例如在选择像素并对其进行调整之后，)译码参数可以关联到压缩过程。例如，具有像素调整的内容可以被馈送到编码器由此编码器可以针对所选的像素(例如像素集)考虑特性集合(例如针对所选像素的增强、调整等)并将这样的特性集合和像素(例如可以是元数据的部分)编码成比特流。这可以使得解码器知道要调整和/或增强的像素(例如特性集合和/或像素集合)并如何对它们进行不同处理(例如不同处理它们的编码工具的规则或修改)，由此解码器能够解译这样的信息并相应地进行操作。

如这里所述，艺术意图可以例如通过特性在图片和/或图片序列中被表达。通过特性表达艺术意图的示例是例如基于颜色(例如色品)、亮度值、深度值(例如针对3d内容)、纹理属性、音频值、音频属性和场景中的对象的关联的分级(例如修改或增强)采样。通过特性表达艺术意图的示例是在空间位置中放置对象，将声音或音频效果应用到感兴趣对象以及应用视频和音频效果(例如渐入/渐出)。

在位置(x,y)的采样值可以被标记为s(x,y)。采样可以包括与位置相关联的颜色分量值和/或其他值(例如深度或音频)的三元组。s(x,y)的特性可以被标记为c(s(x,y))。特性可以例如对应于如下一者或多者：色品图的特定部分(例如饱和红花)、3d颜色量的特定部分(例如月光)、深度值的给定范围(例如距离观众最近的移动对象)、视频图片的空间区域等。

艺术意图可以通过被标记为cart的特性值集合来表示。cart可以具有离散值，例如k值的集合cart＝{c0，c1，...ck-1}。例如当特性对应于数字视频中的采样的空间位置时，空间位置可以通过离散坐标集被表达。cart可以覆盖一范围的连续值。例如当特性对应于色品图的部分时，特性可以被表达具有浮点精度。例如，当位于位置(x,y)的采样的特性属于艺术意图集c(s(x，y))∈cart时，采样位置(x,y)可以被定义为艺术意图位置。

内容中的艺术意图位置的集合可以被标记为part＝{(x，y)|c(s(x，y))∈cart}。不是艺术意图位置的位置可以被称为常规位置。具有表达的艺术意图的内容的部分(例如由part指示的部分)可以被保留具有高保真(例如比内容的其他部分更高的保真)和图像质量。译码和处理工具可以原始被设计和/或修改以保留和/或处理位于part的采样。

图11是基于艺术意图的视频译码的示例流程图。在图11示出的示例中，可以例如基于在采样位置(x,y)的采样值s(x,y)或像素，针对采样位置(x,y)可以确定(例如，计算)特性值c(s(x,y))(例如在402)。采样值s(x,y)可以是通用值或像素，例如对应于与位置相关联的一个或多个(y,u,v)分量和/或一个或多个其他值(例如，深度值、音频值、音频属性、与周围位置(例如围绕位置(x,y)的局部区域中的位置)相关联的值)。

可以确定采样位置(x,y)是否属于part(例如作为406的部分)。该确定可以被标记为(x，y)∈part。可以针对一个或多个采样位置做出这种确定。可以例如通过显式用信号通知艺术意图位置part来做出确定。可以针对图片序列中的一个或多个图片提供信令。显式用信号通知艺术意图位置part可以导致高信令开销。在另一实施方式中，对应于艺术意图的特性值的集合cart可以显式用信号通知(例如在404)。艺术意图采样位置part可以例如基于用信号通知的cart值和计算的特性值c(s(x,y))的一者或多者被标识，这可以允许使用最小信令开销来标识位置part(例如作为406的部分)。例如，可以确定在位置(x,y)的采样的特性是否是艺术意图集的部分或匹配(例如属于)该艺术意图集，例如c(s(x，y))∈cart。也就是说，在示例中，如果或当针对位于位置(x,y)的采样计算出的特性值c(s(x,y))可以是对应于艺术意图的用信号通知的特性值集合cart中包含的特性的部分，包含在该特性中或属于(例如可以匹配)该特性，则位置(x,y)可以指示艺术意图位置part的位置(例如其可以指示艺术意图和/或其特性值可以被应用到的像素或采样的位置)。

艺术意图保留译码工具和后处理可以被应用(例如在408和412)例如到具有表达的艺术意图的采样位置(例如如part指示的)。非艺术意图保留译码工具和后处理可以被应用到例如没有表达的艺术意图的采样位置(例如410)。例如，采样位置的指示和来自特性值的集合的被配置为应用到该采样位置的特性可以被输出(例如到各自的译码工具和/或后处理工具)和/或用信号通知或发送以应用艺术意图，如这里所述。

如这里所述，艺术意图位置可以基于特性集合cart在内容中被标识。例如当(具有或没有变换的)量化在压缩期间产生损失时，，解码器可以没有原始采样值s(x,y)。例如可以使用在编码器和解码器处都可用的采样值来标识艺术意图采样。这可以允许编码器和解码器针对艺术意图采样保持同步。

在示例中，编码器和解码器可以例如使用预测的采样(例如属于图1和2中的属于“预测块”的采样)来计算采样特性并确定它们是否属于part(例如在例如402和406)。预测的采样可以来自帧内预测(空间预测60，260)或帧间预测(运动预测62，262)。在位置(x,y)的预测的采样可以被标记为(例如使用预测的采样的)采样特性可以被标记为换句话说，如这里所述(例如上面的在402和406)，当时，(x，y)∈part。因此，在示例中，用于计算特性(例如在402)(其可以与接收的特性集合进行比较以确定(例如在406)采样值是否可以属于或被包含在艺术意图采样值中)的采样值和/或位置可以包括或可以是预测的采样。

在示例中，预测的采样可以被滤波、解噪和/或以其他方式被处理以改善精度。预测的采样值与原始采样值之间的差可以是实质的，其可以导致不准确的特性值的计算。在示例中，在环滤波之前的重构采样值(例如求和26或求和226的输出)可以用于确定艺术意图表达的特性。环滤波器(例如66或266)处理可以使用重构采样值来确定艺术意图表达。在位置(x,y)的环滤波之前的重构采样可以被标记为的特性可以被标记为换句话说，当时，(x，y)∈part。

环滤波可以适用于艺术意图的表达的保留。例如，可以在应用了环滤波器之后确定当前位置(x,y)是否属于part(例如，在406)。在环滤波之后的重构采样可以用于计算采样特性和特性值c(例如，在402)。在位置(x,y)的在常规环滤波之后的重构采样可以被标记为的特性可以被标记为换句话说，如这里所述(例如上面的在402和406)，当时，(x，y)∈part。因此，在示例中，用于计算特性(例如在402)(其可以与接收的特性集合进行比较以确定(例如在406)采样值是否可以属于或包含在艺术意图采样值中)的采样值和/或位置可以包括重构采样或可以是重构采样。

后处理可以被应用到属于part的采样。在位置(x,y)的修改的环滤波之后的重构采样可以被标记为如这里所述(例如上面)，(例如在修改的环滤波之后的)这样的重构采样可以是用于在402计算特性的采样并可以用于确定其是否被包含在艺术意图位置或值中(在406)。的特性可以被标记为例如，当时，可以计算艺术意图位置的细化集合位置的细化集合可以在艺术意图采样的后处理期间被使用。这种方式计算可以改善part的精度。

可以用信号通知艺术意图特性值的集合cart。信令可以例如用于标识艺术意图位置part，如这里所述。cart中的一个或多个特性代表要被保留的艺术意图的一个或多个类型。特性可以是例如如下的一者或多者：色品、亮度、深度、空间位置、边缘属性、纹理属性、音频采样和音频效果或属性。代表艺术意图的表达的各种类型的特性的各种类型的值可以由各种技术来计算。

色品可以是一种类型的艺术意图。色品特性值可以例如对应于图5中的xy色品图。色品特性值可以例如通过将采样值s(x,y)从其当前颜色空间(例如ycbcr或rgb颜色空间)转换到ciexyz或其他颜色空间被计算。采样值可以是例如之前讨论的或中的一者。例如rgb到xyz颜色空间转换可以根据等式1来执行：

在等式1中，3x3矩阵代表针对三个通道(红、绿和蓝)的测量的cie三刺激值。例如，xr、yr、zr代表针对红色通道的测量的cie三刺激值。3x3矩阵可以例如依据rgb颜色空间的白点和不同版本包括不同的系数。还可以使用3x3矩阵来执行ycbcr到ciexyz颜色空间转换。

xy色品值可以根据等式2和等式3从xyz三刺激值被计算。

值x^c和y^c代表采样的色品特性。该值可以被标记为x^c-y^c(而不是x-y)来区分采样位置(x,y)的表示。

色品特性值可以在ciexyz颜色域或其他颜色空间中被指定。例如，色度值的范围或集合可以在ycbcr颜色空间、rgb颜色空间或任意颜色空间(其中视频内容被处理或编码)中被指定。

亮度可以是一种类型的艺术意图。亮度特性值可以例如对应于图6中的垂直y轴。可以例如通过将采样值s(x,y)从其当前颜色空间(例如ycbcr或rgb颜色空间)转换到ciexyz颜色空间来计算亮度。采样值可以是例如之前讨论的或中的一者。亮度值可以被设定为xyz三刺激值的y值。

可以有多种类型或子类型的亮度特性，其单独或一起表达艺术意图，例如亮度幅度、亮度梯度(例如对比度)。亮度特性值的计算可以例如依据亮度特性的类型或子类型而变化，例如幅度值的计算可以不同于对比度值的计算。

深度可以是一种类型的艺术意图。深度特性值可以被设定为例如在相应的深度图中的位置(x,y)处的深度值。深度特性可以被标记为d(x,y)。相应的深度图可以被译码，例如被压缩。原始深度值d(x,y)在解码器处不可用。深度特性的值可以被设定为译码的深度值，其可以被标记为

空间位置可以是一种类型的艺术意图。空间位置特性值可以被设定为采样位置(x,y)。

边缘和/或纹理属性可以是一种或多种类型的艺术意图。基于局部纹理或边缘的特性值可以基于例如围绕给定位置(x,y)的局部区域中的处理值(例如亮度和色度分量值的一者或多者)来设定。

在示例中，边缘检测算法可以被应用到局部区域，其包括位置(x,y)(例如，以该位置为中心)。特性值可以被设定为例如边缘检测算法的输出。特性值可以被设定为例如指示边缘存在或不存在的二进制值。特性值可以被设定为例如使用一个或多个边缘检测算法计算的边缘强度或信任值。

在示例中，一个或多个面向边缘的检测滤波器可以被应用以确定位置(x,y)是否与具有特定朝向的边缘相关联。特性值可以被设定为例如指示对应于位置(x,y)的一个或多个面向边缘朝向或检测的滤波器。例如，水平和/或垂直边缘检测滤波器可以被用于确定位置(x,y)是沿着主要水平还是垂直边缘特征。特性值可以被设定为例如指示水平边缘(或边缘强度)和/或垂直边缘(或边缘强度)。位置(x,y)可以与对应于在不同朝向的边缘检测结果或边缘强度测量的多个特性值相关联。

在示例中，一个或多个纹理分类算法可以被应用到以位置(x,y)为中心的局部区域。特性值可以被设定为纹理分类算法的输出。特性值可以被设定为围绕位置(x,y)的局部区域的统计属性。例如，特性值可以被设定为围绕(x,y)的局部区域中的一个或多个分量的平均值或方差。特性值可以基于围绕位置(x,y)的局部区域中的像素之间的相关性来设定。特性值可以被设定为在位置(x,y)应用的1-d或2-d滤波器的输出。1-d或2-d滤波器可以被设计用于响应于一个或多个纹理属性产生结果。滤波器可以是在特定数值范围和频率的2-d伽柏函数。特性值可以例如基于计算和处理围绕位置(x,y)的局部区域的频域描述被设定。可以例如使用dct或其他合适的频率变换来变换局部区域像素。频域系数的子集的值可以被组合例如以产生针对特定频率或频率范围的能量测量。组合可以例如包括简单或加权加法组合。特性值可以指示在1-d或2-d频率空间的某部分中是否有明显的能量。

基于局部纹理或边缘的特性值可以例如使用与关于位置(x,y)的局部区域相关联的分量或值的一个或多个来计算。例如，亮度值或一个或多个色度值或分量的一者或多者可以用于计算纹理或边缘特性值。

音频效果可以是一种类型的艺术意图。音频效果特性值可以被设定或使用与位置(x,y)相关联的一个或多个音频值来计算。音频值可以被译码。

作为示例，包括音频采样的音频轨迹可以与感兴趣对象或区域相关联。感兴趣区域可以是例如在视听内容中表现的讲话的人、接近的火车、爆炸等。与可听艺术意图相关联的位置(x,y)可以与音频轨迹和/或音频采样相关联。感兴趣区域可以重叠。位置(x,y)可以与多个音频轨迹相关联。多个音频轨迹可以被组合(例如相加地)以形成针对位置(x,y)的音频表现。视频帧中的位置(x,y)可以与音频采样和/或相关的音频属性相关联。

相关联的音频采样或音频属性可以被处理以确定位置(x,y)是否是特性集合的部分。作为示例，与位置(x,y)相关联的音频信号的一个或多个声道的音量可以被得到。例如当音量高于(或低于)阈值或在范围内时，艺术意图可以被认为要被表达。例如基于音频渐入/渐出的检测，艺术意图可以被认为要被表达。音量的梯度可以被计算以检测音频渐入(例如在正音量梯度)或音频渐出(例如在负音量梯度)。例如当音频内容占据某范围的音频频率时，艺术意图可以被表达。例如，高于或低于截止频率的能量的计算值或某频带内的能量的计算值可以被确定为高于指示艺术意图表达的阈值。

伴随视频信号的音频信号的一个或多个声道可以被译码(例如压缩)。编码器和解码器可以使用压缩的音频信号来计算音频特性值。

艺术意图的表达或特性化不限于这里描述的示例。

特性值可以以标量或向量(例如两个或更多标量分量)的形式来表现。例如，色品特性和空间位置特性可以是二维的。二维特性cart的相应范围可以指定例如二维形状。二维范围可以具有任意形状。多边形近似可以被应用例如以指定针对任意形状的范围。

图12是使用多边形近似的二维cart形状的示例。图12示出了在色品图上指定椭圆形cart区域的示例。多边形(实线所示)可以用于例如近似椭圆形(虚线所示)。使用一个或多个多边形和/或其他形状表现来近似任意形状的cart可以提供益处。

多边形可以使用增加数量的顶点/边来近似具有增加的精度的形状。可以例如通过指定顶点/边的数量和顶点的坐标值来用信号通知多边形。确定给定点是否在多边形内侧可以减少用于确定是否(s(x，y))∈cart的时间。点是否在多边形内侧可以例如通过用有限个三角形表示多边形并确定点是否在任意三角形的内侧来决定。

可以使用使用n个顶点和该n个顶点的坐标的多边形近似来指定2维cart。值n可以例如由编解码选择。选择可以依据例如多边形近似的精度和信令开销之间的期望折衷。例如当特性是一维时，可以使用两个端点值来指定cart。例如当特性是深度时可以使用深度范围(dmin,dmax)来指定cart。例如当特性是亮度时可以使用亮度范围(lmin,lmax)来指定cart。一些用信号发送的参数可以具有浮点精度。作为示例，xy色品图上的亮度范围值或坐标可以是浮点数。浮点值的固定点近似可以用信号通知。固定点近似的精度(例如使用的比特数)可以作为cart信令的部分被用信号通知。例如可以使用一范围的值或区域表现(例如多边形)来指定cart，这可以指定特性值的集合中的一个或多个特性。

可以支持两种或更多类型的特性的组合。不同类型的特性可以彼此正交。作为示例，cart可以包括m个成员(例如正交)特性，cart＝{c⁰，c¹，..c^m-1}。cart的共同范围可以通过分开指定单独成员特性的范围而用信号通知。例如，艺术意图可以在色品范围和亮度范围内被表达。这可以被表示为m＝2,cart＝{c⁰，c¹},其中(色品特性)，和(亮度特性)。cart参数可以指定(例如使用多边形近似来指定色品值的区域)并可以指定(例如使用两个端点来指定亮度值的范围)。

例如当成员特性彼此不正交时，可以组合成员特性。例如，色品和亮度可以被组合一起以定义3d颜色量图(例如图6中示出的图)中的3d范围。可以例如通过用信号通知3d形状的表面来用信号通知3d范围。可以做出具有(x,y,z)坐标的点是否位于3d形状内的决定。

作为两种或更多类型的特性的组合的示例，假定c⁰代表可以被表示为例如空间/像素域中的多边形区域的感兴趣空间区域。假定c¹代表可以被表示为例如xy色品空间中的多边形区域的xy色品空间的区域。cart＝{c⁰,c¹}可以表示c⁰定义的的空间区域中的像素(例如所有像素)，其可以具有位于c¹定义的色品区域内的色度分量。这种类型的特性集合组合可以用于例如针对处理特定色品特性的屏幕区域中的像素集指定更高保真、修改的解块滤波或其他特殊处理。

用户界面可以被提供以允许用户(例如人类艺术家)提供用户输入以指定一个或多个特性集合c^x和特性值集合。用户界面工具可以允许用户在视频帧中标识感兴趣区域。例如，用户界面可以允许艺术家使用定点设备围绕显示的内容帧的区域绘制形状。该用户界面可以允许用户例如使用文本输入或值滑动器标识一个或多个特性，例如亮度和/或色度值的范围。用户界面可以允许用户例如使用颜色图(例如图5中示出的颜色图示例)指定颜色区域。用户界面可以允许用户例如使用文本输入或‘值滑动器’接口指定目标深度或深度值的范围。用户界面可以允许用户指定边缘朝向、边缘强度或纹理分类。

用户界面可以被配置成允许用户指向内容的视觉表现，例如以帮助选择值来定义特性集合。例如，用户可以指向显示的内容帧中的位置(x,y)。用户界面可以通过标识与该位置相关联的一个或多个值(例如，亮度、色度、深度、边缘强度、纹理分类)进行响应。用户界面可以允许用户选择一范围的值，其包括与所选位置相关联的值或以该值为中心。用户界面可以在显示的内容帧中显示指示(例如轮廓或高亮)，例如以标识位置的集合part(例如像素集)，其对应于由在用户界面中选择的值或值范围所定义的一个或多个特性值集合。复合特性集合可以例如从任意特性集合类型的两个或更多个特性集合的组合被形成。复合特性集合可以针对满足两个或更多个特性集合的位置或满足至少一个特性集合(例如用户选择或定义的多个特性集合的至少一个)的位置指定艺术意图。

用户界面可以允许用户选择和/或配置译码工具来处理艺术集合位置part。作为示例，用户界面可以允许用户指定可应用于与艺术集合相关联的像素和/或块的保真增强和qp调整值的应用。接口可以允许用户向与艺术集合相关联的像素和/或块指定增强环滤波器或修改的后处理阶段应用。用户接口可以允许用户指定和/或配置为处理艺术集合位置而将被添加或修改的一个或多个译码工具。

图13是cart信令的示例流程图。在图13中示出的示例中，cart中的成员特性的总数m可以用信号通知，例如被发送和/或被接收(例如在502)。对于成员特性cⁱ，其中i＝0至m-1，特性的类型可以被用信号通知，例如被发送和/或被接收(例如在504)。一种类型的特性可以是例如亮度、色品、深度、空间位置、边缘朝向、边缘强度、纹理属性或分类以及音频属性或效果。一种类型的cⁱ可以是例如2-d或1-d。例如，确定该类型的cⁱ可以例如是2-d(二维)还是1-d(一维)(例如在506)。在示例中(例如基于在506的确定)，该范围的cⁱ可以例如通过指定两个端点(例如如果为1-d)(例如在508)或cⁱ的多边形表示(例如如果为2-d)(例如在510)来被用信号通知，例如被发送和/或被接收。多边形表示可以通过用信号通知顶点数和顶点坐标来被用信号通知，例如被发送和/或接收(例如，在510)。这样，在示例中，当基于该确定成员特性cⁱ可以是一维时，可以使用使用端点的用于成员特性cⁱ的该特性类型的范围，包括发送和/或接收的(例如用信号通知的)，或者当基于该确定成员特性cⁱ可以是二维时，可以使用用于成员特性cⁱ的该特性类型的多边形表示，包括被发送和/或接收的(例如用信号通知的)。在示例中，可以在编码、解码、传递、处理和误差恢复的至少一者中可使用用于成员特性cⁱ的该特性类型的范围和/或用于成员特性cⁱ的该特性类型的多边形表示。如所示，这可以针对具有该总数个特性的特性集合中的每个成员特性cⁱ(例如在512中示出)被重复，或直到达到该集合中的总数个特性。

可以例如在序列级(例如在序列参数集、图片参数集、视频参数集)、图片级(例如图片参数集、片段头)或片级(例如片段头)发送cart信令(例如在译码的视频比特流中)。cart的信令可以作为sei消息被发送。sei消息(其可以在接收机处被接收、解析和解译)可以用于指导一个或多个后处理步骤，例如以改善具有艺术意图采样的区域的质量。后处理技术可以包括以后环方式应用的自适应环滤波器、跨分量滤波等。

译码工具可以被设计和/或修改以支持艺术意图的保留。量化可能在压缩期间带来信息丢失和信号失真。大量化步长可能导致明显的信息丢失，这可以意味着重构视频可能包括可见译码效应。明显的信息丢失可能是不期望的，尤其对于包括对应于艺术意图表达的采样的区域，例如part位置。位于part的采样的信号保真可以例如通过应用更细量化步长来译码相应part采样的预测残差而被保留。

图14是具有part块和常规块的译码单元(cu)的示例。图14示出了具有一些part采样(“x”采样)和一些常规采样(“o”采样)的cu。划分和处理可以是基于块的，例如而不是基于采样的。作为示例，图14中的cu可以被分成四个块。左边的两个块主要包括常规采样。具有主要常规采样的块可以被标记为常规块。右边的两个块主要包括part采样。具有主要part采样的块可以被标记为part块。

更细量化可以被应用到标记为part块的块。hevc中的cu级qp调整可以用于应用更细量化。但是，cu级qp调整不可以提供足够的粒度。图14中示出的示例中的cu级qp调整的应用可以将相同的qp应用到相同cu中的采样。较小cu级qp可以意味着常规块可以被较少量化，这可以导致比特率增加。更大cu级qp可以意味着part块可以遭受更多失真。

part采样可以例如通过在高级别指定增量(delta)qp值被保留具有高保真。高级别可以是例如序列级、图片级或片级。这可以称为基于艺术意图的qp调整。part采样可以通过量化part块(例如主要包括part采样的块)被保留。可以例如如之前所述的使用例如用信号通知的cart参数来标识part采样。例如当块包括部分、百分比或其他阈值级别的part采样时，块可以被标识为part块。作为示例，阈值可以被设定为10％或25％，由此包括多于10％或多于25％的part采样的任意块被标识为part块。

艺术意图qp调整可以被应用到part块。在高级别用信号通知的增量(delta)qp值可以例如在qp调整中被使用，例如通过从常规qp值减去增量qp以生成减小的qp值。减小的qp值可以被应用到part块以实现更细量化。块决定阈值的值和增量qp值可以是静态或动态的以及固定或可变的(例如值可以由用户配置，例如人类艺术家，并可以在内容比特流中被用信号通知)。

例如依据块中的part采样的数量或部分，变化的qp调整可以被应用到块。例如基于值deltaqp_max可以限制变化的qp调整。最大增量qp值(例如deltaqp_max)可以例如由人类艺术家定义。例如，具有一数量的part像素的块可以遵守qp调整，其中根据等式4来计算deltaqp：

deltaqp＝round(num(part)/num(block)*deltaqp_max)等式4

在等式4中，num(part)是当前块中的part像素的数量，num(block)是当前块中的像素的总数，deltaqp_max是当前艺术集合的最大qp调整以及round()可以是舍入运算。舍入运算可以保证deltaqp具有整数值。

针对例如不遵守量化之前变换的应用的块，作为part采样的确定的替代或附加的part块的确定可以被取消。针对一些块，变换被应用到预测残差(其一些可以对应于part采样且其他对应于常规采样)的块以生成可以被量化的变换系数。

在hevc中的tu级，例如，可以实现变换跳过模式。可以例如在变换跳过模式中可以将量化直接应用到空间域中的预测残差。例如给定不同的量化步长可以被应用到单独的采样位置，part块的标识可以被消除。不同的步长大小可以例如取决于采样是part采样还是常规采样。

基于艺术意图的qp调整可以具有一个或多个增量(delta)qp值。qp值可以对应于一个或多个颜色分量。量化步长大小可以针对不同的颜色分量独立地被调整。deltaqp和/或deltaqp_max的值可以由用户配置。

译码工具可以原始被设计和/或修改以保留艺术意图。解块滤波器可以被修改以保留艺术意图。作为示例，h.264和hevc中的解块滤波器可以用于降低边界之间的块效应并改善主观质量。

图15是使用相邻块(块p)和当前块(块q)的解块的示例。如图15所示，解块可以被应用到水平和垂直块边界。可以例如通过标识当前块(例如块q)的相邻块(例如块p)来应用解块。相邻块的标识可以取决于例如边缘方向。

可以计算p和q之间的边界强度(bs)参数。bs的计算可以取决于例如p和q的译码模式、p和q的参考图片、p和q的运动向量和/或在块p或块q中是否存在任意非零变换系数。bs可以控制解块滤波器的强度，其可以被应用于p和q中的相邻采样。

自适应解块滤波器可以被分开应用于亮度分量和色度分量。块边界的每一个边上的采样可以例如依据bs的值被滤波。bs的值可以例如多达四个亮度或色度。

可以例如通过考虑p和/或q是否是part块来决定边界强度bs。例如当p或q的一者或多者是part块时，bs的值可以增加由此更强的解块滤波器被应用以提供更高主观质量。可以简化解块复杂度。作为示例，例如当bs大于1时，可以滤波hevc中的色度分量。简化可以导致用于艺术意图保留目的重构信号中的色品的质量不足。例如通过在bs等于1时应用解块滤波器可以针对色度分量应用更强解块滤波器。

块p和块q的qp值可以分别被标记为qp(p)和qp(q)。例如基于多个因素(例如qp(p)和qp(q)的值)h.264和hevc的解块滤波过程可以是自适应的。在自适应解块滤波期间使用的qp(p)和qp(q)的值可以为来自在应用基于艺术意图的qp调整之前或之后的块qp值。

图16是用于艺术意图保留的基于块的视频解码器的示例的图。图16示出了图2中示出的基于块的混合视频解码器图的修改版本。如图16中所示，输入比特流被熵解码且该比特流被解包。

可以从该比特流获取模式和运动信息和cart参数。cart参数可以与预测的采样(或与重构采样)使用，例如以确定哪些块/采样是part块/采样(1620)。修改的逆量化(1610)和修改的环滤波器(1640)可以例如依据对哪些块/采样是part块/采样的确定而被应用。part块/采样决定(1620)可以用于将后处理(1630)应用到重构图片，例如以进一步存储和/或增强在显示器上呈现的图片中的艺术意图。后处理可以包括例如自适应环滤波器(例如用作后滤波器)和/或跨分量色度增强滤波器。

基于块的混合视频解码被示出作为图16中的示例。艺术意图保留技术可以应用于其他类型的视频译码系统。cart信令和part标识技术可应用于多种译码系统。例如，用信令发送cart参数可以与基于小波的视频译码系统或基于对象的视频译码系统结合以保留艺术意图。

用信号通知的艺术意图特性(例如cart参数)可以用于改善或增强视频传递系统的误差恢复/鲁棒性，例如视频传递系统依赖易于发生误差的信道(例如无线信道)。例如，在传输期间，一部分比特流可以丢失(例如由于崩溃的或丢失的分组)。解码器可以检测到丢失的采样对应于part块/采样。增强的误差隐藏算法可以被应用以隐藏丢失的块/采样。

在示例中，深度特性可以在cart中被用信号通知。解码器可以参考相应的深度图(假定接收到深度图)来确定丢失的采样是否对应于part块/采样。在示例中，可以在cart中用信号通知空间特性。解码器可以确定丢失的采样的位置来确定它们是否对应于part块/采样。解码器可以选择合适的误差隐藏策略来改善视频质量。在示例中，可以在cart中用信号通知色品(或亮度)特性。解码器可以确定丢失的采样是否对应于part位置。解码器可能不知道丢失的采样的采样值。解码器可以例如使用可用的相邻采样(例如，空间相邻采样和/或时间相邻采样)来帮助决定丢失的采样是否对应于part位置，并选择合适的误差隐藏技术。

编码器可以压缩不同片/瓦片(tile)中更重要或优先的采样，例如part采样。重要的片/瓦片可以与内容传递(例如传输)阶段和/或其他阶段中的较高优先级相关联。例如，基于cart信令可使用增强误差保护(例如更强fec码)和/或增强重传来改善qos。发射机/分组器可以例如使用基础流中的cart信令信息来确定用于传输/分组化的qos参数(例如误差保护率、传输优先级)。

可以标识具有更多或更少重要性的内容中的位置集合。cart是具有关于艺术意图的增强重要性的特性值的集合。part是具有关于艺术意图的增强重要性的采样位置的集合。艺术意图特性cart可以用信号通知并被用于标识艺术意图位置的集合part(例如如这里所述)。具有不同重要性等级的位置的集合可以被标识。

例如在内容创建过程期间可以标识具有降低(例如非常低)重要性的位置的集合。艺术家可以明确或隐含地将特性值的集合和/或采样位置的集合标识为具有“低重要性”。当例如艺术家对采样位置的集合没有额外关注时，其可能暗示没有艺术意图被表达。具有隐含的或明确的重要性降低的位置可以在译码、后处理和/或误差恢复期间被“取消强调”。例如，可以在译码期间可应用更严重的量化，环滤波或后滤波可以被简化或消除，和/或较低鲁棒误差保护可以用于降低的重要性的采样位置。

图17是针对任意位置的集合用信号通知重要性等级的示例流程图。特性的多个集合c^imp-k,k＝1…n可以被用信号通知(例如在602)。采样位置的相关联集合p^imp-k可以被标识(未示出，例如在602之后)。重要性指示符imp^k可以针对一个或多个集合c^imp-k被指派并用信号通知(例如在604)。图13示出了可以用于图17中示出的通用化信令框架的cart信令流程图的示例。例如，特性c^imp-k可以被用信号通知，例如如图13中所述被发送和/或接收(例如在606)。这可以针对每个集合被重复(例如如608所示)。

例如基于重要性指示符可以应用合适的译码、后处理和/或误差恢复措施。通用化重要性信令可以允许视频传递链在具有不同重要性等级的采样位置的集合之间增强资源分配。资源分配可以包括在压缩期间的比特率分配(例如，在具有更高重要性的信号上花费更多比特)。资源分配可以包括计算资源分配(例如更好处理和保留具有更高重要性的信号)。资源分配可以包括误差保护资源分配(例如具有更高重要性的信号的更强鲁棒误差保护)。

可以从重要性指示符值得到用于译码工具的配置参数。例如，重要性指示符可以用信号通知为0和100之间的值。针对用信号发送的qp值，50以上的重要性指示符可以指示qp降低，而低于50的重要性指示符可以指示qp增加。在示例中，增量(delta)qp的值可以基于重要性指示符与50之间的绝对差来计算。其他配置参数(例如解块滤波器选择、边界强度、信道译码强度、可接受重传数、可接受误差隐藏计算等级)可以基于重要性指示符来计算。

例如当来自具有不同重要性指示符的不同艺术意图集合的位置(例如像素)在单元中(例如，在要被传输的分组中、片中、块中)混合一起时，可以使用组合的重要性指示符来得到相关配置参数。例如，单元中的像素的重要性指示符的加权组合可以被计算，由共享重要性指示符的像素的数量加权且得到的组合的重要性指示符可以用于得到用于该单元的配置参数。

位置(x,y)可以属于多于一个的艺术意图集合规范。例如，第一艺术意图集合规范可以包括当前帧的空间区域。第二(例如分开的)艺术意图集合规范可以包括用于第一色度分量的值的范围。第一艺术意图集合规范可以与第一重要性指示符imp¹相关联。第二艺术意图集合规范可以与第二重要性指示符imp²相关联。位置(x,y)可以是在第一艺术意图集合规范的空间区域中且可以具有满足第二艺术意图集合规范的值的范围的色度分量。位置(x,y)可以与多于一个的艺术意图集合规范相关联。

位置(x,y)可以与多于一个的重要性指示符相关联。在示例中，组合的重要性指示符可以针对位置(x,y)被确定。组合的重要性指示符可以是与位置(x,y)相关联的多个重要性指示符的组合。例如，多个重要性指示符可以被相加或平均以确定针对位置(x,y)的组合的重要性指示符。多个重要性指示符的最大或最小值可以被计算以确定针对位置(x,y)的组合的重要性指示符。该组合的重要性指示符可以用作用于确定位置(x,y)和/或包括位置(x,y)的块应当如何被处理(例如使用添加和/或修改的译码工具)的重要性指示符。

译码针对各种艺术意图集合的通用重要性指示符可以提供便利的媒介供用户(例如人类艺术家)指示针对艺术意图集合的重要性等级。通用重要性指示符可以减少单独确定。通用重要性指示符可以用于设定用于处理艺术意图集合的各种译码工具的配置参数。用户可以期望对标识的艺术意图集合的处理的更细颗粒的控制。用户界面可以允许用户指定用于各种工具(例如译码工具、传递工具、误差隐藏工具)的详细的配置参数。可以针对一个或多个艺术集合用信号通知配置参数的详细集合。作为用信号通知imp^k的附加或替代，可以用信号通知工具配置参数，例如如在图17中示出的示例中。

通用化信令可以允许cart信令更有效率。例如，pnon-art可以被定义为没有艺术意图(例如低重要性)的位置的集合。pnon-art可以被定义为pnon-art中的一数量或百分比的(例如所有)位置共享的“非艺术意图”特性的集合。pnon-art的用信号通知可以导致比用信号通知cart更低的开销。

图18a是在其中可以实施一个或更多个实施方式的示例通信系统100的图。通信系统100可以是向多个用户提供内容，例如语音、数据、视频、消息发送、广播等的多接入系统。通信系统100可以使多个无线用户通过系统资源共享(包括无线带宽)访问这些内容。例如，通信系统100可以使用一种或多种信道接入方法，例如码分多址(cdma)，时分多址(tdma)，频分多址(fdma)，正交fdma(ofdma)，单载波fmda(sc-fdma)等。

如图18a所示，通信系统100可以包括无线发射/接收单元(wtru)102a、102b、102c、和/或102d(其通常或整体上被称为wtru)，无线电接入网(ran)103/104/105，核心网106/107/109，公共交换电话网(pstn)108、因特网110和其他网络112，不过应该理解的是，公开的实施方式考虑到了任何数量的wtru、基站、网络和/或网络元件。wtru102a、102b、102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何类型的设备。作为示例，可以将wtru102a、102b、102c、102d配置为发送和/或接收无线信号，并可以包括用户设备(ue)、基站、固定或者移动用户单元、寻呼器、蜂窝电话、个人数字助理(pda)、智能电话、笔记本电脑、上网本、个人计算机、无线传感器、消费电子产品等等。

通信系统100还可以包括基站114a和基站114b。基站114a、114b的每一个都可以是配置为与wtru102a、102b、102c、102d中的至少一个无线对接以便于接入一个或者更多个通信网络，例如核心网106/107/109、因特网110和/或网络112的任何设备类型。作为示例，基站114a、114b可以是基站收发信台(bts)、节点b、e节点b、家庭节点b、家庭e节点b、站点控制器、接入点(ap)、无线路由器等等。虽然基站114a、114b的每一个被描述为单独的元件，但是应该理解的是，基站114a、114b可以包括任何数量互连的基站和/或网络元件。

基站114a可以是ran103/104/105的一部分，ran103/104/105还可以包括其他基站和/或网络元件(未显示)，例如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理区域之内发送和/或接收无线信号，该区域可以被称为小区(未显示)。小区还可以被划分为小区扇区。例如，与基站114a关联的小区可以划分为三个扇区。因此，在一种实施方式中，基站114a可以包括三个收发信机，即每一个用于小区的一个扇区。在另一种实施方式中，基站114a可以使用多输入多输出(mimo)技术，因此可以将多个收发信机用于小区的每一个扇区。

基站114a、114b可以通过空中接口115/116/117与wtru102a、102b、102c、102d中的一个或者更多个通信，该空中接口115/116/117可以是任何合适的无线通信链路(例如，射频(rf)、微波、红外(ir)、紫外线(uv)、可见光等)。可以使用任何合适的无线电接入技术(rat)来建立空中接口115/116/117。

更具体地，如上所述，通信系统100可以是多接入系统，并可以使用一种或者多种信道接入方案，例如cdma、tdma、fdma、ofdma、sc-fdma等等。例如，ran103/104/105中的基站114a和wtru102a、102b、102c可以使用例如通用移动电信系统(umts)陆地无线电接入(utra)的无线电技术，其可以使用宽带cdma(wcdma)来建立空中接口115/116/117。wcdma可以包括例如高速分组接入(hspa)和/或演进的hspa(hspa+)的通信协议。hspa可以包括高速下行链路分组接入(hsdpa)和/或高速上行链路分组接入(hsupa)。

在另一种实施方式中，基站114a和wtru102a、102b、102c可以使用例如演进的umts陆地无线电接入(e-utra)的无线电技术，其可以使用长期演进(lte)和/或高级lte(lte-a)来建立空中接口115/116/117。

在其他实施方式中，基站114a和wtru102a、102b、102c可以使用例如ieee802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma20001x、cdma2000ev-do、暂行标准2000(is-2000)、暂行标准95(is-95)、暂行标准856(is-856)、全球移动通信系统(gsm)、gsm演进的增强型数据速率(edge)、gsmedge(geran)等等的无线电技术。

图18a中的基站114b可以是无线路由器、家庭节点b、家庭e节点b或者接入点，例如，并且可以使用任何适当的rat以方便局部区域中的无线连接，例如商业场所、住宅、车辆、校园等等。在一种实施方式中，基站114b和wtru102c、102d可以实施例如ieee802.11的无线电技术来建立无线局域网(wlan)。在另一种实施方式中，基站114b和wtru102c、102d可以使用例如ieee802.15的无线电技术来建立无线个域网(wpan)。在另一种实施方式中，基站114b和wtru102c、102d可以使用基于蜂窝的rat(例如，wcdma，cdma2000，gsm，lte，lte-a等)来建立微微小区或毫微微小区。如图18a所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网106/107/109而接入到因特网110。

ran103/104/105可以与核心网106/107/109通信，所述核心网106/107/109可以是被配置为向wtru102a、102b、102c、102d中的一个或更多个提供语音、数据、应用和/或基于网际协议的语音(voip)服务等的任何类型的网络。例如，核心网106/107/109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执行高级安全功能，例如用户认证。虽然图18a中未示出，应该理解的是，ran103/104/105和/或核心网106/107/109可以与使用和ran103/104/105相同的rat或不同rat的其他ran进行直接或间接的通信。例如，除了连接到正在使用e-utra无线电技术的ran103/104/105之外，核心网106/107/109还可以与使用gsm无线电技术的另一个ran(未示出)通信。

核心网106/107/109还可以充当wtru102a、102b、102c、102d接入到pstn108、因特网110和/或其他网络112的网关。pstn108可以包括提供普通老式电话服务(pots)的电路交换电话网络。因特网110可以包括使用公共通信协议的互联计算机网络和设备的全球系统，所述协议例如有tcp(传输控制协议)/ip(网际协议)网际协议组中的tcp、用户数据报协议(udp)和ip。网络112可以包括被其他服务提供商拥有和/或运营的有线或无线的通信网络。例如，网络112可以包括连接到一个或更多个ran的另一个核心网，该ran可以使用和ran103/104/105相同的rat或不同的rat。

通信系统100中的wtru102a、102b、102c、102d的一个或多个可以包括多模式能力，即wtru102a、102b、102c、102d可以包括用于在不同无线链路上与不同无线网络进行通信的多个收发信机。例如，图18a中示出的wtru102c可被配置为与基站114a通信，所述基站114a可以使用基于蜂窝的无线电技术，以及与基站114b通信，所述基站114b可以使用ieee802无线电技术。

图18b是wtru102示例的系统图。如图18b所示，wtru102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(gps)芯片组136和其他外围设备138。应该理解的是，wtru102可以在保持与实施方式一致时，包括前述元件的任何子组合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表示的节点，诸如但不局限于收发信台(bts)、节点b、站点控制器、接入点(ap)、家庭节点b、演进型家庭节点b(e节点b)、家庭演进型节点b(henb)、家庭演进型节点b网关和代理节点等，其中可以包括图18b所描绘和这里描述的一些或所有元件。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核相关联的一个或更多个微处理器、控制器、微控制器、专用集成电路(asic)、场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等等。处理器118可执行信号译码、数据处理、功率控制、输入/输出处理和/或使wtru102运行于无线环境中的任何其他功能。处理器118可以耦合到收发信机120，所述收发信机120可耦合到发射/接收元件122。虽然图18b描述了处理器118和收发信机120是单独的部件，但是应该理解的是，处理器118和收发信机120可以一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口115/116/117将信号发送到基站(例如，基站114a)，或从基站(例如，基站114a)接收信号。例如，在一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收rf信号的天线。在另一种实施方式中，发射/接收元件122可以是被配置为发送和/或接收例如ir、uv或可见光信号的发射器/检测器。在另一种实施方式中，发射/接收元件122可以被配置为发送和接收rf和光信号两者。应当理解，发射/接收元件122可以被配置为发送和/或接收无线信号的任何组合。

另外，虽然发射/接收元件122在图18b中描述为单独的元件，但是wtru102可以包括任意数量的发射/接收元件122。更具体的，wtru102可以使用例如mimo技术。因此，在一种实施方式中，wtru102可以包括用于通过空中接口115/116/117发送和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。

收发信机120可以被配置为调制将要由发射/接收元件122发送的信号和/或解调由发射/接收元件122接收的信号。如上面提到的，wtru102可以具有多模式能力。因此收发信机120可以包括使wtru102经由多个例如utra和ieee802.11的rat通信的多个收发信机。

wtru102的处理器118可以耦合到下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或显示/触摸板128。另外，处理器118可以从任何类型的适当的存储器访问信息，并且可以存储数据到任何类型的适当的存储器中，例如不可移动存储器130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器设备。可移动存储器132可以包括用户标识模块(sim)卡、记忆棒、安全数字(sd)存储卡等等。在其他实施方式中，处理器118可以从在物理位置上没有位于wtru102上，例如位于服务器或家用计算机(未示出)上的存储器访问信息，并且可以将数据存储在该存储器中。

处理器118可以从电源134接收电能，并且可以被配置为分配和/或控制到wtru102中的其他部件的电能。电源134可以是给wtru102供电的任何适当的设备。例如，电源134可以包括一个或更多个干电池(例如，镍镉(nicd)、镍锌(nizn)、镍氢(nimh)、锂离子(li-ion)等等)，太阳能电池，燃料电池等等。

处理器118还可以耦合到gps芯片组136，所述gps芯片组136可以被配置为提供关于wtru102当前位置的位置信息(例如，经度和纬度)。另外，作为来自gps芯片组136的信息的附加或其替代，wtru102可以通过空中接口115/116/117从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解，wtru102在保持实施方式的一致性时，可以通过任何适当的位置确定方法获得位置信息。

处理器118可以耦合到其他外围设备138，所述外围设备138可以包括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件模块。例如，外围设备138可以包括加速计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(usb)端口、振动设备、电视收发信机、免提耳机、蓝牙模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图18c是根据实施方式的ran103和核心网106的系统图。如上面提到的，ran103可使用utra无线电技术通过空中接口115与wtru102a、102b、102c通信。ran103还可以与核心网106通信。如图18c所示，ran103可以包括节点b140a、140b、140c，节点b140a、140b、140c的每一个包括一个或更多个用于通过空中接口115与wtru102a、102b、102c通信的收发信机。节点b140a、140b、140c的每一个可以与ran103内的特定小区(未显示)关联。ran103还可以包括rnc142a、142b。应当理解的是，ran103在保持实施方式的一致性时，可以包括任意数量的节点b和rnc。

如图18c所示，节点b140a、140b可以与rnc142a通信。此外，节点b140c可以与rnc142b通信。节点b140a、140b、140c可以通过iub接口分别与rnc142a、142b通信。rnc142a、142b可以通过iur接口相互通信。rnc142a、142b的每一个可以被配置以控制其连接的各个节点b140a、140b、140c。另外，rnc142a、142b的每一个可以被配置以执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图18c中所示的核心网106可以包括媒体网关(mgw)144、移动交换中心(msc)146、服务gprs支持节点(sgsn)148、和/或网关gprs支持节点(ggsn)150。尽管前述元件的每一个被描述为核心网106的部分，应当理解的是，这些元件中的任何一个可以被不是核心网运营商的实体拥有或运营。

ran103中的rnc142a可以通过iucs接口连接至核心网106中的msc146。msc146可以连接至mgw144。msc146和mgw144可以向wtru102a、102b、102c提供到电路交换网络(例如pstn108)的接入，以便于wtru102a、102b、102c和传统陆地线路通信设备之间的通信。

ran103中rnc142a还可以通过iups接口连接至核心网106中的sgsn148。sgsn148可以连接至ggsn150。sgsn148和ggsn150可以向wtru102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于wtru102a、102b、102c和ip使能设备之间的通信。

如上所述，核心网106还可以连接至网络112，网络112可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

图18d是根据实施方式的ran104和核心网107的系统图。如上面提到的，ran104可使用e-utra无线电技术通过空中接口116与wtru102a、102b、102c通信。ran104还可以与核心网107通信。

ran104可包括e节点b160a、160b、160c，但可以理解的是，ran104可以包括任意数量的e节点b而保持与各种实施方式的一致性。enb160a、160b、160c的每一个可包括一个或更多个用于通过空中接口116与wtru102a、102b、102c通信的收发信机。在一种实施方式中，e节点b160a、160b、160c可以使用mimo技术。因此，e节点b160a例如可以使用多个天线来向wtru102a发送无线信号和/或从其接收无线信号。

e节点b160a、160b、160c的每一个可以与特定小区关联(未显示)，并可以被配置为处理无线电资源管理决策、切换决策、在上行链路和/或下行链路中的用户调度等等。如图18d所示，e节点b160a、160b、160c可以通过x2接口相互通信。

图18d中所示的核心网107可以包括移动性管理实体(mme)162、服务网关164和/或分组数据网络(pdn)网关166。虽然前述单元的每一个被描述为核心网107的一部分，应当理解的是，这些单元中的任意一个可以由除了核心网运营商之外的实体拥有和/或运营。

mme162可以经由s1接口连接到ran104中的e节点b160a、160b、160c的每一个，并可以作为控制节点。例如，mme162可以负责wtru102a、102b、102c的用户认证、承载激活/去激活、在wtru102a、102b、102c的初始附着期间选择特定服务网关等等。mme162还可以提供控制平面功能，用于在ran104和使用例如gsm或者wcdma的其他无线电技术的其他ran(未显示)之间切换。

服务网关164可以经由s1接口连接到ran104中的enb160a、160b、160c的每一个。服务网关164通常可以向/从wtru102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能，例如在e节点b间切换期间锚定用户平面、当下行链路数据对于wtru102a、102b、102c可用时触发寻呼、管理和存储wtru102a、102b、102c的上下文(context)等等。

服务网关164还可以连接到pdn网关166，pdn网关166可以向wtru102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于wtru102a、102b、102c与ip使能设备之间的通信。

核心网107可以便于与其他网络的通信。例如，核心网107可以向wtru102a、102b、102c提供到电路交换网络(例如pstn108)的接入，以便于wtru102a、102b、102c与陆地线路通信设备之间的通信。例如，核心网107可以包括ip网关(例如ip多媒体子系统(ims)服务器)，或者与之通信，该ip网关作为核心网107与pstn108之间的接口。另外，核心网107可以向wtru102a、102b、102c提供到网络112的接入，该网络112可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图18e是根据实施方式的ran105和核心网109的系统图。ran105可以是使用ieee802.16无线电技术通过空中接口117与wtru102a、102b、102c进行通信的接入服务网络(asn)。如下面进一步讨论的，wtru102a、102b、102c，ran105和核心网109的不同功能实体之间的通信链路可以被定义为参考点。

如图18e所示，ran105可以包括基站180a、180b、180c和asn网关182，但应当理解的是，ran105可以包括任意数量的基站和asn网关而与实施方式保持一致。基站180a、180b、180c的每一个可以与ran105中特定小区(未示出)关联并可以包括一个或更多个通过空中接口117与wtru102a、102b、102c通信的收发信机。在一个实施方式中，基站180a、180b、180c可以使用mimo技术。因此，基站180a例如使用多个天线来向wtru102a发送无线信号，或从其接收无线信号。基站180a、180b、180c可以提供移动性管理功能，例如呼叫切换(handoff)触发、隧道建立、无线电资源管理，业务分类、服务质量(qos)策略执行等等。asn网关182可以充当业务聚集点，并且负责寻呼、缓存用户简档(profile)、路由到核心网109等等。

wtru102a、102b、102c和ran105之间的空中接口117可以被定义为使用802.16规范的r1参考点。另外，wtru102a、102b、102c的每一个可以与核心网109建立逻辑接口(未显示)。wtru102a、102b、102c和核心网109之间的逻辑接口可以定义为r2参考点，其可以用于认证、授权、ip主机(host)配置管理和/或移动性管理。

基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于wtru切换和基站间转移数据的协议的r8参考点。基站180a、180b、180c和asn网关182之间的通信链路可以定义为r6参考点。r6参考点可以包括用于基于与wtru102a、102b、102c的每一个关联的移动性事件促进移动性管理的协议。

如图18e所示，ran105可以连接至核心网109。ran105和核心网109之间的通信链路可以定义为包括例如促进数据转移和移动性管理能力的协议的r3参考点。核心网109可以包括移动ip本地代理(mip-ha)184，认证、授权、计费(aaa)服务器186和网关188。尽管前述的每个元件被描述为核心网109的部分，应当理解的是，这些元件中的任意一个可以由不是核心网运营商的实体拥有和/或运营。

mip-ha可以负责ip地址管理，并可以使wtru102a、102b、102c在不同asn和/或不同核心网之间漫游。mip-ha184可以向wtru102a、102b、102c提供分组交换网络(例如因特网110)的接入，以促进wtru102a、102b、102c和ip使能设备之间的通信。aaa服务器186可以负责用户认证和支持用户服务。网关188可促进与其他网络互通。例如，网关188可以向wtru102a、102b、102c提供电路交换网络(例如pstn108)的接入，以促进wtru102a、102b、102c和陆地线路通信设备之间的通信。此外，网关188可以向wtru102a、102b、102c提供网络112，其可以包括由其他服务提供商拥有或运营的其他有线或无线网络。

尽管未在图18e中显示，应当理解的是，ran105可以连接至其他asn，并且核心网109可以连接至其他核心网。ran105和其他asn之间的通信链路可以定义为r4参考点，其可以包括协调ran105和其他asn之间的wtru102a、102b、102c的移动性的协议。核心网109和其他核心网之间的通信链路可以定义为r5参考点，其可以包括促进本地核心网和被访问核心网之间的互通的协议。

公开了用于保留内容中的艺术意图的表达的基于艺术意图的内容译码的系统、方法和装置。艺术意图的表达被标识(例如通过信令或内容分析)并被表达为艺术意图位置part和艺术意图特性cart的集合。艺术意图特性cart可以被用信号通知并用于标识艺术意图位置part。艺术意图保留译码和处理可以被应用到采样位置part以保留特性cart。译码用户界面可以允许用户指定艺术集合(例如part和/或cart)并选择和/或配置与艺术集合相关联的像素和/或块的处理，例如保真增强、qp调整值和/或后处理。内容优先级或重要性等级可以被隐含地或明确地指示在内容的细(例如像素、采样)和/或粗(例如块)等级，以变化(例如增强，降低)内容译码、传递、处理和/或误差恢复/鲁棒性中的处理的等级。

虽然这里可以使用术语像素、采样、采样值等，但可以且应当理解这些术语的使用可以互换使用，且由此可以不作区分。

类似地，虽然这里可以使用术语特性、特性集合、艺术意图的特性等，但是可以且应当理解这些术语的使用可以互换使用且由此可以不作区分。

虽然以上以特定组合描述了特征和元素，但是本领域技术人员可以理解每个特征或元素能够单独使用或与其他特征或元素任意结合使用。此外，这里描述的方法可以用计算机程序、软件和/或固件实现，其可包含到由计算机或处理器执行的计算机可读介质中。计算机可读介质的示例包括电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括，但不限制为，只读存储器(rom)、随机存取存储器(ram)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如内部硬盘和可移动磁盘)、磁光介质和光介质(例如cd-rom盘和数字通用盘(dvd))。与软件关联的处理器用于实现射频收发信机，用于wtru、ue、终端、基站、rnc或任何主计算机。