通过在平坦检查中使用相邻像素信息和/或将平滑功能应用于量化参数/像素值以改进视 ...的制作方法
【专利说明】通过在平坦检查中使用相邻像素信息和/或将平滑功能应用于量化参数/像素值以改进视觉的质量的方法和装置
[0001]相关串请的交叉参考
[0002]本申请要求序列号为61/904,490(2013年11月15日申请)的美国临时申请，序列号为61/895，454(2013年10月25日申请)的美国临时申请，以及序列号为61/895，461 (2013年10月25日申请)的美国临时申请的优先权。相关申请的全部内容参考并入本文。
技术领域
[0003]所公开的本发明的实施例关于图像处理，且更特别地，关于用于通过使用从相邻图片区域借来的像素执行平坦检查和/或控制涉及编码邻近图片区域的边界的相反侧上的邻近像素组的量化参数/像素值来改进视觉质量的方法和装置。
【背景技术】
[0004]显示接口可位于应用处理器(Applicat1n Processor，AP)和显示驱动器集成电路(Display Driver Integrated Circuit，DDIC)之间，以从 AP 发送显示数据到 DDIC 用于进一步处理。当显示面板支持更高显示分辨率时，可以实现具有更高分辨率的2D/3D显示。因此，通过显示接口发送的显示数据会具有更大的数据大小/数据率，这将不可避免地增加显示接口的功耗。如果AP和DDIC均位于由电池装置供电的便携式装置(例如，智能手机)中，则电池寿命将由于显示接口增加的功耗而缩短。
[0005]类似地，照相机接口可位于照相机模块和图像信号处理器(Image SignalProcessor，ISP)之间，以从照相机模块发送多媒体数据到ISP用于进一步处理。ISP可以是应用处理器的一部分。当具有更高分辨率的照相机传感器应用于照相机模块时，所俘获的通过照相机接口发送的图像数据会具有更大的数据大小/数据率，这将不可避免地增加照相机接口的功耗。如果照相机模块和ISP均位于由电池装置供电的便携式装置(例如，智能手机)中，则电池寿命将由于照相机接口增加的功耗而缩短。
[0006]数据压缩可被采用以减小通过传送接口(例如，显示接口或照相机接口)发送的图片数据的数据大小/数据率。为了使能在编码器侧、解码器侧或两侧的平行处理，提出将一个图片分为多个图片区域(例如，切片或图块/图格)。然而，就单个端口压缩的数据传送应用而言，切片宽度可能不是可以由像素组宽度来平均分割的。类似地，就多端口压缩的数据传送应用而言，图块/图格宽度可能不是可以由像素组宽度来平均分割的。典型的编码器设计可采用像素填补以获得需要的像素。例如，一个现存的像素可以被复制以创建一个或多个填补像素。然而，切片边界条件可使处理更复杂，且这样的像素填补操作不考虑视觉的质量。另外，邻近图片区域是独立编码的。邻近图片区域之间边界的视觉的质量可由于分配给边界的相反侧的像素组的量化参数之间的严重的差异而恶化。
【发明内容】
[0007]根据本发明示范性的实施例，提出通过使用从相邻图片区域借来的像素执行平坦检查和/或控制涉及编码邻近图片区域的边界的相反侧上的邻近像素组的量化参数/像素值来改进视觉质量的方法和装置。
[0008]根据本发明的第一方面，揭示示范性图像处理方法。示范性图像处理方法包含:将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，每个像素组行包含至少一个像素组，且图片区域包含水平邻近于彼此的第一图片区域和第二图片区域；以及通过使用从第二图片区域借来的至少一个像素对第一图片区域的像素组行中的具体像素组执行平坦检查。
[0009]根据本发明的第二方面，揭示示范性图像处理方法。示范性图像处理方法包含:将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，且每个像素组行包含至少一个像素组；通过使用在像素组行的右边缘外的至少一个第一像素，对图片区域的像素组行中的最后像素组执行平坦检查；以及通过使用在像素组行的右边缘外的至少一个第二像素，编码图片区域的像素组行中的最后像素组。像素组行的右边缘不是图片的右边缘，且至少一个第一像素的来源不同于至少一个第二像素的来源。
[0010]根据本发明的第三方面，揭示示范性图像处理方法。示范性图像处理方法包含:将图片分割为多个图片区域，其中每个图片区域包含多个像素组，图片区域包含第一图片区域和第二图片区域，且第一图片区域的第一像素组和第二图片区域的第二像素组邻近于彼此并位于第一图片区域和第二图片区域之间的边界的相反侧；并控制涉及编码第一像素组的第一数据集以及涉及编码第二像素组的第二数据集，以确保满足至少一个预定义的准则。
[0011]根据本发明的第四方面，揭示图像处理装置。图像处理装置包含分割确定电路和平坦确定电路。分割确定电路配置为将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，每个像素组行包含至少一个像素组，且图片区域包含水平邻近于彼此的第一图片区域和第二图片区域。平坦确定电路配置为通过使用从第二图片区域借来的至少一个像素对第一图片区域的像素组行中的具体像素组执行平坦检查。
[0012]根据本发明的第五方面，揭示示范性图像处理装置。示范性图像处理装置包含分割确定电路、平坦确定电路和编码电路。分割确定电路配置为将图片分割为多个图片区域，其中每个图片区域包含至少一个像素组行，且每个像素组行包含至少一个像素组。平坦确定电路配置为通过使用在像素组行的右边缘外的至少一个第一像素，对图片区域的像素组行中的最后像素组执行平坦检查。编码电路配置为通过使用在像素组行的右边缘外的至少一个第二像素，编码图片区域的像素组行中的最后像素组。像素组行的右边缘不是图片的右边缘，且至少一个第一像素的来源不同于至少一个第二像素的来源。
[0013]根据本发明的第六方面，揭示示范性图像处理装置。示范性图像处理装置包含分割确定电路和视觉质量增强电路。分割确定电路配置为将图片分割为多个图片区域，其中每个图片区域包含多个像素组，图片区域包含第一图片区域和第二图片区域，且第一图片区域的第一像素组和第二图片区域的第二像素组彼此邻近并位于第一图片区域和第二图片区域之间的边界的相反侧。视觉质量增强电路配置为控制涉及编码第一像素组的第一数据集以及涉及编码第二像素组的第二数据集，以确保满足至少一个预定义的准则。
[0014]在阅读了图示于附图中的优选实施例的以下详细描述后，本发明的这些和其它目标对于本领域的普通技术人员毫无疑问地变得清楚。
【附图说明】
[0015]图1是图示根据本发明的实施例的图像处理装置的示意图。
[0016]图2是图示根据本发明的实施例的图片的基于切片的分割设定的示意图。
[0017]图3是图示根据本发明的实施例的图片中切片的分割设定的示意图。
[0018]图4是图示每个具有不能由像素组宽度平均分割的切片宽度的两个切片的示意图。
[0019]图5是图示在显示于图4中的两个切片之间的切片边界附近的像素组上执行所提出的平坦检查的示意图。
[0020]图6是图示用于编码器侧平坦检查的像素的示意图。
[0021]图7是图示每个切片包含可以由像素组宽度平均分割的切片宽度的两个切片的示意图。
[0022]图8是图示在显示于图7中的两个切片之间的切片边界附近的像素组上执行的所提出的平坦检查的示意图。
[0023]图9是图示根据本发明的实施例的另一图像处理装置的示意图。
[0024]图10是图示根据本发明的实施例的图片的基于图块的分割设定的示意图。
[0025]图11是图示根据本发明的实施例的具有由多个显示驱动器集成电路驱动的重叠的显示区域的显示屏幕的示意图。
[0026]图12是图示根据本发明的实施例的图片的另一基于图块的分割设定的示意图。
[0027]图13是图示使用多个编码器以编码多个图块的第一操作场景的示意图。
[0028]图14是图示使用多个编码器以编码多个图块的第二操作场景的示意图。
【具体实施方式】
[0029]遍及整篇描述和权利要求的某些术语用于指代特定部件。如本领域的技术人员意识到的，制造商可用不同的名称指代部件。此文档不打算区别名称不同但功能相同的部件。在权利要求和下文的描述中，术语“包括”和“包含”用于开放方式，且因此应该解释为意思是“包含，但不限于”。而且，术语“耦合”意于表示间接或直接电连接。因此，如果一个装置耦合到另一装置，那个连接可以通过直接电连接，或通过经由其它装置和连接的间接电连接。
[0030]本发明提出将数据压缩应用到图片，然后通过传送接口发送压缩后的图片。由于压缩后的图片的数据大小/数据率小于原始未压缩的图片的数据大小/数据率，传送接口的功耗相应地降低。关于数据压缩，本发明提出通过使用从相邻图片区域借来的像素执行平坦检查。以此方式，平坦检查结果更准确，由此改进邻近图片区域之间的边界的视觉的质量。此外，本发明也提出使用平滑功能以控制涉及编码邻近图片区域的边界的相反侧的邻近像素组的量化参数/像素值。失真问题可以缓解或避免，由此改进邻近图片区域之间的边界的视觉的质量。以示例的方式，但并非限制，所提出的平坦检查和/或所提出的平滑功能可以由编码标准采用，例如，视频电子设备标准关联(VESA)显示流压缩(DSC)，以达到更好的视觉的质量。所提出的平坦检查和平滑功能的进一步细节将描述于下。
[0031]图1是图示根据本发明的实施例的图像处理装置的示意图。图像处理装置100包含压缩器102和输出接口 104。压缩器102可包含分割确定电路111、平坦确定电路112、填补电路113、编码电路114、率控制器115、视觉质量增强电路116以及配置电路118。应该注意到，仅仅与本发明有关的电路部件显示于图1。在实践中，图像处理装置100可配置为具有附加的电路部件。
[0032]压缩器102配置为压缩(S卩，编码)图片MG以生成压缩后的图片。输出接口 104耦合于压缩器102和传送接口 101之间，且配置为传送压缩后的图片(S卩，图片MG的编码后的数据)作为通过传送接口 101的比特流BS。具体地，图像处理装置100位于编码器侧，且通过传送接口 101的单个传送端口 103生成比特流BS到解码器侧。
[0033]在一个示范性实现中，图像处理装置100可以实施于照相机模块中，并可发送比特流BS到图像信号处理器(ISP)。ISP可以是应用处理器(AP)的部分。因此，即将由所提出的图像处理装置100处理的图片MG可以从照相机模块中的照相机传感器的输出派生。此外，传送接口 101可以是由移动产业处理器接口(MIPI)标准化的照相机串