专利名称：不良像素群集的检测的制作方法
技术领域：
本发明大体上涉及不良像素群集检测。
背景技术：
技术的进步已带来更小且更强大的计算装置。举例来说，当前存在各种便携式个 人计算装置，其包括体积小、重量轻且易于由用户携带的无线计算装置，例如便携式无线电 话、个人数字助理(PDA)及寻呼装置。更具体来说，例如蜂窝式电话及因特网协议(IP)电 话等便携式无线电话可在无线网络上传送语音及数据包。另外，许多这些无线电话包括并 入于其中的其它类型装置。举例来说，无线电话还可包括数字静态相机、数字摄影机、数字 记录器及音频文件播放器。而且，这些无线电话可处理包括软件应用程序(例如，网络浏览 器应用程序)的可执行指令，所述可执行指令可用以接入因特网。因而，这些无线电话可包 括显著的计算能力。数字信号处理器(DSP)、图像处理器及其它处理装置频繁地用于包括数字相机或 显示通过数字相机俘获的图像或视频数据的便携式个人计算装置中。这些处理装置可用以 提供视频及音频功能，处理例如图像数据等所接收数据或执行其它功能。图像数据可包括具有不正确值的单一像素或像素群集，所述不正确值可由图像阵 列的一个或一个以上故障单元、由灰尘、由相机镜头上的划痕或其它像差而产生，或归因于 其它原因而产生。这些不良像素或缺陷像素可经检测并校正以改善所显示图像的质量。然 而，便携式计算装置中不良像素群集的准确检测及校正可受限于可用处理资源。
发明内容
在一特定实施例中，揭示一种包括不良像素校正模块的系统，所述不良像素校正 模块经耦合以接收图像数据且适于执行不良像素群集检测过程。所述不良像素校正模块包 括用以确定两个测试像素是否具有超出周围像素的群组的代表值超过阈值量的值的逻辑。 所述阈值量是经由表查找而确定。在另一特定实施例中，揭示一种包括信号处理器的系统，所述信号处理器适于通 过确定第一测试像素及第二测试像素具有上限以上或下限以下的值的时间而检测图像数 据中的不良像素群集。所述上限及所述下限是基于包围所述第一测试像素及所述第二测试 像素的至少八个像素的群组的像素值来确定。所述信号处理器进一步适于产生具有对应于 所述所检测的不良像素群集的经修改像素值的经处理图像数据。所述系统还包括显示控制 器，其经耦合以接收所述经处理图像数据并将所述经处理图像数据提供给显示装置。在另一特定实施例中，揭示一种方法。所述方法包括接收图像数据及选择所述图 像数据的第一测试像素。所述第一测试像素具有第一测试像素值。所述方法还包括选择所 述图像数据的第二测试像素。所述第二测试像素具有第二测试像素值，且所述第二测试像 素邻近于或对角于所述第一测试像素。所述方法进一步包括基于评估周围像素的群组而确 定所述第一测试像素与所述第二测试像素是否形成不良像素群集。所述周围像素的群组的每一像素为所述第一测试像素或所述第二测试像素的最近相邻像素。所述周围像素的群组 的至少第一像素并非为所述第一测试像素的最近相邻像素，且所述周围像素的群组的至少 第二像素并非为所述第二像素的最近相邻像素。在另一特定实施例中，所述方法包括接收图像数据并选择所述图像数据的第一测 试像素，其中所述第一测试像素具有第一测试像素值。所述方法还包括测试所述第一测试 像素以至少基于包括所述第一测试像素的最近相邻像素的周围像素的第一群组来确定所 述第一测试像素是否为不良像素群集的部分。在基于所述周围像素的第一群组评估所述第 一测试像素之后，所述方法包括基于像素的经扩展群组的像素值而确定所述第一测试像素 是否为不良像素。所述像素的经扩展群组包括所述最近相邻像素中的至少一些，且进一步 包括并非为所述第一测试像素的最近相邻像素的像素。由所述不良像素群集检测方法的实施例所提供的一个特定优点为使用可在便携 式计算装置处执行的相对较小数目的处理步骤来有效地检测不良像素及不良像素群集。在审阅整个申请案之后，本发明的其它方面、优点及特征将变得显而易见，整个申 请案包括以下章节
具体实施方式
及权利要求书。
图1为包括具有不良像素群集检测模块的图像处理系统的系统的特定说明性实 施例的框图；图2为用以检测不良像素群集的系统的第一说明性实施例的数据流程图；图3为用以检测不良像素群集的系统的第二说明性实施例的数据流程图；图4为检测不良像素群集的方法的第一说明性实施例的流程图；图5为检测不良像素群集的方法的第二说明性实施例的流程图；图6为检测不良像素群集的方法的第三说明性实施例的流程图；图7为包括不良像素群集检测模块的装置的特定实施例的框图；及图8为包括不良像素群集检测模块的便携式通信装置的框图。
具体实施例方式图1为包括具有不良像素群集检测及校正模块的图像处理系统的系统的特定说 明性实施例的框图。系统100包括耦合到图像处理系统130的图像俘获装置101。图像处理 系统130耦合到图像存储装置140。图像处理系统130经配置以从图像俘获装置101接收 图像数据109，并基于一群组周围像素而检测并校正图像数据109的不良像素群集。通常， 系统100可实施于便携式电子装置中，所述便携式电子装置经配置以使用相对有限的处理 资源执行实时图像处理。在一特定实施例中，图像俘获装置101为相机，例如摄影机或静态相机。图像俘获 装置101包括对聚焦模块104及曝光模块106做出响应的透镜102。传感器108经耦合以 经由透镜102接收光，且响应于经由透镜102接收的图像而产生图像数据109。聚焦模块 104可对传感器108做出响应，且可适于自动控制透镜102的聚焦。曝光模块106也可对传 感器108做出响应，且可适于控制图像的曝光。在一特定实施例中，传感器108包括多个检 测器或像素阱，其经布置使得邻近检测器检测不同色彩的光。举例来说，所接收的光可经过滤，使得每一检测器接收红色、绿色或蓝色传入光。图像俘获装置101经耦合以向图像处理系统130提供图像数据109。图像处理系 统130包括不良像素群集检测及校正模块110，如关于图2到图8所论述，所述不良像素群 集检测及校正模块110经配置以基于一群组周围像素而检测不良像素群集。图像处理系统 130还包括解马赛克模块112，所述解马赛克模块112对从不良像素群集检测及校正模块 110接收到的经处理的成像数据执行解马赛克操作。色彩校正模块114经配置以对经解马 赛克的图像数据执行色彩校正。伽玛(gamma)模块116经配置以由从色彩校正模块114接 收到的数据产生经伽玛校正的数据。色彩转换模块118经耦合以对经伽玛校正的图像数据 执行色彩空间转换。压缩及存储模块120经耦合以接收色彩转换模块118的输出，并将经 压缩的输出数据存储到图像存储装置140。图像存储装置140可包括任何类型存储媒体，例 如一个或一个以上显示缓冲器、寄存器、高速缓冲存储器、快闪存储器元件、硬盘、任何其它 存储装置或其任何组合。在操作期间，不良像素群集检测及校正模块110可检测并校正输入图像数据109 的不良像素群集。举例来说，不良像素群集可由于增大或降低的像素敏感度、由于到传感器 108的像素阱中的电流泄漏、由于透镜102与传感器108之间的尘粒或其它原因而引起。基 于输入图像数据109的一个或一个以上群组的周围像素而检测不良像素群集实现了具有 准确的不良像素群集检测的有效图像处理。图2为用以检测不良像素群集的系统的第一说明性实施例的数据流程图。在一特 定实施例中，可在图1的不良像素群集检测及校正模块110中实施系统200。图像数据202 提供到不良像素检测模块204。阈值查找表206对于不良像素检测模块204也是可存取的。 基于特定像素与一个或一个以上群组的周围像素的比较，例如根据第一图案220、第二图案 230、第三图案M0、第四图案250或第五图案沈0，不良像素检测模块204可确定特定像素 为经隔离的不良像素或是不良像素群集的部分，且可产生错误信号211。错误信号211可提 供到不良像素校正模块212。图像数据202经说明为包括排列成具有索引值1到5的行及列的像素数据。图像 数据202可表示正针对不良像素检测进行处理的较大图像的一部分。(行，列)=(3,3)处 的中心像素具有经说明为垂直、水平和对角地邻近于中心像素的八个带阴影像素的八个最 近相邻像素216。除标记为“A”的中心像素及标记为“B”的(3, 处的像素(所述两个像 素形成群集214)外，图像数据202的所有像素标记为“X”。在第一实施例中，标记为“A”及 “B”的像素各自具有小于标记为“X”的像素的最小值的像素值，且群集214可称为冷群集。 在另一实施例中，标记为“A”及“B”的像素各自具有大于标记为“X”的像素的最大值的像 素值，且群集214可称为热群集。在一特定实施例中，图像数据202的每一像素的值指示像素的亮度或强度级。举 例来说，每一像素可表示在图像传感器的对应检测器单元处接收到的光。像素的强度可将 在对应检测器单元处接收到的光的相对量指示为数值。像素强度可表示为(例如)在0到 255的范围内的数字，其中0指示在像素位置处无光，且255表示像素位置处的最大量的光。 此外，在一特定实施例中，像素强度值与对应状态或例如红色、绿色或蓝色色彩通道等色彩 通道相关联。然而在其它实施例中，像素值可能并不指示与色彩通道相关联的强度级，且可 替代地指示例如色调、饱和度及值(HSV)数据等其它像素数据。
在一特定实施例中，为了与例如图像数据202的标记为“A”的像素等测试中像素 进行比较，图案220、230、240及250指示经说明为带阴影圆圈的周围像素的群组。举例来 说，第一图案220包括第一测试像素222、邻近于第一测试像素222的第二测试像素224， 及周围像素226的第一群组。周围像素226的第一群组包括环绕第一测试像素222及第二 测试像素2M形成矩形图案的十个像素。第二图案230包括第一测试像素232、对角于第 一测试像素232的第二测试像素234，及周围像素236的第二群组。周围像素236的第二群 组包括环绕第一测试像素232及第二测试像素234形成不规则六角形图案的八个像素。第 三图案240包括第一测试像素对2、邻近于第一测试像素242的第二测试像素M4，及周围 像素M6的第三群组。第四图案250包括第一测试像素252、对角于第一测试像素252的 第二测试像素254，及周围像素256的第四群组。周围像素226、236、246及256的每一群组中的每一像素分别为第一测试像素222、 232,242或252中的至少一者的最近相邻像素，或分别为第二测试像素224、234、244或2M 中的至少一者的最近相邻像素。此外，周围像素226、236、246及256的每一群组中的至少 一第一像素并非分别为第一测试像素222、232、242或252的最近相邻像素，且周围像素的 群组中的至少一第二像素并非分别为第二测试像素224、234、244或254的最近相邻像素。 举例来说，周围像素226的第一群组包括为第二测试像素224的最近相邻像素且并非为第 一测试像素222的最近相邻像素的三个像素228。周围像素226的第一群组还包括为第一 测试像素222的最近相邻像素且并非为第二测试像素2M的最近相邻像素的三个像素229。 作为另一实例，周围像素236的第二群组包括为第二测试像素234的最近相邻像素且并非 为第一测试像素232的最近相邻像素的三个像素238。周围像素236的第二群组还包括为 第一测试像素232的最近相邻像素且并非为第二测试像素234的最近相邻像素的三个像素 239。不良像素检测模块204经配置以使用第一图案220通过比较测试像素222及2 的值与周围像素位置2 的第一群组中的像素的值来确定图像数据202中的对应于第一测 试像素222及第二测试像素2M的像素是否形成不良像素群集或“双不良”群集。类似地， 不良像素检测模块204经配置以使用第二图案230通过比较像素232及234的值与周围像 素236的第二群组的像素的值来确定第一测试像素232及第二测试像素234是否形成图像 数据202中的不良像素群集。不良像素检测模块204还经配置以使用第三图案240通过比 较像素242及244的值与周围像素246的第三群组的像素的值来确定第一测试像素242及 第二测试像素244是否形成图像数据202中的不良像素群集。不良像素检测模块204进一 步经配置以使用第四图案250通过比较像素252及254的值与周围像素256的第四群组的 像素的值来确定第一测试像素252及第二测试像素2M是否形成图像数据202中的不良像 素群集。此外，第五图案260可由不良像素检测模块204使用以选择像素沈6的群组与例 如图像数据202的标记为“A”的像素等测试中像素进行比较，从而确定所述测试中像素为 经隔离的不良像素还是“单一不良”像素。不良像素检测模块204可基于像素沈6的不同于 周围像素220、230、240或250的群组的经扩展群组的像素值来确定第一测试像素262是否 为不良像素。不良像素检测模块204可比较第一测试像素值与沿着从第一测试像素262径 向向外的十六个均勻隔开的方向最接近第一测试像素262的每一像素的值，以确定第一测试像素262是否为不良像素。像素266的经扩展群组包括为第一测试像素的最近相邻像素 的像素以及并非为第一测试像素262的最近相邻像素的至少两个像素。举例来说，像素沈6 的经扩展群组包括为沿着八个大体上均勻隔开的线270到277最接近第一测试像素262的 每一像素，所述线270到277在第一测试像素262处相交。沿着线270、272、274及276的 经扩展像素沈6的群组中的像素为第一测试像素沈2的最近相邻像素，而沿着线271、273、 275及277的像素并非为第一测试像素沈2的最近相邻像素。基于错误信号211，不良像素校正模块212可经配置以修改不良像素群集的像素 的值或个别不良像素的值。举例来说，当群集214经识别为不良像素群集时，不良像素群集 校正模块212可将群集214的每一像素的值设定为周围像素226、236、M6、256或沈6的群 组的最大值(对于热群集)，或设定为最小值(对于冷群集)。作为其它实例，基于周围像 素的最大或最小值、中间值、平均值或任何其它代表值可用以替换或确定群集214的值。在操作期间，系统200可对通过图像传感器俘获、从存储器检索或经由无线或有 线传输接收到的图像数据执行不良像素群集检测过程。系统200可逐像素遍历像素数据， 且在每一特定像素处评估图像数据的对应于以特定像素为中心的像素226、236、M6、256 &滅的群组的周围像素的值，以检测双不良像素及单一不良像素。系统200可执行第一 通过(pass)以检测热像素群集且执行第二通过以检测冷像素群集，或另外可在对图像数 据的单一通过中执行热群集及冷群集两者的检测过程。对于每一选定像素，不良像素检测模块204可通过评估如在图案220、230、240及 250中表示的相邻像素值来确定选定像素是否为不良像素群集的部分。通过使用第一图案 220进行说明，不良像素检测模块204可确定图像数据202中的对应于第一图案220的第 一测试像素222及第二测试像素224的像素的值。图像数据202中的对应于第一测试像素 222的像素“A”具有值“VA”，且图像数据202中的对应于第二测试像素224的像素“B”具 有值“VB”。不良像素检测模块204可比较值Va或Vb与来自相邻像素的一个或一个以上代 表值(例如，最大相邻像素值、最小相邻像素值、次最大或次最小相邻像素值、中间值、平均 值或任何其它代表值)。在说明性实施例中，不良像素检测模块204确定图像数据202中的对应于周围像 素226的第一群组的像素的值，且产生从周围像素2 的第一群组的最大值Vuppct到周围像 素226的第一群组的最小值V1otct的周围值四4的有序集合。不良像素检测模块204可比 较测试像素222及224的较低值Va或Vb与VuppCT。当测试像素222及224的较小值Va或Vb 大于Vuppct —大于上阈值Tuppct292的量时，则测试像素222及2M被确定为热群集。类似地， 不良像素检测模块204可比较测试像素222及224的较大值Va或Vb与V1(WCT。当测试像素 222及224的较大值Va或Vb小于V1otct —大于下阈值T1otct296的量时，则测试像素222及 224被确定为冷群集。如果测试像素222及2M并未确定为不良像素群集的部分，则不良像 素检测模块204可针对图案230、240及250中的每一者重复比较过程。在一特定实施例中，上阈值TuppeJ92、下阈值I\。wct296或两者可通过在阈值查找表 206处执行一个或一个以上查找操作来确定。阈值查找表206可依据色彩通道、强度值或两 者来存储对应于阈值的数据。不良像素检测模块204可使用例如测试像素中的一者或一者 以上的色彩通道及强度值等像素数据205来在阈值查找表206处执行查找操作，所述查找 操作返回基于一个或一个以上测试像素的色彩通道及强度而确定的阈值量207。举例来说，
9阈值量207可与典型观察者依据色彩、强度或两者感知色彩强度的变化的能力相关。在一 特定实施例中，对应于第一测试像素222及第二测试像素224的较大值的阈值量207可用 作下阈值TlOTeJ96，而对应于第一测试像素222及第二测试像素2M的较小值的阈值量207 可用作上阈值Tuppe,292。基于强度及色彩的人类感知的可存储于阈值查找表206中的阈值 的说明性实例描绘于表1到3中。虽然在三个表(表1到3)中进行说明，但阈值可作为数 据的单一表或集合存储于阈值查找表206处。表1.基于像素强度及色彩通道的阈值
权利要求
1.一种方法，其包含接收图像数据；选择所述图像数据的第一测试像素，所述第一测试像素具有第一测试像素值；选择所述图像数据的第二测试像素，所述第二测试像素具有第二测试像素值，其中所 述第二测试像素邻近于所述第一测试像素，或所述第二测试像素对角于所述第一测试像 素；及基于周围像素的群组而确定所述第一测试像素与所述第二测试像素是否形成不良像 素群集，其中所述周围像素的群组的每一像素为所述第一测试像素或所述第二测试像素中 的至少一者的最近相邻像素，其中所述周围像素的群组的至少第一像素并非为所述第一测 试像素的最近相邻像素，且其中所述周围像素的群组的至少第二像素并非为所述第二测试 像素的最近相邻像素。
2.根据权利要求1所述的方法，其中所述周围像素的群组的至少两个像素并非为所述 第一测试像素的最近相邻像素，且其中所述周围像素的群组的至少两个像素并非为所述第 二测试像素的最近相邻像素。
3.根据权利要求2所述的方法，其中所述周围像素的群组的三个像素并非为所述第一 测试像素的最近相邻像素，且其中所述周围像素的群组的三个像素并非为所述第二测试像 素的最近相邻像素。
4.根据权利要求3所述的方法，其中所述第二测试像素邻近于所述第一测试像素，且 其中所述周围像素的群组包括环绕所述第一测试像素及所述第二测试像素形成矩形图案 的十个像素。
5.根据权利要求3所述的方法，其中所述第二测试像素对角于所述第一测试像素，且 其中所述周围像素的群组包括环绕所述第一测试像素及所述第二测试像素形成不规则六 角形图案的八个像素。
6.根据权利要求1所述的方法，其进一步包含在确定所述第一测试像素并非为所述不 良像素群集的部分之后，基于不同于所述周围像素的群组的像素的经扩展群组的像素值而 确定所述第一测试像素是否为不良像素，所述像素的扩展群组包括并非为所述第一测试像 素的最近相邻像素的至少两个像素。
7.根据权利要求6所述的方法，其中确定所述第一测试像素与所述第二测试像素是否 形成所述不良像素群集包括确定所述第一像素值及所述第二像素值是否超出所述周围像 素的群组的代表值超过阈值量，且其中所述阈值量是基于所述第一测试像素的色彩通道及 所述第一测试像素的强度来确定。
8.根据权利要求7所述的方法，其中确定所述第一测试像素与所述第二测试像素是否 形成所述不良像素群集包括确定所述第一测试像素值及所述第二测试像素值是否大于所 述周围像素的群组的最大像素值超过所述阈值量，或所述第一测试像素值及所述第二测试 像素值是否小于所述周围像素的群组的最小像素值超过所述阈值量。
9.根据权利要求1所述的方法，其进一步包含响应于确定所述第一测试像素及所述第二测试像素形成所述不良像素群集而产生错 误信号；及修改所述第一测试像素值及所述第二测试像素值。
10.一种方法，其包含 接收图像数据；选择所述图像数据的第一测试像素，所述第一测试像素具有第一测试像素值； 测试所述第一测试像素以至少基于包括所述第一测试像素的最近相邻像素的周围像 素的第一群组而确定所述第一测试像素是否为不良像素群集的部分；及在至少基于所述周围像素的第一群组而确定所述第一测试像素并非为所述不良像素 群集的部分之后，基于像素的经扩展群组的像素值而确定所述第一测试像素是否为不良像 素，所述像素的经扩展群组包括所述最近相邻像素中的至少一些像素，且进一步包括并非 为所述第一测试像素的最近相邻像素的像素。
11.根据权利要求10所述的方法，其中所述像素的经扩展群组包括沿着八条大体上均勻隔开的线最接近所述第一测试像素的每一像素，所述八条线在所述第一测试像素处相 、-父。
12.根据权利要求11所述的方法，其进一步包含 向查找表提供与所述第一测试像素相关联的色彩； 向所述查找表提供所述第一像素值；及基于所述色彩且基于所述第一像素值而从所述查找表检索阈值，其中所述阈值用以将 所述第一测试像素值与所述周围像素的第一群组以及所述像素的经扩展群组相比较。
13.根据权利要求12所述的方法，其中当所述第一测试像素及第二测试像素的值在像 素值范围以外超过所述阈值时，将所述第一测试像素确定为与所述第二测试像素形成不良 像素群集，其中所述像素值范围是基于所述周围像素群组的值。
14.一种系统，其包含不良像素校正模块，其经耦合以接收图像数据且适于执行不良像素群集检测过程，所 述不良像素校正模块包括用以确定两个测试像素是否具有超出周围像素的群组的代表值 超过阈值量的值的逻辑，其中所述阈值量是经由表查找来确定。
15.根据权利要求14所述的系统，其中所述表查找至少部分基于像素色彩及像素值而 返回特定阈值量。
16.根据权利要求14所述的系统，其中当所述两个测试像素彼此邻近时，所述周围像 素的群组包括环绕所述两个测试像素形成矩形图案的十个像素，且其中当所述两个测试像 素彼此对角时，所述周围像素的群组包括环绕所述两个测试像素形成不规则六角形图案的 八个像素。
17.根据权利要求14所述的系统，其中所述不良像素校正模块在图像传感器装置内， 所述图像传感器装置包括模/数转换器，所述模/数转换器经耦合以接收图像阵列的输出 并向所述不良像素校正模块提供所述图像数据。
18.根据权利要求14所述的系统，其进一步包含包括指令的处理器，所述指令为可执 行的以实施所述不良像素校正模块。
19.根据权利要求14所述的系统，其中所述不良像素校正模块被实施为图像处理电路。
20.—种系统，其包含信号处理器，其适于通过确定第一测试像素及第二测试像素具有上限以上或下限以下的值的时间而检测图像数据中的不良像素群集，其中所述上限及所述下限是基于包围所述 第一测试像素及所述第二测试像素的至少八个像素的群组的像素值来确定，所述信号处理 器进一步适于产生具有对应于所述所检测的不良像素群集的经修改像素值的经处理图像 数据；及显示控制器，其经耦合以接收所述经处理图像数据并将所述经处理图像数据提供到显 示装置。
21.根据权利要求20所述的系统，其中所述上限是通过向所述至少八个像素的群组的 最大像素值添加阈值而确定，且其中所述下限是通过从所述至少八个像素的群组的最小像 素值中减去所述阈值而确定。
22.根据权利要求21所述的系统，其中当所述第一测试像素邻近于所述第二测试像素 时，所述至少八个像素的群组环绕所述第一测试像素及所述第二测试像素形成矩形图案。
23.根据权利要求20所述的系统，其中所述信号处理器进一步经配置以将所述第一测 试像素值与沿着从所述第一测试像素径向向外的十六个均勻隔开的方向最接近所述第一 测试像素的每一像素的值相比较，以确定所述第一测试像素是否为不良像素。
24.根据权利要求20所述的系统，其进一步包含相机接口，所述相机接口耦合到所述 信号处理器且经配置以耦合到摄影机，其中所述图像数据包括经由所述相机接口接收的视 频数据。
25.根据权利要求20所述的系统，其进一步包含无线接口，所述无线接口耦合到所述 信号处理器且经配置以耦合到天线以启用无线通信，其中所述图像数据是经由所述无线接 口而接收。
全文摘要
本发明揭示不良像素群集检测的系统及方法。在特定实施例中，揭示包括不良像素校正模块的系统，所述不良像素校正模块经耦合以接收图像数据且适于执行不良像素群集检测过程。所述不良像素校正模块包括用以确定两个测试像素是否具有超出周围像素的群组的代表值超过阈值量的值的逻辑。所述阈值量是经由表查找而确定。
文档编号H04N5/367GK102113310SQ200980130038
公开日2011年6月29日 申请日期2009年8月4日 优先权日2008年8月5日
发明者巴巴克·福鲁坦保尔 申请人:高通股份有限公司