解马赛克方法以及用于解马赛克的影像处理器的制造方法
【专利摘要】一种解马赛克方法，包括下列步骤：设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样的结果以训练出内插方向学习模型。
【专利说明】解马赛克方法以及用于解马赛克的影像处理器
【技术领域】
[0001] 本发明涉及影像处理技术，更具体地涉及影像解马赛克技术。
【背景技术】
[0002] 解马赛克（demosaicking)，又称为色彩重建（color reconstruction)，是一种将 色彩滤波后所取得的原始数据（raw data)予以重建成全彩影像（full color image)的影 像处理技术。在原始数据中，各像素仅具有单一颜色，通常为红色R、绿色G或蓝色B此三原 色之一，而在解马赛克之后，各像素即可同时具有红绿蓝三色。
[0003] 此色彩重建的过程必须通过内插运算。就各个像素而言，其内插方向（direction of interpolation)可以为垂直方向、水平方向或其它各种方向。举例而言，当内插方向为 垂直时，可选择某像素上方及下方的像素以进行内插计算；当内插方向为水平时，可选择某 像素左侧及右侧的像素以进行内插计算。然而，在某些特殊影像中，错误的内插方向会产生 失真的影像。例如，在对具有边缘的影像进行内插计算时，若选择的内插方向与边缘走向不 相符合（例如边缘走向垂直，内插方向为水平），则色彩重建后很可能会出现部分类似拉链 般的纹路（zipper artifacts),导致失真影像的产生。
[0004] 因此，需要一种能有效降低上述影像失真的解马赛克方法。
【发明内容】
[0005] 本发明提供一种解马赛克方法。所述解马赛克方法包括下列步骤：设定圈选型态， 其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈 选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样 本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样 的结果以训练出内插方向学习模型。
[0006] 本发明另提供一种用于解马赛克的影像处理器。所述影像处理器包括：内插方向 训练单元，用于设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标 像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取 样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向 上的对应关系；以及统计多次取样的训练结果；以及内插方向学习模型，耦接至所述内插 方向训练单元，用于储存所述多次取样的训练结果。
【专利附图】
【附图说明】
[0007] 图1为依据本发明一实施例的解马赛克方法流程图。
[0008] 图2A为在一实施例中以Bayer滤波器执行色彩滤波110后所取得的影像原始数 据示意图。
[0009] 图2B为依据本发明一简化的实施例在图2A的原始数据加入「圈选型态」的示意 图。
[0010] 图2C为一样本影像的部分像素示意图。
[0011] 图3为依据本发明一优选的实施例在图2A的原始数据加入正方形「圈选型态」的 示意图。
[0012] 图4为本发明一实施例中用于解马赛克方法的影像处理器。 【符号说明】
[0013] 100?解马赛克方法；
[0014] S110 ?S140 ;S1402 ?S1406 ?步骤；
[0015] P0?P14?像素；
[0016] R?红色；
[0017] G?绿色；
[0018] B?蓝色；
[0019] 400?影像处理器；
[0020] 410?内插方向训练单元；
[0021] 420?内插方向学习模型；
[0022] 430?内插方向计算单元。
【具体实施方式】
[0023] 下文为介绍本发明的最佳实施例。各实施例用于说明本发明的原理，但非用于限 制本发明。本发明的范围当以所附权利要求为准。
[0024] 解马赛克方法
[0025] 本发明提供一种新的解马赛克方法。图1为依据本发明一实施例的解马赛克方法 流程图。在本发明的解马赛克方法1〇〇中，主要步骤S120用来选择或计算特定影像中各像 素的内插方向。如图1所示，其执行于色彩滤波（color filtering) 110之后以及内插计算 130之前。图2A为在一实施例中以Bayer滤波器执行色彩滤波110后所取得的影像原始数 据示意图。由于采用一般Bayer色彩滤波器，此实施例中绿色（G)的像素数量为红色（R) 及蓝色（B)的两倍。如现有技术中所述，在此原始数据中各像素仅具有单一颜色，为了重建 各像素的RGB值，必须执行步骤S130的内插计算。然而，为了避免一味采用单一内插方向 (例如：垂直或水平）所产生的影像失真的弊端，本发明的步骤S120会分别针对所述特定 影像中各个特定像素选择最适当的内插方向。
[0026] 详细地说，本发明的步骤S120通过下述方式执行：「以圈选型态以及内插方向学 习模型所提供的数据计算所述特定影像的所述特定像素的内插方向」。图2B为本发明一简 化的实施例中在图2A原始数据的部分像素加上「圈选型态」的示意图。如图所示，在此简 化的实施例中，所谓的「圈选型态」大体呈现三角型，其覆盖的范围包括欲计算内插方向的 「目标像素 P4」，以及与所述目标像素相邻的「周边像素 P0?P2」。然而，以计算目标像素 P4的「红色数值」（R值）而言，在一优选的实施例中，所谓的周边像素可将非为红色的像素 P1予以忽略（即，周边像素为P0及P2)。
[0027] 本发明的主要原理在于：某目标像素与其周边像素在内插方向上具有相当程度的 对应关系，而所述对应关系可通过对大量的影像进行训练而获得。其中，经由训练所产生的 大量对应关系即可储存于前述的「内插方向学习模型」，以供往后计算特定像素的内插方向 之用。换言之，就图2B的实施例而言，当已得知周边像素 P0及P2的内插方向时，则通过所 述内插方向学习模型即可得知目标像素 P4应有的内插方向。因此，本发明尚包括图1所示 的建立内插方向学习模型140此一步骤，而此步骤将于下文详述。
[0028] 本发明建立内插方向学习模型的步骤S140还包括：在步骤S1402中，设定如前述 的圈选型态；在步骤S1404中，以所述圈选型态对至少一个样本影像的多个样本像素分别 进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内 插方向上的对应关系；以及在步骤S1406中，统计多次取样的结果以训练出一内插方向学 习模型。值得注意的是，虽然此处的「圈选型态」目的在「取样」，与前述在步骤S120中的 目的-「计算内插方向」有所不同，但两者的「圈选型态」必须具有相同的形状（例如同样 为图2B所示的三角形）、覆盖相对应的目标像素及与周边像素位置，始在运算上具有意义。 此外，必须注意到，在步骤S1404的「样本影像」中所有像素皆已具有确定的内插方向，故本 文中「样本影像」是有别于前述尚待计算内插方向的「特定影像」。本领域技术人员可采用 大量且具有代表性的图案做为所述「样本影像」，以利训练出具有统计意义的内插方向学习 模型。
[0029] 图2C为一样本影像的部分像素示意图。在此样本影像中，相对目标像素 P4而言， 周边像素 P0的内插方向为「垂直」（简记为"V"），而周边像素 P2的内插方向为「水平」（简 记为"H"）。在此次取样中，发现当周边像素 P0及P2的内插方向为（V，H)时，目标像素 P4 的内插方向为"H"，则此对应关系会被记录于「内插方向学习模型」之中，格式可如下表所 示：
[0030]
【权利要求】
1. 一种解马赛克方法，包括下列步骤： 设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的 周边像素； 以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取 样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及 统计多次取样的结果以训练出内插方向学习模型。
2. 根据权利要求1所述的解马赛克方法，还包括下列步骤： 以所述圈选型态以及所述内插方向学习模型所提供的数据计算特定影像的特定像素 的内插方向。
3. 根据权利要求2所述的解马赛克方法，其中所述圈选型态中的所述周边像素包括： 前像素，其排列于所述目标像素之前；和/或 后像素，其排列于所述目标像素之后。
4. 根据权利要求3所述的解马赛克方法，其中，当所述圈选型态中的所述周边像素包 括所述后像素时，则在计算所述特定影像的所述特定像素的内插方向前，先暂定所述后像 素的内插方向。
5. 根据权利要求4所述的解马赛克方法，其中暂定所述后像素的内插方向的步骤包 括： 比较所述后像素在其各个可能进行内插的方向上相邻像素之间的数值差异，并将具有 数值差异最小的方向暂定为所述后像素的内插方向。
6. 根据权利要求5所述的解马赛克方法，还包括： 在计算所述后像素的内插方向后，重新计算所述特定像素的内插方向。
7. -种用于解马赛克的影像处理器，包括： 内插方向训练单元，用于设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一 个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素 分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间 在内插方向上的对应关系；以及统计多次取样的结果；以及 内插方向学习模型，耦接至所述内插方向训练单元，用于储存所述多次取样的训练结 果。
8. 根据权利要求7所述的影像处理器，还包括： 内插方向计算单元，耦接至所述内插方向学习模型，用于以所述圈选型态以及所述内 插方向学习模型所提供的数据计算特定影像的特定像素的内插方向。
9. 根据权利要求8所述的影像处理器，其中所述圈选型态中的所述周边像素包括： 前像素，其排列于所述目标像素之前；和/或 后像素，其排列于所述目标像素之后。
10. 根据权利要求9所述的影像处理器，其中，当所述圈选型态中的所述周边像素包括 所述后像素时，则所述内插方向计算单元还用于在计算所述特定影像的所述特定像素的内 插方向前，先暂定所述后像素的内插方向。
11. 根据权利要求10所述的影像处理器，其中所述内插方向计算单元比较所述后像素 在其各个可能进行内插的方向上相邻像素之间的数值差异，并将具有数值差异最小的方向 暂定为所述后像素的内插方向。
12.根据权利要求11所述的影像处理器，其中所述内插方向计算单元在计算所述后像 素的内插方向后，重新计算所述特定像素的内插方向。
【文档编号】H04N9/64GK104253985SQ201310254727
【公开日】2014年12月31日 申请日期:2013年6月25日 优先权日:2013年6月25日
【发明者】施延德, 彭源智 申请人:恒景科技股份有限公司