图像捕获设备、图像显示设备、使用其之系统和方法
【专利摘要】一种系统，包括：图像捕获设备，被配置为捕获来自相机系统的图像数据，所述图像数据处于第一马赛克布局；图像显示设备，被配置为显示处于第二马赛克布局的图像数据；以及处理器，被配置为接收处于第一马赛克布局的图像数据，并且向图像显示设备提供处于第二马赛克布局的图像数据而不进行到完全并置的图像布局的中间转换。
【专利说明】图像捕获设备、图像显示设备、使用其之系统和方法
[0001]对相关申请的交叉引用
[0002]本申请要求于2013年7月8日向美国专利商标局提交的美国临时专利申请N0.61/843,871的权益，通过引用将其全部内容合并于此。
【技术领域】
[0003]本发明的实施例涉及数字图像显示设备、数字图像捕获设备、用于数字地存储捕获的图像的数据格式、以及用于在显示设备上显示捕获的数据的方法的领域。
【背景技术】
[0004]图1是示出诸如数字相机或具有集成摄像头的智能电话机的图像捕获和显示设备100的框图。这样的设备100通常包括图像捕获设备10，其包括光敏感子像素的阵列。可以通过处理器20控制图像捕获设备10。当图像捕获设备10被控制为捕获图像时，可以将捕获的图像数据提供给处理器20，其可以在将数据存储在存储设备30中之前，在所接收的数据上对数据进行修改(例如，执行插值或去马赛克操作)。存储设备30例如可以是NAND闪存、动态随机存取存储器(DRAM)、转动磁介质(例如，硬盘驱动器)等。在一些实施例中，处理器可以被配置为控制显示设备40以显示存储在存储设备30上的图像或图像捕获设备10捕获的图像。
【发明内容】
[0005]本发明的实施例针对如下的系统，其中根据图像捕获设备的像素的原生布局(native layout)来存储图像捕获设备捕获的图像，并且其中具有与图像捕获设备相对应的子像素布局的显示设备显示捕获的图像而不执行去马赛克计算。
[0006]根据本发明的一个实施例，一种系统包括:图像捕获设备，被配置为捕获来自相机系统的图像数据，所述图像数据处于第一马赛克布局；图像显示设备，被配置为显示处于第二马赛克布局的图像数据；以及处理器，被配置为接收处于第一马赛克布局的图像数据，并且向图像显示设备提供处于第二马赛克布局的图像数据而不进行到完全并置的图像布局的中间转换。
[0007]第一马赛克布局可以是拜耳(Bayer)布局，并且第二马赛克布局可以是菱形布局。
[0008]该处理器可以被配置为接收处于拜耳布局的图像数据，并且通过以下步骤来向图像显示设备提供处于菱形布局的图像数据:从处于拜耳布局的图像数据的相邻绿像素产生处于菱形布局的图像数据的完整绿平面；通过识别处于拜耳布局的图像数据中的最近的红像素来产生处于菱形布局的图像数据的红像素；以及通过识别处于拜耳布局的图像数据中的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素。
[0009]第一马赛克布局可以是菱形布局，并且第二马赛克布局也可以是菱形布局。
[0010]处理器可以被配置为接收处于菱形布局的图像数据，并且通过向图像显示设备直接提供处于菱形布局的图像数据而不进行插值来向图像显示设备提供处于菱形布局的图像数据。
[0011]该系统可以进一步包括存储设备，其中该处理器被配置为将处于第一马赛克布局的图像数据存储在该存储设备上。
[0012]该处理器可以进一步被配置为加载以第一马赛克布局存储在存储设备上的图像数据，并且将所加载的处于第一马赛克布局的图像数据转换为处于第二马赛克布局的图像数据而不进行到完全并置的布局的转换。
[0013]可以在一对一像素的基础上在该图像显示设备上显示从相机系统捕获的图像数据。
[0014]根据本发明的一个实施例，一种系统包括:存储设备，被配置为存储图像数据，所述图像数据具有第一马赛克布局；图像显示设备，被配置为显示处于第二马赛克布局的图像数据；以及处理器，被配置为接收处于第一马赛克布局的图像数据，并且向图像显示设备提供处于第二马赛克布局的图像数据而不进行到完全并置的图像布局的中间转换。
[0015]第一马赛克布局可以是拜耳布局并且第二马赛克布局可以是菱形布局。
[0016]该处理器可以被配置为接收处于拜耳布局的图像数据，并且通过以下步骤来提供处于菱形布局的图像数据:从处于拜耳布局的图像数据的相邻绿像素产生处于菱形布局的图像数据的完整绿平面；通过识别处于拜耳布局的图像数据中的最近的红像素来产生处于菱形布局的图像数据的红像素；以及通过识别处于拜耳布局的图像数据中的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素。
[0017]第一马赛克布局可以是菱形布局并且第二马赛克布局可以是菱形布局。
[0018]该处理器可以被配置为通过向图像显示设备直接提供处于菱形布局的图像数据而不进行插值来向图像显示设备提供处于菱形布局中的图像数据。
[0019]可以在一对一像素的基础上在该图像显示设备上显示图像数据。
[0020]根据本发明的一个实施例，一种方法包括:将处于第一马赛克布局的第一图像数据的第一多个颜色通道的第一颜色通道映射到第二多个颜色通道的第一颜色通道以产生处于第二马赛克布局的第二图像数据而不进行插值；以及将第一多个颜色通道的第二颜色通道映射到第二多个颜色通道的第二颜色通道而不进行插值。
[0021]该方法可以进一步包括:对第一多个颜色通道的第三颜色通道的图像数据进行插值以产生第二多个颜色通道的第三颜色通道。
[0022]第一马赛克布局可以是拜耳布局并且第二马赛克布局可以是菱形布局，其中第一颜色通道是红色通道，其中第二颜色通道是蓝色通道，其中第三颜色通道是绿色通道，其中将第一颜色通道的红色通道映射到第二颜色通道的红色通道包括:通过识别处于拜耳布局的图像数据的最近的红像素来产生处于菱形布局的图像数据的红像素，并且其中将第一颜色通道的蓝色通道映射到第二颜色通道的蓝色通道包括:通过识别处于拜耳布局中的图像数据的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素，并且其中对第一多个颜色通道的绿色通道的图像数据进行插值以产生第二多个颜色通道的绿色通道包括:从处于拜耳布局的图像数据的颜色通道的绿色通道的相邻绿像素产生处于菱形布局的图像数据的完整绿平面。
[0023]根据一个实施例，一种图像捕获设备包括:多个第一子像素，其对第一光谱范围内的光敏感，所述多个第一子像素被布置为多个第一行，所述多个第一行的每个子像素对第一光谱范围内的光敏感，所述多个第一行沿第一方向延伸；多个第二子像素，其对第二光谱范围内的光敏感；以及多个第三子像素，其对第三光谱范围内的光敏感，所述多个第二子像素和第三子像素被排列为多个第二行，所述多个第二行的每个子像素对第二光谱范围或第三光谱范围内的光敏感，其中第一光谱范围、第二光谱范围、和第三光谱范围彼此不同，其中所述多个第一行沿与第一方向不同的第二方向与所述多个第二行隔开，并且其中所述多个第一行沿第一方向与所述多个第二行偏移。
[0024]一种图像显示设备包括沿多个行和列排列的多个子像素，所述多个行包括:子像素的第一行，所述第一行的每个子像素是被配置为发射第一光谱范围内的光的第一类型或被配置为发射第二光谱范围内的光的第二类型，第一类型和第二类型的子像素沿第一行交替地布置；以及子像素的第二行，所述第二行的每个子像素是第一类型、或被配置为发射第三光谱范围内的光的第三类型，第一类型和第三类型的子像素沿第二方向交替地布置，其中第一光谱范围、第二光谱范围、和第三光谱范围彼此不同。
【专利附图】
【附图说明】
[0025]附图与说明书一起示出本发明的示范性实施例，并且与说明书一起用于解释本发明的原理。
[0026]图1是诸如数字相机或具有集成摄像头的智能电话机的图像捕获和显示系统的示意性图示；
[0027]图2A是子像素的拜耳布局的示意性图示；
[0028]图2B是根据本发明的一个实施例的图像捕获设备中的子像素的替代布局的示意性图示；
[0029]图2C是根据本发明的一个实施例的图像捕获设备中的子像素的替代布局的示意性图示；
[0030]图3A是常规红绿蓝(RGB)条纹(stripe)显示设备中的子像素的示意性图示；
[0031]图3B是具有菱形布局的显示器的示意性图示。
[0032]图4是示出将使用拜耳布局传感器捕获的图像转换为将要在菱形布局显示器上显示的图像的方法的流程图；
[0033]图5A是示出用于将通过具有拜耳布局的图像传感器捕获的数据转换为完全RGB数据的算法的流程图；
[0034]图5B是示出用于将完全RGB图像数据转换为用于在具有菱形布局的显示器上显示的图像数据的算法的流程图；
[0035]图6是根据本发明的一个实施例的用于将通过具有拜耳布局的图像传感器捕获的数据转换为用于具有菱形布局的显示器的数据的算法的图示；
[0036]图7是根据本发明的一个实施例的用于将来自拜耳布局的数据转换为用于在具有菱形布局的显示器上显示的算法的图示；
[0037]图8是根据本发明的一个实施例的具有类拜耳布局的显示器中的子像素的布局的示意性图示；
[0038]图9是示出根据本发明的一个实施例的用于将从马赛克布局捕获的图像转换为菱形布局的方法的流程图；以及
[0039]图10是示出根据本发明的一个实施例的用于将图像数据转换为RGB条纹布局图像数据的方法的流程图。
【具体实施方式】
[0040]下面详细描述中，作为例示仅仅示出和描述本发明的某些示范性实施例。本领域技术人员将认识到，本发明可以实现为许多不同的形式，并且不应被解读为限于这里阐述的实施例。说明书全文中，相同的引用数字表示相同的元件。
[0041]现在回来参照图1，图像捕获设备10包括不同类型(或种类)的光敏元件的阵列，每个不同类型(或种类)对光的不同波长(或不同的光谱范围)敏感以使得在任何给定采样位置可以捕获仅仅一个颜色强度值。在一些实施例中，这些不同的光谱范围重叠，图2A示出被称为拜耳排列(美国专利N0.3971065中对拜耳进行了详细描述，其全部内容通过引用并入本文)中子像素的可供对比的排列。如图2A所示，部分地由于人眼对光的不同波长的敏感度的差异，拜耳排列包含两倍于红子像素(R)或蓝子像素(B)的绿子像素(G)。因为捕获设备10上的每个位置只能记录红、绿、或蓝光之一，来自每个子像素的数据不足以自己确定颜色。典型地将所记录的颜色数据插值以产生用于图像平面上的每个位置的完整颜色信息(例如，红、绿、和蓝值)。包括用于图像平面上的每个位置的完整颜色信息的图像数据在这里被称为“并置颜色通道(collocated color channel)”。
[0042]图2B示出根据本发明的一个实施例的图像捕获设备中的子像素的替代布局。如图2B所示，子像素210被排列为绿子像素212的行以及红和蓝子像素214的行。每个行沿第一方向延伸(例如，图2B所示的X方向)，并且沿第二方向(例如，图2B中所示的y方向)彼此隔开。此外，绿行212以及红和蓝行214的子像素沿第一方向(例如，X方向)彼此偏移以使得绿行212的子像素与红和蓝行214的子像素沿第二方向(例如，y方向)不对齐。
[0043]此外，图2C示出根据本发明的一个实施例的图像捕获设备中的子像素的另一替代布局。如图2C所示，子像素210’被以与图2B中的布局基本类似的方式布置成行，其不同之处在于红和蓝子像素214每隔一行反转。例如，红和蓝子像素的第一行214在最左列具有蓝子像素，而红和蓝子像素的第二行214’在最左列具有红子像素。如此，红和蓝子像素的相邻列222’和224’在红和蓝子像素之间也是交替，而在图2B的布局中，红或蓝子像素的相邻列是全红子像素222或全蓝子像素224。
[0044]虽然图2B和图2C中将子像素210描绘为圆形并且各自具有相同尺寸，但本发明的实施例不限于此。例如，像素的尺寸例如可以根据所使用的探测器的光敏感度而变化。此夕卜，光敏感区域的形状可以是正方形、矩形，或者可以具有其他形状。
[0045]用于存储彩色图像数据的可供对比的图像数据格式(例如，JPEG、TIFF等)通常采用并置颜色通道。换句话说，可供对比的图像数据格式典型地存储数据如同对于图像中的每个位置能够同时显示多种颜色(例如，红，绿和蓝)一样。
[0046]诸如液晶显示器(LCD)或有机发光显示设备的可供对比的显示设备通常通过在显示器的不同部分处同时地显示红、绿、和蓝光来显示彩色图像。例如，图3A示出如下的像素排列，其中每个像素包括被排列为条纹(或RGB条纹)布局红的子像素(R)、绿子像素(G)、和蓝子像素(B)，如可以在例如IXD显示器中使用的。
[0047]最近，已经开发出减少子像素密度但是具有等效有效分辨率的显示设备。图3B示出一种这样的排列，这里可以称为菱形布局。在菱形布局中，绿子像素的行312与交替的红和蓝子像素的行314A和314B交替，其中存在相等数量的红和蓝子像素，并且存在两倍于红子像素或蓝子像素的数量的绿像素。
[0048]由于如图3A和3B所示的可供对比的图像捕获设备(例如，图2A所示的拜耳布局图像捕获设备)的布局与显示设备的布局之间的不匹配，必须在显示在显示设备上之前将捕获的图像数据转换为不同的格式。该转换过程通常涉及对所捕获的像素的值进行插值以产生并置图像数据。然而，在这些不同布局之间的转换可能是计算密集的，并且由于捕获设备、存储格式、和显示设备的布局之间的插值而可能导致信息的损失或图像质量的劣化。
[0049]在可供对比的系统中，通过具有拜耳布局的图像捕获设备捕获图像，通过处理器将所捕获的拜耳布局图像插值到并置RGB空间中以便应用使用，然后可以转换为其他布局(例如，菱形布局)用于显示。图4是示出由处理器20执行的用于捕获图像、存储图像、以及在菱形布局显示设备上显示图像的方法400的流程图。
[0050]在操作410中，图像被捕获为拜耳布局图像510，其中，图像可以每个采样具有8比特(例如，每个采样位置8比特)。处理器接着对图像施加去马赛克操作420，以获得具有每采样位置24比特(例如，对每个采样位置的红、蓝、和绿各8比特)的并置RGB格式数据520。下面将针对图5A详细描述去马赛克操作。在操作440中，RGB格式图像数据520将被存储在存储设备30中。RGB格式图像520也可以在显示设备40上显示。为了在显示设备40上显示，在操作450中将RGB格式图像数据重采样为与显示设备40的布局相匹配的分辨率和布局。例如，如果显示器40具有菱形布局(例如，参见图3B)，则根据菱形布局将RGB格式图像数据重采样。
[0051]图5A是示出执行用于将所捕获的拜耳布局图像510转换为并置RGB图像数据520的去马赛克操作420的方法的流程图。更详细地，所捕获的拜耳布局图像数据510包括以格式Cxy在图5A中表示为“G00，R01, G02,...B1, Gil, B12, G13，...,，，的多个数据值，其中，字母(C)指子像素元素的颜色(从R、G、和B中选择)，并且值X和y分别指图像内的子像素元素的列和行位置。所捕获的拜耳布局数据被转换为RGB图像数据520，包括完整绿(G)平面520G、完整红(R)平面520R、和完整蓝(B)平面520B。在操作422a和422b中，对来自所捕获的拜耳布局数据510的绿像素以及红或蓝像素的值进行插值，以产生用于完整图像平面中的没有相应的绿像素的位置的像素数据。
[0052]例如，在如图5A所示的拜耳布局图像数据510中，位置01、03、和05被红子像素占据，并且位置10、12、和14被蓝子像素占据。如此，为了填充完整绿平面520G内的这些位置处的绿数据的空隙，根据相邻的绿和红像素对值G01、G03、和G05进行插值。例如，完整绿平面520G中的GOl可以根据拜耳布局图像数据510中的像素G00、R01、和G02进行插值，并且完整图像平面中的G12可以根据像素Gil、B12、和G13来插值。
[0053]类似地，在操作424a和426a中，处理器20通过根据相邻绿和红像素进行插值来计算用于完整红平面520R中的不具有相应的捕获的红数据的位置的值，并且在操作424b和426b中，处理器20通过根据相邻绿和蓝像素进行插值来计算用于完整蓝平面520B中的不具有相应的捕获的蓝数据的位置的值。
[0054]图5B是示出执行重采样操作450以对并置RGB数据520R、520G、520B (统称520)来进行插值以产生处于菱形布局530的图像数据用于在菱形布局显示器上显示数据的方法的流程图。在操作452a中，根据相邻红像素对红像素进行插值(例如，X24可以是完整红平面520R的像素R24、R25、R34、和R35的算术平均值)。同样地，在操作452b中，根据相邻蓝像素对蓝像素进行插值(例如，X23可以是完整蓝平面520B的像素B23、B24、B33、和B34的算术平均值)。
[0055]然而，如上所述的用于从拜耳布局转换为并置RGB布局以及用于从并置RGB布局转换为菱形布局的去马赛克过程涉及对值的大量插值以便在不同布局之间进行转换来存储和显示图像，从而增加处理要求并且由于作为去马赛克过程的结果引入视觉伪像而导致降低图像质量。如此，以拜耳格式捕获并且以并置图像格式存储的图像甚至显示之前就具有降低的质量。此外，如上所述，当被转换用于在诸如菱形布局显示器的各种显示设备上显示时，并置图像格式的图像也遭受质量的降低。
[0056]根据本发明的一个实施例，包括图像捕获设备10的系统100被配置为捕获图像，并且根据图像捕获设备的像素的原生布局来存储所捕获的图像。在一些实施例中，系统进一步包括显示设备40，其具有与图像捕获设备相对应(例如，相匹配)的子像素布局，并且系统被配置为显示所捕获的图像而不执行去马赛克计算。这里可以将图像数据的布局称为“马赛克布局”或“马赛克格式”，其中在图像内的每个位置处(例如，在图像的二维区域内的每个位置处)仅允许特定颜色通道的一个颜色值。如此，以未压缩的马赛克格式存储的图像可以只占以常规图像格式存储的可供对比的图像的未压缩数据尺寸的大约1/3。
[0057]根据本发明的一个实施例，在其中捕获布局和显示布局同步的基本均匀的管道允许视觉内容(例如，图像或视频)以其原生的、非并置马赛克格式来存储，以用于具有减少的或者不具有由于插值(例如，由于转换为并置RGB空间而导致的插值)而导致的质量损耗的存储。通过同步捕获器、存储格式、和/或显示布局，可以在仅使用用于存储、递送、和呈现未压缩的原始视觉数据的传统带宽中的三分之一(1/3)的同时提高整体的视觉质量。
[0058]本发明的实施例还涉及如下的图像和视频格式，其对于捕获和显示设备这两者是原生的(native)，并且能够为人类视觉系统提供更高的质量图像。通过以“原生”马赛克格式(或其压缩变型)来存储视觉数据，本发明的实施例可以减少数据带宽，减少由插值导致的数据丢失，并且可以减少可能由于多个中间颜色转换以及原生布局(例如，拜耳)、存储布局(例如，完全并置RGB)、和显示布局(例如，菱形)之间的插值而引入的误差。本发明的实施例还可以对给定的通信带宽和存储空间增加视觉质量，并且对图像捕获设备的各种布局以高质量提供更低成本的显示解决方案。
[0059]图6是根据本发明的一个实施例的用于将通过具有拜耳布局的图像传感器捕获的图像转换为用于具有菱形布局的显示器的数据的方法600的图示。参照图6，可以在操作410中通过具有拜耳布局的图像捕获设备捕获图像。可以在操作440中在存储设备30中以其原生格式(例如，以保留数据的原始拜耳布局的数据格式)存储拜耳布局图像数据510。当将要在具有菱形布局的显示设备上显示拜耳布局图像数据510时，可以在操作602中将图像重映射到菱形布局530。
[0060]图7是示出根据本发明的一个实施例的将拜耳布局图像数据510转换为菱形布局图像数据530而不执行将数据中间去马赛克、转换、或插值为完全并置的RGB数据的方法602的流程图。换句话说，本发明的实施例涉及如下的系统和方法，其用于将颜色信息数据从第一布局“重映射”到第二布局而不对处于第一布局的子像素的颜色信息数据进行插值(例如，从已知的数据点构造新的数据点)以产生用于处于第二布局的子像素的颜色信息数据。本发明的实施例并不打算排除在保持相同的布局的同时缩放图像或调整图像尺寸(例如，在菱形布局图像上的放大)时对像素进行插值的可能性。如上针对图5A所述，在操作422a和422b中，将来自捕获的拜耳布局数据510的绿像素以及红或蓝像素的值插值，以产生用于完整绿图像平面520G的像素数据。
[0061]在操作702a中，根据原始拜耳布局中的最近位置来映射处于菱形布局显示布局530 的红子像素的值(X(2j) (2i) = R(2j) (2?+1)和 X(2j+1) (2i+l) = R(2j) (2i+l))。类似地，在操作702b中，根据原始拜耳布局中的最近位置来映射蓝子像素(X(2j) (2?-1)=B(2j+1) (2i)和X(2j+1) (2i) = B(2j+1) (2i))。在本发明的一些实施例中，如果存在与菱形布局中的相应像素的位置等距的原始拜耳布局的多个子像素，则可以通过对原始拜耳布局的等距像素的值进行平均、或者通过使用等距像素之间的颜色表决(voting)来计算菱形布局中的像素的值。替换地，在一些实施例中，总是使用沿特定方向的子像素(例如，等距像素的最左和最上的像素)。如此，根据本发明的一个实施例，以原生格式存储在拜耳布局中捕获的图像数据，并且转换为在菱形布局显示器上显示而不进行到并置RGB格式的中间转换，从而减少视觉伪像并且降低带宽和存储要求，同时由于插值运算数量减少(例如，只对绿通道中的位置进行插值)而导致保持较高水平的视觉质量。
[0062]在本发明的一个实施例中，可以通过匹配图像捕获、存储、和显示组件的子像素布局来进一步改善图像质量。图8是根据本发明的一个实施例的具有类拜耳布局的显示器中的子像素的布局的示意性图示。显示设备40是具有以类似于拜耳图案(例如，图2A中所示)的类拜耳布局800排列的子像素(或“滤色器阵列”)的显示设备(例如，有机发光显示设备、液晶显示设备、等离子显示面板、或阴极射线管)。
[0063]如图8所示，在根据本发明的一个实施例的显示设备中，对每个红子像素802R存在两个绿子像素802G，并且对每个蓝子像素802B存在两个绿子像素802G。虽然这里将本发明的实施例描述为包括“红”、“绿”、和“蓝”子像素，但本发明的实施例不限于此，并且可以包括不同类型(或种类)的子像素，每一类型(或种类)被配置为在不同的光谱范围上发射光。在一些实施例中，这些不同的光谱范围部分地重叠。
[0064]在本发明的实施例中，如图8所示，子像素802沿多个行和列来排列。沿第一行812，红子像素802R被排列在相邻的绿子像素802G之间，并且红子像素802R位于绿子像素802G附近，在其之间不存在不同颜色的子像素(例如，在其之间没有蓝子像素)。如此，红子像素802R和绿子像素802G可以被称为沿第一行812 “交替排列”。同样地，沿第二行814，蓝子像素802B被排列在相邻的绿子像素802G之间，并且蓝子像素802B位于绿子像素802G附近，在其之间不存在不同颜色的子像素(例如，在其之间没有红子像素)。如此，蓝子像素802B和绿子像素802G可以被称为沿第二行814交替排列。
[0065]类似地，沿第一列822，蓝子像素802B被排列在相邻的绿子像素802G之间，并且蓝子像素802B位于绿子像素802G附近，在其之间不存在不同颜色的子像素(例如，在其之间没有红子像素)，并且沿第二列824，红子像素802R被排列在相邻的绿子像素802G之间，并且红子像素802R位于绿子像素802G附近，在其之间不存在不同颜色的子像素(例如，在其之间没有蓝子像素)。因此，蓝子像素802B和绿子像素802G沿第一列822交替排列，并且红子像素802R和绿子像素802G沿第二列824交替排列。
[0066]此外，在本发明的一个实施例中，例如，如图8所示，每个绿子像素802G具有比红子像素802R和蓝子像素802B更小的区域(例如，更小的发光区域)以补偿每种颜色的子像素的不同数量。此外，在本发明的一些实施例中，红子像素802R、绿子像素802G、和蓝子像素802B的相对尺寸可以根据像素802的发光效率和操作寿命而变化。例如，在有机发光显示设备中，红子像素可以比蓝子像素更小，以减小通过蓝像素的电流密度，从而提提高蓝像素的工作寿命。然而，本发明的实施例不限于此，并且不同颜色的子像素的相对尺寸可以根据相对发光效率、操作寿命、或子像素之间的其他特征的差异而变化。
[0067]如此，回来参照1，根据本发明一个实施例，通过具有马赛克布局(例如，拜耳布局)的图像传感器10捕获的图像以CMOS传感器的原生马赛克布局(例如，拜耳布局)存储在存储设备30上，并且可以在具有如图8中所示的匹配马赛克布局(例如，拜耳状布局)的显示设备40上直接显示，而不需要在任何阶段处进行插值，从而减少或避免由于插值(或去马赛克)过程而导致的伪像和图像质量的其他劣化，并且在存储所捕获的图像之前和之后进一步降低图像处理要求。
[0068]类似地，根据本发明另一实施例，通过具有菱形状布局(例如，图2C所示)的图像传感器10而捕获的图像可以直接在具有匹配布局(例如，图3B中所示的菱形布局)的显示设备40上显示。
[0069]图9是示出根据本发明的一个实施例的用于将从马赛克图像数据512重映射为RGB条纹布局图像数据522 (例如，图3A所示的布局)而不执行将数据中间转换或插值为完全并置的RGB数据的方法900的流程图。
[0070]例如，如果所捕获的图像数据具有如图2C所示的菱形格式，并且如以下的表I所示:
[0071]表I
[0072]R00B01R02B03R04B0V
[0073]G00G01G02G03G04G05."
[0074]---R11B12R13B14R15By
[0075]G10G11G12G13G14G15*..
[0076]R20B21R22B23R24B25-
[0077]G2tlG21G22G23G24G25…
[0078]R31B32R33B34R35B36 …
[0079]并且如果输出设备(例如，显示器或打印机)使用如图3A所示的RGB条纹布局，如以下的表2所示:
[0080]^2[0081 ]
[0082]r1g1b1rngnbnr^g^b^—
[0083]^20S20^20r2lS01^21T22S22^l22'"
[0084]那么，在操作902中，可以通过选择最近的相应颜色值而将具有菱形马赛克布局的捕获的图像数据512直接映射到输出RGB条纹图像数据522。例如，表3:
[0085]表3
[0086]gn = G11, g12 = G12, g21 = G21, g22 = G22
[0087]rn = R11, r12 = R22, r21 = R31, r22 = R22
[0088]bn = B12, b12 = B23, b21 = B32, b22 = B23
[0089]概括而言，根据一个实施例，如下从所捕获的菱形布局数据中重映射RGB条纹布局的颜色值gij、rij、和bij:
[0090]g^.= Gij
Γ Rjj if i = j mod 2
[0091]U JO
J [Rmj Iti 气/mod2
, f Bi /+1 if /= /mod2
[0092]bn=< -.[5;+1/+1 if/^.7 mod 2
[0093]如上所示，在重映射的过程期间，不执行颜色值的插值(例如，输出条纹布局图像中的红像素r的值不是通过平均或以其他方式组合输入菱形布局图像中的多于一个红像素R的值来计算的，而是输入图像中的一个像素的实际颜色值)。
[0094]图10是示出根据本发明的一个实施例的重映射操作902的流程图。重映射操作902可以包括:在操作904中，将菱形布局的绿子像素的位置与RGB条纹图像布局对准(或者将来自源菱形布局图像中的绿像素的颜色值重映射到具有RGB条纹布局的输出图像中的相应位置)，然后在操作906和908中，通过映射所捕获的菱形布局图像的最近的相应的红和蓝子像素的颜色值来填充RGB条纹图像布局的红和蓝子像素的值。如果所捕获的菱形布局图像的多个子像素与输出RGB条纹布局图像等距，则可以使用颜色表决、颜色平均、或者根据方向的决胜决定(tie breaking)来提供具有RGB条纹图像布局的输出中的子像素的值。本发明的实施例不限于这里示出的操作的特定顺序。例如，不同颜色的子像素的颜色值的映射可以同时发生，或者可以交错。
[0095]如此，本发明的一个实施例提供用于将以菱形马赛克布局512捕获的图像数据转换为RGB条纹布局数据而无需中间转换为完全并置RGB数据的系统和方法。
[0096]虽然以上针对具有拜耳布局的图像捕获设备和图像数据存储格式来描述本发明的实施例，但是本发明的实施例不限于此。
[0097]例如，根据本发明的另一实施例，用于捕获、存储、和显示图像的系统包括具有以根据如图2B的类菱形布局排列的子像素的图像传感器10，其中第一行子像素仅包括绿子像素，并且相邻行的子像素包括以交替图案排列的蓝和红子像素。可以重复第一行全部为绿像素并且第二行为交替的蓝和红像素的该图案以覆盖图像传感器10的区域，如图2B所
/Jn ο
[0098]系统可以被配置为以与图2C中所示的类菱形布局对应的马赛克数据格式存储图像。当在具有菱形布局的显示设备上显示以类菱形图像格式存储的图像时，在显示之前不需要转换图像数据，从而改善图像质量。
[0099]虽然在单个设备的组件(例如，数字相机或具有集成摄像头的智能电话机)的背景下描述本发明的实施例，但本发明的实施例不限于此。例如，本发明的实施例还可以包括诸如处理单元的计算机系统，其包括处理器、存储装置、以及用于接收图像数据(例如，从外部相机或网络连接接收)以及用于与耦合到计算机系统的显示设备进行通信的输入/输出接口。
[0100]虽然以上针对在一对一像素(或“1:1像素映射”)的基础上显示所捕获的图像数据来描述本发明的实施例，但是本发明的实施例也允许缩放图像数据以匹配显示器分辨率而没有由于显示布局之间的转换而导致的质量损失。
[0101]此外，处理器20可以以各种方式实现而不背离本发明的精神和范围。在一些实施例中，处理器20可以是通用中央处理单元(例如，基于ARM或X86架构的处理器)，其耦合到存储将在处理器20上被执行以执行给定功能的指令的存储器。在其他实施例中，处理器是现场可编程门阵列(FPGA)，其被编程来执行给定操作。在其他实施例中，处理器是专用集成电路(ASIC)，其被专门设计来执行根据本发明的实施例的操作，其中，逻辑操作在ASIC的物理结构中实施。
[0102]虽然已经结合特定示范性实施例描述本发明，但是应当理解，本发明不限于所公开的实施例，而是相反，其意在覆盖被包括在所附权利要求及其等同物的精神和范围内的各种修改和等效配置。
【权利要求】
1.一种系统，包括: 图像捕获设备，被配置为捕获来自相机系统的图像数据，所述图像数据处于第一马赛克布局; 图像显示设备，被配置为显示处于第二马赛克布局的图像数据；以及处理器，被配置为接收处于第一马赛克布局的图像数据，并且向图像显示设备提供处于第二马赛克布局的图像数据而不进行到完全并置的图像布局的中间转换。
2.如权利要求1所述的系统，其中第一马赛克布局是拜耳布局并且第二马赛克布局是菱形布局。
3.如权利要求2所述的系统，其中该处理器被配置为接收处于拜耳布局的图像数据，并且通过以下步骤向图像显示设备提供处于菱形布局的图像数据: 从处于拜耳布局的图像数据的相邻绿像素产生处于菱形布局的图像数据的完整绿平面； 通过识别处于拜耳布局的图像数据中的最近的红像素来产生处于菱形布局的图像数据的红像素；以及 通过识别处于拜耳布局的图像数据中的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素。
4.如权利要求1所述的系统，其中第一马赛克布局是菱形布局，并且其中第二马赛克布局是菱形布局。
5.如权利要求4所述的系统，该处理器被配置为接收处于菱形布局的图像数据，并且通过向图像显示设备直接提供处于菱形布局的图像数据而不进行插值来向图像显示设备提供处于菱形布局的图像数据。
6.如权利要求1所述的系统，进一步包括存储设备，其中该处理器被配置为在该存储设备上存储处于第一马赛克布局的图像数据。
7.如权利要求6所述的系统，其中该处理器进一步被配置为加载以第一马赛克布局存储在该存储设备上的图像数据，并且将所加载的处于第一马赛克布局的图像数据转换为处于第二马赛克布局的图像数据而不进行到完全并置的布局的转换。
8.如权利要求1所述的系统，其中在一对一像素的基础上在该图像显示设备上显示从相机系统捕获的图像数据。
9.一种系统包括: 存储设备，被配置为存储图像数据，所述图像数据具有第一马赛克布局； 图像显示设备，被配置为显示处于第二马赛克布局的图像数据；以及处理器，被配置为接收处于第一马赛克布局的图像数据，并且向图像显示设备提供处于第二马赛克布局的图像数据而不进行到完全并置的图像布局的中间转换。
10.如权利要求9所述的系统，其中第一马赛克布局是拜耳布局，并且其中第二马赛克布局是菱形布局。
11.如权利要求10所述的系统，其中该处理器被配置为接收处于拜耳布局的图像数据，并且通过以下步骤来提供处于菱形布局的图像数据: 从处于拜耳布局的图像数据的相邻绿像素产生处于菱形布局的图像数据的完整绿平面； 通过识别处于拜耳布局的图像数据中的最近的红像素来产生处于菱形布局的图像数据的红像素；以及 通过识别处于拜耳布局的图像数据中的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素。
12.如权利要求9所述的系统,其中第一马赛克布局是菱形布局,并且其中第二马赛克布局是菱形布局。
13.如权利要求12所述的系统，其中该处理器被配置为通过向图像显示设备直接提供处于菱形布局的图像数据而不进行插值来向图像显示设备提供处于菱形布局的图像数据。
14.如权利要求9所述的系统，其中在一对一像素的基础上在该图像显示设备上显示图像数据。
15.—种方法包括: 将处于第一马赛克布局的第一图像数据的第一多个颜色通道的第一颜色通道映射到第二多个颜色通道的第一颜色通道以产生处于第二马赛克布局的第二图像数据而不进行插值；以及 将第一多个颜色通道的第二颜色通道映射到第二多个颜色通道的第二颜色通道而不进行插值。
16.如权利要求15所述的方法，进一步包括: 对第一多个颜色通道的第三颜色通道的图像数据进行插值以产生第二多个颜色通道的第三颜色通道。
17.如权利要求16所述的方法，其中第一马赛克布局是拜耳布局并且第二马赛克布局是菱形布局， 其中第一颜色通道是红通道， 其中第二颜色通道是蓝通道， 其中第三颜色通道是绿通道， 其中将第一颜色通道的红色通道映射到第二颜色通道的红色通道包括:通过识别处于拜耳布局的图像数据的最近的红像素来产生处于菱形布局的图像数据的红像素， 其中将第一颜色通道的蓝色通道映射到第二颜色通道的蓝色通道包括:通过识别处于拜耳布局的图像数据的最近的蓝像素来产生处于菱形布局的图像数据的蓝像素，并且 其中对第一多个颜色通道的绿色通道的图像数据进行插值以产生第二多个颜色通道的绿色通道包括:从处于拜耳布局的图像数据的颜色通道的绿色通道的相邻绿像素产生处于菱形布局的图像数据的完整绿平面。
18.一种图像捕获设备，包括: 多个第一子像素，其对第一光谱范围内的光敏感，所述多个第一子像素被排列为多个第一行，所述多个第一行的每个子像素对第一光谱范围内的光敏感，所述多个第一行沿第一方向延伸； 多个第二子像素，其对第二光谱范围内的光敏感；以及 多个第三子像素，其对第三光谱范围内的光敏感，所述多个第二子像素和第三子像素被排列为多个第二行，所述多个第二行的每个子像素对第二光谱范围或第三光谱范围内的光敏感， 其中第一光谱范围、第二光谱范围、和第三光谱范围彼此不同， 其中所述多个第一行沿与第一方向不同的第二方向与所述多个第二行隔开，并且 其中所述多个第一行沿第一方向与所述多个第二行偏移。
19.一种图像显示设备，其包括沿多个行和列排列的多个子像素，所述多个行包括: 子像素的第一行，所述第一行的每个子像素是被配置为发射第一光谱范围内的光的第一类型、或被配置为发射第二光谱范围内的光的第二类型，第一类型和第二类型的子像素沿所述第一行交替地排列；以及 子像素的第二行，所述第二行的每个子像素是第一类型、或被配置为发射第三光谱范围内的光的第三类型，第一类型和第三类型的子像素沿所述第二行交替地排列， 其中第一光谱范围、第二光谱范围、和第三光谱范围彼此不同。
【文档编号】H04N5/232GK104284167SQ201410322780
【公开日】2015年1月14日 申请日期:2014年7月8日 优先权日:2013年7月8日
【发明者】鲁宁 申请人:三星显示有限公司