摄像机的制作方法

专利名称：摄像机的制作方法
技术领域：
本发明涉及数码相机，例如，用于捕获静止或者活动图像的数码 相机，更具体地，涉及压缩图像数据的数码相机。
背景技术：
尽管有数码摄像机可用，但是大多数活动图像和一些电视广播媒 体的制作者仍旧依赖胶片摄像机。这里所用的胶片提供给视频编辑者 可通过传统方法编辑的很高分辨率的图像。然而，最近，这种胶片常 #1扫描、lt字化和数码编辑。

发明内容
尽管一些目前可用的数码摄像机包括高分辨率图像传感器，从而
输出高分辨率视频；但是，广泛应用在这些摄像机上的图像处理和压 缩技术损耗太大，从而消除了太多原始图像数据而无法被上述高端市 场接受。这里公开的至少一个实施方式的一个方面包括实现可被上 述高端市场(例如，大多数活动图像市场)接受的视频质量可由这样 的相机满足，其可捕获和存储具有至少约2k分辨率和至少约23帧每 秒帧频的原始的或者基本上原始的视频数据。
这样，根据一个实施方式， 一种摄像机可包含便携壳体、和通过 该壳体支撑并配置为聚光的透镜组件。光敏器件可配置为以至少约23 帧每秒的帧频将聚焦的光转换为具有至少2k分辨率的原始图像数据。 该摄像机还可包括存储器件和图像处理系统，图像处理系统配置为以 至少约23帧每秒的帧频和至少6:1的压缩率且基本上保持视觉上无损 地压缩和存储原始图像数据到存储器件。
才艮据另一个实施方式，用相机记录活动-见频的方法可包含将光导 向光敏器件。该方法还可包括将由光敏器件接收的光转换为具有至少大于23帧每秒帧频的原始数字图像数据、压缩该原始数字图像数据、
和将该具有至少约23帧每秒帧频的原始图像数据记录到存储器件。
根据又一个实施方式， 一种摄像机可包含通过壳体支撑并配置为 聚光的透镜组件和配置为将聚焦的光转换为代表该聚焦的光的原始图 像数据的信号的光敏器件。该摄像机还可包括存储器件和用于压缩和 记录该具有至少约23帧每秒帧频的原始图像数据的装置。
根据再一个实施方式， 一种摄像机可包含具有至少 一个把手的便 携壳体，其配置为允许使用者在该摄像机的视频记录操作期间，操作 关于该壳体至少一个活动自由度的取向。透镜组件可包含通过该壳体 支撑并配置为聚光至在该壳体内布置的平面上的至少一个透镜。光敏 器件可配置为将聚焦的光转换为具有至少2k水平分辨率和至少约23 帧每秒帧频的原始图像数据。存储器件还可配置为存储视频图像数据。 图 <象处理系统可配置为以至少约2 3帧每秒的帧频和至少6:1的压缩率 压缩和存储原始图像数据至该存储器件，而且基本上保持视觉上无损。 这里公开的至少一个实施方式的另一方面包括实现因人眼对绿 色波长比其他任何颜色都更敏感，因此对图像传感器输出的图像数据
的基于绿色图像数据的修改可用于提高数据的可压缩性，还提供更高 质量的视频图像。这种技术之一可包括在压缩^t据之前从探测到的红 色和/或蓝色光的量值中减去探测到的绿色光的量值。这可将红色和/ 或蓝色图像数据转换为更具压缩性的格式。例如，在将伽马校正过的 RGB数据转换为Y'CbCr的已知方法中，将图像"去相关"，余下大多 数图像数据在Y'(又名"亮度，，)，这样，剩余的色度分量更具压缩 性。然而，用于转换为Y'CbCr的已知技术无法直接应用于Bayer模式 数据，因为各颜色数据空间不相关，Bayer模式数据包括两倍于蓝色 或者红色图像数据的绿色图像数据。根据这里公开的 一些实施方式， 减去绿色图像数据的方法，可类似于上述Y'CbCr转换，因为大多数图 像数据留在绿色图像数据，使剩余的数据成为更具压缩性的格式。
进一步，可将减去绿色图像数据的过程逆反，以保留所有的原始 数据。因此，结合了这一技术所产生的系统和方法可提供无损或者视 觉上无损以及提高的视频图像数据的可压缩性。因此，根据一个实施方式， 一种摄像机可包含通过壳体支撑并配 置为聚光的透镜组件和配置为将聚焦的光转换为代表该聚焦的光的至 少第一、第二和第三颜色的图像数据的原始信号的光敏器件。图像处 理模块可配置为基于第三颜色的图像数据来修改第 一 和第二颜色中至 少一个的图像数据。另外，该摄像机可包括存储器件和配置为压缩第 一 、第二和第三颜色的图像数据并将压缩的图像数据存储到存储器件 的压缩器件。
才艮据另一个实施方式，可^是供一种处理图^象的方法。该方法可包
括将图像转换为代表第一颜色的第一图像数据、代表第二颜色的第 二图像数据和代表第三颜色的第三图像数据；基于第三图像数据来修 改至少第 一图像数据和第二图像数据；压缩第三图像数据和修改的第 一和第二图像数据；以及存储压缩的数据。
根据又一个实施方式， 一种摄像机可包含通过壳体支撑并配置为 聚光的透镜组件。光敏器件可配置为将聚焦的光转换为代表该聚焦的 光的至少第一、第二和第三颜色的图像数据的原始信号。该摄像机还 可包括基于第三颜色的图像数据来修改第 一和第二颜色中至少一个 的图像数据的装置；存储器件；和配置为压缩第一、第二和第三颜色 的图像数据并存储压缩的图像数据到存储器件的压缩器件。


图l是示出了根据一个实施方式的可包括硬件和/或可配置为执行
用于处理视频图像数据的方法的 一种系统的方框图2是图1中示意性示出的摄像机的壳体的一个可选实施方式； 图3是可用于图1中所示系统的具有Bayer模式滤波器的图像传
感器的示意性分布；
图4是可用于图1中所示系统的图像处理模块的示意性方框图； 图5是来自图3中图像传感器的绿色传感单元的绿色图像数据的
示意性分布；
图6是经过删除一些原始绿色图像数据的可选过程以后图5中剩 余绿色图像数据的示意性分布；
ii图7是组织为在图1的图像处理模块中处理的图5中红色、蓝色 和绿色图像数据的示意性分布；
图8是示出了可用于图1中所示系统的图像数据转换技术的流程
图8A是示出了也可用于图1中所示系统的图像数据转换技术的 修改的流程图9是产生于图8中图像转换流程的蓝色图像数据的示意性分布； 图IO是产生于图8中图像转换流程的红色图像数据的示意性分
布；
图11示出了可应用于图像数据进行伽马校正的示例性可选变换；
图12是可用于图1中系统以对图像数据进行解压缩和去马赛克的 控制程序的流程图12A是示出了也可用于图1中所示系统的、图12中控制程序 的^f务改的流程图13是已根据图12中流程图解压缩和去马赛克的绿色图像数据 的示意性分布；
图14是已根据图12中流程图解压缩和去马赛克的图13中原始绿 色图像数据的 一半的示意性分布；
图15是已根据图12中流程图解压缩的蓝色图像数据的示意性分 布；以及
图16是已根据图12中流程图去马赛克的图15中蓝色图像数据的 示意性分布。
具体实施例方式
图l是具有图像传感、处理和压缩模块的相机的示意图，描述为 用于活动图像的摄像机的情形。这里公开的实施方式描述为这种情形 具有带Bayer模式滤波器的单个传感器件的摄像机，因为这些实施方 式在这种情形下特别有益。然而，这里的实施方式和发明也可应用于 具有其他类型的图像传感器(例如，CMYBayer以及其他非Bayer模 式)的相机、具有其他数目的图像传感器的相机、以不同图像格式类型操作的相才几、和配置为用于静止和/或活动图像的相机。因此，应该 理解，这里公开的实施方式是示例性的、而不是限制性的实施方式， 因此，这里公开的发明不限于所公开的示例性实施方式。
继续参照图1，相机IO可包括机身或者壳体12，其配置为支撑被 配置为探测、处理、和可选择地存储和/或播放视频图像数据的系统14。
例如，系统14可包括光学硬件16、图像传感器18、图像处理模块20、 压缩模块22、和存储器件24。可选择地，相机10还可包括监视器模 块26、播放模块28、和显示器30。
图2示出了相机10的一个非限制性的示例性实施方式。如图2 中所示，光学硬件16可通过壳体12以使其外表面露出的方式来支撑。 在一些实施方式中，系统14支撑在壳体12中。例如，图像传感器18、 图像处理模块20、和压缩模块22可容置在壳体12中。存储器件24 可安装在壳体12中。另外，在一些实施方式中，存储器件24可安装 在壳体12的外部并通过任何类型的已知连接器或者电缆连接至系统 14的剩余部分。另外，存储器件24可用柔性电缆连接至壳体12,从 而允许存储器件24在一定程度上独立于壳体12移动。例如，通过这 种柔性电缆连接，存储器件24可戴在使用者的腰带上，允许壳体12 的总重量减少。进一步，在一些实施方式中，壳体可包括位于其内部 和安装到其外部的一个或者多个存储器件24。另外，壳体12也可支 撑监视器模块26、和播放模块28。另外，在一些实施方式中，显示器 30可配置为安装在壳体12的外部。
光学硬件16可以是配置为将进入的图像聚焦至图像传感器18的、 具有至少一个透镜的透4竟系统的形式。光学石更件16,可选择地，可以 是提供有变焦、孔径和聚焦的多透镜系统的形式。另外，光学硬件16 可以是通过壳体12支撑并配置为容纳很多不同类型的透镜系统的透 镜座的形式，例如，但不限于，光学硬件16包括配置为容纳各种尺寸 的透镜系统的座，上述透镜系统包括50-100毫米(F2.8)变焦4竟头、 18-50毫米(F2.8)变焦镜头、300毫米(F2.8 )透镜、15毫米(F2.8 ) 透4竟、24毫米(F1.9)透4竟、35毫米(F1.9)透4竟、50毫米(F1.9) 透镜、85毫米(F1.9)透镜、和/或任何其他透镜。如上所述，光学硬件16可配置使得不管附装哪种透镜，图像都可聚焦至图像传感器18 的光4丈面。
图像传感器18可以是任何类型的视频传感器件，包括例如，但 不限于，CCD、 CMOS、如Foveon⑧传感器的垂直堆叠的CMOS器件、 或者用棱镜在传感器之间分光的多传感器阵列。在一些实施方式中， 图^^传感器18可包4舌具有约1200万感光单元的CMOS器件。然而， 还可使用其他尺寸的传感器。在一些结构中，相机10可配置为以"2k" (例如,2048 x 1152像素)、"4k，，(例如，2096 x 2540像素)、"4.5k" 水平分辨率或者更大分辨率输出3见频。这里所用，以xk(例如，上述 2k和4k)格式表达的术语中，数量x指大致的水平分辨率。照此，"4k" 分辨率相当于大约4000或者更多水平像素，"2k"相当于大约2000 或者更多像素。使用现有的商业可用硬件，传感器可以小至约0.5英 寸(8mm)，但是，它也可以是约1.0英寸，或者更大。另外，图像 传感器18可配置为通过选择性输出传感器18的仅预定部分来提供变 化的分辨率。例如，传感器18和/或图像处理^f莫块可配置为允许使用 者识别图像数据输出的分辨率。
相机10也可配置为下采样并接着处理传感器18的输出以产生 2K、 1080p、 720p、或者任何其他分辨率的-见频输出。例如，来自传 感器18的图像数据可被"窗采样"，从而减小输出图像的尺寸并允许 更高的读出速度。但是，也可使用其他尺寸的传感器。另外，相机10 可配置为对传感器18的输出上釆样以产生更高分辨率的视频输出。
参照图1至3，在一些实施方式中，传感器18可包括Bayer模式 滤波器。照此，传感器18,通过它的芯片组(未示出)输出代表了图 像传感器18的各感光单元探测到的红色、绿色或者蓝色光的幅值的数 据。图3示意性示出了传感器18的Bayer模式输出。在一些实施方式 中，例如，如图3所示，Bayer模式滤波器具有两倍于红色单元数目 和蓝色单元数目的绿色单元。图像传感器18的芯片组可用于读取图像 传感器的各单元上的电荷，从而以已知的RGB格式输出数值流。
接着参照图4,图像处理模块20可选性地配置为以任何已知的方 式形成来自图像传感器18的数据流的格式。在一些实施方式中，图像处理模块20可配置为将绿色、红色和蓝色图像数据分成三个或者四个
单独的数据集。例如，图像处理模块20可配置为将红色数据分至一个
数据单元，将蓝色数据分至一个蓝色数据单元，以及将绿色数据分至
一个绿色数据单元。例如，参照图4，图像处理模块20可包括红色数 据处理模块32、蓝色数据图像处理模块34和第一绿色图像数据处理 模块36.
然而，如上所述，图3所示Bayer模式数据，具有两倍于另外两 种颜色的绿色像素。图5示出了其中移除了蓝色和红色数据而仅余下 原始绿色图像数据的数据单元。
在一些实施方式中，相机IO可配置为删除或者忽略一些绿色图像 数据。例如，在一些实施方式中，图像处理模块20可配置为删除1/2 的绿色图像数据以便绿色图像数据的总数与蓝色和红色图像数据的数 量一样。例如，图6示出了图像处理模块20删除l/2的绿色图像数据 以后的剩余数据。在图6示出的实施方式中，已经删除了行n-3、 n-l、 n+l和n+3。这仅是可被删除的绿色图像数据的格式的一个示例。也 可删除其他格式和其他数量的绿色图像数据。
在一些替换方式中，相机IO可配置为在基于绿色图像数据变换红 色和蓝色图像数据以后删除1/2的绿色图像数据。这一可选的技术将 在描述了从其他颜色图像数据减去绿色图像数据值之后进行描述。
可选地，图像处理模块20可配置为选择性地删除绿色图像数据。 例如，图像处理模块20可包括配置为选择性地确定哪些绿色图像数据 被删除的删除分析模块(未示出)。例如，这样的删除模块可配置为 确定从绿色图像数据中删除一定格式的行是否会导致混叠假象(例如， 莫尔条紋)或者其他视觉上可察觉的假象。删除模块可进一步配置为 选择一定格式的绿色图像数据进行删除，使得产生这种假象的风险较 小。例如，删除模块可配置为，如果其确定图像传感器18捕获的图像 包括表现为多个平行水平行的图像特征，则选择交替垂直列的绿色图 像数据删除格式。该删除格式可减少或者消除删除平行于图像中探测 到的水平行的图像数据的交替行的删除格式可产生的假象，例如，莫 尔条紋。
15但是，这仅是可被删除模块使用的图像特征和删除格式的类型的 一个示例性的、非限制性的例子。删除模块也可配置为探测其他图像 特征和使用其他图像数据删除格式，例如，但不限于，交替行、交替 对角线、或者其他格式的删除。另外，删除模块可配置为删除其他图 像数据(例如，红色和蓝色图像数据)的部分，或者由使用的传感器 的类型决定的其他图像数据。
另外，相机10可配置为在图像数据中插入数据字段来指示删除了
什么图像数据。例如，但不限于，相机IO可配置为在存储器件24中
所存储的任何视频剪辑的开头中插入数据字段，来指示在该-现频剪辑 的每一 "帧，，删除了什么数据。在一些实施方式中，相机可配置为在
通过传感器18捕获的每一帧中插入数据字段，来指示删除了什么图像 数据。例如，在图像处理模块20配置为按一个删除格式来删除l/2的 绿色图像数据的一些实施方式中，数据字段可以小至一个位的数据字 段，来指示是否删除了图像数据。因为图像处理模块20配置为仅按一 个格式来删除数据，因此一个位足以指示删除了什么数据。
在一些实施方式中，如上所述，图像处理模块20可配置为按多于 一个的格式来选择性地删除图像数据。这样，图像数据删除字段可以 大一些，包括足够数目的值以提供 指示是使用了这些不同图像数据删 除才各式中的哪一个。该^:据字,爻可通过下游组件和或处理来4吏用以确 定剩余图像数据相应于哪些空间位置。
在一些实施方式中，图像处理模块可配置为保留所有的原始绿色 图像数据，例如，图5所示数据。在这些实施方式中，图像处理模块 可包括一个或者多个绿色图像数据处理模块。
如上所述，在已知的Bayer模式滤波器中，具有两倍于红色单元 数目和蓝色单元数目的绿色单元。换句话说，红色单元包含总Bayer 模式阵列的25%,蓝色单元为Bayer模式阵列的25%,绿色单元包含 Bayer模式阵列单元的50%。这样，在保留了所有的绿色图像数据的 一些实施方式中，图像处理模块20可包括第二绿色数据图像处理模块 38。照此，第一绿色数据图像处理模块36可处理一半的绿色单元，第 二绿色图像数据处理沖莫块38可处理剩余的绿色单元。但是，本发明可与其他类型的模式一起使用，例如，但不限于，CMY和RGBW。
图7包括由才莫块32、 34、 36和38 (图4)处理的红色、蓝色和两 个绿色数据分量的示意性示出。这可提供进一步的优点，因为这些模 块的每一个的尺寸和配置大致相同，因为他们处理大致相同数目的数 据。另外，图像处理模块20可选择性地切换于其中处理所有的绿色图 像数据(通过使用模块36和38)的模式和其中删除了 1/2的绿色图像 数据的模式(其中仅利用模块36和38中的一个)之间。但是，也可 使用其他配置。
另外，在一些实施方式中，图像处理模块20可包括其他模块和/ 或可配置为执行其他处理，例如，-f旦不限于，伽马4交正处理、噪声过 滤处理等等。
另外，在一些实施方式中，图像处理模块20可配置为从蓝色单元 和/或红色单元的值中减去绿色单元的值。照此，在一些实施方式中， 当通过图像传感器18探测到某些颜色时，相应的红色或者蓝色单元可 减少至零。例如，在很多摄影中，存在大面积的黑色、白色、或者灰 色、或者从灰色过渡到红色或者蓝色的颜色。这样，如果图像传感器 18的相应像素感测到一块灰色，绿色、红色和蓝色的幅值将大致相等。 这样，如果从红色和蓝色值中减去绿色值，红色和蓝色值将降至零或 者接近零。这样，在随后的压缩处理中，感测黑色、白色或者灰色块 的像素中将产生更多的零，从而产生的数据将具有更大的可压缩性。 另外，由于其他原因，从其他颜色中的一个或者两者中减去绿色可使 产生的图像数据更具可压缩性。
这种技术，由于其与原始图像数据的熵之间的关系，有助于实现 更高效率的压缩率且仍保持视觉上无损。例如，图像的熵跟图像中随 机的量有关。例如，从其他颜色的图像数据中减去一种颜色的图像数 据可减少随机，从而减少这些颜色的图像数据的熵，因而允许数据以 更高的压缩率和更少损失被压缩。典型地，图像不是随机颜色值的集
缩量将至少部分地取决于图像中原始信息的熵。
在一些实施方式中，从红色或者蓝色像素中减去的量值可以是从与被减红色或者蓝色像素相邻的绿色像素输出的值的量值。进一步， 在一些实施方式中，从红色或者蓝色单元中减去的绿色量值可以从周 围绿色单元的平均值中得出。这种技术更详细地描述如下。但是，也 可使用其他技术。
可选地，图像处理模块20也可配置为从其他颜色中选择性地减去
绿色图像数据。例如，图像处理模块20可配置为确定从其他颜色中任
一个的图像数据的 一 部分中减去绿色图像数据是否会提供更好的压缩
性。在这种模式中，图像处理模块20可配置为在图像数据中插入标记
来指示修改了图像数据的什么部分(例如通过減去绿色图像数据修改) 和没有修改哪部分。通过这些标记，下游去马赛克/重构组件可基于这 些数据标记的状态将绿色图像值选择性地加回其他颜色的图像数据中。
可选地，图像处理冲莫块20还可包括配置为对红色和蓝色数据舍入 (rounding)的另外的数据缩减模块(未示出)。例如，如果在减去 绿色幅值以后红色或者蓝色数据接近零(例如，对范围为0-255的8 位数值范围来说在1或者2以内，或者，对更高分辨率系统来说更高 的幅值)。例如，传感器18可以为以数值范围0-4095来输出红色、 蓝色和绿色数据的12位传感器。舍入模块对数据执行的任何舍入或者 滤波可以调整以达成期望的效果。例如，如果期望无损输出，则以较 小程度执行舍入；而如果可接受一些损失或者损失性输出，则以较大 的程度执行。可以执行一些舍入且仍产生一见觉上无损的输出。例如， 按8-位的数值范围，具有上至2或者3的绝对值的红色或者蓝色数据 可舍入为O且仍提供视觉上无损的输出。另外，按12-位的数值范围， 具有上至10至20的绝对值的红色或者蓝色数据可舍入为O且仍提供 视觉上无损的输出'。
另外，可舍入为零或舍入为其他值、且仍提供视觉上无损的输出 的值的量值取决于系统的配置，包括光学硬件16、图像传感器18、图 像传感器的分辨率、图像传感器18的颜色分辨率(位)、滤波器的类 型、图像处理模块20执行的抗混叠技术或者其他技术、压缩模块22 执行的压缩技术、和/或相机10的其他参数或者特征。如上所述，在一些实施方式中，相机10可配置为在基于绿色图i象 数据变换红色和蓝色图像数据以后，删除1/2的绿色图像数据。例如，
但不限于，处理模块20可配置为在从红色和蓝色数据值中减去周围绿 色数据值的量值的平均值以后，删除1/2的绿色图像数据。绿色数据 中的这种缩减可减少对相关硬件的吞吐量需求。另外，剩余的绿色图 像数据可用于重构红色和蓝色图像数据，下面将参照图14和16更详 细地j兌明。
如上所述，相机10还可包括压缩模块22。压缩模块22可以是单 个芯片的形式或者可通过软件和另外的处理器实现。例如，压缩才莫块 22可以是商业上可用的压缩芯片的形式，其根据JPEG 2000标准执行 压缩技术，或者其他压缩技术。
压缩模块可配置为对来自图像处理模块20的数据执行任何类型 的压缩处理。在一些实施方式中，压缩模块22执行利用图像处理模块 20执行的技术的压缩技术。例如，如上所述，图像处理模块20可配 置为通过减去绿色图像数据的量值来减小红色和蓝色数据的值的量 值，从而产生更多的零值，以及其他效果。另外，图像处理模块20 T执行使用图像数据的熵的对原始数据的操作。这样，压缩模块22 执行的压缩技术可为这样的类型其受益于更大串的零的出现来减小 所输出的压缩数据的大小。
进一步，压缩模块22可配置为压缩来自图像处理模块20的图像 数据以产生视觉上无损的输出。例如，首先，压缩模块可配置为应用 任何已知的压缩技术，例如，但不限于，JPEG 2000、活动JPEG (MotionJPEG )、任何基于DCT的编解码器、任何设计用于压缩RGB 图像数据的编解码器、H.264、 MPEG4、霍夫曼或者其他技术。
根据使用的压缩技术的类型，压缩技术的各种参数可设定为提供 视觉上无损的输出。例如，上述很多压缩技术可调整为不同的压缩率， 其中当解压时，产生的图像对低压缩率来说质量较好，而对高压缩率 来说质量较低。这样，压缩模块可配置为以提供视觉上无损的输出的 方式压缩图像数据，或者可配置为允许使用者调整各种参数以获得视 觉上无损的输出。例如，压缩模块22可配置为以大约6:1、 7:1、 8:1或者更大的压缩率来压缩图像数据。在一些实施方式中，压缩模块22
可配置为将图像数据压缩为12:1的比率或者更高。
另外，压缩模块22可配置为允许使用者调整通过压缩模块22实 现的压缩率。例如，相机10可包括用户界面，其允许使用者输入使压 缩模块22改变压缩率的命令。这样，在一些实施方式中，相机10可 提供可变的压缩。
这里所用的术语"视觉上无损"意图包括这样的输出当在同样 的显示器件上与原始(从未压缩过)图像数据并排比较时，仅仅基于 对图像的目测，本领域普通技术人员会无法确定哪幅图像是具有合理 精确度的原始图像。
继续参照图1,相机IO还可包括存储器件24。存储器件可以是任 何类型的数字存储的形式，例如，但不限于，硬盘、闪存或者任何其 他类型的存储器件。在一些实施方式中，存储器件24的尺寸足够大以 存储来自压缩模块22的图像数据，对应于12兆像素分辨率、12-位颜 色分辨率和60帧每秒的至少大约30分钟视频。但是，存储器件24 可以具有任何尺寸。
在一些实施方式中，存储器件24可安装在壳体12的外部。进一 步，在一些实施方式中，存储器件24可通过标准通信端口连接至系统 14的其他部件，上述端口包i舌，例如，但不限于，IEEE 1394、 USB 2.0、 IDE、 SATA等等。进一步，在一些实施方式中，存^fj者器件24可包含 #4居RAID协议操作的多个硬驱动。但是，可使用任何类型的存储器 件。
继续参照图1，如上所述，在一些实施方式中，系统可包括监视 器模块26和显示器件30，配置为允许使用者在操作期间观看通过图 像传感器18捕获的视频图像。在一些实施方式中，图像处理模块20 可包括配置为将缩减分辨率的图像数据输出至监视器模块26的二次 抽样系统。例如，这种二次抽样系统可配置为输出视频图像数据以支 持2K、 1080p、 720p或者任何其他分辨率。在一些实施方式中，用于 去马赛克的滤波器还可适于执行下采样滤波，以便下采样和滤波可以 同时执行。监视器模块26可配置为对来自图像处理模块20的数据执
20行任何类型的去马赛克处理。其后，监视器模块26可输出去马赛克的
图像数据至显示器30。
显示器30可以是任何类型的监视器件。例如，但不限于，显示器 30可以是通过壳体12支撑的4英寸LCD面板。例如，在一些实施方 式中，显示器30可以连接于无限量调整，其配置为允许显示器30相 对于壳体12调整为任何位置，以1更使用者可相对于壳体12以任何角 度观看显示器30。在一些实施方式中，显示器30可通过任何类型的 视频电缆，例如，RGB或者YCC格式视频电缆，连接至监视器模块。
可选地，播放模块28可配置为接收来自存储器件24的数据，对 图像数据进行解压和去马赛克，然后输出图像数据至显示器30。在一 些实施方式中，监视器模块26和播放模块28可通过中间显示控制器 (未示出)连接至显示器。照此，显示器30可通过单个连接器连接至 显示控制器。显示控制器可配置为从监视器模块26或者播放模块28 传输数据至显示器30。
图8包括示出了相机10对图像数据的处理的流程图50。在一些 实施方式中，流程图50可表示存储在存储器件(例如，存储器件24 或者相机10中另外的存储器件(未示出))中的控制流程。另外，中 央处理器(CPU)(未示出)可配置为执行该控制流程。下面对相应 于在处理视频图像数据的单个帧的情况下描述的流程图50的方法进 行介绍。这样，这种技术可应用于对单个静止图像的处理。这些流程 还可应用于对连续3见频的处理，例如，大于12的帧频，以及20、 23.976、 24、 30、 60和120的帧频，或者介于这些帧频之间或者更大的其他帧 频。
继续参照图8,控制流程可开始于操作块52。在操作块52中，相 机10可获得传感器数据。例如，参照图1，可包括Bayer传感器和芯 片组的图像传感器18可输出图像数据。
例如，但不限于，参照图3,图像传感器可包含在其光接收面具 有Bayer模式滤波器的CMOS器件。这样，来自光学硬件16的聚焦 图像聚焦至图像传感器18的CMOS器件上的Bayer模式滤波器。图3 示出了通过在CMOS器件上布置Bayer模式滤波器所产生的Bayer模式的一个例子。
在图3中，歹'J m是从Bayer模式的左边缘起第四列，而行n是从 该格式的上边缘起第四行。其余的行和列相对于列m和行n来标记。 但是，这种布局仅是为了示意性目的随机选出，并不限制这里公开的 任何实施方式和发明。
如上所述，已知的Bayer模式滤波器通常包括两倍于蓝色和红色 单元的绿色单元。在图5的模式中，蓝色单元仅出现在行n-3、 n-l、 n+l和n+3中。红色单元仅出现在行n-2、 n、 n+2和n+4中。但是， 绿色单元出现在所有的行和列中，其间散布着红色和蓝色单元。
因此，在操作块52中，从图像传感器18输出的红色、蓝色和绿 色图像数据可由图像处理模块20接收，并组织为分离的颜色的数据分 量中，例如，那些图7中示出的。如图7所示，如上参照图4所述， 图像处理模块20可将红色、蓝色和绿色图像数据分成四个分离的分 量。图7示出了两个绿色分量(绿色1和绿色2)、 一个蓝色分量和 一个红色分量。但是，这仅是处理来自图像传感器18的图像数据的一 个示例性方法。另外，如上所述，可选地，图像处理模块20可随机或 者选择性地删除1/2的绿色图像数据。
在操作块52之后，流程图50可前进至操作块54。在操作块56 中，可进一步处理图像数据。例如，可选地，可进一步处理所产生数 据中的任一个或者全部(例如，绿色1、绿色2、来自图9的蓝色图像 数据和来自图IO的红色图像数据)。
例如，可以其他方式预加重或者处理图像数据。在一些实施方式 中，图像数据可被处理得更加(数学上)非线性。 一些压缩算法受益 于执行这种压缩前对单元的线性化。但是，还可使用其他技术。例如， 图像数据可用线性曲线处理，其基本不提供加重。
在一些实施方式中，操作块54可使用由函数>;= 0.5定义的曲线 来处理图像数据。在一些实施方式中，该曲线可在图像数据为，例如 但不限于，标准化为0-1范围的浮点数据时使用。在其他实施方式中， 例如，当图傳4t据为12-位^t据时，可^/吏用曲线；;=(1/4095)、.5来处理图 像。另外，可使用其他曲线来处理图像数据，例如y"x + c)Ag,其中0.01〈g〈l且c为偏移量，C在一些实施方式中可以为0。另外，还可使 用对数曲线。例如，形式为} = ^^1og(5w + C)的曲线，其中，j、 S和C 是为提供期望的结果所选择的常量。另外，可修改上述曲线和方法以
在黑色附近提供更加线性的区域，类似于在众所周知的Rec709伽马校 正中使用的那些技术。在将这些处理应用于图像数据时，可将同样的 处理应用于所有的图像数据，或者，可将不同的处理应用于不同颜色 的图像数据。但是，这些仅是可用于处理图像数据的示例性曲线，还 可使用其它曲线或者变换。另外，可使用例如上述那些的数学函数、 或者查找表(LUTs)来应用这些处理技术。另外，不同的处理、技术 或者变换可用于不同类型的图像数据、记录图像数据中使用的不同 ISO设定、温度(其可影响噪声水平)等等。
在操作块54之后，流程图50可前进至操作块56。在操作块56 中，可变换红色和蓝色单元。例如，如上所述，可从蓝色和红色图像 数据分量中的每一个中减去绿色图像数据。在一些实施方式中，红色 或者蓝色图像数据值可通过减去邻近红色或者蓝色单元的至少一个绿 色单元的绿色图像数据值来变换。在一些实施方式中，可从红色或者 蓝色图像数据值中减去多个相邻绿色单元的数据值的平均值。例如， 但不限于，可计算2、 3、 4或者更多个绿色图像数据值的平均值，并 将其从绿色单元附近的红色或者蓝色单元中减去。
例如，但不限于，参照图3，红色单元i ","的原始输出被四个绿 色单元<^—2, _3、 2、 Gm_3, —2和G",w围绕。这样，红色单元&_2, —2可
如下通过减去周围绿色单元的值的平均值来变换 (1 ) = -+ Gm+1, + + Gm )/4
类似地，蓝色单元可如下通过减去周围绿色单元的平均值的类似 方式来变换
(2 ) 5m+i， +i = 5m+i, +i — (Gm+1, + Gm+2, +1 + Gm+1, +2 + Gm' +1)/4 图9示出了其中原始蓝色原始数据5^,变换后所产生的蓝色数 据分量，新值标记为5"^ (仅填充该分量中的一个值，且同样的技术 可用于所有的蓝色单元)。类似地，图IO示出了已经变换的红色数据 分量，其中，变换了的红色单元&_2, _2标记为&—2, —2。在这种状态下，
23图像数据仍被认为是"原始"数据。例如，对数据实施的数学处理完全可逆，以便可通过逆反那些流程来获得所有的原始值。
继续参照图8， #:作块56之后，流程图50可前进至操作块58。在操作块58中，产生的数据(其是原始的或者基本上原始)可使用任何已知的压缩算法来进一步压缩。例如，压缩模块22 (图1)可配置为执行这样的压缩算法。压缩之后，压缩的原始数据可存储在存储器件24 (图1 )中。
图8A示出了流程图50的一个4务改，以参考数值50'来标记。上述参照流程图50的一些步骤，可与流程图50'的一些相应步骤类似或者相同，因而以相同的参考it值来标记。
如图8A所示，在一些实施方式中，流程图50'可选地忽略操作块54。在一些实施方式中，流程图50'还可包括4喿作块57，其中可对图像数据应用查找表。例如，可选的查找表，如图ll的曲线所表示的，可用于提高进一步的压缩。在一些实施方式中，图ll的查找表仅仅用于绿色单元。在其他实施方式中，查找表还可用于红色和蓝色单元。相同的查找表可用于这三个不同的颜色，或者每个颜色可具有自己的查找表。另外，还可应用除了图11的曲线所体现的之外的。
通过以上述参照图8和8A所述的方式来处理图像数据，已发现，来自图像传感器18的图像数据可按6:1或者更大的压缩率来压缩且仍保持视觉上无损。另外，尽管对图像数据进行了变换(例如，绿色图像数据的减去)，但所有的原始图像数据对于终端使用者仍然可得。例如，通过逆反某些过程，可提取所有的或者基本上所有的原始数据，并使用使用者期望的任何方法进一 步处理、滤波和/或去马赛克。
例如，参照图12，可对存储在存储器件24中的数据进行解压和去马赛克。可选地，相才几10可配置为^l行流程图60示出的方法。例如，但不限于，播放模块28可配置为执行流程图60示出的方法。但是，使用者还可将数据从存储器件24传输至分离的工作站，并应用流程图60中的任何或者全部步骤和/或操作。
继续参照图12，流程图60可开始于操作块62，其中对来自存储器件24的数据进行解压。例如，操作块62中对数据的解压可以是操作块58 (图8)中执行的压缩算法的逆向。操作块62之后，流程图60可前进至4喿作块64。
在操作块64中，可逆反操作块56(图8)中执行的方法。例如，可将图11的曲线的逆向或者上述参照图8和8A中的操作块56所述的任何其他函数的逆应用于图像数据。操作块64之后，流程图60可前进至步骤66。
在操作块66中，可对绿色单元进行去马赛克。例如，如上所述，来自数据分量绿色1和/或绿色2 (图7)的所有值可存储在存储器件24中。例如，参照图5,来自数据分量绿色1、绿色2的绿色图像数据可按照图像传感器18中应用的原始Bayer模式来布置。然后，绿色数据可通过任何已知的技术进一步去马赛克，例如，线性插值、双线性等等。
图13示出了对所有的原始绿色图像数据去马赛克后的绿色图像数据的示例性布局。以字母G,标记的绿色图像单元代表了原始(解压的)图像数据，而标记为ZX^的单元代表了通过去马赛克处理从原始数据得出的单元。该术语用于下述对其它颜色的去马赛克过程。图14示出了对1/2的原始绿色图像数据去马赛克后的绿色图像数据的示例性图像数据布局。
继续参照图12，流程图60可在操作块66之后前进至操作块68。在操作块68中，可进一步处理去马赛克后的绿色图像数据。例如，但不限于，噪声去除技术可应用于绿色图像数据。但是，任何其他图像处理技术，例如，抗混叠技术，也可应用于绿色图像数据。操作块68之后，流程图60可前进至操作块70。
在操作块70中，可对红色和蓝色图像数据进行去马赛克。例如，首先，图9的蓝色图像数据可根据原始Bayer模式(图15)重新布置。周围单元，如图16所示，可使用任何已知的去马赛克技术，包括线性插值、双线性等等，来从现有的蓝色图像数据进行去马赛克。作为去马赛克步骤的结果，对于每个像素将有蓝色图像数据，如图16所示。但是，基于图9的修改的蓝色图像数据，即，从其中减去了绿色图像数据值的蓝色图像数据值，对该蓝色图像数据进行去马赛克。操作块70还可包括对红色图像数据的去马赛克过程。例如，来自
图10的红色图像数据可按照原始Bayer模式重新布置，并通过任何已 知的去马赛克方法，例如线性插值、双线性等等，进一步去马赛克。
操作块70之后，流程图可前进至操作块72。在操作块72中，可 根据去马赛克的绿色图像数据重构去马赛克的红色和蓝色图像数据。
在一些实施方式中，红色和蓝色图像数据单元的每一个都可通过 加上来自同位置处的绿色图像单元(与列"m，，和行"n，，相同位置的 绿色图像单元)的绿色值来重构。例如，去马赛克以后，蓝色图像数 据包括蓝色单元值"&_2, _2。因为图3的原始Bayer模式在该位置并不 包括蓝色单元，因此该蓝色值2, _2是基于例如来自单元5m_3, _3 、
Am 、 &—3, —,和M-,或者任何其他技术或者其他蓝色图像单元中的蓝 色值、通过上述去马赛克过程导出的。如上所示，这些值在操作块(图
8)中被修改，因而并不相应于图像传感器18探测到的原始蓝色图像
数据。更确切地，从这些值中的每一个中已减去平均绿色值。这样，
产生的蓝色图像数据"^_2, _2还代表了已减去了绿色图像数据的蓝色
数据。这样，在一个实施方式中，单元"(^_2, _2的去马赛克的绿色图像
数据可加到蓝色图像值i^m_2， _2中，从而产生重构的蓝色图像数据值。
在一些实施方式中，可选地，蓝色和/或红色图像数据可在去马赛 克之前首先重构。例如，变换的蓝色图像数据可首先通过加上周 围绿色单元的平均值来重构。这将导致获得或者重新计算原始蓝色图 像数据&一^t。该过程可对所有的蓝色图像数据执行。接着，蓝色图像 数据可通过任何已知的去马赛克技术进 一 步去马赛克。红色图像数据 也可按相同的或者类似的方式处理。
图12A示出了流程图60的修改，以参考数值60'来标记。上述参 照流程图60的一些步骤，与流程图60'的一些相应步骤类似或者相同， 因而以相同的参考数值来标记。
如图12A所示，流程图60'可包括操作块62之后的操作块68'。在 操作块68'中，可对图像数据执行噪声去除技术。例如，但不限于，噪 声去除技术可应用于绿色图像数据。但是，任何其他图像处理技术， 例如抗混叠技术，也可应用于绿色图像数据。操作块68'之后，流程图
26可前进至操作块70'。
在操作块70'中，可对图像数据进行去马赛克。如上参照操作块66 和70所述，绿色、红色和蓝色图像数据可按两步进行去马赛克。但是， 在当前流程图60'中，所有三个颜色的图像数据的去马赛克体现在单个 步骤中，尽管上述相同的去马赛克技术可应用于此去马赛克过程。操
作块70'之后，流程图可前进至操作块72和操作快64，操作块72中可 重构红色和蓝色图像数据，操作块64中可应用逆向查找表。
在#4居流程图70或者70'中的任一个或者任何其他合适的方法对 图像数据解压和处理以后，图像数据可进一步处理为去马赛克的图像 数据。
通过在重构红色和蓝色图像数据之前对绿色图像数据进行去马赛 克，可实现某些进一步的优点。例如，如上所述，人眼对绿色光更加 敏感。对绿色图像数据的去马赛克和处理优化了人眼更加敏感的绿色 图像值。这样，随后对红色和蓝色图像数据的重构将受到对绿色图像 数据的处理的影响。
另外，Bayer模式具有两倍于红色和蓝色单元的绿色单元。这样， 在保留了所有绿色数据的实施方式中，与红色或者蓝色图像数据分量 相比，绿色单元拥有两倍的图像数据。这样，去马赛克技术、滤波器 和其他图像处理技术将产生更好的去马赛克、锐化或者另外的滤波的 图像。使用这些去马赛克的值来对红色和蓝色图像数据进行重建和去 马赛克将与更高分辨率的原始绿色数据相关的益处传至红色和蓝色单 元的处理、重建和去马赛克。照此，产生的图像进一步得到增强。
权利要求
1.一种摄像机，包括便携的壳体；透镜组件，其通过所述壳体支撑并配置为对光进行聚焦；光敏器件，其配置为以至少约23帧每秒的帧频将聚焦的光转换为至少2k分辨率的原始图像数据；存储器件；和图像处理系统，其配置为以至少6∶1的压缩率且基本上保持视觉上无损地、且以至少约23帧每秒的速率，压缩所述原始图像数据并将其存储在存储器件中。
2. 如权利要求1所述的摄像机，其中，所述图像处理系统进一步 包括图像处理模块，其配置为基于第三颜色的图像数据修改代表第一 和第二颜色中的至少之 一 的图像数据。
3. 如权利要求2所述的摄像机，其中，所述第三颜色是绿色
4. 如权利要求2所述的摄像机，其中，所述图像处理模块配置为 从所述第 一颜色和第二颜色的图像数据的值中减去所述第三颜色的图 像数据的值。
5. 如权利要求2所述的摄像机，其中，所述图像处理系统配置为 在所述图像处理模块对代表所述第一颜色和第二颜色中的至少之一的 图像数据进行修改之后，压缩所述第一、第二和第三颜色的图像数据。
6. 如权利要求2所述的摄像机，其中，所述图像处理系统配置为 删除代表所述第三颜色的图像数据的大约一半。
7. 如权利要求6所述的摄像机，其中，所述光敏器件包括配置为探测所述第 一颜色的第 一组传感单元、配置为探测所述第二颜色的第二组传感单元、和配置为探测所述第三颜色的第三组传感单元，所述第三组传感单元包括两倍于所述第二组传感单元的传感单元。
8. 如权利要求1所述的摄像机，其中，所述存储器件设置在所述壳体中。
9. 如权利要求1所述的摄像机，其中，所述存储器件支撑在所述壳体的外部。
10. 如权利要求1所述的摄像机，其中，所述存储器件通过柔性电缆连接至所述壳体。
11. 如权利要求1所述的凝/像机，其中，所述图4象处理系统配置为在压缩之前操作所述原始图像数据，以减小所述原始图像数据的熵。
12. 如权利要求1所述的摄像机，其中，所述图像处理系统配置为在压缩之前减小所述原始图像数据的熵。
13. —种摄像机，包括透镜组件，其通过壳体支撑并配置为对光进行聚焦；光敏器件，其配置为将聚焦的光转换为代表所述聚焦的光的至少第一、第二和第三颜色的图像数据的原始信号；图像处理模块，其配置为基于所述第三颜色的图像数据修改所述第 一颜色和第二颜色的至少之一 的图像数据；存储器件；和压缩器件，其配置为压缩第一、第二和第三颜色的图像数据，并以至少约23帧每秒的帧频将压缩的图像数据存储至所述存储器件。
14. 如权利要求13所述的摄像机，其中，所述第三颜色是绿色。
15. 如权利要求13所述的摄像机，其中，所述图像处理模块配置为从所述第 一颜色和第二颜色中的至少之一 的图像数据的值中减去所述第三颜色的图像数据的值。
16. 如权利要求15所述的摄像机，其中，所述第三颜色的图像数据的值包括所述第三颜色的所选图像数据的值的平均值。
17. 如权利要求13所述的摄像机，其中，所述图像处理模块配置为根据邻近所述第一颜色的传感单元的至少两个传感单元计算所述第三颜色的图像数据的值的平均值，并从来自所述第 一颜色的所述传感单元的图像数据的值中减去所述平均值。
18. 如权利要求17所述的摄像机，其中，所述平均值包括至少来自与所述第一颜色的所述传感单元邻近的传感单元的、所述第三颜色的图像数据的值的平均值。
19. 如权利要求13所述的揭/f象机，其中，所述光壽文器件包括Bayer传感器。
20. —种4吏用相机记录活动一见频的方法，所述方法包括将光导向光敏器件；以至少大于23帧每秒的速率将所述光敏器件接收的光转换为原始数字图像数据；压缩所述原始数字图像数据；和以至少约23帧每秒的速率将所述原始图像数据记录至存储器件。
21. 如权利要求20所述的方法，其中，压縮所述原始数字图像数据的步骤包括以至少6:1的有效压缩率压缩所述原始数字图像数据。
22. 如权利要求20所述的方法，其中，压缩所述原始数字图像数据的步骤包括以至少约12:1的有效压缩率压缩原始数字图像数据。
23. 如权利要求20所述的方法，其中，压缩所述原始数字图像数据的步骤包括压缩所述原始数字图像数据，以便所述数据保持视觉上无损。
24. 如权利要求20所述的方法，其中，所述记录步骤包括存储压缩的原始数字图像数据。
25. 如权利要求20所述的方法，其中，所述记录步骤包括以至少大约23.976帧每秒的速率记录所述原始图像数据至所述存储器件。
26. 如权利要求20所述的方法，在所述记录步骤之前还包括，操:作所述原始图像凄t据以减少所述原始图像数据的熵的步骤。
27. 如权利要求20所述的方法，在记录步骤之前，还包括减少所述原始图像数据的熵的步骤。
28. 如权利要求27所述的方法，在减少熵的步骤之后，还包括以视觉上无损的方式压缩所述原始图像数据。
29. —种处理图像的方法，包括将图像转换为代表第 一颜色的原始第 一 图像数据、代表第二颜色的原始第二图像数据、和代表第三颜色的原始第三图像数据；基于所述原始第三图像数据修改至少所述原始第 一 图像数据和所述原始第二图像数据；压缩所述原始第三图像数据和修改的原始第 一和原始第二图像数据；和以至少约23帧每秒的帧频存储压缩的数据。
30. 如权利要求29所述的方法，其中，所述存储步骤包括存储压缩的数据至相机，所述相机包括用于所述转换步骤的图像传感器件。
31. 如权利要求29所述的方法，还包括，删除一半的所述第三图像数据的步骤。
32. 如权利要求29所述的方法，其中，所述修改步骤包括计算第三图像数据的至少两个像素的平均值，并从与第三图像数据的所述至少两个像素都相邻的第 一 图像数据的像素中减去所述平均值。
33. 如权利要求32所述的方法，其中，所述计算步骤包括计算第三图像数据的至少四个像素的平均值。
34. 如权利要求29所述的方法，其中，所述第三图像数据代表绿色图像数据。
35. 如权利要求29所述的方法，还包括对所述第三图像数据和修-改的第 一和第二图像数据进行解压。
36. 如权利要求35所述的方法，还包括对所述第三图像数据进行去马赛克。
37. 如权利要求36所述的方法，还包括基于去马赛克的第三图像数据对所述第 一 图像数据进行去马赛克。
38. 如权利要求36所述的方法，还包括对所述第一图像数据进行去马赛克，然后基于去马赛克的第三图像数据修改去马赛克的第一图像数据。
39. 如权利要求29所述的方法，其中，所述修改步骤包括基于所述第三图像数据计算 一 个值，从所述第 一 图像数据的值中减去所述值；并且其中，所述方法进一步包括对所述第三图像数据以及第 一和第二修改的图像数据进行解压，对所述第三图像数据进行去马赛克，接着对所述第 一图像数据进行去马赛克，然后基于去马赛克的第三图像数据的值来修改去马赛克的第 一 图像数据。
40. —种摄像机，包括透镜组件，其通过所述壳体支撑并配置为对光进行聚焦；光敏器件，其配置为将聚焦的光转换为代表所述聚焦的光的原始图像数据的信号；存储器件；和用于以至少约23帧每秒的帧频压缩和记录所述原始图像数据的装置。
41. 如权利要求40所述的摄像机，还包括用于在用于压缩的装置压缩所述原始图像数据之前减少所述原始图像数据的熵的装置。
42. —种摄像才几，包括便携的壳体，其具有至少一个把手，并配置为允许使用者在所述摄像机的视频记录操作期间操作关于所述壳体的至少一个活动自由度的取向；透镜组件，其包括通过所述壳体支撑的至少一个透镜，并配置为将光聚焦至位于所述壳体中的平面上；光敏器件，其配置为以至少约23帧每秒的帧频将聚焦的光转换为具有至少2k的水平分辨率的原始图像数据；存储器件，其配置为存储视频图像数据；和图像处理系统，其配置为以至少6:1的压缩率且基本上保持一见觉上无损地、且以至少约23帧每秒的速率，压缩所述原始图像数据并将其存储在存储器件中。
43.如权利要求42所述的摄像机，其中，所述图像处理系统配置 为在压缩所述原始图像数据之前减d、所述原始图像数据的熵。
全文摘要
一种摄像机可配置为以视觉上无损的方式高度压缩视频数据。该摄像机可配置为以提高数据可压缩性的方式对蓝色和红色图像数据进行变换。然后，压缩数据并以这种形式存储。在去马赛克时，对于视觉上无损的原始数据的修改版本，这允许使用者重构红色和蓝色数据以获得原始数据。另外，可按这样的方式处理数据其中，首先对绿色图像单元进行去马赛克，然后基于去马赛克的绿色图像单元的值来重构红色和蓝色单元。
文档编号G09G5/02GK101689357SQ200880018570
公开日2010年3月31日 申请日期2008年4月11日 优先权日2007年4月11日
发明者托马斯·格雷姆·纳特瑞斯, 詹姆斯·杰纳德 申请人:Red.Com公司