具有孔径改变深度估计的图像处理系统及其操作方法
【技术领域】
[0001] 本发明总体上涉及图像处理系统，更具体来说涉及一种具有孔径改变深度估计的 图像处理系统。
【背景技术】
[0002] 现今的消费和工业电子装置(特别是具有图形成像能力的设备，比如摄影机、电 视、投影仪、蜂窝电话以及组合设备)正在提供越来越高的功能水平以支持现今的生活，其 中包括三维显示服务。现有技术中的研发可能是在许多不同方向上进行的。
[0003] 随着三维显示设备的成长为用户赋予了更多能力，新的和旧的范例开始利用这一 新的设备空间。针对利用这一新的显示设备机会存在许多技术解决方案。一种现有的方法 是在消费、工业和移动电子装置上显示三维图像，比如视频投影仪、电视、监视器、智能电 话、游戏系统、摄影机或者个人数字助理(PDA)。
[0004] 三维图像处理系统已被合并在摄影机、投影仪、电视、笔记本和其他便携式产品 中。如今，这些系统帮助用户捕获和显示可用的相关信息，比如图表、地图或视频。三维图像 的显示提供极有价值的相关信息。可以通过利用多个透镜捕获立体图像来形成三维图像。
[0005] 但是以三维形式显示信息已成为消费者首要关注的问题。显示不与真实世界相关 的三维图像会减少使用所述工具的益处。
[0006] 因此，仍然需要有更好的图像处理系统来捕获和显示三维图像。鉴于不断增大的 商业竞争压力，连同不断增长的消费者预期以及市场中的有意义的产品区分的机会不断减 少，找到这些问题的答案也变得越来越关键。此外，针对降低成本、改进效率和性能以及满 足竞争压力的需求也为找到这些问题的答案的关键必要性增加了更大的紧迫性。深度估计 还可以被用于例如自动对焦、游戏之类的应用或者其他类似的应用。
[0007] 长期以来一直在寻求针对这些问题的解决方案，但是先前的发展没有教导或建议 任何解决方案，因此本领域技术人员一直以来都没有找到针对这些问题的解决方案。
【发明内容】
[0008] 本发明提供了一种操作图像处理系统的方法，其包括:接收具有第一孔径的第一 图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和绿色通 道;计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数； 计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数;形成 具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及基于第一图像和深度图 形成显示图像以用于在显示设备上显示。
[0009] 本发明提供了一种图像处理系统，其包括:接收图像模块，其用于接收具有第一孔 径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和 绿色通道;耦合到接收图像模块的计算模糊差异模块，其用于计算对应于第一图像和第二 图像的相应部分的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二 图像的相应部分的绿色通道的模糊差异的绿色迭代计数;耦合到计算模糊差异模块的计算 深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以 及耦合到计算深度图模块的计算显示图像模块，其用于基于第一图像和深度图形成显示图 像以用于在显示设备上显示。
[0010] 本发明的某些实施例具有其他步骤或单元，以作为前面所提到的那些步骤或单元 的补充或替换。通过阅读后面参照附图作出的详细描述，本领域技术人员将认识到所述步 骤或单元。
【附图说明】
[0011] 图1是本发明的一个实施例中的图像处理系统。
[0012] 图2是成像系统的一个实例。
[0013]图3是所接收到的图像的一个实例。
[0014]图4是匹配曲线图表的一个实例。
[0015] 图5是匹配曲线差异图表的一个实例。
[0016] 图6是对应于红色通道的多个孔径对的匹配曲线图表的一个实例。
[0017] 图7是对应于绿色通道的多个孔径对的匹配曲线图表的一个实例。
[0018] 图8是对应于红色通道和绿色通道的多个孔径对的匹配曲线差异图表的一个实 例。
[0019] 图9是场景的一个实例。
[0020] 图10A是深度图的第一实例。
[0021] 图10B是深度图的第二实例。
[0022]图11是具有孔径深度估计的图像处理系统的处理流程的一个实例。
[0023]图12是所述图像处理系统的功能方框图的一个实例。
[0024] 图13是本发明的另一个实施例中的图像处理系统的操作方法的流程图。
【具体实施方式】
[0025] 下面将以充足的细节描述后面的实施例，从而使得本领域技术人员能够制作及使 用本发明。应当理解的是，基于本公开内容，其他实施例将是显而易见的，并且在不背离本 发明的范围的情况下可以作出系统、处理或机械改变。
[0026] 在后面的描述中给出了许多具体细节以提供对于本发明的透彻理解。但是应当认 识到，可以在没有这些具体细节的情况下实践本发明。为了避免模糊本发明，一些众所周知 的电路、系统配置和处理步骤没有被详细公开。
[0027] 示出了所述系统的实施例的附图是半示意性的并且不是按比例绘制的，特别为了 呈现清楚起见在附图中夸大示出了其中一些维度。类似地，虽然附图中的视图为了容易描 述起见通常示出了类似的指向，但是附图中的这一描绘在大多数情况下是任意的。通常来 说，本发明可以被操作在任何指向中。
[0028] 在所有附图中使用相同的附图标记来指代相同的单元。将各个实施例编号成第一 实施例、第二实施例等等是为了描述方便，而不意图具有任何其他意义或者提供对于本发 明的限制。
[0029] 术语"图像"被定义成对于对象的画面表示。图像可以包括二维图像、三维图像、视 频帧、所计算的文件表示、来自摄影机的图像、视频帧或其组合。举例来说，所述图像可以是 机器可读数字文件、物理照片、数字照片、电影帧、视频帧、X射线图像、扫描图像或其组合。 所述图像可以由设置在矩形阵列中的像素形成。所述图像可以包括沿着行方向的X轴和沿 着列方向的y轴。
[0030] 水平方向是平行于图像的X轴的方向。垂直方向是平行于图像的y轴的方向。对角 线方向是不平行于X轴也不平行于y轴的方向。
[0031] 这里所提到的术语"模块"可以包括软件、硬件或其组合。举例来说，软件可以是机 器代码、固件、嵌入式代码和应用软件。同样是举例来说，硬件可以是电路、处理器、计算器、 集成电路、集成电路核心或其组合。
[0032] 现在参照图1，其中示出了本发明的一个实施例中的图像处理系统100。图像处理 系统100可以在成像设备102中的成像传感器108处接收第一图像104和第二图像106。第一 图像104和第二图像106可以利用对应于孔径设定的不同值来捕获。
[0033]图像处理系统100可以通过多种方式来捕获第一图像104和第二图像106。举例来 说，可以通过利用成像传感器108顺序地捕获场景140来形成第一图像104和第二图像106。 [0034]第一图像104和第二图像106可以包括图像元数据110。图像元数据110是关于相关 联的图像的信息。举例来说，图像元数据110可以包括关于产生第一图像104或第二图像106 时的图像处理系统100的物理属性的信息。在另一个实例中，图像元数据110可以是与数字 图像一起记录在数字摄影机中的画面信息。
[0035]图像元数据110可以包括多种信息。举例来说，图像元数据110可以包括拍照属性、 成像设备指向、透镜信息、孔径信息、设备位置、光学参数、设定、光级、透镜信息或其组合。 [0036]图像元数据110可以包括孔径设定116。孔径设定116是对应于图像处理系统100的 透镜的开口尺寸。孔径设定116可以控制击中透镜的光的数量。
[0037]第一图像104可以包括第一孔径118。第一孔径118是被用来形成第一图像104的孔 径设定116。第二图像106可以包括第二孔径120。第二孔径120是被用来形成第二图像106的 孔径设定116。
[0038]所接收到的图像114(比如第一图像104和第二图像106)可以被分解到不同的颜色 通道122中。颜色通道122是对应于图像的颜色分量。
[0039]取决于颜色模型，可以通过多种方式来实施颜色通道122。颜色模型描述在图像中 表示各种颜色的方式。举例来说，在灰度图像中仅有一个颜色通道。使用CMYK颜色模型（蓝 绿色、品红色、黄色和关键色/黑色）的图像可以具有四个颜色通道122。
[0040] 在另一个实例中，使用RGB颜色模型(红色、绿色、蓝色）的所接收到的图像114可以 具有三个颜色通道122。所接收到的图像114可以包括红色通道124、绿色通道126和蓝色通 道 128。
[0041] 可以在图像处理系统100内将分别具有图像元数据110的第一图像104和第二图像 106通过通信链接132传输到显示设备130。显示设备130是能够在显示单元136上对显示图 像138进行显示的单元。举例来说，显示设备130可以是具有用于观看图像的液晶显示单元 的手持式设备。
[0042]图像处理系统100可以包括深度图134。深度图134是描述从图像上的点到图像处 理系统100的距离的信息。深度图134可以被用来形成显示图像138(比如3维图像），以用于 在显示设备130上显示。
[0043] 通信链接132是用于传输信息的机制。举例来说，通信链接132可以是内部计算机 总线、设备间总线、网络链接或其组合。虽然图像处理系统1〇〇和显示设备130被描绘成分开 的设备，但是应当理解的是，图像处理系统100和显示设备130可以被实施成单一集成设备。
[0044] 现在参照图2,其中示出了成像系统202的一个实例。所述成像系统可以包括具有 透镜直径214的透镜206,以及用于接收所接收到的图像114的成像传感器108。所接收到的 图像114描述在成像传感器108处接收到的所有图像，并且可以包括图1的第一图像104、图1 的第二图像106、第一校准图像234、第二校准图像236或其组合。
[0045] 所接收到的图像114是场景140的光学表示。举例来说，所接收到的图像114可以包 括校准目标图像、点源、对象、图案图像、几何图案或其组合。
[0046] 在另一个实例中，所接收到的图像114可以包括阶梯边缘(step edge)图像142。阶 梯边缘图像142是一侧为黑色并且一侧为白色的参考图像。
[0047] 所接收到的图像114是成像传感器108处的场景140的表示。来自场景的光穿过透 镜206从而形成所接收到的图像114。
[0048]透镜206是用于透射和折射光的光学元件。透镜206可以用于会聚或发散光。
[0049]透镜206可以由多种材料形成。举例来说，透镜206可以由玻璃、塑料、液体或者其 他透明材料形成。在另一个实例中，透镜206可以由菲涅尔元件形成。
[0050]透镜206可以具有多种配置。举例来说，透镜206可以是具有单一光学元件的简单 透镜。在另一个实例中，透镜206可以是具有多个简单透镜的阵列的复合透镜。
[0051 ] 透镜206可以具有透镜直径214和图1的孔径设定116。透镜直径214是从透镜206的 一侧到相对侧的最大距离。孔径设定116代表光可以从该处穿过透镜206的开