根据立体相机拍摄的图像帧生成视差图的方法和装置的制造方法_3

文档序号:9768069阅读:来源:国知局
方图,其中第 二图像帧是立体相机在第一时刻之前的时刻拍摄的。例如,历史信息可包括根据第二图像 帧中的基准图像和参考图像生成的灰度直方图等,稍后将对此进行详细描述。
[0046] 然后函数计算单元430可计算从初始基准灰度直方图到目标基准灰度直方图的 基准映射函数,并且计算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。 图5是示出了根据本发明的一个实施例的函数计算单元430的示范性结构框图。如图5所 示,函数计算单元430可包括第一函数计算模块510、第二函数计算模块520和第三函数计 算模块530。具体地,第一函数计算模块510可对第一图像帧的初始基准灰度直方图进行直 方图均衡化,以获得从第一图像帧的初始基准灰度直方图到该图像帧的均衡化基准灰度直 方图E的映射函数G(p)。第二函数计算模块520可对第一图像帧的目标基准灰度直方图进 行直方图均衡化,以获得从第一图像帧的目标基准灰度直方图到上述均衡化基准灰度直方 图E的映射函数F(p)。然后,第二函数计算模块520可通过上述公式(1)来计算从初始基 准灰度直方图到目标基准灰度直方图的基准映射函数D(p)。此外,第一函数计算模块510、 第二函数计算模块520和第三函数计算模块530可以与计算基准映射函数类似的方式,计 算从初始参考灰度直方图到目标参考灰度直方图的参考映射函数。
[0047] 接下来,映射单元540可对第一基准图像的预定区域执行基准映射函数以获得第 一图像帧的增强基准图像,并且对第一参考图像的预定区域执行参考映射函数以获得第一 图像帧的增强参考图像。具体地,映射单元540可通过将第一基准图像的预定区域中的每 个像素的灰度值代入上述基准映射函数来执行灰度映射,以获得该像素的增强灰度值,并 且根据所获得的各个像素的增强灰度值生成第一图像帧的增强基准图像。此外,映射单元 540可以与生成第一图像帧的增强参考图像类似的方式,生成第一图像帧的增强参考图像。 经过映射单元540执行灰度映射后,与通过立体相机直接拍摄的第一基准图像和第一参考 图像中的像素的原始灰度值相比,通过在增强基准图像和增强参考图像中的像素的增强灰 度值能够更容易地计算准确的视差值。
[0048] 最后,视差图生成单元550可根据第一图像帧的增强基准图像和增强参考图像, 生成对应于第一图像帧的第一视差图。可使用任何已知的根据基准图像和参考图像计算视 差值的方法来获得视差值,并进而根据所获得的视差值生成对应于第一图像帧中的预定区 域的第一视差图。例如,视差图生成单元550对于增强基准图像中的每个像素p,可将像素 P的灰度值与在增强参考图像中具有相同横坐标的各个像素P'的灰度值进行比较,选择其 灰度值与像素P的灰度值最相似的像素P'作为匹配点,并且根据像素P的横坐标与匹配点 的横坐标值计算像素P的视差值。
[0049] 以上结合图4描述了根据本发明一个实施例的生成视差图的装置。此外,根据本 发明的一个示例,生成视差图的装置400还可包括存储单元,以存储第二图像帧的历史信 息。如上所述,第二图像帧的历史信息可包括第二图像帧的权重、根据预先存储的第二图像 帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第二图像帧的增强参 考图像生成的增强参考灰度直方图。
[0050] 此外,目标直方图生成单元420可根据在一个第二图像帧中视差值可靠的像素点 的个数与该第二图像帧中总像素点的个数的比值,确定该第二图像帧的权重。如上所述,根 据本发明的一个示例,目标直方图生成单元420可将第二图像帧的性能因子和/或时间因 子来确定该图像帧的权重。此外,在第二图像帧的历史信息包括第二图像帧的权重、根据预 先存储的第二图像帧的增强基准图像生成的增强基准灰度直方图、以及根据预先存储的第 二图像帧的增强参考图像生成的增强参考灰度直方图的情况下,目标直方图生成单元420 可根据第二图像帧的权重和增强基准灰度直方图,生成目标基准灰度直方图。例如目标直 方图生成单元420可根据上述公式(4)来计算第一基准图像的预定区域的目标基准灰度直 方图。类似地,标直方图生成单元420可根据第二图像帧的权重和增强参考灰度直方图,生 成目标参考灰度直方图。
[0051] 此外,存储单元还可在视差图生成单元450生成第一视差图之后,存储第一图像 帧的增强基准图像、增强参考图像和第一视差图,以用于生成对应于第三图像帧的第三视 差图,其中第三图像帧是立体相机在第一时刻之后的时刻拍摄的。也就是说,存储单元可存 储所计算的第一图像帧的增强基准图像、增强参考图像和第一视差图作为计算下一帧视差 图的历史信息。
[0052] 在根据本实施例的生成视差图的装置中,通过使用根据立体相机所拍摄的图像帧 的历史信息和当前信息计算的映射函数对该相机在当前时刻拍摄的图像帧中的基准图像 和增强基准图像的预定区域的像素进行映射,可获得更易于获得准确视差图的增强基准图 像和增强参考图像,并且根据增强基准图像和增强参考图像得到准确的视差图,以便于为 用户提供更多有效的信息。
[0053] 此外,根据本发明的另一示例,本发明还可以通过一种根据立体相机拍摄的图像 帧生成视差图的硬件系统(以下简称为"生成视差图的硬件系统")来实施。图6是示出按 照本发明实施例的生成视差图的硬件系统600的总体硬件框图。如图6所示,生成视差图 的硬件系统600可以包括:输入设备610,用于从外部输入有关图像或信息,例如立体相机 拍摄的图像帧、立体相机的参数、或初始视差图等,输入设备610的具体形式可包括但不限 于键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等;处理设备620,用于实施 上述的按照本发明实施例的生成视差图的方法,处理设备620的具体形式可包括但不限于 计算机的中央处理器或其它的具有处理能力的芯片等等,此外,处理设备620还可以连接 到诸如因特网的网络(未示出),根据处理过程的需要向远程传送处理后的图像等等;输出 设备630,用于向外部输出实施上述生成视差图的方法所得的结果,例如可以包括显示器、 打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备640,用于以易失或 非易失的方式存储上述例如:第二图像帧的权重、第二图像帧的增强基准图像生成第二图 像帧的增强参考图像之类的历史信息,例如可以包括随机存取存储器(RAM)、只读存储器 (ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0054] 所属技术领域的技术人员知道,本发明可以实现为系统、装置、方法或计算机程序 产品。因此,本发明可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软 件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为"组 件、"模块"、"装置"或"系统"。此外,在一些实施例中,本发明还可以实现为在一个或多个 计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序 代码。
[0055] 可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机 可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、 光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介 质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁 盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪 存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任 意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质, 该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0056] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号, 其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限 于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可 读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于 由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0057] 计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无 线、电线、光缆、RF等等,或者上述任意合适的组合。
[0058] 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机 程序代码,所述程序设计语言包括面向对象的程序设计语言一诸如Java、Smalltalk、C++, 还包括
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1