合成图像生成设备和存储其程序的计算机可读介质的制作方法

专利名称：合成图像生成设备和存储其程序的计算机可读介质的制作方法
技术领域：
本发明涉及一种将从捕捉装置接收到的输入图像变换成输出图 像，并且，根据需要通过在经变换的图像上叠加覆盖图像而生成输出 图像的合成图像生成设备。另外，本发明涉及一种存储用于使得计算 机用作合成图像生成设备的程序的计算机可读介质。
背景技术：
通常，这样一种系统已经被研究并且投入实际应用，其中为从车 辆捕捉视像而由照相机摄取的捕捉图像被显示在车辆舱室中从而 例如驾驶员能够看见所捕捉的图像，并且另外，所捕捉的图像与在所 捕捉图像上叠加的计算机生成图像一起显示。存在各种内容，其可被 设想作为在照相机摄取的捕捉图像上叠加的特殊内容，例如其中应该 予以关注的物体、例如道牙石和轮挡，以及行人被加亮的内容，其中 通过延伸车辆侧边缘而绘制辅助线的内容，以及其中作为导航显示器 在车辆前视图的图像上显示表示行驶方向的箭头的内容。
作为这种系统的 一 个实例，在日本专利申请公开
No.2006-238131 (JP-A-2006-23 8131)中描述了 一件发明，该发明涉及车 辆附近监视系统，该系统显示由用于捕捉车辆视像的捕捉装置所 摄取的捕捉图像作为背景图像并且以半透明的方式显示所述车辆。
然而，在JP-A-2006-238131中，根据坐标变换表中的数据使用所 捕捉图像及其历史等生成合成图像作为背景图像，并且然后绘图操作 装置执行绘图操作(JP-A-2006-238131中
段)。因此，整个系统的 尺寸和成本增加。然而，对于降低车载设备的尺寸和成本存在强烈需
求，并且需要对其进行改进。

发明内容
本发明提供一种合成图像生成设备，由此能够减少用于实现在通 过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过 程所需要的成本，并且本发明还提供一种用于使得计算机用作所述合 成图像生成设备的计算机可读介质存储程序。
根据本发明的第一方面合成图像生成设备包括几何变换表，所 述几何变换表在从捕捉装置接收的输入图像上指定与输出图像的像素 位置相应的坐标；以及输出图像生成装置，所述输出图像生成装置通 过在根据几何变换表对输入图像进行几何变换而获得的图像上叠加覆 盖图像而生成输出图像，所述覆盖图像基于与几何变换表中的输出图 像的像素位置相关联的覆盖数据。
通常，"覆盖"意指图像数据的叠加，并且"覆盖图像"在这里意 指在通过对捕捉图像进行几何变换而获得的背景图像上叠加的另外地 显示的图像或者像素，例如计算机生成图像。术语"覆盖数据"意指 在背景图像上叠加"覆盖图像"所需要的数据。
利用以上第一方面，用于显示覆盖图像的覆盖数据与几何变换表 中的输出图像的像素位置相关联，并且基于这种关联，执行在几何变 换图像上叠加覆盖图像的过程，从而能够利用单一几何变换表执行一 般几何变换和覆盖图像的叠加。因此，特别地，与其中在执行几何变 换之后叠加覆盖图像的情形相比，在其中规则图像作为覆盖图像叠加 的情形中，能够减少实现在通过变换从捕捉装置接收的输入图像而获 得的图像上叠加覆盖图像的过程所需要的成本。注意特别地当在车辆 中安装所述设备时，所述设备在空间、成本和重量方面是非常有利的。
在根据第一方面的合成图像生成设备中，所述覆盖数据可以包括每一个均表示在输出图像中的给定像素位置处显示的显示颜色的数 据。
在根据第一方面的合成图像生成设备中，所述显示颜色可以是亮 度数值。特别地，当所述图像不是彩色图像时，规定覆盖图像的灰度。
在根据第一方面的合成图像生成设备中，所述输出图像生成装置 可以对于输出图像的每一个像素选择几何变换操作和覆盖操作中的一 个操作。
在根据第一方面的合成图像生成设备中，在几何变换操作中，可 以执行输入图像的畸变校正。
在根据第一方面的合成图像生成设备中，所述几何变换表可以包 括表示将显示几何变换图像和覆盖图像中的哪一个的选择标志。
在根据第一方面的合成图像生成设备中，所述覆盖数据可以包括 每一个均表示在输出图像中的给定像素位置处的混合系数的数据。
在根据第一方面的合成图像生成设备中，可以利用几何变换表规 定在根据混合系数执行混合操作之后显示的覆盖图像的每一个像素的 显示颜色。
在根据第一方面的合成图像生成设备中，所述输出图像生成装置 可以包括补数器、乘法器和加法器，它们用于执行其中根据几何变换 表对输入图像进行几何变换的操作以及其中通过执行内分点计算而根 据在覆盖数据中包括的混合系数执行混合操作的操作。
在根据第一方面的合成图像生成设备中，所述输出图像生成装置 可以通过关于为其提供覆盖数据的输出图像的像素，基于所述覆盖数
据替换围绕具有在输入图像上指定的坐标的点的像素的像素数值的至 少一部分然后使用围绕在所述几何变换表中具有指定的坐标的点的像 素的像素数值执行插值而生成输出图像。
根据本发明第二方面的合成图像生成设备包括几何变换表，所 述几何变换表在从捕捉装置接收的输入图像上指定与输出图像的像素 位置相应的坐标；以及输出图像生成装置，所述输出图像生成装置通 过使用围绕在几何变换表中具有指定的坐标的点的像素的像素数值执 行插值而生成输出图像，其中关于为其提供覆盖数据的输出图像的像 素，所述输出图像生成装置通过基于覆盖数据替换围绕具有在所述输 入图像上指定的坐标的点的像素的像素数值的至少一部分然后执行插 值而生成所述输出图像。
在根据第二方面的合成图像生成设备中，所述插值可以是双线性 插值。
根据第二方面的合成图像生成设备还可包括坐标转换装置，所述 坐标转换装置在几何变换表中将在输入图像上指定的坐标的行方向的 坐标的小数部分变换成表示混合系数的数值，其中关于为其提供覆盖 数据的输出图像的像素，所述输出图像生成装置可以通过基于通过所 述坐标转换装置将行方向坐标的小数部分变换成的所述数值执行混合 操作而生成所述输出图像。
在根据第二方面的合成图像生成设备中，所述插值可以是双线性 插值，并且当利用坐标转换装置将行方向坐标的小数部分变换成的数 值等于或者大于0.5时，相对于具有所述坐标的点的上侧的两个像素的 像素数值可以被显示颜色替换；并且当利用坐标转换装置将行方向坐 标的小数部分变换成的数值小于0.5时，相对于具有所述坐标的点的下 侧的两个像素的像素数值可以被显示颜色替换。
在根据第二方面的合成图像生成设备中，所述插值可以是双线性 插值，并且当利用所述坐标转换装置将所述小数部分变换成的混合系 数大于阈值时，围绕具有在所述输入图像中所述坐标的点的像素的像 素数值可以全部被显示颜色替换。
根据第二方面的合成图像生成设备还可包括坐标转换装置，所述 坐标转换装置在几何变换表中将在输入图像上指定的坐标的列方向坐 标的小数部分变换成表示混合系数的数值，其中关于为其提供覆盖数 据的输出图像的像素，所述输出图像生成装置可以通过基于利用所述 坐标转换装置将列方向坐标的小数部分变换成的数值执行混合操作而 生成输出图像。
在根据第二方面的合成图像生成设备中，所述插值可以是双线性 插值，并且当利用坐标转换装置将列方向坐标的小数部分变换成的数 值等于或者大于0.5时，相对于具有所述坐标的点的上侧的两个像素的 像素数值可以被显示颜色替换；并且当利用坐标转换装置将列方向坐 标的小数部分变换成的数值小于0.5时，相对于具有所述坐标的点的左
侧的两个像素的像素数值可以被显示颜色替换。
在根据第二方面的合成图像生成设备中，所述插值可以是双线性 插值，并且当利用所述坐标转换装置将所述小数部分变换成的混合系 数大于阈值时，围绕具有在所述输入图像中所述坐标的点的像素的像 素数值可以全部被显示颜色替换。
根据本发明第三方面的存储程序的计算机可读介质是一种存储用 于使得计算机用作根据以上方面的合成图像生成设备的程序的计算机 可读介质。
本发明提供一种合成图像生成设备，由此能够减少实现在通过变 换从捕捉装置接收的输入图像获得的图像上叠加覆盖图像的过程所需
要的成本，并且本发明还提供一种存储用于使得计算机用作合成图像 生成设备的程序的计算机可读介质。
附图简要说明
参考附图从下面对优选实施例说明，本发明前面的和/或另外的目 的、特征及优点将变得更加明显，其中相同的数字用于代表相同的元 件并且其中


图1是示出根据本发明第一实施例的合成图像生成设备1以及与 之相连接的设备等的图表；
图2是表示第一实施例的几何变换表11的图表；
图3是示出在第一实施例中在输入图像中的坐标和输出图像中的 坐标之间的对应关系的图表；
图4A是示出根据实施例第一在畸变校正之前的输入图像的一个 实例的图表；
图4B是示出根据第一实施例在畸变校正之前的输出图像的一个 实例的图表；
图5是示出在第一实施例中在向后停车操作期间用于引导的其中 在车辆后视图的图像上叠加表示车辆宽度的延长线的情形的图表；
图6是示出利用第一实施例的输出图像生成部分21执行的特征过
程的流程的流程图7是示出根据本发明第二实施例的合成图像生成设备2以及与
之相连接的设备等的图表；
图8A是表示第二实施例的几何变换表12的图表；
图8B是表示第二实施例的另一几何变换表12的图表；
图9是是示出利用第二实施例的输出图像生成部分22执行的特征
过程的流程的流程图10是示出根据本发明第三实施例的合成图像生成设备3以及与
之相连接的设备等的图表；
图11是表示几何变换表13以及在第三实施例中在输入图像中的 坐标和输出图像中的坐标之间的对应关系的图表； 图12是示出利用第三实施例的输出图像生成部分23执行的特征 过程的流程的流程图13是示出根据本发明第四实施例的合成图像生成设备4以及与 之相连接的设备等的图表；
图14是表示第四实施例的几何变换表14的图表；
图15A是示出一种情形的图表，其中根据第四实施例的输出图像 生成部分24B利用显示颜色替换在输入图像中围绕具有其小数部分被 变换的坐标的点的像素的一个部分的像素数值，所述的点相应于输出 图像的像素；
图15B是示出一种情形的图表，其中根据第四实施例的输出图像 生成部分24B利用显示颜色替换在输入图像中围绕具有其小数部分被 变换的坐标的点的像素的不同部分的像素数值，所述的点相应于输出 图像的像素；
图16是示出由第四实施例的坐标变换部分24A和输出图像生成部 分24B执行的特征过程的流程的流程图17是示出根据本发明第五实施例的合成图像生成设备5以及与 之相连接的设备等的图表；
图18是示出第五实施例的输出图像生成部分25的硬件配置的实 例的图表；
图19是用于描述第五实施例的输出图像生成部分25的操作的时 序图；并且
图20是示出在第五实施例中在代表坐标Xi的小数部分的二进制 表达和十进制表达及其补数之间的对应关系的图表。
具体实施例方式
将在下面描述根据本发明第一实施例的合成图像生成设备1。合成 图像生成设备1被安装在例如车辆中，并且在显示设备上显示图像， 通过在从车辆由照相机捕捉的视图的图像上叠加覆盖图像而获得所述 图像。"覆盖图像"这里意指在通过对捕捉图像进行几何变换而获得的 背景图像上叠加的另外地显示的图像或者像素，例如计算机生成的图
像。
图1是示出根据本发明第一实施例的合成图像生成设备1、与之相 连接的设备等的图表。照相机30和显示设备40被连接到合成图像生 成设备1。
照相机30是使用例如电荷耦合设备(CCD)、互补金属氧化物半导 体(CMOS)等的照相机。照相机30例如靠近车辆尾部处的车号牌设置， 并且从所述车辆捕捉广角后视图的图像。注意这种布置仅仅是一个实 例，并且在能够应用本发明的设备中，沿其从车辆捕捉图像的方向， 例如向前方向、沿对角向前方向、侧向方向、向上方向或者向下方向 以及捕捉图像的角度是任意的。
照相机30例如包括照相机透镜32、图像传感器34以及电子控制 器36。将基于照相机30是CCD照相机的假设进行下面的说明。照相 机透镜32包括能够广角成像的鱼眼透镜。图像传感器34是例如行间 (interline)图像传感器，其中作为用于执行光电转换的光线接收元件的 光电二极管和与相应的光电二极管相关的CCD被以二维方式布置在平 面上。另外，所述图像传感器具有在光电二极管和相关CCD之间用作 模拟开关的传输门。用于收集光线的显微透镜被安装在每一个光电二 极管的前侧(照相机透镜32侧)上。图像传感器不限于行间图像传感器。 可以使用全帧转移图像传感器或者帧转移图像传感器，其中CCD自身 用作光线接收元件。
在电子控制器36中，例如以组合方式使用微型计算机、电子电路 等，并且电子控制器36通过控制图像传感器34所具有的传输门的打 开/关闭定时而调节照相机30的快门速度和捕捉频率(例如每秒几十 次)。电子控制器36对从图像传感器34的输出电路输出的数据执行增 益控制以及相关双采样(CDS)。
显示设备40是点矩阵液晶显示面板、点矩阵有机发光显示面板等， 其中以矩阵方式规则地排列像素。在这种面板中，对于每一个像素设 置用于驱动像素的有源元件，并且对于每一个像素控制根据像素数值
的亮度数值(显示颜色)。像素数目例如为640x480(VGA)、 800x600(SVGA)等。注意显示设备40可以是探测显示表面上的电压的 变化以接收各种输入的触摸面板显示器。
合成图像生成设备1是微型计算机或者大规模集成电路(LSI)，其 中经由内部总线连接中央处理单元(CPU)、随机存取存储器(RAM)、只 读存储器(ROM)、快速存储器以及输入/输出接口。例如，在合成图像 生成设备1的快速存储器中存储几何变换表11。合成图像生成设备1 具有作为功能模块的输出图像生成部分21，所述输出图像生成部分当 CPU执行在ROM(可以被视为本发明的"计算机可读介质")中存储的 系统实现程序时发挥作用，所述的系统实现程序可以被视为本发明的 "程序"。
图2是表示第一实施例的几何变换表11的图表。几何变换表11 在由照相机30捕捉的输入图像上指定与在显示设备40上显示的输出 图像的像素位置对应的坐标。换言之，几何变换表11可以被视为一种 表格，该表格在由照相机30捕捉的输入图像上与输出图像的像素位置 对应地定义坐标系统。按照用于执行输出图像光栅扫描的顺序(按照输 出图像的坐标顺序)布置几何变换表11的元素，从而当使用输出图像的 像素坐标(Xo， Yo)作为输入来参考几何变换表11时，检索到输入图像 的坐标(Xi， Yi)。
当输出图像的像素位置和输入图像的像素位置一一对应时，坐标 (Xo， Yo)和坐标(Xi， Yi)—一对应。然而，在下述本发明的一般几何变 换的情形中，输出图像的像素位置和输入图像的像素位置并不一一对 应，因此，存在这样一种情形，其中虽然输出图像的坐标(Xo， Yo)是 整数，但是输入图像的坐标(Xi， Yi)是具有十进制小数的实数。
图3是示出在本发明第一实施例中在输入图像中的坐标和输出图 像中的坐标之间的对应关系的图表。在图3中，网格交叉点代表位于 输入图像和输出图像中的像素位置。在输出图像中的坐标(Xo， Yo)与 像素位置一致，而在输入图像中的坐标(Xi， Yi)不与像素位置一致。然
而，当以此方式在前地确定对应关系时，实现了一般几何变换(在该实 施例中的畸变校正)。
将简要地描述在坐标(Xo， Yo)和坐标(Xi， Yi)之间的对应关系。图
4A是示出在畸变校正之前的输入图像实例的图表。图4B是示出在畸
变校正之前的输出图像实例的图表。例如，当畸变程度随着沿向上或 者向下方向与图像中心的距离增加时，根据像素的竖直位置使用几何
变换在畸变校正中沿着宽度方向移位相互关联的输入图像的像素位置 和输出图像的像素位置。特别地，线段VI和线段V2上的像素被分别 地映射到具有不同长度的线段Wl和线段W2上的像素。当每像素畸变 量(沿着输入图像中的竖直方向)是oc，并且在线段VI和V2之间的像素 数目是L时，在线段V2上的像素的位置与在线段W2上的像素位置相 关联从而线段W2比线段Wl长L.oc。结果，通过给定坐标变换等式(高 阶多项式)确定在坐标(Xo， Yo)和坐标(Xi， Yi)之间的对应关系。
与这种校正和变换有关的对应关系例如在输送车辆之前被存储在 合成图像生成设备1的ROM等中，并且利用根据需要予以考虑的车身 高度校正的数值作为几何变换表11被读取到快速存储器等。
下面，将参考图2和3描述确定输入图像在坐标(Xi， Yi)处的像素 数值的方法。输出图像生成部分21通过在围绕具有坐标(Xi， Yi)的点 的像素的像素数值上执行所谓的双线性插值确定输入图像在坐标(Xi， Yi)处的像素数值，所述双线性插值是线性插值到二维情形的扩展。特 别地，使用下面的等式(l)获得的像素数值被计算为输入图像在坐标 (Xi， Yi)处的像素数值，并且被设为输出图像在坐标(Xo， Yo)处的像素 数值。为了简明起见，在于输入图像上定义的坐标系统中，单元栅格 的一侧的长度具有数值"1"。注意这种方法仅仅是一个实例，并且可 以使用另一种方法确定输入图像在坐标(Xi， Yi)处的像素数值。当输入 图像的像素位置与坐标(Xi， Yi) —致时，可以使用输入图像的像素的初 始像素数值而不执行这种插值。
像素数值(Xi， Yi)={GlX(l-(Xi的小数部分))+G2X(Xi的小数部 分》x(Yi的小数部分)+(G3X(l-(Xi的小数部分》+G4X(Xi的小数部 分))x(l-Yi的小数部分) (1)
另外，在第一实施例的几何变换表11中，包括表示显示几何变换 图像和覆盖图像中的哪一个图像的选择标志。所述选择标志被设为表 示几何变换图像的数值"0"，或者设为表示覆盖图像的数值"1"。关 于其选择标志被设为数值"1"的输出坐标(图2中的(Xp， Yp))，而不 是或者除了输入图像的相应的坐标，输入将被显示的颜色(这里也被称 作"显示颜色")的说明。特别地，覆盖数据(在第一实施例中的选择标 志和显示颜色)与输出图像的像素的位置(坐标)相关联。
关于当选择标志的数值为"l"时规定选择标志以及规定显示颜色， 在前地存储于ROM等中的数据可以被自动地包括在几何变换表11中， 或者外部设备可以根据需要设定所述数值。其中前者适用的一种可设 想的情形是这样一种情形，其中，当如在第一实施例的情形中那样捕 捉并且显示车辆的后视图时，表示车辆宽度的延长线被叠加在车辆后 视图的图像上以便在例如向后停车运行期间用作引导(见图5)。其中后 者适用的一种情形是这样一种情形，其中，当例如捕捉并且显示车辆 的前视图时，根据由导航系统提供的路线引导的路线表示被叠加在例 如车辆的前视图的图像上。
在输出图像生成部分21中，使用如上所述的等式(l)获得的像素数 值被设为关于其选择标志的数值为"O"的输出图像的像素的像素数值，
并且在几何变换表11中规定的显示颜色被设为关于其选择标志的数值 为"1"的输出图像的像素的像素数值。因此，通过在根据几何变换表 11对输入图像进行几何变换而获得的图像上，叠加覆盖图像而生成输 出图像，所述覆盖图像基于与在几何变换表11中的输出图像的像素位 置相关联的覆盖数据。
图6是示出由第一实施例的输出图像生成部分21执行的特征过程 的流程的流程图。例如以预定循环反复地执行所述流程。
首先，输出图像生成部分21读取在几何变换表11中与第一输出
像素有关的数据(sioo)。
然后，输出图像生成部分21确定与该输出像素相关的选择标志是 具有数值"0"还是"1" (S102)。如上所述，当选择标志的数值为"0" 时，通过几何变换(以及插值)获得的像素数值被设为输出图像的像素数 值(S104)，而当选择标志的数值为"1"时，在几何变换表11中规定的 显示颜色被设为输出图像的像素数值(S106)。
随后，确定是否已经对于所有的输出像素确定像素数值(S108)，并
且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素 有关的数据(SllO)，并且执行从S102起的步骤。
在另一方面，当已经对于所有的输出像素确定像素数值时，所确 定的图像数据集作为一个帧的合成图像数据被输出到显示设备 40(S112)。
利用根据第一实施例的合成图像生成设备l，在几何变换表11中， 用于显示覆盖图像的覆盖数据与输出图像的像素位置相关联，并且基 于这种关联，执行在几何变换图像上叠加覆盖图像的过程，从而能够 利用单一几何变换表11执行一般几何变换和覆盖图像叠加。因此，特别地在其中规则图像作为覆盖图像叠加的情形中，与其中在执行几何 变换之后叠加覆盖图像的情形相比，能够减少实现在通过变换从捕捉 装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成 本。
将在下面描述根据本发明第二实施例的合成图像生成设备2。合成 图像生成设备2不同于根据第一实施例的合成图像生成设备1之处在 于当叠加覆盖图像时执行混合过程(例如OC-混合)。
第二实施例的合成图像生成设备2包括几何变换表12和输出图像
生成部分22(见图7)。合成图像生成设备2的硬件构件以及它的照相机 30和显示设备40类似于第一实施例的合成图像生成设备1的那些，因 此省略这些构件的说明。进而，几何变换也类似于第一实施例的几何 变换，并且省略其说明。
图8A是表示第二实施例的几何变换表12的图表。替代或者除了 在第一实施例的几何变换表11中包括的选择标志之外，第二实施例的 几何变换表12包括混合系数。特别地，覆盖数据(在第二实施例中的混 合系数)与输出图像的像素位置(坐标)相关联。注意也在第二实施例中， 如在第一实施例的情形中那样，选择标志可以被包括在几何变换表12 中。
在第二实施例中的混合系数是用于cx-混合过程的混合系数a。特别 地，混合系数意指当执行半透明处理时使用的暗度，并且被设为数值 "0"和"1"之间(包括"0"和"1")。注意可以在数值"0"和"1" 之间(包括"0"和"1")的范围之外设置混合系数。关于规定混合系数， 在前存储于ROM等中的数据可以被自动地包括在几何变换表12中， 或者外部设备可以根据需要设定混合系数。
使用利用第一实施例的等式(l)获得的像素数值Ga以及规定覆盖
图像的显示颜色的像素数值Gb，输出图像生成部分22利用下面的等式
(2)计算像素数值。结果，覆盖图像被显示从而当混合系数oc增加时覆盖
图像的透明度增加。关于其混合系数被设为数值"o"(或者混合系数未
被设定)的输出图像的像素，利用以上等式(l)获得的像素数值Ga被自 然地用作像素数值。
像素数值G=(l-a)xGa+ocxGb ... (2)
因此，通过在通过根据几何变换表12对输入图像进行几何变换而 获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像基于与几 何变换表12中的输出图像的像素位置相关联的覆盖数据。
图9是示出由第二实施例的输出图像生成部分22执行的特征过程 的流程的流程图。该流程例如以预定循环被反复地执行。
首先，输出图像生成部分22读取几何变换表12中的与第一输出 像素有关的数据(S200)。
然后，使用以上等式(2)计算的像素数值被设为输出图像的像素数 值(S202)。特别地，通过执行插值过程和混合过程确定输出图像的像素 数值。
随后，确定是否己经对于所有的输出像素确定像素数值(S204)，并 且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素 有关的数据(S206)，并且执行从S202起的步骤。在另一方面，当己经 对于所有的输出像素确定像素数值时，所确定的图像数据集作为一个 帧的合成图像数据被输出到显示设备40(S20S)。
根据第二实施例的合成图像生成设备2，如在第一实施例的合成图 像生成设备1的情形中那样，能够减少实现在通过变换从捕捉装置接
收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并 且另外，能够在其半透明处理之后将几何变换图像和覆盖图像相结合、 执行反混淆过程等。
在第二实施例中，可以对于每一个像素使用几何变换表12规定覆 盖图像的显示颜色。这种情形的几何变换表12的一个实例示于图8B
中。同样在此情形中，如果对于每一个像素从几何变换表12读取像素 数值Gb，则能够使用以上等式(2)。
将在下面描述根据本发明第三实施例的合成图像生成设备3。合成 图像生成设备3不同于根据第一实施例的合成图像生成设备1之处在 于围绕具有在输入图像上指定的坐标的点的像素的部分的或者所有的 像素数值被包括于覆盖数据中的显示颜色替换以执行覆盖图像的叠 加。
第三实施例的合成图像生成设备3包括几何变换表13和输出图像 生成部分23(见图10)。合成图像生成设备3的硬件构件以及它的照相 机30和显示设备40类似于第一实施例的合成图像生成设备1的那些， 因此省略这些构件的说明。
因为覆盖图像的叠加被结合在第一和第二实施例的几何变换过程 中，所以这些过程将被一起地描述。图11是表示在第三实施例中的几 何变换表13以及在输入图像中的坐标和输出图像中的坐标之间的对应 关系的图表。几何变换表13在由照相机30捕捉的输入图像上指定在 显示设备40上显示的输出图像的像素位置相应的坐标。另外，第三实 施例的几何变换表13包括围绕具有在输入图像上指定的坐标的点的像 素的显示颜色和替换指令，所述替换指令指示哪些像素数值将被所规 定的显示颜色替换。
例如提供替换指令作为与围绕具有在输入图像上指定的坐标的点
的像素相应的4位数据。特别地，第一位表示左上像素的像素数值是 否将被显示颜色替换(当进行替换时为"0"，并且当不进行替换时为 "l")，第二位表示左下像素的像素数值是否将被显示颜色替换，第三 位表示右上像素的像素数值是否将被显示颜色替换，并且第四位表示 右下像素的像素数值是否将被显示颜色替换。以此方式，能够实现类 似于如在第二实施例的情形中那样当以预定数目的级别规定混合系数 时的效果。特别地，当第一到第四位都具有数值"1"时，结果与当在 第二实施例中混合系数被设为1时的结果相同，并且当第一到第四位 中的一个、两个或者三个被设为数值"1"时，结果与当以三个级别规 定混合系数时的结果相同(在第二实施例中能够任意地规定混合系数)。 因此，考虑到因为执行以上等式(2)的计算的需要被消除，处理负荷能 够被相应地降低，可以说即使准确度低于第二实施例的合成图像生成 设备2的准确度，第三实施例的合成图像生成设备3也能够在其半透 明处理之后利用更加简单的操作结合几何变换图像和覆盖图像、执行 反混淆过程等。
关于替换指令，以及显示颜色的规定，在前存储于ROM等中的数 据可以被自动地包括在几何变换表13中，或者外部设备可以根据需要 确定替换和显示颜色。进而，畸变校正类似于第一实施例的畸变校正， 并且省略其说明。
如在第一实施例的情形中，通过基于围绕具有坐标(Xi， Yi)的点的 像素的像素数值(当如上所述像素数值被颜色替换时规定的显示颜色) 使用以上等式(l)执行插值，输出图像生成部分23确定在具有坐标(Xi， Yi)的点处输入图像的像素数值。因此，通过在通过根据几何变换表13 对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图 像，所述覆盖图像基于几何变换表13中的与输出图像的像素位置相关 联的覆盖数据。
图12是示出由第三实施例的输出图像生成部分23执行的特征过
程的流程的流程图。例如以预定循环反复地执行所述流程。
首先，输出图像生成部分23读取几何变换表13中的与第一输出
像素有关的数据(S300)。
然后，确定与有关输出像素相关的替换指令的第一位是否具有数
值"1"(S302)，并且当输入图像的围绕具有坐标(Xi， Yi)的点的像素的 像素数值的第一位具有数值"1"时，左上像素的像素数值被显示颜色 替换(S304)。然后，确定第二位是否具有数值"1" (S306)，并且当第 二位具有数值"1"时，左下像素的像素数值被显示颜色替换(S308)。 然后，确定第三位是否具有数值"1" (S310)，并且当第三位具有数值 "1"时，右上像素的像素数值被显示颜色替换(S312)。然后，确定第 四位是否具有数值"1" (S314)，并且当第四位具有数值"1"时，右下 像素的像素数值被显示颜色替换(S316)。
然后，通过使用在替换之后的数据(当无替换指令时的初始数据) 执行插值而获得的像素数值被设为输出图像有关的像素的像素数值 (S318)。
随后，确定是否已经对于所有的输出像素确定像素数值(S320)，并 且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素 有关的数据(S322)，并且执行从S302起的步骤。
在另一方面，当已经对于所有的输出像素确定像素数值时，所确 定的图像数据集作为一个帧的合成图像数据被输出到显示设备 40(S324)。
根据第三实施例的合成图像生成设备3，如在第一实施例的合成图 像生成设备1的情形中那样，能够减少实现在通过变换从捕捉装置接 收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并
且另外地，虽然准确度低于第二实施例的准确度，但是能够通过比第 二实施例的操作更加简单的操作在其半透明处理之后将几何变换图像 和覆盖图像相结合、执行反混淆过程等。
将在下面描述根据本发明第四实施例的合成图像生成设备4。合成 图像生成设备4不同于根据第一实施例的合成图像生成设备1之处在 于围绕具有在输入图像上指定的坐标的点的像素的像素数值的一部分 被包括于覆盖数据中的显示颜色替换。
第四实施例的合成图像生成设备4包括几何变换表14、坐标变换
部分24A、以及输出图像生成部分24B(见图13)。合成图像生成设备4 的硬件构件、以及它的照相机30和显示设备40类似于第一实施例的 合成图像生成设备1的那些，因此省略这些构件的说明。
图14是表示第四实施例的几何变换表14的图表。几何变换表14 在由照相机30捕捉的输入图像上指定与在显示设备40上显示的输出 图像的像素位置相应的坐标。另外，第四实施例的几何变换表14包括 显示颜色。
坐标变换部分24A使用给定程序等将与输出图像的特定坐标(例 如为其设定显示颜色的坐标)相应的输入图像的坐标(Xi， Yi)的行方向 (Y方向)坐标的小数部分转换成混合系数a。
在此情形中，关于其坐标小数部分被转换的输出图像的像素，在 围绕由与和输出图像有关的像素对应的由输入图像的坐标(Xi， Yi)代表 的点的像素的沿着列方向(X方向)排列的两个像素的像素数值被显示 颜色替换之后，输出图像生成部分24B执行插值，并且通过使用在替 换之后的数据根据以上等式(l)执行插值而获得的像素数值被设为与输 出图像有关的像素的像素数值(见图15A)。
以此方式，被显示颜色替换的像素数值被利用混合系数a加权并且 在输出图像的像素数值上得到反映(见以上等式(l))。因此，通过在通过 根据几何变换表14对输入图像进行几何变换而获得的图像上叠加覆盖
图像而生成输出图像，所述覆盖图像是基于与几何变换表14中的输出
图像的像素位置相关联的覆盖数据的。
在输入图像的围绕具有坐标(Xi， Yi)的点的像素中，沿着列方向(X 方向)排列的两个像素是位于具有坐标(Xi， Yi)的点的上侧上的两个像 素，或者位于其下侧上的两个像素，因此，必须决定哪两个像素将进 行像素数值替换。在这方面，所述的两个像素可以被固定为或者位于 上侧上的那些或者位于下侧上的那些。可替代地，可以采用一种配置， 其中当进行变换的坐标的小数部分等于或者大于0.5时上侧的两个像 素的像素数值被替换，而当小数部分小于0.5时下侧的两个像素被替 换。利用这种配置，能够使得输入图像的像素中具有更高权重的像素 的像素数值保持不变。
可替代地，可以采用一种配置，其中，取代总是替换输入图像的 围绕具有坐标(Xi， Yi)的点的像素的沿着列方向(X方向)排列的两个像 素的像素数值，当混合系数a(小数部分)小于阈值al时不执行替换，而 当混合系数a(小数部分)大于a2(aKa2)时输入图像的围绕具有坐标 (Xi， Yi)的点的所有像素的像素数值被显示颜色替换。
坐标变换部分24A可以使用给定程序等将与输出图像的具有坐标 (例如为其设定显示颜色的坐标)的特定点相应的输入图像的坐标(Xi， Yi)的列方向(X方向)坐标的小数部分变换成混合系数a。在此情形中， 关于其坐标小数部分被转换的输出图像的像素，在围绕由与和输出图 像有关的像素对应的由输入图像的坐标(Xi， Yi)代表的点的像素的沿着 行方向(Y方向)排列的两个像素的像素数值被显示颜色替换之后，输出 图像生成部分24B执行插值。
如在其中行方向(Y方向)上的坐标的小数部分被转换成混合系数a
的情形中那样，同样当列方向(x方向)上的坐标的小数部分被转换成混
合系数(X时，在其上执行替换的一侧可以被固定为右侧或者左侧；然而， 可以采用一种配置，其中当进行转换的坐标的小数部分等于或者大于
0.5时右侧的两个像素被替换，并且当其小数部分小于0.5时左侧的两
个像素被替换。可替代地，可以采用一种配置，其中，取代总是替换
输入图像的围绕具有坐标(Xi， Yi)的点的像素的沿着列方向(X方向)排 列的两个像素的像素数值，当混合系数a(小数部分)小于阈值al时不执 行替换，而当混合系数a(小数部分)大于cx2(ctKa2)时，输入图像的围绕 具有坐标(Xi， Yi)的点的所有像素的像素数值被显示颜色替换。
关于规定显示颜色，在前存储于ROM等中的数据可以被自动地包 括在几何变换表14中，或者外部设备可以根据需要确定显示颜色。
图16是示出由第四实施例的坐标变换部分24A和输出图像生成部 分24执行的特征过程的流程的流程图。例如以预定循环反复地执行所 述流程。
首先，坐标变换部分24A读取几何变换表14中的与第一输出像素 有关的数据(S400)。
然后，确定是否对于有关输出像素规定显示颜色(S402),并且当规 定显示颜色时，与根据上述方法读取的输出图像的坐标相应的在输入 图像的坐标(Xi， Yi)的行方向(Y方向)中的坐标的小数部分被变换成混 合系数a(S404)。
输出图像生成部分24B设定通过使用在替换之后的数据(当无替换 指令时的初始数据)执行插值获得的像素数值作为输出图像的像素数值 (S楊)。
随后，确定是否已经对于所有的输出像素确定像素数值(S408)，并 且当尚未对于所有的输出像素确定像素数值时，读取与下一输出像素
有关的数据(S410)，并且执行从S402起的步骤。
另一方面，当已经对于所有的输出像素确定像素数值时，所确定 的图像数据集作为一个帧的合成图像数据被输出到显示设备40(S412)。
根据第四实施例的合成图像生成设备4，如在第一实施例的合成图 像生成设备1的情形中那样，能够减少实现通过变换从捕捉装置接收 的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本，并且 另外，能够在其半透明处理之后结合几何变换图像和覆盖图像、执行 反混淆过程等。另外，因为能够在几何变换表14中省去用于混合系数 的域，所以能够防止几何变换表14的大小变得太大。
将在下面描述根据本发明第五实施例的合成图像生成设备5。作为 示出输出图像生成部分21的特殊和简单的配置的实施例的合成图像生 成设备5实现与根据第二实施例的合成图像生成设备2的功能类似的 功能，所述功能能够通过使用几何变换表12规定覆盖图像的显示颜色。 特别地，合成图像生成设备5执行所谓的双线性插值，并且同时，执 行根据以上等式(2)的混合过程。
第五实施例的合成图像生成设备5包括几何变换表15和输出图像 生成部分25(见图17)。第五实施例的合成图像生成设备5不必为高级 计算机系统，并且仅需具有在其中存储几何变换表15的存储介质，以 及具有在下面描述的硬件配置的输出图像生成部分25。几何变换表15 的内容与图8B所示那些相同。
图18是示出第五实施例的输出图像生成部分25的硬件配置实例
的图表。这种配置被设计成使得通过考虑到几何变换过程和混合过程 均为其中利用内分比将两个数值加权的计算(内分点计算)，提供用于计 算利用内分比加权的数值的计算器并且使用计算器四次而实现几何变 换过程和混合过程。利用这种配置，能够利用简单硬件配置(而不使用 高级计算机系统)实现几何变换过程和混合过程，因此能够减少设备的 尺寸和成本。
在下面的说明中，双线性插值被划分成多个步骤，相对于X方向 上像素的插值数值被称作第一插值数值，相对于x方向下像素的插值 数值被称作第二插值数值，并且相对于Y方向第一和第二插值数值的 插值数值被称作第三插值数值。
输出图像生成部分25包括选择器A、选择器B、选择器C、补数 器、乘法器A、乘法器B、加法器、第一寄存器、第二寄存器以及输出 寄存器。选择器A接收左上像素数值、左下像素数值、以及第一寄存 器的数值。选择器B接收右上像素数值、右下像素数值、以及第二寄 存器的数值。选择器C接收在输入图像上指定的坐标(Xi， Yi)的Xi和 Yi的小数部分、以及混合系数。
将在下面参考图19所示的时序图描述输出图像生成部分25的运 行。首先，为了获得第一插值数值，选择器A选择左上像素的像素数 值，选择器B选择右上像素的像素数值，并且选择器C选择Xi(Tl)的 小数部分。Xi的小数部分是例如代表小数部分数值的4位二进制数值。 该4位二进制数值本身作为乘数被供给到乘法器B，并且其补数被供给 到乘法器A。在二进制和十进制这两种情形中，补数指一的补数(l-(初 始数))。图20示出在代表小数部分的二进制表达和十进制表达之间的 对应关系及其补数。
因此，左上像素的像素数值作为被乘数被供给到乘法器A，并且 (l-(Xi的小数部分))的数值作为乘数被供给到乘法器A。右上像素的像 素数值作为被乘数被供给到乘法器B，并且Xi的小数部分的数值作为 乘数被供给到乘法器B。因此，来自加法器的输出成为第一插值数值。
第一插值数值被保存在第一寄存器中。
然后，选择器A选择左下像素的像素数值，选择器B选择右下像 素的像素数值，并且选择器C选择Xi(T2)的小数部分。因此，来自加 法器的输出成为第二插值数值。第二插值数值被保存在第二寄存器中。
随后，选择器A选择第一寄存器的数值，选择器B选择第二寄存 器的数值，并且选择器C选择Yi(T3)的小数部分。
因此，第一插值数值作为被乘数被供给到乘法器A，并且(l-(Yi 的小数部分))的数值作为乘数被供给到乘法器A。同时，第二插值数值 作为被乘数被供给到乘法器B，并且Yi的小数部分的数值作为乘数被 供给到乘法器B。因此，来自加法器的输出成为第三插值数值。第三插 值数值被保存在第一寄存器中。
最终，选择器A选择第一寄存器的数值，选择器B选择显示颜色， 并且选择器C选择混合系数(T4)。
因此，第三插值数值作为被乘数被供给到乘法器A，并且(l-(混合 系数))的数值作为乘数被供给到乘法器A。显示颜色作为被乘数被供给 到乘法器B，并且混合系数的数值作为乘数被供给到乘法器B。因此， 来自加法器的输出成为已经经历a-混合过程的输出像素数值。该数值 被保存在输出寄存器中(T5)。
虽然采用其中首先执行关于X方向的插值然后执行关于Y方向的 插值的步骤，但是可以采用其中首先执行关于Y方向的插值然后执行 关于X方向的插值的步骤。另外，虽然在以上说明中提供两个乘法器， 但是可以采用其中使用一个乘法器并且在两个步骤中分别地并且顺序 地执行两次乘法的配置。
虽然已经参考实施例描述了本发明，但是本发明绝不限于这些实 施例，并且可以作出各种修改和替换而不背离本发明的精神和范围。
例如，覆盖图像不限于其显示颜色被规定的计算机生成图像，而 可以为从另一照相机接收的捕捉图像等。
本发明能够用于图像处理器制造、汽车制造、汽车部件制造等领域。
虽然已经参考其实施例描述了本发明，但是应该理解本发明不限 于所述实施例或者构造。相反，本发明旨在涵盖各种修改和等价布置。 另外，虽然以作为实例的各种组合和配置示出实施例的各种元件，但 是包括更多、更少或者仅仅一个元件的其它组合和配置也位于本发明 的精神和范围中。
权利要求
1. 一种合成图像生成设备(1、2、3、4、5)，包括几何变换表(11、12、13、14、15)，所述几何变换表(11、12、13、14、15)在从捕捉装置(30)接收的输入图像上指定与输出图像的像素位置对应的坐标；以及输出图像生成装置(21、22、23、24B、25)，所述输出图像生成装置(21、22、23、24B、25)通过在根据所述几何变换表(11、12、13、14、15)对所述输入图像进行几何变换而获得的图像上叠加覆盖图像而生成所述输出图像，所述覆盖图像基于与所述几何变换表(11、12、13、14、15)中的所述输出图像的像素位置相关联的覆盖数据。
2. 根据权利要求1的合成图像生成设备(l、 2、 3、 4、 5)，其中所述覆盖数据包括每一个均表示在所述输出图像中的给定像素位置处显 示的显示颜色的数据。
3. 根据权利要求2的合成图像生成设备(l、 2、 3、 4、 5)，其中所述显示颜色是亮度数值。
4. 根据权利要求1的合成图像生成设备(l、 2、 3、 4、 5)，其中所 述输出图像生成装置(21、 22、 23、 24B、 25)对于所述输出图像的每一 个像素选择几何变换操作和覆盖操作中的一个操作。
5. 根据权利要求1的合成图像生成设备(l、 2、 3、 4、 5)，其中在 所述几何变换操作中，执行所述输入图像的畸变校正。
6. 根据权利要求1的合成图像生成设备(l、 2、 3、 4、 5)，其中所 述几何变换表(ll、 12、 13、 14、 15)包括选择标志，所述选择标志表示 显示所述几何变换图像和所述覆盖图像中的哪一个图像。
7. 根据权利要求1到6中任一项的合成图像生成设备(2、 3、 4、 5)，其中所述覆盖数据包括每一个均表示在所述输出图像中的给定像素 位置处的混合系数的数据。
8. 根据权利要求7的合成图像生成设备(2、 3、 4、 5)，其中所述 几何变换表(12、 13、 14、 15)规定在根据所述混合系数执行混合操作之 后显示的所述覆盖图像的每一个像素的显示颜色。
9. 根据权利要求7的合成图像生成设备(2、 3、 4、 5)，其中所述 输出图像生成装置(22、 23、 24B、 25)包括补码器、乘法器和加法器， 所述补数器、所述乘法器和所述加法器用于通过执行内分点计算而执 行根据所述几何变换表(12、 13、 14、 15)对所述输入图像进行几何变换 的操作以及根据在所述覆盖数据中包括的所述混合系数执行混合操作 的操作。
10. 根据权利要求1到6中任一项的合成图像生成设备，其中， 关于被提供所述覆盖数据的所述输出图像的像素，所述输出图像生成 装置(23、 24B)通过基于所述覆盖数据替换围绕具有在所述输入图像上 指定坐标的点的像素的至少一部分像素数值，然后使用围绕着在所述 几何变换表中具有指定坐标的点的像素的像素数值来执行插值，从而 生成所述输出图像。
11. 一种合成图像生成设备(3、 4)，包括几何变换表(13、 14)，所述几何变换表(13、 14)在从捕捉装置(30)接收的输入图像上指定与输出图像的像素位置对应的坐标；以及输出图像生成装置(23、 24B)，所述输出图像生成装置(23、 24B)通过使用围绕着在所述几何变换表中具有指定坐标的点的像素的像素 数值来执行插值而生成所述输出图像，其中，关于被提供覆盖数据的所述输出图像的像素，所述输出图 像生成装置(23、 24B)通过基于所述覆盖数据替换所述输入图像上围绕 具有被指定的所述坐标的所述点的所述像素的像素数值的至少一部 分，然后执行所述插值，从而生成所述输出图像。
12. 根据权利要求11的合成图像生成设备(3、 4)，其中所述插值 是双线性插值。
13. 根据权利要求11的合成图像生成设备(4)，还包括坐标转换装 置(24A)，所述坐标转换装置(24A)将所述几何变换表(14)中被指定在所 述输入图像上的坐标的行方向的坐标的小数部分转换成表示混合系数 的数值，其中，关于被提供所述覆盖数据的所述输出图像的像素，所述输 出图像生成装置(24B)通过基于由所述坐标转换装置(24A)将所述行方 向的坐标的小数部分转换成的所述数值执行混合操作而生成所述输出 图像。
14. 根据权利要求13的合成图像生成设备(4)，其中 所述插值是双线性插值；并且当由所述坐标转换装置(24A)将所述行方向的坐标的小数部分转 换成的所述数值等于或大于0.5时，相对于具有所述坐标的所述点的上 侧的两个像素的像素数值被显示颜色替换；并且当由所述坐标转换装置(24A)将所述行方向的坐标的小数部分转 换成的所述数值小于0.5时，相对于具有所述坐标的所述点的下侧的两 个像素的像素数值被显示颜色替换。
15. 根据权利要求13的合成图像生成设备(4)，其中 所述插值是双线性插值，并且当由所述坐标转换装置(24A)将所述小数部分转换成的所述混合 系数大于阈值时，所述输入图像中围绕具有所述坐标的所述点的所述 像素的像素数值全部被显示颜色替换。 4
16. 根据权利要求11的合成图像生成设备(4)，还包括坐标转换装 置(24A)，所述坐标转换装置(24A)将所述几何变换表(14)中被指定在所 述输入图像上的坐标的列方向的坐标的小数部分转换成表示混合系数 的数值，其中，关于被提供所述覆盖数据的所述输出图像的像素，所述输 出图像生成装置(24B)通过基于由所述坐标转换装置(24A)将所述列方 向的坐标的小数部分转换成的所述数值执行混合操作而生成所述输出 图像。
17. 根据权利要求16的合成图像生成设备(4)，其中 所述插值是双线性插值；并且当由所述坐标转换装置(24A)将所述列方向的坐标的小数部分转 换成的所述数值等于或大于0.5时，相对于具有所述坐标的所述点的右 侧的两个像素的像素数值被显示颜色替换；并且当由所述坐标转换装置(24A)将所述列方向的坐标的小数部分转 换成的所述数值小于0.5时，相对于具有所述坐标的所述点的左侧的两 个像素的像素数值被显示颜色替换。
18. 根据权利要求16的合成图像生成设备(4)，其中 所述插值是双线性插值，并且当由所述坐标转换装置(24A)将所述小数部分转换成的所述混合 系数大于阈值时，围绕具有所述输入图像中所述坐标的点的所述像素 的像素数值全部被显示颜色替换。
19. 一种计算机可读介质，存储用于使得计算机用作根据权利要 求1到6中任一项的合成图像生成设备(l、 2、 3、 4、 5)的程序。
20. —种计算机可读介质，存储用于使得计算机用作根据权利要 求11到18中任一项的合成图像生成设备(l、 2、 3、 4、 5)的程序。
全文摘要
合成图像生成设备和存储用于使得计算机用作合成图像生成设备的程序的计算机可读介质，该合成图像生成设备(1)包括几何变换表(11)，所述几何变换表在从捕捉装置(30)接收的输入图像上指定与输出图像的像素位置相应的坐标；以及输出图像生成装置(21)，输出图像生成装置通过在通过根据几何变换表对输入图像进行几何变换而获得的图像上叠加覆盖图像而生成输出图像，所述覆盖图像基于几何变换表中与输出图像的像素位置相关联的覆盖数据。该合成图像生成设备能够减少用于实现在通过变换从捕捉装置接收的输入图像而获得的图像上叠加覆盖图像的过程所需要的成本。
文档编号G06T1/00GK101388968SQ20081021293
公开日2009年3月18日 申请日期2008年9月10日 优先权日2007年9月10日
发明者加藤孝三, 太田充彦 申请人:丰田自动车株式会社