图像生成装置、图像生成方法和计算机程序与流程

本发明涉及生成表示道路上的状况的图像的图像生成装置、图像生成方法和计算机程序。

背景技术：

以往，存在用多个摄像头监控道路上发生的事态并在管制室集中管理道路状态的道路监控系统。例如，专利文献1记载的道路监控系统，通过对多个监控摄像头所拍摄的图像进行处理来进行事故等的异常检测，向驾驶员或道路管理者提供信息。

现有技术文献

专利文献

专利文献1日本特开2001-273587号公报

技术实现要素：

发明要解决的问题

但是，以往的道路监控系统是对路边或道路上部等设置的监控摄像头的图像进行处理的，因此不能对监控摄像头的死角位置或监控摄像头的监控范围外的异常进行检测。另外，为了消除监控摄像头的死角，必须设置更多的监控摄像头，存在监控系统规模大、成本高的问题。

本发明鉴于上述情况而提出，目的在于提供将存在于远景侧的道路上的移动体和结构体的图像放大从而能提供死角少的图像的图像生成装置、图像生成方法和计算机程序。

用于解决问题的手段

本申请的图像生成装置，其获取道路的拍摄图像，并根据获取的所述拍摄图像生成表示所述道路上的状况的图像，其特征在于，包括：区域提取单元，从获取的所述拍摄图像中提取梯形区域的图像，该梯形区域由在所述拍摄图像的进深方向上的消失点汇聚的两条消失线、和分别与所述两条消失线交叉的两条平行直线包围而成；变换单元，利用将所述区域提取单元提取出的梯形区域变形为矩形区域的几何变换模型，将所述梯形区域的图像变换为所述矩形区域的图像；和生成单元，根据变换后的所述矩形区域的图像，生成用于将所述拍摄图像的远景侧存在的所述道路上的移动体或结构体放大显示的图像。

本申请的图像生成装置，其特征在于，所述几何变换模型由规定所述梯形区域的四个顶点和所述矩形区域的四个顶点之间的几何学关系的映射变换表示。

本申请的图像生成装置，其特征在于，所述生成单元包含使所述矩形区域的图像旋转的单元。

本申请的图像生成装置，其特征在于，包括：区域分割单元，在所述进深方向上分割所述区域提取单元提取出的所述梯形区域的图像；和合成单元，将通过对所述区域分割单元分割的各区域的图像分别进行变换而得到。

本申请的图像生成装置，其特征在于，获取对所述道路的不同范围拍摄的多个拍摄图像，所述图像生成装置包括合成单元，将通过对从各拍摄图像中提取出的梯形区域的图像分别进行变换而得到的多个矩形区域的图像合成。

本申请的图像生成装置，其特征在于，包括获取信息的单元，该信息涉及对所述道路进行拍摄的各拍摄装置的配置，根据获取的涉及各拍摄装置的配置的信息合成所述多个矩形区域的图像。

本申请的图像生成方法，其获取道路的拍摄图像，并根据获取的所述拍摄图像生成表示所述道路上的状况的图像，其特征在于，从获取的所述拍摄图像中提取梯形区域的图像，该梯形区域由在所述拍摄图像的进深方向上的消失点汇聚的两条消失线和分别与所述两条消失线交叉的两条平行直线包围而成；利用将所述梯形区域变形为矩形区域的几何变换模型，将所述梯形区域的图像变换为所述矩形区域的图像；根据变换后的所述矩形区域的图像，生成用于将所述拍摄图像的远景侧存在的所述道路上的移动体或结构体放大显示的图像。

本申请的计算机程序，其使计算机根据输入的道路的拍摄图像生成表示所述道路上的状况的图像，其特征在于使所述计算机执行以下步骤：从所述拍摄图像中提取梯形区域的图像，该梯形区域由在所述拍摄图像的进深方向上的消失点汇聚的两条消失线和分别与所述两条消失线交叉的两条平行直线包围而成；和

利用将所述梯形区域变形为矩形区域的几何变换模型，将所述梯形区域的图像变换为所述矩形区域的图像。

发明的效果

根据本申请，通过生成用于将拍摄图像的远景侧存在的道路上的移动体和结构体放大显示的图像，能够提供视认性好的显示图像。

附图说明

图1是表示实施方式1的道路监控系统的结构的框图。

图2是表示图像生成装置的硬件结构的框图。

图3是表示图像生成装置的功能性结构的框图。

图4是说明图像生成装置执行的处理步骤的流程图。

图5是表示拍摄图像的一例的示意图。

图6是说明提取步骤的说明图。

图7是表示提取出的梯形区域的图像的示意图。

图8是表示变换后的矩形区域的图像的示意图。

图9是表示对矩形区域的图像实施了线性变换处理的图像的一例的示意图。

图10是说明实施方式2的图像生成装置执行的处理内容的说明图。

图11是表示实施方式3的道路监控系统的结构的框图。

图12是说明实施方式3的图像生成装置执行的处理内容的说明图。

具体实施方式

以下，基于表示本发明实施方式的附图对本发明进行具体说明。

实施方式1

图1是表示实施方式1的道路监控系统的结构的框图。本实施方式的道路监控系统包括：从斜上方对道路进行拍摄的拍摄装置1、基于拍摄装置1输出的拍摄图像而生成表示道路状况的图像的图像生成装置2、和显示从图像生成装置2输出的图像的显示装置3。

拍摄装置1在适当的时机对道路进行拍摄。拍摄装置1经由通信线路连接至图像生成装置2，并将拍摄所得的拍摄图像发送到图像生成装置2。

图像生成装置2和显示装置3被设置在，例如，对道路进行监控的人(监控者)所在的监控设施、对道路利用者(利用者)示出道路状况的场所等。图像生成装置2根据拍摄装置1所获取的拍摄图像而生成表示道路状况的图像。此时，图像生成装置2从拍摄图像中提取成为监控对象的梯形区域的图像，通过将提取出的梯形区域的图像变换为矩形区域的图像，生成将远景侧放大了的图像，并根据变换后的矩形区域的图像生成输出图像。图像生成装置2将生成的输出图像向输出至显示装置3。

显示装置3通过显示从图像生成装置2输出的图像，将涉及道路状况的信息提供给监控者和利用者。

以下，说明图像生成装置2的内部结构。

图2是表示图像生成装置2的硬件结构的框图。图像生成装置2包括控制部21、存储部22、图像输入IF23、图像输出IF24等。

控制部21例如包括CPU、ROM、RAM等。在控制部21内的ROM中存储有用于使装置全体作为本发明的图像生成装置而发挥作用的计算机程序。控制部21具备的CPU将存储于ROM的计算机程序读出到RAM上执行，通过控制上述各硬件的动作，使装置全体作为本发明的图像生成装置而发挥作用。具体来说，控制部21执行从拍摄装置1获取的拍摄图像中提取成为监控对象的梯形区域的图像的处理、将提取出的梯形区域的图像变换为矩形区域的图像的处理、和由变换后的矩形区域的图像生成输出图像的处理。

存储部22由EEPROM(Electronically Erasable Programmable Read On ly Memory)等非易失性存储器、HDD(Hard Disk Drive)这样的存储装置等构成。存储部22随时存储通过图像输入IF23获取的拍摄图像、控制部21生成的正在处理的图像或最终的输出图像等。

图像输入IF23是用于通过有线或无线连接拍摄装置1的接口，通过有线通信或无线通信获取从拍摄装置1输出的拍摄图像。

图像输出IF24是用于将控制部21生成的输出图像通过有线通信或无线通信向外部输出的接口。输出目标例如是监控者和利用者浏览的显示装置3。另外，也可以构成为代替显示装置3而向随时间变化累积表示道路状况的图像的服务器装置(未图示)输出，也可以构成为通过无线通信向路过拍摄装置1附近的车辆内的装置(例如车载显示器)发送。图像输出IF24，通过在从控制部21获取了要向外部输出的输出图像的情况下，按照通信标准执行与外部装置的通信处理，将输出图像发送至外部装置。

图3是表示图像生成装置2的功能性结构的框图。图像生成装置2，作为功能性结构包括区域提取部211、变换处理部212和图像生成部213。区域提取部211、变换处理部212和图像生成部213各自的功能通过控制部21具备的CPU执行ROM中存储的计算机程序来实现。

区域提取部211从通过图像输入IF23输入的拍摄图像中提取作为处理对象的图像。更具体来说，区域提取部211提取梯形区域的图像，该梯形区域由汇聚于拍摄图像的进深方向上的消失点的两条消失线、以及与该消失线分别在近景侧和远景侧交叉的两条平行直线包围。区域提取部211将提取出的梯形区域的图像发送至变换处理部212。

区域提取部211可在每次输入作为处理对象的拍摄图像时设定用于提取梯形区域的图像的两条消失线和平行直线。例如，区域提取部211检测被输入的拍摄图像包含的边缘，搜寻检测出的边缘的延长线在拍摄图像的进深方向上汇聚的点(消失点)，从汇聚于搜寻到的消失点的边缘中选择位于道路部分的外侧的两条边缘，由此可设定两条消失线。

另外，区域提取部211分别在拍摄图像的近景侧和远景侧设定与两条消失线交叉的平行直线。此外，拍摄图像中的两条平行直线的位置由区域提取部211适当设定即可。例如，区域提取部211在与拍摄图像的下边相距Ya像素大小(Ya为拍摄图像的高度的四分之一左右)的位置配置近景侧的平行直线，在与上边相距Yb像素大小(Yb为拍摄图像的高度的四分之一左右)的位置配置远景侧的平行直线。

本实施方式中，区域提取部211在每次输入拍摄图像时设定两条消失线和平行直线，但在拍摄装置1的位置和姿势始终一定的情况下，也可以预先设定要提取的梯形区域，从各拍摄图像提取预先设定的梯形区域的图像。另外，本实施方式中的消失线未必是用透视法绘制的精确的直线，只要是与消失线近似的直线即可。另外，本实施方式中的平行直线未必需要严格平行，基本上平行即可。

变换处理部212将从区域提取部211发送的梯形区域的图像变换为矩形区域的图像。更具体来说，设定映射变换矩阵，根据该映射变换矩阵将梯形区域的图像变换为矩形区域的图像，该映射变换矩阵用于规定作为变换源的梯形区域的四个顶点和作为变换目标的矩形区域的四个顶点之间的几何学关系。变换处理部212将变换后的矩形区域的图像发送至图像生成部213。

图像生成部213由变换处理部212变换后的矩形区域的图像生成输出图像。图像生成部213通过对从变换处理部212发送的矩形区域的图像实施旋转处理、放大缩小处理等，生成输出图像。图像生成部213将所生成的输出图像发送至图像输出IF24。

以下，说明图像生成装置2的动作。

图4是说明图像生成装置2执行的处理步骤的流程图。图像生成装置2的控制部21通过图像输入IF23从拍摄装置1获取拍摄图像(步骤S11)。图5是表示拍摄图像的一例的示意图。图5所示的拍摄图像中，在近景侧包含正在行驶的乘用车的图像，在远景侧包含停着的摩托车的图像。

接下来，控制部21从所获取的拍摄图像中提取由两条消失线和平行线包围的梯形区域的图像(步骤S12)。图6是说明提取步骤的说明图。控制部21从拍摄图像中提取道路的路肩部分、建筑物、窗、门等的边缘，求出提取出的边缘的延长线在拍摄图像的远景侧汇聚的消失点P0的坐标。本实施方式中，示出了消失点P0包含在拍摄图像中的例子，但消失点P0未必包含在拍摄图像中。

接下来，控制部21通过选择汇聚于消失点P0的边缘(或边缘的延长线)中的、表示道路的路肩的两条边缘，来设定两条消失线L1、L2。例如，控制部21在拍摄图像上从通过消失点P0的垂直线向左右方向分别搜索边缘、并选择在左右方向上最先搜索到的边缘，由此设定两条消失线L1、L2。

接下来，控制部21设定相当于要提取的梯形区域的下底和上底的两条平行直线La、Lb。例如，控制部21通过在与拍摄图像的下边相距Ya像素大小的位置配置近景侧的平行直线、在与上边相距Yb像素大小的位置配置远景侧的平行直线，来设定两条平行直线La、Lb。

接下来，控制部21从拍摄图像中提取由两条消失线L1、L2和两条平行直线La、Lb包围的梯形区域的图像。图7是表示提取出的梯形区域的图像的示意图。

此外，本实施方式中，通过由拍摄图像算出消失点P0的坐标并求出汇聚于消失点P0的边缘的延长线来设定两条消失线L1、L2，但只要是拍摄装置1以固定的位置和姿势对道路进行拍摄，就不需要每次获取拍摄图像时都求取消失点P0和汇聚于消失点P0的边缘的延长线。这种情况下，可以预先设定与要提取的梯形区域的各边对应的消失线L1、L2和平行直线La、Lb。控制部21在获取拍摄图像时根据预先设定的两条消失线L1、L2和平行直线La、Lb提取梯形区域的图像。

接下来，控制部21将提取出的梯形区域的图像变换为矩形区域的图像(步骤S13)。例如，设定将梯形区域变换为预先确定的矩形区域的几何变换模型，将步骤S12中提取出的梯形区域的图像按照所述几何变换模型进行变换，由此获取矩形区域的图像。在此，几何变换模型由映射变换表示，该映射变换规定作为变换源的梯形区域中的四个顶点和作为变换目标的矩形区域中的四个顶点的几何学关系。控制部21利用映射变换矩阵将构成梯形区域的图像的各像素的坐标(x，y)变换为构成作为变换目标的矩形区域的图像的各像素的坐标(X，Y)，由此生成矩形区域的图像。当然也可以根据各像素的坐标变换对变换后的各像素进行像素值的插值处理。图8是表示变换后的矩形区域的图像的示意图。

接下来，控制部21根据变换后的矩形区域的输出图像生成输出图像(步骤S14)，通过图像输出IF24将所生成的输出图像输出至规定的输出目标。控制部21可以将步骤S13中变换后的矩形区域的图像作为输出图像输出，也可以将对矩形区域的图像进行了旋转、放大缩小、镜像变换、斜切变换(s kew transformation)等线性变换处理的图像作为输出图像输出。

图9是表示对矩形区域的图像实施了线性变换处理的图像的一例的示意图。图9A示出了通过将矩形区域的图像逆时针旋转90度而生成的输出图像。在原拍摄图像中，因为远景侧的摩托车拍得小，所以对监控者和利用者来说识别摩托车的存在并不容易，有可能看漏。对此，图9A所示的输出图像中，虽然近景侧的车辆的图像有所变形，但远景侧的图像被放大，因此能够容易地识别远景侧的摩托车的存在。

图9B示出了通过对矩形区域的图像实施旋转、纵向缩小、和斜切变换而生成的输出图像。通过进行这样的线性变换处理，图像生成装置2能够抑制近景侧的图像的变形，并且将远景侧的图像放大。

如上所述，实施方式1的图像生成装置2通过对从拍摄图像中提取出的梯形区域的图像实施映射变换、线性变换这样的变形处理而生成将远景侧放大了的图像。因此。实施方式1的道路监控系统能够通过在显示装置3显示图像生成装置2生成的输出图像，对监控者和利用者提供能够容易地识别从近景侧到远景侧的监控区域内的移动体和结构体的存在的图像。

此外，本实施方式中，方便起见，分开记载了将梯形区域的图像变换为矩形区域的图像的映射变换处理和由矩形区域的图像生成输出图像的线性变换处理，但这些处理也可以作为单一处理执行。

另外，本实施方式中，构成为利用设置在道路上的拍摄装置1获取道路的拍摄图像，也可以构成为利用搭载在汽车等车辆上的车载摄像头获取道路的拍摄图像。这种情况下，可以在各车辆中搭载图像生成装置2，将图像生成装置2生成的输出图像显示在车内显视器上。

实施方式2

实施方式2中，说明在进深方向上分割提取出的梯形区域的图像、并将分割后的梯形区域的图像分别变换为矩形区域的图像后进行合成的结构。

此外，实施方式2的道路监控系统的结构、和图像生成装置2的结构等与实施方式1相同，因此省略其说明。

图10是说明实施方式2的图像生成装置2执行的处理内容的说明图。图像生成装置2的控制部21通过执行上述步骤S11和S12的处理，从拍摄图像中提取包含监控对象的梯形区域的图像。

接下来，控制部21在进深方向上分割提取出的梯形区域的图像。适当设定分割数和分割部位可。图10所示的例子中，示出了在中间附近将提取出的梯形区域的图像分割成两部分的状态。

接下来，控制部21将分割后的梯形区域的图像分别变换为矩形区域的图像。与实施方式1相同，对各个梯形区域设定变换为矩形区域的几何变换模型，将各梯形区域的图像按照各自的几何变换模型进行变换，由此能够变换为矩形区域的图像。

接下来，控制部21将变换各梯形区域的图像所得的矩形区域的图像合成。控制部21根据合成后的图像生成输出图像，通过图像输出IF24输出至规定的输出目标。此时，可以与实施方式1同样地对合成后的图像实施旋转、放大缩小、镜像变换、斜切变换等线性变换处理，生成输出图像。

如上所述，实施方式2中，将从拍摄图像中提取出的梯形区域的图像在进深方向上分割，将其分别变换为矩形区域的图像后进行合成，由此，对于近景侧的图像，能够抑制随着映射变换产生的变形，对于远景侧的图像，能够将其放大至适当的大小。因此，本实施方式的道路监控系统能够向监控者和利用者提供易于识别道路上的移动体和结构体的图像。

实施方式3

实施方式1和实施方式2中，基于从拍摄装置1获取的一个拍摄图像而生成输出图像，但也可以沿道路设置多个拍摄装置1，根据从各拍摄装置获取的拍摄图像生成一个输出图像。

实施方式3中，说明由多个拍摄图像生成一个输出图像的结构。

图11是表示实施方式3的道路监控系统的结构的框图。本实施方式的道路监控系统包括：例如沿着道路设置并分别从斜上方对道路进行拍摄的拍摄装置1A、1B、1C；基于拍摄装置1A、1B、1C输出的拍摄图像而生成表示道路状况的图像的图像生成装置2；显示从图像生成装置2输出的图像的显示装置3。

拍摄装置1A、1B、1C在适当的时机对道路进行拍摄。拍摄装置1A、1B、1C通过通信线路连接至图像生成装置2，将拍摄所得的拍摄图像发送至图像生成装置2。

图像生成装置2根据从拍摄装置1A、1B、1C获取的拍摄图像生成表示道路状况的图像。此时，图像生成装置2从各个拍摄图像中提取成为监控对象的梯形区域的图像，将提取出的梯形区域的图像变换为矩形区域的图像，由此生成将远景侧放大了的图像，将所生成的矩形区域的图像合成，生成输出图像。图像生成装置2将所生成的输出图像输出至显示装置3。

此外，图像生成装置2的内部结构与实施方式1相同，故省略其说明。

显示装置3通过显示由图像生成装置2输出的图像来向监控者和利用者提供有关道路状况的信息。

图12是说明实施方式3的图像生成装置2执行的处理内容的说明图。图像生成装置2的控制部21通过图像输入IF23获取拍摄装置1A、1B、1C拍摄的拍摄图像。控制部21从获取的各拍摄图像中提取梯形区域的图像，通过对提取出的梯形区域的图像进行映射变换，生成矩形区域的图像。

此外，控制部21从拍摄图像中提取的梯形区域的图像无需对拍摄装置1A、1B、1C都选择同一形状，也可以是根据拍摄装置1A、1B、1C的设置位置和姿势提取设定的形状的图像。

另外，控制部21对拍摄装置1A、1B、1C分别设定将梯形区域的图像变换为矩形区域的图像的几何变换模型，对各梯形区域的图像按照各自的几何变换模型进行变换，由此变换为矩形区域的图像。

接下来，控制部21将变换后的矩形区域的图像合成，生成输出图像。此时，也可以对各矩形区域的图像实施旋转、放大缩小、镜像变换、斜切变换等线性变换处理之后，进行图像合成，生成输出图像。另外，优选控制部21考虑拍摄装置1A、1B、1C的配置关系来合成矩形区域的图像。涉及拍摄装置1A、1B、1C的配置关系的信息预先存储在存储部22中。控制部21从存储部22获取涉及拍摄装置1A、1B、1C的配置关系的信息，根据所获取的涉及配置关系的信息合成矩形区域的图像。例如，在拍摄装置1A、1B、1C按此顺序配置的情况下，将由拍摄装置1A、1B、1C生成的矩形区域的图像按此顺序合成。另外，在拍摄装置1A、1B、1C分别配置在道路的右侧、左侧、近侧的情况下，在显示装置3的显示画面的右侧、左侧、下侧配置各矩形区域的图像并合成。

如上所述，实施方式3的图像生成装置2分别对从多个拍摄装置1A、1B、1C获取的各拍摄图像提取梯形区域的图像，对提取出的图像进行映射变换和线性变换，将变换后的图像合成并生成输出图像。因此，本实施方式的道路监控系统通过在显示装置3上显示图像生成装置2生成的输出图像，能够为监控者和利用者提供容易识别移动体和结构体的存在的、死角少的图像。

应该认为，此次公开的实施方式中所有内容均为例示，并不是限制性的。本发明的范围并不是上述含义，而是由权利要求所示，并包含与权利要求均等的含义和范围内的各种变更。

附图标记说明

1 拍摄装置

2 图像生成装置

21 控制部

22 存储部

23 图像输入IF

24 图像输出IF

211 区域提取部

212 变换处理部

213 图像生成部