全景监视系统的制作方法

本发明涉及全景监视系统。

背景技术：

如今，随着车辆的广泛普及，车辆相撞事故也在增加。尤其是像停车，车辆低速行驶的情况下，不能完全意识到多变化的车辆周围的情况，从而相撞事故也随之增加。

为了改善所述情况就开发了全景监视系统(surroundviewmonitoringsystem)，其用于将车辆周围的情况变换为从上面所看到的图像(即顶视图，topview)并展示给驾驶员。

另外，驾驶员通过反光镜很难确认处于盲区的车辆，因此在变更车道前，要仔细查看盲区内是否有车辆。

然而，驾驶员在高速行驶的情况下，继续注视前方和观察左右交通情况是很有难度的。

为了解决上述问题，最近高价车开始安装盲区警示系统(blindspotdetectionsystem；也称之为智能后侧方警示系统)。

盲区警示系统通过安装在车辆后方的左右两侧的雷达(即传感器)实时感测物体存在与否，并将感测结果显示在反光镜，从而使驾驶员只看反光镜就容易知道盲区内是否有车辆。

然而，由于雷达的费用问题，大多数的汽车驾驶员驾驶未安装盲区警示系统的车辆，因此需要能够解决上述问题的系统。

此外，盲区警示系统通过模式识别事先学习有关盲区内有车辆的情况，并将学习数据实时应用到盲区识别操作上，其问题在于，为了构建相应功能需要长时间确保很多图像(影像)数据来创建数据库，并基于所创建的数据库进行学习，从而提取学习数据。

另外，由于盲区警示系统为了识别盲区内的车辆而反复探索图像的多个区域并提取模式数据，将提取的模式数据跟学习数据进行比较，因此为了保障对提取的模式数据进行实时处理，就需要高性能的处理器(例如，cpu)。

不仅如此，为了使用盲区警示系统，将专用相机朝向后侧方(即后方左右两侧)安装在反光镜。因此，专用相机以突出的形式安装在现有的反光镜安装位置的下面或侧面，从而导致美观性的下降。

技术实现要素：

技术问题

本发明的目的在于提供全景监视系统，其用于不经过其他的学习过程可以实时进行盲区识别操作。

技术方案

用于解决所述技术问题的本发明的实施例，一种全景监视系统包括：多个相机，其分别安装在车辆的前、后、左、右侧，用于拍摄车辆的周围图像；第一盲区探测模块，其使用多个相机所分别拍摄的车辆的周围图像中的左侧图像来辨别车辆的左侧盲区内是否有物体；以及第二盲区探测模块，其使用多个相机所分别拍摄的车辆的周围图像中的右侧图像来辨别车辆的右侧盲区内是否有物体。

所述第一盲区探测模块包括：左侧图像选择部，从多个相机所分别拍摄的车辆的周围图像中选择左侧图像；左侧图像掩膜处理部，特定出左侧图像选择部所选择的左侧图像的后方区域；左侧图像像素移动信息生成部，生成左侧图像掩膜处理部所特定的左侧图像的后方区域的像素移动信息；左侧图像非正常像素移动检测部，由左侧图像像素移动信息生成部生成的像素移动信息检测出非正常像素移动；左侧图像物体识别部，对左侧图像非正常像素移动检测部检测出的非正常像素移动进行分析，从而辨别非正常像素移动是否为物体。

所述左侧图像掩膜处理部使用后方左侧区域的掩膜来特定出左侧图像选择部所选择的左侧图像的后方区域，左侧图像像素移动信息生成部对于左侧图像掩膜处理部所特定的左侧图像的后方区域而生成区块信息，基于生成的区块信息来选择关心像素，并探索跟选择的关心像素有关的周围像素，基于探索结果来生成像素移动信息。

所述左侧图像非正常像素移动检测部将左侧图像像素移动信息生成部所生成的像素移动信息与车辆正常行驶时车辆的左侧图像所产生的正常像素移动信息进行比较，并基于比较结果来检测非正常像素移动，左侧图像物体识别部对左侧图像非正常像素移动检测部检测出的非正常像素移动进行分析以掌握非正常像素移动中的像素分布，基于掌握的像素分布来生成非正常像素移动的大小和位置信息，并基于生成的非正常像素移动的大小和位置信息来辨别非正常像素移动是否为物体。

所述第二盲区探测模块包括：右侧图像选择部，从多个相机所分别拍摄的车辆的周围图像中选择右侧图像；右侧图像掩膜处理部，特定出右侧图像选择部所选择的右侧图像的后方区域；右侧图像像素移动信息生成部，生成关于右侧图像掩膜处理部所特定的右侧图像的后方区域的像素移动信息；右侧图像非正常像素移动检测部，从右侧图像像素移动信息生成部所生成的像素移动信息检测出非正常像素移动；右侧图像物体识别部，对右侧图像非正常像素移动检测部检测出的非正常像素移动进行分析，从而辨别非正常像素移动是否为物体。

所述右侧图像掩膜处理部使用后方右侧区域的掩膜来特定右侧图像选择部所选择的右侧图像的后方区域，右侧图像像素移动信息生成部对于右侧图像掩膜处理部所特定的右侧图像的后方区域而生成区块信息，基于生成的区块信息来选择关心像素，并探索跟选择的关心像素有关的周围像素，基于探索结果来生成像素移动信息。

所述右侧图像非正常像素移动检测部将右侧图像像素移动信息生成部所生成的像素移动信息与车辆正常行驶时车辆的右侧图像所产生的正常像素移动信息进行比较，并基于比较结果来检测非正常像素移动，右侧图像物体识别部对右侧图像非正常像素移动检测部所检测的非正常像素移动进行分析以掌握非正常像素移动中的像素分布，基于所掌握的像素分布来生成非正常像素移动的大小和位置信息，并基于生成的非正常像素移动的大小和位置信息来辨别非正常像素移动是否为物体。

全景监视系统还包括：第一警示标识模块，其基于所述第一盲区探测模块所辨别的有关物体存在与否的信息来生成左侧警示信息；以及第二警示标识模块，其基于第二盲区探测模块所辨别的有关物体存在与否的信息来生成右侧警示信息。

所述第一警示标识模块在车辆的左侧盲区存在物体的情况下，向驾驶员输出左侧警示信息，第二警示标识模块在车辆的右侧盲区存在物体的情况下，向驾驶员输出右侧警示信息。

所述多个相机包括：第一相机，安装在车辆的前端，用于拍摄车辆的前方图像；第二相机，安装在车辆的左侧，用于拍摄车辆的左侧图像；第三相机，安装在车辆的右侧，用于拍摄车辆的右侧图像；及第四相机，安装在车辆的后端，用于拍摄车辆的后方图像。

发明效果

根据本发明，不经过其他的学习过程可以实时进行盲区识别操作。此外，由于不需要其他的学习过程，因此不用安装高性能的处理器。除此之外，与盲区警示系统不同，并不是把相机以突出的形式安装在反光镜安装位置的下面或侧面，因此可以防止美观性的下降。

附图说明

图1是示出说明关于本发明的实施例的全景监视系统的框图。

图2是示出说明关于车辆的盲区的简图。

图3是示出说明关于图1的第一盲区探测模块的框图。

图4是示出说明关于图1的第二盲区探测模块的框图。

图5是示出说明关于图1的全景监视系统的盲区警示情况的示意图。

具体实施方式

为了更容易了解本发明，在本文给特定术语下定义。除非在本文中另外明确地指定，否则在本发明所使用的科学或技术术语与本发明所属领域技术人员一般能理解的用语有着同样的意思。此外，除非在本文中明确指定，否则单数形式的术语包括其复数形式，而复数形式的术语也包括其单数形式。

在下文中，参照图1至图5详细描述本发明的实施例一种全景监视系统。

图1是示出说明关于本发明的实施例的全景监视系统的框图。图2是示出说明关于车辆的盲区的简图。图3是示出说明关于图1的第一盲区探测模块的框图。图4是示出说明关于图1的第二盲区探测模块的框图。图5是示出说明关于图1的全景监视系统的盲区警示情况的示意图。

首先参照图1，根据本发明的实施例一种全景监视系统1可以安装在车辆，其包括多个相机100、第一盲区探测模块200、第二盲区探测模块300、第一警示标识模块260、第二警示标识模块360。

作为参考，如图1所示，尽管第一盲区探测模块200和第二盲区探测模块300分别存在，第一警示标识模块260和第二警示标识模块360也分别存在，但并不限于此。即第一盲区探测模块200和第二盲区探测模块300可以以一个合并的盲区探测模块的形式存在，而第一警示标识模块260和第二警示标识模块360也可以以一个合并的盲区探测模块的形式存在。

然而，为了方便地说明，在本发明的实施例，将第一盲区探测模块200和第二盲区探测模块300与第一警示标识模块260和第二警示标识模块360分别存在为例子来说明。

多个相机100可分别安装在车辆的前、后、左、右侧，以拍摄车辆的周围图像。

具体地，多个相机100可以包括安装在车辆的前端且拍摄车辆的前方图像的第一相机100a，安装在车辆的左侧且拍摄车辆的左侧图像的第二相机100b，安装在车辆的右侧且拍摄车辆的右侧图像的第三相机100c，安装在车辆的后端且拍摄车辆的后方图像的第四相机100d。

与现有的盲区警示系统不同，全景监视系统1的相机(例如，100b、100c)不是以突出的形式安装在反光镜安装位置的下面或侧面，因此可以防止美观性的下降。

此外，多个相机100所分别拍摄的车辆的周围图像可以提供到第一盲区探测模块200和第二盲区探测模块300。

作为参考，在多个相机100可以使用宽角度镜头，但并不限于此。

图2图示了通过被置于车辆c的反光镜，驾驶员可以确保视野lsm、rsm。

当驾驶员行驶时通过反光镜可以确认左侧视野lsm和右侧视野rsm所存在的物体(例如，其他车辆)。

然而，除了属于所述视野lsm、rsm的区域以外的车辆c的后方左侧区域(lbs；即左侧盲区)和后方右侧区域(rbs；即右侧盲区)可能是驾驶员通过反光镜很难辨认物体(c′；例如，其他车辆)存在与否的盲区。

参照图3，其图示了第一盲区探测模块200，以用于辨别左侧盲区(图2的lbs)内是否存在物体。

第一盲区探测模块200通过利用多个相机100所分别拍摄的车辆的周围图像中的左侧图像来辨别车辆的左侧盲区内是否存在物体。

具体地，第一盲区探测模块200包括左侧图像选择部210、左侧图像掩膜处理部220、左侧图像像素移动信息生成部230、左侧图像非正常像素移动检测部240、左侧图像物体识别部250。

左侧图像选择部210可在多个相机100所分别拍摄的车辆的周围图像中选择左侧图像。此外，左侧图像选择部210将被选择的左侧图像提供到左侧图像掩膜处理部220。

左侧图像掩膜处理部220可以特定出左侧图像选择部210所选择的左侧图像的后方区域。

具体地，左侧图像掩膜处理部220通过利用后方左侧区域的掩膜(未图示)特定出左侧图像选择部210所选择的左侧图像的后方区域。即左侧图像掩膜处理部220通过后方左侧区域的掩膜来消除左侧图像中不需要的区域，并且仅特定出后方区域的一部分。

在此，后方左侧区域的掩膜以算法形式可以使用在左侧图像掩膜处理部220，并在生成全景图像综合信息的过程中一起生成。

作为参考，尽管未图示，但全景监视系统1还包括全景图像生成部(未图示)，所述全景图像生成部基于多个相机100所分别拍摄的车辆的周围图像来生成全景图像综合信息，并基于生成的全景图像综合信息来生成全景图像。

在此，全景图像综合信息可以包括用于按照公差参数信息对多个相机100所分别拍摄的图像进行缝合(stitching)的信息，并且公差参数信息包括参数信息，所述参数信息对多个相机100的安装位置和角度差异的不同而产生的相机之间的公差进行校正处理。

因此，通过全景图像生成部可以知道全景图像综合信息的生成过程中所拍摄的图像的各个像素和车辆之间的距离，因此，后方左侧区域的掩膜可以跟全景图像综合信息一同生成在全景图像生成部。

即左侧图像掩膜处理部220可使用由全景图像生成部所提供的后方左侧区域的掩膜，来特定出左侧图像的后方区域。

左侧图像像素移动信息生成部230可以生成左侧图像掩膜处理部220所特定的左侧图像的后方区域的有关像素移动信息。

具体地，左侧图像像素移动信息生成部230对左侧图像掩膜处理部220所特定的左侧图像的后方区域生成区块信息，并基于所生成的区块信息来选择关心像素，并探索跟选择的关心像素有关的周围像素，基于探索结果来生成像素移动信息。

作为参考，举例来说，区块信息可以包括将相机所拍摄的图像划分为多个区域时被划分的各区域的有关信息或者用于划分为多个区域的有关标准的信息。因此，左侧图像像素移动信息生成部230将左侧图像的后方区域划分为多个区块，并在被划分的各区块中选择关心像素。

此外，关心像素意味着将之前的帧跟当前的帧进行比较时具有预先设定的标准以上的大小、色相或移动距离等变化的像素。此外，探索周围像素，其意味着对选择的关心像素在之前的帧中所处的位置进行探索。因此，如果对对象区块不选择关心像素的话，周围像素探索操作也不会进行。

即左侧图像像素移动信息生成部230按顺序进行所述的区块信息生成操作、关心像素选择操作、周围像素探索操作，从而可以生成有关左侧图像的后方区域的像素移动信息。

作为参考，像素移动信息可以包括当之前的帧跟当前的帧进行比较时特定像素(例如，关心像素)往哪个方向移动多少距离的信息。

左侧图像非正常像素移动检测部240可以在左侧图像像素移动信息生成部230所生成的像素移动信息中检测出非正常像素移动。

具体地，左侧图像非正常像素移动检测部240将左侧图像像素移动信息生成部230所生成的像素移动信息跟车辆的正常行驶时车辆的左侧图像所生成的正常像素移动信息进行比较，并基于比较结果可以检测非正常像素移动(即发生误差的部分)。

在此，左侧图像非正常像素移动检测部240可以包括在车辆正常行驶时车辆的左侧图像所生成的正常像素移动信息，而正常像素移动信息在全景监视系统1的制造阶段可以预先存储到左侧图像非正常像素移动检测部240。

作为参考，左侧图像非正常像素移动检测部240将左侧图像像素移动信息生成部230所生成的像素移动信息与所述全景图像综合信息的生成过程中一起生成的像素移动信息进行比较，从而检测出非正常像素移动。

当然，左侧图像非正常像素移动检测部240将左侧图像像素移动信息生成部230所生成的像素移动信息与正常像素移动信息和全景图像综合信息的生成过程中一起生成的像素移动信息两者都进行比较，从而检测出非正常像素移动。

然而，为了便于说明，在本发明的实施例中，以左侧图像非正常像素移动检测部240把左侧图像像素移动信息生成部230所生成的像素移动信息跟正常像素移动信息进行比较为例子来说明。

左侧图像物体识别部250对左侧图像非正常像素移动检测部240所检测出的非正常像素移动进行分析，以辨别非正常像素移动是否为物体。

具体地，左侧图像物体识别部250对左侧图像非正常像素移动检测部240所检测的非正常像素移动进行分析以掌握非正常像素移动中的像素分布，并基于所掌握的像素分布来生成非正常像素移动的大小和位置信息，基于所产生的非正常像素移动的大小和位置信息来辨别非正常像素移动是否为物体。

即左侧图像物体识别部250通过掌握非正常像素移动中的像素分布来辨别像素群集与否，而如果像素群集的话，可以生成相应像素群集的大小和位置信息(例如，像素群集的中心位置信息)。

此外，左侧图像物体识别部250基于所生成的像素群集的大小和位置信息辨别相应像素群集是否为物体，并将辨别信息提供到第一警示标识模块260。

如上所述，第一盲区探测模块200不是模式识别，而是感测在帧和帧之间物体的移动来检测移动物体的大小、位置、移动方向等信息，从而使用左侧盲区是否存在物体的辨别方法，因此，不经过其他的学习过程也可以实时进行盲区识别操作。

另外，参照图4所示，辨别右侧盲区(图2的rbs)内是否存在物体的第二盲区探测模块300。

作为参考，第二盲区探测模块300除了对右侧盲区进行探索以外，跟图3所示的第一盲区探测模块200的结构和功能都相同，因此，在此简单说明。

第二盲区探测模块300通过使用多个相机100所分别拍摄的车辆的周围图像中右侧图像来辨别车辆的右侧盲区内是否存在物体。

具体地，第二盲区探测模块300可以包括右侧图像选择部310、右侧图像掩膜处理部320、右侧图像像素移动信息生成部330、右侧图像非正常像素移动检测部340、右侧图像物体识别部350。

右侧图像选择部310可以在多个相机100所分别拍摄的车辆的周围图像中选择右侧图像。此外，右侧图像选择部310将所选择的右侧图像提供到右侧图像掩膜处理部320。

右侧图像掩膜处理部320可以特定出右侧图像选择部310所选择的右侧图像的后方区域。

具体地，右侧图像掩膜处理部320可通过使用后方右侧区域的掩膜(未图示)特定出右侧图像选择部310所选择的右侧图像的后方区域。即右侧图像掩膜处理部320通过后方右侧区域的掩膜来消除右侧图像中不需要的区域，并仅特定后方区域的一部分。

在此，以后方右侧区域的掩膜为例，其以运算法则的形式可以使用在右侧图像掩膜处理部320，并在全景图像综合信息的生成过程中一起生成。

即如上所述，全景图像生成部(未图示)可以知道在全景图像综合信息的生成过程中所拍摄的图像的各像素和车辆之间的距离，因此，后方右侧区域的掩膜跟全景图像综合信息一样可以生成在全景图像生成部。

即右侧图像掩膜处理部320通过使用由全景图像生成部所提供的后方右侧区域的掩膜特定右侧图像的后方区域。

右侧图像像素移动信息生成部330可以生成右侧图像掩膜处理部320所特定的右侧图像的后方区域的像素移动信息。

具体地，右侧图像像素移动信息生成部330对右侧图像掩膜处理部320所特定的右侧图像的后方区域生成区块信息，并基于所生成的区块信息来选择关心像素，并探索跟选择的关心像素有关的周围像素，并基于探索结果来生成像素移动信息。

即右侧图像像素移动信息生成部330按顺序进行所述的区块信息生成操作、关心像素选择操作、周围像素探索操作，从而生成有关右侧图像的后方区域的像素移动信息。

右侧图像非正常像素移动检测部340在右侧图像像素移动信息生成部330所生成的像素移动信息中检测出非正常像素移动。

具体地，右侧图像非正常像素移动检测部340将右侧图像像素移动信息生成部330所生成的像素移动信息跟车辆的正常行驶时车辆的右侧图像所产生的正常像素移动信息进行比较，并基于比较结果检测出非正常像素移动(即误差发生的部分)。

在此，右侧图像非正常像素移动检测部340可以包括车辆的正常行驶时车辆的右侧图像所生成的正常像素移动信息，而正常像素移动信息在全景监视系统1的制作阶段预先存储到右侧图像非正常像素移动检测部340。

作为参考，右侧图像非正常像素移动检测部340将右侧图像像素移动信息生成部330所生成的像素移动信息跟所述的全景图像综合信息的生成过程中一起生成的像素移动信息进行比较，从而检测出非正常像素移动。

当然，右侧图像非正常像素移动检测部340将右侧图像像素移动信息生成部330所生成的像素移动信息与正常像素移动信息和全景图像综合信息的生成过程中一起生成的像素移动信息两者都进行比较，从而检测出非正常像素移动。

为了方便地说明，在本发明的实施例中，以右侧图像非正常像素移动检测部340把右侧图像像素移动信息生成部330所生成的像素移动信息跟正常像素移动信息进行比较为例子来说明。

右侧图像物体识别部350对右侧图像非正常像素移动检测部340所检测出来的非正常像素移动进行分析，从而辨别非正常像素移动是否为物体。

具体地，右侧图像物体识别部350对右侧图像非正常像素移动检测部340所检测的非正常像素移动进行分析以掌握非正常像素移动中的像素分布，并基于所掌握的像素分布来生成非正常像素移动的大小和位置信息，并基于所生成的非正常像素移动的大小和位置信息来辨别非正常像素移动是否为物体。

即右侧图像物体识别部350通过掌握非正常像素移动中的像素分布来辨别像素群集与否，而如果像素群集的话，可以生成有关相应像素群集的大小和位置信息(例如，像素群集的中心位置信息)。

此外，右侧图像物体识别部350基于所生成的像素群集的大小和位置信息可以辨别相应像素群集是否为物体，并将辨别结果提供到第二警示标识模块(图1的360)。

再次参照图1，第一警示标识模块260可基于第一盲区探测模块200所辨别的有关物体存在与否的信息，生成左侧警示信息。

具体地，第一警示标识模块260基于第一盲区探测模块200所提供到的辨别信息就生成左侧警示信息，并在辨别信息指为车辆的左侧盲区内有物体(例如，其他车辆)的情况下，向驾驶员输出左侧警示信息。

即第一警示表示模块260将左侧警示信息提供到内置于车辆的显示器(未图示)，而显示器可显示所提供到的左侧警示信息。

另外，第二警示标识模块360基于第二盲区探测模块300所辨别的有关物体存在与否的信息，生成右侧警示信息。

具体地，第二警示标识模块360基于从第二盲区探测模块300所提供到的辨别信息生成右侧警示信息，并在辨别结果指为车辆的右侧盲区存在物体的情况下，向驾驶员输出右侧警示信息。

即第二警示标识模块360将右侧警示信息提供到内置于车辆的显示器(未图示)，而显示器可显示所提供到的右侧警示信息。

图5图示了内置于车辆的显示器上显示警示信息(例如，左侧警示信息)。

即，其他车辆c'存在于左侧盲区lbs的情况下，显示器显示左侧警示信息a，从而使驾驶员立刻意识到左侧盲区lbs内存在其他车辆c'。

此外，尽管未图示，但第一警示标识模块260和第二警示标识模块360通过内置于车辆的扬声器(未图示)以语音形式输出警示信息。

如上所述，根据本发明的全景监视系统1不经过其他的学习过程可以实时进行盲区识别操作。此外，其优点在于由于不需要其他的学习过程，因此不用安装高性能的处理器。不仅如此，与盲区警示系统不同，其相机不是以突出的形式安装在反光镜安装位置的下面或侧面，因此可防止审美性的下降。

以上是对本发明的描述，本发明所属领域技术人员可在不脱离专利要求范围所记载的本发明的思想范围内，通过对组成部分的补充、变更、删除或添加等方法进行修改和变更，这也应包括在本发明的权利范围内。