图像处理设备和方法与流程

技术领域

与示例性实施例一致的方法和设备涉及用于图像处理的设备和方法，更具体地讲，涉及用于生成人群热图的设备和方法。

背景技术：

热图是各种图像监控系统使用的非常有效的浏览工具。热图以视觉图形的形式(诸如图像的热分布)显示各种类型的数据，数据可以被表示为颜色。热图可以以色阶在相机图像或地图上表示客户的兴趣或复杂度。

技术实现要素：

一个或多个实施例包括图像处理设备和方法，通过所述图像处理设备和方法提供视觉表示针对宽的区域的人群密度的人群热图。

另外的方面将在下面描述中部分进行阐述，部分从该描述将是清楚的，或者可以通过本实施例的实践获知。

根据示例性实施例的一方面，提供一种图像处理设备，包括至少一个处理器以实现：信息获得器，被配置为通过拍摄感兴趣区域获得图像并且获得指示图像被拍摄的位置的位置信息；密度图生成器，被配置为基于从图像估计的人群密度信息生成图像的人群密度图；透视图生成器，被配置为基于位置信息生成提供指示图像中两点之间的现实距离的距离信息的透视图；热图生成器，被配置为基于距离信息生成在感兴趣区域的地图上显示人群密度信息的热图。

密度图生成器可以包括：分离器，被配置为将图像分离为表示相同大小的不同区域的多个碎片图像；分类器，被配置为基于从所述多个碎片图像中的每个碎片图像提取的特征信息估计所述多个碎片图像中的每个碎片图像的人群密度类别。

分离器被配置为调整所述多个碎片图像大小为具有相同像素大小，分类器被配置为使用多个调整大小的碎片图像估计所述多个碎片图像的人群密度类别。

分类器被配置为使用所述多个碎片图像的特征信息针对每个预先设置的人群密度类别计算概率，并且基于所述概率对所述多个碎片图像中的每个碎片图像进行分类。

密度图生成器被配置为基于人群密度类别向所述多个碎片图像分配不同的视觉属性。

透视图示出多条水平线，其中，所述多条水平线中的任意两条邻近的水平线之间的现实距离一致。

热图生成器被配置为调整与感兴趣区域的地图重叠的人群密度图的透明度。

热图生成器被配置为根据预设合并条件在重叠区域合并多个人群密度图的人群密度信息，并且在感兴趣区域的地图上显示合并的人群密度信息。

位置信息可以包括GPS(全球定位系统)信息和高度信息。

位置信息指示安装创建图像的相机的飞行器的位置。

根据示例性实施例的另一方面，提供一种由图像处理设备执行的图像处理方法，所述图像处理方法包括：通过拍摄感兴趣区域获得图像并且获得指示图像被拍摄的位置的位置信息；基于从图像估计的人群密度信息生成图像的人群密度图；基于相机的位置信息生成提供指示图像中两点之间的现实距离的距离信息的透视图；基于距离信息生成在感兴趣区域的地图上显示人群密度信息的热图。

生成人群密度图的步骤可以包括：将图像分离为表示感兴趣区域的不同部分的多个碎片图像，所述不同部分的现实大小相同；基于从所述多个碎片图像中的每个碎片图像提取的特征信息估计所述多个碎片图像中的每个碎片图像的人群密度类别。

估计的步骤可以包括：调整所述多个碎片图像大小为具有相同像素大小；使用多个调整大小的碎片图像估计所述多个碎片图像的人群密度类别。

估计人群密度类别的步骤可以包括：使用所述多个碎片图像的特征信息针对每个预先设置的人群密度类别计算概率，并且基于所述概率对所述多个碎片图像进行分类。

生成人群密度图的步骤可以包括：基于人群密度类别向所述多个碎片图像分配不同的视觉属性。

透视图示出多条水平线，所述多条水平线中的任意两条邻近的水平线之间的现实距离一致。

生成热图的步骤可以包括：调整与感兴趣区域的地图重叠的人群密度图的透明度。

生成热图的步骤可以包括：根据预设合并条件在重叠区域合并多个人群密度图的人群密度信息，并且在感兴趣区域的地图上显示合并的人群密度信息。

位置信息可以包括GPS信息和高度信息。

根据示例性实施例的另一方面，提供一种非暂时性计算机可读记录介质，已经记录有用于执行所述图像处理方法的计算机程序。

附图说明

通过下面结合附图对实施例进行的描述，这些和其他方面将变得明显并且更加容易理解，在附图中：

图1是根据示例性实施例的热图生成设备的示意性框图；

图2示出根据示例性实施例的飞行器的示例；

图3是根据示例性实施例的图像处理设备的示意性框图；

图4是图3的密度图生成器的示意性框图；

图5至图7是用于描述根据示例性实施例的生成密度图的示例的示图；

图8至图10是用于描述根据示例性实施例的生成透视图的示例的示图；

图11和图12是用于描述根据示例性实施例的生成人群热图的示例的示图；

图13是显示根据示例性实施例的根据用户搜索条件的人群热图生成结果的示图；

图14和图15是根据示例性实施例的用于生成人群热图的图像处理方法的示意性流程图；

图16是根据另一实施例的用于生成人群热图的图像处理方法的示意性流程图。

具体实施方式

现在将详细描述实施例，实施例的示例在附图中示出。在这方面，实施例可以具有不同的形式并且不应被解释为限于在此阐述的描述。因此，下面仅通过参照附图描述实施例，以解释本描述的各个方面。如在此使用的，术语“和/或”包括关联列出项中的一个或多个的任何和所有组合。此外，有关公知的功能或配置的详细描述将被排除，以不会不必要地模糊实施例的主题。

应当理解，虽然术语“第一”和“第二”在这里用于描述各种元件，但是这些元件不应被这些术语限制。术语仅用来将一个元件与其它元件区分开来。

在实施例的以下描述中，技术术语仅用于解释具体示例性实施例，而不是限制本发明的构思。“包括”或“包含”的含义指定属性、定数、步骤、处理、元件、组件和它们的组合，但是并不排除其它属性、定数、步骤、处理、元件、组件和它们的组合。

本公开的发明构思可以体现为功能块(例如，图3和4)，以及各种处理操作。功能块可使用执行特定功能的各种硬件和/或软件配置来实现。例如，本公开的示例性实施例可以采用集成电路配置，诸如能够在微处理器或其他控制装置的控制下执行各种功能的存储器、处理、逻辑、查找表等。以与可以使用软件编程或软件元件执行示例性实施例的元件类似的方法，可以使用脚本语言或编程语言(诸如C、C++、Java和汇编程序等)来实现示例性实施例，脚本语言或编程语言包括通过数据结构、处理、例程的组合或其它编程配置的组合实现的各种算法。功能方面可以通过在一个或多个处理器中执行的算法来实现。此外，示例性实施例可以采用传统技术建立电子环境、处理信号和/或处理数据。诸如“机制”、“元件”、“装置”和“配置”的术语可以广泛使用，并且不限于机械和物理配置。这样的术语可具有与处理器等相关联的一系列软件例程的含义。

图1是根据示例性实施例的热图生成设备的示意性框图。图2示出根据示例性实施例的飞行器10的示例。

参照图1，热图生成设备可以包括飞行器10和图像处理设备30。飞行器10可以包括相机20。

飞行器10可以是载人飞行器或无人驾驶飞行器(UAV)。UAV是没有人类飞行员在飞机上的飞机。UAV可以经由预先安装在其上的程序或经由操作者操作的远程控制来控制。可选地，UAV可以自主识别并确定UAV周围的环境。飞行器10可以包括获得UAV周围的图像信息的相机20。

相机20可以包括成像装置，诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。相机20可以获得针对环境(例如，静态对象(诸如墙壁、障碍物等)或动态对象(诸如人、动物等))的图像。相机20可以实时或基于特定周期获得图像。

飞行器10可以在感兴趣区域飞行，相机20可以拍摄感兴趣区域。为了捕获宽的感兴趣区域作为单个图像，飞行器10需要在高空飞行。然而，由于在高空拍摄的图像中人类的大小变得过小，因此难以从图像提取人群密度信息。如图2所示，在飞行器10在感兴趣区域中飞行时，相机20可以在预定位置或在预定的间获得图像。根据相机20安装在飞行器10的位置，相机20拍摄的图像可以是顶视图图像或侧视图图像。

在示例性实施例中，飞行器10可以包括：包括GPS模块的无线通信接口和有线通信接口。在飞行器10可以经由有线或无线通信从相机20接收图像。飞行器10可以通过GPS模块从多个GPS人造卫星接收它的位置信息。飞行器10可以通过无线通信网络连接到图像处理设备30。无线通信网络可以是使用各种频带的各种类型的网络。无线通信网络的示例可以包括但不限于码分多址(CDMA)、Wi-F、WiBro、长期演进(LTE)等。飞行器10可以通过无线通信网络向图像处理设备30发送图像和位置信息。

在另一示例性实施例中，相机20可以包括：包括GPS模块的无线通信接口和有线通信接口。相机20可以通过GPS模块从多个GPS人造卫星接收它的位置信息。相机20可以通过无线通信网络连接到图像处理设备30。无线通信网络可以是使用各种频带的各种类型的网络。无线通信网络的示例可以包括但不限于码分多址(CDMA)、Wi-F、WiBro、长期演进(LTE)等。相机20可以通过无线通信网络向图像处理设备30发送图像和位置信息。

在另一示例性实施例中，相机20可以包括：包括GPS模块的无线通信接口和有线通信接口。相机20可以通过有线或无线通信向飞行器10发送图像和它的位置信息。飞行器10可以通过无线通信向图像处理设备30发送图像和它的位置信息。

图像处理设备30可以从飞行器10或相机20接收图像和位置信息。位置信息可以指示飞行器10或相机20的位置。图像处理设备30可以从接收的图像提取人群密度信息以生成人群密度图。图像处理设备30可以使用接收的位置信息提取由图像提供的场景的实际距离信息并且生成透视图。图像处理设备30可以基于透视图的实际距离信息将人群密度图与感兴趣区域地图的相应区域进行匹配来生成人群热图。

人群热图可以通过不同颜色来显示感兴趣区域的人密度。例如，具有更多人的高密度地方可以被显示为更接近红色，具有更少人的低密度地方可以被表示为更接近蓝色，从而有利于在整个感兴趣区域中确定人密度。

图像处理设备30可以与输入设备40和显示器50进行交互。图像处理设备30可以通过有线或无线接口连接到输入设备40和显示器50，并且可以与输入设备40和显示器50通信。

输入设备40可以被实现为小键盘、圆顶开关、触摸板(接触电容型触摸板、压力电阻层型触摸板、红外线传感式触摸板、表面超声波导电型触摸板)、鼠标、遥控器、微动轮、慢动开关等。

显示器50可以向用户提供由图像处理设备30输出的结果图像，使得用户可以监控图像。显示器50可以向用户提供视觉信息和/或听觉信息。

图3是根据示例性实施例的图像处理设备30的示意性框图。图4是根据示例性实施例的图3的密度图生成器303的示意性框图。图5至图7是示出根据示例性实施例的生成密度图的方法的示图。图8至图10是示出根据示例性实施例的生成透视图的方法的示图。图11和图12是示出根据示例性实施例的生成人群热图的方法的示图。

参照图3，图像处理设备30可以包括信息获得器301、密度图生成器303、透视图生成器305和热图生成器307。

信息获得器301可以从飞行器10或相机20接收图像Fin和位置信息Lin。图像Fin可以是通过拍摄感兴趣区域的一部分而获得的图像帧。顺序地输入的图像Fin可以具有时间差。位置信息Lin可以指示在图像拍摄时间飞行器10或相机20的位置。位置信息Lin可以包括飞行器10或相机20的GPS信息或高度信息。

相机20被安装在飞行器10上，因此相机20的位置信息可以被用作安装相机20的飞行器10的位置信息。因此，在下文中，下面所指示的位置信息可以指示相机20和/或飞行器10的位置。

信息获得器301可以同步图像Fin和位置信息Lin。信息获得器301可以通过将图像Fin和位置信息Lin进行匹配来生成数据集。信息获得器301还可以接收相机20的校准信息。

密度图生成器303可以从关于每个区域输入的图像Fin(以下，称为输入图像Fin)提取人群密度信息，以生成人群密度图D。如图4所示，密度图生成器303可以包括分离器313和分类器353。

分离器313可以将输入图像Fin分离为多个碎片(patch)图像Pin。每个碎片图像Pin对应于宽度(m)×长度(m)＝n(m)×n(m)的实际面积。碎片图像Pin对应于实际面积，因此，碎片图像Pin可以具有不同的大小，并且可以是正方形或矩形。随着相机20和区域(场景)之间的距离增加，相应碎片图像Pin的大小会减小。碎片图像Pin中的每个碎片图像大小可以被调整为具有m(像素)×m(像素)的相同像素大小。分离器313可以从透视图生成器305接收指示输入图像Fin的宽度方向(水平方向)和长度方向(垂直方向)的实际距离的距离信息d，并且可以基于距离信息从输入图像Fin提取表示一致大小的实际面积的多个碎片图像Pin。图5示出将对应于实际面积3×3(m²)的多个碎片图像Pin中的每个碎片图像大小调整为72×72(像素²)。

分类器353可以从碎片图像Pin提取特征信息，并且可以将碎片图像Pin分类为多个人群密度类别。分类器353可以包括预先训练的分类器。

分类器可以通过使用多条训练数据来训练多个人群密度类别中的每个人群密度类别的特征信息。训练数据可以具有从低密度到高密度的多个分布。例如，训练数据可以被分类为六个人群密度“非常高/高/正常/低/非常低/无”。然而，人群密度的数量可以根据示例性实施例而不同地设置。

预先训练的分类器可以从碎片图像Pin提取特征，并且可以基于提取的特征将碎片图像Pin分类为六个人群密度类别中的一个类别。例如，分类器可以基于碎片图像Pin的特性计算六个人群密度类别中的每个人群密度类别的概率，并且可以将具有最高概率的类别确定为碎片图像Pin的类别Pout。

密度图生成器303可以基于分类器353针对输入图像Fin的所有碎片图像Pin的分类结果，生成指示输入图像Fin的人群密度信息的人群密度图D。对应于类别的索引或颜色可以被分配给分类的碎片图像Pin。图6示出人群密度图的示例，其中，不同颜色(在图6中被表示为不同图案)根据类别被分配给碎片图像。在另一示例性实施例中，其它视觉属性，例如，图案或亮度，可以代替颜色被分配给碎片图像。

密度图生成器303可以将平滑滤波器应用于人群密度图D，以重新配置人群密度图D。平滑滤波器可以通过将高斯滤波器、中值滤波器、双边滤波器或装置滤波器等应用于原始人群密度图来生成更平滑的密度图。例如，密度图生成器303可以通过将平滑滤波器应用到图6所示的人群密度图来重新配置人群密度图，如图7所示。

透视图生成器305可以基于位置信息生成提供输入图像Fin的实际距离信息的透视图。飞行器10的物理位置的变化可导致由安装在飞行器10中的相机20获得的图像所表示的场景的范围(面积)的变化。透视图生成器305可以基于与输入图像Fin匹配的位置信息Lin计算从输入图像Fin的最下端到的最上端的实际距离。

在图8中，S表示从飞行器10开始的垂直线与地面相交的点。另一方面，L表示与输入图像Fin的最下端对应的地面上的位置，H表示与输入图像Fin的最上端对应的地面上的位置。如图8所示，透视图生成器305可以根据以下等式1计算指示S和L之间的距离的X1以及指示S和H之间的距离的X2。

[等式1]

x₁＝h·tanθ₁

x₂＝h·tanθ₂

y＝x₂-x₁

在等式1中，h表示飞行器10的高度。θ1表示由从飞行器10开始的垂直线和连接飞行器10与L的线所形成的角度。θ2表示由所述垂直线和连接飞行器10与H的线所形成的角度。

透视图生成器305可以根据飞行器10的高度计算在现实世界中与输入图像Fin的最下端和最上端之间的差(即，图像的垂直大小)对应的实际距离Y。透视图生成器305可以通过使用水平线分割输入图像Fin生成如图9所示的立体地图，并且每个线可以根据一致的实际距离间隔绘制，例如，每10米间隔。也就是说，透视图生成器305可以基于飞行器10或相机20的位置信息根据输入图像Fin的垂直方向生成具有实际距离信息的透视图。地面上的点H可比地面上的点L距相机20远，因此在从输入图像Fin的最下端到最上端的方向上，输入图像Fin的两条线之间的距离可减小。

如图10所示，透视图生成器305可以通过根据下面的等式2应用插值方法基于与图像的最下端的图像的宽度W对应的实际水平距离Z1和与最上端的宽度W对应的实际水平距离Z2，计算与像素的宽度(即，水平大小)对应的实际水平距离。可以从相机校准获得实际水平距离Z1和实际水平距离Z2。像素的宽度可以是在水平方向上相邻像素P1和P2之间的间隔。

[等式2]

k₂≥k₁

在上面的等式2中，Z表示在现实世界中与位置X处的图像的宽度W对应的实际(即，现实)水平距离。W可以通过像素的数量来表示。V表示图像的长度，并且可以通过像素的数量来表示。Vx表示图像的最下端和位置X之间的长度，并且可以通过像素的数量来表示。K表示在位置X处图像的每个像素的实际水平距离。在等式2中，k1表示在图像的最下端每个像素的实际水平距离，k2表示在图像的最上端每个像素的实际水平距离，kx表示在位置X处(即，在包括位置X的水平线)每个像素的实际水平距离。

在图像的最上端每个像素的实际水平距离k2可以等于或大于在图像的最下端每个单位像素的实际水平距离k1。在从图像的下端到图像的上端的方向上，每个像素的实际水平距离k可更大，并且可以线性增加。

透视图生成器305可以向密度图生成器303和热图生成器307提供输入图像Fin的实际距离信息。

热图生成器307可以基于透视图通过将人群密度图与感兴趣区域地图进行匹配来生成人群热图。热图生成器307可以通过反映透视图的距离信息并且将人群密度图的人群密度信息与感兴趣区域的地图信息进行合并来生成人群热图。如图11所示，热图生成器307可以使用透视图的距离信息将针对第一方向的输入图像生成的人群密度图D1与感兴趣区域地图MAP进行匹配。可以以数字地图或卫星和航空地图提供感兴趣区域地图MAP。可以实时从外部地图数据库接收感兴趣区域地图MAP。

热图生成器307可以基于飞行器10或相机20的位置信息和透视图的距离信息识别对应于人群密度图D1的感兴趣区域地图MAP的部分。热图生成器307可以将人群密度图D1的大小转换成对应于感兴趣区域地图MAP的所述部分的大小。热图生成器307可以将人群密度图D1转换成对应于感兴趣区域地图MAP的视图类型(顶视图)。

热图生成器307可以在感兴趣区域地图MAP上匹配人群密度图D1，并且通过调整人群密度图D1的透明度来控制向用户显示感兴趣区域地图的程度。可以通过用户的设置改变人群密度图D1的透明度。

如图12所示，热图生成器307可以将多个人群密度图D1至D3与感兴趣区域地图MAP进行匹配，其中，多个人群密度图D1至D3使用通过沿多个方向在多个位置拍摄感兴趣区域获得的多个输入图像来生成。多个输入图像可以具有时间差。

热图生成器307可以合并人群密度图D1至D3之间的重叠区域的人群密度信息。例如，热图生成器307可以将通过沿第一方向拍摄感兴趣区域获得的第一人群密度图D1、通过沿第二方向拍摄感兴趣区域获得的第二人群密度图D2和通过沿第三方向拍摄感兴趣区域获得的第三人群密度图D3的重叠区域A的人群密度信息转换成第一人群密度图D1的密度信息、第二人群密度图D2的密度信息和第三人群密度图D3的密度信息的平均值、最大值、最小值和变化中的一个，以将转换的人群密度信息与感兴趣区域地图MAP的信息进行合并。

热图生成器307可以根据用户的输入信号生成人群热图，以在显示器50上输出人群热图。当热图生成器307接收特定时间和/或特定区域的热图请求时，热图生成器307可以选择具有包括在特定时间和/或特定区域中的至少一部分的至少一个人群密度图，并且可以将选择的人群密度图与感兴趣区域地图MAP进行匹配。

虽然未示出，但是图像处理设备30可以包括存储设备，存储输入图像Fin、位置信息Lin、人群密度图和输入图像Fin的透视图。

图13是示出根据示例性实施例的根据用户搜索条件生成人群热图的方法的示图。

参照图13，显示器50的屏幕501可以被配置为显示用于选择搜索条件(诸如生成人群热图的时间段，即，开始时间和结束时间，以及搜索区域)的搜索条件区域121。屏幕501可以显示用于示出在开始时间和结束时间之间接收的输入图像的列表和/或针对输入图像生成的人群密度图的列表的列表区域122。屏幕501可以显示指示时间的时间轴显示区123、用于显示感兴趣区域地图MAP和人群密度图D的重叠的图像显示区域124以及用于调整人群密度图D的透明度的区域125。

在示例性实施例中，用户可以在搜索条件区域121中直接输入或选择时间段和/或搜索区域。在另一示例性实施例中，用户可以在时间轴显示区域123的时间线中指定时间段，并且可以在图像显示区域124中通过拖动鼠标或通过触摸来从MAP指定搜索区域。

图像处理设备30可以通过输入设备40根据用户的输入信号生成人群热图，以将人群热图输出到显示器50。图像处理设备30可以接收与在搜索条件区域121或者时间轴显示区域123和图像显示区域124中选择的搜索条件对应的输入信号。图像处理设备30可以选择满足搜索条件的至少一部分的至少一个输入图像的人群密度图。图像处理设备30可以向显示器50输出将至少一个选择的人群密度图与感兴趣区域地图MAP进行匹配的结果。

图像处理设备30可以根据在区域125中设置的透明度选择输入信号来调整与感兴趣区域地图MAP匹配的人群密度图D1的透明度，以调整向用户显示的感兴趣区域地图MAP的程度。

图14和图15是示出根据示例性实施例的用于生成人群热图的方法的示意流性程图。

可以由图3所示的图像处理设备30执行根据示例性实施例的用于生成人群热图的图像处理方法。

参照图14，图像处理设备30可以从在感兴趣区域上空飞行的飞行器10或从安装在飞行器10上的相机20接收图像和位置信息(操作S21)。位置信息可以指示当获得图像时飞行器10的位置或相机20的位置。位置信息可以包括GPS信息和高度信息。相机20可以安装在飞行器10以实时或周期性地拍摄感兴趣区域，从而飞行器10的位置可以被估计为相机20的位置。

图像处理设备30可以同步输入图像和位置信息，以生成将输入图像和位置信息进行匹配的数据集合。

图像处理设备30可以以区域单位提取人群密度信息来生成人群密度图(操作S23)。

参照图15，图像处理设备30可以将输入图像分离为多个碎片图像(操作S231)。碎片图像可以具有由宽度(m)×长度(m)＝n(m)×n(m)给出的实际面积。随着相机20和地面位置之间的距离增加，对应碎片图像的大小可以减小。碎片图像的宽度和长度可以不同。碎片图像可以被调整大小为具有m(像素数)×m(像素数)的大小的图像。调整大小的碎片图像可以具有相同大小。

图像处理设备30可以从调整大小的碎片图像提取特征信息，并且可以将碎片图像分类到一个人群密度类别(操作S233)。图像处理设备30可以通过使用预先训练的分类器从碎片图像提取特征，基于提取的特征计算多个预先设置人群密度类别中的每个人群密度类别的概率，并且将具有最高概率的类别分类为碎片图像的类别。

图像处理设备30可以基于针对所有碎片图像的类别分类结果生成指示输入图像的人群密度信息的人群密度图(操作S235)。对应于类别的索引或颜色可以被分配给每个碎片图像。图像处理设备30可以将平滑滤波器应用于人群密度图，以重新配置人群密度图。

图像处理设备30可以基于与输入图像匹配的位置信息生成提供输入图像的实际距离信息的透视图(操作S25)。图像处理设备30可以计算与从输入图像的最下端到最上端的长度对应的实际距离，并且可以生成其中多个水平线可以被定义为指示一致间隔的实际距离的透视图。与输入图像的最上端对应的实际地面位置和相机之间的距离可以比与输入图像的最下端对应的实际地面位置和相机之间的距离大。因此，从输入图像的最下端到最上端，图像中水平线之间的间隔可减小。图像处理设备30可以针对输入图像的每个位置计算实际水平距离，并且可以将实际水平距离与透视图进行匹配。从输入图像的最下端到最上端，每个像素的实际水平距离可以增加。

图像处理设备30可以基于透视图将没有应用平滑滤波器的人群密度图或应用平滑滤波器的人群密度图与感兴趣区域地图进行匹配，并且通过重叠人群密度图与感兴趣区域地图来进行显示(操作S27)。图像处理设备30可以通过反映透视图的距离信息并且将人群密度图的人群密度信息与感兴趣区域地图的地图信息合进行并生，来成人群热图。图像处理设备30可以将人群密度图的大小和视图类型转换为对应于感兴趣区域地图的大小和视图类型，然后将转换的人群密度地图与感兴趣区域地图进行匹配。

图16是示出根据另一实施例的用于生成人群热图的方法的示意性流程图。

参照图16，图像处理设备30可以通过输入设备40从用户接收用于生成人群热图的搜索条件(操作S51)。搜索条件可以是显示人群热图的时间段和/或搜索区域。

图像处理设备30可以选择满足搜索条件的至少一个输入图像和输入图像的人群密度图(操作S53)。图像处理设备30可以选择满足搜索条件的至少一部分的输入图像和人群密度图。例如，图像处理设备30可以选择包括搜索区域的一部分的输入图像的人群密度地图以生成人群热图。

图像处理设备30可以基于透视图生成将至少一个选择的人群密度图与感兴趣区域地图进行匹配的人群热图(操作S55)。

在示例性实施例中，如果输入搜索条件，则图像处理设备30可以选择与检索条件的至少一部分一致的输入图像，可以生成选择的输入图像的人群密度图和透视图，并且基于透视图生成将生成的人群密度图与感兴趣区域地图进行匹配的人群热图。

在另一示例性实施例中，如果输入图像，则图像处理设备30可以实时生成输入图像的人群密度图和透视图，并且如果输入检索条件，则图像处理设备30可以基于透视图生成将与搜索条件的至少一部分一致的输入图像的人群密度图和感兴趣区域地图进行匹配的人群热图。

根据示例性实施例，通过训练的分类器测量针对通过相机拍摄获得的图像的每个区域的人群密度并使用在拍摄时间飞行器或相机的位置信息，来生成人群热图。

在生成热图的传统方法中的一个方法中，通过使用相机拍摄感兴趣区域，在图像内测量运动发生频率，并且将运动发生频率表示为颜色。在这种传统的方法中，当人不移动且静止不动时，很难提取信息。当在小的空间人过度拥挤时，由于呈现停滞运动，并且与实际的高人类密度相比，更少的运行信息被提取，因此难以使用这种传统方法获得准确结果。传统方法使用固定到高处的相机(诸如天花板)并且朝下，因此，难以在户外使用相机，并且为了覆盖宽的区域，需要多个相机。

根据示例性实施例，可以通过使用安装在飞行器中的一个相机在多个位置获得多个图像，从而覆盖宽的区域。可以通过飞行器的飞行从高位置获得图像。因此，不需要在地面上的单独支架来固定相机，并且示例性实施例可以容易地应用到户外环境。

在上述示例性实施例中描述了通过使用由安装在一个飞行器中的相机沿多个方向获得的图像生成人群热图的方法，但是示例性实施例不限于此。例如，可以通过使用从被固定在相同高度的不同位置上多个CCTV相机接收的图像，而不是从飞行器接收的图像，来生成人群热图。在这种情况下，可仅生成一次透视图，从而快速且容易地生成人群热图。可选地，可以通过使用由安装在多个飞行器的相机获得的图像来生成人群热图。

根据示例性实施例的图像处理设备和方法可以提供视觉表示针对宽的区域的人群密度的人群热图。

根据示例性实施例的用于生成人群热图的图像处理方法也可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储之后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机可读记录介质还可以被分布在联网的计算机系统上，从而计算机可读代码以分布方式被存储和执行。此外，可由一个或多个实施例所属领域的程序员容易地解释实现一个或多个实施例的功能程序、代码和代码段。

尽管已经参照附图描述了一个或多个实施例，但是本领域的技术人员将理解，在不脱离由所附权利要求限定的本发明构思的精神和范围的情况下，可以对实施例进行形式和细节的各种改变。