图像处理装置、图像处理方法及存储介质与流程

本发明涉及图像处理技术。

背景技术：

已知一种利用与人对应的配对图案执行检测处理以从图像中检测出人的技术。还已知一种对图像中用户设置的区域进行检测处理以确定人是否被包括在该区域中的技术。日本特开第2018-198399号专利讨论了这样一种技术：在从摄像装置接收到的拍摄图像中设置用于人体检测的检测区域。

相较于对整个图像进行检测处理的情况，如日本特开第2018-198399号专利讨论的那样，在对图像中用户设置的区域进行检测处理的情况下，可以降低处理负载。然而，在人的一部分处于用户设置的区域以外的情况下，可能无法利用日本特开第2018-198399号专利所讨论的技术检测到人。换句话说，可能无法获得用户预期的结果。

技术实现要素：

根据本发明的一个方面，为了适当地设置执行处理以检测作为检测目标的特定对象的区域，提供了一种图像处理装置，所述图像处理装置执行从摄像单元拍摄的图像中检测对象的检测处理，该图像处理装置包括接收单元，其被构造为：接收表示用户在图像中指定的第一区域的位置的信息；第一设置单元，其被构造为：设置将被包括在检测处理的检测结果中的对象的最大尺寸，以及，第二设置单元，其被构造为：基于图像中的第一区域的位置和所述第一设置单元设置的最大尺寸来设置第二区域，其中，比所述第一区域更大的所述第二区域包括所述第一区域，并且所述第二区域受检测处理。

根据下面参照附图对实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示了系统配置的图。

图2是例示了图像处理装置的功能块的图。

图3a、图3b和图3c是例示了设置第一区域和尺寸信息的处理的图。

图4a是例示了设置第二区域的处理过程的流程图。图4b是例示了计数人数的处理过程的流程图。

图5a、图5b、图5c和图5d是例示了设置第二区域的处理过程的图。

图6a和图6b是分别例示了设置第二区域的处理过程的图。

图7是例示了各装置的硬件配置的图。

具体实施方式

下面将参照附图详细地描述本发明的示例性实施例。以下示例性实施例中所例示的配置是说明性的，配置不限于例示的配置。

图1是例示了根据示例性实施例的系统配置的图。根据本示例性实施例的系统包括图像处理装置100、摄像装置110、记录装置120和显示器130。

图像处理装置100、摄像装置110和记录装置120经由网络140相互连接。网络140是由例如多个路由器、交换机和电缆各自遵循通信标准(如)来实现的。

网络140可以通过英特网、有线局域网(lan)、无线lan、广域网(wan)等来实现。

图像处理装置100通过例如安装有实现下述图像处理功能的程序的个人计算机来实现。

摄像装置110是拍摄图像的装置。摄像装置110将基于被拍摄图像的图像数据、关于拍摄图像时的拍摄时间的信息以及用于识别摄像装置110的识别信息进行关联，并经由网络140将数据和信息发送到外部装置(如图像处理装置100和记录装置120)。尽管根据本示例性实施例的系统包括一个摄像装置110，但系统也可以包括多个摄像装置。

记录装置120记录相互关联的由摄像装置110拍摄的图像的图像数据、关于拍摄图像时的拍摄时间的信息以及用于识别摄像装置的识别信息。响应于来自图像处理装置100的请求，记录装置120将记录数据(例如图像数据和识别信息)发送到图像处理装置100。

显示器130包括液晶显示器(lcd)等，并显示图像处理装置100的图像处理结果和由摄像装置110拍摄的图像等。显示器130遵循通信标准(例如，高清晰度多媒体接口)、经由显示器电缆与图像处理装置100连接。

显示器130还起显示单元的作用，显示由摄像装置110拍摄的图像、与下述的图像处理有关的设置画面等。显示器130、图像处理装置100和记录装置120中的至少两个或者全部可被设置在一个外壳中。

图像处理装置100的图像处理结果和由摄像装置110拍摄的图像不仅可以显示在经由显示器电缆与图像处理装置100连接的显示器130上，还可以显示在外部装置所包括的显示器上，例如，经由网络140连接的移动设备(如智能手机和平板终端)。

接下来，将参照图2所示的根据本示例性实施例图像处理装置100的功能块，来描述根据本示例性实施例的图像处理装置100的图像处理。

在本示例性实施例中，利用以下图7所示的只读存储器(rom)720和中央处理单元(cpu)700、以以下方式来实现图2所示的功能。通过图像处理装置100的cpu700执行在图像处理装置100的rom720中存储的计算机程序来实现图2所示的各功能。在下文中，特定对象是人。

通信单元200利用以下图7所示的接口(i/f)740来实现，并经由网络140与摄像装置110和记录装置120通信。例如，通信单元200接收摄像装置110所拍摄图像的图像数据，并将控制摄像装置110的控制命令发送给摄像装置110。所述控制命令包括例如指示摄像装置110拍摄图像的命令。

存储单元201利用例如以下图7所述的随机访问存储器(ram)710和硬盘(hdd)730来实现，并存储与图像处理装置100的图像处理有关的信息和数据。例如，存储单元201存储与从图像中检测到的人的位置有关的信息。

输出控制单元202在显示器130上显示由摄像装置110拍摄的图像、用于设置与根据本示例性实施例的图像处理有关的设置画面、表示图像处理结果的信息等。操作接收单元203经由诸如键盘和鼠标的输入设备(未示出)接收由用户执行的操作。

设置单元204设置作为图像中的区域的第一区域。在本示例性实施例中，设置单元204基于操作接收单元203接收到的用户操作(输入)在图像中设置第一区域。表示设置单元204在图像中设置的第一区域位置的信息被存储在存储单元201中。在以图像的左下端点为原点的情况下，第一区域在图像中的位置通过第一区域的各顶点的x坐标和y坐标来定义。

设置单元204还设置与对象的尺寸相关的尺寸信息，所述对象是检测单元205的检测处理的检测结果。在本示例性实施例中，设置单元204基于操作接收单元203接收到的用户操作(输入)来设置尺寸信息。所述尺寸信息包括作为检测单元205的检测处理的检测结果的对象的最大尺寸和最小尺寸中的至少一个。在本示例性实施例中，设置单元204将最大尺寸和最小尺寸设置为尺寸信息。设置单元204设置的尺寸信息被存储在存储单元201中。

设置单元204还基于第一区域和尺寸信息设置第二区域，所述第二区域包括第一区域，并受到检测单元205的检测处理。表示由设置单元204设置的第二区域在图像中的位置的信息被存储在存储单元201中。在以图像的左下端点为原点的状态下，第二区域在图像中的位置通过第二区域的各顶点的x坐标和y坐标来定义。

与设置单元204设置第二区域的处理有关的详情将在下文中描述。

检测单元205对设置单元204在图像中设置的第二区域执行检测处理，以检测特定对象。检测单元205基于设置单元204设置的尺寸信息检测对象，作为检测处理的检测结果。例如，检测单元205从检测到的人中检测出具有在设置单元204设置的最大尺寸和最小尺寸之间的尺寸的人，作为检测处理的检测结果。这可以使检测单元205将具有最大尺寸和最小尺寸之间的尺寸的人设置为检测目标。在设置单元204仅设置最大尺寸的情况下，检测单元205检测具有比最大尺寸更小的尺寸的人作为检测处理的检测结果。在设置单元204仅设置最小尺寸的情况下，检测单元205检测具有比最小尺寸更大的尺寸的人作为检测处理的检测结果。

检测单元205利用配对图案(词典)从第二区域中检测特定对象。在从图像中检测到作为特定对象的人的情况下，在人面朝前方的情况下的配对图案和人看向别处的情况下的配对图案两者都被使用，从而有望使检测精度提高。例如，检测单元205可以保持用于对面朝前方(后方)的人的图像进行配对的配对图案和用于对看向别处的人的图像进行配对的配对图案，并基于摄像装置110的安装状态和用户的指定来使用这两个配对图案。

进一步地，可以准备针对其他角度(例如，倾斜的方向或朝上的方向)的配对图案。在检测人的情况下，表示整个身体特征的配对图案(词典)不是必须准备的，可以准备针对人的一部分(例如，上半身、下半身、头、脸和腿)的配对图案。这足够使检测单元205具有从图像中检测出人的功能，所述功能不限于图案匹配处理。

在本示例性实施例中，检测单元205使用针对人的上半身的配对图案(词典)从第二区域中检测出人的上半身。

确定单元206确定特定对象是否被包括在第一区域中，所述特定对象是对设置单元204设置的第二区域执行的检测处理的检测结果。在作为对第二区域执行的检测处理的检测结果的特定对象的预定位置被包括在第一区域中的情况下，确定单元206确定特定对象被包括在第一区域中。尽管在本示例性实施例中，作为特定对象的人的预定位置是人上半身在图像中的区域的质心点，但预定位置不限于此。例如，人的预定位置可以为人的脚或头的位置。

计数单元207对确定单元206确定被包括在第一区域中的特定对象进行计数。输出控制单元202输出与作为对设置单元204设置的第二区域执行的检测处理的结果的特定对象中的、被包括在第一区域中的特定对象有关的信息。换句话说，输出控制单元202输出与已被确定单元206确定为被包括在第一区域中的特定对象有关的信息。例如，输出控制单元202在显示器130上显示表示计数单元207所计数的人数的信息。作为另一种选择，输出控制单元202可以在显示器130上通过在拍摄的图像上叠加框来显示已被确定单元206确定为被包括在第一区域中的人的位置的框。表示人的位置的框可以是例如外接于人上半身的矩形(外接矩形)。作为另一种选择，例如，表示人的位置的框可以是外接于人全身的矩形或围着人上半身(或全身)的椭圆形。

接下来，将参照图3a至图3c来描述基于用户输入而设置第一区域、最大尺寸和最小尺寸的处理。在本示例性实施例中，如图3a所示，在输出控制单元202将摄像装置110拍摄的图像显示在显示单元130上时，基于用户输入来设置第一区域、最大尺寸和最小尺寸。

图3a中的第一区域300表示基于用户输入而在图像上设置的第一区域。操作接收单元203经由未示出的输入设备(例如，鼠标和键盘)接收表示用户在图像上指定的第一区域的位置的信息。设置单元204基于操作接收单元203接收的操作信息来设置第一区域。在以图像的左下端点为原点的状态下，表示第一区域的位置的信息通过第一区域的各顶点的x坐标和y坐标来定义，并被存储在存储单元201中。第一区域的形状不限于多边形，可以是例如圆形或椭圆形。尽管在本示例性实施例中，设置单元204基于用户输入设置了一个第一区域，但设置单元204也可以设置多个第一区域。

图3a中的引导310表示最小尺寸。图3b中例示的垂直尺寸311表示引导310在垂直方向上的尺寸(像素数量)，横向尺寸312表示引导310在横向方向上的尺寸(像素数量)。同时，图3a中的引导320表示最大尺寸。图3c中例示的垂直尺寸321表示引导320在垂直方向上的尺寸(像素数量)，横向尺寸322表示引导320在横向方向上的尺寸(像素数量)。

在图像中检测到的人的上半身的垂直尺寸(像素数量)小于引导310的垂直尺寸311(表示图像中的最小尺寸)的情况下，检测单元205将该人从检测结果中排除。在图像中检测到的人的上半身的横向尺寸(像素数量)小于图像中引导310的横向尺寸312的情况下，检测单元205可将该人从检测结果中排除。

进一步地，在图像中检测到的人的上半身的垂直尺寸(像素数量)大于引导320的垂直尺寸321(表示图像中的最大尺寸)的情况下，检测单元205将该人从检测结果中排除。在图像中检测到的人的上半身的横向尺寸(像素数量)大于图像中引导320的横向尺寸322的情况下，检测单元205可将该人从检测结果中排除。

在本示例性实施例中，检测单元205通过执行处理(例如，使用人上半身的配对图案(词典)的图案匹配)，从图像中检测出人的上半身。

操作接收单元203经由未示出的输入设备(例如，用户界面(ui)和键盘)，从用户接收与引导310和引导320有关的尺寸信息。在本示例性实施例中，用户可以通过对与引导310和引导320中的各自一起显示的三角标志进行拖拽和操作来调整引导310和引导320的尺寸。设置单元204将引导310的尺寸和引导320的尺寸(操作单元203接收到的信息)分别设置为最小尺寸和最大尺寸息。

接下来，将参照图4a和图4b以及图5a至图5d来更加详细地描述根据本示例性实施例的图像处理装置100的图像处理。图4a是例示了如下处理过程的流程图：设置受检测处理的第二区域。图4b例示了如下处理流程的流程图：输出表示作为对第二区域执行检测处理的结果的人中的、被包括在第一区域中的人的数量的信息。

首先描述图4a中例示的处理。在本示例性实施例中，在利用用户输入而新设置或更新了第一区域或尺寸信息的情况下，开始图4a例示的流程图中的处理。

图4a例示的流程图中的处理被描述为通过图2所示的功能块来执行，所述功能块是在图像处理装置100的cpu700执行存储在图像处理装置100的rom720中的计算机程序时实现的。

首先，在步骤s400中，通信单元200获取摄像装置110拍摄的图像。在步骤s401中，在步骤s401中，设置单元204获取与基于用户输入而设置的第一区域有关的信息。图5a中例示的第一区域501表示基于用户输入而对图像500设置的第一区域。

在步骤s402中，设置单元204获取基于用户输入而设置的尺寸信息。在本示例性实施例中，设置单元204获取表示最大尺寸的引导320的垂直尺寸321作为尺寸信息。设置单元204可以获取例如表示最大尺寸的引导320的垂直尺寸321和横向尺寸322作为尺寸信息。作为另一种选择，设置单元204可以获取例如表示最大尺寸的引导320的垂直尺寸321和横向尺寸322以及表示最小尺寸的垂直尺寸311和横向尺寸312，作为尺寸信息。

在步骤s403中，设置单元204基于步骤s401中获取的第一区域和步骤s402中获取的尺寸信息，设置包括第一区域并受到检测单元205的检测处理的第二区域。例如，设置单元204基于第一区域和尺寸信息，通过执行以下处理来设置第二区域。首先，设置单元204设置图5a所示的外接于第一区域501的矩形502。随后，设置单元204将区域503设置为第二区域，所述区域503是将矩形502在外接于第一区域501的矩形502的各边在垂直方向上扩展最大尺寸的垂直尺寸321而获得的。此时，从设置单元204设置的第二区域的外围上的任意位置到第一区域的外围上的任意位置的距离大于或等于最大尺寸的垂直尺寸321。设置单元204可将这样的区域设置为第二区域，该区域通过将矩形502的各边在垂直方向上扩展最大尺寸的垂直尺寸321的预定比例的尺寸来获得。作为另一种选择，设置单元204可以通过执行例如以下处理来设置第二区域。设置单元设置图5a中例示的外接于区域501(第一区域)的矩形502。接着，在外接于矩形501(第一区域)的矩形502的四条边中，设置单元204将矩形502在右边和左边中的每个在垂直方向上扩展最大尺寸的横向尺寸322，以及，将矩形502在上边和下边中的每个在垂直方向上扩展最大尺寸的垂直尺寸321。以上述方式从与第一区域对应的矩形502扩展而来的区域是图5c中例示的区域504，设置单元204可将区域504设置为第二区域。换句话说，从此时设置的第二区域的外围上的任意位置到穿过该任意位置的图像在垂直方向上的段到第一区域的外围之间的交叉点的距离，大于或等于最大尺寸的垂直尺寸321。从此时设置的第二区域的外围上的任意位置到穿过该任意位置的图像在水平方向上的段与第一区域的外围之间的交叉点的距离，大于或等于最大尺寸的横向尺寸322。与仅利用最大尺寸在垂直方向上的尺寸来设置第二区域的情况相比，上述设置可使第二区域的尺寸减小。这可降低处理负载。

进一步地，作为另一种选择，设置单元204可通过执行例如以下处理来设置第二区域。设置单元204设置外接于图5a中例示的区域501(第一区域)的矩形502。接下来，在外接于区域501(第一区域)的矩形502的四条边中，设置单元204将矩形502在右边、下边和左边中的每条边在垂直方向上扩展最大尺寸的垂直尺寸321，以及将矩阵502的上边在垂直方向上扩展最小尺寸的垂直尺寸311。以上述方式从与第一区域对应的矩形502扩展而来的区域是图5d中例示的区域，设置单元204可将区域505设置为第二区域。当人在图像中从近侧到远侧变小的情况下该设置是有效的，并可进一步减小第二区域的尺寸，这使得处理负载降低。

如上所述，根据本示例性实施例的图像处理装置100将基于用户设置的尺寸信息而从第一区域扩展而来的区域设置为第二区域。即使在人的一部分处于第一区域以外的情况下，对第二区域(从第一区域扩展而来的区域)执行检测处理也可恰当地检测出人。此外，相较于对整个图像执行检测处理的情况可降低处理负载。

将描述图4b中例示的对人数进行计数的处理。在本示例性实施例中，响应于用户的指令，开始图4b中例示的流程图中的处理。

图4b例示的流程图中的处理被描述为通过图2所示的功能块来执行，所述功能块是在图像处理装置100的cpu700执行存储在图像处理装置100的rom720中的计算机程序时实现的。

在步骤s440中，通信单元200获取摄像装置110拍摄的图像。在步骤s441中，检测单元205从存储单元201获取用户设置的尺寸信息。在本示例性实施例中，检测单元205将表示最大尺寸的引导320的垂直尺寸321和表示最小尺寸的引导310的垂直尺寸311获取为尺寸信息。

在步骤s442中，检测单元205从存储单元201获取表示设置单元204在图像中设置的第二区域的位置的信息。此时获取的表示图像中第二区域的位置的信息是在以图像的左下端点为原点的状态下，与第二区域的各顶点的x坐标和y坐标相关的信息。在步骤s442中，确定单元206从存储单元201获取表示用户在图像中设置的第一区域的位置的信息。此时获取的表示图像中第一区域的位置的信息是在以图像的左下端点为原点的状态下，与第一区域的各顶点的x坐标和y坐标相关的信息。

在步骤s443中，检测单元205基于尺寸信息对第二区域执行检测处理，以从图像中检测出人。

在步骤s444中，确定单元206确定作为由检测单元205对第二区域执行检测的检测结果的人中、被包括在第一区域中的人。

在步骤s445中，计数单元207对由确定单元206确定为被包括在第一区域中的人的数量进行计数。

在步骤s446中，输出控制单元202输出表示在步骤s445中由计数单元207计数的人数的信息。在本示例性实施例中，输出控制单元202将例如表示计数单元207计数的人数的信息连同在步骤s440中获取的图像一起显示在显示器130上。

在步骤s447中用户没有发出结束指令的情况下(步骤s447中为“否”)，处理返回到步骤s440，通信单元200获取下一帧图像。同时，在用户发出了结束指令的情况下(步骤s447中为“是”)，处理结束。

如上所述，根据本示例性实施例的图像处理装置100对基于尺寸信息、从根据用户输入而设置的第一区域扩展而来的第二区域执行检测处理。图像处理装置100输出与检测到的人中、确定被包括在第一区域中的人有关的信息。

在设置了多个第二区域且第二区域的总面积大于包括并外接于第二区域的矩形的面积的情况下，该矩形可被设置为新的第二区域。这可使第二区域的面积减小，以及使处理负载降低。

图6a中的图像600例示了第二区域601和第二区域602的总面积小于包括并外接于第二区域601和第二区域602的矩形603的面积的情况。在此情况下，检测单元205对第二区域601和第二区域602中的每个执行检测处理。同时，图6b中的图像660例示了第二区域661和第二区域662的总面积大于包括并外接于第二区域661和第二区域662的矩形663的面积的情况。在此情况下，设置单元204将包括并外接于第二区域661和第二区域662的矩形663设置为新的第二区域。之后，检测单元205对于新设置的第二区域(矩形663)执行检测处理。如上所述，基于多个第二区域的总面积和包括并外接于这多个第二区域的矩形的面积之间的比较结果来适应性地重新设置第二区域，这可抑制处理负载的增大。

相较于对整个图像执行检测处理的情况，对用户在图像中设置的第一区域执行检测处理可降低处理负载。然而，在人的一部分处于用户设置的第一区域以外的情况下，人可能无法被检测到。同时，即使在人的一部分处于用户设置的第一区域以外的情况下对整个图像执行检测处理能够检测到人，但会增大处理负载。

根据本示例性实施例的图像处理装置100设置基于尺寸信息而从用户输入设置的第一区域扩展而来的第二区域，并对第二区域执行检测处理。图像处理装置100输出与从作为检测处理的结果的特定对象中被确定为包括在第一区域中的特定对象有关的信息。这使得能够基于由用户设置的用于确定是否包括特定对象的区域，适当地设置这样的区域：用于执行处理以检测作为检测目标的特定对象。

接下来，将参照图7来描述实现上述示例性实施例的功能的图像处理装置100的硬件配置。在以下描述中，尽管描述了图像处理装置100的硬件配置，但记录装置120和摄像装置110中的每个也以相似的硬件配置来实现。

根据本示例性实施例的图像处理装置100包括cpu700、ram710、rom720、hdd730和接口(i/f)740。

cpu700是整体控制图像处理装置100的中央处理单元。ram710临时存储将被cpu700执行的计算机程序。进一步地，ram710提供了在cpu7001执行处理时使用的工作区域。ram710还用作于例如帧存储器或缓存存储器。

rom720存储用于由cpu700控制图像处理装置100的程序等。hdd730是用于存储图像数据等的存储设备。

i/f740经由网络140、基于传输控制协议/英特网协议(tcp/ip)和超文本传输协议(http)与外部装置进行通信。

尽管在上述示例性实施例的描述中描述了cpu700执行处理的例子，但cpu700的至少一部分处理可以由专用硬件执行。例如，可由图形处理单元(gpu)执行在显示器130上显示图形用户界面(gui)和图像数据的处理。可由用作于传输设备的直接存储器存取(dma)执行从rom720读取程序代码以及将该程序代码开发到ram710中的处理。

本发明的示例性实施例可通过使一个或多个处理器读出并执行实现上述示例性实施例的一个或多个功能的程序的处理来实现。程序可经由网络或存储介质而被应用到包括处理器的系统或装置中。进一步地，本发明的示例性实施例可通过实现上述示例性实施例的一个或多个功能的电路(例如，专用集成电路(asic))来实现。进一步地，图像处理装置100的各单元可通过图7所示的硬件或软件来实现。

其他装置可包括根据上述示例性实施例的图像处理装置100的一个或多个功能。例如，摄像装置110可以包括根据上述示例性实施例的图像处理装置100的一个或多个功能。例如，图像处理装置100和摄像装置110可以被设置在一个外壳里。例如，上述示例性实施例可被任意地组合并实施。

尽管已连同上述示例性实施例一起描述了本发明，但上述示例性实例仅例示了一种实施例子，本发明的技术范围不被解释为受上述示例性实施例的限制。换句话说，本发明可以以各种形式实现，而不脱离本发明的技术思想或其基本特征。例如，上述示例性实施例的组合也被包括在本说明书的公开中。

根据上述示例性实施例，可恰当地设置这样的区域：用于执行处理，以检测作为检测目标的特定对象。

其他实施例

也可以通过读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以执行本发明的上述实施例中的一个或更多个的功能的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能而执行的方法，来实现本发明的实施例。计算机可以包括中央处理单元(cpu)、微处理单元(mpu)或其他电路中的一个或多个，并且可以包括分离的计算机或分离的计算机处理器的网络。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(ram)，只读存储器(rom)，分布式计算系统的存储器，光盘(例如，压缩盘(cd)，数字多功能光盘(dvd)，或蓝光光盘(bd)tm)，闪速存储器装置，存储卡，等等。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然针对实施例描述了本发明，但是，应该理解，本发明不限于公开的实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。