显示画面内图像处理方法和程序与流程

本发明涉及用于根据被显示于个人计算机(个人电脑)、智能手机、平板终端等信息设备(以下有时仅称为“计算机等”)的画面的静态图像、动态图像等的画面(以下称为“显示画面”)的任意区域内的图像数据，输出目标信息的图像处理方法和程序。

背景技术：

显示于计算机等的监视器(显示器)上的画面，在例如Internet Explorer(IE：商标)或Firefox(商标)等浏览器上显示，并在Windows(商标)、OS或iOS(商标)、Android(商标)等软件上进行工作。另外，还提供将用WEB摄像机等拍摄到的画面在计算机等的监视器上显示的系统。

为了在这样的计算机等的监视器上所显示的监视对象的图像进行人或物的监视，以往必须人一直观看图像。

作为采用了摄像机的监视装置，提出了在专利文献1上所示的装置。即，对于用摄像单元拍摄到的图像数据，利用特定区域设定单元，设定与帧图像的水平面平行且横向长的矩形的特定区域，利用图像数据处理单元，按每多个帧图像取出特定区域的图像数据，从所取出的图像数据抽取移动矢量。进而，在变化探测单元中，当移动矢量信息之中，加上规定方向的矢量值所得之值大于用变化探测阈值设定单元所设定的阈值时，判定为其他移动体过于接近本移动体很危险，经变化通知单元进行警报发声或警报显示等，向操作者通知险情，促使其注意。

现有技术文献

专利文献

专利文献1：日本特开2005-222424号公报

技术实现要素：

然而，在现有的人一直监视画面的方法中存在下列问题。

(1)具有因监视人的疲劳、往旁边看、不注意等而发生漏看的可能性。

(2)要进行自动化(无人化)，问题很多。

·系统的开发制造商无法与自动化(图像数据处理等)对应。

·当升级时，系统必须停止。

·当故障(含误检)发生时，无法简单地复原。

·伴随系统变更，有未预料的问题发生的可能性。

(3)特殊检测等的软件一般来说价格昂贵。

(对特定场所的变化的检测及亮度的变化的对应等)

(4)有不用计算机等工作的摄像机等。(与机器的相合性)

进而，以前揭示的专利文献1所记述的监视装置是用于监视的专用装置，在采用了计算机等的浏览器及图像软件时难以对应。

因此，本发明的目的在于，提供一种用于原样利用以在计算机等中所使用的浏览器等图像软件所显示的图像，根据任意区域内的图像数据，输出目标信息的图像处理方法和程序。

为了解决上述课题，本发明的第1构成为一种显示画面内图像处理方法，其特征在于：

设定1个或多个显示画面上的任意区域，

从上述显示画面上所显示的图像数据逐次取得上述所设定的区域内的图像数据并转送至存储器上，

对上述存储器上的图像数据进行数据处理，以进行目标判定，

将该判定结果输出至外部。

本发明的第2构成为一种程序，使计算机作为下述单元发挥功能：

设定1个或多个显示画面上的任意区域的单元；

逐次取得上述所设定的区域内的图像数据并转送至存储器上的单元；

对上述存储器上的图像数据进行数据处理，以进行目标判定的单元；以及

将该判定结果输出至外部的单元。

在这些发明中，可作为由软件生成的信息，输出上述判定结果。

另外，可将上述判定结果作为电信号输出至串行端口或并行端口。

另外，可将上述判定结果按照电子邮件、信息数据或图像数据等方式输出至网络。此处，在网络中，包含蓝牙(注册商标)及红外线通信等近距离无线通信网络。

另外，关于上述显示画面上的、位置和尺寸的至少一方不同或相同的多个区域内的图像数据，可独立地或与其它区域的数据处理联合执行各自不同或相同的数据处理。

进而，能对上述显示画面上的1个或多个区域附加各自区域的名称，在输出上述判定结果时，对输出附加该各自区域的名称。

下面示出对图像数据进行数据处理以进行目标判定的例子，但并不限定于此。

·变化的检测

·活动(物体)的检测

·静止(物体)的检测

·颜色检测(任意的颜色范围、尺寸)

·计量处理(尺寸测定、水位计量等)

·检查处理(异常检测、正常判定)

·过滤处理(亮度操作、特征抽取等)

下面示出对图像数据进行数据处理以进行目标判定的结果的输出的例子，但并不限定于此。

·对其它通信终端进行电子邮件通知(通信终端：个人计算机、移动电话、智能手机、平板等具有通信功能的设备)

·对其它通信终端进行事件通知(网络、串行通信等)

·警告声(主体扬声器、外部设备)

·输出(触点、串行通信等)

·图像的保存(作为文件夹保存：动态图像、静态图像)

·显示终端的自动操作(触摸屏、鼠标、键盘等的自动操作)

·对设备的通知

发明的效果

按照本发明，收到如下效果。

(1)可替代人通过目视对特定的状况和状态进行判断的操作。

例子)只有监视功能的系统成为自动监视系统。

例子)监视器监视的省人化成为可能。

(2)对其它软件(系统)和设备没有影响。

(作为独立的软件工作)

·由于只是软件，所以不会发生与设备的相合性的问题。

·通过仅仅读取显示画面，无需对硬件进行访问。

(3)可随时复原，随时重启(只是软件的启动操作)。

(4)由于只是软件，功能的更换容易。

(5)由于只是软件，可廉价地实现。

附图说明

图1为示出本发明的实施方式的图像处理系统中的处理程序的流程图。

图2为本发明的实施方式中的静止图像数据处理的流程图。

图3为示出本发明的实施方式中的简单位置和尺寸测定例的说明图。

图4为示出本发明的实施方式中的颜色的测定例的说明图。

图5为示出本发明的实施方式中的移动图像数据处理的例子的方框图。

图6为示出本发明的实施方式中的简单的活动检测的例子的方框图。

图7为示出本发明的实施方式中的简单的物体的抽取例子的方框图。

图8为示出本发明的实施方式中的输出的例子的方框图。

图9为示出本发明的实施方式中的软件输出的例子的说明图。

图10为示出本发明的实施方式中的对电缆连接设备输出的例子的说明图。

图11为示出本发明的实施方式中的经由网络(因特网)输出的例子的说明图。

图12为示出对象的监视软件的构成的方框图。

图13为示出用于实现监视自动化的现有方法的例子的方框图。

图14为示出本发明的实施方式的构成的方框图。

图15示出了本发明的实施例的区域设定画面(初始画面)。

图16为示出本发明的实施例的设定例的画面。

图17为示出本发明的实施例的设定例的画面。

图18为示出本发明的实施例的设定例的画面。

附图标记说明

10 OS

20 监视系统

30 显示画面

32 监视图像

34 设定区域

40 追加软件

具体实施方式

以下，基于实施方式，具体地说明本发明。

图1为示出本实施方式的图像数据处理系统中的处理程序的流程图。再有，在本实施方式中，示出了在作为信息设备的个人计算机上，通过执行本实施方式中的图像数据处理程序，实现本实施方式中的图像数据处理系统的例子，但只要是具有显示功能，可追加本实施方式中的图像数据处理程序并加以执行的设备，就也可使用智能手机、平板终端等其它设备。

现对图1的各步骤进行说明。

步骤S100：在个人计算机的显示画面上设定1个区域(位置、尺寸)。区域的指定通过设定矩形框(Windows框)进行，例如通过在鼠标的区域开始位置处的点击和拖曳至对角位置的操作来进行。处理执行时由于其非显示性，故看不到显示。

在将区域指定设定为多个场所时，也同样地进行。

步骤S110：从在个人计算机的显示画面上所显示的图像数据以位图形式取得上述所设定的区域内的图像数据(标准抓取功能)。所取得的位图形式的图像数据是像素单位的R、G、B的要素的亮度信息(0-255)。通过本实施方式中的图像数据处理程序，执行OS所具有的标准抓取功能。

此处，就执行OS所具有的标准抓取功能的图像数据处理程序的例子进行说明。以下，是使用网络程序库执行标准抓取功能的程序源的例子，该网络程序库由微软公司的支持OS即Windows上的执行的、Windows组件的微软网络帧工作2.0版本以上版本提供。

1.用于抓取的位图目标的生成

位图bmp＝新的位图(区域宽度，区域高度)；

(bmp：定义收纳目的地的位图，区域：所设定的长方形的区域的位置和尺寸的信息，区域宽度、区域高度：区域的宽度和高度)

2.图形目标的生成

图形gp＝从图像来的图形(bmp)；

(由于能使用来自屏幕的拷贝的是图形目标，所以从位图目标生成图形目标)

3.按照来自屏幕的拷贝的方法进行抓取

来自屏幕的图形拷贝(区域左，区域顶，0,0，bmp尺寸)

如上所述，从个人计算机的显示画面上所显示的图像数据，以位图形式取得bmp上所设定的长方形的区域内的图像数据。按原样，或者按多边形、圆、圆弧等所指定的任意形状取出、使用如此取得的长方形的图像数据。

步骤S120：将图像数据的位图信息(R、G、B的各亮度信息)转送给图像数据处理存储器。由于位图信息是特殊的格式，所以将其作为单纯的数据(排列)排列在存储器上。由此容易从程序读出。

步骤S130：进行预先指定的图像数据处理(后面将详述)。数据处理有静态图像处理和动态图像处理。

步骤S140：判定图像数据结果。通过将图像数据处理中所得到的结果与判定基准进行比较，进行判定。

步骤S150：判定输出是否必要。当输出判定为必要时，进至步骤S160。不必要时，返回至步骤S110。

步骤S160：执行输出(后面将详述)。执行后，返回至步骤S110。

图2为静止图像数据处理的流程图。在该例中，对最后取得的一幅图像数据进行数据处理。例如，为外观检查及定位、尺寸测定、颜色判定等。处理结果的信息被输出。

图3为示出简单的位置和尺寸测定例的图。图像数据在图像宽度Χ图像高度的尺寸的区域连续地配置于存储器内。图像数据在暗色时为小的值，在亮色时为大的值。在读取图3的水平线时，在图像存储器的最前面，将YaΧ图像宽度(Ya从探寻对象物的横向的位置和尺寸时的高度方向的初始值，一般而言从区域的中央附近开始。)相加，连续地读取数据。

从水平线的读取结果中得知对象物的横向位置X0和宽度。

在读取垂直线时，在图像存储器的最前面，将Xb(Xb从探寻对象物的纵向的位置和尺寸时的横向的初始值，一般而言从区域的中央附近开始。)相加，按图像宽度间隔读取数据。

从垂直线的读取结果中得知对象物的纵向位置Y0和高度。

作为结果，得知对象物的左上位置(X0，Y0)和尺寸(大小：WΧH)。

若脱离既定的位置和尺寸，则发出某种警告输出(触点、声音、电子邮件等)。

再有，存储器上的图像数据的配置从高度方向Y＝0、横向X＝0开始，以对X相加(+1)的形式，直至右端，构成图像数据的像素数据被保存。在来到右端时，从Y＝1、X＝0开始，以对X相加(+1)的形式，配置像素数据。同样，直至高度方向的下端，像素数据被保存。再有，往往还作纵、横逆向的存储器配置。

图4示出颜色的测定例。

分别以R、G、B全部读取位置和尺寸已知的对象物的区域的图像数据并进行平均化。将这些数据(R、G、B)变换至色空间HSV(色调Hue、色度Saturation Chroma、亮度Value Lightness Brightness)。

由此可得知对象物的颜色。

若脱离既定的颜色，则发出某种警告输出(触点、声音、电子邮件等)。

图5示出移动图像数据处理的例子。

对从过去至最新的连续的多幅图像数据进行处理。

在活动图像数据处理时，以往的图像数据，也要保存必要的数量。

由此，可输出活动检测、静止检测、变化检测、异物检测等的处理结果。例如，可适用于侵入探测及对象物的活动、停止探测、通过计数、人和车的交通量计数等。

图6示出简单的活动检测的例子。

分别按RGB以像素单位计算最新的图像数据与前1个图像数据之差的绝对值。

差值的绝对值可计算规定值以上的像素数的比例。

若比例大于基准值，则作为有活动而发出某种警告输出(触点、声音、电子邮件等)。

图7示出简单的物体的抽取的例子。

制作过去N幅部分的图像数据的平均图像(在时间轴上的移动平均)，形成背景图像。

从最新图像数据擦除与背景图像的一致部分。

剩余的，就是物体图像数据。

扫描物体图像的数据，求得各自的尺寸及形状。

当尺寸、形状与判定条件一致时，作为物体检测，发出某种警告输出(触点、声音、电子邮件等)。

颜色判定等也可加入条件。

图8示出判定结果的输出的例子。

判定结果的输出被分成以下3类。

·作为由软件生成的信息输出。

·作为电信号输出至与串行端口或并行端口连接的电缆连接设备。

·以电子邮件、信息数据或图像数据的方式输出至网络。

图9示出软件输出的例子。

由软件生成的输出有显示、声音、操作、图像、记录。

显示：在画面上发出警告消息，促使注意。在检测部分，出现显示，示出场所。

声音：鸣叫标准的嘟嘟声。或者，再现预先注册的声音文件。

操作：首先，基于所注册的信息，用软件进行鼠标操作及键盘操作。

图像：用静态图像，或者动态图像保存检测时的图像。

记录：对所发生的事实和现象，作为日志保存日期和时间、现象等。

图10示出输出至电缆连接设备的例子。

电缆连接有并行、串行、LAN等。

并行连接适用于触点输出及警报灯的控制等。

串行电缆被用于USB设备及RS232C、RS485连接的设备的控制。

LAN电缆被用于与网络连接对应的设备的控制。

再有，设备的种类随用途而变化。

图11示出经由网络(因特网)而输出的例子。

经由因特网，通知至远距离地方。或者，一起发送给预先注册过的电子邮件地址。

另外，也可根据事实和现象，选择发送目的地发送。

当设置管理用服务器时，通过将事件通知服务器，进行系统处理。也可利用输出，操作远距离的设备。

再有，网络除因特网及无线LAN、有线LAN之外，还包含蓝牙(注册商标)及红外线通信等近距离无线通信网络。

接着，对于向人监视监视器的监视系统追加检测和通知功能的情况进行说明。

图12是示出对象的监视系统的构成的图。

在图12中，示出Windows(商标)等的OS10进行工作的监视系统20取入摄像机等的影像，在显示画面30上显示，人靠目视确认监视图像32上的异常的监视系统。但是，在此处，因为人的不注意及转移视线，不可避免会遗漏监视对象。

图13示出用于使监视自动化的现有的方法的例子。

这是在监视软件内追加进行来自摄像机图像的检测处理22和通知处理24的软件的进行了改造的监视系统20'，通过进行对现有软件的动作验证、修正作业等，建构系统。

但是，在改造时、确认时，会发生监视系统20'的停止。在监视软件制造商没有图像数据处理技术的情况下，则无法应对。在委托给外部的情况下，需要公开监视软件。另外，在没有监视软件设计人的情况下，有无法应对的可能性。至于在追加改造部分发生了故障的情况，目视的监视也变得无法进行。

解决这样的课题的系统是在图14所示的本发明的实施方式的方框图中示出的系统。

这无需改造图12所示的现有的监视系统，依靠追加软件40即可实现。该追加软件40在显示画面上设定1个或多个任意的区域，逐次取得设定区域34内的图像数据，并转送至存储器(未图示)上，对存储器上的信号进行数据处理，进行目标判定，并将该判定结果输出至外部。

在此处，设定区域34可在显示画面30上设定多个。此时，各设定区域既可使位置和尺寸做成相同，又可使位置和尺寸的至少一方做成不同。各设定区域的图像数据处理可做成相同或各不相同。例如，即使设定相同的位置和尺寸的设定区域，也可进行不同的图像数据处理。另外，各设定区域的图像数据处理既可独立地执行，或者又可与其它的设定区域联合执行。例如，用多个结果组合，在全部条件一致以后，进行输出等的结果判定。

图像数据处理结果的判定、判断可独自执行，或者，与其它的画面联合执行。

由结果生成的输出可共同地，或者独自地，或者与特定的画面联合执行。

对单一或多个设定区域34可标以各不相同的名称。例如，与监视区域相对应，不单单是编号，还可标以“玄关门”、“居室的窗户”、“床”、“厨房”等名称，在检测到显示画面的异常时，可通过用电子邮件等发送例如“居室的窗户，异常”这样的输出，使发送信息本身赋予意义。另外，对于各监视区域，可指定不同的图像数据处理。

按照本实施方式的系统，收到如下效果。

(1)由于作为不同于监视系统的软件工作，所以无需停止监视系统。

(2)在委托给外部的情况下，可与监视软件的内容无关地制成。

(3)可与目视监视并行地确认。

(4)即使发生故障，依然可进行现有的目视监视。

实施例

以下，对本发明的实施例进行说明。图15示出对设定于显示画面上的设定区域，设定名称、图像数据处理的种类等的初始画面。在此处，将设定于显示画面上的设定区域称为“传感器”。

在图15中，传感器、逻辑传感器、输出可为任意数量。

上段的“传感器名称”是分别赋予各设定区域的名称。

中段的“逻辑传感器”是由“传感器”的组合生成的假想的传感器。定义式的L1＝，…，L4＝的0为开，1为关。当成为超过1的值时，为1。将传感器编号定为S1，S2，…。

若将定义式定为L1＝S1*S2，则为S1与S2的逻辑积(“与”)。

若定为L1＝S1+S2，则为S1与S2的逻辑和(“或”)。

图16是传感器种类的选择画面。若点击各传感器的“种类的选择”右端的▼，则利用下拉菜单显示出功能列表。

图17示出从其中设定“灯红时侵入者”的画面。亦即，红灯点亮中，因危险而监视侵入禁止的区域。

在显示画面上显示出通行禁止区域和灯所映照的摄像机影像。

在人监视显示画面的情况下，红灯点亮中，发现有人就用话筒发出警告。

一旦用本实施例的画面传感器的软件进行此种操作，就成为以下那样。

在第1传感器的画面上，对灯的部分进行区域设定，进行红色的检测。

在第2传感器的画面上，设定也包含了灯的危险区域，探测活动(人的侵入)。

只有在第1传感器的画面上检测到红色时，第2画面的结果才变为有效。

在第1传感器的画面上，灯的红色在检测中，当在第2传感器的画面上探测到活动时，就传出警告用声音消息，发出警告。

图18是警备和摄像机故障的设定画面。

画面生成的输出的不同如下。

在显示画面上，放映监视可疑人的侵入的摄像机影像。

在人进行监视的情况下，一旦发现可疑人就与警备部门联络。另外，在摄像机发生了故障的情况下，与技术部门联络。

一旦用本实施例的画面传感器的软件进行此种操作，就成为以下那样。

在第1传感器的画面上，设定人通行的区域，进行物体(侵入者)探测。

在第2传感器的画面上，总是作出同样映照的部分的区域设定，进行亮度测定。

在第1传感器的画面上，一旦探测到物体(发现侵入者)，就点亮警备室的警告灯，与警备部门联络。

在第2传感器的画面上，当亮度与通常情况有很大差异时，由于被认为是摄像机的故障，故在点亮警备室的警告灯的同时，用电子邮件与技术部门联络。

这样一来，对于各传感器，可通过设定图像数据处理的种类、处理内容、输出条件、输出内容，得到所希望的输出。

作为图像数据处理的种类，如图16的下拉菜单中所显示的那样，

1.活动检测(参照上述的图6及其说明)

2.颜色检测(参照上述的图4及其说明)

3.物体检测(参照上述的图7及其说明)

4.点尺度(参照上述的图3及其说明)

考虑到上述各点等，但不限定于此。

产业上的可利用性

本发明在例如如下所示的用途中，可合适地得到利用。

企业用途

(1)有人图像监视系统，有人过程监视系统的无人化、省人化

(2)稳定地系统运转(排除个人差异、疲劳、不注意等因素)

(3)在系统不停止的情况下的功能提高，持续的功能提高。

个人用途

显示终端的内置摄像机及USB摄像机的有效利用。

由于针对显示内容进行，故没有与摄像机的相合性问题。

(1)显示终端的夜间监视实现监视器化(异常警报)

(2)留守时的监视器化(用电子邮件通知，图像保存)

(3)看到画面而进行的简单操作的替代。