专利名称：监视系统的制作方法
技术领域：
本发明涉及应用来在宽范围中进行监视的监视系统。
背景技术：
过去，为了监督宽范围中的情形，使用了一种使用电视相机的监视系 统。具体地，例如，使用了一种监视系统，用于海上监视、河流监视、对 入侵监视区的监视、对野生动物的行为观察，等等。例如，在日本专利早
期公开No. 2003-324717中已知和公开了一种监视系统，其中在相机的图 像摄取范围被连续位移的同时静态图像被连续摄取，并且所得到的大量静 态图像被彼此连接起来，以产生要监视的范围的图像。通过连接大量静态 图像而产生的连接图像(以下有时称为整体图像(whole image))可能具 有非常高的分辨率。因此，当获得整体图像的一部分的放大图像时，放大 图像本身就具有高分辨率并且是清楚的图像。
虽然在白天使用普通的视频相机，但对于夜间的监视，使用红外相 机，也称为热成像器和IR相机。
发明内容
由于红外相机检测热源，相对于视频相机布置在图像摄取对象一侧的 所有热源都对图像摄取输出有影响，因此与视频相机相比发生许多失真。 通过视频相机摄取的图像的失真因素之一例如是镜头失真。另一方面，对 于红外相机，镜头套筒的发热的影响以及镜头失真、包括镜头保持部件在 内的整个相机的发热的影响等等都成为摄得图像失真的因素。
一种类型的失真例如是如图1A所示的被称为阴影(shading) la的屏 幕图像不规则，由于该不规则，屏幕上的摄得图像1的明度(luminance) 随着与摄得图像1的中心的距离增大而减小。难以通过光学设计或机械设
计来消除阴影la，并且这导致了这样一个问题，即为了减小阴影la，镜头 等等的生产成本大大增加。
另外，出现阴影la的摄得图像l在图像的中心部分表现出很轻微的明 度降低。 一般来说，由于图像摄取对象在大多数情况下被定位于图像的中 心部分，因此外围部分的失真很少可能成为重大的问题。但是，对于其中 多个静态图像被连接以获得宽视野的整体图像2的监视系统，存在这样的 问题，即阴影la突出地出现在相邻图像之间的边界部分处，如图1B所
因此，希望提供一种监视系统，其中，图像的不规则能够得到校正。
根据本发明的实施例，执行用于使摄得图像的面内亮度(brightness) 均匀化的校正处理，以获得只具有很微小的不规则的图像。
根据本发明的一个实施例，提供了一种监视系统，包括红外相机； 图像摄取方向控制部件，其被配置为改变红外相机的图像摄取方向；校正 部件，其被配置为校正由红外相机在每个图像摄取方向上摄取的图像数据 的屏幕图像的亮度的不规则，并且输出其亮度不规则被校正的经校正的图 像数据；图像处理部件，其被配置为连接与由红外相机在各个图像摄取方 向上摄取的图像数据相对应的经校正的图像数据，以产生整体图像；以及 显示部件，其被配置为显示整体图像；校正部件包括校正值存储部件， 其被配置为存储与图像数据的像素相对应的校正值，以及减法部件，其被 配置为从图像数据的像素的像素值中减去从校正值存储部件读出的校正值 以获得校正图像数据，并且输出校正图像数据。
根据本发明的另一个实施例，提供了一种监视系统，包括视频相 机；图像摄取方向控制部件，其被配置为改变视频相机的图像摄取方向； 校正部件，其被配置为校正由视频相机在每个图像摄取方向上摄取的图像 数据的屏幕图像的亮度的不规则，并且输出其亮度不规则被校正的经校正 的图像数据；图像处理部件，其被配置为连接与由视频相机在各个图像摄 取方向上摄取的图像数据相对应的经校正的图像数据，以产生整体图像； 以及显示部件，其被配置为显示整体图像；校正部件包括校正值存储部 件，其被配置为存储与图像数据的像素相对应的校正值，以及减法部件，
其被配置为从图像数据的像素的像素值中减去从校正值存储部件读出的校 正值以获得校正图像数据，并且输出校正图像数据。
利用这些监视系统，可以获得没有或者只有很微小的不规则的摄得图 像，并且可以提高通过将多个摄得图像彼此连接而形成的整体图像的质
当结合附图来理解时，本发明的实施例的上述和其他目的、特征和优 点将从以下描述和权利要求中变得清楚，在附图中相似的部分或要素由相 似的标号来表示。
图1A和1B是图示出由现有的图像摄取装置摄取的摄得图像的问题的 示意图2是示出应用了本发明实施例的监视系统的配置示例的框图3是图示出图2的监视系统中的整体图像产生操作的示例的示意
图4是示出图2的监视系统的面部校正电路和红外相机的配置示例的 框图5是示出图4所示的面部校正电路的配置示例的框图6、 7和8是图示出图5所示的面部校正电路的操作示例的视图；以
及
图9是示出使用应用了本发明实施例的图像摄取装置的监视系统的另 一配置示例的框图。
具体实施例方式
参考图2，其中示出了应用了本发明实施例的监视系统的一般配置。 所示出的监视系统包括相机单元10，该相机单元进而包括红外相机11和 用于对从红外相机11获得的图像数据进行校正的面部校正电路16。相机 单元10例如被安装在建筑物的屋顶上，并且适应于户外使用的情况。相 机单元10的红外相机11包括远摄镜头，并且可以摄取位于远处的图像摄
取对象的图像。分别通过用于未示出的旋转基座(swivel base)的摇动 (panning)部件和倾斜(tilting)部件，红外相机11例如可以在水平方向 或摇动方向上旋转270°并且可以在垂直方向或倾斜方向上旋转30°。摇动 部件和倾斜部件包括作为其驱动源的步进电机。
在本发明的实施例中，还设置了主要负责白天的图像摄取的视频相 机，但为了简化说明省略了它。白天和夜间的监视可以分别由红外相机11 和视频相机两者执行。
相机单元IO通过诸如有线LAN (局域网)之类的网络25连接到控制 装置24。控制装置24例如是由个人计算机、应用软件等等配置而成的。 控制装置24将控制信号提供给相机单元10的摇动部件和倾斜部件，以便 根据控制信号来控制红外相机11的视角。
每当摄取图像中心被摇动部件和倾斜部件移动某一视角时，快门按钮 就被接通，从而静态图像被相机单元10所摄取。具体地，在垂直方向上 摄取M个静态图像，例如8个静态图像，并且在水平方向上摄取N个静 态图像，例如16个静态图像。因此，连续摄取了总共M X N个图像，例 如8 X 16个静态图像。然后，相机单元IO对所摄取的静态图像进行校正 和压縮，并向控制装置24输出例如根据JPEG系统压縮的图像数据和与图 像数据有关的图像摄取数据(以下适当地称为元数据)。在控制装置24 上设置了显示部件，并且在显示部件上以组合形式显示通过红外相机11 在不同图像摄取方向上进行的图像摄取而获得的M X N个静态图像，以 获得宽视野的整体图像。刚才提到的这种整体图像以下可被适当地称为全 景图像(panorama image)。
每个静态图像具有符合例如VGA (视频图形阵列，640 X 480像素) 的像素。在此情况下，从128个静态图像，可以形成大约40,000,000个像 素的整体图像，其中包括垂直方向上的640 X 16= 10,240个像素和水平方 向上的480 X 8 = 3，840个像素，忽略重叠部分。实际上，由于个人计算机 的显示部件被用作显示部件，因此整体图像的像素数目响应于显示部件的 像素数目而减小。
相机单元IO包括红外相机11、面部校正电路16、相机控制部件18、
图像压縮处理电路19、中央处理单元CPU20、旋转控制部件21、温度控 制部件22和电源23。
红外相机11检测从对象固体发射出的红外能量，将红外能量转换成 温度，并将温度分布显示为图像。红外相机11的摄得图像是单色图像， 其白度随着温度升高而增大。
红外相机11例如包括GPS (全球定位系统)功能，用于检测红外相 机11本身的位置。由于红外相机11包括GPS功能，因此红外相机11的 位置的数据可被记录，并且红外相机11的方向可被检测。可以从摇动部 件和倾斜部件的旋转角度以及利用GPS功能来检测红外相机11的方向。
面部校正电路16校正从红外相机ll输入的图像数据，去除源自红外 相机11的图像数据的亮度或明度的不规则，并且输出所得到的摄得图像 的均匀图像数据。
相机控制部件18把由控制装置24设定的图像摄取条件设定通知给红 外相机11和面部校正电路16。所设定的图像摄取条件可以包括增益、对 比度和镜头光圈的条件。
图像压縮处理电路19对从面部校正电路16输入的经校正的图像数据 执行例如JPEG系统的压縮编码处理和縮小处理，以使得图像数据可以变 得适合于输出到控制装置24。
CPU 20通过旋转控制部件21来控制摇动部件和倾斜部件，以沿着预 定的轨道旋转红外相机11，以获取图像数据。另外，CPU20通过温度控 制部件22来控制风扇等等，以便例如在红外相机11的情况下的温度可以 变为适当的温度。如上所述，在红外相机11中，镜头套筒或相机主体的 发热成为摄得图像的失真的原因。因此，必须控制红外相机U，以使得红 外相机11的温度不会对摄得图像有影响。
CPU 20连接到控制装置24，并且对应于从控制装置24输入的控制操 作，执行对相机单元IO的组件的控制。另外，CPU 20控制图像压縮处理 电路19，以将图像压縮处理电路19产生的经压縮的图像数据和元数据输 出到控制装置24。
控制装置24例如包括用于存储从相机单元IO输入的经校正和压縮的
图像数据的存储器部件、用于在屏幕上显示整体图像的显示部件、用于与 相机单元10执行通信的通信部件等等。控制装置24通过网络从相机单元 10接收图像数据和元数据，对多个经校正和压縮的图像数据进行处理，并 且以全景图像的形式显示整体图像。全景图像形式的整体图像是从由相机 单元10在不同的图像摄取位置摄取并被彼此连接的图像形成的。
通过确认所显示的整体图像，可以执行监视。另外，自动地从整体图 像的时间变化来检测监视对象区域中的异常(例如入侵)以生成警报。控
制装置24的显示部件除了整体图像显示部分外，还包括用于显示由用户 指定的预定部分的放大图像的放大图像显示部分、用于对相机单元10进 行操作的操作图标部分、用于表示诸如相机的安装位置之类的监视对象信 息的字符信息显示部分，等等。
图3示出了通过红外相机11的摇动操作和倾斜操作来摄取预定区域 的图像的操作。红外相机11被安装在旋转基座上，以使得红外相机11的 图像摄取方向相对于红外相机11的归属位置发生改变。在图3中，所摄 取的M X N帧被编号，以使得从图3中的相机部件一侧来看，号码1, 2, ... ， M按从上起的顺序被应用到各行，并且号码1, 2， ...， N按从左起的 顺序被应用到各列。归属位置是摄取例如坐标(M,N):(l， l)的帧的图像的 位置。
如果坐标位置(l， l)处的帧的图像被摄取，则红外相机11被摇动，并 且下一坐标位置(l, 2)的帧的图像被摄取。之后，坐标位置(l, 3), ...， (1， N) 处的帧的图像被摄取，然后是第二行的坐标位置(2，N)的帧的图像。然后， 坐标位置(2,N-1), ...，(2, l)的帧的图像被摄取。之后，直到坐标位置(M,N) 的帧为止的帧的图像被摄取。每个帧的图像与相邻的一个或多个帧的一个 或多个图像具有一个或多个具有预定数目像素的重叠部分。这样，相机单 元通过连续改变其图像摄取方向来产生静态图像。
图4示出了红外相机11和面部校正电路16的配置。红外相机11向面 部校正电路16输出通过对图像摄取对象30进行图像摄取而获得的摄得图 像的图像数据。红外相机ll包括镜头12、图像摄取部件13和摄得图像信 号处理电路14。镜头12会聚从图像摄取对象30发射出的红外线并且将会
聚后的红外线引入图像摄取部件13中。图像摄取部件13包括红外检测 器、放大器等等，并且产生与检测到的红外线的能量的量相对应的模拟信 号。
摄得图像信号处理电路14包括A/D转换电路、红外图像处理部件等 等，并且将从图像摄取部件13输入到其中的模拟信号转换成数字信号， 并且输出该数字信号。红外图像处理部件接收该数字信号，将该数字信号 转换成单色图像数据，该单色图像数据的白度随着红外线的能量升高(即 温度升高)而增大。然后，图像数据被输出到面部校正电路16，该图像数 据例如可能是与NTSC系统的类似的数字彩色视频信号。
图5示出了面部校正电路16的示例。参考图5，所示出的面部校正电 路16包括面部平均值计算电路31、校正值存储器33、图像摄取状态校正 电路34以及减法电路32和35。校正值存储器33是非易失性存储器，例 如闪存。
在面部校正时，红外相机11所特有的校正值首先被产生并且被存储 到校正值存储器33中。在图5中，校正值产生时的信号流由粗线指示。 在校正值产生时，均匀面部模具(face jig)被用作图像摄取对象30,利用 该均匀面部模具，当图像摄取对象30的图像被不会产生亮度不规则的理 想红外相机所摄取时，摄得图像在所有像素上具有固定的像素值，即固定 的明度级别。具体地，使用诸如泡沫聚苯乙烯板之类的材料板，利用该材 料板，热的不规则发生可能性很小。在金属板的情况下，热的不规则很有 可能发生，因此金属板不适合用于基准图像摄取面部。此均匀面部模具的 图像被红外相机11所摄取。红外相机11的图像摄取电路15向面部校正电 路16输出摄得图像的图像数据。
面部校正电路16根据图像数据的像素的像素值来计算面部平均值， 该面部平均值是所输入的图像数据的所有像素的像素值的平均值。然后， 根据每个像素的像素值和面部平均值，计算像素的校正值并存储到校正值 存储器33中。
在执行如上所述的这种校正值产生后，执行正常图像摄取。在图5 中，正常图像摄取时的信号流由实线指示。在正常图像摄取时，由红外相机11所摄取的摄得图像的图像数据被输入到面部校正电路16。利用在相 机设定时存储的像素校正值来校正输入到面部校正电路16的图像数据的 像素值，并且输出所得到的经校正的像素值。 下面描述面部校正电路16的组件。
面部平均值计算电路31计算一个静态图像的所有像素的面部平均值 并将计算出的面部平均值输出到减法电路32，其中该面部平均值是从图像 摄取电路15输入的图像数据的像素值的平均值。面部平均值Vref是根据 下式(1)从m X n像素大小的图像数据计算出的
<formula>formula see original document page 11</formula>
面部平均值Vref二( ￡像素电平(x，y))/(mxn)<formula>formula see original document page 11</formula>
减法电路32从输入自图像摄取电路15的图像数据的像素值中减去输 入自面部平均值计算电路31的面部平均值，以产生校正值。然后，减法 电路32将为每个像素产生的校正值存储到校正值存储器33中。第(x， y)个 位置处的像素的像素校正值AV(x，y)是根据下式(2)来计算的
像素校正值AV(x, y)=像素电平(x, y)-面部平均值
校正值存储器33是由闪存等等形成的，并且存储在相机设定时计算 出的像素校正值。然后，在正常图像摄取时，存储在校正值存储器33中 的像素校正值被读出并用于校正。
图像摄取状态校正电路34向减法电路35输出通过将从校正值存储器 33读出的校正值乘以必要的系数而获得的校正值。刚才提到的这种校正值 是用于当要在不同于校正值产生时的图像摄取状态中执行图像摄取时，响 应于当时的图像摄取状态来对存储在校正值存储器33中的像素校正值进 行校正，从而防止由图像摄取条件的差异而导致的校正操作故障。该系数 例如是响应于红外相机11的增益、对比度、镜头光圈等等来设定的。
注意，对增益、对比度、镜头光圈等等的设定是由控制红外相机11、 面部校正电路16等等的控制装置24来执行的。这种设定是通过各种方式 在显示于控制装置24的显示部件上的GUI (图形用户界面)上执行的。
减法电路35从输入自图像摄取电路15的图像数据的像素的值中减去 输入自图像摄取状态校正电路34的每个像素的校正值，从而减法电路35 获得校正后的像素值。 校正后的图像数据被从减法电路35输出到输出端17。在输出端17处
获得的图像数据没有源自红外相机11的亮度不规则，例如阴影。因此， 在包括彼此连接的多个摄得图像的宽视野整体图像上，也抑制了亮度的不 规则。因此，可以获得均匀的图像。
注意，在本发明的实施例中，面部校正电路16被设置在红外相机11 的下一级，使得从红外相机11输出的图像数据被面部校正电路16校正。 但是，面部校正电路16在其他情况下也可以连接到红外相机11的摄得图 像信号处理电路14的下一级。
下面，参考图6至8详细描述根据本发明实施例的校正处理。图6图 示出从图像摄取电路输入到面部校正电路的640 X 480大小的摄得图像的 图像数据的一部分。具体地，图6图示出垂直地址211至222的范围和水 平地址241至256的范围的区域中的部分图像。注意，在本示例中，垂直 地址的范围是从0至479，水平地址的范围是从0至639。像素值是例如8 位的数据，并且具有从0至255范围中的值。图6所示的图像数据是通过 利用红外相机11来摄取具有均匀明度的均匀面部模具而获得的摄得图像 的图像数据。
首先，计算图像数据的面部平均值。面部平均值是利用式(1)通过 以下方式来计算的。
面部平均值Vref = (Y(241， 211) + Y(242, 211) +…+ Y(255, 222) + Y(256， 222)/(16 x 12)
=149.9166667 150
其中Y(x, y)表示下述像素的像素值该像素是水平方向上的第x个像素并 且是垂直方向上的第y个像素。
然后，计算每个像素的像素校正值。像素校正值是通过从图6所示的 每个像素的值中减去上述面部平均值来获得的。例如，由于像素(244, 411) 的明度值Y(244，211)为149，因此根据式(2)通过以下方式来计算像素校 正值
像素校正值AV(244, 211) = 149 - 150
=-1
类似地，对于每个其他像素，也计算像素校正值AV。图7图示出通过这 种方式为各个像素计算出的像素校正值AV。
所得到的像素校正值被存储到校正值存储器33中。然后，在正常图 像摄取时，如果图像数据是从红外相机11输入的，则像素校正值被读出 并且输入的图像数据的像素的像素值被利用各个像素校正值来校正。
例如，图6所示的图像数据被校正。在此情况下，校正后像素的明度 值是通过从图6所示的像素的明度值中减去图7所示的像素的像素校正值 来获得的。例如，由于像素(244, 211)的明度值Y(244, 211)为149，并且像 素校正值AV(244, 211)为-1，因此校正后的明度值Y'可以通过以下方式来 计算
校正后的明度值￥'=149-(-1)
=150
对于每个其他像素，也以类似的方式计算校正后的明度值Y'。
图8图示出在校正后16 X 12大小的摄得图像的明度值Y'。在图8中 可以看到，对于所图示出的图像数据，所有像素的明度值Y'都是150，从 而获得了具有均匀明度的图像数据。
从图8可见，可以获得均匀亮度的摄得图像。另外，在多个这种摄得 图像被组合以获得宽视野的整体图像的情况下，相邻摄得图像之间的边界 部分处的阴影不突出，并且儿乎不发生屏幕图像不规则。
同时，从图9可见，包括用于对三种原色中的每一种的特有输入的专 用处理电路、计算电路等等的3-CCD彩色相机40包括为各个颜色的处理 系统设置的面部校正电路44a至44c。
利用图9所示的配置，传入的光束被分光器41分解成三原色光束， 并且三原色光束被图像摄取器件42a、 42b和42c引入并转换成电信号，所 述图像摄取器件42a、 42b和42c中的每一个可以是CCD器件。另外，图 像摄取器件42a、 42b和42c的输出信号分别通过放大器43a、 43b和43c 被提供给面部校正电路44a、 44b和44c。面部校正电路44a、 44b和44c具 有用于红、绿和蓝颜色信号的与上述面部校正电路16的配置相类似的配 置，并且校正颜色信号的电平的不规则。
面部校正电路44a、 44b和44c的输出信号分别通过伽马校正电路 45a、 45b和45c被提供给摄得图像信号处理电路46。摄得图像信号处理电 路46执行A/D转换、矩阵处理等等，并且例如复合颜色视频信号被从输 出端17提取出。这样，通过向用于白天的图像摄取的彩色视频相机应用 本发明的实施例，校正了亮度和颜色的不规则，并且可以形成质量良好的 通过连接彩色静态图像而获得的整体图像。
虽然已经利用具体术语描述了本发明的优选实施例，但是这种描述只 是出于说明目的，应当理解，在不脱离所附权利要求的精神或范围的情况 下，可以进行改变和变化。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行 各种修改、组合、子组合和变更，只要它们处于权利要求或其等同物的范 围之内。
本发明包含与2007年9月11日向日本专利局提交的日本专利申请JP 2007-235018相关的主题，这里通过引用将该申请的全部内容并入。
权利要求
1. 一种监视系统，包括红外相机；图像摄取方向控制装置，用于改变所述红外相机的图像摄取方向；校正装置，用于校正由所述红外相机在每个所述图像摄取方向上摄取的图像数据的屏幕图像的亮度的不规则，并且输出其亮度不规则被校正的经校正的图像数据；图像处理装置，用于连接与由所述红外相机在各个图像摄取方向上摄取的图像数据相对应的经校正的图像数据，以产生整体图像；以及显示装置，用于显示所述整体图像；所述校正装置包括校正值存储装置，用于存储与所述图像数据的像素相对应的校正值，以及减法装置，用于从所述图像数据的像素的像素值中减去从所述校正值存储装置读出的校正值以获得校正图像数据，并且输出所述校正图像数据。
2. 根据权利要求1所述的监视系统，其中所述校正值是通过利用所述 红外相机摄取均匀图像摄取对象而获得的图像数据的平均值以及所述图像 数据的像素值与所述平均值之间的差。
3. 根据权利要求1所述的监视系统，其中所述校正装置包括图像摄取 状态校正装置，用于响应于所述红外相机的图像摄取条件来改变所述校正 值。
4. 一种监视系统，包括 视频相机；图像摄取方向控制装置，用于改变所述视频相机的图像摄取方向； 校正装置，用于校正由所述视频相机在每个所述图像摄取方向上摄取的图像数据的屏幕图像的亮度的不规则，并且输出其亮度不规则被校正的经校正的图像数据； 图像处理装置，用于连接与由所述视频相机在各个图像摄取方向上摄 取的图像数据相对应的经校正的图像数据，以产生整体图像；以及显示装置，用于显示所述整体图像； 所述校正装置包括校正值存储装置，用于存储与所述图像数据的像素相对应的校正值，以及减法装置，用于从所述图像数据的像素的像素值中减去从所述校 正值存储装置读出的校正值以获得校正图像数据，并且输出所述校正图像 数据。
5. 根据权利要求4所述的监视系统，其中所述校正值是通过利用所述红外相机摄取均匀图像摄取对象而获得的图像数据的平均值以及所述图像 数据的像素值与所述平均值之间的差。
6. 根据权利要求4所述的监视系统，其中所述视频相机包括多个图像 摄取器件，所述校正装置连接到所述多个图像摄取器件中的每一个，并且 所述校正装置分别形成其颜色和亮度的不规则被校正的经校正的图像数 据。
全文摘要
本发明公开了一种监视系统，包括红外相机；图像摄取方向控制部件，其被配置为改变红外相机的图像摄取方向；校正部件，其被配置为校正由红外相机在每个图像摄取方向上摄取的图像数据的屏幕图像的亮度的不规则，并且输出其亮度不规则被校正的经校正的图像数据；图像处理部件，其被配置为连接与由红外相机在各个图像摄取方向上摄取的图像数据相对应的经校正的图像数据，以产生整体图像；以及显示部件，其被配置为显示整体图像。
文档编号H04N9/64GK101389006SQ20081021186
公开日2009年3月18日 申请日期2008年9月11日 优先权日2007年9月11日
发明者只野详二, 小野兴市, 氏乡隆信, 红林正昭 申请人:索尼株式会社