专利名称：影像显示装置的制作方法
技术领域：
本发明涉及用于在一个显示画面上同时显示多个影像窗口的影 像显示装置。
背景技术：
在现有技术中，以监视业务的省力化和高效化为目的，采用这样
的监视系统通过在监视控制用计算机的显示画面上，和各种监视信 息一起、同时显示来自多个监视摄像机的影像，进行集中监视。作为 在该监视系统中使用的显示装置，有组合多个50英寸或者70英寸等 的大型投射型显示装置的多-大画面显示装置，作为向显示画面上显示 影像的方式，大体分为以下两种方式。
一种方式是把从监视摄像机通过电缆发送来的影像信号在影像 合成装置中合成为计算机的画面信号而进行显示的方法。但是在通过 影像合成装置的影像合成中，存在可显示的影像的数量受影像合成装 置的规格限制这样的问题。
另一种方式是，把从监视摄像机取入的影像进行一次数字化，通 过JPEG、 MPEG2、 MPEG4等影像编码方式进行压缩编码，作为压 缩影像数据、使用计算机用通信网络向中央监视室的监视控制用计算 机发送，在监视控制用计算机上进行影像的解压处理，在显示装置的 画面上显示影像的方法。近年来，伴随影像的数字化，后者的方式逐 渐增加。
另一方面，作为计算机的画面显示方法，重叠窗口 (overlap window )方式的多窗口系统(multi-window system )是主流。在多窗 口系统中，能够同时重合多个称为窗口的显示区域而进行显示，应用 意识不到与其他窗口的重叠，可进行对自己的窗口的描画。更详细地， 当窗口重叠时，有必要进行和仅对在画面上露出的部分进行描画处理 的剪辑(clip)处理，但是，因为系统自身进行该处理，所以应用自 身不需要意识到该事实。
但是，当显示压缩的数字影像时，在进行显示前需要用于使压缩 的数字影像复原的解压处理。压缩的数字影像的解压处理有必要针对 包含隐藏在其他窗口下的区域在内的所有区域进行，在解压处理后进 行显示时，进行剪辑处理使得仅显示露出的部分。因此，对于隐藏的 区域所进行的数字影像的解压处理变得无用了。另外，即使对于窗口 的一部分露出到画面外、不显示的区域，也需要解压处理，存在同样 的问题。
对此，提供了一种影像显示处理方法以及系统，从画面上的影像 的重叠顺序或者影像的显示面积等的显示状态求出用户对于影像的关
心度，根据关心度的高低变更压缩率、或者彗形像差(Coma)数、像 素数，从而降低通信路径或者监视控制用计算机的负荷(例如参照专 利文献1)。
专利文献l:特开平6—324662号公报
现有技术的影像显示装置，因为如以上构成，所以当窗口重叠时， 即使对于不显示的部分也需要进行影像的解压处理，所以存在处理负 荷变大的课题。
另外，在专利文献l的影像显示处理方法以及系统中，对于重叠 的位于下面的窗口，不限于该窗口整体的优先级降低，有时仅能看到 窗口的一部分即可。但是，在本影像显示处理方法以及系统中，认为 位于下面的窗口的优先次序低，其影像质量或者彗形像差数、像素数 减少，所以存在给监视业务带来困难这样的i果题。
发明内容
本发明为解决上述课题而提出，其目的是获得一种影像显示装 置，它只对于由于窗口彼此的重叠或者露出到画面外而不显示的部分、 不进行影像的解压处理，从而节省无用的影像解压处理，减轻处理负
荷。
本发明的影像显示装置具有管理有关影像窗口的影像窗口信息 的影像窗口管理表；检测影像窗口的显示状态的变更、更新影像窗口 管理表的影像窗口信息的影像窗口变更检测单元；根据影像窗口信息、 切出在影像窗口上显示的数字影像的影像区域的一部分的压缩影像区 域切出单元；对由压缩影像切出单元切出的数字影像的影像区域进行 解压的压缩影像解压单元；以及在显示画面上的影像窗口内显示由压 缩影像解压单元解压的数字影像的影像显示单元。
根据本发明的影像显示装置，通过重叠显示数字影像的影像窗 口、能够在同一显示画面上显示多个数字影像，其中，通过用影像窗 口管理表管理包含可视区域信息的影像窗口信息，在影像解压处理前 仅切出可视区域的压缩影像数据，进行影像解压，从而有减轻影像解 压处理的负荷的效果。
图l是本发明的第一实施方式的影像显示装置的结构图。
图2是表示在本发明的第一实施方式中，通过分片(tile)把影
像分割为多个影像区域的状态的图。
图3是本发明的第一实施方式中的JPEG2000编码方式的压缩影
像格式。
图4是图1中的影像窗口管理表的说明图。
图5是表示本发明的第一实施方式中的可视区域的例子的图。
图6是表示图1的影像显示装置的处理流程的图。
图7是表示图6的处理流程中的影像窗口管理表的例子的图。
图8是表示图1中的压缩影像区域切出单元的处理流程的流程图。
图9是表示图8中的步骤ST401的更详细的处理流程的流程图。 图IO是表示对于图7的影像B使用图9的处理流程的例子的图。 图ll是表示图IO的例子中的步骤ST4015的处理的图。
具体实施例方式
下面，为更详细地说明本发明，根据
用于实施本发明的 最佳方式。
第一实施方式
下面说明第一实施方式。图l是第一实施方式的影像显示装置的
结构图。影像显示装置具有影像窗口管理表2、影像窗口变更检测单 元3、压缩影像区域切出单元4、压缩影像解压单元5、影像显示单元 6。此外，在后面叙述关于各个构成要素的详情。
在图1中，压缩影像数据l是把数字影像按l帧单位分割为多个 影像区域、并进行压缩编码后的数据。作为影像的压缩编码方式，有 JPEG、 MPEG2、 MPEG4这样的各种方式，但在第一实施方式中采 用JPEG2000编码方式。在JPEG2000编码方式中，把影4象作为称为 帧的、连续的静止影像的集合而处理，按独立的帧单位进行影像的压 缩。 一般将此称为帧内编码。JPEG也是帧内编码。与此相对，MPEG2、 MPEG4是还利用连续的帧间的相互关系进行压缩的方式，称为帧间 编码。JPEG2000编码方式可以把1帧分割为多个影像区域、进行压 缩编码并存储。
图2是表示在第一实施方式中通过分片(tile)把影像分割为多 个影像区域的状态的图。在JPEG2000编码方式中，作为把影像分割 为多个影像区域的方法，有称为分片(tile)和分区(precinct)这两种方 法。在第一实施方式中，作为影像区域的分割方法使用分片。图2表 示把分辨率640x480像素的影像分割为160x120像素的分片的情况。 利用分片的影像区域分割从影像的左上端开始对每160x120像素进行 分割，分割为16个分片。假定分片号码为水平方向和垂直方向的号码 的组合。
图3是第一实施方式中的JPEG2000编码方式的压缩影像格式。 在图2的影像区域分割时，压缩影像数据1的1帧的格式如图3所示。 JPEG2000编码方式的压缩影^象数据以称为SOC的标志(marker )开
始，以称为EOC的标志结束。所谓标志是两字节长的数据，由表示 是标志的标志前缀1字节(0xff)和标志识别符1字节构成。SOC标 志成为0xff4f。主头标(main header )存储关于影像的信息。主头标 的详细内容因为和第一实施方式无关所以省略说明。在SOC和EOC 之间存在与从图2所示的从tile (0， 0)到tile(3， 3)的影像区域对 应的、编码后的压缩影像数据。在第一实施方式中使用分片进行影像 区域的分割，但是也可以使用分区(precinct)。
图4是图1中的影像窗口管理表2的说precinct明图。在图1中， 影像窗口管理表2存储关于显示画面上的影像窗口的信息(下面称影 像窗口信息)。即，影像窗口管理表2是影像窗口信息的列表。影像 窗口信息具有用于识别影像的影像识别符，作为画面上的影像窗口 的左上端的坐标值的显示位置DX、 DY，作为影像的水平方向以及垂 直方向的像素数的影像尺寸DW、 DH，以及作为关于影像窗口的可视 区域的信息的可视区域信息。所谓可视区域，是在影像窗口的所有区 域中除去与其他窗口重叠或者露出到画面外而看不见的区域、在画面 上实际显示的区域。
此外，在图4中所有影像窗口的影像窗口信息用一个影像窗口管 理表2管理，但是也可针对每一个影像窗口设置影像窗口管理表。
图5是表示第一实施方式中的可视区域的例子的图。如图5(a) 所示，在显示画面上显示两个影像窗口，成为影像窗口l重叠在影像 窗口2上的状态。另外，影像窗口 2右端向画面外露出。此时，影像 窗口 1以及影像窗口 2的可视区域如图5(b)所示。如图5 (b)所 示，可视区域表现为多个矩形的组合。影像窗口 2中的矩形No.0和矩 形No.l是可视区域，其他的部分是非可视区域。可视区域信息具有构 成可视区域的矩形数N和关于各矩形的矩形信息(参照图4)。
进而，矩形信息具有在把矩形窗口的左上端作为原点的影像窗口 的本地坐标系中、作为矩形开始位置的坐标值的Xi、 Yi，作为矩形的 水平方向的像素数的矩形宽度Wi，以及作为矩形的垂直方向的像素数 的矩形高度Hi。这里i是矩形号码(参照图4)。
在图1中，影像窗口变更检测单元3检测显示在显示画面上的所 有影像窗口的移动、显示尺寸的变更、上下关系变更等的与窗口相关 的显示上的变更，当与影像窗口相关的影像窗口信息发生变更时，更 新影像窗口管理表2的内容。
压缩影像区域切出单元4基于存储在影像窗口管理表2中的数字 影像相对应的影像窗口的可视区域信息，从压缩影像数据1中提取与 应该按一帧单位进行显示的区域相对应的分片，按矩形单位再构建压 缩影像数据。
压缩影像解压单元5针对由压缩影像区域切出单元4按矩形单位 切出的可视区域的JPEG2000影像，按一帧单位进行压缩影像数据的 解压处理。
影像显示单元6在显示画面上显示由压缩影像解压单元5解压的 JPEG2000影像。
接着，使用图6说明第一实施方式的影像显示装置的动作。图6 是表示图1的影像显示装置处理流程的图。在图6的显示画面700上， 显示影像A的影像窗口 701重叠在显示影像B的影像窗口 702上。
压缩影像数据la是影像A的压缩影像数据，由N个帧构成。压 缩影像数据lb是影像B的压缩影像数据，由N个帧构成。
在图6中，影像A以及影像B的压缩影像数据la、 lb的分辨率 为640x480，按160x120像素的分片进行影像分割并由JPEG2000编 码方式压缩。压缩影像数据的格式和图2相同。
图7是表示图6的处理流程中的影像窗口管理表的例子的图。在 图6的情况下，影像窗口管理表2的内容成为如图7所示那样。
影像窗口变更检测单元3当检测到影像窗口的显示状态的变更 时，首先，对于有变更的影像窗口、判定是否在显示画面外露出，当 在显示画面外露出时，仅把进入显示画面内的区域作为可视区域而求 出。接着，除了与位于有变更的影像窗口之上的所有窗口相重叠的区 域之外，求出有变更的影像窗口的可视区域。进而，对于有变更的影 像窗口以外的所有影像窗口，同样也求可视区域信息，更新影像窗口
管理表2。
在图7中的影像窗口管理表中，影像窗口信息l、 2分别是关于 影像窗口 701、 702的信息。另外，矩形信息是与影像窗口中的各个矩 形相关的信息。
首先，说明影像B的处理的流程。在图6中，影像B的压缩影 像数据lb的帧1被输入压缩影像区域切出单元4。在压缩影像区域切 出单元4中，根据与影像窗口管理表2的影像B相对应的影像窗口信 息，对于一部分影像区域切出压缩影像数据。
图8是表示图1中的压缩影像区域切出单元4的处理流程的流程图。
在步骤ST400中，压缩影像区域切出单元4关于显示影像B的 影像窗口、从影像窗口管理表2取得影像窗口信息。
在步骤ST401中，使用在步骤ST400中取得的影像窗口信息的 可视区域信息，求出所有与可视区域重合的分片，按矩形单位把分片 分类为多个组。
在步骤ST402中，对于在步骤ST401中分类的组，构建JPEG2000 编码方式的压缩影像数据并输出。
图9是表示图8中的步骤ST401的更详细的处理流程的流程图。 使用图9，说明从可视区域信息求出与可视区域重叠的分片的处理流 程。
在步骤ST4010中，根据以下的公式求作为影像的水平、垂直各 方向的分片数的XTNum、 YTNum。 XTNum=ceiling(DW/XTSiz) YTNum-ceiling(DH/YTSiz)
在上述公式中，DW、 DH表示影像的水平方向尺寸、垂直方向 尺寸，XTSiz、 YTSiz分别表示分片的水平方向尺寸、垂直方向尺寸。 XTSiz以及YTSiz包含在压缩影4象数据的主头标(main header )部分 中。省略关于主头标部分的详细说明。另外，ceiling(x)是输出大于等 于x的最小整数的函数。 在步骤ST4011中，准备表示把分片号码作为指数(index)而持 有的阵列的值是否与可视区域相重叠的二维阵列(two-dimensional array) TI[XTNum[YTNum，把二维阵列TI[XTNum[YTNum的 全部元素初始化为0。
在步骤ST4012中，当阵列TI[K[L的值是0时，假定tile(K， L) 和可视区域无重叠，当阵列TIK[L的值是(i+l)时，假定tile(K， L) 和可视区域有重叠。接着把0作为i的初始值代入，这里i是矩形号 码。
在步骤ST4013中，根据下面的公式求矩形的左上端进入的分片 的分片(tile)号码(Plu， Qlu)。 Plu=Xi/XTSiz Qlu=Yi/YTSiz
设Plu、 Qlu取整数。在上述公式中，Xi、 Yi分别是矩形No.i 的水平方向、垂直方向的矩形开始位置。
在步骤ST4014中，^f艮据以下的^^式求矩形No.i的右下端进入的 分片的分片号码(Prl， Qrl)。
Prl=(Xi+Wi-l)/XTSiz
Qrl=(Yi+Hi-l)/YTSiz
设Prl、 Qrl取整数。在上述7>式中，Wi、 Hi分别是矩形No.i 的宽度、高度。
在步驟ST4015中，生成左上端的分片号码为(Plu, Qlu)、右 下端的分片号码为(Prl， Qrl)那样的、属于由多个分片构成的矩形 的分片的分片号码，把二维阵列TI[XTNumYTNumI相对应的阵列 位置的值取为(i+l)。其结果是，在二维阵列TI[XTNiimYTNum
中，在把和矩形No.i重叠的分片的分片号码作为指数(index)的阵 列位置上存储值(i+l)。
在步骤ST4016中，在i上加l，作为下一矩形号码。 在步骤S4017中，判断i是否超过矩形数N。当i超过矩形数N 时，因为关于所有矩形求出重叠的分片的处理结束，求出了所有和可
视区域相重叠的分片的分片号码，所以处理结束。当新的矩形号码i
未达到矩形数N时，返回步骤ST4013,对于新的矩形执行从ST4013 到ST4016的处理。
在从上述ST4010到ST4017的步骤全部结束的时刻，在得到的 二维阵列TI中，具有相同值的各分片成为属于矩形单位的相同组的分 片。
接着，以图7的影像B为例说明压缩影像区域切出单元4的动作。 图IO是表示对于图7的影像B使用图9的处理流程的例子的图。并 且，图10 (a)是示出了构成影像B中的可视区域的矩形和分片的关 系的图。
在图9的步骤ST4010，求水平、垂直方向的分片数。在影像B 中，从DW-640、 DH=480、 XTSiz=160、 YTSiz=120，得出 XTNum=Ceiling(640/160)=4 YTNum=Ceiling(480/120)=4
在步骤ST4011中，准备二维阵列TI[4[4]，把阵列的值全部初 始化为0。
在步骤ST4012中，把表示矩形号码的i初始化为0。 在步骤ST4013中，因为根据图7有X0=400、 Y0=0，所以矩形 No.O的左上端进入的分片号码(Plu， Qlu)如下求出。 Plu=400/160=2 Qlu=0/120-0
因此，矩形No.O的左上端进入的分片号码成为(2， 0)。 在步骤ST4014中，因为根据图7有W0=240、 H0=280，所以矩 形No.O的右下端进入的分片号码(Prl, Qrl)如下求出。 Prl=(400+240-l)/160=3 Qrl=(0+280-l)/120=2
因此，矩形No.O的右下端进入的分片号码成为(3， 2)。 在步骤ST4015中，生成左上端的分片号码为(2， 0)、右下端 的分片号码为(3, 2)那样的、属于由多个分片构成的矩形的分片号
码。然后，在二维阵列TI[4[4中，把与生成的分片号码相对应的阵 列位置的值取为1。其结果是，二维阵列TI[4[4]成为图11 (a)那样。 把阵列的值成为1的阵列的指数(index)作为分片号码而持有的分片 成为与矩形No.O重叠的分片。
接着，在步骤ST4016中，在i上加l成为i-l。
在步骤S4017中，比较作为包含在可视区域中的矩形数目的N 和i。影像B中的可视区域包含的矩形的数目为N=2， i-l〈N-2成立。 即，表示还剩余矩形，因此再度返回步骤ST4013。
下面，i=l，即求与矩形No.l重叠的分片。在步骤ST4013中， 根据下面的公式求出矩形No.l的左上端进入的分片号码(Plu， Qlu)。 根据图7的可视区域信息的矩形No.l的信息，
Plu=0/160=0
Qlu=280/120=2
因此，矩形No.O的左上端进入的分片号码成为(0， 2)。 接着，在步骤ST4014中，根据下面的公式求出矩形No.l的右下 端进入的分片号码(Prl， Qrl)。 Prl=(0+640-l)/160=3 Qrl=(200+280-l)/120=3
因此，矩形No.l的右下端进入的分片号码成为(3， 3)。 在步骤ST4015中，生成左上端的分片号码为(0, 2)、右下端 的分片号码为(3， 3)那样的、属于由多个分片构成的矩形的分片号 码。然后，在二维阵列TI[4[4中，把与生成的分片号码相对应的阵 列位置的值取为2。其结果是，二维阵列TI[44成为图11 (b)那样。 把阵列的值成为2的阵列的指数(index )作为分片号码而持有的分片 成为与矩形No.l重叠的分片。此外，与图10 (a)的tile (2， 2)、 tile (3， 2)相对应的阵列位置的值从图11 (a)的1更新为图11 (b) 的2。
在步骤ST4016中，在i上加1成为1=2。
在步骤ST4017中，进行i〈N的比较。因为N-2，所以i-N成立，
KN成为"否"。其结果，在二维阵列TI[4[4中，持有与具有0以外的 值的阵列指数号码相对应的分片号码的分片成为与影像B的影像窗口 的可视区域相重叠的分片。
图10 (b)是表示影像B中进行分组后的分片的图。采用相同影 线(hatching)的分片是同一组。在影像B的场合，具有值1的(tile(2， 0)、 tile(3， 0)、 tile(2， 1)、 tile(3， 1)}是第一组，具有值2的(tile(O, 2)、 tile(1，2)、 tile(2，2)、 tile(3， 2)、 tile(O, 3)、 tile(1,3)、 tile(2，3)、 tile(3， 3)} 成为第二组。
图10 (c)示出的情形是，伴随图10 (b)的分组、对于第一组 和第二组的每一组再构建JPEG2000的编码方式的压缩影像数据的情 形。最后，在图8所示的步骤ST402中，通过在各组中再构建JPEG2000 编码方式的压缩影像数据，压缩影像区域切出单元4的处理完成。
通过压缩影像区域切出单元4切出的压缩影像数据被传递给压缩 影像解压单元5。在压缩影像解压单元5中，对切出的压缩影像数据 进行解压处理。在第一实施方式中，对于JPEG2000编码方式的压缩 影像数据通过JPEG2000解码器进行解压处理。最后，由影像显示单 元6按照影像窗口管理表的对应的影像窗口信息的显示位置，在显示 画面上进行显示。
如上所述，根据该第一实施方式，在影像显示装置中，通过重叠 显示数字影像的影像窗口，能够在同一显示画面上显示多个数字影像， 其中，用影像窗口管理表管理包含可视区域信息的影像窗口信息，通 过在影像解压处理前仅切出可视区域的压缩影像数据，并进行影像解 压，从而具有减轻影像解压处理的负荷的效果。
如上所述，本发明的影像显示装置可适用于在多频道影像显示系 统或者高分辨率影像显示系统中使用的多-大画面显示装置。
权利要求
1.一种影像显示装置，能够在显示画面上重叠显示多个用于显示数字影像的影像窗口，其特征在于具有管理与所述影像窗口相关的影像窗口信息的影像窗口管理表；检测所述影像窗口的显示状态的变更、并更新所述影像窗口管理表的所述影像窗口信息的影像窗口变更检测单元；根据所述影像窗口信息、切出在所述影像窗口上显示的数字影像的影像区域的一部分的压缩影像区域切出单元；对由所述压缩影像切出单元切出的所述数字影像的影像区域进行解压的压缩影像解压单元；以及在所述显示画面上的所述影像窗口内显示由所述压缩影像解压单元解压的数字影像的影像显示单元。
2. 根据权利要求1所述的影像显示装置，其特征在于，所述数 字影像是按帧单位分割为多个影像区域并进行压缩编码后的压缩影像 数据。
3. 根据权利要求2所述的影像显示装置，其特征在于，所述影 像窗口信息具有关于所述影像窗口的影像识别符、影像显示位置、影 像显示尺寸、与其他窗口的重叠顺序、以及可视区域信息。
4. 根据权利要求3所述的影像显示装置，其特征在于，所述压 缩影像区域切出单元从所述可视区域信息中提取包含在显示画面上实 际显示的可视区域中的压缩影像数据。
5. 根据权利要求4所述的影像显示装置，其特征在于，所述可 视区域信息具有与组合构成所述可视区域的矩形相关的信息。
全文摘要
本发明的影像显示装置具有管理影像窗口信息的影像窗口管理表2、检测影像窗口的显示状态并更新影像窗口管理表2的影像窗口信息的影像窗口变更检测单元3、根据影像窗口信息切出在影像窗口上显示的数字影像的影像区域的一部分的压缩影像区域切出单元4、对由压缩影像切出单元切出的数字影像的影像区域进行解压的压缩影像解压单元5、和在显示画面上同其他数字影像一起、在影像窗口内显示由压缩影像解压单元5解压的数字影像的影像显示单元6。
文档编号H04N5/45GK101099193SQ20058004612
公开日2008年1月2日 申请日期2005年1月6日 优先权日2005年1月6日
发明者内藤麻奈美, 椿泰范, 田中敦, 萩原利幸 申请人:三菱电机株式会社