利用视频存储器的监控的图像处理装置的制造方法
【专利摘要】本发明提供一种利用视频存储器的监控的图像处理装置。图像处理装置是包含储存将显示在显示画面的图像数据的视频存储器的图像处理装置，其包含：镜像驱动器，其对储存在视频存储器的图像数据是否变更进行监控；变更数据提取部，其当储存在视频存储器的图像数据变更时，从视频存储器提取显示画面中的变更的区域的图像数据；及编码部，其连同所提取的图像数据一并对所提取的图像数据的属性信息进行编码；由此可提高图像处理速度。
【专利说明】
利用视频存储器的监控的图像处理装置
技术领域
[0001]本申请涉及一种图像处理。【背景技术】
[0002]通常，为了有效地传输通过显示画面显示的大量的图像数据，必须使用如MPEG.4， H.264，JPEG的数据压缩(编码)算法。
[0003]特别是，在传输像动态图像一样画面实时变更的图像数据的情况下，应传输的数据量极大，故而需要有效的压缩及传输技术。
[0004]为此，在使用者模式(user mode)下进行动作的如WIN32的图形装置接口(Graphic Device Interface，⑶I)提供如下功能:如果显示画面变更，则在对之前的显示画面与变更的显示画面进行比较后，仅通知变更的部分。
[0005]具体而言，如果输入视窗画面变更命令，则视频卡以显示画面中的将变更的区域的图像数据更新视频存储器，更新的图像数据通过视频端口传输到显示装置而显示在显示画面上。此时，在使用者模式(user mode)下进行动作的如WIN32的图形装置接口(GDI)在对之前所显示的画面与当前所显示的画面进行比较后，提供两个显示画面中的变更的区域的信息，且仅将这种信息传输到外部装置。
[0006]然而，在利用如上所述的以往的方式的情况下，只有在储存在视频存储器的图像数据显示到显示画面后才能获得变更的区域的信息，故而存在用以获得变更的区域的信息的时间延迟，因此图像处理速度下降的问题。
【发明内容】
[0007]发明欲解决的课题
[0008]本申请提供一种在显示到显示画面的图像变更的情况下，在变更的区域的图像数据储存到视频存储器的时点进行撷取并传输，由此可提高图像处理速度的利用视频存储器的监控的图像处理装置。
[0009]解决课题的手段
[0010]根据本发明的第1实施方式，提供一种图像处理装置，其包含储存将显示在显示画面的图像数据的视频存储器，所述图像处理装置的特征在于包含:镜像驱动器，其对储存在所述视频存储器的图像数据是否变更进行监控;变更数据提取部，其当储存在所述视频存储器的图像数据变更时，从所述视频存储器提取所述显示画面中的变更的区域的图像数据;及编码部，其连同所述提取的图像数据一并对所述提取的图像数据的属性信息进行编码。[0〇11]根据本发明的实施方式，所述编码部能够以联合图像专家组(Joint Photograph coding Experts Group，JPEG)形式对所述提取的图像数据及所述提取的图像数据的属性 f目息进行编码。
[0012]根据本发明的实施方式，在所述变更的区域为多个的情况下，所述编码部可分别对所述多个变更的区域进行编码。
[0013]根据本发明的实施方式，所述属性信息可包含所述显示画面中的所述变更的区域的坐标、所述编码的封包大小、解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)、所述显示画面为多个的情况下的显示画面的固有标识符(Unique ID，UID)中的至少一个以上。[〇〇14]根据本发明的实施方式，所述图像处理装置可在核心模式(Kernel Mode)下进行动作。[〇〇15]根据本发明的第2实施方式，提供一种图像处理装置，其包含储存将显示在显示画面的图像数据的视频存储器，所述图像处理装置的特征在于包含:解码部，其对经编码的数据进行解码;变更数据更新部，其基于所述经编码的数据中所包含的属性信息而在所述视频存储器更新所述显示画面中的变更的区域的图像数据;及显示驱动器，其将储存在所述视频存储器的更新的图像数据显示到所述显示画面中的变更的区域;且所述编码的数据为连同对储存在所述视频存储器的图像数据是否变更进行监控而获得的所述显示画面中的变更的区域的图像数据一并对所述属性信息进行编码所得的数据。
[0016]根据本发明的实施方式，所述解码部可包含视频卡的图形处理单元(Graphic Processing Unit，GPU)〇
[0017]根据本发明的实施方式，所述经编码的数据可为联合图像专家组(Joint Photograph coding Experts Group，JPEG)形式。
[0018]根据本发明的实施方式，在所述变更的区域为多个的情况下，所述经编码的数据可为分别对所述多个变更的区域进行编码所得的数据。
[0019]根据本发明的实施方式，所述属性信息可包含所述显示画面中的所述变更的区域的坐标、所述编码的封包大小、解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)、所述显示画面为多个的情况下的显示画面的固有标识符(Unique ID，UID)中的至少一个以上。
[0020]发明的效果
[0021]根据本发明的一实施方式，实时监控储存将显示在显示画面的图像数据的视频存储器，在监控结果为显示画面上的图像变更的情况下，仅对变更的区域的图像数据进行编码人而传输，由此可提高图像处理速度。【附图说明】
[0022]图1是本发明的一实施方式的利用视频存储器的监控的图像处理装置的构成图。
[0023]图2是用以说明通过本发明的一实施方式进行的变更的区域的数据的提取及属性信息中的坐标的图。
[0024]图3是本发明的一实施方式的利用视频存储器的监控的图像处理方法，且是说明发送侧图像处理装置的流程的流程图。
[0025]图4是本发明的一实施方式的利用视频存储器的监控的图像处理方法，且是说明接收侧图像处理装置的流程的流程图。【具体实施方式】
[0026]以下，参照附图，对本发明的实施方式进行说明。然而，本发明的实施方式可变形为多种形态，本发明的范围并不仅仅限定于以下所说明的实施方式。为了进行更明确的说明，可夸张地表示图中的要素的形状及尺寸等，图中以相同的符号标注的要素为相同的要素。
[0027]图1是本发明的一实施方式的利用视频存储器的监控的图像处理装置的构成图， 图2是用以说明通过本发明的一实施方式进行的变更的区域的数据的提取及属性信息中的坐标的图。[〇〇28]如图1所示，本发明的第1实施方式的图像处理装置(120)是包含储存将显示在显示画面的图像数据的视频存储器(VM)( 123)的图像处理装置(120)，所述图像处理装置(120)可包含:镜像驱动器(MD)(124)，其对储存在视频存储器(VM)(123)的图像数据是否变更进行监控;变更数据提取部(125)，其当储存在视频存储器(VM)(123)的图像数据变更时， 从视频存储器(VM)(123)提取显示画面中的变更的区域的图像数据;及编码部(126)，其连同所提取的图像数据一并对所提取的图像数据的属性信息进行编码。[〇〇29]另外，本发明的第2实施方式的图像处理装置(130)是包含储存将显示在显示画面的图像数据的视频存储器(VM)(134)的图像处理装置(130)，所述图像处理装置(130)包含: 解码部(132)，其对经编码的数据进行解码;变更数据更新部(133)，其基于经编码的数据中所包含的属性信息而在视频存储器(134)更新显示画面中的变更的区域的图像数据;及显示驱动器(235)，其将储存在视频存储器(134)的更新的图像数据显示到显示画面中的变更的区域;且经编码的数据可为连同从视频存储器(134)获得的显示画面中的变更的区域的图像数据一并对属性信息进行编码所得的数据。
[0030]以下，参照图1至图2,详细地对本发明的一实施方式的利用视频存储器的监控的图像处理装置进行说明。发送侧装置包含显示部(110)及发送侧图像处理装置(120)，接收侧装置可包含接收侧图像处理装置(130)及显示部(140)，发送侧图像处理装置(120)与接收侧图像处理装置(130)可通过网络(Net Work，NW)收发数据。以下，区分发送侧装置及接收侧装置而详细地进行说明。[〇〇31]1?发送侧装置(110、120)[〇〇32]参照图1，显示装置(140)可包含如监控器的具备显示画面的多个显示装置(111至11N)。例如，可利用多个显示装置(111至11N)适当地分配一个图像而通过如墙控制器的控制器进行显示，或多个显示装置(111至11N)各自显示不同的图像。[〇〇33]如图1所示，接收侧图像处理装置(130)可包含图形引擎(Graphic Engine，GE)(121)、显示驱动器(Display Device，DD) (122)、视频存储器(Video Memory，VM) (123)、镜像驱动器(Mirror Diver，MD) (124)、变更数据提取部(125)、编码部(126)、发送部(127)及视频端口(129)。
[0034]此处，图形引擎(GE)(121)对是否输入画面变更命令进行监控，如果监控结果为输入画面变更命令，则可将所述画面变更命令传输到显示驱动器(DD) (122)。此处，画面变更命令是通过在使用者模式(user mode)下实行的应用程序而输入的命令，例如可为对当前显示在显示装置(110)的显示画面的图像的全部或一部分区域的变更命令。[〇〇35]如果从图形引擎(GE)(121)输入画面变更命令，则显示驱动器(DD)(122)可根据所输入的画面变更命令而将显示画面中的变更的区域的图像数据储存到视频存储器(VM)(123)的对应的区域。此后，可向图形引擎(GE)(121)传达显示请求命令，以便可将变更的区域的图像数据显示显示到显示画面。于是，图形引擎(GE)(121)根据显示请求命令而通过视频端口(128)向显示装置(110)传达变更的区域的图像数据，所传达的图像数据可通过显示装置(110)的显示画面而显示。[〇〇36]另一方面，视频存储器(VM)(123)是储存将显示在显示画面的图像数据的储存介质，可在将一个显示画面分割成多个区域后，将图像数据储存到各个区域所对应的地址。所分割的各个区域可称为帧(frame)，由此视频存储器(VM)(123)也可称为帧缓冲器(frame buffer)〇[〇〇37]另一方面，镜像驱动器(MD)(124)用于对储存在视频存储器(VM)(123)的图像数据是否变更进行监控，如果显示画面中的变更的区域的图像数据储存到视频存储器(VM) (123)，则可在感测到这一情况后，向变更数据提取部(125)通知视频存储器(VM)(123)的一部分或全部变更。[〇〇38]于是，变更数据提取部(125)可从视频存储器(VM)(123)提取显示画面中的变更的区域的图像数据，将所提取的图像数据传达到编码部(126)。[〇〇39]编码部(126)可连同从变更数据提取部(125)提取的图像数据一并对所提取的图像数据的属性信息进行编码。经编码的数据可传达到发送部(127)。此处，编码部(126)能够以联合图像专家组(Joint Photograph coding Experts Group，JPEG)形式对所提取的图像数据及所提取的图像数据的属性信息进行编码。另外，在显示画面中的2个以上的区域同时发生变更的情况下，编码部(126)可分别对变更的区域执行编码。
[0040]此处，属性信息可包含显示画面中的变更的区域的(物理)坐标、编码的封包大小、 解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)、显示画面为多个的情况下的显示画面的固有标识符(Unique ID，UID)中的至少一个以上。根据本发明的一实施方式，在属性信息中包含有时间戳，接收侧图像处理装置(130)通过利用这种时间戳，可同时显示分别进行编码而传输的两个以上的变更的区域。[〇〇41] 通常，在如H.264的编码解码器的情况下，集中多个显示画面(如果将一个显示画面整体定义为一个帧，则为多个帧)而一次性地进行编码，因此编码所需的运算处理相应地增加而负荷变多，在一个显示画面中的极小一部分区域变更的情况下，也会对整个显示画面进行编码，因此图像处理速度相应地进一步增加。[0〇42]因此，根据本发明的一实施方式，以联合图像专家组(Joint Photograph coding Experts Group，JPEG)形式对所提取的图像数据及所提取的图像数据的属性信息进行编码而传输，由此具有可在整体上提高图像处理速度的优点。[〇〇43]图2是用以说明通过本发明的一实施方式进行的变更的区域的数据的提取及属性信息中的坐标的图。
[0044] 如图1及图2所示，如果显示画面(参照图2的部分(a))中的一部分区域(211、212) 变更(参照图2的部分(b))，则显示驱动器(DD)(122)可在提取变更的区域(21U212)的图像数据后，分别储存到视频存储器(VM) (123)的对应的区域。
[0045]在图2中，表示在一个显示画面上两个以上的区域(21U212)在同一时点变更的情况，在此情况下，可分别对各个变更的区域(21U212)的图像数据进行编码而传输。在图2的部分(c)中，区域(211)的(乂、￥)、(乂+11、￥)、(乂、￥+11)、(乂+11、￥+11)例示性地说明属性信息中的变更的区域的显示画面上的实际坐标。
[0046]最后，发送部(127)可通过网络(NW)向接收侧图像处理装置(130)的接收部(131) 传输经编码的数据。[〇〇47]如上所述，图像处理装置(120)在并非为使用者模式的核心模式(kernel Mode)下进行动作，故而与如在【背景技术】中所说明的在使用者模式下进行动作的如WIN32的图形装置接口(GDI)相比，具有提高图像处理速度的技术效果。[〇〇48]2 ?接收侧装置(130、140)[〇〇49]首先，参照图1，显示装置(140)与发送侧显示装置(110)相同地，可包含如监控器的具备显示画面的多个显示装置(141至14N)。例如，可利用多个显示装置(141至14N)适当地分配一个图像而通过如墙控制器的控制器进行显示，或多个显示装置(141至14N)各自显示不同的图像。
[0050]如图1所示，接收侧图像处理装置(120)可包含接收部(131)、解码部(132)、变更数据更新部(133)、视频存储器(VM)(134)、显示驱动器(DD)(135)、图形引擎(GE)(136)及视频端口(137)〇[〇〇51]接收部(131)可在通过网络(NW)从发送侧图像处理装置(120)接收经编码的数据后，向解码部(132)传达所述经编码的数据。[〇〇52]此处，经编码的数据可为连同对储存在发送侧图像处理装置(120)的视频存储器 (VM)(123)的图像数据是否变更进行监控而获得的显示画面中的变更的区域的图像数据一并对属性信息进行编码所得的数据。[〇〇53]根据本发明的一实施方式，通过将从发送侧图像处理装置(120)传输的经编码的数据设为联合图像专家组(Joint Photograph coding Experts Group，JPEG)形式而可在整体上提高图像处理速度的方面与上述内容相同。
[0054]如果从接收部(131)传达经编码的数据，则解码部(132)可在对所述经编码的数据进行解码后，向变更数据更新部(133)传达。根据本发明的一实施方式，解码部(132)可包含作为视频卡的处理器的图形处理单元(Graphic Processing Unit，GPU)。通常，在个人电脑的中央处理装置对经编码的图像数据执行解码，在视频卡接收经解码的图像数据并输出。 因此，对个人电脑的中央处理装置赋予较多的负荷。因此，根据本发明的一实施方式，如果接收经编码的数据，则在视频卡的处理器执行对所述经编码的数据的解码，由此与以往相比，可提高处理速度。
[0055]另一方面，如果从解码部(132)传达经解码的数据，则变更数据更新部(133)可基于属性信息而在视频存储器(VM)(134)更新显示画面中的变更的区域的图像数据。[〇〇56] 此处，如上所述，属性信息可包含显示画面中的变更的区域的坐标、编码的封包大小、解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)、显示画面为多个的情况下的显示画面的固有标识符(Unique ID，UID)中的至少一个以上。
[0057]另外，根据本发明的一实施方式，在属性信息中包含有时间戳，接收侧图像处理装置(130)通过利用这种时间戳，可同时显示分别进行编码而传输的两个以上的变更的区域。 [〇〇58]视频存储器(VM)(134)储存将显示在显示装置(140)的显示画面的图像数据，特别是仅可从发送侧图像处理装置(120)更新显示画面中的变更的区域的图像数据。[〇〇59]并且，显示驱动器(DD) (135)可向图形引擎(GE) (121)传达显示请求命令，以便可将储存在视频存储器(VM)(134)的更新的图像数据显示到显示画面。
[0060]于是，图形引擎(GE) (136)根据显示请求命令而通过视频端口(137)向显示装置 (140)传达变更的区域的图像数据，所传达的图像数据可通过显示画面而显示。
[0061]另一方面，图3是本发明的一实施方式的利用视频存储器的监控的图像处理方法， 且是说明发送侧图像处理装置(120)的流程的流程图。[〇〇62]以下，参照图1至图3,对本发明的一实施方式的发送侧的图像处理方法进行说明。 然而，为了使发明简单明了，省略对与参照图1至图2所说明的事项重复的部分的说明。 [〇〇63]参照图1至图3,首先镜像驱动器(MD) (124)可实时监控储存在视频存储器(VM)(123)的图像数据是否变更(步骤S301)。[〇〇64]如果监控结果为感测到存储器(VM)( 123)变更(步骤S302)，则变更数据提取部(125)可从视频存储器(VM)(123)提取显示画面中的变更的区域的图像数据(步骤S303)。 [〇〇65]最后，编码部(126)可连同从变更数据提取部(125)提取的图像数据一并对所提取的图像数据的属性信息进行编码(步骤S304)。经编码的数据可通过发送部(127)及网络 (NW)而传输到接收侧图像处理装置(130)。[〇〇66]并且，图4是本发明的一实施方式的利用视频存储器的监控的图像处理方法，且是说明接收侧图像处理装置的流程的流程图。[〇〇67]以下，参照图1至图2及图4,对本发明的一实施方式的接收侧的图像处理方法进行说明。然而，为了使发明简单明了，省略对与参照图1至图2所说明的事项重复的部分的说明。
[0068]如果从接收部(131)传达经编码的数据，则解码部(132)可在对所述经编码的数据进行解码后(步骤S401)，将其传达到变更数据更新部(133)。根据本发明的一实施方式，如上所述，解码部(132)可包含作为视频卡的处理器的图形处理单元(Graphic Processing Unit,GPU)〇[〇〇69]另外，经编码的数据可为连同对储存在发送侧图像处理装置(120)的视频存储器 (VM)(123)的图像数据是否变更进行监控而获得的显示画面中的变更的区域的图像数据一并对属性信息进行编码所得的数据。
[0070]接着，如果从解码部(132)传达经解码的数据，则变更数据更新部(133)可基于属性信息而在视频存储器(VM)(134)更新显示画面中的变更的区域的图像数据(步骤S402)。
[0071]此处，如上所述，属性信息可包含显示画面中的变更的区域的坐标、编码的封包大小、解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)、显示画面为多个的情况下的显示画面的固有标识符(Unique ID，UID)中的至少一个以上。[〇〇72]另外，根据本发明的一实施方式，在属性信息中包含有时间戳，接收侧图像处理装置(130)通过利用这种时间戳，可同时显示分别进行编码而传输的两个以上的变更的区域。 [〇〇73]最后，显示驱动器(DD)(135)可对图形引擎(GE) (121)进行控制而将储存在视频存储器(VM)(134)的更新的图像数据显示到显示画面中的变更的区域(步骤S403)。
[0074]本发明并不限定于上述实施方式及附图。本技术领域的普通技术人员应明白应以随附的权利要求书限定权利范围，可在不脱离权利要求书中所记载的本发明的技术思想的范围内实现各种形态的置换、变形及变更。[〇〇75]符号的说明
[0076] 110:显示装置(发送侧)120:图像处理装置(发送侧)[〇〇77] 121:图形引擎(发送侧)122:显示驱动器(发送侧)[〇〇78] 123:视频存储器(发送侧)124:镜像驱动器 [〇〇79]125:变更数据提取部126:编码部[〇〇8〇]127:发送部128:视频端口(发送侧)[〇〇811130:图像处理装置(接收侧)131:接收部[〇〇82]132:解码部133:变更数据更新部[〇〇83] 134:视频存储器(接收侧)135:显示驱动器(接收侧) [〇〇84]136:图形引擎(接收侧)137:视频端口(接收侧)[〇〇85]140:显示装置(接收侧)211、212:变更的区域
【主权项】
1.一种图像处理装置，其包含在将显示画面分割成多个区域后，将进行显示的图像数 据储存到各个分割的区域所对应的地址的视频存储器，且在核心模式下进行动作，所述图 像处理装置的特征在于包含:镜像驱动器，其对储存在所述视频存储器的地址的图像数据是否变更进行监控；变更数据提取部，其当储存在所述视频存储器的地址的图像数据变更时，从所述视频 存储器提取所述显示画面中的变更的区域的图像数据;及编码部，其连同所述提取的图像数据一并对所述提取的图像数据的属性信息进行编 码;且所述属性信息包含所述显示画面中的所述变更的区域的坐标、所述编码的封包大小、 解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)及所述显示画面为多个的情况下 的显示画面的固有标识符(Unique ID，UID)。2.根据权利要求1所述的图像处理装置，其特征在于:所述编码部以联合图像专家组(Joint Photograph coding Experts Group，JPEG)形 式对所述提取的图像数据及所述提取的图像数据的属性信息进行编码。3.根据权利要求1所述的图像处理装置，其特征在于:在所述变更的区域为多个情况下，所述编码部分别对所述多个变更的区域进行编码。4.一种图像处理装置，其接收经编码的数据而进行显示，所述图像处理装置的特征在 于包含:解码部，其接收所述经编码的数据而进行解码；变更数据更新部，其基于所述经编码的数据中所包含的属性信息而在视频存储器更新 显示画面中的变更的区域的图像数据;及显示驱动器，其将储存在所述视频存储器的更新的图像数据显示到所述显示画面中的 变更的区域;且所述经编码的数据为连同对储存在视频存储器的地址的图像数据是否变更进行监控 而获得的图像数据一并对所述属性信息进行编码所得的数据，所述视频存储器是在将发送 所述经编码的数据的发送侧图像处理装置的显示画面分割成多个区域后，将进行显示的图 像数据储存到各个分割的区域所对应的地址，且所述发送侧图像处理装置在核心模式下进 行动作，所述属性信息包含所述显示画面中的所述变更的区域的坐标、所述编码的封包大小、 解析度、时间戳、每秒传输帧数(Frame Per Second，FPS)及所述显示画面为多个的情况下 的显示画面的固有标识符(Unique ID，UID)。5.根据权利要求4所述的图像处理装置，其特征在于:所述解码部包含视频卡的图形处理单元(Graphic Processing Unit ARJ)。6.根据权利要求4所述的图像处理装置，其特征在于:所述经编码的数据为联合图像专家组(Joint Photograph coding Experts Group， JPEG)形式。7.根据权利要求4所述的图像处理装置，其特征在于:在所述变更的区域为多个情况下，所述经编码的数据为分别对所述多个变更的区域进 行编码所得的数据。
【文档编号】H04N19/43GK105993176SQ201480061396
【公开日】2016年10月5日
【申请日】2014年9月5日
【发明人】朴庆植, 李柱尚, 梁景喆
【申请人】伊艾斯伊有限公司