显示控制装置、显示控制系统、显示控制方法和计算机程序产品的制作方法

显示控制装置、显示控制系统、显示控制方法和计算机程序产品的制作方法
【专利摘要】显示控制装置包括：存储单元，存储已经由显示单元显示的已存储输出图像和当由显示单元显示已存储输出图像时由用户在显示单元上绘制出的绘制图像；确定单元，确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应；存储控制单元，当确定单元确定由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应时，提示存储单元存储由信息处理装置输出的输出图像；以及显示控制单元，提示显示单元显示由信息处理装置输出并且存储在存储单元中的输出图像。
【专利说明】显示控制装置、显示控制系统、显示控制方法和计算机程序产品
【技术领域】
[0001 ] 本发明涉及显示控制装置、显示控制系统、显示控制方法和包括用于执行显示控制方法的计算机程序的计算机程序产品。
【背景技术】
[0002]现有技术中已知用于会议的各种类型的显示装置(例如参见日本特开专利公开第2011-141835号)。常规显示装置可以被连接到输出输出图像到显示装置的个人计算机(PC)，以便该显示装置可以显示该输出图像。另外，已知用于使得用户能够在显示装置的显示区域上绘制字符和/或图像的技术。这样，显示装置可以显示叠加在由PC输出的输出图像上的绘制图像。
[0003]图1A-1C是图示现有技术的问题的示图。图1A示出从PC2向显示装置I输出的示例性输出图像。在图1A中，从PC输出圆形分析图图像(pie chart image)作为输出图像。图1B示出添加到输出图像上的示例性绘制图像。在图1B中，用户添加作为绘制图像的字“重要”到输出图像上。图1C示出来自PC2的输出图像被切换到另一输出图像的情形。在图1C中，显示具有首部“今天的总结”的输出图像。在常规显示装置中，利用之前输出图像显示的绘制图像“重要”即使在显示另一输出图像之后仍显示在显示区域中，以便不能够预期地显示显示绘制图像之后显示的输出图像。

【发明内容】

[0004]要解决的技术问题
[0005]本发明的至少一个实施例的总目的是提供可以基本消除现有技术的限制和缺点引起的一个或者多个问题的显示控制装置、显示控制系统、显示控制方法和计算机程序。
[0006]本发明的至少一个实施例的具体目的是提供即使当切换或者改变输出图像时可以精确显示由信息处理装置输出的输出图像的显示控制装置、显示控制系统、显示控制方法和计算机程序。
[0007]解决问题的技术手段
[0008]根据本发明的一个实施例，提示显示单元显示由信息处理装置输出的输出图像的显示控制装置包括:存储单元，与绘制图像相关联地存储已经由显示单元显示的已存储输出图像，该绘制图像是当由显示单元显示已存储输出图像时由用户在显示单元上绘制的；确定单元，确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应；存储控制单元，当确定单元确定由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应时，提示存储单元存储由信息处理装置输出的输出图像；以及显示控制单元，提示显示单元显示由信息处理装置输出并且存储在存储单元中的输出图像。
[0009]本发明的效果
[0010]根据本发明的一个方面，即使当切换或者变更输出图像时，也可以在显示单元上精确地显示由信息处理装置输出的输出图像。
【专利附图】

【附图说明】
[0011]图1A-1C是图示现有技术的问题的示图；
[0012]图2是示出根据本发明的实施例的显示系统的示例性配置的框图；
[0013]图3是根据本发明的实施例的显示控制装置的透视图；
[0014]图4是示出显示控制装置的示例性硬件配置的框图；
[0015]图5是示出显示控制装置的另一示例性硬件配置的框图；
[0016]图6是示出显示控制装置的控制单元的示例性功能配置的框图；
[0017]图7是示出由显示控制装置执行的示例性处理步骤的流程图；
[0018]图8是示出在显示控制装置的存储单元中存储的示例性显示图像清单的示图；
[0019]图9A-9C是示出输出图像和显示图像的示例的示图；
[0020]图10是示出另一示例性显示图像清单的示图；
[0021]图11是示出另一示例性显示图像清单的示图；
[0022]图12是示出另一示例性显示图像清单的示图；
[0023]图13A-13C是示出输出图像和显示图像的其他示例的示图；
[0024]图14是示出根据另一实施例的控制单元的另一示例性功能配置的框图；
[0025]图15是示出另一示例性显示图像清单的示图；
[0026]图16是示出与用户ID相关联地存储显示图像清单的示例性方式的表；
[0027]图17是示出根据本发明的实施例的确定处理中使用的示例性确定块的示图；
[0028]图18是示出另一示例性显示图像清单的示图；
[0029]图19是示出根据本发明的实施例的计算处理中使用的示例性测试区域的示图；
[0030]图20是示出显示图像的示例性图像层配置的示图；以及
[0031]图21A-21B是示出输出图像和显示图像的其他示例的示图。
[0032]参考标号的描述
[0033]100:信息处理装置
[0034]200显示控制装置
[0035]202:显示单元
[0036]202a:显示区域
[0037]204:安装台
[0038]206:打印机容纳单元
[0039]208:视频容纳单元
[0040]210:计算机容纳单元
[0041]250:控制单元
[0042]252:主存储单元(存储单元)
[0043]254:辅助存储单元
[0044]256:外部存储设备接口
[0045]259:外部装置连接接口
[0046]260:网络接口[0047]262:操作单元
[0048]300:确定单元
[0049]302:显示控制单元
[0050]304:存储控制单元
[0051]306:检测单元
[0052]308:计算单元
【具体实施方式】
[0053]下面，参考附图描述本发明的实施例。注意，不同实施例中使用的相同特征和部件被赋予相同的参考标号，并且省略它们的描述。
[0054]<第一实施例>
[0055]图2示出根据本发明的第一实施例的显示系统1000的示例性功能配置。显示系统1000包括信息处理装置100和显示控制装置200。信息处理装置100例如可以是PC、平板或智能手机。当用户输入输出命令到信息处理装置100时，从信息处理装置100向显示控制装置200输出图像(下文称为“输出图像”)。输出图像例如可以是文本、图形、图案或者其组合。注意，显示控制装置200在信息处理装置100输出输出图像的同时继续显示输出图像。
[0056]显示控制装置200和显示系统1000优选适用于会议。相应地，在下面的描述中，假设显示控制装置200和显示系统1000用于会议。
[0057]图3是从前侧的显示控制装置200的透视图。图3中所示的显示控制装置200包括显示单元202、安装台204、打印机容纳单元206、视频容纳单元208、计算机容纳单元210和脚轮212。显示单元202包括在其上显示来自信息处理装置100的输出图像的显示区域202a。
[0058]显示单元202可以包括具有例如大约40-60英寸的屏幕尺寸的投影仪或者由液晶或者等离子体制成的平面板。显示单元202也具有触摸面板功能。用户(例如，会议的主持者)可以使用绘制工具，以在显示单元202上绘制图像。在由显示单元202显示输出图像的情形下，用户可以将在显示单元202上绘制的图像叠加在由显示单元202显示的输出图像上，以呈现各种信息项。注意，绘制工具例如可以是用户的指尖、触控笔或者图4中所示的操作单元262(例如，鼠标或者键盘)。注意，由用户使用绘制工具绘制出的图像在下文中称为“绘制图像”。
[0059]操作单元262 (例如，鼠标或者键盘)安装在安装台204上，以便操作单元262可以用于输入信息到显示控制装置200。打印机容纳单元206的前侧被布置到门里，并且可以打开该门以容纳用于打印由显示单元202显示的输出图像的打印机(未示出)。
[0060]视频容纳单元208的前侧被布置到门里，并且可以打开该门以使得用户能够加载或者弹出诸如视频带或者激光盘之类的外部介质。计算机容纳单元210的前侧被布置到门里，并且可以打开该门以容纳计算机(与图4中所示的控制单元250、主存储单元252和辅助存储单元254对应)。脚轮212被布置在显示控制装置200的底部，以便显示控制装置200可以被移动到期望位置。
[0061]图4是示出显示控制装置200的示例性硬件配置的框图。在图4中，显示控制装置200包括控制单元250、主存储单元(也称为“存储单元” )252、辅助存储单元254、外部存储设备接口 256、外部装置连接接口 259、网络接口 260、操作单元262和显示单元202。
[0062]控制单元250控制各种单元的操作，并且在计算机(即，容纳在图3中所示的计算机容纳单元210内部的计算机)内执行数据计算和处理。控制单元250执行存储在主存储单元252中的程序，接收来自外部的数据，计算和处理接收到的数据，并且输出产生的处理后数据。
[0063]主存储单元252例如可以是ROM (只读存储器)和RAM (随机存取存储器)，其存储诸如要由控制单元250执行的操作软件和应用软件之类的基本软件的数据和程序。
[0064]辅助存储单元254例如可以是存储与应用软件相关联的数据的HDD(硬盘驱动器)。外部存储设备接口 256作为显示控制装置200和经由诸如USB (通用串行总线)之类的数据传输线连接到显示控制装置200的存储介质258 (例如，USB存储器或者⑶-ROM)之间的接口。
[0065]存储介质258存储要由显示控制装置200执行的、可以经由外部存储设备接口 256安装在显示控制装置200中的预定程序。
[0066]外部装置连接接口 259可以是诸如VGA(视频图形阵列)输入连接器或者USB端口之类的物理接口，用于在显示控制装置200和诸如图2中所示的信息处理装置100(例如，PC)之类的外部装置之间建立连接。
[0067]网络接口 260充当显示控制装置200和信息处理装置100之间的接口，信息处理装置100经由诸如由有线和/或无线数据传输线路组成的局域网(LAN)或者广域网(WAN)的网络连接到显示控制装置200。
[0068]操作单元262例如可以是鼠标或者键盘，其使得用户能够输入各种命令到显示控制装置200。例如，操作单元262可以由用户操作，以开始或者结束安装在显示控制装置200中的应用。
[0069]图5是示出显示控制装置200的另一示例性硬件配置的框图。在图5中，显示控制装置200包括控制单元250、主存储单元252、辅助存储单元254、外部存储设备接口 256、外部装置连接接口 259、网络接口 260、操作单元262和触摸面板驱动器264。
[0070]注意，在图5中，显示单元202与经由外部装置连接接口 259连接到显示控制单元200的外部装置对应。此外，在图5中，触摸面板266经由触摸面板驱动器264连接到显示控制装置200。
[0071]触摸面板266实现显示单元202的触摸面板功能。触摸面板266包括从绘制单元270接收无线信号的接收单元268。绘制单元270例如可以是电子笔，其可以在触摸面板266上操作以生成绘制图像或者选择正在显示的图像。例如，接收单元268可以从绘制单元270接收指示已经触摸触摸面板266的信号。
[0072]布置触摸面板266以与显示单元202重叠。当通过操作绘制单元270在触摸面板上绘制图像时，与由显示单元202显示的输出图像一起显示绘制图像。
[0073]注意，在图5中所示的示例中，布置绘制单元270和接收单元268以建立无线通信。然而，在其他示例中，绘制单元270和接收单元268可以使用电缆建立通信。此外，在图5中，使用绘制单元270以在触摸面板上绘制图像。然而，在其他示例中，可以配置触摸面板266以借助其他手段(诸如通过检测用户的指尖的触摸)生成绘制图像。[0074]图5的显示单元202例如可以是由液晶或者等离子体制成的平面板或者诸如投影仪之类的投影设备。
[0075]图6是示出控制单元250的示例性功能配置的框图。在图6中所示的示例中，控制单元250包括确定单元300、显示控制单元302、存储控制单元304和检测单元306。
[0076]图7是示出由显示控制装置200执行的示例性处理步骤的流程图。在一个优选实施例中，可以以预定时间段t(例如，IOms)的间隔周期地执行图7的处理。
[0077]为了开始图7的显示控制处理，首先，用户提示显示控制装置200以识别会议已经开始。
[0078]例如，可以布置显示控制装置200以当开始用于执行根据本发明的实施例的显示控制功能的下载在显示控制装置200中的应用时，识别会议的开始。在另一示例中，可以布置显示控制装置200以当开启显示控制装置200的主开关时识别会议的开始。
[0079]<第一次处理>
[0080]下面，描述紧接在会议开始之后第一次执行的第一次处理的示例性处理步骤(即，已经从显示控制装置200识别会议的开始的时间流逝预定时间段t之后执行的处理)。
[0081]当显示控制装置200识别到会议的开始时，确定单元300确定输出图像是否存储在存储单元252中(S71)。
[0082]在本实施例中，配置存储单元252以存储经由外部装置连接接口 259或者网络接口 260从信息处理装置100输出的一个或者多个输出图像。下面，存储单元252中存储的输出图像称为“已存储输出图像”，而由信息处理装置100输出的图像称为“输出图像”。
[0083]当第一次执行图7的显示控制处理时，存储单元252不具有任何已存储输出图像。相应地，在步骤S71，确定单元300确定存储单元252中没有存储已存储输出图像(S71中的“否”)，并且处理进行到步骤S73。
[0084]在步骤S73，存储控制单元304捕获由信息处理装置100输出的新输出图像，并且在存储单元252中存储捕获的输出图像作为已存储输出图像。
[0085]图8示出本实施例中在存储单元252中存储已存储输出图像的示例性方式。在图8中，存储单元252在显示图像清单中存储已存储输出图像。注意，“显示图像”指的是由显示单元202显示的图像，其可以包括由信息处理装置100输出的输出图像和在输出图像上绘制出的绘制图像。
[0086]在本示例中，图像仍没有由用户绘制出，使得不在显示图像清单中存储绘制图像，并且仅仅将已存储输出图像X存储为“显示图像I”。图8的显示图像清单指示已存储输出图像X在存储单元252内的参考地址(存储地址)和输出图像X的显示尺寸。由垂直方向上的像素的数量(高度)和横向方向上的像素的数量(宽度)确定显示尺寸。
[0087]在步骤S74，显示控制单元302使用与由信息处理装置100输出的输出图像对应的已存储输出图像x(见图8)生成合成图像。也就是，本示例中不在显示图像清单中存储要与已存储输出图像X组合的绘制图像，以便已存储输出图像X单独被用于生成合成图像。然后，在步骤S75，显示控制单元302提示显示单元202显示与已存储输出图像X对应的合成图像，在其之后结束处理。注意，在步骤S74中，显示控制单元302例如可以替代地通过组合已存储输出图像X和作为绘制图像的空(NULL)图像生成合成图像。[0088]图9A-9C示出由信息处理装置100输出的示例性输出图像和在显示单元202的显示区域202a上显示的示例性显示图像。图9A示出信息处理装置100输出输出图像X(即，本示例中的圆形分析图图像)并且显示控制装置200执行步骤S71、S73、S74和S75以在显示区域202a上显示输出图像X的情形。
[0089]如上面描述，在一个优选实施例中，可以以预定时间段t的间隔周期地执行图7的显示控制处理。在该情形下，可以在预定时间段t(例如，IOms)流逝之后从步骤S71起重新开始图7的显示控制处理。
[0090]<后续处理>
[0091]下面，描述第一次处理之后执行的后续处理(即，从完成第一次处理的时间流逝预定时间段t之后执行的处理)的示例性处理步骤。在下面描述的示例中，假设信息处理装置100正向显示控制装置200输出输出图像X，如图9A中所示。
[0092]在步骤S71，确定单元300确定已存储输出图像是否被存储在存储单元252中。因为在本示例中存储单元252存储已存储输出图像X，所以确定单元300确定已存储输出图像被存储(S71中的“是”)。
[0093]在步骤S72中，确定单元300确定输出图像是否与已存储输出图像对应，以及输出图像位置是否与已存储输出图像位置对应。注意，关于输出图像是否与已存储输出图像对应的确定可以称为“第一确定”，并且关于输出图像位置是否与已存储输出图像位置对应的确定可以称为“第二确定”。此外，注意，“输出图像位置”指的是输出图像在显示单元202的显示区域202a内的位置。
[0094]注意，在第二确定中，例如，当滚动由信息处理装置100输出的输出图像时，确定单元300可以确定输出图像位置不与已存储输出图像位置对应。可以在信息处理装置100 (例如由使用鼠标的拖放操作或者窗口滚动操作)或者在显示单元中执行输出图像的滚动。例如，用户可以使用显示单元202的触摸面板功能(例如，相对显示单元202滑动手指)执行显示单元202上的滚动操作。
[0095]在由信息处理装置100输出输出图像X(圆形分析图图像)并且在显示区域202a上显示该输出图像(如图9A中所示)的本示例中，在步骤S73中在存储单元252中存储输出图像X(圆形分析图图像)，如图8中所示。另外，因为没有改变由信息处理装置100输出的输出图像X (圆形分析图图像)并且用户没有滚动该输出图像X，所以在步骤S72，确定单元300确定输出图像与已存储输出图像对应，并且确定输出图像位置与已存储输出图像位置对应。由此，该处理进行到步骤S76。
[0096]在步骤S76，如果由用户绘制绘制图像，则存储控制单元304与已经被确定为与由信息处理装置100输出的输出图像对应的已存储输出图像相关联地在存储单元252中存储绘制图像。注意，绘制图像与由用户(主持者)使用绘制工具(例如，手指或者触控笔)(如上面描述)在显示单元202上绘制出的图像对应。
[0097]注意，在本实施例中，检测单元306确定图像是否已经由用户绘制出。检测单元306检测绘制工具何时与显示单元202接触，并且确定图像已经由绘制工具绘制出。在图9A中所示的示例性情形下，因为用户没有在显示单元202上绘制出图像，所以跳过步骤S76，并且该处理进行到步骤S77。另一方面，在已经在显示单元202上绘制出图像的情形下，检测单元306确定绘制图像的坐标。[0098]在步骤S77，显示控制单元302组合确定为与输出图像(本示例中图8中所示的输出图像X)对应的已存储输出图像和与已存储输出图像相关联地存储的绘制图像来生成合成图像(如果适用)。因为本示例中不与已存储输出图像相关联地存储绘制图像，所以，仅仅使用已存储输出图像X来生成合成图像。
[0099]然后,在步骤S75,显示控制单元302提示显示单元202显示合成图像(本示例中与已存储输出图像对应)。注意，此时，完成步骤S75，由信息处理装置100输出的输出图像和由显示单元202显示的显示图像可以保持如图9A中所示那样。
[0100]〈显示绘制图像的处理〉
[0101]下面，描述当用户在显示单元202上绘制图像时图7的显示控制处理的示例性处理步骤。在下面描述的示例中，假设由用户在由显示单元202显示的输出图像X上绘制绘制图像X，如图9B中所示。图9B中所示的绘制图像X包括字“重要”和围绕该字的波浪线。在由用户绘制绘制图像X的情形下，显示控制装置200可以以下面描述的方式执行图7的显示控制处理。
[0102]在步骤S71，因为本示例中在存储单元252中存储已存储输出图像X，所以确定单元300做出肯定确定(“是”)。然后，确定单元300在步骤S72的第一确定中确定输出图像X(即，圆形分析图图像)与已存储输出图像X对应，并且在步骤S72的第二确定中确定输出图像位置与已存储输出图像位置对应。由此，处理进行到步骤S76。
[0103]在步骤S76，如果检测到绘制图像，则存储控制单元304与已经被确定为与输出图像对应的已存储输出图像相关联地存储绘制图像。因为在图9B中由用户绘制出绘制图像X，所以存储控制单元304与已经被确定为与由信息处理装置100输出的输出图像X对应的已存储输出图像X相关联地存储绘制图像X。
[0104]图10示出其中与图8中所示的已存储输出图像X相关联地存储绘制图像xJPx2的示例性显示图像清单。在图10的示例中，绘制图像xn(其中，η代表自然数)与一笔画图像(one-stroke image)对应。一笔画图像指的是在从绘制工具(例如，用户的手指或者触控笔)与显示单元202接触的时间直至绘制工具停止与显示单元202接触的时间期间绘制的图像。
[0105]在图10中，对于绘制图像Xn存储图像特征值和ID。在本示例中，图像特征值与绘制图像Xn的RGB值、线宽度和坐标对应。该坐标与绘制图像Xn的开始点在显示区域202a内的横向和垂直像素位置对应。注意，在图10中，存储的绘制图像与一笔画图像对应。然而，在以预定时间段t(例如，IOms)的间隔执行图7的显示控制处理的情形下，例如在预定时间段期间绘制出的图像可以被存储为存储的绘制图像。
[0106]在图9B中，包括单词“重要”和波浪线的绘制图像X由多个一笔画图像组成。相应地，可以与已存储输出图像X相关联地存储多个绘制图像xrxn。
[0107]在步骤S77中，显示控制单元302组合已经被确定为与输出图像X对应的已存储输出图像X和与已存储输出图像X相关联地存储的绘制图像X1-Xn以生成合成图像。然后，在步骤S75,显示控制单元302提示显示单元202显示合成图像。这样，显示单元202可以显示输出图像X和绘制图像X的合成图像,如图9Β中所示。
[0108]<当切换输出图像时的处理>
[0109]下面，描述当用户(会议的主持者)切换(改变)由信息处理装置100输出的输出图像时执行的图7的显示控制处理的处理步骤。在下面描述的示例中，假设用户将输出图像从输出图像X(与圆形分析图图像对应)切换到如图9C中所示的输出图像Y(与命名为“今天的总结”的文档图像对应)。
[0110]在该情形下，因为已存储输出图像X已经存储在存储单元252中，所以确定单元300在步骤S71中做出肯定确定(“是”)。在步骤S72的第一确定中，确定单元300确定输出图像是否与已存储输出图像对应。在本示例中，因为输出图像Y仍没有存储在存储单元252中，所以确定单元300确定输出图像不与已存储输出图像对应。由此，处理进行到步骤S73。
[0111]在步骤S73，存储控制单元304在存储单元252中存储由信息处理装置100输出的新输出图像Y。图11示出其中存储新输出图像Y的示例性显示图像清单。在图11中，输出图像Y被存储为“显示图像2”。在步骤S74中，显示控制单元302使用与由信息处理装置100输出的输出图像Y对应的已存储输出图像Y (即，在步骤S73新存储的已存储输出图像Y)生成合成图像。然后，在步骤S75,显示控制单元302提示显示单元202显示与已存储输出图像Y对应的合成图像。
[0112]这样，存储单元252可以存储已经在会议期间显示的一个或者多个输出图像和/或绘制图像。此外，存储单元252可以与已存储输出图像相关联地存储一个或者多个绘制图像。
[0113]下面，描述在用户将由信息处理装置100输出的输出图像恢复到(切换回)之前状态的情形下执行的图7的显示控制处理的处理步骤。例如，在从图9C到图9Β中所示的状态恢复由信息处理装置100输出的输出图像(从输出图像Y切换回输出图像X)的情形下，确定单元300在步骤S71中做出肯定确定(“是”)，并且在步骤S72确定输出图像与已存储输出图像对应，并且输出图像位置与已存储输出图像位置对应。因为在本示例中没有绘制图像，所以跳过步骤S76，并且该处理进行到步骤S77。
[0114]在步骤S77，显示控制单元302组合被确定为与由信息处理装置100输出的输出图像对应的已存储输出图像x(图11中所示的已存储输出图像X)和与已存储输出图像X相关联地存储的绘制图像x(图11中的绘制图像&和&)以生成合成图像，并且在步骤S75，显示控制单元302提示显示单元202显示合成图像。也就是，如在本示例中，当输出图像被切换回之前已经被输出并且被显示的输出图像时，显示单元202可以与绘制图像一起显示之前显示的输出图像，该绘制图像与之前显示的输出图像相关联地存储。
[0115]此外，在用户在与输出图像Y对应的显示图像Y如图9C中所示被显示的同时用户在显示单元202上绘制绘制图像I (未示出)的情形下，存储控制单元304在步骤S76与已存储输出图像Y相关联地存储新绘制的图像为绘制图像yl。图12示出其中与已存储输出图像Y相关联地存储绘制图像yl为“显示图像2”的示例性图像清单。然后，在步骤S77和S75，显示控制单元302组合已存储输出图像Y和绘制图像yl以生成合成图像，并且在显示单元202上显示合成图像。
[0116]注意，在显示单元202上显示切换之前输出的输出图像时用户切换由信息处理装置100输出的输出图像而不需要在显示单元202上绘制任何图像的情形下，存储单元252不与和该切换之前输出的输出图像对应的已存储输出图像相关联地存储任何绘制图像。
[0117]根据本实施例的一个方面，确定单元300确定由信息处理装置100输出的输出图像是否与存储单元252中存储的已存储输出图像对应。例如，在用户在如图9B所示的输出图像X上绘制图像X并且然后用户将由信息处理装置100输出的输出图像从输出图像X切换到如图9C所示的输出图像Y的情形下，确定单元300确定由信息处理装置100输出的输出图像不与存储单元252中存储的输出图像对应。依次地，执行步骤S73、S74和S75，以便可以显示与输出图像Y对应的显示图像。
[0118]这样，当切换输出图像X到输出图像Y时，可以精确地显示与输出图像Y对应的显示图像，而不用在输出图像X上绘制的绘制图像X保持显示在显示单元202上。
[0119]根据本实施例的另一方面，例如，在其中输出图像X和绘制图像X如图9B地被显示(此后，输出图像Y如图9C中所示地显示)并且然后用户使得信息处理装置输出输出图像X的情形下，执行步骤S71、S72、S76和S77，以便与当之前在显示单元202上显示输出图像X时绘制的绘制图像X —起来显示输出图像X。这样，会议的主持者和参与者可以查看之前显示的输出图像以及之前在显示的输出图像上绘制的绘制图像。
[0120][第二实施例]
[0121]下面，描述用于适应滚动输出图像的情形的本发明的第二实施例。在下面描述的示例中，假设如图13A(与图9B相同)中所示，在显示单元202的显示区域202上显示包括输出图像X和绘制图像X的显示图像。注意，在一些情形下，依赖于会议如何进行，用户可能希望如图13B-13C所示地滚动输出图像X。例如，可以通过执行拖放操作在信息处理装置100侧或者在显示单元202侧执行滚动。注意，在下文中，已经被滚动的输出图像X被标识为“输出图像X”。
[0122]在图13B中，绘制图像X不跟随输出图像X的滚动移动。也就是，不相互精确地定位滚动后的输出图像X’和绘制图像X。根据本实施例，根据输出图像X的滚动移动来移动绘制图像X，以便可以关于滚动后的输出图像X’精确地定位绘制图像X，如图13C中所示。
[0123]图14是示出根据第二实施例的控制单元250的示例性功能配置的框图。注意，根据第二实施例的控制单元250与第一实施例不同在于，除了图6中所示的功能单元之外，它还包括计算单元308。
[0124]下面，参考图7描述紧接在滚动输出图像X以显示滚动输出图像X’之后(即，将输出图像和显示图像从图13A改变到图13B或者图13C之后)执行的处理步骤。在下面描述的示例中，假设存储单元252在滚动输出图像之前存储如图10中所示的显示图像清单。
[0125]根据第一示例，在步骤S71，确定单元300做出肯定确定(“是”)。然后，在步骤S72，确定单元300确定输出图像X’与已存储输出图像X对应，但是输出图像X’的位置不与已存储输出图像X的位置对应。由此，该处理进行到步骤S78。
[0126]在步骤S78，计算单元308计算在输出图像X’的位置和已存储输出图像X的位置之间的偏移距离d。注意，稍后描述计算单元308计算偏移距离d的方式。偏移距离d包括X轴方向上的距离分量和Y轴方向上的距离分量。
[0127]然后，在步骤S79，存储控制单元304更新存储单元252中存储的已存储输出图像X为已存储输出图像X’。此外，存储控制单元304更新存储单元252中存储的存储的绘制图像X为绘制图像X’。注意，可以通过将绘制图像X移动偏移距离d，来实现存储的绘制图像X到绘制图像X’的更新。
[0128]在本示例中，假设由计算单元308计算出的偏移距离d在X轴方向和Y轴方向二者上是+10。
[0129]图15示出执行上述步骤S79的更新处理之后存储单元252中存储的示例性显示图像清单。如可以通过比较图15与图10明白的那样，存储输出图像X被更新为存储输出图像V，绘制图像X1被更新为绘制图像Xl’，绘制图像X2被更新为绘制图像x2’。另外，将绘制图像X/和χ2’的X轴坐标和Y轴坐标按+10递增。
[0130]在步骤S80，组合更新后的已存储输出图像X和更新后的绘制图像X’来生成合成图像。然后，在步骤S75,显示控制单元302提示显示单元202显示合成图像。
[0131]通过执行上面的处理步骤S78、S79和S80，可以由显示单元202显示被移动偏移距离d的滚动后的输出图像和绘制图像。这样，即使当用户滚动输出图像(例如，输出图像X被滚动为输出图像X’ )时，也可以根据输出图像的滚动移动来调整与输出图像相关联的绘制图像(例如，绘制图像X被更新为绘制图像X’ )。
[0132]注意，在上面第一示例中，当滚动输出图像时，存储控制单元304在步骤S79中更新已存储输出图像X为已存储输出图像V，并且更新存储的绘制图像X为存储的绘制图像X’。然后，显示控制单元302使用更新后的已存储输出图像X’和更新后的绘制图像X’以生成合成图像。
[0133]在第二示例中，替代使得存储控制单元302执行步骤S79，可以布置检测单元306以检测何时滚动输出图像，并且可以布置计算单元308以计算偏移距离d。然后，可以布置显示控制单元302以提示显示单元202显示滚动后的输出图像和被移动偏移距离d的相关联的绘制图像。
[0134]在本示例中，为了使得检测单元306能够检测何时滚动输出图像，信息处理100不得不具有用于发送滚动信号到显示控制装置200的机制，以指示已经滚动输出图像。
[0135]注意，在第一示例中，信息处理装置100不需要用于发送滚动信号到显示控制装置200的这种机制，并且可以通过简单使得确定单元300确定输出图像是否与已存储输出图像对应，来根据输出图像的滚动移动调整绘制图像的显示。
[0136]另一方面，在第二示例中，可以根据输出图像的滚动移动调整绘制图像，而不用要求存储控制单元302执行步骤S79。
[0137]根据本实施例的一个方面，即使当滚动输出图像时，也可以根据输出图像的滚动移动调整与输出图像相关联的绘制图像。
[0138][第三实施例]
[0139]下面，作为本发明的第三实施例描述会议期间生成的显示图像清单。可以在会议期间生成并且在存储单元252中存储诸如图8中所示的显示图像清单。
[0140]注意，例如可以在每次举行会议时生成根据本实施例的显示清单。例如，一个会议可以是从识别到会议的开始的时间直至识别到会议的结束的时间。例如可以当开始用于执行根据本发明的实施例的显示控制功能的下载在显示控制装置200中的应用时或者当开启显示控制装置200的主开关时，识别会议的开始。例如可以当结束该应用时或者当关断显示控制装置200的主开关时，识别会议的结束。
[0141]在一个实施例中，可以每当举行会议时生成显示图像清单，并且可以当会议结束时删除生成的显示图像清单。这样，可以降低存储单元250的存储负荷。
[0142]在另一实施例中，不是删除在会议中生成的显示图像清单，而是可以将显示图像清单与预定标识信息相关联地存储为档案。预定标识信息例如可以是用户ID或者会议的日期。图16示出其中与用户ID相关联地存储显示图像清单的示例。通过与诸如用户ID或者会议的日期的预定标识信息线关联地存储显示图像清单，可以在以后查看之前会议中显示的输出图像以及当在该之前会议中显示输出图像时绘制的绘制图像。
[0143]此外，通过与用户ID相关联地存储显示图像清单，可以防止显示图像清单被其他用户访问，以便例如可以确保显示图像清单的安全性。
[0144][第四实施例]
[0145]下面，作为本发明的第四实施例，描述确定单元300的确定定时。
[0146]可以布置确定单元300以在预定时间时段t的间隔周期性做出图7的步骤S72的确定，或者可以布置确定单元300以当切换输出图像时(例如，当输出图像从图9B切换到图9C时)做出步骤S72的确定。
[0147]在后者的情形下，为了使得显示控制装置200能够识别输出图像的切换，显示处理装置100具有用于当切换输出图像时发送图像切换信号到显示控制装置200的机制。
[0148]注意，当布置确定单元200以在预定时间段t的间隔周期性做出步骤S72的确定时，信息处理装置100不需要上述用于发送图像切换信号的机制。另一方面，当布置确定单元300以当切换输出图像时做出步骤S72的确定时，可以降低执行确定处理的频率。
[0149][确定单元300]
[0150]下面，描述其中确定单元300执行确定处理的示例性方式。在下面描述的示例中，布置确定单元300，以使用标准化互相关做出确定。
[0151]图17图示由确定单元300执行的示例性确定处理。在图17的示例，确定单元300使用确定块以确定输出图像是否与已存储输出图像对应(即，它们是否相同)。确定块由MXN个像素组成(其中，M和N 二者代表自然数)，并且确定块被用于输出图像和已存储输出图像。确定单元300确定由确定块覆盖的输出图像的像素和由确定块覆盖的已存储输出图像的像素的图像特征值(例如，RGB值)是否对应。
[0152]在图17中，输出图像和已存储输出图像的确定块二者都被布置在与坐标(0，0)对应的位置处，并且确定单元300确定由确定块覆盖的像素的图像特征值是否对应。当做出关于图像特征值是否对应的确定时，输出图像和已存储输出图像的确定块二者都在X轴方向上被移动N个像素，并且确定单元300以类似方式重复由确定块覆盖的像素的图像特征值是否对应的确定。
[0153]通过重复确定由确定块覆盖的像素的图像特征值是否对应的确定并且移动确定块的处理步骤，可以对输出图像和已存储输出图像的整个区域执行确定处理。当对于输出图像和已存储输出图像的整个区域完成确定处理之后，计数已经被确定为对应的确定块对的数量。在本示例中，具有相同图像特征值的确定块对的数量代表输出图像和已存储输出图像之间的对应程度。
[0154]下面，确定单元300确定对应程度(具有相同图像特征值的确定块对的数量)是否等于或者高于预定阈值。可以设置阈值为等于组成输出图像或者已存储输出图像的确定块的总数量S，或者可以设置阈值为等于稍微小于总数量S的数量(例如，s-ι)。也就是，假设输出图像和已存储输出图像每个由NallXMall个像素组成，S = (NallXMall) + (NXM)。
[0155]在设置阈值等于S的情形下，当输出图像的所有像素和已存储输出图像的所有像素的图像特征值完全相同时，输出图像和已存储输出图像被确定为对应。在设置阈值为等于S-1的情形下，即使输出图像和已存储输出图像的图像特征值中存在微小差异，也可以确定该输出图像和已存储输出图像为对应。
[0156]例如，当鼠标的指针被包括在正在被捕获的输出图像中时，输出图像和已存储输出图像之间的微小差异可能出现。在这种情形下，即使输出图像中的鼠标指针的位置和已存储输出图像中的鼠标指针的位置不同，输出图像和已存储输出图像也实际上代表相同图像。由此，在设置阈值为等于稍微小于S的值的情况下，可以确定输出图像和已存储输出图像为对应。
[0157]注意，上面作为一个例示性示例描述确定单元300使用确定块的确定处理，并且确定单元300可以使用其它手段以确定输出图像和已存储输出图像之间的对应。
[0158]此外，注意，尽管上面与确定输出图像和已存储输出图像是否对应结合地描述使用确定块的确定处理，但例如可以以类似方式使用确定块以确定输出图像位置和已存储输出图像位置是否对应。
[0159][计算单元308]
[0160]下面，描述计算单元308计算偏移距离d的示例性方式。
[0161]如图18中所示，每次新存储已存储输出图像或者更新已存储输出图像时，计算单元308指定已存储输出图像内的测试区域的X和Y坐标。例如，在图18中，指定X = 40-50和Y = 30-60为已存储输出图像V内的测试区域的X和Y坐标。注意，优选地选择具有相对高图像特征值(例如，RGB值或者图像密度)的已存储输出图像内的图像区域为测试区域。
[0162]然后，如图19中所示，计算单元308搜索输出图像的整个图像区域，以找到具有与已存储输出图像的测试区域的图像特征值对应的图像特征值的区域。标识具有与已存储输出图像的测试区域相同的图像特征值的输出图像的区域为输出图像的测试区域，并且计算单元308计算在已存储输出图像的测试区域和输出图像的测试区域之间的偏移距离d。这样，可以确定在已存储输出图像和输出图像之间的偏移距离d。
[0163][背景图像]
[0164]注意，例如，可以下载各种应用到显示装置200中，所述各种应用包括用于显示显示控制装置200的操作图像(菜单图像)的应用。由这种应用显示的图像可以称为“背景图像”或者“应用图像”。
[0165]图20是示出可以在执行显示背景图像的应用的情形下显示的显示图像的示例性层配置的示图。图20中所示的显示图像430包括背景图像层400、输出图像层410和绘制图像层420。背景图像层400用于显示背景图像。输出图像层410用于显示输出图像。绘制图像层420用于显示绘制图像。
[0166]在图20中，布置背景图像层400为最上层，以便可以防止背景图像(即，操作图像)被输出图像或者绘制图像隐藏。在一个实施例中，可以将上面三个图像层的合成图像作为显示图像430布置为显示在显示单元202上。
[0167]在另一个实施例中，例如，显示图像可以从图21A中所示的显示输出图像X的显示图像切换为显示背景图像Z和输出图像X的图21B。在这种情形下，用户可以滚动输出图像X，以调整其显示位置，如图21B中所示。注意，在用户执行这种滚动操作的情形下，如果在输出图像X上绘制绘制图像，则可以通过执行与上面结合第二实施例描述的那些类似的确定和计算处理根据输出图像X的滚动移动来调整绘制图像的显示位置。
[0168]另外，本发明不限于这些实施例，并且可以在不脱离本发明的范围的情况下做出很多变型和修改。
[0169]本发明基于并且要求分别于2011年11月30日和2012年7月5日提交的日本专利申请号2011-262970和2012-151474的 优先权日:的权益，其全部内容通过引用的方式并入本文。
【权利要求】
1.一种显示控制装置，提示显示单元显示由信息处理装置输出的输出图像，该显示控制单元包括: 存储单元，存储已经由显示单元显示的已存储输出图像和当由显示单元显示已存储输出图像时由用户在显示单元上绘制出的绘制图像，与已存储输出图像相关联地存储绘制图像； 确定单元，确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应； 存储控制单元，当确定单元确定由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应时，提示存储单元存储由信息处理装置输出的输出图像；以及 显示控制单元，提示显示单元显示由信息处理装置输出并且存储在存储单元中的输出图像。
2.如权利要求1所述的显示控制装置，还包括: 计算单元，在显示单元的显示区域内计算在由信息处理装置输出的输出图像的位置和存储单元中存储的已存储输出图像的位置之间的偏移距离；其中 确定单元确定由信息处理装置输出的输出图像的位置是否与存储单元中存储的已存储输出图像的位置对应； 当确定单元确定由信息处理装置输出的输出图像与存储单元中存储的已存储输出图像对应并且确定由信息处理装置输出的输出图像的位置不与存储单元中存储的已存储输出图像的位置对应时，计算单元计算该偏移距离；以及 显示控制单元提示显示单元显示由信息处理装置输出的输出图像和根据由计算单元计算出的偏移距离在显示区域内移动的绘制图像。
3.如权利要求2所述的显示控制装置，其中 当确定单元确定由信息处理装置输出的输出图像与存储单元中存储的已存储输出图像对应，并且确定由信息处理装置输出的输出图像的位置不与存储单元中存储的已存储输出图像的位置对应时，存储控制单元更新存储单元中存储的已存储输出图像为由信息处理装置输出的输出图像，并且更新存储单元中存储的绘制图像为根据偏移距离移动的绘制图像；以及 显示控制单元提示显示单元显示存储单元中存储的更新后的输出图像和更新后的绘制图像。
4.如权利要求1到3中任一项所述的显示控制装置，其中 当确定单元确定由信息处理装置输出的输出图像与存储单元中存储的已存储输出图像对应，并且确定由信息处理装置输出的输出图像的位置与存储单元中存储的已存储输出图像的位置对应时，显示控制单元提示显示单元显示存储单元中存储的已存储输出图像和与已存储输出图像相关联地存储的绘制图像。
5.如权利要求1至3中任一项所述的显示控制装置，其中， 根据预定识别信息在存储存储的输出图像和与已存储输出图像相关联地存储的绘制图像。
6.如权利要求1至3中任一项所述的显示控制装置，其中 确定单元以预定时间段的间隔周期地执行确定处理。
7.—种显不系统,包括: 信息处理装置，输出输出图像； 显示装置，在显示区域上显示图像；以及 显示控制装置，该显示控制装置包括 显示控制单元，提示显示装置的显示区域显示由该信息处理装置输出的该输出图像和由用户绘制的图像； 存储单元，存储已经显示在显示区域上的已存储输出图像和当在显示区域上显示已存储输出图像时由用户在显示区域上绘制出的绘制图像，与已存储输出图像相关联地存储绘制图像； 确定单元，确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应；以及 存储控制单元，当确定单元确定由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应时提示存储单元存储由信息处理装置输出的输出图像；其中 显示控制单元提示显示单元显示由信息处理装置输出并且存储在存储单元中的输出图像。
8.一种用于使 用显示控制装置控制显示装置的显示操作的显示控制方法，该显示控制装置包括显示控制单元，用于提示显示装置的显示区域显示由信息处理装置输出的输出图像和由用户绘制出的图像；和存储单元，用于与绘制图像相关联地存储已经显示在显示区域上的已存储输出图像，该绘制图像当在显示区域上显示已存储输出图像时由用户在显示区域上绘制出，该显示控制方法包括以下步骤: 确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应； 如果由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应，则在存储单元中存储由信息处理装置输出的输出图像；以及 在显示区域上显示由信息处理装置输出并且存储在存储单元中的输出图像。
9.一种包含具有记录在其上的计算机程序的计算机可读介质的计算机程序产品，该计算机程序可由计算机执行，该计算机程序产品包括显示控制单元，用于提示显示装置的显示区域显示由信息处理装置输出的输出图像和由用户绘制出的图像；和存储单元，用于与绘制图像相关联地存储已经显示在显示区域上的已存储输出图像，该绘制图像当在显示区域上显示已存储输出图像时由用户在显示区域上绘制出，当被执行时计算机程序使得计算机执行以下步骤: 确定由信息处理装置输出的输出图像是否与存储单元中存储的已存储输出图像对应； 如果由信息处理装置输出的输出图像不与存储单元中存储的已存储输出图像对应，则在存储单元中存储由信息处理装置输出的输出图像；以及 在显示区域上显示由信息处理装置输出并且存储在存储单元中的输出图像。
【文档编号】G09G5/38GK103959369SQ201380004007
【公开日】2014年7月30日 申请日期:2012年10月26日 优先权日:2011年11月30日
【发明者】佃友介 申请人:株式会社理光