图像处理设备、图像处理系统和图像处理方法

图像处理设备、图像处理系统和图像处理方法
【专利摘要】提供了图像处理设备、图像处理系统和图像处理方法。该图像处理设备包括：存储单元，在其中存储在显示单元上显示的显示图像；选择接收单元，接收在存储单元中存储的显示图像的选择；显示控制单元，在显示单元上显示作为由选择接收单元选择的显示图像的所选的显示图像；描绘输入接收单元，接收通过在显示单元上显示的所选的显示图像上描绘图像的输入；合成图像生成单元，合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；以及显示图像管理单元，其在存储单元中存储将新显示图像和所选的显示图像关联的相关信息以及新显示图像。
【专利说明】图像处理设备、图像处理系统和图像处理方法
[0001]相关申请的交叉引用
[0002]本申请要求于2012年8月9日提交的日本专利申请N0.2012-176965的优先权， 并将其全部内容通过引用结合于此。
【技术领域】
[0003]本发明涉及图像处理设备，图像处理系统和图像处理方法。
【背景技术】
[0004]现今，市场上出现了称为“电子信息板”的产品。电子信息板配置有触摸板，其位 于大约40-60英寸大小的例如由平板或者投影仪形成的液晶或等离子显示器上。将个人计 算机(PC)连接到这样的电子信息板使得被连接的PC的屏幕能够在电子信息板上以较大的 尺寸显示。电子信息板用于公司和行政机构的会议陈述以及例如用于教育机构。
[0005]一些电子信息板具有操作PC的功能。替代通过操作鼠标，该操作PC的功能是通 过直接触摸在电子信息板上显示的屏幕来操作连接的PC。
[0006]在连接的PC上执行的电子黑板应用软件可以与电子信息板设备一起提供。这样 的电子黑板应用软件使得屏幕作为黑板使用。电子黑板应用软件例如具有通过触摸屏进 行手写的功能，例如通过触摸板在电子信息板显示的图像上描绘手写字符的功能，以及输 入提供应用的PC的屏幕并且以叠加方式在其上描绘手写字符的功能。特定产品的示例包 括由Hitachi Software Engineering有限公司制造的“StarBoard”(注册商标)以及由 Pioneer公司制造的“Cyber Conference” (注册商标)。
[0007]使用执行这样的手写功能的电子信息板例如使得在办公室的会议的用户能够在 操作用于解释的显示材料时视情况直接在屏幕上写标记，根据需要记录包括所写数据的屏 幕内容，在会议结束时回顾屏幕的内容以及重新使用屏幕的内容。这使得用户有效地形成
结论等。
[0008]关于使用电子信息板的系统，日本专利申请特开N0.2006-005589例如公开了这 样的技术，用于在预定的定时自动保存在电子信息板上描绘的会议记录作为历史数据，从 而增加用户的便利性。
[0009]需要提供图像处理设备，图像处理系统以及图像处理方法，使得用户能够方便地 理解屏幕转换以及在用户所希望的定时参考手写字符等的记录。

【发明内容】

[0010]本发明的目的是至少部分地解决现有技术中的问题。
[0011]一种图像处理设备，包括:存储单元，在其中存储在显示单元上显示的显示图像； 选择接收单元，接收在存储单元中存储的显示图像的选择；显示控制单元，在显示单元上显 示所选的显示图像，该图像是由选择接收单元选择的显示图像；描绘输入接收单元，接收通 过在显示单元上显示的所选显示图像上描绘图像的输入；合成图像生成单元，其合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；以及显示图像管理单元，其在存储单元中存储将新显示图像和所选显示图像关联的相关信息以及新显示图像。
[0012]图像处理系统包括在其中存储图像的终端和显示在终端中存储的图像的显示设备以及处理在显示设备上显示的图像的图像处理设备。该图像处理系统包括:存储单元，在其中存储在显示单元上显示的显示图像；选择接收单元，接收在存储单元中存储的显示图像的选择；显示控制单元，在显示单元上显示所选的显示图像，该图像是由选择接收单元选择的显示图像；描绘输入接收单元，接收通过在显示单元上显示的所选显示图像上描绘图像的输入；合成图像生成单元，合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；以及显示图像管理单元，在存储单元中存储将新显示图像和所选显示图像关联的相关信息以及新显示图像。
[0013]一种图像处理方法由图像处理设备来执行，该设备包括在其中存储在显示单元上显示的显示图像的存储单元。该图像处理方法包括:接收在存储单元中存储的显示图像的选择；在显示单元上显示所选的显示图像，该图像是接收选择时所选择的显示图像；接收通过在显示单元上显示的所选显示图像上描绘图像的输入；合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；在存储单元中存储将新显示图像和所选显示图像关联的相关信息以及新显示图像。
[0014]本发明的以上和其他的目的，特征，优点，技术和工业的重要性通过阅读下面的本发明目前的优选实施例的详细说明并和附图一起结合考虑时将会更好地理解。
【专利附图】

【附图说明】
[0015]图1是图像处理系统的整个配置的示意图；
[0016]图2是图像处理设备的硬件配置和功能配置图；
[0017]图3是存储设备中存储的历史表的数据结构的示意图；
[0018]图4是显示单元的显示示例的示意图；
[0019]图5是缩略图像列表的显示示例的示意图；
[0020]图6是图像处理设备执行的处理的流程图；
[0021]图7是图像处理设备执行的处理的另一流程图；
[0022]图8A是显示图像的显示示例的示意图；
[0023]图8B是历史表的示意图；
[0024]图9A是显示屏幕的显示示例的示意图；
[0025]图9B是缩略图像列表的显示示例的示意图；
[0026]图9C是历史表的示意图；
[0027]图1OA是显示图像的显示示例的示意图；；
[0028]图1OB是缩略图像列表的显示示例的示意图；
[0029]图1OC是历史表的示意图；以及
[0030]图11是图像文件列表的显示示例的示意图。
【具体实施方式】
[0031]参考附图在下面更详细地描述图像处理设备，图像处理系统以及图像处理方法的实施例。
[0032]图1是根据实施例的图像处理系统100的整个配置的示意图。该图像处理系统 100包括图像处理设备110以及用户个人计算机(PC) 130a和130b。图像处理设备110以 及用户个人计算机130a和130b用线缆124和126相连。图像处理设备110包括显示单元 112并且在显示单元112上显示从用户个人计算机130a和130b接收的图像。
[0033]图像处理系统100例如在办公室的会议使用，并且能够在显示单元112上显示存 储在用户个人计算机130a和130b中的显示材料等。这使得参会者能够在浏览显示单元 112上显示的图像的同时进行会议。图像处理系统100能够接收使用描绘设备执行的用户 操作，这将在以后进行描述，并且显示相应于在显示单元112上的用户操作的描绘图像。用 户操作的示例包括通过与显示单元112接触而执行的信息输入。
[0034]响应于作为用户操作而执行的与显示单元112的接触，图像处理设备110产生一 事件。图像处理设备110接着传送该事件给用户个人计算机130a和130b，作为通过例如鼠 标和键盘的输入设备的事件。
[0035]用户个人计算机130a和130b是提供要在图像处理设备110的显示单元112上显 示的图像的信息处理设备。用户个人计算机130a和130b每一个都包括输出图像信号的接 口。用户个人计算机130a和130b以预定速率(例如每秒30帧)提供用于形成用户个人 计算机130a和130b的显示图像的图像信号给图像处理设备110。
[0036]在本实施例中，用户个人计算机130a和130b每一个都包括视频图形阵列(VGA) 输出端子(未示出)作为接口。用户个人计算机130a和130b能经由例如VGA线缆的线缆 124传送VGA信号给图像处理设备110。在另一实施例中，用户个人计算机130a和130b能 经由遵循各种无线通信协议的无线通信传送显示图像。
[0037]用户个人计算机130a和130b能获取通过图像处理设备110在显示单元112上显 示的图像。用户个人计算机130a和130b每一个包括通用串行总线(USB)端口(未示出)。 用户个人计算机130a和130b能使用例如USB大容量存储类的通用驱动器经由USB线缆 126获取连接到其的图像处理设备110中存储的显示图像。
[0038]根据本实施例的图像处理系统100使用笔记本PC作为用户个人计算机130a和 130b。可替代的，图像处理系统100能够使用可以提供图像帧的信息处理设备，例如桌上型 计算机，平板计算机，个人数字助理(PDA)，数字视频相机以及数码相机作为用户个人计算 机130a和130b。尽管根据本实施例的图像处理系统100包括两个用户个人计算机130a和 130b，包括在图像处理系统100中的用户个人计算机的数目并不受这个示例的限制。图像 处理系统100可以包括一个用户个人计算机或三个或更多的用户个人计算机。
[0039]图2是图像处理设备110的硬件配置和功能配置图。图像处理设备110包括图 像输入接口 232以及图像输入接口 234，并且以这些接口连接到用户个人计算机130a和 130b。
[0040]图像输入接口 232接收图像信号以形成用户个人计算机130a和130b的显示图 像。本实施例可以使用由DVI端子形成的数字视频接口(DVI)连接器作为图像输入接口 232。图像输入接口 232经由例如VGA线缆的线缆124从用户个人计算机130a和130b接 收VGA信号，以将VGA信号提供给包括在图像处理设备110中的图像获取单元206。
[0041]可替代的，图像处理设备110能够使用例如VGA连接器，高清晰度多媒体接口(HDMI)连接器以及显示端口连接器作为图像输入接口 232。还可替代的，例如，图像输入接口 232能够经由遵循无线通信协议，例如Bluetooth(注册商标)以及无线保真(WiFi)的无线通信从用户个人计算机130a和130b接收图像信号。
[0042]图像输入接口 234是物理接口以用于输出图像处理设备110的显示图像给外部设备，例如用户个人计算机130a和130b。本实施例可以使用USB插座作为图像输入接口 234。
[0043]在显示器单元112以及图像输入接口 232和234之外，图像处理设备110进一步包括处理器200，只读存储器(ROM) 202，随机存取存储器(RAM) 204，图像获取单元206，坐标检测单元224，接触检测单元226和存储设备230。
[0044]处理器200是算术处理设备，例如中央处理器(CPU)以及微处理器(MPU)。处理器200运行操作系统(OS)，例如WINDOWS(注册商标)系列，UNIX(注册商标)，LINUX(注册商标)，TRON, ITR0N, μ IT0R0N, Chrome以及Android。处理器200在OS控制下执行以编程语言描述的计算机程序，例如assembler, C, C++, Java (注册商标)，JavaScript (注册商标)，PERLjRUBY以及PYTHON。R0M202是在其中存储引导程序的非易失性存储器，例如基本输入/输出系统(BIOS)。
[0045]RAM204是主存储器，例如动态RAM (DRAM)以及静态RAM (SRAM)，并且提供用以执行计算机程序的执行空间。处理器200从在其中持久地存储软件程序和各种数据的硬盘驱动器(未示出)读取计算机程序以加载和执行在RAM204中的计算机程序。计算机程序包括事件处理单元210，应用图像产生单元212，布局管理单元214，描绘图像产生单元216，合成单元218，显示控制单元220，快照产生单元222以及资料库管理单元228的程序模块。
[0046]图像获取单元206是从用户个人计算机130a和130b获取图像信号的功能单元。如果图像获取单元206经由图像输入接口 232从用户个人计算机130a和130b接收图像信号，则图像获取单元206分析该图像信号。图像获取单元206推导出包括与由图像信号形成的用户个人计算机130a和130b的显示图像对应的图像帧的分辨率和更新频率的图像信息，并传送该图像信息给应用图像产生单元212。
[0047]图像获取单元206使用图像信号以形成对应于用户个人计算机130a和130b的显示图像的各个图像帧。图像获取单元206将图像帧保存到作为能够在其中临时存储图像数据的存储单元的视频RAM208。
[0048]R0M204的应用图像产生单元212是产生要在显示单元112上显示的各种显示窗口的功能单元。该显示窗口包括:显示对应于用户个人计算机130a和130b的显示图像的图像帧的显示窗口 ；显示用户产生的描绘图像的显示窗口 ；显示用于图像处理设备110的各种设置的按钮，菜单等的显示窗口 ；以及例如文件浏览器和网页浏览器的显示窗口。应用图像产生单元212在其上要描绘显示窗口的不同的图像层上描绘这些显示窗口。
[0049]布局管理单元214是在由应用图像产生单元212产生的显示窗口上描绘用户个人计算机130a和130b的显示图像的功能单元。如果布局管理单元214从图像获取单元206获取图像信息，则布局管理单元214获取在视频RAM208中存储的图像帧，接着使用图像信息以改变图像帧的大小，从而图像帧适合于由应用图像产生单元212产生的显示窗口中。布局管理单元214接着在其上要描绘图像帧的图像层上描绘图像帧。
[0050]接触检测单元226是检测例如描绘设备240的对象的接触的功能单元。本实施例使用在日本专利N0.4627781中公开的提供有红外线阻挡结构的坐标输入/检测设备作为接触检测单元226。在坐标输入/检测设备中，设置在显示单元112的两个下端的两个光接 收和发射设备(未示出)输出平行于显示单元112的多条红外线。这两个光接收和发射设 备在相同的光路上接收由设置在显示单元112的外周上的反射部件反射的光。接触检测单 元226通知坐标检测单元224红外线的标识信息，该红外线由上述两个光接收和发射设备 输出并且被对象所阻挡。坐标检测单元224接着指定与对象的接触位置对应的坐标位置。
[0051]可替代的，图像处理设备110使用各种检测单元作为接触检测单元226。各种检测 单元的示例包括通过检测静电电容的变化来指定接触位置的电容式触摸板，通过检测两个 相对阻抗膜的电压的变化来指定接触位置的电阻式触摸板，以及电磁感应触摸板，其通过 检测由接触对象与显示单元112接触而产生的电磁感应来指定接触位置。
[0052]坐标检测单元224是计算与对象接触显示单元112并发布不同事件的位置对应的 坐标位置的功能单元。在本实施例中，坐标检测单元224使用从接触检测单元226传送的 被阻挡的红外线的标识信息来计算对象的接触位置的坐标位置。坐标检测单元224将不同 的事件与接触位置的坐标位置一起发布给事件处理单元210。
[0053]坐标检测单元224发布的事件包括给出对象接触到或者接近显示单元112的通知 的事件(触摸)，用于给出当对象保持与显示单元112的接触或保持接近显示单元112的同 时接触点或接近点移动的通知的事件(移动)，以及用于给出对象从显示单元112移开的通 知的事件(释放)。这些事件包括包含接触位置坐标和接近位置坐标的坐标位置信息。
[0054]使得描绘设备240接触图像处理设备110的接触检测单元226以描绘图像。描绘 设备240是笔形的设备，在其尖端配置有检测对象的接触的接触检测单元226。如果接触检 测单元226接触到对象，则描绘设备240 —起传送表示接触的接触信号以及描绘设备的标 识信息至坐标检测单元224。
[0055]描绘设备240例如在其侧面或者背面配置有模式选择开关以在图像处理设备操 作模式和用户PC操作模式之间进行切换。图像处理设备操作模式允许用户在图像处理设 备Iio的显示单元112上描绘任意图，字符等,并选择在显示单元112上显示的对象,例如 菜单和按钮。用户PC模式允许用户选择在显示单元112上显示的例如菜单和按钮的对象。
[0056]如果用户以按下模式选择开关使描绘设备240接触图像处理设备110，例如，描绘 设备240传送接触信号，描绘设备的标识信息以及表示用户PC操作模式的模式类型信号。 如果用户没有按下模式选择开关而使描绘设备240接触图像处理设备110，描绘设备240传 送接触信号，描绘设备的标识信息以及表示图像处理设备操作模式的模式类型信号。
[0057]在本实施例中，如果从接触检测单元226接收到红外线的标识信息，则坐标检测 单元224计算与对象的接触位置对应的坐标位置。随后，如果从描绘设备240接收到接触 信号，则坐标检测单元224发布不同类型的事件。坐标检测单元224通知事件处理单元210 表示模式类型的信息(以下称为“模式类型信息”)以及事件。
[0058]在本实施例中，描绘设备240经由短距离无线通信，例如通过蓝牙(注册商标)传 送各种类型的信号。可替代的，描绘设备240例如可以经由使用超声波或红外线的无线通 信来传送各种类型的信号。
[0059]事件处理单元210是处理由坐标检测单元224发布的事件的功能单元。在选择了 用户PC操作模式的情况下，从坐标检测单元224接收事件使得事件处理单元210将鼠标事 件传送给用户PC130a或用户PC130b。在选择了图像处理设备操作模式的情况下，从坐标检测单元224接收事件使得事件处理单元210将描绘指令事件和选择通知事件通知给图像处理设备110的其它功能单元。
[0060]鼠标事件是类似于由用户个人计算机130a和130b的例如鼠标的输入设备发布的事件。在选择了用户PC操作模式的情况下，响应于描绘设备240的接触，将鼠标事件发布给用户个人计算机130a和130b。事件处理单元210将包括在由坐标检测单元224发布的事件中的坐标位置信息转换成根据用户个人计算机130a和130b的屏幕大小的坐标位置信息。事件处理单元210接着将坐标位置信息和鼠标事件传送给用户个人计算机130a和130b。用户个人计算机130a和130b以类似于例如鼠标的输入设备发布的事件的方式来处理鼠标事件。
[0061]描绘指令事件是用于指令图像处理设备110描绘图像的事件。描绘指令事件在选择了图像处理设备操作模式的情况下，响应于描绘设备240接触显示单元112而发布。
[0062]选择通知事件是用于指示选择了构成在显示单元112上显示的屏幕的例如按钮和菜单条的不同对象的事件。选择通知事件在选择了图像处理设备操作模式的情况下，响应于描绘设备240接触显示单元112而发布。如果包括在由坐标检测单元224发布的事件中的坐标位置信息在对象的坐标区域内，则事件处理单元210发布选择通知事件。
[0063]在本实施例中，描绘指令事件和选择通知事件每个都包括标识信息。使用这些事件作为触发操作的图像处理设备110的功能单元参考该标识信息来执行各种类型的处理。选择通知事件进一步包括所选对象的标识信息。使用选择通知事件作为触发操作的图像处理设备110的功能单元参考对象的标识信息来执行各种类型的处理。
[0064]描绘图像产生单元216是产生由用户以描绘设备240描绘的描绘图像的功能单元。描绘图像产生单元216产生图像层，由坐标位置信息表示的坐标位置的颜色在该图像层上改变为特定颜色。描绘图像产生单元216将坐标位置作为描绘信息存储在RAM204的用于描绘信息的存储区域中。
[0065]合成单元218是合成不同图像的功能单元。合成单元218合成应用图像产生单元212在其上描绘图像的图像层(在下文中称为“应用图像层”)，布局管理单元214在其上描绘用户个人计算机130a和130b的显示图像的图像层(在下文中称为“图像捕获层”)，以及描绘图像产生单元216在其上描绘图像的图像层(在下文中称为“手写层”)。
[0066]显示控制单元220是控制显示单元112的功能单元。显示控制单元220在显示单元112上显示由合成单元218产生的合成图像。在本实施例中，合成单元218调用显示控制单元220在显示单元112上显示合成图像。在另一实施例中，合成单元218和显示控制单元220能够以与包括在图像信息中的图像帧的更新频率相同的频率来合成和在显示单元112上显示图像层。
[0067]快照产生单元222是产生快照图像和对应于快照图像的缩略图的功能单元。快照图像是用户个人计算机130a和130b的显示图像以及由描绘图像产生单元216产生的描绘图像的合成图像。换句话说，快照产生单元222对应于产生在显示单元112上显示的新显示图像的数据的合成图像生成单元。
[0068]如果接收到合成显示图像和描绘图像的指令，也就是，经由事件处理单元210产生快照图像的指令，则快照产生单元222在接收到产生指令的定时合成在显示单元112上显示的显示图像和描绘图像，从而产生快照图像。基于产生的快照图像，快照产生单元222产生快照图像的缩略图像。在产生快照图像和缩略图像后，快照产生单元222指令资料库管理单元228将快照图像和缩略图像写入到存储设备230。
[0069]尽管根据本实施例的快照产生单元222以联合图象专家组(JPEG)格式产生图像，图像的格式并不限于这个示例。可选地，图像的格式例如可以是Windows(注册商标)位图图像，可交换的图像文件格式(GIF)，标签图像文件格式(TIFF)以及Windows (注册商标)图元文件格式(WMF)。快照图像的图像文件例如以可扩展标记语言(XML)格式创建，并且具有允许编辑页和笔划的数据结构。
[0070]如果在显示单元112上显示的显示图像上没有执行任何描绘处理，也就是说，当在接收到产生快照图像的指令的定时不存在描绘图像，则快照产生单元222产生仅显示该显示图像的图像作为快照图像。
[0071]资料库管理单元228是控制信息到存储设备230的写入的功能单元。一旦获取写入来自于快照产生单元222的快照图像和缩略图像的指令，资料库管理单元228就根据写入指令，将快照图像和缩略图像写入存储设备230的预定区域。响应于从用户个人计算机130a和130b发布的指令，资料库管理单元228从存储设备230获取快照图像和/或缩略图像。资料库管理单元228接着将获取的快照图像和/或缩略图像传送至个人计算机130a和 130b。
[0072]图3是存储设备230中存储的历史表231的数据结构的示意图。历史表231在其中存储与之前产生的快照图像相关的信息。
[0073]具体地，历史表231在其中存储每一个快照图像的页ID，创建时间，版本，图像文件名以及文件路径。
[0074]页ID是用于标识包括在快照图像中的显示图像的信息。因为页ID是由用户指定的信息，不同的页ID可被分配给相同的显示图像。
[0075]创建时间是指示包括在快照图像中的显示图像显示的时间的信息。可替代的，创建时间例如可以是快照图像产生的时间。
[0076]版本是按照创建顺序给具有相同页ID的多个快照图像分配的数字。换句话说，具有相同的页ID但是版本不同的多个快照图像具有相同的显示图像以及不同的描绘信息。
[0077]图像文件名是快照图像的文件名。根据本实施例的图像文件名是包括页ID和版本的信息。文件路径是表示快照图像写入的存储区域的信息。页ID，创建时间，版本，图像文件名以及文件路径将在下面详细地描述。
[0078]图4是显示单元112的显示示例的示意图。显示单元112显示显示图像500,快照按钮510，缩略图列表520以及结束按钮530。
[0079]显示图像500是包括从用户个人计算机130a和130b的至少一个接收的显示图像，并且在显示单元112上的预定显示区域中显示。在显示单元112仅显示从用户个人计算机130a接收的显示图像的显示窗口时,显示窗口对应于显示图像500。在显示单元112显示从用户个人计算机130a接收的显示图像的显示窗口以及从用户个人计算机130b接收的显示图像的显示窗口时，包括两个显示窗口的图像对应于显示图像500。
[0080]快照按钮510是当用户期望产生快照图像时所选的图标。如果用户适用描绘设备240等选择了快照按钮510，则事件处理单元210发布表示快照按钮510已被选择的选择通知事件。快照产生单元222接收指令来产生快照图像。[0081]缩略图列表520显示存储在存储设备230中的快照图像的缩略图的列表。缩略图列表520接收来自用户的缩略图的选择，S卩，快照的选择。
[0082]图5是缩略图列表520的显示示例的示意图。缩略图列表520显示快照图像的缩略图521-525的列表，该快照图像之前由快照生成单元222生成并且按照创建时间顺序写入到存储设备230。当存储在存储设备230中的所有缩略图不能在缩略图列表520的区域内显示时，缩略图列表520显示页滚动按钮526a和526b。因此，缩略图列表520响应于用户操作显示所有的缩略图。
[0083]如果用户选择了缩略图列表520中特定的缩略图，事件处理单元210接收选择通知事件，其表示与所选缩略图对应的快照图像被选择。
[0084]图4示出的结束按钮530是接收指令以终止应用以及终止显示图像的显示等的图标。如果选择了结束按钮530,则创建表示在显示单元112上显示的显示页上执行的描绘的历史的快照图像的文件，并且文件列表屏幕显示在显示单元112上。
[0085]图6和图7是由图像处理设备110执行的处理的流程图。事件处理单元210指定从坐标检测单元224获取的事件。具体地,如图6所示,事件处理单元210确定获取的事件是否是将新图像文件添加到存储设备230的历史表231的指令(步骤S100)。添加新图像文件的指令在下面任一情况下传送到事件处理单元210:用户选择快照按钮510并且接收到产生快照图像的指令的情况；从用户个人计算机130a和130b接收到显示新显示图像的指令的情况；以及用户个人计算机130a和130b的操作切换在显示单元112上显示的显示图像的源的情况。
[0086]事件处理单元210基于通过处理从坐标检测单元224接收的事件而获得的结果来确定是否选择了快照按钮510。类似于是否选择了快照按钮510的确定，事件处理单元210基于通过处理从坐标检测单元224接收的事件而获得的结果来确定是否被变显示图像。事件处理单元210基于图像输入接口 232是否接收到图像信号以形成用户个人计算机130a和130b的显示图像来确定源是否切换。
[0087]如果发布的事件是添加新图像文件(步骤SlOO为“是”)，资料库管理单元228将新图像文件的信息而不是文件路径写入历史表231 (步骤S101)。
[0088]具体地，资料库管理单元228将新的页ID，作为版本的初始值“I”以及作为图像文件名的新文件名分配给新的图像文件，并且将这些写入页ID，版本以及图像文件名的字段。新的页ID是通过以I递增存储在历史表231里的页ID的最大值而获得的值。图像文件名指示页ID和版本。资料库管理单元228进一步写入显示图像的显示时间作为创建时间。在这个时候，“null”存储在文件路径中。
[0089]通过这种方式，如果发布添加新图像文件的事件,则产生包括当发布事件时在显示单元112上显示的显示图像的快照图像以及描绘信息。与快照图像相关的信息作为与新图像文件相关的信息存储在历史表231中。
[0090]显示控制单元220添加新的空白缩略图至缩略图列表520以使显示图像的显示区域返回到空白状态。换句话说，从显示单元112中擦除显示图像。可替代的，例如，可以仅从显示单元112擦除描绘信息,且显示区域里的显示图像能够保持显示。
[0091]如果在步骤SlOO发布事件不是添加新文件(步骤SlOO为“否”)，则处理进行到步骤S110，其将在下面描述。[0092]如果当添加新图像文件时，已经在显示单元112上显示的显示图像存在(步骤S102为“是”)，那么当添加新文件时，快照生成单元222合成在显示单元112上显示的显示图像的捕获层以及描绘图像的手写层，以生成快照图像以及生成所生成的快照图像的缩略图(步骤S103)。显示控制单元220将生成的快照图像的缩略图添加到缩略图列表520.[0093]资料库管理单元228将新生成的快照图以及缩略图写入到存储设备230。资料库管理单元228生成快照图像的图像文件的文件路径并且以与图像文件的图像文件名相关联的方式将生成的文件路径写入到历史表231中(步骤S104)。
[0094]显示控制单元220在显示单元112上显示新显示图像(步骤S105)。接着接收响应于用户操作通过描绘图像的输入(步骤S106)。如果在步骤S102没有显示图像存在(步骤S102为“否”)，则处理进行到步骤S106。
[0095]随后，在图7中处理进行到步骤S110。如果发布的事件是选择缩略图(步骤SllO为“是”)，当选择缩略图时，快照生成单元222合成在显示单元112上显示的显示图像和描绘图像，以生成快照图像和生成所生成的快照图像的缩略图(步骤S111)。如果在步骤SllO发布事件不是缩略图的选择(步骤SllO为“否”)，处理进行到步骤S120，这将在下面描述。
[0096]资料库管理单元228将快照图以及在步骤Slll新生成的缩略图写入到存储设备
230。资料库管理单元228生成新生成的快照图像的图像文件的文件路径并且以与图像文件的图像文件名相关联的方式将生成的文件路径写入到历史表231中(步骤S112)。在包括在快照图像里的显示图像显示在显示单元112上的定时，创建与新生成的快照图像对应的图像文件名页ID，创建时间，版本并且写入到历史表231中。
[0097]资料库管理单元228将对应于所选缩略图的图像文件确定为新图像文件并且将与图像文件相关的信息而不是文件路径写入到历史表231 (步骤S113)。具体地，资料库管理单元228将与对应于所选缩略图的图像文件的页ID相同的页ID，通过将对应于所选缩略图的图像文件的版本以I递增而获得的版本，以及基于页ID和版本确定的图像文件名分配给新图像文件。资料库管理单元228接着将这些条信息写入到历史表231中作为与新图像文件相关的信息。在这个时候，“null ”存储在相应于此的文件路径中。
[0098]显示控制单元220从存储设备230读取对应于所选缩略图的快照图像并且在显示单元112上的显示区域中显示读取的快照图像(步骤S114)。然后接收到通过响应于用户操作描绘图像的输入(步骤S115)。
[0099]随后，处理进行到步骤S120。如果发布的事件是选择结束按钮530 (步骤S120为“是”)，当选择了结束按钮530时，快照生成单元222合成在显示单元112上显示的显示图像和描绘图像，以生成快照图像和生成的所生成的快照图像的缩略图(步骤S121)。资料库管理单元228将快照图像以及生成的缩略图写入到存储设备230。资料库管理单元228生成快照图像的图像文件的文件路径并且以与图像文件的文件名相关联的方式将生成的文件路径写入到历史表231 (步骤S122)。
[0100]显示控制单元220将对于每一个页ID存储在历史表231中的图像文件进行分类，并且在显示单元112上显示其列表(步骤S123)。因此，完成处理。如果在步骤S120发布的事件不是结束按钮530的选择(步骤S120为“否”)，则处理结束。
[0101]以下参照具体实施例描述了图像处理设备110执行的处理。如图8A所示，显示指示“I”的显示图像。图6的步骤SlOO确定为“是”使得资料库管理单元228将关于与指示“I”的显示图像对应的图像文件的信息写入到历史表231，如图SB所示。具体地，资料库管理单元写入页ID “1”，指示“I”的显示图像显示时的创建时间，版本的初始值“I”以及基于ID和版本确定的图像文件名“01-001.png”。
[0102]在这种状态下，由用户操作描绘的图像在图8A示出，接着选择快照按钮510。图7的步骤SllO确定为“是”使得快照生成单元222合成图8A所示的指示“I”的显示图像和描绘图像以生成快照图像。此外，快照生成单元222生成快照图像的缩略图。
[0103]随后,显示图9A所示的指示“2”的显示图像。如图9B所示,显示控制单元220将通过合成指示“I”的显示图像以及最近显示的描绘图像而获得的快照图像的缩略图添加到缩略图列表520中。如图9C所示，资料库管理单元228将与指示“I”的显示图像对应的图像文件的文件路径以与已经写入的图像文件的图像文件名相关联的方式写入到历史表
231。资料库管理单元228进一步将与对应于图9A所示的指示“2”的显示图像的图像文件相关的信息写入到历史表231。具体地，资料库管理单元231将页ID “2”、指示“2”的显示图像显示时的创建时间，页ID “2”的版本的初始值“I”以及图像文件名写入到历史表231。
[0104]在图9A所示的指示“2”的显示图像已显示在显示区域中并且对应于指示“I”的显示图像的缩略图已经在缩略图列表520中显示的情况下，用户做出的缩略图像的选择使得对应于所选缩略图的快照图像在显示区域中显示，如图1OA所示。
[0105]快照生成单元222合成指示“2”的显示图像以及最近在显示区中显示的描绘图像以生成快照图像。此外，快照生成单元222生成快照图像的缩略图。如图1OB所示，显示控制单元220将生成的缩略图添加到缩略图列表520。
[0106]资料库管理单元228在对应于指示“2”的显示图像的文件路径的字段中，S卩，用于与历史表231中的图像文件名“02-001.png”对应的文件路径的字段中写入文件路径。
[0107]图11是图7中于步骤S123显示的图像文件列表的显示示例的示意图。如图11所示，显示控制单元220能将存储在存储设备230中的图像文件显示为对于每一个页ID进行分类的历史文件。在图11的示例中，每一个历史文件在前面显示在其中包括的最后一个显示文件的缩略图。其他图像文件的缩略图按照版本顺序排列在最后的图像文件的后面。
[0108]该配置有利于用户指定期望存储的历史数据(图像文件)以及期望再次检查的历史数据(图像文件)，即使有大量的存储的图像文件。
[0109]具体地，如果用户选择了图11所示的历史文件的复选框，则事件处理单元210接收到选择指令。基于选择指令，事件处理单元210在预定目的地(例如，e-mail地址，文件共享服务器以及USB存储器)存储所选的历史数据。如果目的地是e-mail地址，事件处理单元210将附有图像的e-mail传送到目的地。考虑到安全性，事件处理单元210使得资料库管理单元228将没有由用户以复选框等选择的历史数据从硬盘删除。
[0110]如上所述，在会议等，根据本实施例的图像处理设备110能够显示用于指定在显示单元112上显示的图像的快照图像的缩略图列表。因此，用户能够检查缩略图，从而掌握会议的历史等。
[0111]如果用户选择缩略图，则图像处理设备110将相同的页ID和不同的版本分配给对应于所选缩略图的图像文件以及通过将描绘图像添加到对应于所选缩略图的图像文件而获得的图像文件，从而使得可以保留两个图像文件作为历史数据。进一步地，图像处理设备110能够用相同的页ID管理图像文件使得它们被分入相同的组。换句话说，图像处理设备110能够根据它们的版本管理由相同的显示图像和不同的描绘图像形成的图像文件。这将进一步有利于用户指定期望的历史数据。
[0112]虽然本发明以实施例进行描述时，不同的变化和修改能够在实施例中作出。
[0113]根据本实施例的图像处理设备包括例如CPU的控制设备，例如ROM和RAM的存储器，例如HDD和光盘(CD)驱动器的外部存储设备，例如显示器的显示设备以及例如键盘和鼠标的输入设备。图像处理设备具有使用典型计算机的硬件配置。
[0114]根据本实施例的在图像处理设备中执行的计算机程序以记录在计算机可读记录介质，例如CD-ROM，软盘(FD)，可记录光盘(CD-R)以及数字多用途盘(DVD)中的方式，作为可安装或可执行格式的文件来提供。
[0115]根据本实施例的在图像处理设备中执行的计算机程序能以这样的方式提供，其存储于例如连接到如因特网的网络的计算机中以使得可通过网络下载获得。可替代的，根据本实施例的在图像处理设备中执行的计算机程序可以在例如互联网的网络上提供或分布。还可替代的，根据本实施例的计算机程序可以以预先包括在ROM等中的方式被提供。
[0116]根据本实施例的在图像处理设备中执行的计算机程序具有包括每一个上述单元的模块配置(事件处理单元，应用图像生成单元，布局管理单元，描绘图像生成单元，合成单元，显示控制单元，快照生成单元以及资料库管理单元)。在实际的硬件中，CPU (处理器)从上述的存储媒体中读出和执行计算机程序以在主存储器上加载每一个单元。因此，每一个单元在主存储器上生成。
[0117]实施例有利于用户理解屏幕转换并且使得用户在希望的时刻参考手写字符等的记录。
[0118]本发明能以任何方便的形式实施，例如使用专用的硬件，或专用的硬件和软件的混合。本发明能作为由一个或多个网络处理设备实现的计算机软件实现。网络能包括任何传统的地面或无线通信网络，例如因特网。处理设备能包括任何合适的可编程设备例如通用目的计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明能够作为软件实施，本发明的每一个方面因此包含在可编程设备上实现的计算机软件。能使用任何传统的承载介质将计算机软件提供给可编程设备。该承载介质能包括瞬时介质，例如载有计算机码的电，光，微波，声波或无线频率信号。这样的瞬时介质的示例是在IP网络(比如因特网)上的载有计算机码的TCP/IP信号。该承载介质还可包括用于存储处理器可读代码的存储介质，例如软盘，硬盘，CDR0M，磁带设备或固态存储设备。硬件平台包括任何期望种类的硬件资源，例如包括中央处理器单元(CPU)，随机存取存储器(RAM)，硬盘驱动器(HDD)。CPU可以由任何期望数目、期望类型的处理器来实现。RAM可以通过任何期望类型的易失性或非易失性存储器来实现。HDD可以通过任何期望类型的能存储大量数据的非易失性存储器来实现。硬件资源可以另外包括输入设备，输出设备或网络设备，则依赖于设备的类型。可替代的，HDD可以在设备外提供，只要HDD是可访问的。在这个示例中，CPU，例如CPU的高速缓存存储器和RAM可以作用为设备的物理存储器或主存储器，通过HDD可以用作设备的从存储器。
[0119]虽然为了完整和清楚的公开，本发明已经采用具体实施例进行了描述，但是附加的权利要求不因此受限，而应当解释成对于本领域技术人员来说包含了所有的修改和替代结构，其完全落入提出的基本教导内。
【权利要求】
1.一种图像处理设备，包括:存储单元,在其中存储在显示单元上显示的显示图像；选择接收单元，接收在所述存储单元中存储的所述显示图像的选择；显示控制单元，在所述显示单元上显示所选的显示图像，该所选的显示图像是由所述选择接收单元选择的显示图像；描绘输入接收单元，接收通过在所述显示单元上显示的所选的显示图像上描绘图像的输入；合成图像生成单元，合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；以及显示图像管理单元，在所述存储单元中存储将所述新显示图像与所选的显示图像关联的相关信息以及所述新显示图像。
2.根据权利要求1的图像处理设备，其中，所述显示控制单元在所述显示单元上显示用于接收在所述存储单元中存储的所述显示图像的选择的选择接收图像，以及 所述选择接收单元响应于用户执行的选择接收图像的选择操作，接收所述显示图像的选择。
3.根据权利要求1的图像处理设备，其中，所述选择接收图像是指示所述显示图像的缩略图。
4.根据权利要求1的图像处理设备，其中，所述显示图像管理单元在所述存储单元中以与所选的显示图像和新显示图像相关联的方式存储与相关信息相同的显示图像标识信息，并且在所述存储单元中以与所选的显示图像和新显示图像相关联的方式存储不同的多条描绘标识信息，所述不同的多条描绘标识信息指示在描绘图像中显示图像彼此不同。
5.根据权利要求1的图像处理设备，进一步包括:指令接收单元，从用户接收指令以合成描绘图像和所选的显示图像，其中所述合成图像生成单元当所述指令接收单元接收指令时，在接收到指令的定时合成在显示单元上显示的描绘图像和所选的显示图像以生成所述新显示图像。
6.根据权利要求5的图像处理设备，其中，所述显示图像管理单元以与所述新显示图像相关联的方式将时间信息存储在所述存储单元中，所述时间信息指示所述新显示图像在所述显示单元上显示的时间。
7.根据权利要求6的图像处理设备，其中，所述显示控制单元参考存储在所述存储单元中的时间信息并且按时间顺序显示用于接收在所述存储单元中存储的显示图像的选择的选择接收图像，以及所述选择接收单元响应于用户执行的选择接收图像的选择操作，接收所述显示图像的选择。
8.一种图像处理系统，包括在其中存储图像的终端、显示在所述终端中存储的图像的显示设备以及处理在所述显示设备上显示的图像的图像处理设备，所述图像处理系统包括:存储单元，在其中存储在所述显示设备上显示的显示图像；选择接收单元，接收在所述存储单元中存储的显示图像的选择；显示控制单元，在所述显示设备上显示所选的显示图像，该所选的显示图像是由所述选择接收单元选择的显示图像； 描绘输入接收单元，接收通过在所述显示设备上显示的所选的显示图像上描绘图像的输入； 合成图像生成单元，合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像；以及 显示图像管理单元，在所述存储单元中存储将所述新显示图像和所选的显示图像关联的相关信息以及所述新显示图像。
9.一种由图像处理设备执行的图像处理方法，所述图像处理设备包括在其中存储在显示单元上显示的显示图像的存储单元,所述图像处理方法包括: 接收在所述存储单元中存储的显示图像的选择； 在所述显示单元上显示所选的显示图像，该所选的显示图像是接收选择时所选的显示图像； 接收通过在所述显示单元上显示的所选的显示图像上描绘图像的输入； 合成通过描绘而输入的描绘图像以及所选的显示图像以产生新显示图像； 在所述存储单元中存储将所述新显示图像和所选的显示图像关联的相关信息以及所述新显示图像。
【文档编号】G06F3/041GK103576988SQ201310517988
【公开日】2014年2月12日 申请日期:2013年8月8日 优先权日:2012年8月9日
【发明者】佃友介 申请人:株式会社理光