电子设备和印刷预览方法
【专利摘要】本发明提供一种电子设备和印刷预览方法。本发明的电子设备包括拍摄设备、显示设备，还包括印刷预定图像获取单元和显示控制单元。印刷预定图像获取单元获取由图像形成装置印刷的预定的印刷预定图像。显示控制单元当在拍摄设备拍摄的摄影图像上包含纸张时，使在摄影图像上的纸张上合成了印刷预定图像的合成图像显示在显示设备上，所述印刷预定图像由印刷预定图像获取单元获取。根据本发明，能够生成接近实际印刷物的预览图像。
【专利说明】电子设备和印刷预览方法
【技术领域】
[0001]本发明涉及一种使在拍摄设备拍摄的摄影图像上合成了附加信息的合成图像作为印刷预览显示在显示设备上的电子设备和印刷预览方法。
【背景技术】
[0002]典型的印刷预览在由图像形成装置印刷的预定的印刷预定图像被实际地印刷到纸张上之前，虚拟地显示印刷预定图像被印刷到纸张上的状态。
[0003]在典型的印刷预览中，被虚拟地显示的纸张的颜色例如是白色等一定的颜色并与实际的纸张的颜色不同等，虚拟地显示的纸张的外观与实际的纸张的外观不同。因此，有虚拟地显示了印刷预定图像被印刷到纸张上的状态的预览图像与印刷预定图像被实际地印刷到纸张上的印刷物不同的可能。
【发明内容】
[0004]本发明的实施方式的电子设备包括拍摄设备、显示设备，还包括印刷预定图像获取单元和显示控制单元。印刷预定图像获取单元获取由图像形成装置印刷的预定的印刷预定图像。当在所述拍摄设备拍摄的摄影图像上包含纸张时，显示控制单元使在所述摄影图像上的所述纸张上合成了所述印刷预定图像的合成图像显示在所述显示设备上，所述印刷预定图像由所述印刷预定图像获取单元获取图像上。
[0005]本发明的实施方式的印刷预览方法包括:(i)经由印刷预定图像获取单元，获取由图像形成装置印刷的预定的印刷预定图像；(ii)经由显示控制单元，当在来自拍摄设备的摄影图像上包含纸张时，使在所述摄影图像上的所述纸张上合成了所述印刷预定图像的合成图像显示在显示设备，所述印刷预定图像由所述印刷预定图像获取单元获取图像上。
【专利附图】
【附图说明】
[0006]图1示出本发明的实施方式涉及的图像形成系统的构成。
[0007]图2示出图1所示的MFP的构成。
[0008]图3示出图1所示的便携设备的构成。
[0009]图4示出显示预览图像时的图3所示的便携设备的动作。
[0010]图5示出在图3所示的显示部上所显示的在摄影图像上的纸张的上部位置的例子。
[0011]图6示出在图3所示的显示部上所显示的预览图像的例子。
[0012]图7示出在图3所示的显示部上所显示的预览图像的其它例子。
[0013]图8示出在图3所示的显示部上所显示的预览图像的其它例子。
[0014]图9示出在图3所示的显示部上所显示的预览图像的其它例子。
[0015]图10示出在图3所示的显示部上所显示的预览图像的其它例子。
[0016]图11示出本发明的其它实施方式涉及的图像形成系统的构成。
[0017]图12示出图11所示的便携设备的构成。
[0018]图13示出当设定在MFP中的双面印刷的装订方向时的图3所示的便携设备的动作。
[0019]图14示出图13后续的动作。
[0020]图15示出图13后续的其它动作。
[0021]图16示出在图13?图15所示的动作中的合成图像显示处理。
[0022]图17示出在图12所示的显示部上所显示的预览图像的例子。
[0023]图18示出在图12所示的显示部上所显示的预览图像的其它例子。
[0024]图19示出在图12所示的显示部上所显示的预览图像的其它例子。
[0025]图20的(a)示出当装订方向被设定为左装订时在显示部上所显示的预览图像的例子。图20的(b)示出当装订方向被设定为上装订时在显示部上所显示的预览图像的例子。
【具体实施方式】
[0026]以下，使用附图对本发明的实施方式进行说明。
[0027]图1示出实施方式涉及的图像形成系统10的构成。
[0028]如图1所示，图像形成系统10包括:含有MFP (Multifunct1n Peripheral,多功能外围设备)20的多个MFP、管理这些多个MFP的例如PC (Personal Computer,个人计算机)等管理服务器30、以及例如智能手机等便携设备40。图像形成系统10的多个MFP、管理服务器30和便携设备40经由LAN (Local Area Network,局域网)、因特网等网络11能够相互通信地连接。便携设备40构成了本发明的电子设备。
[0029]图像形成系统10的多个MFP各自的构成与MFP20的构成相同。从而，以下，代表图像形成系统10的多个MFP来对MFP20进行说明。
[0030]图2示出MFP20的构成。
[0031]如图2所示，MFP20包括:操作部21，所述操作部21作为输入由利用者进行的各种操作的按钮等的输入设备；显示部22，所述显示部22作为显示各种信息的IXD(LiquidCrystal Display,液晶显示器)等的显示设备；扫描仪23,所述扫描仪23从原稿读取图像；打印机24，所述打印机24在纸张等记录介质上执行印刷；传真通信部25，所述传真通信部25经由未图示的外部传真装置和公共电话线路等通信线路进行传真通信；网络通信部26，所述网络通信部26经由网络11 (参照图1)与外部的装置通信；存储部27，所述存储部27具有存储有各种数据的 EEPROM(Electrically Erasable Programmable Read Only Memory,电可擦写可编程只读存储器)、HDD (Hard Disk Drive，硬盘驱动器)等非易失性存储装置；以及控制部28，所述控制部28控制MFP20全体。
[0032]操作部21也可以包括与显示部22 —起形成触控面板的输入设备。
[0033]控制部28例如包括:CPU(Central Processing Unit,中央处理单元)、存储程序和各种数据的ROM (Read Only Memory，只读存储器)和用作CPU的工作区域的RAM (RandomAccess Memory,随机存取存储器)。CPU执行ROM或存储部27所存储的程序。
[0034]图3示出便携设备40的构成。
[0035]如图3所示，便携设备40包括:操作部41，所述操作部41作为输入各种操作的按钮等的输入设备；显示部42，所述显示部42作为显示各种信息的LCD等的显示设备；拍摄部43，所述拍摄部43作为对静态图或动画进行摄影的拍摄设备；网络通信部44，所述网络通信部44经由网络11 (参照图1)与外部的装置通信，存储部45，所述存储部45具有存储有程序和各种数据的HDD等非易失性存储装置；以及控制部46，所述控制部46控制便携设备40全体。
[0036]操作部41也可以包括与显示部42 —起形成触控面板的输入设备。
[0037]存储部45存储由控制部46执行的印刷预览程序45a。
[0038]控制部46例如包括:CPU、存储有程序和各种数据的ROM和用作CPU的工作区域的RAM。CPU执行ROM或存储部45所存储的程序。
[0039]控制部46作为以下单元发挥功能:印刷预定图像获取单元46a，所述印刷预定图像获取单元46a通过执行存储部45所存储的印刷预览程序45a来获取由MFP印刷到纸张上的预定的印刷预定图像；显示控制单元46b，所述显示控制单元46b当在拍摄部43拍摄的摄影图像上包含纸张时，使在摄影图像上的纸张上合成了印刷预定图像的合成图像显示在显示部42上，所述印刷预定图像由印刷预定图像获取单元46a获取图像上；以及装置指定接受单元46c，所述装置指定接受单元46c接受使印刷预定图像印刷的MFP的指定。
[0040]接着，对图像形成系统10的动作进行说明。
[0041]首先，对从原稿读取图像并生成印刷预定图像的图像形成系统10的动作进行说明。
[0042]MFP20的控制部28根据经由操作部21的指示，由扫描仪23从原稿读取图像并生成印刷预定图像，并且经由网络通信部26将生成的印刷预定图像发送到管理服务器30。
[0043]从而，管理服务器30接收并存储从MFP20发送来的印刷预定图像。
[0044]接着，对显示预览图像时的便携设备40的动作进行说明。
[0045]便携设备40的利用者当希望使预览图像显示在便携设备40上时，通过启动印刷预览程序45a来使便携设备40的控制部46执行图4所示的动作。
[0046]图4示出显示预览图像时的便携设备40的动作。
[0047]如图4所示，便携设备40的印刷预定图像获取单元46a经由网络通信部44获取由MFP印刷到纸张上的预定的印刷预定图像(SlOl)。此处，印刷预定图像获取单元46a可以从管理服务器30获取由MFP从原稿生成并由管理服务器30存储着的印刷预定图像，还可以获取由MFP从原稿生成并由管理服务器30存储着的印刷预定图像以外的印刷预定图像。例如，印刷预定图像获取单元46a可以获取由MFP20从原稿生成并从MFP20直接发送到便携设备40的印刷预定图像，也可以获取由未图示的PC生成并发送到便携设备40的印刷预定图像。
[0048]接着，便携设备40的装置指定接受单元46c通过使MFP指定画面显示在显示部42上来接受经由操作部41的MFP的指定，所述MFP指定画面接受使印刷预定图像印刷的MFP的指定(S102)。
[0049]接着，便携设备40的显示控制单元46b使拍摄部43拍摄的摄影图像显示在显示部 42 上(S103)。
[0050]接着，显示控制单元46b判断在拍摄部43拍摄的摄影图像上是否包含纸张，直到判断为在拍摄部43拍摄的摄影图像上包含纸张为止(S104)。此处，显示控制单元46b通过由图像识别技术识别摄影图像上的纸张本身来识别摄影图像上包含纸张。便携设备40的利用者通过以在显示部42上所显示的摄影图像上包含纸张的方式来调整便携设备40的位置和方向，能够使拍摄部43拍摄的摄影图像上包含纸张。
[0051]显示控制单元46b当在S104中判断为在拍摄部43拍摄的摄影图像上包含纸张时，判断是否指定了在摄影图像上的纸张的上部位置(S105)。便携设备40的利用者通过经由操作部41指定在显示部42上所显示的摄影图像上的纸张的上部位置，能够指定上部位置。
[0052]图5示出在显示部42上所显示的摄影图像上的纸张的上部位置的例子。
[0053]在图5中，在显示部42上所显示的摄影图像50上包含纸张51。在摄影图像50上的纸张51上，以粗线强调表示由利用者指定的上部位置60。
[0054]如图4所示，显示控制单元46b当在S105中判断为没有指定上部位置时，再次返回S104的处理。
[0055]显示控制单元46b当在S105中判断为指定了上部位置时，将在S105中所指定的上部位置作为基准，获取摄影图像上的纸张的尺寸(S106)。具体地，显示控制单元46b获取在摄影图像上的纸张的纵向长度和在摄影图像上的纸张的横向长度。
[0056]接着，显示控制单元46b基于在S106中获取的尺寸和印刷预定图像被印刷到纸张上时的印刷预定图像的倍数(以下称作“印刷预定倍数”)计算在摄影图像上的印刷预定图像的尺寸(S107)。例如，显示控制单元46b当在摄影图像上的纸张的纵向长度、横向长度分别是52、37时，当印刷预定倍数是I倍时，将在摄影图像上的印刷预定图像的纵向长度、横向长度分别计算为52、37，当印刷预定倍数是2倍时，将在摄影图像上的印刷预定图像的纵向长度、横向长度分别计算为104、74。印刷预定倍数的初始值例如是I。
[0057]接着，显示控制单元46b基于在SlOl中获取的印刷预定图像和在S107中计算的尺寸以在S107中计算的尺寸生成预览图像用印刷预定图像(以下称作“预览用印刷预定图像”)(S108)。此处，显示控制单元46b根据在S102中所接受的MFP的输出特点使预览用印刷预定图像的外观变化。例如，当在S102中所接受的MFP是黑白专用机时，显示控制单元46b使预览用印刷预定图像变成黑白图像。另外，即使在S102中所接受的MFP是彩色机，显示控制单元46b也可以根据MFP的颜色的再现性使预览用印刷预定图像变化。
[0058]接着，显示控制单元46b在摄影图像上的纸张中对应于在印刷预定图像被印刷到纸张上时印刷预定图像相对于纸张的原点位置(以下称作“印刷预定位置”)的位置处，生成在摄影图像上合成了在S108中生成的预览用印刷预定图像的合成图像(S109)。印刷预定位置的初始值例如是上部位置为上时纸张的上端的左端位置。
[0059]接着，显示控制单元46b使在S109中生成的合成图像，即预览图像显示在显示部42上(SllO) ο即，显示控制单元46b通过例如AR (Augmented Reality,增强现实)技术使如图6所示的预览图像显示在显示部42上。
[0060]图6所示的预览图像70是在摄影图像50上合成了预览用印刷预定图像71的合成图像。
[0061]如图4所示，显示控制单元46b在SllO的处理之后，判断预览用印刷预定图像的倍数是否经由操作部41被改变(Slll)。例如，便携设备40的利用者能够通过经由操作部41直接操作显示部42所显示的预览用印刷预定图像来改变预览用印刷预定图像的倍数，也能够通过经由操作部41具体地指定表示倍数的数值来改变预览用印刷预定图像的倍数。
[0062]显示控制单元46b当在Slll中判断为没有改变预览用印刷预定图像的倍数时，判断是否经由操作部41改变了预览用印刷预定图像相对于摄影图像上的纸张的位置(S112)。例如，便携设备40的利用者能够通过经由操作部41直接操作显示部42所显示的预览用印刷预定图像来改变预览用印刷预定图像位置，也能够通过经由操作部41具体地指定表示位置的数值来改变预览用印刷预定图像的位置。
[0063]显示控制单元46b当在S112中判断为没有改变预览用印刷预定图像相对于摄影图像上的纸张的位置时，再次返回S104的处理。
[0064]显示控制单元46b当在Slll中判断为改变了预览用印刷预定图像的倍数时，随着预览用印刷预定图像的倍数的改变来改变印刷预定倍数(S113)，再次返回S104的处理。SP，显示控制单元46b通过例如AR技术使如图7所示的预览图像显示在显示部42上。
[0065]图7所示的预览图像70与图6所示的预览图像70相比，预览用印刷预定图像71的尺寸为I / 2倍。即，在图7所示的状态中，印刷预定倍数被设定为I / 2倍。
[0066]如图4所示，显示控制单元46b当在S112中判断为改变了预览用印刷预定图像相对于摄影图像上的纸张的位置时，随着预览用印刷预定图像的位置的改变来改变印刷预定位置(SI 14)，再次返回S104的处理。S卩，显示控制单元46b通过例如AR技术使如图8所示的预览图像显示在显不部42上。
[0067]图8所示的预览图像70中，预览用印刷预定图像71相对于摄影图像50上的纸张51的位置与图7所示的预览图像70不同。
[0068]虽然在以上说明中，摄影图像上的纸张的纵向和横向与摄影图像的纵向和横向相同，但是如图9所示，摄影图像上的纸张的纵向和横向也可以与摄影图像的纵向和横向不同。
[0069]另外，即使在摄影图像上的纸张的形状从长方形发生了变化，显示控制单元46b也可以根据其变化使在合成图像上的印刷预定图像的形状变化。例如，即使在摄影图像上的纸张的形状变化为图10所示的形状，显示控制单元46b也能够根据在摄影图像上的纸张的形状使在合成图像上的印刷预定图像的形状如图10所示地变化。根据该构成，便携设备40通过改变拍摄部43相对于纸张的摄影角度，不仅能够使利用者确认从纸张正面的预览图像，还能够使利用者确认从相对于纸张的各种角度的预览图像。
[0070]以上，对印刷预定图像的尺寸与印刷印刷预定图像的对象即纸张的尺寸相同时的处理进行了说明。显示控制单元46b能够从印刷预定图像本身获取印刷预定图像的尺寸，因此即使印刷预定图像的尺寸和纸张的尺寸不同，也能够通过经由操作部41具体地指定纸张的尺寸，基于印刷预定图像的尺寸和纸张的尺寸以合适的尺寸生成预览用印刷预定图像的尺寸。
[0071]接着，对使印刷预定图像在MFP中印刷时的图像形成系统10的动作进行说明。
[0072]当便携设备40的控制部46经由操作部41指示根据显示部42所显示的预览图像印刷到纸张上时，将在SlOl中获取的印刷预定图像与印刷预定倍数和印刷预定位置一起经由网络通信部44发送到在S102中接受的MFP中。
[0073]从而，MFP的控制部使用与印刷预定图像一起从便携设备40发送来的印刷预定倍数和印刷预定位置，通过打印机将从便携设备40发送来的印刷预定图像印刷到纸张上。
[0074]如上所述，便携设备40使在拍摄部43拍摄的摄影图像上的纸张上合成了印刷预定图像的合成图像作为预览图像显示在显示部42上(SllO)，因此能够将实际的纸张外观反映到预览图像上，作为结果，能够生成与实际的印刷物相近的预览图像。
[0075]便携设备40通过由图像识别技术识别摄影图像上的纸张本身来识别摄影图像上包含的纸张(S104)，因此即使不在纸张上形成用于识别摄影图像上包含纸张的特别的标记，也能够将在摄影图像上的纸张上合成了印刷预定图像的合成图像作为预览图像显示在显示部42上。
[0076]便携设备40也可以是通过从纸张上读取用于识别摄影图像上包含纸张的特别的标记来识别摄影图像上包含纸张的构成。
[0077]便携设备40通过指定在纸张上对印刷预定图像进行印刷的MFP来根据MFP的输出特点使合成图像上的印刷预定图像的外观变化，因此能够容易地在显示设备上显示适于使印刷预定图像印刷的MFP的预览图像。
[0078]以下，使用附图对本发明的其它实施方式进行说明。
[0079]图11示出其它实施方式涉及的图像形成系统110的构成。
[0080]如图11所不，图像形成系统110包括:包含MFP(Multifunct1n Peripheral,多功能外围设备)20的多个MFP、管理这些多个MFP的例如PC (Personal Computer，个人计算机)等管理服务器30、以及例如智能手机等便携设备140。图像形成系统110的多个MFP、管理服务器30和便携设备40经由LAN (Local Area Network,局域网)、因特网等网络11能够相互通信地连接。便携设备140构成了本发明的电子设备。
[0081]MFP20如上所述，具有图2所示的构成。图像形成系统110的多个MFP各自的构成与MFP20的构成相同。从而，以下，代表图像形成系统110的多个MFP来对MFP20进行说明。
[0082]图12示出便携设备140的构成。
[0083]如图12所示，便携设备140包括:操作部141，所述操作部141作为输入各种操作的按钮等的输入设备；显示部142，所述显示部142作为显示各种信息的LCD等的显示设备；拍摄部143，所述拍摄部143作为摄影静态图或动画的拍摄设备；网络通信部144，所述网络通信部144经由网络11 (参照图1)与外部的装置通信；存储部145，所述存储部145具有存储有各种数据的HDD等非易失性存储装置；以及控制部146，所述控制部146控制便携设备140全体。
[0084]操作部141也可以包括与显示部142 —起形成触控面板的输入设备。
[0085]存储部145存储有由控制部146执行的印刷预览程序145a。印刷预览程序145a也可以在便携设备140的制造阶段中被安装到便携设备140中，也可以从USB (UniversalSerial Bus，通用串行总线)存储器等存储介质追加安装到便携设备140中，也可以从网络11上追加安装到便携设备140中。
[0086]控制部146例如包括:CPU、存储有程序和各种数据的ROM、以及用作CPU的工作区域的RAM。CPU能够执行ROM或存储部145所存储的程序。
[0087]控制部146作为以下单元发挥功能:旋转方向检测单元146a，所述旋转方向检测单元146a通过执行存储部145所存储的印刷预览程序145a来在执行纸张的翻转时检测针对纸张的翻转的旋转方向；装订方向设定单元146b，所述装订方向设定单元146b设定MFP中的双面印刷的装订方向；显示控制单元146c,所述显示控制单元146c使拍摄部143拍摄的摄影图像显示在显示部42上；以及印刷预定图像获取单元146d，所述印刷预定图像获取单元146d获取由MFP印刷的预定的印刷预定图像。
[0088]接着，对图像形成系统110的动作进行说明。
[0089]首先，对从多页原稿读取图像并设定双面印刷的装订方向时的图像形成系统110的动作进行说明。
[0090]MFP20的控制部28根据经由操作部21的指示，由扫描仪23从多页原稿读取图像并生成多页印刷预定图像，并且经由网络通信部26将生成的多页印刷预定图像发送到管理服务器30。
[0091]从而，管理服务器30接收并存储从MFP20发送来的多页印刷预定图像。
[0092]接着，对设定MFP中的双面印刷的装订方向的便携设备40的动作进行说明。
[0093]便携设备40的利用者当希望设定MFP中的双面印刷的装订方向时，通过启动印刷预览程序45a来使便携设备40的控制部46执行图13?图15所示的动作。
[0094]图13示出设定MFP中的双面印刷的装订方向时的便携设备140的动作。图14示出图13后续的便携设备140的动作。图15示出与图14所示的动作不同的图13后续的便携设备140的动作。
[0095]如图13?图15所示，便携设备140的印刷预定图像获取单元146d经由网络通信部144获取由MFP印刷到纸张上的预定的多页印刷预定图像(SlOl)。此处，印刷预定图像获取单元146d可以从管理服务器30获取由MFP从多页原稿生成并由管理服务器30存储着的多页印刷预定图像，还可以获取除此以外的多页印刷预定图像。例如，印刷预定图像获取单元146d可以获取由MFP20从多页原稿生成并从MFP20直接发送到便携设备40的多页印刷预定图像，也可以获取由未图示的PC生成并发送到便携设备140的多页印刷预定图像。
[0096]接着，便携设备140的控制部146通过使MFP指定画面显示在显示部142上来接受经由操作部41的MFP的指定，所述MFP指定画面接受使印刷预定图像印刷的MFP的指定(S1102)。
[0097]接着，便携设备40的显示控制单元146c使拍摄部143拍摄的摄影图像显示在显示部 142 上(S1103)。
[0098]接着，显示控制单元146c判断拍摄部143拍摄的摄影图像上是否包含纸张，直到判断为在拍摄部143拍摄的摄影图像上包含纸张为止(S1104)。此处，显示控制单元146c通过由图像识别技术识别摄影图像上的纸张本身来识别摄影图像上包含纸张。便携设备140的利用者通过以在显示部142上所显示的摄影图像上包含纸张的方式来调整便携设备140的位置和方向，能够使拍摄部143拍摄的摄影图像上包含纸张。
[0099]显示控制单元46c当在S1104中判断为拍摄部143拍摄的摄影图像上包含纸张时，判断是否指定了摄影图像上的纸张的上部位置(S1105)。便携设备140的利用者通过经由操作部141指定显示部42上所显示的如图5所示的摄影图像上的纸张的上部位置，能够指定上部位置。
[0100]如图13?图15所示，当显示控制单元146c在S1105中判断没有指定上部位置时，执行S1104的处理。
[0101]显示控制单元146c当在S1105中判断为指定了上部位置时，将在SllOl中获取的多页印刷预定图像上的第I页的印刷预定图像作为对象(S1106)。
[0102]接着，显示控制单元146c执行图16所示的合成图像显示处理(S1107)。
[0103]图16示出在图13?图15所示的动作中的合成图像显示处理。
[0104]如图16所示，显示控制单元146c将所指定的上部位置作为基准来获取摄影图像上的纸张的尺寸(S1201)。具体地，显示控制单元146c获取在摄影图像上的纸张的纵向长度(上部位置为上时的纸张的左边或右边的长度)和在摄影图像上的纸张的横向长度(上部位置为上时的上边或下边的长度)。
[0105]接着，显示控制单元146c基于对象页的印刷预定图像和在S1201中获取的尺寸，对于对象页的印刷预定图像，以在S1201中获取的尺寸生成预览图像用的印刷预定图像(以下称作“预览用印刷预定图像”)(S1202)。此处，显示控制单元146c根据在S1102中所接受的MFP的输出特点使预览用印刷预定图像的外观变化。例如，当在S1102中所接受的MFP是黑白专用机时，显示控制单元146c使预览用印刷预定图像变成黑白图像。另外，即使在SI 102所接受的MFP是彩色机，显示控制单元146c也可以根据MFP的颜色的再现性使预览用印刷预定图像变化。
[0106]接着，显示控制单元146c生成在摄影图像上合成了在S1202中生成的预览用印刷预定图像的合成图像(S1203)。这时，显示控制单元146c在摄影图像上的纸张中的特定位置处合成预览用印刷预定图像从而生成合成图像。此处，摄影图像上的纸张中的特定位置对应于印刷预定图像被印刷到纸张上时的印刷预定图像配置相对于纸张的基准点位置。印刷预定图像配置相对于纸张的基准点位置例如是上部位置为上时的纸张的左上端位置。这时，在摄影图像上的纸张中的特定位置是上部位置为上时的摄影图像上的纸张的左上端位置。
[0107]接着，显示控制单元146c使在S1203中生成的合成图像，即预览图像显示在显示部42上(S1204),结束图16所示的合成图像显示处理。S卩，显示控制单元146c通过例如AR (Augmented Reality,增强现实)技术使如图17所示的预览图像显示在显示部142上。
[0108]图17所示的预览图像70是在摄影图像50上合成了预览用印刷预定图像71的合成图像。合成图像是如下例子，即，当印刷预定图像配置相对于纸张的基准点位置是纸张的左上端时，将预览用印刷预定图像71的左上端对齐到上部位置60为上时的摄影图像50上的纸张51的左上端，并且在摄影图像50上合成预览用印刷预定图像71从而被生成。
[0109]虽然在以上说明中，摄影图像50中纸张51的纵向和横向与摄影图像50的纵向和横向相同，但是如图18所示，摄影图像50中的纸张51的纵向和横向也可以与摄影图像50的纵向和横向不同。即使这时，显示控制单元46c也将所指定的上部位置60作为基准，获取摄影图像50上的纸张51的纵向和横向的尺寸，并且在摄影图像50上的纸张51中的特定位置处合成预览用印刷预定图像71从而生成合成图像。
[0110]另外，即使由于摄影位置的影响，摄影图像50上的纸张51的形状从长方形发生变化，显示控制单元146c也可以根据其变化使在合成图像上的预览用印刷预定图像的形状变化。例如，即使在摄影图像50上的纸张51的形状变化为图19所示的形状，显示控制单元146c也能够根据在摄影图像50中的纸张51的形状使在合成图像上的预览用印刷预定图像的形状所图19所示地变化。这时,显示控制单元146c在图16所示的S1201中，获取上部位置60为上时的摄影图像50中的纸张51的上边、下边、左边和右边的长度，根据各边的长度的比例使预览用印刷预定图像71的形状变化。
[0111]根据该构成，便携设备140通过改变拍摄部143相对于纸张的摄影角度，不仅能够使使利用者确认从纸张正面的预览图像70，还能够使利用者确认从相对于纸张的各种角度的预览图像70。
[0112]以上，对印刷预定图像的尺寸与作为对印刷预定图像进行印刷的对象的纸张的尺寸相同时的处理进行了说明。显示控制单元146c能够从印刷预定图像本身获取印刷预定图像的尺寸。因此，即使印刷预定图像的尺寸和纸张的尺寸不同，显示控制单元146c也能够通过经由操作部141具体地指定纸张的尺寸，基于印刷预定图像的尺寸和纸张的尺寸以合适的尺寸生成预览用印刷预定图像的尺寸。
[0113]如图13?图15所示，控制部146在S1107的处理之后，判断是否指定了双面印刷(S1108)。便携设备140的利用者能够经由操作部141指定双面印刷。
[0114]控制部146当在S1108中判断为没有指定双面印刷时，执行S1104的处理。
[0115]控制部146当在S1108中判断为指定了双面印刷时，设定双面印刷(S1109)。
[0116]接着，显示控制单元146c判断在拍摄部143拍摄的摄影图像上是否包含纸张(SlllO)。
[0117]控制部146当在SlllO中判断在拍摄部143拍摄的摄影图像上不包含纸张时，解除双面印刷的设定(Sllll)。
[0118]接着，显示控制单元146c执行SI 104的处理。
[0119]控制部146的旋转方向检测单元146a当在SlllO中判断为在拍摄部143拍摄的摄影图像上包含纸张时，通过针对拍摄部143拍摄的摄影图像的图像处理来判断是否翻转了摄影图像上所包含的纸张(S1112)。便携设备140的利用者例如能够实际地用手持有并翻转纸张。
[0120]显示控制单元146c当在SI 112中判断为没有翻转纸张时，执行SlllO的处理。
[0121]旋转方向检测单元146a当在S1112中判断为翻转了纸张时，通过针对拍摄部143拍摄的摄影图像的图像处理检测针对摄影图像上所包含的纸张的旋转方向(S1113)。
[0122]接着，控制部146的装订方向设定单元146b根据由S1113检测的旋转方向，设定在MFP中的双面印刷的装订方向(S1114)。例如，装订方向设定单元146b(i)当由S1113检测的旋转方向是以纸张上端为中心翻转纸张的旋转方向时将装订方向设定为“上装订”，(?)当由S1113检测的旋转方向是以纸张下端为中心翻转纸张的旋转方向时将装订方向设定为“下装订”，(iii)当由S1113检测的旋转方向是以纸张左端为中心翻转纸张的旋转方向时将装订方向设定为“左装订”，(iv)当由S1113检测的旋转方向是以纸张右端为中心翻转纸张的旋转方向时将装订方向设定为“右装订”。
[0123]接着，显示控制单元146c将在SllOl中获取的多页印刷预定图像中的当前的对象页的下一页的印刷预定图像作为对象(S1115)。
[0124]接着,显示控制单元146c执行图16所示的合成图像显示处理(S1116)。
[0125]在S1116中在显示部142上所显示的预览图像70例如是图20的(a)和图20的(b)所示的图像。图20的(a)示出装订方向被设定为左装订时的下一页的预览图像70的例子。如图20的(a)所示，在上部位置60为上摄影图像50上的纸张51中合成并显示预览用印刷预定图像71。这时，外观上的装订位置是纸张51的右端。图20的(b)示出装订方向被设定为上装订时的下一页的预览图像70的例子。如图20的(b)所示，在上一页的上部位置60为下摄影图像50上的纸张51上合成并显示预览用印刷预定图像71。上一页的上部位置60虽然在上一页的预览图像上显示在纸张51的上方，但是通过以上端为中心翻转实际的纸张，在下一页的预览图像71中显示在纸张51的下方。在图20的(b)中，夕卜观上的装订位置是纸张51的下端。在图20的(a)和图20的(b)中的上部位置60是所指定的上部位置，是上一页的上部位置。
[0126]如图13?图15所示，控制部146在S1116之后判断是否将在SllOl中获取的多页印刷预定图像的全部页作为了对象(S1117)。
[0127]显示控制单元146c当在SI 17中判断为未将全部页作为对象，即还有未作为对象的页存在时，判断拍摄部43拍摄的摄影图像上是否包含纸张(S1131)。
[0128]装订方向设定单元146b当在S1131中判断在拍摄部143拍摄的摄影图像上不包含纸张时，解除双面印刷的设定和装订方向的设定(SI 132)。
[0129]接着，显示控制单元146c执行SI 104的处理。
[0130]旋转方向检测单元146a当在SI 131中判断为在拍摄部143拍摄的摄影图像上包含纸张时，与S1112的处理同样地，判断是否翻转了拍摄部143拍摄的摄影图像上所包含的纸张(SI 133)。
[0131]显示控制单元146c当在SI 133中判断为未翻转纸张时，执行SI 131的处理。
[0132]旋转方向检测单元46a当在S1133中判断为翻转了纸张时，与S1113的处理同样地，检测针对在拍摄部143拍摄的摄影图像上所包含的纸张的翻转的旋转方向(S1134)。
[0133]接着，装订方向设定单元146b判断对于对象页在SI 134中所检测的旋转方向是不是对于上一页在S1113中所检测的旋转方向的相反方向(S1135)。
[0134]装订方向设定单元146b当在SI 135中判断为对于对象页所检测的旋转方向是对于上一页所检测的旋转方向的相反方向时，解除在前面的S1114中设定的装订方向的设定(S1136)。
[0135]接着，显示控制单元146c将在SllOl获取的多页印刷预定图像之中当前的对象页的上一页的印刷预定图像作为对象(S1137)，并执行图8所示的合成图像显示处理(S1138)。
[0136]接着，显示控制单元146c执行SlllO的处理。
[0137]装订方向设定单元146b当在SI 135中判断为对于对象页所检测的旋转方向不是对于上一页所检测的旋转方向的相反方向时，判断对于对象页在S1134中所检测的旋转方向是否是与对于上一页在S1113中所检测的旋转方向是相同方向(S1139)。
[0138]显示控制单元146c当在SI 139中判断为对于对象页所检测的旋转方向与对于上一页所检测的旋转方向不是相同方向时，在显示部142上显示翻转的方向不合适的意思之后(S1140)，执行图16所示的合成图像显示处理(S1141)，并执行S1131的处理。
[0139]显示控制单元146c当在SI 139中判断为对于对象页所检测的旋转方向与对于上一页所检测的旋转方向是相同方向时，判断在拍摄部143拍摄的摄影图像上是否包含纸张(S1142)。
[0140]装订方向设定单元146b当在S1142中判断为在拍摄部143拍摄的摄影图像上不包含纸张时，解除双面印刷的设定和装订方向的设定(SI 143)。
[0141]接着，显示控制单元146c执行S1104的处理。
[0142]显示控制单元146c当在S1142中判断为在拍摄部143拍摄的摄影图像上包含纸张时，判断是否指定了上部位置(S1144)。便携设备140的利用者通过经由操作部141指定在显示部142上所显示的摄影图像上的纸张的上部位置，能够指定上部位置。
[0143]显示控制单元146c当在S1144中判断为没有指定上部位置时，执行S1142的处理。
[0144]显示控制单元146c当在S1144中判断为指定了上部位置时，将在SllOl中获取的多页印刷预定图像之中当前的对象页的下一页的印刷预定图像作为对象(S1145)，并执行图16所示的合成图像显示处理(S1146)。
[0145]接着，控制部146判断是否将在SllOl中获取的多页印刷预定图像的全部页作为对象(SI 147)。
[0146]显示控制单元146c当在S1147中判断为将全部页作为了对象时，执行S1146的处理。
[0147]显示控制单元146c当在S1147中判断为未将全部页作为对象，即还有未作为对象的页存在时，执行SlllO的处理。
[0148]显示控制单元146c当在S1117中判断为将全部页作为了对象时，判断在拍摄部143拍摄的摄影图像上是否包含纸张(S1161)。
[0149]装订方向设定单元146b当在S1161中判断为在拍摄部143拍摄的摄影图像上不包含纸张时，解除双面印刷的设定和装订方向的设定(SI 162)。
[0150]接着，显示控制单元146c执行SI 104的处理。
[0151]旋转方向检测单元146a当在SI 161中判断为在拍摄部143拍摄的摄影图像上包含纸张时，与S1112的处理同样地，判断是否翻转了在拍摄部143拍摄的摄影图像上所包含的纸张(SI 163)。
[0152]显示控制单元146c当在SI 163中判断为没有翻转纸张时，执行SI 161的处理。
[0153]旋转方向检测单元146a当在SI 163中判断为翻转了纸张时，与SI 113的处理同样地，检测针对在拍摄部143拍摄的摄影图像上所包含的纸张的翻转的旋转方向(S1164)。
[0154]接着，装订方向设定单元146b判断对于对象页在SI 164中所检测的旋转方向是否是对于上一页在S1113中所检测的旋转方向的相反方向(S1165)。
[0155]装订方向设定单元146b当在SI 165中判断为对于对象页所检测的旋转方向是对于上一页所检测的旋转方向的相反方向时，解除在前面的S1114中设定的装订方向的设定(S1166)。
[0156]接着，显示控制单元146c将在SllOl中获取的多页印刷预定图像之中当前的对象页的上一页的印刷预定图像作为对象(S1167)，并执行图16所示的合成图像显示处理(S1168)。
[0157]接着，显示控制单元146c执行SlllO的处理。
[0158]显示控制单元146c当在S1165中判断为对于对象页所检测的旋转方向不是对于上一页所检测的旋转方向的相反方向时，在显示部142上显示翻转的方向不合适的意思之后(S1169)，执行图16所示的合成图像显示处(S1170)，并执行S1161的处理。
[0159]接着，对使印刷预定图像在MFP中印刷时的图像形成系统110的动作进行说明。
[0160]便携设备140的控制部146当经由操作部141指示印刷到纸张上时，将在SllOl中获取的多页印刷预定图像与示出关于双面印刷的设定的双面印刷设定信息一起经由网络通信部144发送到在S1102中接受的MFP中。此处，在双面印刷设定信息中包含是否在SI 109中设定了双面印刷的信息。另外，当在双面印刷设定信息中设定了双面印刷时，也包含对于在S1114中所设定的各纸张的装订方向的信息。
[0161]从而，MFP的控制部使用与印刷预定图像一起从便携设备140发送来的双面印刷设定信息，通过打印机将从便携设备140发送来的印刷预定图像印刷到纸张上。S卩，当在双面印刷设定信息中包含没有设定双面印刷的信息时，MFP的控制部将从便携设备140发送来的印刷预定图像单面印刷到纸张上。另一方面，当在双面印刷设定信息中包含设定了双面印刷的信息时，MFP的控制部根据在双面印刷设定信息中所包含的、针对各纸张的装订方向的设定的信息，将从便携设备140发送来的印刷预定图像双面印刷到纸张上。
[0162]如上所述，便携设备140通过使利用者翻转实际的纸张来设定根据针对纸张的翻转的旋转方向的装订方向(SI 112?SI 114)，因此能够使利用者向直观地指定在MFP中的双面印刷的装订方向。
[0163]便携设备140在通过使利用者翻转实际的纸张来设定装订方向(S1114)之后，通过使利用者向作为用于解除设定的旋转方向的解除用旋转方向实际地翻转纸张来解除装订方向的设定(SI 133?1S136或SI 163?SI 166)，因此能够使利用者容易地指示装订方向的设定的解除。
[0164]此处，便携设备140在通过使利用者翻转实际的纸张来设定装订方向之后，通过使利用者在作为翻转的旋转方向的相反方向的解除用旋转方向上实际地翻转纸张，即，使利用者实际执行装订方向的设定的动作的相反动作(S1135中“是”或S1165中“是”)来解除装订方向的设定(SI 133?SI 136或SI 163?SI 166)，因此能够使利用者直观地指示装订方向的设定的解除。
[0165]在便携设备140中，解除用旋转方向也可以是装订方向的设定的旋转方向的相反方向以外的旋转方向。另外，便携设备140也可以不包括解除用旋转方向本身。
[0166]便携设备140在针对连续的两张所述纸张的双面印刷之中第一张所述纸张的双面印刷的装订方向的设定(S1114)之后，当检测了转移用旋转方向时(S1139中“是”)，向对于第二张所述纸张的双面印刷的装订方向的设定的接受状态(S1110中“是”和S1112)转移，所述转移用旋转方向是用于向针对第二张所述纸张的双面印刷的装订方向的设定的接受状态转移的旋转方向。根据该构成，便携设备140在通过使利用者翻转实际的纸张来设定装订方向之后，通过使利用者在转移用旋转方向上实际地翻转纸张，转移到针对连续的两张纸张双面印刷之中针对第二张纸张的双面印刷的装订方向的设定的接受状态，因此能够使利用者容易地指示向针对第二张纸张的双面印刷的装订方向的设定的接受状态的转移。
[0167]此处，便携设备140在通过使利用者翻转实际的纸张来设定装订方向之后，通过使利用者向作为翻转的旋转方向的相同方向的转移用旋转方向上实际地翻转纸张(S1139中“是”)，能够转移到针对第二张纸张的双面印刷的装订方向的设定的接受状态(S1110中“是”和S1112)。然而，在便携设备140中，转移用旋转方向也可以是装订方向的设定的旋转方向的相同方向以外的旋转方向。例如，便携设备140也可以是解除用旋转方向以外的全部旋转方向为转移用旋转方向的构成。另外，当便携设备140例如是通过经由操作部141的特定的操作转移到针对第二张纸张的双面印刷的装订方向的设定的接受状态的构成时，或者是当针对原来连续的多页纸张的双面印刷的装订方向的设定全部相同的构成时，也可以不包括转移用旋转方向本身。
[0168]便携设备140使在拍摄部143拍摄的摄影图像上的纸张上合成了印刷预定图像的合成图像作为预览图像显示在显示部142上(S1204)，因此能够将实际的纸张的外观反映到预览图像上，作为结果，能够生成与实际的印刷物接近的预览图像。
[0169]便携设备140通过由图像识别技术识别摄影图像上的纸张本身来识别在摄影图像上包含纸张，因此即使纸张上未形成有用于识别在摄影图像上包含纸张的特别的标记，也能够使在摄影图像上的纸张上生成了印刷预定图像的合成图像作为预览图像显示在显示部142上。
[0170]便携设备140也可以是通过从纸张上读取用于识别在摄影图像上包含纸张的特别的标记来识别在摄影图像上包含纸张的构成。
[0171]便携设备140通过指定在纸张上对印刷预定图像进行印刷的MFP来根据MFP的输出特点使合成图像上的预览用印刷预定图像的外观变化，因此能够容易地在显示部42上显示适于使印刷预定图像印刷的MFP的预览图像。
[0172]便携设备140使在拍摄部143拍摄的摄影图像上的纸张上合成了印刷预定图像的合成图像作为预览图像显示在显示部142上(S1204)，因此能够使利用者具体地想象双面印刷的结果，作为结果，能够使利用者更直观地指定在MFP中的双面印刷的装订方向。然而，便携设备140也可以是当在图13?图15所示的处理中设定双面印刷的装订方向时，在显示部142上不显示预览图像的构成。
[0173]当使利用者翻转实际的纸张时，便携设备140能够使利用者确认在显示部142上所显示的摄影图像，因此能够使利用者确认通过便携设备140识别到纸张翻转的行为，能够提高操作性。然而，便携设备140也可以是当在图13?图15所示的处理中设定双面印刷的装订方向时，不使拍摄部143拍摄的摄影图像显示在显示部142上的构成。
[0174]虽然在实施方式中图像形成系统110包括便携设备作为本发明的电子设备，但是也可以包括PC等便携设备以外的电子设备作为本发明的电子设备。
[0175]另外，虽然在实施方式中图像形成系统110包括MFP作为本发明的图像形成装置，但是也可以包括打印机专用机等MFP以外的图像形成装置作为本发明的图像形成装置。
【权利要求】
1.一种电子设备，包括拍摄设备和显示设备，该电子设备还包括: 印刷预定图像获取单元，其获取由图像形成装置印刷的预定的印刷预定图像；以及显示控制单元，当在所述拍摄设备拍摄的摄影图像上包含纸张时，所述显示控制单元使在所述摄影图像上的所述纸张上合成了所述印刷预定图像的合成图像显示在所述显示设备上，所述印刷预定图像由所述印刷预定图像获取单元获取。
2.如权利要求1所述的电子设备，还包括: 旋转方向检测单元，其在执行了所述纸张的翻转时检测针对所述纸张的翻转的旋转方向；以及 装订方向设定单元，其设定所述图像形成装置中的双面印刷的装订方向， 所述旋转方向检测单元构成为当在所述摄影图像上包含所述纸张时，通过针对所述摄影图像的图像处理来检测针对所述纸张的所述旋转方向， 所述装订方向设定单元设定与由所述旋转方向检测单元检测的所述旋转方向对应的所述装订方向。
3.一种由包括拍摄设备和显示设备的电子设备进行的印刷预览方法，包括: 经由印刷预定图像获取单元，获取由图像形成装置印刷的预定的印刷预定图像； 经由显示控制单元，当在来自所述拍摄设备的摄影图像上包含纸张时，使在所述摄影图像上的所述纸张上合成了所述印刷预定图像的合成图像显示在所述显示设备上，所述印刷预定图像由所述印刷预定图像获取单元获取。
4.如权利要求3所述的印刷预览方法， 所述显示控制单元通过由图像识别技术识别所述摄影图像上的所述纸张本身来识别在所述摄影图像上包含所述纸张。
5.如权利要求3所述的印刷预览方法，包括: 经由装置指定接受单元，接受所述图像形成装置的指定， 所述显示控制单元根据由所述装置指定接受单元接受的所述图像形成装置的输出特点，使所述合成图像上的所述印刷预定图像的外观变化。
6.如权利要求3至5中任一项所述的印刷预览方法，包括: 经由旋转方向检测单元，当执行了纸张的翻转时检测针对所述纸张的翻转的旋转方向； 经由装订方向设定单元，设定图像形成装置中的双面印刷的装订方向， 所述旋转方向检测单元当在所述拍摄设备拍摄的摄影图像上包含所述纸张时，通过针对所述摄影图像的图像处理来检测针对所述纸张的所述旋转方向， 所述装订方向设定单元设定与由所述旋转方向检测单元检测的所述旋转方向对应的所述装订方向。
7.如权利要求6所述的印刷预览方法， 所述装订方向设定单元在所述装订方向的设定之后，当通过所述旋转方向检测单元检测到解除用旋转方向时，解除所述设定，所述解除用旋转方向是用于解除所述设定的所述旋转方向。
8.如权利要求7所述的印刷预览方法， 当所述装订方向设定单元解除与所述旋转方向对应的所述设定时，所述解除用旋转方向是所述旋转方向的相反方向。
9.如权利要求6所述的印刷预览方法， 所述装订方向设定单元在针对连续的两张所述纸张的双面印刷之中针对第一张所述纸张的双面印刷的所述设定之后，当检测了转移用旋转方向时，转移到针对所述第二张所述纸张的双面印刷的所述设定的接受状态，所述转移用旋转方向是用于转移到针对第二张所述纸张的双面印刷的所述设定的接受状态的所述旋转方向。
【文档编号】H04N1/00GK104135587SQ201410155914
【公开日】2014年11月5日 申请日期:2014年4月17日 优先权日:2013年4月30日
【发明者】小若真 申请人:京瓷办公信息系统株式会社