显示控制装置以及显示控制方法与流程

技术领域

本发明涉及一种将多个拍摄图像在显示画面上进行显示的技术。

背景技术：

以往，已知一种使用自动翻页装置将书籍等(例如书、杂志)的重叠的页一张一张地分离而翻开的技术。此外，已知对各页进行拍摄而电子数据化，并将多页量的电子数据记录为书籍文件的技术(例如，日本特开2014-117893号公报以及日本特开2015-006754号公报)。

在制作书籍文件的情况下，在将对各页进行拍摄而得到的拍摄图像、即一系列页图像直接使用的情况下，难以确保作为书籍的品质。由此，需要对一系列页图像进行各种编辑操作。在书籍等页数较多的情况下，其编辑操作变得繁琐。

技术实现要素：

本发明是鉴于上述实际情况而做出的，其目的在于使对一系列页图像进行编辑时的操作性提高。

本发明的第一观点的显示控制装置，具备显示控制部，该显示控制部将相互具有前后关系的多个拍摄图像维持其前后关系地显示于显示画面，上述显示控制部为，在上述多个拍摄图像包含通过连续的多次拍摄操作而取得的多个第一拍摄图像、以及通过与上述多次拍摄操作不同的单独的拍摄操作而取得的第二拍摄图像的情况下，在上述显示画面上将上述第二拍摄图像显示为能够与上述多个第一拍摄图像相辨别。

本发明的第二观点的显示控制方法为，包括：将相互具有前后关系的多个拍摄图像维持其前后关系地显示于显示画面；以及在上述多个拍摄图像包含通过连续的多次拍摄操作而取得的多个第一拍摄图像、以及通过与上述多次拍摄操作不同的单独的拍摄操作而取得的第二拍摄图像的情况下，在上述显示画面上将上述第二拍摄图像显示为能够与上述多个第一拍摄图像相辨别。

附图说明

当与以下的附图相匹配地考虑以下的详细记载时，能够得到本申请的更深的理解。

图1是表示书画摄像机系统的概略构成的立体图。

图2是表示书画摄像机系统的电气构成的主要部分的框图。

图3是用于对平板电脑的编辑模式下的动作进行说明的流程图。

图4是表示页编号编辑画面的一个例子的图。

图5是表示页编号编辑画面的其他例子的图。

图6是表示更新后的页编号编辑画面的一个例子的图。

图7是用于说明平板电脑的图像编辑模式下的动作的流程图。

图8是表示图像编辑画面的一个例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示本发明的一个实施方式的书画摄像机系统1的概略构成的立体图。该书画摄像机系统1包括具备作为本发明的文件管理装置的功能的平板电脑2和自动翻页装置3。

自动翻页装置3具备：保持台6，对打开的书籍等B进行保持；翻开机构30，在保持台6上的书籍等B的页P的翻开原始位置保持页P，在页P的翻开目的位置解除对页P的保持；以及送风部5，使风通过处于翻开原始位置的页P的上方，由此对处于翻开目的位置的页P吹风。

平板电脑2是具备摄像机(后述的摄像部)的能够携带的信息处理终端，通过使用基台20而设置在书籍等(例如书、杂志)B的上方，由此对翻开原始位置的书籍等B的页P进行拍摄。此外，平板电脑2和自动翻页装置3，能够经由分别内置的Bluetooth(注册商标)、Wi-Fi(注册商标)等近距离无线通信适配器进行通信。

然后，书画摄像机系统1能够在使用自动翻页装置3将书籍等(例如书、杂志)B的页P一张一张地进行分离而翻开的同时，通过平板电脑2对各页进行拍摄而进行电子数据化，将多页量的电子数据记录为所确定的格式的文件(以下，称为书籍文件)。

图2是表示平板电脑2和自动翻页装置3的电气构成的主要部分的框图。首先，对自动翻页装置3的电气构成进行说明。

自动翻页装置3主要包括控制部31、存储部32、操作部33、马达驱动电路部34、通信部35、以及电源部36。存储部32包括记录各种程序的ROM(Read Only Memory)以及供该程序展开的RAM(Random Access memory)。

操作部33包括使翻页处理开始的开始开关和使翻页处理停止的停止开关等。马达驱动电路部34包括对翻开机构30进行驱动的马达、对设置于送风部5的风扇进行驱动的马达、以及对这些马达进行驱动的马达驱动器等。

控制部31在从开始开关被操作起到停止开关被操作为止对马达驱动电路部34进行控制，由此对翻开机构30进行驱动，将书籍等B的页P一张一张地进行分离而翻开。通信部35负责与平板电脑2的通信接口，通过Bluetooth(注册商标)、Wi-Fi(注册商标)等通信方式与平板电脑2进行连接。电源部36向上述各模块31～35供给电力。

接下来，对平板电脑2的电气构成进行说明。平板电脑2主要包括摄像部21、操作部22、显示部23、通信部24、控制部25以及存储部26。

摄像部21是能够对书籍等B等的页图像进行拍摄的摄像机，除了包括透镜在内的光学系统以外，还具有由CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等构成的摄像元件等。经由透镜入射的光像，由该摄像元件光电变换为模拟图像信号，在进行了色分离、每个色成分的增益调整之后，变换为数字数据。

显示部23具有LCD(Liquid Crystal Display)、有机EL(Electro Luminescence)等显示监视器，在显示监视器的画面上显示由摄像部21摄像的页图像、各种信息等。

操作部22包括未图示的电源键等最小限度的操作开关、以及在显示部23所具有的显示监视器的表面上一体地设置的触摸面板，将用户对平板电脑2的操作信息向控制部25供给。

通信部24负责与自动翻页装置3之间的通信接口，通过Bluetooth(注册商标)、Wi-Fi(注册商标)等通信方式与自动翻页装置3进行连接。

控制部25包括CPU(Central Processing Unit)及其周边电路等、以及RAM(Random Access memory)等，对平板电脑2的各部分进行控制。此外，也可以使CPU为处理器(Processor)等。

存储部26例如安装有半导体存储器，对各种应用程序、控制部25在执行程序的过程中生成的各种数据等进行保存。上述应用程序包括书籍管理程序，该书籍管理程序用于使用自动翻页装置3对书籍等的各页进行拍摄，将通过拍摄而取得的页图像作为书籍文件而保存于存储部26，或者进行保存的书籍文件的阅览、编辑。

此外，在存储部26中，存储有在书籍文件的生成过程中，对书籍等的各页进行拍摄而得到的拍摄图像即多页量的页图像、以及对书籍的封面、内面(封底侧)、封底、内面(封面侧)分别进行拍摄而得到的拍摄图像。

此外，在存储部26确保有存储管理表260的区域，该管理表260用于将书籍文件、页图像以及封面等的拍摄图像、按照书籍等进行电子数据化的不同对象进行管理。在管理表260中，按照书籍等的不同的文件化对象，记载有被保存为书籍文件以前的多页量的页图像中的各个页图像与书籍等的各页之间的对应关系、以及针对多页量的页图像、封面等的拍摄图像的表示处理阶段的管理信息。

然后，在使用以上的书画摄像机系统1对书籍等进行电子数据化而保存为书籍文件时，在将平板电脑2如图1所示那样设置在自动翻页装置3的上方的状态下，通过平板电脑2对无线连接的自动翻页装置3的翻页动作进行控制，并且对书籍等的各页反复进行拍摄而取得页图像。此时，通过一系列的拍摄动作取得书籍等的左页，并且通过一系列的拍摄动作取得右页。此外，对书籍的封面等进行拍摄，并取得其拍摄图像。在此之后，在平板电脑2中，在对所取得的页图像等进行了各种编辑操作之后，使这些结合为单一文件，由此生成书籍文件。

接下来，参照图3至图6对书籍文件的生成过程中的平板电脑2的动作进行说明。首先，对基于书籍管理程序的页编辑模式下的动作进行说明。

页编辑模式为如下模式：用于对于通过书籍等的各页的拍摄操作即连续的多次拍摄操作来单独地拍摄、并保存于存储部26的多页量的页图像(以下，称为一系列的页图像。)，进行页图像的置换、插入这样的页编辑。

此外，页编辑模式是能够通过用户的操作进行设定的动作模式，并且也是在书籍等的各页、书籍的封面等的拍摄所使用的拍摄模式下的动作结束后自动地转移到的动作模式。此外，在页编辑模式下成为编辑对象的一系列的页图像，是通过管理表260来管理与书籍等的各页之间的对应关系(建立关联)的仅对左页进行了拍摄的一系列的左页图像、以及仅对右页进行了拍摄的一系列的右页图像。

图3是用于对在平板电脑2基于书籍管理程序在页编辑模式下进行动作时、控制部25所执行的处理内容进行说明的流程图。如图3所示那样，控制部25在页编辑模式下，首先，在显示部23的显示画面上显示图4或者图5所示的页编号编辑画面G1(步骤SA1)。该页编号编辑画面G1包括沿着上缘固定地确保的功能显示区域Ga、以及除此以外的一般区域Gb。

在功能显示区域Ga显示有包括表示当前的动作状态的标题(caption)c1(图中的“页编号”)、用于指示编辑的编辑按钮b1、用于指示保存的保存按钮b2在内的各种显示要素。此外，在此，将由为了实现GUI(Graphical User Interface)而在显示部23的显示画面上显示、并且由用户进行触摸操作的文字、图案等构成的各种显示要素称为“按钮”。

然后，在页编号编辑画面G1的显示时，控制部25在一般区域Gb中，将存储部26所保存的一系列的左页图像的各个图像101以及一系列的右页图像的各个图像201缩小而按页顺序排列显示。具体地说，将各个左页图像101与右页图像201作为一组，并通过将它们沿左右无间隙地排列配置来表示翻开状态的书籍，并且将各组隔开间隔地按页顺序沿纵向排列显示。此外，在以下的说明中，根据需要将左页图像101和右页图像201称为页图像。

此外，在页编号编辑画面G1的显示时，控制部25在各个左页图像101的左侧以及各个右页图像201的右侧显示页编号对象301。页编号对象301为，将与页图像(左页图像101以及右页图像201)对应的页编号302、左页图像101以及右页图像201各自的总数303沿上下排列显示。并且，在页编号编辑画面G1的显示时，控制部25还沿着一般区域Gb的右边显示标尺401。该标尺401用于表示当前显示中的页图像是与书籍等的全页的哪里的范围的页对应。

在此，对图4以及图5所示的页编号编辑画面G1的不同进行说明。图4表示在一系列的左页图像中存在对书口侧抬起的状态的左页进行拍摄而得到的左页图像101(在图4为第5页的左页图像)的情况的一个例子。此外，图5表示在左页的拍摄中存在漏拍的情况，具体地说，是先行的页P与后续的页P被自动翻页装置3的1次翻开动作一同翻开，因此在一系列的左页图像中欠缺了本来存在的左页图像的情况的一个例子。此外，图5是一系列的左页图像的总数为“17”、比一系列的右页图像的总数“18”少1张的情况的例子。

在此，在图3中进行了省略，但在显示页编号编辑画面G1的期间，控制部25根据用户对显示画面进行的滚动操作使画面(其中，仅为一般区域Gb)滚动，由此能够对任意的左页图像101以及右页图像201进行确认。此时，控制部25根据新显示的左页图像101以及右页图像201，对页编号对象301的页编号302和标尺401进行更新。

此外，也可以与本实施方式不同，通过根据用户对显示画面的切换操作来切换显示画面，由此能够对书籍的全页量的左页图像101以及右页图像201进行确认。

另一方面，在步骤SA1中显示了页编号编辑画面G1之后，控制部25为，如果存在来自用户的页图像的置换指示(步骤SA2：是)，则进行页置换处理(步骤SA3)。此外，用户通过在页编号编辑画面G1中对所希望的页图像进行触摸操作，由此进行页图像的置换指示。

页置换处理是将由用户通过触摸操作而指定的页图像置换为单独地拍摄的其他的页图像的处理，实际上，是代替编辑中的一系列的页图像中由用户指定的页图像，而将与其他的页图像之间的对应关系临时存储的处理。例如，在图4所示的页编号编辑画面G1中，在用户触摸操作了第5页的左页图像101时，控制部25将第5页的左页图像101置换为其他左页图像。

此外，虽然在此未图示，但具体的处理内容如以下所述。即，在页置换处理中，与页编号编辑画面G1相区别地显示规定的选择画面，使用户选择将置换用的页图像(新使用的页图像)设定为“其他的页图像”或者“再次拍摄而取得的页图像”中的哪个。

然后，在选择了“其他的页图像”的情况下，代替上述选择画面而显示规定的指定画面，使用户选择与当前编辑中的一系列页图像不同而单独拍摄并已经保存于存储部26的其他的页图像、且是对与在页编号编辑画面G1中指定的页图像相同的页进行拍摄而得到的页图像。在此之后，将用户所选择的置换用的页图像与在页编号编辑画面G1中指定的页图像进行置换。

此外，在选择了“再次拍摄而取得的页图像”的情况下，在该时刻使用户进行用于仅对与在页编号编辑画面G1中指定的页图像相同的页再次进行拍摄的拍摄操作，由此取得相同页的新页图像并保存于存储部26。在此之后，将新的页图像与在页编号编辑画面G1中指定的页图像进行置换。

控制部25在进行了页置换处理之后，将能够辨别出置换后的页图像的页编号编辑画面G1显示于显示部23的显示画面(步骤SA4)。例如在显示图4所示的页编号编辑画面G1时，在根据用户的操作将第5页的左页图像101作为对象而进行了页置换处理之后，对图6所示那样的页编号编辑画面G1进行重新显示。

具体地说，将第5页的置换后的左页图像101的背景区域Gc以与其他一般区域Gb不同的颜色进行表现，由此将背景区域Gc以与其他一般区域Gb不同的显示方式进行表现，使置换后的左页图像101能够辨别出。

此外，与以上处理相独立地，在步骤SA1中对页编号编辑画面G1进行了显示之后，如果存在来自用户的页图像的插入指示(步骤SA2：否，步骤SA5：是)，则控制部25进行页插入处理(步骤SA6)。此外，虽然未图示，但通过在页编号编辑画面G1中对编辑按钮b1进行了触摸操作之后，在画面上对应该插入页图像的页位置进行指示(触摸操作)，由此进行用户的页插入指示。

页插入处理是如下处理：在当前编辑中的一系列的页图像中，在由用户通过触摸操作而指定的页(以下，简称为所指定的页。)中插入拍摄而得到的页图像的处理，且在实际上，是将拍摄而得到的页图像新加入到当前编辑中的一系列的页图像中，并且将其与指定的页的对应关系临时存储的处理。

例如，在图5所示的页编号编辑画面G1中，在本来为第6页的左页图像101被显示为第5页的左页图像101的情况下，即、在一系列的左页图像中欠缺第5页的左页图像的情况下，根据用户的指示插入第5页的左页图像。

此外，在此，虽然未图示，但具体的处理内容如以下所述。即，在页插入处理中，与页编号编辑画面G1相独立地显示规定的选择画面，使用户选择将插入用的页图像(新使用的页图像)设为“其他的页图像”或者“再次拍摄而取得的页图像”中的哪个。

然后，在选择了“其他的页图像”的情况下，代替上述选择画面而显示规定的指定画面，使用户选择与当前编辑中的一系列的页图像(左页图像以及右页图像)不同而单独拍摄并已经保存于存储部26的其他的页图像、且是对所欠缺的页进行拍摄而得到的页图像。在此之后，将用户选择的插入用的页图像插入于在页编号编辑画面G1中指定的页位置。

此外，在选择了“再次拍摄而取得的页图像”的情况下，在该时刻，使用户进行用于仅对所指定的页进行再次拍摄的拍摄操作，由此取得新的页图像并保存于存储部26。在此之后，将新的页图像插入用户所指定的页位置。

控制部25在进行了页插入处理之后，将能够辨别出插入后的页图像的页编号编辑画面G1显示于显示部23的显示画面(步骤SA7)。例如在显示图5所示的页编号编辑画面G1时，在根据用户的操作进行了插入第5页的左页图像101的页插入处理之后，重新显示图6所示的页编号编辑画面G1。即，如上所述，将插入后的左页图像101的背景区域Gc以与其他一般区域Gb不同的颜色进行表现，使插入后的左页图像101能够辨别出。

此外，控制部25为，在步骤SA4以及步骤SA7的处理中显示了新的页编号编辑画面G1之后，到通过保存按钮b2的触摸操作而存在来自用户的保存指示为止(步骤SA8：否)，返回步骤SA2的处理，反复执行其以后的处理。

然后，当存在来自用户的保存指示时(步骤SA8：是)，控制部25将与一系列的页图像相关的信息、即在步骤SA4以及步骤SA7的处理中临时存储的编辑信息保存于存储部26(步骤SA9)。即，对管理表260所记载的管理信息进行更新，并且将表示与所置换的页图像、所插入的页图像分别对应的页的信息作为管理信息而重新记载。由此，结束页编辑模式下的处理。

如以上那样，在页编辑模式下，在进行了页置换处理、页插入处理之后对页编号编辑画面G1进行显示时，使置换后的左页图像101以及插入后的左页图像101、即通过与其他的页图像不同的单独的拍摄操作而取得的页图像能够辨别出。

由此，在用户对一系列的页图像(左页图像以及右页图像)进行置换、插入这样的页编辑操作的期间，即使不重新观察各个页图像，也能够立即区分已经完成了操作的页图像。因此，能够使对一系列的页图像进行编辑时的操作性提高。特别是在一系列的页图像的数量、即进行电子数据化的书籍等的页数较多的情况下，所述效果较好。

接下来，参照图7以及图8，对基于平板电脑2中的书籍管理程序的图像编辑模式下的动作进行说明。图像编辑模式是如下的动作模式：为了对存储部26所保存的一系列的页图像，单独地或者一并地进行修整、颜色修正这样的图像编辑而准备的动作模式。图7是用于对在图像编辑模式下控制部25所执行的处理内容进行说明的流程图。

如图7所示那样，控制部25在图像编辑模式的设定的同时开始处理，首先，在显示部23的显示画面中显示能够辨别出进行了页编辑的页图像的、图8所示那样的图像编辑画面G2(步骤SB1)。

图像编辑画面G2与上述页编号编辑画面G1几乎相同，与页编号编辑画面G1之间的主要不同如以下所述。即，在功能显示区域Ga中，代替标题c1，而配置有用于图像编辑的选择、并且使选择状态以反转显示表示的修整按钮b3以及颜色修正按钮b4，并取消了编辑按钮b1。

然后，在图像编辑画面G2的显示时，控制部25为，与页编号编辑画面G1同样，在一般区域Gb中将保存于存储部26的一系列的左页图像的各个图像101和一系列的右页图像的各个图像201缩小而分别按照对应的页顺序排列显示。

此时，控制部25基于管理表260所记载的管理信息，确认各个页图像是否在上述编辑模式下进行了置换或者插入这样的页编辑。然后，控制部25在存在进行了页编辑的页图像(以下，称为特定的页图像。)的情况下，如图8所示那样，将特定的页图像的背景区域Gc以与其他一般区域Gb不同的颜色进行表现，将背景区域Gc以与其他一般区域Gb不同的显示方式进行表现，使特定的页图像能够辨别出。此外，图8是表示第5页的左页图像101为特定的页图像的情况的例子的图。

此外，在显示图像编辑画面G2的期间，控制部25也根据用户对显示画面的滚动操作来使画面(但是，仅为一般区域Gb)滚动，能够确认对任意页进行拍摄而得到的左页图像101以及右页图像201。

然后，在显示了图像编辑画面G2之后，如果通过修整按钮b3的触摸操作而存在来自用户的修整指示(步骤SB2：是)，则控制部25进行修整处理(步骤SB3)。

在修整处理中，控制部25在使修整按钮b3切换为反转显示之后，当用户指定任意的页图像时，对所指定的页图像进行放大显示，并且根据用户的指示对页图像进行修整。此外，在修整处理中，用户在选择了多页图像的状态下指示一并处理，由此能够对多页图像一并地进行相同内容的修整。

此外，如果通过颜色修正按钮b4的触摸操作而存在来自用户的颜色修正指示(步骤SB4：是)，则控制部25进行颜色修正处理(步骤SB5)。

在颜色修正处理中，控制部25在将颜色修正按钮b4切换为反转显示之后(图8所示的状态)，当用户指定任意的页图像时，将所指定的页图像进行放大显示，并且根据用户的指示进行包括页图像的明亮度、对比度的调整在内的颜色修正。此外，在颜色修正处理中，用户在选择了多页图像的状态下指示一并处理，由此也能够对多页图像一并地进行相同内容的颜色修正。

以后，到存在通过保存按钮b2的触摸操作而来自用户的保存指示为止(步骤SB6：否)，控制部25返回步骤SB1的处理，并反复执行其以后的处理。

然后，当存在来自用户的保存指示时(步骤SB6：是)，控制部25对编辑结果进行保存(步骤SB7)。即，对修整后的页图像、颜色修正后的页图像进行保存。由此，使图像编辑模式的处理结束。

如以上那样，在图像编辑模式下在图像编辑画面G2中显示一系列的页图像(左页图像以及右页图像)时，在存在通过上述编辑模式进行了页编辑(置换或者插入)的特定的页图像的情况下，使特定的页图像能够辨别出。即，使通过与其他的页图像不同的单独拍摄操作而取得的页图像、即在不同拍摄条件下所拍摄的页图像能够辨别出。

由此，在用户对一系列的页图像(左页图像以及右页图像)进行修整、颜色修正这样的图像编辑操作时，即使不确认各个页图像的详细内容，也能够立即区分可以与图像编辑一并进行的页图像和需要单独地进行的页图像。因此，能够使对一系列的页图像进行编辑时的操作性提高。特别是在一系列的页图像的数量、即进行电子数据化的书籍等的页数较多的情况下，所述效果较大。

此外，在本实施方式中，在页编辑模式下进行了页编辑(置换、插入)之后显示页编号编辑画面G1(参照图6)时、以及在图像编辑模式下显示图像编辑画面G2(参照图8)时，将进行了页编辑的特定的页图像的背景区域Gc以与其他一般区域Gb不同的颜色进行表现、即以与其他一般区域Gb不同的显示方式进行表现，由此使其能够辨别出。

但是，关于使特定的页图像能够辨别出时的具体方法可以是任意的方法，并能够适当地变更。例如，也可以对特定的页图像的背景区域Gc施加网格。此外，例如，也可以显示特定的页图像的背景区域Gc、对其周边进行包围的矩形的框。只要如本实施方式那样，使特定的页图像的背景区域Gc的整个区域成为与其他一般区域Gb不同的显示方式，则即使在显示部23的显示画面的尺寸较小的情况下，也能够确保较高的辨别性。

此外，在本实施方式中，不将进行了页编辑的页图像区别为所置换的页图像和所插入的页图像，而是通过同样的方法进行辨别。但是，例如在编辑模式下，有时对于成为编辑对象的一系列的页图像进行页图像的置换和插入的双方。

因此，在进行了页图像的置换和插入的双方的处理之后进行显示的页编号编辑画面G1中，只要对于置换后的页图像和插入后的页图像改变显示方式而使其相互能够辨别，则能够使编辑操作时的操作性进一步提高。此外，在图像编辑模式下对图像编辑画面G2进行显示时，也可以使所置换的页图像与所插入的页图像能够相互辨别。

其中，在使所置换的页图像和所插入的页图像能够相互辨别的情况下，需要以下处理。即，在与一系列的页图像相关的编辑信息(管理表260所记载的管理信息)中，除了页编号等，对于所置换的页图像、所插入的页图像，还需要包括表示其处理内容(置换或者插入)的信息。

此外，在本实施方式中对应用于平板电脑2的情况进行了说明，但不限定于此。通过向一般的个人计算机等其他信息设备供给能够进行同样处理的程序，由此也能够实现。此外，其供给方法是任意的，例如也可以从互联网上的Web页将程序向个人计算机等进行供给。

此外，也可以将程序储存到互联网上的服务器，并使服务器执行图3以及图7所示的处理。在该情况下，与服务器相配合而在个人计算机等中进行页编号编辑画面G1、图像编辑画面G2的显示以及用户对画面的操作。其中，新生成的文书文件等的保存也可以为服务器或者个人计算机等的任意一方。

以上，对本发明的优选实施方式以及其变形例进行了说明，但本发明不限定于这些，包含专利请求范围所记载的发明和其均等的范围。