本公开涉及显示控制装置、显示控制方法和计算机程序。
背景技术：
许多数字照相机和数字摄像机具有在取景器或显示器上显示水位(waterlevel)或辅助线的功能，该水位或辅助线充当摄影者(用户)在图像捕获时决定构图的辅助。例如，专利文献1公开了一种用于改善辅助线的可视性的技术。
引文列表
专利文献
专利文献1：jp2005-198035a
技术实现要素：
技术问题
然而，取决于用户想要捕获其图像的被摄体，预先准备的水位和辅助线不满足用户的需求。
鉴于上述内容，本公开提出了一种新颖和改进的、并且可以执行对显示辅助线的控制的显示控制装置、显示控制方法和计算机程序，所述辅助线充当满足用户的需求的构图决定的辅助。
问题的解决方案
根据本公开，提供了一种显示控制装置，包括：控制单元，该控制单元被配置为根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
此外，根据本公开，提供了一种显示控制方法，包括：根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
此外，根据本公开，提供了一种用于使计算机执行以下操作的计算机程序：根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
发明的有益效果
如上所述，根据本公开，可以设置一种新颖和改进的、并且可以执行对显示辅助线的控制的显示控制装置、显示控制方法和计算机程序，所述辅助线充当满足用户的需求的构图决定的辅助。
注意，上述效果不一定是限制性的。具有或代替上述效果，可以实现本说明书中描述的效果中的任何一种效果或可以从本说明书掌握的其他效果。
附图说明
图1是示出根据本公开的实施例的图像处理装置100的配置示例的框图。
图2是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图3是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图4是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图5是示出在显示单元110上显示的图像的示例的说明图。
图6是示出在显示单元110上显示的图像的示例的说明图。
图7是示出在显示单元110上显示的图像的示例的说明图。
图8是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图9是示出在显示单元110上显示的图像的示例的说明图。
图10是示出在显示单元110上显示的图像的示例的说明图。
图11是示出在显示单元110上显示的图像的示例的说明图。
图12是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图13是示出在显示单元110上显示的图像的示例的说明图。
图14是示出在显示单元110上显示的图像的示例的说明图。
图15是示出在显示单元110上显示的图像的示例的说明图。
图16是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。
图17是示出在显示单元110上显示的图像的示例的说明图。
图18是示出在显示单元110上显示的图像的示例的说明图。
图19是示出在显示单元110上显示的图像的示例的说明图。
图20是示出由图像处理装置100执行的辅助线的绘制处理的示例的说明图。
图21是示出四个图像处理装置100a至100d正在捕获同一被摄体的图像的状态的示例的说明图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例(一个或多个)。注意，在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
注意，将按照以下顺序给出描述。
1.本公开的实施例
1.1.背景
1.2.配置示例
1.3.操作示例
2.结论
<1.本公开的实施例>
[1.1.背景]
首先，将描述本公开的实施例的背景。
如上所述，使用数字照相机或数字摄像机拍摄作为被摄体的景观、建筑物等的图像的用户期望确实地执行校平，或期望精确地设置构图。为了满足用户的这种期望，许多数字照相机和数字摄像机具有在取景器或显示器上显示充当摄影者(用户)在图像捕获时决定构图的辅助的水位和辅助线的功能。
在使用诸如居中构图或三分构图规则的一般构图执行图像捕获的情况下，由数字照相机预先准备的水位和辅助线可以充当用户在图像捕获时决定构图的辅助。例如，水位向用户呈现数字照相机是否是水平的，并且辅助线被以相等的间隔垂直和水平地绘制，以便充当使用三分构图规则来执行图像捕获的辅助。通过使用在取景器或显示器上显示的水位和辅助线来决定构图，用户能够使用前述的一般构图执行图像捕获。然而，取决于用户想要捕获其图像的被摄体，在某些情况下，由数字照相机预先准备的水位和辅助线不充当用户在图像捕获时决定构图的辅助。
例如，水位可以呈现数字照相机是否是水平的，但是在某些情况下，水平数字照相机从构图的角度看并不被认为是水平的。另外，现有的辅助线经常被显示为便于将画面垂直和水平地划分为三个，以用于使用一般构图执行图像捕获，但是在某些情况下，难以使用现有水位和辅助线来决定构图。
另外，在诸如自然景观的被摄体主要包括曲线的情况下，由于现有水位和辅助线是线性显示的，因此有时难以使用现有的水位和辅助线来决定构图。此外，在希望严格决定诸如建筑物的被摄体的构图的情况下，现有的水位和辅助线有时不能充当构图决定的辅助。
因此，现有的辅助线和水位已经不能完全满足用户的需求。
因此，鉴于上述背景，本申请的公开方认真研究了在图像捕获时可以显示用户期望的辅助线的技术。结果，本申请的公开方最终设计了一种能够根据用户的操作在图像捕获时显示用户期望的辅助线的技术。
以上已经描述了本公开的实施例的背景。随后，将详细描述本公开的实施例。
[1.2.配置示例]
首先，将描述根据本公开的实施例的图像处理装置100的配置示例。图1是示出根据本公开的实施例的图像处理装置100的配置示例的框图。下面将使用图1来描述根据本公开的实施例的图像处理装置100的配置示例。
如图1所示，根据本公开的实施例的图像处理装置100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、总线116和控制单元118。
(1)成像单元
成像单元102是包括变焦镜头、聚焦镜头、图像传感器等，并且捕获图像的照相机模块。成像单元102使用诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)的图像传感器来捕获真实空间的图像以生成捕获图像。由成像单元102生成的一系列捕获图像构成示出真实空间的视频。注意，成像单元102不需要总是图像处理装置100的一部分。例如，以有线或无线方式连接到图像处理装置100的成像装置可以被视为成像单元102。另外，成像单元102中的变焦镜头和聚焦镜头可以被设置成从图像处理装置100可拆卸。
(2)传感器单元
传感器单元104可以包括各种传感器，诸如定位传感器、加速度传感器、陀螺仪传感器、地磁传感器、照度传感器、温度传感器或气压传感器。图像处理装置100的可以由传感器单元104测量的位置、姿态或运动可以用于各种目的，诸如支持照相机的位置和姿态的识别，获取专用于地理位置的数据，或者来自用户的指令的识别。注意，传感器单元104可以从图像处理装置100的配置中省略。
具体而言，定位传感器的示例可以包括全球导航卫星系统(gnss)接收器和/或通信设备等。gnss的示例可以包括全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(bds)、准天顶卫星系统(qzss)、伽利略等。另外，定位传感器的示例可以包括使用诸如无线局域网(lan)、多输入多输出(mimo)、蜂窝通信(例如，使用便携式基站、毫微微小区的位置检测)、近场通信(例如，蓝牙低功耗(ble)、蓝牙(注册商标))等的技术检测位置的传感器。
(3)输入单元
输入单元106是用户用于操作图像处理装置100或向图像处理装置100输入信息的输入设备。例如，输入单元106可以包括检测用户对显示单元110的画面执行的触摸的触摸传感器。触摸传感器可以期望地检测两个或更多个点处的触摸，但是不限于可以检测两个或更多个点处的触摸的触摸传感器。代替这个(或除此之外)，输入单元106可以包括诸如鼠标或触摸板的指点设备(pointingdevice)。此外，输入单元106可以包括另一类型的输入设备，诸如键盘、小键盘、按钮或开关。
(4)存储单元
存储单元108包括诸如半导体存储器或硬盘的存储介质，并且存储用于由图像处理装置100执行的处理的程序和数据。例如，由存储单元108存储的数据可以包括捕获的图像数据、传感器数据和辅助线数据，这些将在随后描述。注意，本说明书中描述的程序和数据的一部分可以从外部数据源(例如，数据服务器、网络储存器、外部存储器等)获取，而不存储在存储单元108中。
(5)显示单元
显示单元110是包括诸如液晶显示器(lcd)或有机发光二极管(oled)的显示器的显示模块。例如，显示单元110用于显示由图像处理装置100生成的输出图像。注意，显示单元110也不一定总是图像处理装置100的一部分。例如，以有线或无线方式连接到图像处理装置100的显示设备可以被视为显示单元110。
例如，通过控制单元118的控制在显示单元110上显示直通图像，也就是由成像单元102顺序捕获的被摄体图像。另外，通过控制单元118的控制在显示单元110上绘制辅助线。显示单元110上显示的辅助线可以叠加在上述直通图像上，但不需要叠加在直通图像上。
(6)通信单元
通信单元112是调解图像处理装置100与另一装置执行的通信的通信接口。通信单元112支持任意的无线通信协议或有线通信协议，并建立与另一装置的通信连接。
(7)总线
总线116将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112和控制单元118彼此连接。
(8)控制单元
控制单元118对应于诸如中央处理单元(cpu)或数字信号处理器(dsp)的处理器。通过执行存储在存储单元108或另一存储介质中的程序，控制单元118操作图像处理装置100的各种功能，这将在随后描述。
在本实施例中，控制单元118根据用户对输入单元106执行的输入操作使显示单元110显示充当用户在图像捕获时决定构图的辅助的辅助线。通过控制单元118根据用户对输入单元106执行的输入操作使显示单元110显示充当用户在图像捕获时决定构图的辅助的辅助线，图像处理装置100可以在显示单元110上显示用户期望的辅助线。
以上使用图1描述了根据本公开的实施例的图像处理装置100的配置示例。随后，将描述根据本公开的实施例的图像处理装置100的操作示例。
[1.3.操作示例]
图2是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图2示出了图像处理装置100在根据用户的输入操作来显示充当用户在图像捕获时决定构图的辅助的辅助线的操作示例。下面将使用图2来描述根据本公开的实施例的图像处理装置100的操作示例。
图像处理装置100等待，直到检测到用户使用输入单元106执行的用于开始辅助线的绘制的输入操作(步骤s101)。控制单元118执行输入操作的检测。
例如，根据在显示单元110上显示的图像处理装置100的设置画面，图像处理装置100可以转变到用于根据使用输入单元106执行的用户的预定的输入操作在显示单元110上绘制辅助线的画面，并且接受用于绘制辅助线的输入操作。另外，图像处理装置100可以识别对显示单元110上设置的触摸面板执行的用户的预定手势操作，并且转变到用于在显示单元110上绘制辅助线的画面。在使用三脚架等固定图像处理装置100之后，用户强烈需求避免移动已固定的图像处理装置100。因此，通过转变到用于在显示单元110上绘制辅助线的画面，通过对在显示单元110上设置的触摸面板执行的用户的预定手势操作，图像处理装置100可以满足用户的上述需求。
在显示单元110上显示用于在显示单元110上绘制辅助线的画面的同时，图像处理装置100可以继续在显示单元110上显示通过成像顺序地捕获的被摄体图像(直通图像)。通过根据使用输入单元106执行的用户的预定输入操作在显示单元110上绘制辅助线，在直通图像连续地显示在显示单元110上的状态下，图像处理装置100可以使得用户更有效地任意地绘制辅助线。
在显示单元110上显示用于在显示单元110上绘制辅助线的画面的同时，图像处理装置100可以从保存在存储单元108中的图像中读出一个图像，并在显示单元110上继续显示读出的图像。通过根据使用输入单元106执行的用户的预定输入操作在显示单元110上绘制辅助线，在从存储单元108读出的图像被连续地显示在显示单元110上的状态下，图像处理装置100可以使得用户更有效地任意地绘制辅助线。
用于开始辅助线的绘制的输入操作不限于特定操作。例如，如稍后所述，当用户的手指触摸或接近显示单元110的边缘部分时，图像处理装置100可以开始在显示单元110上绘制辅助线。另外，例如，如稍后所述，在辅助线已经被绘制在显示单元110上的状态下，当用户的手指触摸或接近辅助线时，图像处理装置100可以开始在显示单元110上绘制(编辑或移动)辅助线。
当检测到由用户使用输入单元106执行的用于开始辅助线的绘制的输入操作时(步骤s101，是)，图像处理装置100随后根据由用户使用输入单元106执行的输入操作在显示单元110上绘制辅助线(步骤s102)。控制单元118执行根据输入操作执行的将辅助线绘制到显示单元110。
然后，图像处理装置100等待，直到检测到由用户使用输入单元106执行的用于结束辅助线的绘制的输入操作(步骤s103)。当检测到由用户使用输入单元106执行的用于结束辅助线的绘制的输入操作时(步骤s103，是)，图像处理装置100结束根据用户的输入操作执行的辅助线的绘制。
以上已经使用图2描述了根据本公开的实施例的图像处理装置100的操作示例。随后，将详细描述由图像处理装置100执行的辅助线的绘制的具体示例。
图3是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图3示出了图像处理装置100根据用户的输入操作在显示单元110上绘制充当用户在图像捕获时决定构图的辅助的辅助线的操作示例。下面将使用图3来描述根据本公开的实施例的图像处理装置100的操作示例。
当在显示单元110上绘制辅助线时，图像处理装置100(控制单元118)根据用户的输入操作执行辅助线的添加处理(步骤s111)、辅助线的绘制处理(步骤s112)以及辅助线的移位处理(步骤s113)。另外，图像处理装置100根据用户的输入操作来执行绘制的辅助线的精度改善处理(步骤s114)。用于辅助线的精度改善的输入操作的示例包括用于放大或缩小在显示单元110上显示的图像的操作。放大图像的操作的示例可以包括在显示单元110上的捏放操作，以及在输入单元106中设置的用于放大的操作，并且缩小图像的操作的示例可以包括在显示单元110上的捏缩操作和在输入单元106中设置的用于缩小的操作。
将描述对显示单元110的辅助线的添加处理(步骤s111)和显示单元110上的辅助线的绘制处理(步骤s112)的示例。图4是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图4示出了图像处理装置100在执行辅助线的添加处理和辅助线的绘制处理时的操作示例。
当图像处理装置100检测到用户已经执行了执行辅助线的起点的指定的预定操作(例如，手指等触摸或接近显示单元110)时(步骤s121)，图像处理装置100在显示单元110上设置用户想要设置的辅助线的起点。
图5是示出用户执行指定辅助线的起点的操作的状态的说明图。
图5是示出用户的手u1的手指触摸显示单元110的上侧上的一个点作为执行辅助线的起点的指定的预定操作的状态的说明图。当控制单元118检测到用户的手u1的手指已经触摸了显示单元110的上侧上的一个点时，控制单元118将由用户的手u1的手指触摸的位置设置为辅助线的起点。
随后，当图像处理装置100检测到用户已经执行了执行辅助线的长度和角度的调整的预定操作(例如，对显示单元110执行的从辅助线的起点的位置开始的拖动操作)时(步骤s122)，图像处理装置100在显示单元110上设置用户想要设置的辅助线的长度和角度。
图6是示出用户执行调整辅助线的长度和角度的操作的状态的说明图。图6是执行用户的手u1的手指从图5所示的位置开始的拖动操作作为调整辅助线的长度和角度的操作的状态的说明图。当控制单元118检测到用户正在执行拖动操作时，控制单元118根据拖动操作从起点的位置开始在显示单元110上线性地绘制辅助线。
随后，当图像处理装置100检测到用户已经执行了执行辅助线的终点的指定的预定操作(例如，释放手指等对显示单元110的触摸或接近)时(步骤s123)，图像处理装置100在显示单元110上设置用户想要设置的辅助线的终点。
图7是示出用户执行指定辅助线的终点的操作的状态的说明图。图7是示出用户的手u1的手指与显示单元110分离作为执行辅助线的终点的指定的预定操作的状态的说明图。当控制单元118检测到用户的手u1的手指已与显示单元110分离时，控制单元118设置用户的手u1的手指已从显示单元110分离的位置作为辅助线的终点。
通过执行上述一系列操作，图像处理装置100可以根据用户的操作在显示单元110上绘制辅助线。应该理解，图像处理装置100可以根据用户的操作在显示单元110上绘制多条辅助线。然而，如果辅助线的数量增加太多，则在某些情况下，辅助线被认为返回干扰构图决定。因此，图像处理装置100可以对根据用户的操作能够绘制的辅助线的数量设置上限。通过图像处理装置100根据用户的操作在显示单元110上绘制辅助线，图像处理装置100可以在显示单元110上显示用户在拍摄时期望的辅助线。注意，图5至图7例示了仅在显示单元110上显示根据用户的操作绘制的辅助线的状态，但是图像处理装置100可以在如上所述根据用户的操作在显示单元110上绘制辅助图像时，继续在显示单元110上显示直通图像。
另外，在图5至图7所示的示例中，通过使用户指定辅助线的起点并将手指拖动到辅助线的终点来在显示单元110上任意地绘制辅助线。然而，本公开不限于该示例。图像处理装置100可以通过使用户顺序地指定辅助线的起点和终点两点来在显示单元110上绘制辅助线。
图像处理装置100可以根据用户的操作使曾经在显示单元110上绘制的辅助线移位和变形。随后，将描述显示单元110上的辅助线的移位处理的示例(步骤s113)。图8是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图8示出了图像处理装置100在执行辅助线的平行移位处理时的操作示例。
当图像处理装置100检测到用户已经执行了执行平行移位目标辅助线的指定的预定操作(例如，手指等触摸或接近显示单元110)时(步骤s131)，图像处理装置100决定用户想要平行移位的辅助线。
图9是示出用户执行指定平行移位目标辅助线的操作的状态的说明图。图9是示出用户的手u1的手指触摸显示单元110上显示的辅助线上的一个点，作为执行平行移位目标辅助线的指定的预定操作的状态的说明图。当控制单元118检测到用户的手u1的手指已经触摸显示单元110上显示的辅助线上的一个点时，控制单元118将用户的手u1的手指触摸的位置处存在的辅助线设置为平行移位目标。
随后，当图像处理装置100检测到用户已经执行了执行辅助线的平行移位的预定操作(例如，对显示单元110执行的从辅助线的触摸位置开始的拖动操作)时(步骤s132)，图像处理装置100根据用户的操作平行地移位在显示单元110上绘制的辅助线。
图10是示出用户执行平行地移位辅助线的操作的状态的说明图。图10是执行用户的手u1的手指从图9所示的位置开始的拖动操作，作为平行地移位辅助线的操作的状态的说明图。当控制单元118检测到用户正在执行拖动操作时，控制单元118根据拖动操作平行地移位在显示单元110上绘制的辅助线。
随后，当图像处理装置100检测到用户已经执行了结束辅助线的平行移位的预定操作(例如，释放手指等对显示单元110的触摸或接近)时(步骤s133)，图像处理装置100结束在显示单元110上绘制的辅助线的平行移位。
图11是示出用户执行结束辅助线的平行移位的操作的状态的说明图。图11是示出用户的手u1的手指与显示单元110分离，作为结束辅助线的平行移位的预定操作的状态的说明图。当控制单元118检测到用户的手u1的手指已经与显示单元110分离时，控制单元118结束在显示单元110上绘制的辅助线的平行移位。
注意，图9至图11示出了仅在显示单元110上显示根据用户的操作绘制的辅助线的状态，但是图像处理装置100可以在如上所述根据用户的操作在显示单元110上绘制辅助线时，继续在显示单元110上显示直通图像。
图12是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图12示出了图像处理装置100在执行辅助线的旋转移位处理时的操作示例。
当图像处理装置100检测到用户已经执行了执行旋转移位目标辅助线的指定的预定操作(例如，手指等触摸或接近显示单元110)时(步骤s141)，图像处理装置100决定用户想要移位的辅助线。图13是示出用户执行指定移位目标辅助线的操作的状态的说明图。图13是示出用户的手u1的两个手指分别触摸在显示单元110上显示的辅助线的两端，作为执行移动目标辅助线的指定的预定操作的状态的说明图。当控制单元118检测到用户的手u1的手指已经触摸在显示单元110上显示的辅助线的两端时，控制单元118将用户的手u1的手指触摸的位置处存在的辅助线设置为旋转移位目标。
随后，当图像处理装置100检测到用户已经执行了执行辅助线的旋转移位的预定操作(例如，对显示单元110执行的从辅助线的触摸位置开始的拖动操作)时(步骤s142)，图像处理装置100根据用户的操作旋转地移位在显示单元110上绘制的辅助线。图14是示出用户执行旋转地移位辅助线的操作的状态的说明图。图14是执行用户的手u1的手指从图13所示的位置开始的拖动操作，作为旋转地移位辅助线的操作的状态的说明图。当控制单元118检测到用户正在执行拖动操作时，控制单元118根据拖动操作旋转地移位在显示单元110上绘制的辅助线。
随后，当图像处理装置100检测到用户已经执行了结束辅助线的旋转移位的预定操作(例如，释放手指等对显示单元110的触摸或接近)时(步骤s143)，图像处理装置100结束在显示单元110上绘制的辅助线的旋转移位。图15是示出用户执行结束辅助线的移位的操作的状态的说明图。图15是示出用户的手u1的两个手指与显示单元110分离，作为结束辅助线的旋转移位的预定操作的状态的说明图。当控制单元118检测到用户的手u1的两个手指已与显示单元110分离时，控制单元118结束在显示单元110上绘制的辅助线的旋转移位。注意，图13至图15示出了仅在显示单元110上显示根据用户的操作绘制的辅助线的状态，但是图像处理装置100可以在如上所述根据用户的操作在显示单元110上绘制辅助线时，继续在显示单元110上显示直通图像。
由用户执行的辅助线的旋转移位的操作不限于该示例。例如，当图像处理装置100检测到在用户使用手指触摸辅助线的一端的状态下，用户已经在使用另一手指触摸辅助线上的任意位置的同时执行了拖动操作时，图像处理装置100可以基于该操作旋转地移位在显示单元110上绘制的辅助线。
接下来，将描述在显示单元110上绘制的辅助线的精度改善处理的示例(步骤s114)。图16是示出根据本公开的实施例的图像处理装置100的操作示例的流程图。图16示出了图像处理装置100在执行在显示单元110上绘制的辅助线的精度改善处理时的操作示例。
当图像处理装置100检测到用户已经执行了放大显示单元110上的图像(例如，在显示单元110上的捏放操作)以执行辅助线的精度改善的预定操作时(步骤s151)，图像处理装置100执行放大显示单元110上的图像的处理。
图17是示出在显示单元110上执行放大处理之后导致的状态的说明图。图17示出了在显示单元110上显示放大前获得的原始图像p1和叠加辅助线s1的放大图像p2的状态。注意，图像p1可以是由成像单元102捕获的图像(直通图像)。
随后，当图像处理装置100检测到用户已经执行了执行辅助线的精度改善的预定操作(例如，对显示单元110执行的从辅助线的触摸位置开始的拖动操作)时(步骤s152)，图像处理装置100根据用户的操作平行地移位在显示单元110上绘制的辅助线。
图18是示出用户执行平行地移位辅助线s1的操作的状态的说明图。图18是执行用户的手u1的手指从图17所示的位置开始的拖动操作，作为平行地移位辅助线s1的操作的状态的说明图。当控制单元118检测到用户正在执行拖动操作时，控制单元118根据拖动操作平行地移位在显示单元110上绘制的辅助线s1。应该理解，通过执行辅助线的精度改善的预定操作执行的操作不限于辅助线s1的平行移位，并且可以执行辅助线s1的旋转移位。
当图像处理装置100检测到用户已经执行了缩小显示单元110上的图像(返回到原始显示)的预定操作(例如，在显示单元110上的捏缩操作)以用于结束辅助线的精度改善时(步骤s153)，图像处理装置100执行缩小显示单元110上的图像以返回到原始显示的处理。图19是示出在显示单元110上执行缩小处理之后导致的状态的说明图。图19示出了在显示单元110上显示叠加辅助线s1的原始图像p1的状态。
通过如此接受在显示单元110上显示的图像的放大处理，图像处理装置100可以使用户改善辅助线的精度。
如上所述，图像处理装置100可以根据用户的操作在显示单元110上显示充当用户执行图像捕获时的辅助的辅助线。通过在根据用户的操作在显示单元110上显示辅助线时在直通图像上叠加辅助线，图像处理装置100能够有效地辅助用户决定构图。
在上述描述中，已经示出了用户使用手指任意地绘制辅助线作为操作构件的示例的示例。然而，本公开不限于该示例。图像处理装置100可以接受使用诸如手写笔的设备而不是用户的身体的一部分执行的辅助线的绘制。
在前述示例中，图像处理装置100根据用户的操作在显示单元110上绘制辅助线。然而，本公开不限于该示例。例如，可以对由成像单元102捕获的图像执行图像处理，并且可以根据图像处理的结果在显示单元110上显示辅助线。
例如，在建筑物被包括在由成像单元102捕获的图像中并且希望辅助线与建筑物的边界对齐的情况下，图像处理装置100可以根据用户的操作在显示单元110上绘制辅助线。或者，图像处理装置100可以通过执行图像处理来检测建筑物的边缘，并且在边缘的位置处绘制辅助线。
图20是示出由图像处理装置100执行的辅助线的绘制处理的示例的说明图。图20示出了通过对由成像单元102捕获的图像p11执行图像处理来绘制辅助线以便叠加在图像p11上的处理的示例。图像处理装置100使由成像单元102捕获的图像p11通过预定滤波器以用于边缘检测，以生成图像p12。然后，例如，图像处理装置100对图像p12执行边缘检测，并且在具有最长的线性部分的边缘处绘制辅助线s11。
图像处理装置100自然也可以根据用户的操作对以这种方式绘制的辅助线s11执行平行移位处理、旋转移位处理和精度改善处理。
图像处理装置100可以将使用户绘制的辅助线保存到存储单元108中，或者经由通信单元112将辅助线保存到外部设备中。图像处理装置100可以自动保存辅助线或者可以根据用户的预定操作保存辅助线。当保存辅助线时，图像处理装置100可以将辅助线与位置信息、关于方向的信息等一起保存。
另外，图像处理装置100可以根据用户的预定操作读出保存的辅助线。另外，当读出辅助线时，图像处理装置100可以使用图像处理装置100的当前位置信息和关于图像处理装置100的方向的信息来决定要读出的辅助线。如果关于已经设置辅助线的图像处理装置100的位置和方向的信息与关于辅助线的信息一起被保存，则图像处理装置100可以读出与关于位置和方向的信息相对应或相似的辅助线。当读出辅助线时，通过使用图像处理装置100的当前位置信息和关于图像处理装置100的方向的信息来决定要读出的辅助线时，图像处理装置100能够使用户使用由另一用户设置的辅助线作为图像捕获的参考。
另外，当将捕获的图像保存到存储单元108中时，图像处理装置100可以保存处于叠加了由用户设置的辅助线的状态的图像。通过保存处于叠加了由用户设置的辅助线的状态的图像，图像处理装置100可以使用户检查辅助线如何用于捕获图像。
根据使用输入单元106执行的用户的预定操作或者预定的手势操作，图像处理装置100可以显示与在显示单元110上绘制的辅助线有关的另一辅助线。例如，根据使用输入单元106执行的用户的预定操作或者预定的手势操作，图像处理装置100可以在当从显示单元110上绘制的辅助线观看时、在显示单元110的水平方向上或垂直方向上线对称的位置处重新绘制另一辅助线。通过在线对称位置处绘制新的辅助线，图像处理装置100可以充当使用垂直平衡或水平平衡构图执行图像捕获时的辅助。
作为辅助线，图像处理装置100可以使用户在显示单元110上绘制除直线之外的图形。例如，作为辅助线，图像处理装置100可以使用户在显示单元110上自由地绘制线。另外，除了绘制线的操作之外，根据绘制精确的圆形或椭圆形的操作，以及绘制诸如正三角形或正四边形的其他图形的操作，图像处理装置100可将这些图形绘制在显示单元110上作为辅助线。另外，例如，在多条线被绘制在显示单元110上作为辅助线的状态下，当各条线的端部通过用户的操作而被连接时，图像处理装置100可以使用连接的线作为一个图在显示单元110上绘制辅助线。
图像处理装置100可以根据在图像捕获时设置的图像捕获模式改变辅助线的颜色、线条类型和形状。当使用图像处理装置100捕获被摄体的图像时，图像捕获模式被设置为根据图像捕获的被摄体或图像捕获时的情况自动设置参数，诸如光圈、快门速度、iso感光度、白平衡、色调、饱和度、具有或不具有面部识别、具有或不具有电子闪光发射以及具有或不具有慢速同步。
例如，在用户已经选择了适合于景观的图像捕获的模式作为图像捕捉模式的情况下，图像处理装置100可以使用户不是线性地而是徒手绘制辅助线。这是因为自然景观通常不包括直线而是曲线。另外，例如，在用户已经选择适合于人的图像捕获的模式作为图像捕获模式的情况下，图像处理装置100可以使用户不将辅助线绘制为直线而是绘制为精确的圆形或椭圆形以包围人的面部。
注意，除了图像捕获时设置的图像捕获模式，图像处理装置100还可以根据由用户设置的光圈和快门速度的设置来改变辅助线的颜色、线条类型和形状。
图像处理装置100可以根据从由传感器单元104获取的传感器数据获得的姿态以及是否固定到三脚架，改变使用户绘制的辅助线的候选。例如，根据由传感器单元104获取的传感器数据，图像处理装置100可以根据图像处理装置100是垂直还是水平地定向来改变使用户绘制的辅助线的候选。
另外，图像处理装置100可以根据要捕获的图像是静止图像还是运动图像来改变使用户绘制的辅助线的线条类型、形状等。这是因为用户期望的辅助线的形状和形式有时根据要捕获的图像是静止图像还是运动图像而变化。
另外，图像处理装置100可以基于由成像单元102捕获的图像的识别结果来改变使用户绘制的辅助线的线条类型、形状等。控制单元118可以执行对由成像单元102捕获的图像的识别。图像处理装置100可以识别由成像单元102捕获的图像，并且如果在由成像单元102捕获的图像中包括人的面部，则图像处理装置100可以使用户不将辅助线绘制成直线，而是绘制成精确的圆形或椭圆形以包围人的面部。
另外，图像处理装置100可以根据成像单元102中包括的镜头(在镜头是可拆卸的情况下附接到图像处理装置100)的特性来改变使用户绘制的辅助线的候选。例如，图像处理装置100可以根据成像单元102中包括的镜头是普通镜头(即中心投影方法镜头)还是鱼眼镜头(即等距投影方法镜头)来改变使用户绘制的辅助线的候选。
控制单元118可以预先或通过与镜头的通信来识别何种类型的镜头被附接到图像处理装置100。例如，如果在成像单元102中包括在捕获图像中引起大失真的镜头(诸如鱼眼镜头)，则图像处理装置100可以根据用户的操作来在显示单元110上不绘制线性辅助线，而是绘制弧形辅助线。
上述的辅助线的绘制例如可以通过与照相机协同执行图像捕获指令的移动终端(诸如智能手机或平板终端)来进行。例如，显示由照相机捕获的图像的移动终端可以根据用户的操作执行在画面上绘制辅助线的处理。
当使用多个图像处理装置100捕获同一被摄体的图像时，辅助线可以与其他图像处理装置100互锁。图21是示出其中四个图像处理装置100a至100d正在捕获同一被摄体的图像的状态的示例的说明图。
当图像处理装置100a根据用户的操作在显示单元110上绘制辅助线时，图像处理装置100a可以将关于辅助线的信息发送到其他图像处理装置100b至100d。已经从图像处理装置100a接收到关于辅助线的信息的图像处理装置100b至100d可以根据图像处理装置100a已经绘制辅助线的位置在各个显示单元110上绘制辅助线。
以这种方式，通过在装置之间互锁关于辅助线的信息，当使用多个图像处理装置100拍摄同一被摄体的图像时，被摄体的位置对齐变得更容易。例如，在期望对齐图像中的被摄体的垂直方向上的位置的情况下，当以这种方式在多个图像处理装置100a至100d之间互锁辅助线的位置时，位置对齐可以变得更容易。
例如，由图像处理装置100执行的辅助线的上述绘制处理也可以用于医疗目的。例如，通过在利用内窥镜捕获患者的体内图像的同时执行手术的内窥镜手术系统中应用图像处理装置100的上述处理，可以根据操作者的操作在显示通过内窥镜捕获的图像的画面上绘制辅助线。
基于用户的预定操作，图像处理装置100可以逐个删除在显示单元110上绘制的辅助线，或者可以删除所有辅助线。另外，根据用户的预定操作，图像处理装置100可以复制在显示单元110上绘制的辅助线。在期望使用由用户徒手绘制的多条辅助线的情况下，辅助线的复制功能很有用。
<2.结论>
如上所述，根据本公开的实施例，提供了一种图像处理装置100，其根据用户的操作在画面上任意地绘制充当图像捕获的辅助的辅助线。例如，根据本公开的实施例的图像处理装置100检测在显示单元110上执行的通过用户的手指等触摸或接近而执行的操作，并且根据检测到的操作的内容执行在显示单元110上绘制辅助线。
通过根据用户以上述方式的操作在画面上任意地绘制充当图像捕获的辅助的辅助线，根据本公开的实施例的图像处理装置100可以在图像捕获时显示由用户期望的辅助线。
可以不必按照序列图或流程图中所述的顺序按时间顺序执行由本说明书的每个设备执行的处理中的各个步骤。例如，由每个设备执行的处理中的各个步骤可以按照与流程图中所描述的顺序不同的顺序来处理，并且也可以平行处理。
另外，能够生成使结合在每个设备中的硬件设备(cpu、rom、ram)展示与上述设备的配置同等的功能的计算机程序。另外，还能够提供存储计算机程序的存储介质。另外，功能性框图中示出的各个功能块可以由硬件设备或硬件电路构成，使得一系列过程可以由硬件设备或硬件电路实现。
另外，在以上描述中使用的功能框图中示出的功能块中的一些或全部可以通过经由网络(例如因特网)连接的服务器设备来实现。另外，上述描述中使用的功能框图中示出的功能块的配置可以在单个设备中实现，或者可以在多个设备彼此协作的系统中实现。多个设备彼此协作的系统可以包括例如多个服务器设备的组合以及服务器设备和终端设备的组合。
以上参照附图描述了本公开的优选实施例(一个或多个)，而本公开不限于上述示例。本领域技术人员可以在随附权利要求的范围内发现各种改变和修改，并且应该理解，它们自然会落入本公开的技术范围内。
例如，用户在其上执行辅助线的绘制操作的输入设备可以是由用户佩戴的设备(诸如眼镜型可佩戴设备或头戴式显示器(hmd))，并且可以执行各种输入用于根据由这些设备检测到的用户的手势和视线绘制辅助线。另外，用户在其上执行辅助线的绘制操作的输入设备可以是能够检测用户的运动的照相机。用于辅助线的绘制的各种输入可以根据从由照相机捕获的视频中检测到的用户的手势和视线来执行。另外，用户在其上执行辅助线的绘制操作的输入设备可以是能够收集用户的语音的麦克风。用于绘制辅助线的各种输入可以经由麦克风通过声音来执行。
此外，在本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。也就是说，具有或代替上述效果，根据本公开的技术可以实现本领域技术人员根据本说明书的描述而清楚的其他效果。
另外，本技术也可以如下配置。
(1)一种显示控制装置，包括：
控制单元，被配置为根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
(2)根据(1)所述的显示控制装置，其中，所述控制单元使所述辅助线被显示为叠加在显示在所述画面上的直通图像上。
(3)根据(1)或(2)所述的显示控制装置，其中，由用户执行的操作是操作部件触摸或接近所述画面。
(4)根据(1)至(3)中任一项所述的显示控制装置，其中，所述控制单元基于被摄体的识别结果使辅助线被显示在所述画面上。
(5)根据(1)至(4)中任一项所述的显示控制装置，其中，所述控制单元根据在图像捕获时设置的模式，控制所述辅助线在所述画面上的显示。
(6)根据(5)所述的显示控制装置，其中，所述控制单元根据所述模式改变所述辅助线的形状。
(7)根据(5)或(6)所述的显示控制装置，其中，所述控制单元根据所述模式改变所述辅助线的线条类型。
(8)根据(1)至(7)中任一项所述的显示控制装置，其中，所述控制单元响应于所述操作来控制显示在另一装置上的辅助线的显示模式。
(9)根据(1)至(8)中任一项所述的显示控制装置，其中，当根据已经检测到的操作在所述画面上显示所述辅助线时，所述控制单元使与已经显示的辅助线有关的另一辅助线被显示。
(10)根据(9)所述的显示控制装置，其中，当根据检测到的操作在所述画面上显示所述辅助线时，所述控制单元使另一辅助线显示为在画面中线对称。
(11)根据(1)至(10)中任一项所述的显示控制装置，其中，所述控制单元根据在图像捕获时使用的镜头的特性来控制所述辅助线在画面上的显示。
(12)根据(11)所述的显示控制装置，其中，所述控制单元根据在图像捕获时使用的镜头是否是中心投影方法镜头来控制所述辅助线在画面上的显示。
(13)根据(1)至(12)中任一项所述的显示控制装置，其中，所述控制单元基于图像捕获时的位置信息来控制所述辅助线在画面上的显示。
(14)根据(13)所述的显示控制装置，其中，所述控制单元基于位置信息获取关于在另一装置中创建的辅助线的信息，并且使用所获取的信息来控制所述辅助线在画面上的显示。
(15)根据(1)至(14)中任一项所述的显示控制装置，其中，所述控制单元根据对所述画面执行的预定手势操作的检测，控制所述辅助线在所述画面上的显示。
(16)一种显示控制方法，包括：
根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
(17)一种计算机程序，用于使计算机执行：
根据用户对画面执行的操作，控制辅助线在画面上的显示模式，所述辅助线充当图像捕获时的构图决定的辅助。
附图标记列表
100图像处理装置
102成像单元
104传感器单元
106输入单元
108存储单元
110显示单元
112通信单元
116总线
118控制单元