专利名称：便携终端装置及其控制方法、图像输出装置和方法
技术领域：
本发明涉及自动调节拍摄条件来进行拍摄的便携终端装置、图像输出装置、便 携终端装置的控制方法以及图像输出方法。
背景技术：
随着因特网技术的发展、便携电话等的移动设备的多功能化，利用带摄像头的 便携电话等移动设备来进行拍摄的机会逐渐增多。另外，不仅单纯以风景、人物等作为 被摄体，而且拍摄在各种展示会等上所展示的记载有说明图、说明书的展板，或者在学 会等中拍摄幻灯片的机会逐渐增多。为了便于到场者观看，在各种展示会等上所展示的、记载有说明图、说明文的 展板等，有时会照射聚光灯等的光。在用光照射被摄体的情况下，拍摄者通常没有特别 感觉到暗或亮，判断为可以没有问题地拍摄并进行拍摄。但是，通过包括专利文献1记 载的数码相机在内的一般的照相机来观看拍摄到的图像时，存在局部照射到聚光灯等的 光的、亮处的亮度和没有照射到光的、暗处的亮度的差异非常大的情况。在该情况下，如果以暗处的可见性得到改善的方式匹配曝光条件(增益、光圈 等)，则存在导致亮处发白的情况增多。相反，以亮处的可见性得到改善的方式匹配曝光 条件，则存在导致暗处发黑的情况增多。因此，除非具有高度的照相机性能和知识，则 难以拍摄成遍及一张拍摄图像的整个区域上具有良好的可见性、判别性。为了改善拍摄图像的质量而进行过各种研究，作为其中之一有专利文献2中公 开的拍摄装置。该拍摄装置的特征在于，通过比较闪光灯不进行测试发光就进行拍摄而 获得的静止图像数据、和进行测试发光后进行拍摄而获得的静止图像来抽取被摄体的位 置信息，并对表示该位置信息的区域以适当的发光量使散光灯发光并进行拍摄，由此获 得最终的拍摄图像。[专利文献1]日本国公开特许公报[特开2002-41502号公报](2002年2月8日 公开)[专利文献2]日本国公开特许公报[特开2007-336011号公报](2007年12月27
日公开)然而，即使是上述以往的结构，也依然没有解决如下问题，即在对聚光灯等的 光照射到局部的被摄体进行拍摄的情况下，拍摄图像上产生发白、发黑的任一种的可能 性较高，难以确保拍摄图像整体的良好的可见性。
发明内容
本发明是鉴于上述问题点而做出的，其主要目的在于实现一种用户能够比以往 更容易地获得遍及图像整体上不存在发白、发黑的拍摄图像的图像数据的便携终端装置。为了解决上述问题，本发明的便携终端装置具备发送部，该发送部对输出图像数据的图像输出装置发送多个图像数据，该便携终端装置具备拍摄部，其能够对同一 拍摄对象物连续拍摄多次；以及拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而 得到的拍摄图像数据是否满足规定条件，在通过上述拍摄图像判断部被判断为满足上述 规定条件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光 条件不同的多种曝光条件来连续拍摄上述拍摄对象物，上述发送部将以上述不同的多种 曝光条件拍摄上述拍摄对象物所得到的拍摄图像数据向上述图像输出装置发送。其中， 上述规定条件至少包括以下条件A。条件A:在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第 一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第 一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素 构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下 的黑色像素。根据上述结构，在拍摄图像中、由第一阈值以上的白色像素构成的白色像素组 区域周围的规定范围区域中包含小于上述第一阈值的第二阈值以上的白色像素或者在由 第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中包含大于上述第 三阈值的第四阈值以下的黑色像素的情况下，便携终端装置以不同的多种曝光条件来拍 摄同一拍摄对象物。例如，在拍摄图像中、在从由像素值250以上的白色像素构成的白 色像素组区域的边界横竖加起来五个点(像素)以内的区域中包含像素值为240以上小于 250的像素的情况下，便携终端装置以不同的多种曝光条件来拍摄同一拍摄对象物。S卩，在拍摄图像中可能包含发白、发黑的情况下，以不同的多种曝光条件来拍 摄同一拍摄对象物。在此，清楚的是，不管用户的摄影技术的好坏，只要以不同的多个曝光条件进 行拍摄的话，则所得到的多个拍摄图像中包含遍及整个图像不存在发白、发黑的拍摄图 像的可能性较高。因此，便携终端装置起到使用户比以往更容易地得到遍及整个图像不存在发 白、发黑的拍摄图像的图像数据的效果。为了解决上述问题，本发明的控制方法是便携终端装置的控制方法，其中，该 便携终端装置具备向输出图像数据的图像输出装置发送多个图像数据的发送部；以及 拍摄部，其能够对同一拍摄对象物连续拍摄多次，该控制方法的特征在于，包括拍摄 图像判断步骤，在该拍摄图像判断步骤中，拍摄图像判断部判断通过由上述拍摄部进行 拍摄而得到的拍摄图像数据是否满足规定条件；拍摄步骤，在该拍摄步骤中，在通过上 述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与为了得到上述 拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象 物；发送步骤，在该发送步骤中，上述发送部将以上述不同的多种曝光条件拍摄上述拍 摄对象物而得到的拍摄图像数据向上述图像输出装置发送。其中，上述规定条件至少包 括以下条件A。条件A:在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第 一阈值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第 一阈值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下 的黑色像素。通过上述结构，起到与本发明的便携终端装置相同的作用效果。关于本发明的其他的目的、特征以及优点，可以通过以下的记载能够充分理 解。另外，关于本发明的优点，通过参照附图进行的以下说明将变得更明白。本发明的便携终端装置达到用户比以往能够更容易地获得遍及图像整体不存在 发白、发黑的拍摄图像的图像数据的效果。
图1是表示构成本发明的拍摄图像处理系统的便携终端装置的结构的框图；图2是表示本发明的一个实施方式涉及的拍摄图像处理系统的整体结构的图；图3是表示本发明的便携终端装置的拍摄图像处理的一例的流程图；图4是表示在本发明的便携终端装置的拍摄图像处理中进行的发白发黑判断处 理的流程图；图5表示本发明的拍摄图像处理方法中的图像倾斜度检测例；图6表示图5的倾斜度检测例中的倾斜角度θ和其正切值；图7表示图像的几何变形的检测例；图8表示图像对象物的边缘检测处理例；图9表示图像的光栅方向的边缘检测例；图10是表示本发明的图像处理装置中进行的图像的偏离度检测中使用的一阶微 分滤波器的例子；图11是表示本发明的便携终端装置的图像处理的另一例的流程图；图12是表示本发明的图像输出装置的结构的框图；图13是表示本发明的图像输出装置的拍摄图像处理的流程图；图14是表示图像的重构像素值的决定例；图15是表示图像的透镜变形的补偿例；图16是表示图像的几何变形的补偿例；图17是表示检测图像的色彩平衡时的查找表的一例；图18(a)是表示边缘方向为左上-右下方向时的插补像素的像素值的计算方法的 图；图18(b)是表示边缘方向为左-右方向时的插补像素的像素值的计算方法的 图；图18(c)是表示边缘方向为右上-左下方向时的插补像素的像素值的计算方法的 图；图18(d)是表示边缘方向为上-下方向时的插补像素的像素值的计算方法的 图；图19是表示本发明的图像输出装置的拍摄图像处理中进行的超分辨率处理的一 例的流程图；图20是表示本发明的图像输出装置的图像处理部的详细的框图21是表示拍摄图像和便携终端装置的拍摄图像判断部为了判断拍摄图像是否 为恰当的图像而生成的二值图像的图。其中，(a)以及(b)表示拍摄图像，(C) (h)表
示二值图像。其中附图标记说明如下100便携终端装置，110控制部(显示控制部、指示受理控制部、记录控制部)， 120拍摄部，130拍摄图像判断部，140图像处理部，150通信部(发送部)，160存储部， 170显示部，180输入部，190存储介质访问部，500图像输出装置，510控制部，520图 像读取部，530图像处理部，531画质调节部，532几何补偿部，533透镜变形补偿部， 534超分辨率处理部(补偿处理部)，535图像补偿部，540认证部，550图像形成部， 560显示部，570存储部，580输入部，590第一通信部(通信部)，600第二通信部(输 出部)，610存储介质访问部。
具体实施例方式(1)拍摄图像处理系统的整体结构本发明的一个实施方式涉及的拍摄图像处理系统具备带摄像头的便携电话、 具备数字静态照相机(digital still camera)等具备拍摄装置的便携终端装置100、以及复合 机、打印机(图像形成装置)等的图像输出装置(MFP)500。便携终端装置100是被用户携带的装置。用户在各种场合能够通过便携终端装 置100来拍摄(以下，所谓“拍摄”是指将以对象物作为被摄体来捕捉并进行读入的图 像数据保存到存储介质中，或者经由通信部发送到外部等，设为用户能够获取图像数据 的状态)对象物。对于通过便携终端装置100读入的图像实施图像判断处理，该图像判 断处理为判断是否为未产生发白、发黑的适当的图像的处理。然后，在被判断为不适当 的情况下，便携终端装置100以各自不同的曝光条件对对象物进行多次拍摄。便携终端装置100与图像输出装置500能够进行通信，便携终端装置100对于通 过上述多次拍摄而得到的拍摄图像的各个，将图像数据(以下，称为拍摄图像数据)发送 给图像输出装置500。图像输出装置500，对于从便携终端装置100接收的各拍摄图像数据，进行提高 分辨率的超分辨率补偿，其结果，从所生成的多个图像数据中选择曝光过度或者曝光不 足的区域较少的图像数据。此外，在本实施方式中，便携终端装置100具有文档拍摄模式的功能，该文档 拍摄模式是从图像输出装置500能够得到具有高于通过拍摄所得到的图像数据的分辨率 的较高分辨率的图像数据的拍摄模式。而且，便携终端装置100具备当按下一次未图示 的快门按钮时能够拍摄多张(2张至15张左右依赖于图像分辨率)的模式(多张拍摄模 式)，当选择文档拍摄模式时，多张拍摄模式自动地变成有效。在本实施方式中设为在拍摄如原稿、幻灯片等矩形的拍摄对象物并希望得到 比拍摄图像高的分辨率的图像的情况下，用户选择文档拍摄模式。另外，用户不一定总是能够从正面拍摄作为矩形拍摄对象物的、原稿、展板、 幻灯片等。即，存在用户在拍摄对象物的记载有文章的矩形平面的法线方向和拍摄装置 的拍摄方向不一致的状态下，从斜方向拍摄拍摄对象物的情况。在该情况下，在所拍摄到的图像中，在拍摄对象物上产生变形(以下，称为几何变形)。在本实施方式中，构成 为在选择了上述文档拍摄模式的情况下，图像输出装置500在这种几何变形也得到了 补偿的状态下进行图像输出。作为在图像输出装置500中执行的输出处理，存在图像印刷处理、归档处理、 邮件发送处理等，其中，该图像印刷处理是基于进行了高分辨率化的拍摄图像数据进行 的处理，该归档处理是将进行了高分辨率化的拍摄图像数据存储到服务器、USB存储器 等存储装置中的处理，该邮件发送处理是将进行了高分辨率化的拍摄图像数据附加到电 子邮件中并进行发送的处理。此外，作为便携终端装置100和图像输出装置500的通信方式存在如下方式， 即基于IrSimple等的红外线通信标准的某一种的无线通信方式、通过如FeliCa(注册商 标)这样的非接触无线通信，从便携终端装置100向中继装置300暂时发送拍摄图像数 据，之后，例如使用像Bluetooth(注册商标)这样的无线通信，从中继装置300向图像输 出装置500转送数据的方式。此外，关于便携终端装置100和图像输出装置500之间的 通信方式，并不限定于此，可以适用使用公知的通信方法的通信方式。(2)便携终端装置的结构首先，根据图1至图10、图21，说明本实施方式涉及的便携终端装置100。图1是表示便携终端装置100的结构的框图。如图1所示，便携终端装置100 具备控制部110、拍摄部120、拍摄图像判断部130、图像处理部140、通信部150、存储 部160、显示部170、输入部180、存储介质访问部190。拍摄部120是使用CCD传感器、CMOS传感器读入拍摄对象物的图像的装置。 拍摄部120以预先设定的分辨率读入拍摄对象物的图像。此外，拍摄部120当按下一次 快门按钮时进行多次拍摄。此外，按下快门按钮后所得到的多个拍摄图像数据成为向图 像输出装置500发送的对象。拍摄图像判断部130是在选择了文档拍摄模式时如果检测出快门按钮的按下， 则判断通过拍摄所得到的一个或多个拍摄图像数据是否为未产生发白、发黑的适当的图 像数据的装置。或者，拍摄图像判定部130也可以将判断是否为未产生发白、发黑的适 当的图像数据的对象的图像数据设为已经由拍摄部120取入的一个或者多个浏览图像的 图像数据。拍摄图像判断部130将判断据结果输出给控制部110。关于拍摄图像判断部 130中的具体处理，将在后面叙述。图像处理部140是对由拍摄部120取入的图像数据至少进行A/D转换处理的装置。通信部150是具有基于USB(Universal Serial Bus 通用串行总线)1.1或者
USB2.0的标准的、串行传输/并行传输、无线数据通信功能的装置。通信部150将在图 像处理部140中实施了 A/D转换处理的拍摄图像数据向图像输出装置500发送。存储部160是存储用于进行便携终端装置100的各处理的程序、便携终端装置的 机种信息、用户信息、进行处理时所需的数据的装置。此外，所谓用户信息是指识别便 携终端装置的用户的信息，例如，用户ID以及密码等。显示部170是例如由液晶显示器等构成的装置。另外，输入部180具有多个按 钮，并用于用户进行数据输入的装置。
另外，存储介质访问部190是从存储有用于进行便携终端装置100的各处理的程 序的存储介质1000读出程序的装置。控制部100是进行便携终端装置100的各部的控制的装置。控制部110对通过 按下快门按钮之后的拍摄所得到的拍摄图像数据附加文件名、存储在存储部160中的便 携终端装置100的机种信息和用户信息以及输出处理信息，使通信部150执行向图像输出 装置500的发送处理。(3)关于拍摄图像判断部的处理接着，说明便携终端装置100的拍摄图像判断部130中的具体的处理执行条件的 判断处理。(3-1)倾斜度判断如上所述，在希望拍摄像如原稿这样的矩形的拍摄对象物而得到高分辨率的图 像的情况下，用户选择文档拍摄模式。因此，假设拍摄对象为矩形，则拍摄图像判断部 130通过检测出拍摄图像数据中的拍摄对象物(以下，称为拍摄对象像)的边缘，来检测 出相对拍摄图像的拍摄对象像的倾斜度。此外，作为检测拍摄图像数据表示的拍摄图像 中的拍摄对象像的边缘上的像素的方法，可以使用以往所公开的方法。另外，为了防止 将背景中的边缘误判断为拍摄对象像的边缘，也可以只检测规定长度以上的边缘作为拍 摄对象像的边缘。在该情况下，所谓规定长度，例如可以设定为表示拍摄图像数据的拍 摄图像的一端的边长度的80%左右的长度。另外，也可以让用户从通过这种方法检测出 的边缘中选择拍摄对象像的边缘。作为这种检测方法，例如可以使用记载在日本国特许 公开公报[特开2006-237757号公报]中的技术。然后，拍摄图像判断部130选择所检测出的拍摄对象像的边缘上的两点。例 如，如图5所示，选择从将表示拍摄图像数据的拍摄图像进行左右二等分的垂直线向左 右横向分别仅离开w/2的、原稿图像的边缘上的两点11、12。接着，对所选择的两点 11、12的各个，求出与表示拍摄图像数据的拍摄图像的端边之间的距离dl、d2，而能够 求出在拍摄图像中的原稿图像的倾斜度。在如图5的情况下，如果设倾斜角度为Θ，则 tan θ = (d2-dl)/w。因此，拍摄图像判断部130计算出(d2_dl)/w的值，从预先制作的 表(参照图6)等读取与该值相当的角度θ。然后，拍摄图像判断部130判断所检测出的角度θ是否在规定范围内(例 如，-30°至+30° )，并将其判断结果向控制部110输出。在此，角度θ在规定范围内 成为处理执行条件之一。(3-2)几何变形的判断几何变形是指，在从与在拍摄对象物中记载有文字的矩形平面的法线方向不同 的斜方向拍摄拍摄对象物的情况下，在拍摄图像中拍摄对象像具有从矩形产生变形的形 状。例如，在相对于原稿的法线方向从纸张的左下方向向斜方向拍摄的情况下，如图7 所示，原稿图像成为产生变形的四边形。如后所述，在本实施方式中，图像输出装置500具有补偿这种几何变形的功 能。但是，在几何变形程度较大的情况下，即使进行了补偿，识读性也不会提高很多。 因此，在本实施方式中，拍摄图像判断部130检测出表示几何变形程度的特征量，判断 该特征量是否在规定范围内。
在本实施方式中，由于不一定在视角中心附近存在拍摄对象像的各边的边缘， 因此以某规定间隔抽取从所有边开始的边缘，并求出表示各边缘的线段，再计算出这些 的交叉点而作为拍摄对象像的区域即可。首先，拍摄图像判断部102对于拍摄图像数据进行光栅扫描。这里，如图7所 示，设光栅扫描的正向为X方向、垂直于X方向的方向为Y方向。并且，在拍摄图像 中，设左上角为原点。进行一行扫描，如果不存在边缘，则拍摄图像判断部130对沿Y方向错开规定量 的下一行进行扫描。并且，行间的间隔只要固定即可，没必要一定是1个像素。并且，拍摄图像判断部130在光栅扫描中，将最初检测到边缘像素的行设为 LJ第一行)，如图8所示，将在正向上被判断为最初的边缘的点的坐标储存于第一组 中，将在同一行上被判断为第二个边缘的点的坐标分类到第二组中。继续进行下一行的 扫描，并进行边缘检测。并且，关于各个行L1,求出在正向上第一个被判断为拍摄对象 物的边缘像素的点、与第二个被判断为拍摄对象物的边缘像素的点之间的X坐标值的差 (X坐标的距离Ci1)，并进行如下判断。并且，将行L1中最初的边缘的X坐标设为X11 (被分类为第一组的X坐标)，将 第二个边缘的X坐标设为X12 (被分类为第二组的X坐标)。检测方法如下。(a)关于第一行(L1)的坐标X11以及X12,不进行变更。(b)关于第二行以后的第i行，计算出坐标之间的距离K = X11-X(H)1)以及 dl2(同样)。以下，为了对du进行说明而省略下标1，但dl2也同样。(c)关于第三行以后的第i行，计算出Cid1 = abs{ (Ci1)-H如果Cid1Sth1(接近 NO的较小数值)，则坐标X1被分类为同一组。非这种情况(Cid1 > A1)下，则分类为其 他组(第三组或第四组)。(d)作为初始处理，仅在i = 4时，进行用于确定X2的组的处理。如下所示。i) Cid3Sth1 且 Cid4Sth1 — X2 同一组ii) dd3 > A1 且 dd4<th! — X2 其他组iii) Cid3Sth1 且 dd4 > A1 — X2 同一组iv) dd3 > thi 且 dd4 > thi — X2 同一组一旦转移到其他组(第三组或第四组)的情况下，没必要进行增减的确认。对图像整体进行这种处理，并抽取出属于各组的边缘点。并且，按每个组，利 用最小二乘法等对属于该组的边缘点的坐标进行直线逼近，而求出逼近属于该组的边缘 点的直线。该直线相当于拍摄对象像的边。图9是通过如上述的处理，并通过光栅扫描来抽取边缘像素，分类为四个组时 的图。在图中，圆形记号表示属于第一组的边缘点，四边形记号表示属于第二组的边缘 点，三角形记号表示属于第三组的边缘点，星形记号表示属于第四组的边缘点，并用虚 线表示通过最小二乘法求出的属于各组的边缘像素的逼近直线。并且，求出针对四个组求出的直线的交点(图中为交点1 4)，从而可以将由四 条直线包围的区域特定为拍摄对象物的区域。并且，也可以对旋转了 90度的图像进行上述的分类处理。这样，还可以理想地 抽取与图像内的水平方向/垂直方向平行地被配置的原稿的边缘。即，通过进行光栅扫描，能够在旋转前的图像中检测出垂直方向的边缘。另一方面，能够在旋转后的图像中 检测出旋转前为水平方向的边缘(旋转后为垂直方向的边缘)。由此，也可以抽取平行于 水平方向/垂直方向的边缘。如果旋转前有充分的信息量(在各组中例如3个点以上的 交点)，则仅使用旋转前的信息即可，任意一个组的交点少于1个点的情况下，当然不能 求出直线的式子，因此使用旋转后的交点即可。或者，也可以仅将求出的交点坐标再次进行坐标变换而还原，并从各个组的分 布区域求出对应的组，综合交点信息，求出直线的式子。即，由从旋转前的图像求出的 交点坐标、和将从旋转后的图像求出的交点逆旋转获得的交点坐标，综合属于同一组的 交点坐标，并求出直线的方程式即可。并且，作为边缘像素的抽取方法，对于至少为1以上的像素宽度的小窗内的像 素值按原样进行比较(2以上的宽度的情况下，比较和/平均值)，在邻接的值的差为 规定以上的情况下，判断为边缘像素即可。此外，为了防止错误地检测出背景或拍摄 对象像内的文本的边缘等，也可以只将规定长度以上的边缘检测为拍摄对象像的边缘。 在该情况下，所谓规定长度例如设定为由拍摄图像数据表示的拍摄图像的一端的边长的 80%左后的长度即可。或者，也可以让用户从这样检测出的边缘中选择适合作为拍摄对 象像的边缘的像素。作为这种检测方法，例如，可以使用日本国特许公开公报“特开 2006-237757”所述的技术。或者，也可以通过进行各个坐标组的评价、或进行用于边缘 检测的处理(霍夫变换等)来防止。并且，作为预处理进行使用了缩小图像的处理，由 此能够防止错误地检测出文本及细小纹理的边缘。并且，拍摄图像判断部102，如上所示地求出四条直线及其交点时，计算由该四 条直线形成的四边形的对边的长度比。该长度比从上述交点的坐标容易地求出。并且， 由于对边有两组，因此拍摄图像判断部130针对于该两组分别求出长度比。在此，在从正面拍摄拍摄对象物的记载有文档的矩形平面的情况下，由于拍摄 图像中的拍摄对象像也为矩形，因此，对边长度比为1。另一方面，从斜向拍摄的情况 下，由于拍摄图像中的拍摄对象像的形状为变形的四边形，因此为不同于1的值。并 且，拍摄方向、与拍摄对象物的记载有文档图像的平面的法线方向所成的角度越大，该 比的值与1的差越大。因此，可以说对边的长度比是表示几何变形的程度的特征量之
ο其后，拍摄图像判断部130判断所求出的两个比的双方是否在规定范围内(例 如，0.5 2)，并将该判断结果输出到控制部110。这里，规定范围是在图像输出装置 500中作为可补偿的范围预先设定的，并储存于存储部160中。并且，两个比的双方均在 规定范围内(例如，0.5 2)是处理执行条件之一。此外，拍摄图像判断部130可以使用包含由如上所述方式检测出的四个交点的 两条直线所形成的角度等，作为表示几何变形程度的另一个特征量。(3-3)多张图像偏移量的判断图像输出装置500基于拍摄同一拍摄对象物而获得的多个拍摄图像数据，来执 行超分辨率补偿。为了执行该超分辨率补偿，需要与分辨率变换的倍率相对应的规定数 量的图像数据偏移规定量。于是，在本实施方式中，拍摄图像判断部130判断在通过拍 摄部120的拍摄而获得的多个拍摄图像数据中，是否含有为了在图像输出装置500执行该超析像度补偿所需要的、错开规定量的规定数量的拍摄图像数据。并且，所谓提高文字的识读性的为了超分辨率补偿所需的偏移是指，作为对象 的图像数据的不足1个像素(小数点)的偏移。即，小数点以下(不足1个像素)的值， 例如，0.3 0.7等的偏移很重要。关于整数部分的偏移在超分辨率补偿中不考虑。例 如，在1.3个像素、2.3个像素等含有不足1个像素的偏移的情况下，可以执行基于多个图 像的超分辨率补偿，但是1个像素、2个像素等不含有不足1个像素的偏移的情况下，不 能执行超分辨率补偿。例如，变换倍率为2倍的情况下，超分辨率补偿所需的图像数据的数量为2，作 为两个图像数据的偏移量以像素为单位优选为小数点以下0.3 0.7。因此，在存储部160 中预先储存有将分辨率变换的倍率“2倍”、与拍摄次数“2”以及处理执行条件“必要 图像数据数量2、偏移量0.3 0.7”进行关联的信息，控制部110基于该信息，使拍 摄部120进行两次连续拍摄，并使拍摄图像判断部130执行按照处理执行条件“必要图像 数据数量2、偏移量0.3 0.7”的判断。并且，变换倍率为4倍的情况下，超分辨率补偿所需的图像数据的数量为2，设 其中一个图像数据为基准图像数据时，该基准图像数据与剩余的三个图像数据之间的偏 移量分别以像素为单位优选为小数点以下0.2 0.3、0.4 0.6、0.7 0.8。因此，存储 部160存储有将分辨率变换的倍率“4倍”、与拍摄次数“4”以及处理执行条件“必要 图像数据数量4、偏移量0.2 0.3、0.4 0.6、0.7 0.8”进行关联的信息。并且，以下为了简化说明，对作为分辨率变换的倍率选择了 2倍的情况进行说 明。首先，拍摄图像判断部130选择拍摄图像的任意一个，并关于该拍摄图像(以 下，称第一拍摄图像)，从在上述几何变形的判断时求出的拍摄对象物的区域中选择偏移 检测用部分区域。这里，由于偏移检测用部分区域用于求出第一拍摄图像与剩余的拍摄 图像(以下，称第二拍摄图像)之间的偏移量，因此优选在该偏移检测用部分区域内像素 值的变化较大的图像(存在明确的图形)。于是，拍摄图像判断部130通过以下所示方法 来抽取偏移检测用部分区域。拍摄图像判断部130确定拍摄对象物的区域的重心位置上存在的像素，并将该 像素设为关注像素。并且，选定含有关注像素的nXn像素的区域。关于选定区域，判 断是否满足以下的选定条件，满足的情况下，将该区域设为偏移检测用部分区域。另一 方面，不满足的情况下，基于规定的偏置量使区域移动，并对移动后的区域进行相同的 判断。如此，抽取偏移检测用部分区域。这里，作为选定条件，例如可举出以下两个。第一个是使用了根据区域内的方 差的值的选定条件。对于关注像素附近的nXn像素的区域，设像素值为P(i)时，部分 区域的方差值Variance(X)由下式(1)表示。将该方差值Variance(X)的值为规定阈值以 上设为选定条件。并且，为了简化可以仅考虑本式的分子。
并且，第二个是对于关注像素附近的ηχη像素的区域，使用如一阶微分滤波那 样的边缘抽取滤波进行处理，进行二值化，并参照该总和的方法。图10表示一阶微分滤 波的例子，这种情况下，也可以将总和为规定阈值以上(例如，部分区域像素数的5%以 上等)设为选定条件。其次，对于如此求出的第一拍摄图像的偏移检测用部分图像Α(ηΧη)，从第二 拍摄图像中分割出中心几乎在同一位置上的偏移检测用部分图像B(mXn) (m>n)。该 分割方法中以使第一拍摄图像中偏移检测用部分图像A的中心像素的坐标、与第二拍摄 图像中偏移检测用部分图像B的中心像素的坐标一致的方式分割出。其后，以子像素(subpixel)精度求出分割出的偏移检测用部分图像B中最适合 偏移检测用部分图像A的区域。作为该方法，可举出以偏移检测用部分图像A为模板的 归一化相关模式匹配。作为归一化相关模式匹配的例子，使用已知的归一化相关式来计算相关。一般 由N像素构成的两个模式Input⑴和Target(T)的相关式，可以表示为下式(2)。这里， α> Y分别如下所示。......式(2)
权利要求
1.一种便携终端装置，具备发送部，该发送部对输出图像数据的图像输出装置发送 多个图像数据，该便携终端装置的特征在于，具备拍摄部，其能够对同一拍摄对象物连续拍摄多次；以及拍摄图像判断部，其 判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，上述规定条件至少包括以下条件A，条件A:在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第一阈 值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第一阈 值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成 的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下的黑 色像素，在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与 为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄 上述拍摄对象物，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数 据向上述图像输出装置发送。
2.根据权利要求1所述的便携终端装置，其特征在于，上述拍摄部能够在拍摄之前事先取入表示上述拍摄对象物的图像，上述拍摄图像判断部判断表示上述拍摄部在拍摄之前事先取入的图像的图像数据是 否满足上述规定条件，来代替通过由上述拍摄部进行拍摄而得到的拍摄图像数据。
3.根据权利要求1或2所述的便携终端装置，其特征在于，还具备对显示部的显示进行控制的显示控制部、和经由输入部对来自用户的指示进 行受理的指示受理控制部，在上述拍摄图像判断部判断为满足上述规定条件的情况下，上述显示控制部在显示 部显示该意思，并且上述指示受理控制部受理再拍摄的指示，上述拍摄图像判断部对于上述拍摄部根据上述再拍摄指示以与被判断为满足上述规 定条件的拍摄时不同的曝光条件进行拍摄而得到的拍摄图像数据，也判断是否满足上述 规定条件，上述发送部只将上述拍摄图像判断部判断为不满足上述规定条件的拍摄图像数据向 上述图像输出装置发送。
4.根据权利要求1或2所述的便携终端装置，其特征在于，还具备记录控制部，该记录控制部将上述拍摄部以上述不同的多种曝光条件来连续 拍摄上述拍摄对象物而得到的、上述多个拍摄图像数据相互关联起来记录到存储部中，上述发送部将记录在上述存储部中的相互关联的多个拍摄图像数据向上述图像输出 装置发送。
5.—种图像输出装置，其特征在于，具备通信部，其从权利要求1或2中所述的便携终端装置接收拍摄图像数据；图像处理部，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光 条件拍摄的多个拍摄图像数据的情况下，从该多个拍摄图像数据中选择不满足上述规定 条件的任一拍摄图像数据；以及输出部，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
6.根据权利要求5所述的图像输出装置，其特征在于，还具备补偿处理部，该补偿处理部进行高分辨率补偿，该高分辨率补偿为生成分辨 率高于上述图像处理部选择了的上述拍摄图像数据的分辨率的高分辨率图像数据，上述输出部输出的拍摄图像数据是由上述补偿处理部生成的上述高分辨率图像数据。
7.—种拍摄图像处理系统，包括便携终端装置，其具备向输出图像数据的图像输 出装置发送多个图像数据的发送部；图像输出装置，其从上述便携终端装置接收上述多 个图像数据，该拍摄图像处理系统的特征在于，上述便携终端装置具备拍摄部，其能够对同一拍摄对象物连续拍摄多次；以及拍摄图像判断部，其判断通过由上述拍摄部进行拍摄而得到的拍摄图像数据是否满 足规定条件，上述规定条件至少包括以下条件A，条件A:在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第一阈 值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第一阈 值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成 的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下的黑 色像素，在通过上述拍摄图像判断部被判断为满足上述规定条件的情况下，上述拍摄部以与 为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄 上述拍摄对象物，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数 据向上述图像输出装置发送，上述图像输出装置具备通信部，其从上述便携终端装置接收上述拍摄图像数据；图像处理部，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光 条件拍摄的多个拍摄图像数据的情况下，从该多个拍摄图像数据中选择不满足上述规定 条件的任一拍摄图像数据；以及输出部，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
8.—种便携终端装置的控制方法，该便携终端装置具备向输出图像数据的图像输 出装置发送多个图像数据的发送部；以及拍摄部，其能够对同一拍摄对象物连续拍摄多 次，该控制方法的特征在于，包括拍摄图像判断步骤，在该拍摄图像判断步骤中，拍摄图像判断部判断通过由上述拍 摄部进行拍摄而得到的拍摄图像数据是否满足规定条件，拍摄步骤，在该拍摄步骤中，在通过上述拍摄图像判断部被判断为满足上述规定条 件的情况下，上述拍摄部以与为了得到上述拍摄图像数据而进行的拍摄中的曝光条件不 同的多种曝光条件来连续拍摄上述拍摄对象物，发送步骤，在该发送步骤中，上述发送部将以上述不同的多种曝光条件拍摄上述拍摄对象物而得到的拍摄图像数据向上述图像输出装置发送， 上述规定条件至少包括以下条件A，条件A:在上述拍摄图像数据表示的拍摄图像中，在由表示亮度的特征量在第一阈 值以上的白色像素构成的白色像素组区域周围的规定范围区域中，包含小于上述第一阈 值的第二阈值以上的白色像素，或者，在由上述特征量在第三阈值以下的黑色像素构成 的黑色像素组区域周围的规定范围区域中，包含大于上述第三阈值的第四阈值以下的黑 色像素。
9. 一种图像输出装置的图像输出方法，该图像输出装置具备通信部，其从权利要 求1或2中所述的便携终端装置接收拍摄图像数据；图像处理部，其对拍摄图像数据实施 图像处理；以及输出部，其输出拍摄图像数据，该图像输出方法的特征在于，具备选择工序，其在上述通信部接收到的上述拍摄图像数据中包含分别以不同的曝光条 件拍摄的多个拍摄图像数据的情况下，上述图像处理部从该多个拍摄图像数据中选择不 满足上述规定条件的任一拍摄图像数据，输出工序，其执行输出上述图像处理部选择了的上述拍摄图像数据的输出处理。
全文摘要
本发明提供一种便携终端装置、图像输出装置、拍摄图像处理系统、便携终端装置的控制方法以及图像输出方法。根据本发明，能够实现用户比以往更容易地获得遍及整个图像没有发白、发黑的拍摄图像的图像数据。便携终端装置(100)具备拍摄部(120)，其能够对同一拍摄对象物连续拍摄多次；拍摄图像判断部(130)，其判断通过拍摄得到的拍摄图像数据表示的图像中是否包含发白、发黑，在拍摄图像判断部(130)判断为存在发白、发黑的情况下，拍摄部(120)以与为了得到拍摄图像数据而进行的拍摄中的曝光条件不同的多种曝光条件来连续拍摄上述拍摄对象物，通信部(150)向图像输出装置(500)发送所得到的拍摄图像数据。
文档编号H04M1/02GK102025809SQ20101028714
公开日2011年4月20日 申请日期2010年9月16日 优先权日2009年9月17日
发明者大西英树, 早崎真 申请人:夏普株式会社