主页 > P曼生活 >Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

2020-06-07  浏览量:367

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

前些天,Google 在台发表了全新 Pixel 3 / Pixel 3XL 手机,其最新的 AI 拍照功能让人惊豔。Night Sight 夜间拍照效果压过 iPhone XS;Top Shot 功能可以连续拍摄多张 HDR+ 照片,自动去掉抖动、眨眼的废片,推荐效果最好的一张;Photo Booth 模式可以在检测到人脸有微笑或者有趣的表情时自动拍照,帮你留下珍贵的一刻;Super Res Zoom 透过镜头的变焦功能拍摄具备高解析度的照片。

Super Res Zoom 可以说是此次几项全新 AI 拍照功能中最难理解的一个,也让不少业内人士感到好奇。幸而,Google 计算成像领域首席科学家 Peyman Milanfar 和软体工程师 Bartlomiej Wronski 在 Google Blog 特意发表一篇文章,讲述了 Super Res Zoom 技术实现的全部过程。以下对原文进行不改变原意的翻译和编辑。

一直以来,使用演算法(而不是镜头)来进行数位变焦的行动装置相机就像是「丑小鸭」。数位变焦的图像品质难与数位单眼相机的光学变焦相提并论,因此传统观点认为,大型相机的複杂光学机制无法被更紧凑的行动装置相机和聪明的演算法替代。

凭藉 Pixel 3 上新的 Super Res Zoom 功能,我们正在挑战这一概念。

之前,数位变焦技术主要是升级单个图像中的画素,Pixel 3 中的 Super Res Zoom 技术则不然。Super Res Zoom 的做法是将许多帧图像直接合併以产生更高解析度的图像,这个方法能大大改善图片的细节,能许多其他智慧手机上的 2 倍光学变焦镜头大致相当。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

2 倍变焦:Pixel 2 vs. Super Res Zoom Pixel 3。

数位变焦的挑战

数位变焦是困难的。因为一个好的演算法期望从低解析度的图像开始,并可靠地「重建」缺失的细节──在典型的数位变焦中,单个图像的一小部分被放大,生成一个大得多的图像。传统上,这是透过线性插值方法来实现的,这种方法试图重新创建在原始图像中丢失的资讯,但会使得图像模糊,缺乏纹理和细节。基于单图像来提升图像品质一般採用机器学习的方法(包括我们自己的早期工作 RAISR)。这些图像放大了一些特定的图像特徵,如直线边缘,甚至可以合成某些纹理,但无法恢复自然的高解析度细节。虽然我们仍然使用 RAISR 来提高图像的视觉品质,不过 Super Res Zoom 创新性地採用了多帧图像方法。

彩色滤镜阵列和去马赛克

重构细节尤其困难,因为数位照片已经不完整了。透过一种叫做去马赛克(Demosaicing)的过程,我们可以从部分颜色资讯中重构丢失的资讯。在典型的消费相机中,相机感测器元件只用于测量光的强度,而不是直接测量光的颜色。为了捕捉场景中呈现的真实颜色,镜头使用放置在感测器前面的颜色滤镜阵列,以便每个画素只测量一种颜色(红色、绿色或蓝色)。如下图所示,它们以拜耳模式排列。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

拜耳马赛克彩色滤镜:每 2×2 组画素捕获由特定颜色过滤的光──两个绿色画素(因为我们的眼睛对绿色更敏感),一个红色,一个蓝色。这种模式在整个图像中重複出现。

然后,在给定部分资讯的情况下,镜头处理管道必须重构所有画素的真实颜色和所有细节。去马赛克过程的第一步是要猜测丢失的颜色资讯,通常会选取附近画素的颜色进行插值,这意味着 RGB 数位图像的三分之二实际上是重建的!

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

去马赛克利用相邻画素重建丢失的颜色资讯。

在最简单的形式中,这可以透过对相邻值进行平均来实现。大多数真正的解谜演算法都比这更複杂,但由于只能得到部分资讯,去马赛克的效果仍然不完美而且有很重的人工痕迹。虽然大尺寸的单眼相机也存在这种情况,但它们更大的感测器和更大的镜头能比一般的行动相机捕捉到更多的细节。

如果你在行动装置上进行缩放变焦,情况会变得更糟;然后,演算法被迫透过附近的画素进行插值来弥补更多的资讯。然而,这也不是一无是处,因为即使受到行动装置光学的限制,高速连拍(Burst Photography)以及多幅图像的融合可以用来达到超解析度。

从高速连拍(Burst Photography)到多帧超解析度

虽然单个帧不能提供足够的资讯来填充缺失的颜色,但是我们可以从高速连续拍摄的多个图像中获得一些缺失的资讯。Google 的 HDR+ 演算法在 Nexus 手机和 Pixel 手机上得到了成功应用,它已经利用多帧的资讯使手机照片达到了更大感测器所期望的质量水平,是否可以使用类似的方法来提高图像解析度?

多帧超解析度的概念出现已经有十多年历史了(在天文摄影上,类似的概念被称为「drizzle」),透过捕捉和组合多个细微位置差异的照片,可以产生相当于光学变焦的效果,至少在 2-3 倍的低倍变焦和良好的照明条件下。在这个过程中,一般的想法是将低解析度的图像部分直接对齐并合併到一个理想(更高)解析度的网格上。下面是一个理想化的多帧超解析度演算法如何工作的例子:

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

 与顶部的需要插值的去马赛克过程相比,用多个图像填充,每个图像水平或垂直移动一个画素更为理想。

在上面的範例中,我们捕获了 4 个帧,其中 3 个帧精确地移动了一个画素:从水平方向、垂直方向以及同时从水平和垂直方向。所有的洞都会被填满,根本就不需要任何去马赛克。一些单眼相机支援这种操作,但只有当相机在三脚架上,感测器 / 镜头能进行移动,这有时被称为「微步」(microstepping)。

多年来,这种「超级解析度」的高解析度成像方法的应用仍然主要局限于实验室,或以其他方式控制的设置中。在这些设置中,感测器和主体是对齐的,它们之间的移动要幺是有意控制的,要幺是受到严格限制的。例如,在天文成像中,用固定的望远镜来拍摄星空的移动轨迹。但在当今智慧手机等广泛使用的成像装置及应用程式中,超级解析度的实际应用仍是可望而不可及的。

多帧超解析度功能需要满足一些条件。首先,也是最重要的一点,镜头需要比所使用的感测器更好地处理细节(相反地,你可以想像这样一个情况,镜头设计得很差,添加一个更好的感测器没有任何好处)。数位相机有一种常见但不受欢迎的效果,叫做混叠(aliasing)。

图像混叠

当镜头感测器不能忠实地表示场景中的所有模式和细节时,就会发生混叠。混叠的一个很好的例子是摩尔波纹( Moiré patterns;又译莫列波纹),当两种同样的图案以一定的角度重叠会出现的现象。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

 由两组平行线产生的摩尔波纹,一组垂直,另一组倾斜 5°

此外,当物体在场景中移动时,对物理特徵(如表边)的混叠效果也会发生变化。您可以在以下连拍序列中观察到这一点,在连拍序列中,相机的轻微运动会产生时变的混叠效果:

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

左图:高解析度下桌子边缘的单幅图像,右图:连拍产生的不同图像帧。混叠效果和云纹效果在不同的帧之间是可见的──画素似乎跳来跳去,产生不同的彩色图案。

但是,我们也能因祸得福,如果分析混叠效果产生的模式,就会得到颜色和亮度值的多样性,以实现超解析度。儘管如此,要在手持行动装置和任何连拍序列中达到高解析度,依然有诸多挑战存在。

手部移动达到超解析度

如前所述,一些单眼相机提供了特殊的三脚架超解析度模式,类似于我们目前描述的方式。这些方法依赖于相机内感测器和光学器件的物理运动,但需要相机完全稳定。然而,这在行动装置上是不切实际的,因为它们几乎总是手持的。

然而,藉助手部运动方案,我们将这个最大的难点变成了我们的优势。当我们用手持相机或手机拍摄一组照片时,画面之间总会有一些运动。光学图像稳定(OIS)系统可以补偿相机的大运动──通常间隔 1/30 秒以内的 5-20 画素移动──但不能完全消除更快、更低的幅度、自然的手震。当使用高解析度感测器的手机拍照时,这种手抖的幅度只有几个画素。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

 在进行处理后,连拍中手震的结果。

为了利用手部抖动的优势,我们首先需要将高速连拍的照片排列在一起,我们选择高速连拍图像中的单个图像做为「基」或参考帧,并对齐与之相关的所有其他帧。对齐后,这些图像大致结合在一起。当然,手部运动不太可能将图像精确地移动单个画素,因此我们需要在每个新捕获的帧中插入相邻画素,然后将颜色注入基帧的画素网格中。

当装置是完全稳定的(例如放置在三脚架上)而没有出现手部运动时,我们仍然可以透过故意「抖动」相机来达到模拟自然手部运动的目的,透过强迫 OIS 模组在镜头之间轻微移动。这个移动非常小,选择的时候不会干扰正常的照片──但是你可以在 Pixel 3 上自己观察它,你可以把手机完全固定,比如把它按在窗口上,或者最大限度地缩放取景器。如下图所示,可以观察远处物体微小但连续的椭圆运动。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo克服超解析度的挑战

以上是我们对理想过程的描述,听起来很简单,但是要实现超解析度并不是那幺容易。有很多原因导致没有被广泛应用到手机等消费产品中,例如其需要大量的演算法创新。挑战包括:

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

 左:在良好的光照条件下拍摄的单帧图像,由于曝光不足,仍然可能包含大量的噪声。右:连拍处理后合併多帧的结果。

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

以上所有的挑战似乎都使得超解析度在实践中不可行,或者充其量只能局限于静态场景和放在三脚架上的相机。利用 Pixel 3 上的 Super Res Zoom,我们开发了一种稳定、精确的连拍解析度增强方法,它使用自然的手部运动,并且够强大,可以部署在手机上。

以下是我们解决上述挑战的方法:

Google 发文详解 Pixel 3 中的拍照技术──Super Res Zo

 一辆快速行驶的公共汽车的连拍图像。左:在没有强健性模型下合併。右:有强健模型下合併。

推动行动摄影技术的发展

去年 Google 推出的人像模式(Portrait mode),以及之前 HDR+ pipeline 都展示了行动摄影的优越性。今年,我们从变焦下手。Super Res Zoom 能提高计算机摄影技术水平,同时缩小移动摄影和数位单眼之间的质量差距。

超解析度的概念比智慧手机的出现早了至少 10 年。在几乎同样长的时间里,它也透过电影和电视在大众的想像中存在,它也是学术期刊和学术会议上成千上万篇论文的主题。现在,在你手掌中的 Pixel 3 里,超解析度真实存在。

如何最大限度地利用 Super Res Zoom?

这里有一些关于如何在 Pixel 3 的手机上使用 Super Res Zoom 的技巧:


上一篇: 下一篇:

相关推荐

最新文章

热门文章

申博太阳城_申博网投代理|新生活开始的地方|观察信息门户网|网站地图 申博官网备用网址_申博8注册 申博官网备用网址_申博开户官网