解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機

2019-05-23 20:09
文章分享
Google 的 Pixel 系列手機在相機規格上,一直靠單鏡頭的拍照方式,都可以力壓多鏡頭對手。哪怕是單鏡頭讓半臂,在 DxOMark 上的評分依然都有極佳的成績。 究竟 Google 靠乜野黑科技黎達成「單春打天下」的神技呢? 今天我們就來為大家解密,到底 Pixel 系列手機,如何透過單鏡頭拍攝出驚艷的照片。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機


這次 Google 特別請來了 Google 傑出工程師 Marc Levoy 博士,他是 VMware 的創辦人暨史丹福大學電腦科學榮譽退休教授,在電腦輔助卡通動畫製作(1970 年代)方面、立體渲染(1980 年代)、3D 掃描(1990 年代)、光場成像(2000 年代)和計算攝影(2010 年代)有相當深的研究。他目前帶領的團隊負責的專案包括 Pixel 智慧型手機的 HDR+ 模式、肖像模式和夜視功能、Jump 光場相機與 Halide 圖像處理程式語言等。

在進入 Google 相機技術的秘密之前,Marc 先跟 ePrice 版主談到,現在的相機趨勢的部分,在過去各家都是靠著鏡頭光學的硬件設計來打造相機,但是在進入手機的時代,由於感光元件體積上的物理限制,技術開始慢慢地往軟件處理為主:拍照已不是純靠光學捕影來生成相片。

Google 打造的相機除了有一定水準的光學品質外,在軟件的部分也下了相當大的功夫。Google 在拍攝軟件當中導入了 Machin Learning 機器學習能力,而機器學習就是運用大量的 AI 來取代傳統的演算法,在長間的使用下,機器會獲取到更多的數據與資訊,提升整體的執行準確度。

 

Pixel 系列的基本法則

在手機拍照軟件的部分,Marc 博士提到了幾個要點是他們在設計軟件上必須遵守的原則,像是執行上要相當的快速,在 Liveview 取景上需要大於 15fps、快門延遲時間必須小於 15 毫秒、成像時間需要在五秒以內,而且在運行拍照的過程中手機溫度也不能上升太多。

 

一、HDR+ 的功能

而自從 Nexus 系列開始,Google 就相當著重在 HDR+ 的開發上,舉一個例子來說在傳統的 HDR 拍攝高反差的場景時,相機會主動捕捉從高至低等不同曝光程度的影像,快速在曝光時間長的照片中取得暗處細節、在曝光時間短的地方取得亮處的細節,然後再合成影像,但是這樣的作法很有可能因為手持時的晃動而無法成功合成影像,也會容易同時出現死白及暗部高雜訊;但是 Google 手機 HDR+ 原理卻是在重點利用重複曝光、欠曝下連拍照片,再進行校準與合併,這樣一來就能夠保留亮處的細節,同時也能夠透過多張合成得方式降低暗處的雜訊,保留整體的對比、色調以及細節,呈現出 HDR+ 的效果。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲ 傳統的 HDR 合成方式,透過不同曝光程度的照片合成影像,但是這樣的方法一般需要上三腳架才能獲得穩定的影像。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
▲ Google HDR+ 的拍攝方式,更能保留亮部的細節以及減少過多暗部雜訊的產生。

 

二、雙像素 + AI = 神級景深模擬

相信唔少網友都好奇,為何 Google Pixel 手機單鏡頭模擬出黎的景深、比隔離位多鏡頭效果更自然、更出色? Marc 博士解釋,在其他傳統手機的肖像模式下,手機會採用多於一個鏡頭去進行下面四個步驟:
 
  1. 去捕捉不同焦點的畫面
  2. 再透過演算法去匹配出畫面深度之後
  3. 決定一個場景的焦平面來保持畫面的銳利程度
  4. 之後藉由畫面中遠近物體的判斷,來讓背景呈現失焦的效果

但是從在 Google Pixel 系列「單春保至尊」的情況下,只需要透過下面兩種技術就能獲得同樣甚至更棒的景深效果:


1、運用相機當中的硬件技術「雙像素(Dual pixels)」預估深度圖(Depth Map):
過往在 Pixel 2 已出現的雙像素對焦技術(Dual pixels)是 Google 拍照技術的其中一大重點。簡單黎講,就係透過感光元件上「分得最開距離」的兩粒像素來辨認現場環境的遠近距離,你可以想像這跟人眼一樣是用兩顆眼睛來看世界,左右眼睇野會呈現很小的差異,能讓影像稍為立體化,利用雙像素偵測到的距離資訊,從而造出有不同深度的照片。

但一粒 Sensor 面積有幾大?  最遠距離的兩個 Pixels 其實都係好近,你可以想像下你眼睛 Stick together,然後就無然後了。瞳距太近,效果自然唔會太好,而且呢種方案低光環境下亦難以輕鬆得出準確的距離資訊。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲  利用雙像素偵測的方式預估畫面深度。

2、利用機器學習技術分割影像中的人物:
所以黎到 Pixel 3 系列,Google 就選擇加強 AI 人工智能幫助製造景深! 在透過 Pixel 手機拍照時,手機會運用卷積神經網路(Convolutional Neural Network, CNN)預估圖像中每一個像素的人物;同時利用超過 100 萬張的人物場景照片進行機器訓練,最後透過普通人睇唔明的數學公式的計算將邊緣的感知雙邊求解器(Edge-aware Bilateral Solver)進行細化,讓人物分割的邊緣更加銳利。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲ Google 直接公開計算景深的演算法公式,唔怕比隔離偷學嗎?

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲ 透過人物邊緣的計算之後帶入景深的演算法,效果確實「AI 救地球」。

 

三、高解析數碼變焦

其他手機廠出到 N 鏡頭,出動埋 tele 鏡「打月」,靠的係多鏡頭混合變焦,聲稱可以達到無損 3 倍、5 倍甚至是 10 倍數碼變焦;但是 Google Pixel 3 則是在單鏡頭下就能使用 10 倍數碼變焦,而且也號稱能給你高解析的影像,這又是怎麼做到的呢?

秘密就在於 Google 採用了像素位移的技術,在感光元件上有著 RGB 的影像單位訊息,你影相時候輕微的手震,利用像素位移來移動感光元件後,可以額外獲取到兩倍到三倍的資訊量,提供足以製造數倍放大成像的資訊量。

而在手機上三腳架等完全固定的場景下,相機仍然可以透過強制開啟光學影像穩定功能 OIS 來製造畫面晃動的場景,達成像素移位效果。而且搖晃的幅度也相當的小,不會影響到畫面的呈現。成件事聽落咁似 Pentax 的 Pixel Shift Resolution system(像素移位解像系統)??

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲ 感光元件上的 RGB 像素,可以透過垂直、水平、垂直+水平 的位移來獲取多的畫面資訊。

 

四、Nigh Sight 夜視模式

最後就是後期 Google Pixel 手機新加入的夜視模式(Night Sight),其他廠家都有類似效果的功能。而 Google 的技術應用就是透過按下快門之後,畫面將會靜止不動幾秒鐘,高速捕捉最多 15​ 張畫面,同時相機會進行移動偵測,根據手震的程度來判斷取景所需要的時間,然後交比軟件進行影像合成。理論上,你手持越穩定,也就能獲得越長的曝光時間,同時得到更好的畫面。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機
​▲ 左為畫面偵測的白平衡、右為 AI 學習之後的白平衡還原場景色調。

而在取得影像之後,手機也會藉由 AI 學習功能,來調整場景的環境色調。例如在夜拍的過程中完全沒有足夠的光線時,最後合成影像之後手機還會透過 AI 來還原場景中真實的色調,而這部份 Marc 博士也提到他在過去也有古典作畫的研究,在強化對比、陰影的投影呈現以及黑暗場景的表現,都是運用過去的經驗,再加以現在的演算法來進行色調映射(Tone Mapping),盡量保有影像原有的色彩。

解構 Google 四招!令 Pixel 手機單鏡頭可比拼多鏡頭手機

在 M 博士的說明下,大家是不是對 Google 的單鏡頭神技有更多認識呢? 其實一切都係得益於海量圖像數據 + AI 學習! 如果大家有興趣的話,也能到 Google 官方的 BLOG 瀏覽更多有關技術的說明~
  原文來自 ePrice.com.tw 文章,再由 ePrice.com.HK 大仙 YK 修改
多謝支持 ePrice.HK
文章分享
您可能也喜歡▼