2022年12月09日22:56:25 數碼 1093

11 月 15 日，2022 驍龍峰會在夏威夷舉辦。官方在介紹第二代驍龍8 移動平台時，特意提到了認知 ISP（Cognitive-ISP）。在大眾對手機攝像頭要求越來越高的時代，如果要討論智能手機的影像技術，ISP 是一個無法繞過的話題。

ISP 撬動智能手機影像技術的進步

那麼，什麼是認知 ISP？根據官方的介紹，認知 ISP 是一套提升手機影像性能的技術。憑藉首個認知 ISP，第二代驍龍8 通過實時語義分割實現照片和視頻的自動增強，利用 AI 神經網路讓攝像頭在情境中感知人臉、面部特徵、頭髮、衣服和天空等，進行獨立優化，從而讓每個細節獲得定製的專業圖像調優。

通俗的說，在此之前，智能手機並不能完全識別出現在攝像頭中的物體細節，對人臉優化也是整體優化。而現在，藉助 AI 技術，智能手機可以精準識別並且單獨對每一個部分進行優化，從而大大提升了用戶的影像體驗。

「雙攝時代」、HDR 錄製和慢動作視頻，都與 ISP 進步有關

其實在認知 ISP 發布之前，歷代驍龍移動平台集成的 ISP 便已經引領了移動影像多年。可以這樣說，智能手機影像技術的每一次飛躍，都伴隨著驍龍移動平台在 ISP 技術上的突破。如今，在 AI 的幫助下，智能手機正在快速接近專業級相機的性能。

其實驍龍平台很早就已經集成了「雙 ISP」，此後高像素、2PD 對焦、4K 視頻/HDR 視頻拍攝逐漸實現。2016 年，驍龍835 平台配置了 Spectra 180 ISP，其最高支持兩顆 1600 萬像素攝像頭，還能大幅度提高拍照和圖像處理速度，是當時行業最強的 ISP 能力，手機也進入了「雙攝時代」。

至此，手機攝影才具備了現在的雛形。

2017 年 12 月，驍龍技術峰會上發布的驍龍845 移動平台集成了全新 Spectra 280 ISP。當時，集成 Spectra ISP 的驍龍移動平台支持超過 10 億種色調的 10 位色深，並實現了運動補償、時間濾波（MCTF）和電子圖像穩定（EIS）。

在今天看起來那些已經普及的影像功能，諸如慢動作視頻、HDR 錄製和高速性能捕捉（high-speed performance capture），都因為 Spectra ISP 而成為可能。這一代 Spectra ISP 上還集成了一個基於視差的深度感應系統，其工作原理與人眼非常相似，可以從雙鏡頭視角判斷物體的相對距離。

這些技術大幅提高了智能手機影像體驗。

2018 年發布 CV-ISP，按「幀」優化時代到來

2018 年，ISP 技術迎來重磅升級。驍龍855 帶來了全新 Spectra 380 ISP，這是全球首款計算機視覺（CV）ISP，在計算攝影和相機 AI 方面實現了巨大飛躍。

Spectra 380 消除了圖像處理管道中的瓶頸，並通過直接在 ISP 本身執行機器視覺處理，從而比前幾代產品節省高達 4 倍的功耗，並通過與 AI 引擎配合，大幅提升了 AI 處理能力。

對於普通用戶而言，其體驗提升是巨大的。Spectra 380 增加了對全 HDR10+ 視頻錄製的支持，使得錄製具有更大動態範圍和更寬色彩空間的視頻成為可能，以充分利用現代手機和電視的功能。此外，它將能夠處理更高解析度的成像，其雙 14 位 CV-ISP 管道支持雙攝像頭的 22MP 30Hz 並發捕獲，以及單個圖像感測器的 48MP 30Hz 捕獲。

這一代 ISP，讓智能手機具備了計算機視覺（CV）能力，照片和視頻的優化可以具體到每一幀。通過集成大量支持硬體加速的計算機視覺能力，與高通 AI 引擎相結合，帶來了手機影像能力的再一次突破。

雖然 ISP 技術已經把智能手機影像技術提高到了一個新高度，但這一代產品仍然在某些方面無法替代人的作用。比如在拍夜景照片時候，ISP 可以一次性拍攝多張照片然後極速合成，其對照片的優化是整體、全面優化。然而在真實世界裡，攝影師修圖是根據不同的畫面部分來修飾，比如天空、人臉、眼睛、一棵樹，甚至一片葉子。

這一次，2022 年發布的認知 ISP，終於藉助更強大的 AI 技術解決了這個難題——對每一個部分進行單獨優化。

認知 ISP：讓 AI「精修」影像

驍龍8 的三核 18-bit ISP 可同時處理三個 3600 萬像素的攝像頭 30fps 數據，對單個攝像頭的像素支持最高可達 2 億，同時支持快門滯後為零的 108MP 的感測器。

再結合認知 ISP 的照片、視頻實時語義分割技術，智能手機影像體驗將被推到新高度。雖然智能手機不具備單反相機那樣的超大 CMOS，但 AI 技術的使用讓智能手機已經可以拍攝專業級的影像了。

那麼，什麼叫實時語義分割？

ISP 使用 Hexagon 處理器內部的 AI 神經網路在場景中分離出多達八個層，然後單獨處理這些層中的每一層以更好地微調整體圖像質量。這允許圖像處理管道獨立地對場景的各個層應用不同級別的降噪、銳化和色彩校正，例如個人面孔、面部特徵、頭髮、衣服、天空等，甚至可以去除眼鏡上的眩光。

以上整個過程都是實時發生的。所謂「實時」，就是在拍攝過程中即時發生，拍攝完成的畫面和預覽效果保持一致。極短時間可以處理如此複雜的計算，也彰顯了認知 ISP 極高的運算效率。

高通表示，認知 ISP 有助於使 Snapdragon Sight 驍龍影像技術開啟專業品質相機體驗的新時代，提供突破性、定製化、專業級的品質增強技術。

那麼，認知 ISP 是如何做到的？

高通產品管理副總裁（Vice President of Product Management）Judd Heape 在示例中對此做了解釋。在視頻模式下，第二代驍龍8 對每一層的優化都應用了單獨的調優參數，所有這些都是憑藉全新 AI 引擎中升級的 Hexagon 處理器完成的。

第二代驍龍8 也針對新的圖像感測器進行了更深度調整。三星 ISOCELL HP3 是首款針對該平台優化的 2 億像素圖像感測器，可提供專業品質的照片和視頻。

在 2021 年 12 月高通發布第一代驍龍8 移動平台時，曾透露它正在與索尼建立合作夥伴關係。一年後的現在，高通與索尼分享了其最新的勞動成果。第二代驍龍8 支持新的四重曝光技術，該技術將充分利用索尼的新四重曝光數字重疊 (QDOL) 感測器，這使得其可以獲得更大的動態範圍。QDOL4 技術使視頻和照片能夠將光線最暗處和最亮處的細節呈現在同一畫面上。

有的用戶會有疑慮，認知 ISP 如此大的運算量，會不會讓第二代驍龍8 成為耗電大戶？

然而藉助 AI，驍龍8 的 AI 能效和整體能效均得到了改善。首先，用於處理情境感知任務的 AI 處理器增加到兩顆，識別效率和運算速度加倍。第二，Hexagon 處理器採用了一個更大的張量加速器，帶來了部分場景下高達 4.35 倍的 AI 性能提升；支持 INT4 AI 精度格式，在持續 AI 推理方面能夠實現 60% 的能效提升。

綜合來看，第二代驍龍8 的 CPU 性能提升了 35%，能效提升了 40%。而且，Hexagon 處理器和 ISP 之間增加了名為「Hexagon 直連」的物理連接，也就是 ISP 可以直接調用晶元的 AI 能力，這樣以便於提供更加強大的影像 AI 運算支持。圖形計算的處理上都能在 ISP 內部完成，讓 AI 在影像中的運算效率大幅提高。

期待智能手機影像新體驗

首個雙 ISP 把手機帶進了「雙攝時代」；首款 CV-ISP 讓手機具備了「計算機視覺」功能……驍龍移動平台的每一代 ISP，都推動了手機影像功能的持續進步。

如今 ISP 已經成為智能手機的標配，而第二代驍龍8 移動平台發布後，包括華碩 ROG、榮耀、iQOO、Motorola、努比亞、一加、OPPO、紅魔、夏普、索尼、vivo、Xiaomi、Redmi、星紀時代/魅族和中興在內的全球眾多 OEM 廠商和品牌將採用第二代驍龍8 移動平台，認知 ISP 有望為眾多智能手機帶來全新的影像體驗。