在我老家的墻上，有兩個(gè)大玻璃相框。里面裝滿(mǎn)了三代人的相片，既有祖父母年輕時(shí)的留影，也有父母輩親屬的結婚照，也有我小時(shí)候過(guò)生日的大合影。對于家中的老人來(lái)說(shuō)，這不僅僅是對生活瞬間的記錄，也寄托了他們的生活熱情。
而在這些照片中，我們也能看到攝影這門(mén)技術(shù)是如何變得越來(lái)越簡(jiǎn)單的，祖父母輩的照片都需要去照相館拍攝，到了父母輩，攝影師已經(jīng)可以脫離固定場(chǎng)景；進(jìn)入本世紀后，數碼相機的出現又進(jìn)一步省去了繁瑣的沖洗流程，讓照片所見(jiàn)即所得；在智能手機快速發(fā)展的現在，每個(gè)人手中都有著(zhù)堪比當年卡片機的相機。
但隨著(zhù)智能手機市場(chǎng)的不斷內卷，影像技術(shù)的發(fā)展方向似乎出現了變化。在各種影像技術(shù)的堆砌下，相機的界面變得越來(lái)越復雜，想拍出一張最佳效果的相片，往往需要進(jìn)行復雜的調試，甚至還需要動(dòng)用專(zhuān)業(yè)相機同款的RAW文件來(lái)進(jìn)行處理。
的確，擁有更好的拍攝效果是消費者所希望的，但絕大多數人并沒(méi)有攝影的專(zhuān)業(yè)知識，一味追求“堪比相機”的專(zhuān)業(yè)感，顯然與攝影技術(shù)發(fā)展的大方向背道而馳。
而到現在，智能手機品牌已經(jīng)逐漸意識到這個(gè)問(wèn)題，各家廠(chǎng)商對影像的理解或許不同，但對于如何提升用戶(hù)拍照體驗來(lái)講，并不會(huì )有太大差異，比如在移動(dòng)影像有獨特理解的vivo，就提出了專(zhuān)業(yè)創(chuàng )作者可以用它滿(mǎn)足極限環(huán)境下的創(chuàng )作需求、普通人也可以通過(guò)簡(jiǎn)單操作收獲令人動(dòng)容的影像的理念。
簡(jiǎn)單來(lái)講，vivo要為用戶(hù)帶來(lái)人性化的專(zhuān)業(yè)影像體驗，那在這探索之道上，vivo又是如何做的呢？
01 專(zhuān)業(yè)影像，不用逼用戶(hù)成為大師
在探討技術(shù)之前，我們先來(lái)了解一下什么是“人性化的專(zhuān)業(yè)影像”。在vivo的表述中，這是一種適合所有人的影像能力。專(zhuān)業(yè)創(chuàng )作者可以用它滿(mǎn)足極限環(huán)境下的創(chuàng )作需求，普通人也可以通過(guò)簡(jiǎn)單操作收獲令人動(dòng)容的影像。為了實(shí)現這一目標，vivo希望把各種復雜的影像技術(shù)和經(jīng)驗都放進(jìn)手機，只需要簡(jiǎn)單地按下快門(mén)，就能創(chuàng )作出足夠出色的作品。
為了實(shí)現這一目標，vivo將自己積累的影像算法能力融合成vivo影像技術(shù)矩陣。這一影像算法矩陣由光學(xué)感知系統、臻彩還原引擎、超清畫(huà)質(zhì)引擎、算力加速引擎、環(huán)境理解技術(shù)、超感人像系統、蒼穹夜景系統七大部分組成，覆蓋了從鏡頭到芯片的攝影全鏈路。
靠著(zhù)這一算法矩陣，vivo還提出了一個(gè)稍顯夸張的目標：比肩專(zhuān)業(yè)影像設備，比肩專(zhuān)業(yè)攝影團隊，比肩專(zhuān)業(yè)后期能力。接下來(lái)，我們就順著(zhù)這個(gè)目標，看看vivo影像技術(shù)矩陣能做些什么。
比肩專(zhuān)業(yè)影像設備：光學(xué)素質(zhì)和色彩風(fēng)格雙管齊下
對攝影有所了解的朋友大概都知道，專(zhuān)業(yè)影像設備的優(yōu)秀之處主要在于兩方面：光學(xué)素質(zhì)和色彩風(fēng)格。
對于光學(xué)素質(zhì)，一方面vivo通過(guò)光學(xué)感知系統對包括光學(xué)模組和鍍膜等在內的硬件進(jìn)行優(yōu)化。比如VCS仿生光譜技術(shù)，通過(guò)改善Sensor QE光譜，提升信噪比和色彩還原能力，讓傳感器接收的原始信息不斷接近人眼，打造良好的成像基礎。另一方面，光學(xué)超分算法則通過(guò)對鏡頭的缺陷建模分析，恢復因硬件模組限制而損失的信息。同時(shí)將Denoise、Demosaic、Deblur等模塊，進(jìn)行耦合訓練，形成了系統性的AI畫(huà)質(zhì)方案——超清畫(huà)質(zhì)引擎?？梢詫?shí)現多幀畫(huà)質(zhì)重建，達到更好的畫(huà)質(zhì)和更廣的動(dòng)態(tài)范圍。
而在色彩風(fēng)格上，臻彩還原引擎包含了智能白平衡和智能白加黑減等一系列算法，有效提升白平衡準確性和大面積“白”“黑”場(chǎng)景的曝光準確性，將vivo的色彩表現和影調觀(guān)感優(yōu)化到極致。
考慮到這些算法都需要在按下快門(mén)的一瞬間完成計算，硬件加速顯然必不可少。vivo為此打造了算力加速引擎這樣一套軟硬結合的加速方案，vivo基于自研芯片和平臺SoC設計研發(fā)了CV異構加速引擎和vDNN深度學(xué)習加速引擎，是分別針對傳統CV算法和AI算法的加速引擎，可支撐多芯結合的異構加速，實(shí)現多信息協(xié)同并高速處理。
比肩專(zhuān)業(yè)攝影團隊：感知環(huán)境智能調整
對于專(zhuān)業(yè)攝影團隊，他們會(huì )針對不同的拍攝場(chǎng)景針對性調整白平衡、曝光等參數，實(shí)現最佳的成片效果。vivo的環(huán)境理解技術(shù)會(huì )對場(chǎng)景進(jìn)行識別，比如色溫和亮度檢測的技術(shù)、運動(dòng)檢測的技術(shù)，基于環(huán)境的進(jìn)行信息提取，協(xié)助3A等模塊，作出最佳的拍攝判斷。
比肩專(zhuān)業(yè)后期能力：不同場(chǎng)景針對性?xún)?yōu)化
在日常拍攝中，我們最下力氣后期的照片往往都是人像。手機影像也在很早的時(shí)候就擁有了一系列人像優(yōu)化技術(shù)。vivo的超感人像系統更進(jìn)一步，擁有人像理解、人像美化、人像氛圍三大核心技術(shù)模塊。
想要優(yōu)化人像成片，第一步就是要讀懂人像信息。vivo“人像理解技術(shù)”會(huì )像專(zhuān)業(yè)修圖師一般進(jìn)行分區檢測，對人臉進(jìn)行語(yǔ)義重點(diǎn)和輪廓細節的提取，建立多達103個(gè)特征點(diǎn)的關(guān)鍵人臉坐標，點(diǎn)位精度誤差小于2像素。同時(shí)，會(huì )對畫(huà)面中的皮膚、手勢、肢體關(guān)鍵點(diǎn)進(jìn)行檢測，主體分割I(lǐng)OU達到了96.15%的精確度，為靜態(tài)人像重塑和動(dòng)態(tài)人像抓拍提供了精細化的處理能力。
在手機對人像進(jìn)行精確識別后，下一步就是進(jìn)行針對性美化。這里vivo以不同年齡、性別、場(chǎng)景的數以百萬(wàn)計的素材，經(jīng)過(guò)反復的機器學(xué)習成長(cháng)，推出vivo全新升級的微米級煥膚塑顏技術(shù)，使皮膚觀(guān)感更加自然、健康，也更好地保留了五官的立體感。
一張好的人像照片，除去精致的人像外，背景的氛圍感同樣重要。人像氛圍融合技術(shù)基于人像語(yǔ)義理解，在影調、色彩、亮度、虛化等層面上進(jìn)行人與場(chǎng)景的融合處理，實(shí)現人與景和諧、自然的效果。
而針對手機影像的另一大難點(diǎn)——夜景成像，蒼穹夜景系統也進(jìn)行了全面的AI升級，基于百萬(wàn)夜景照片訓練出三個(gè)全新模型：超感光模型、全分割語(yǔ)義模型和臻彩影調模型。超感光模型：將感光能力最大提升了100%，ISO最高可支持102400；全分割語(yǔ)義模型和臻彩影調模型聯(lián)合，實(shí)現了自適應的影調和色彩調整能力。
02 軟實(shí)力背后，是vivo長(cháng)期積累的“硬功夫”
這一系列影像算法雖好，但想實(shí)現出色的成片效果以及拍照體驗，還有一點(diǎn)必不可少，那就是算力。如果沒(méi)有強大的算力支撐，即使有再好的算法也發(fā)揮不出全部?jì)?yōu)勢。而SoC自帶的ISP處理器往往無(wú)法提供充足的算力支持，因此自研影像芯片就成了各大手機廠(chǎng)商的選擇。
在手機影像上長(cháng)期投入的vivo，也在2021年推出了自己的首款自研影像芯片V1。第一代V1芯片以低延時(shí)、高能效著(zhù)稱(chēng)，并用極低延時(shí)進(jìn)行數據交互，極大擴充ISP高速成像算力；而在之后升級的V1+芯片中更是被應用到眾多應用場(chǎng)景，為夜景成像帶來(lái)了質(zhì)的提升。
在V2芯片的設計中，vivo升級了全新的架構，從傳統ISP架構升級到了AI-ISP架構，實(shí)現了跨越式的技術(shù)革新。傳統ISP能以極低延時(shí)處理大量的數據流水，但是只能解決已知的、特定的問(wèn)題。AI擅長(cháng)處理復雜的、未知的問(wèn)題，但是延時(shí)較大。
AI-ISP結合兩者的優(yōu)勢，相當于給傳統ISP芯片加一個(gè)新的AI大腦，這個(gè)AI大腦的神經(jīng)元分布是網(wǎng)狀結構的，更適合海量的發(fā)散式信息處理。相比于傳統的架構，AI-ISP能夠通過(guò)硬件直連的方式將AI計算直接融入ISP的處理流程中，完成數據的無(wú)縫緩沖和處理，處理能力、處理能效都有大幅提升。
基于A(yíng)I-ISP這個(gè)架構革新，vivo在下一代自研芯片上實(shí)現了三大突破: 片上內存單元的突破、AI計算單元的突破、圖像處理單元的突破。
從而實(shí)現了片上內存、計算單元到自研算法的突破。而這分別對應了性能，如使用昂貴的DDR-Less近存片上數據儲存架構，配合硬化在片上的超大SRAM，實(shí)現了運算快、功耗低、延時(shí)低的特征；利用更適合做復雜計一算成像運算的DLA加速器實(shí)現最優(yōu)能效比，而自研圖像處理單元帶來(lái)了更好的夜景畫(huà)面細節；而使用HDR影調融合算法、MEMC插幀算法、AI-NR降噪算法，則提升了夜景攝錄降噪效果、畫(huà)面流暢度以及更好的夜景細節。
03 寫(xiě)在最后
相信在看完上文后，大家應該都已經(jīng)對vivo在影像能力上的投入有所了解。vivo影像技術(shù)矩陣的七大部分覆蓋了光學(xué)技術(shù)、色彩風(fēng)格等移動(dòng)影像的全流程，以及人像、夜景等多個(gè)場(chǎng)景，再加上自研的V2芯片在計算層面全力支持，相信手機攝影未來(lái)會(huì )變得越來(lái)越簡(jiǎn)單、好用。
在文章最后，我想來(lái)做個(gè)小預言，猜測一下vivo下一代影像旗艦X90系列的影像配置。上文中提到的vivo影像技術(shù)矩陣與自研芯片V2顯然都不會(huì )缺席，而與蔡司合作推出的蔡司自然色彩、T*光學(xué)鍍膜、蔡司鏡頭包等一系列配置也將繼續出現。硬件方面，vivo宣稱(chēng)下一代主攝CMOS比GNV傳感器感光能力提升77%，考慮到GNV傳感器的尺寸已經(jīng)達到1/1.3英寸，X90極有可能將配備一英寸的大底主攝，而超廣角與長(cháng)焦鏡頭也將獲得進(jìn)一步提升。至于X90系列的影像表現究竟如何？敬請期待ZOL對vivo X90系列的進(jìn)一步報道~
