芯耀
212
楊凈 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
你敢信，為了讓你的手機能直接拍出大片效果，工程師們竟干出了這種事：投入300+人力，死磕造芯。
此前，他們從零到一，花費兩年時間為了讓夜景拍攝更清晰。
這次僅半年時間，他們又迭代出Plus版本，將人像又升級到新的水準……
什么時候開始，手機的影像系統(tǒng)已經卷到這種程度了？
一直以來，影像系統(tǒng)是各大手機廠商發(fā)布會上的主角這無可厚非，畢竟這是用戶最能直觀感受到的。但起初也只是拼拼像素、比比攝像頭數(shù)?；蛘吒唠A一些，就是看有哪些個性化算法，比如美顏區(qū)分男女生、場景識別、夜景降噪之類。
現(xiàn)在怎么就有廠商專門研發(fā)起芯片來了。
而且這種趨勢還有增無減，已經開啟逐年迭代的模式。
為什么手機影像探索，現(xiàn)在要靠芯片了？究竟還有哪些發(fā)揮空間？
手機影像逐步走入內卷
要搞清楚手機影像的“內卷”邏輯，需要著眼于整個手機影像發(fā)展史來看。
自世界上第一臺具備相機功能的手機夏普J-SH04誕生之日（2000年）起，影像就已經成為手機廠商比拼的新賽道。
硬件包括攝像頭、傳感器以及攝像模組、芯片等；軟件即算法。
但從時間維度來講，手機影像可以說是一段回歸本原的過程。
表面上來看，手機影像的前十幾年，一直處在硬件“內卷”的時代。
當時各個廠商的思路是模擬相機、超越并代替相機。
最早開始內卷的是以CMOS材質為代表的圖像傳感器，尤其是2010年iPhone 4搭載的背照式傳感器，后來直接將各大手機像素提升到了幾千萬的水平。
理論上在暗光拍攝時，可以大幅降低噪點。而且隨著CMOS面積越大，影像也就越清晰，也就是數(shù)碼圈常說的“底大一級壓死人”、“底大為王”。
但手機留給CMOS的空間實在有限，想要從物理上（傳感器面積變大）達到相機的效果，短期內顯然是行不通的。
之后即便在攝像頭質量、數(shù)量上有突破，但都很快成為手機標配，在行業(yè)里沒有激起太多水花。
這時候，一些廠商開始著力于手機本身的優(yōu)勢，打造適用于手機拍攝場景的技術，也先后探索了多條不同的路徑。
最終事實證明，真正可以讓手機影像打出差異化的，在相機算法上：自動HDR、夜景自拍、超級人像、模擬大光圈、舞臺模式、4K視頻……
這些應接不暇的功能，相信你也或多或少有所感知。
此時手機的成像過程，已經不再像是相機那樣直給，而是在最終畫面呈現(xiàn)之前，還要經過ISP、DSP、DPU等多個處理器的實時計算優(yōu)化。
這也就給手機算力帶來了挑戰(zhàn)，尤其在面臨多個攝像頭時，計算數(shù)據(jù)量更是成倍增長。
如果算力不能支撐，算法再怎么優(yōu)秀用戶也無法感知。
這時候，留給手機廠商的有兩條路徑，一種依賴于上游SoC平臺升級來優(yōu)化算法，另一種則是主動研發(fā)兼容的影像芯片，來滿足自身算法的實現(xiàn)。
一種是十分被動，還可能面臨不兼容的困境；另一種則是風險高，一旦失敗所耗費的成本不堪設想。
顯然，第二種是一條更難而正確的路，也是當下主流廠商選擇的一種方式。
如果說，傳感器的局限性倒逼手機廠商思考手機本身的可能性；那么，算法的局限則是再次倒逼手機廠商回歸本原思考——了解用戶究竟需要什么，才能給出更個性化的算法體驗。
去年，這種自研影像芯片的趨勢十分明顯，其中以手機影像第一梯隊的vivo最具代表性。他們率先在自己的旗艦X70系列搭載了自研的V1芯片，還提出了行業(yè)指向標——“雙芯標準“。
V1芯片真正解決了包括實時夜景拍攝在內的一系列業(yè)界公認的影像技術瓶頸。
在vivo自研芯片V1的加持下，手機能夠以低功耗運行實時超高清夜景拍攝的去噪和插幀。
事實上，通過自研芯片來解決技術瓶頸的案例不在少數(shù)。
而且隨著最近vivo V1+芯片發(fā)布，我們發(fā)現(xiàn)自研影像芯片給手機帶來的可能性，已經遠不局限于影像本身。
這次Plus版有啥看頭？
這次新發(fā)布的V1+芯片，定位變成了ASIC（專用集成電路）。
相比V1芯片更側重影像處理，V1+無論是在性能還是功能上，相比V1都要有所提升。
先來看性能參數(shù)。
V1+的數(shù)據(jù)吞吐速度平均在8GB/s，理論上最高能達到25GB/s；功耗降低72%（V1約降低50%），能效則提升了3倍。
這是什么概念？
直觀來看，這讓手機能運行更多以往“吃不消”的高性能算法。例如，手機影像中幾乎最消耗性能的三個算法，就能一口氣全部硬件化封裝到V1+芯片中：3D實時立體夜景降噪、MEMC插幀和AI超分辨率算法。
其中，MEMC插幀和實時夜景降噪從V1芯片延續(xù)而來，不僅能讓手機以低功耗運行超高清夜景拍攝的實時去噪和插幀，還通過進一步升級，直接用算法把手機打造成了一部專業(yè)級的“夜視儀”。
這一特性，讓手機在照度小于1lux的極暗環(huán)境下，也能進行實時視頻拍攝（常規(guī)閱讀所需照度大約在300~400lux）。
至于AI超分辨率算法，更是vivo在移動端的首次實現(xiàn)，讓V1+跳出了大伙兒對它“影像處理”的認知。
嗯，現(xiàn)在壓力來到了手游廠商這邊（手動狗頭）。
那么問題來了，V1+芯片究竟是怎么做到上述功能的？
一方面，V1+針對自身架構進行了優(yōu)化，例如在芯片上集成了一塊SRAM，用于緩解存儲墻、降低訪存功耗，進一步提升能效；
另一方面，V1+芯片這次并非“單打獨斗”，而是和天璣9000芯片進行了雙芯聯(lián)合調試。
這次調試耗時近350天，團隊規(guī)模達到300人以上，整個過程一共產生了30多項專利。
還把影像玩出了“排列組合”
跳出芯片來看，vivo這次還自研了更多影像算法，并將它們“排列組合”出更多好玩的功能。
單就人像來看，vivo表示“每張人像照片，背后都隱藏了數(shù)十個復雜算法”。
幾個人的美顏只是小打小鬧，vivo甚至直接針對多人場景搞了個“質感人像合影”功能，最高支持同時處理30個人。
也就是說，AI人臉超清、立體膚色及膚質優(yōu)化多個算法能夠針對最高30個人同時運行，算法性能（執(zhí)行時間、占用內存等）相比優(yōu)化前最高提升了4倍。
這樣一來，即使站在合影邊緣也能看清自己的臉了。
人像以外，vivo還搞出了“地平線照片”等功能，將實時位置檢測、防抖修正補償?shù)人惴ㄍ瑫r運行。這樣拍完不用修，直接就能發(fā)朋友圈（狗頭）：
除了這些讓照片“更好看”的算法，vivo這次還借助蔡司自然色彩2.0進一步提升了攝影照片的“準確性”，其中亮度準確性能提升16%，白平衡最高提升了12%。
基于AI感知引擎，vivo自研了“智能白加黑減”和“智能自動白平衡”技術，前者目的是得到曝光合適的照片，后者則降低光源對物體顏色的影響，而這些原本都是靠攝影“老法師”們手動進行調整的。
綜上從性能和功能兩方面來看，vivo并不打算如業(yè)界多數(shù)手機影像內卷的那樣，以參數(shù)對標“專業(yè)相機”。
畢竟受硬件等因素所限，參數(shù)上對標專業(yè)相機，也絕非手機相機的“專長”，相比之下，手機影像更應該思考的是如何打出差異化路線。
事實上，相比專業(yè)相機，手機同時作為影像的競技者（拍照）和裁判者（顯示），理應在顯示上具有更大的話語權。
vivo察覺到了這一點，除了提升影像性能以外，也一并提升了屏幕顯示的效果。
將拍照和顯示色域擴展至Display P3色域，色彩范圍擴充25%；安卓首發(fā)自研的XDR Photo技術，讓照片高亮區(qū)域亮度最高可提升350%，真正將影像的效果在屏幕上展示出來。
沒錯，在鏡頭和算法之外，vivo連屏幕也主動卷起來了，可謂將手機影像所有可能發(fā)力的空間，都抄起來卷了一遍。
放到整個國產旗艦機發(fā)展歷程中來看，這樣的拼命“內卷”并不罕見。
留給國產旗艦的空間不多了
回顧整個手機技術發(fā)展的過程，“內卷”似乎是一種非常普遍的現(xiàn)象。
它并非只在影像中出現(xiàn)，而是遍布手機身上的每一塊“技術域”。
從手機硬件性能開始，內存從幾十MB進化到4GB再到8GB，芯片核數(shù)越疊越多；到后來的屏幕顯示，從1080p到2k到現(xiàn)在部分廠商研發(fā)的4k，清晰度越來越高；再到各種創(chuàng)新的功能……
幾乎每當一片新領域被開發(fā)出來，廠商們就會一擁而上，爭相研發(fā)相關技術，唯恐被落下。
這也已經成為手機廠商們“心照不宣”的一種默認發(fā)展方向：只要新技術跟進得夠及時，參數(shù)夠格，料堆得夠多，看上去就是一款“業(yè)界頂流”的手機，而用戶就會為此買賬。
可以感知到，每個技術一旦探近成熟的極點，“內卷”的速度就會被加快，而影像“內卷”不過是這一過程具象化的體現(xiàn)。
一方面，新技術研發(fā)成本高，試錯機會少，一旦大力投入研發(fā)，后果很可能是有投入沒產出，一如當初堆疊小像素但最后銷聲匿跡的影像傳感器路徑。
另一方面，相比自研手機技術，市場、銷量等因素往往更能成為手機廠商關注的焦點。
相比自研更多技術、或是將更多專利握在手中，不斷基于成熟的、經過市場驗證的技術推出新機、或是打價格戰(zhàn)，顯然是更穩(wěn)妥的方法。
然而，這樣“內卷”的結果也導致手機并不具備真正的競爭力，一旦市場發(fā)生變動就可能被落下。
如去年受缺芯等因素影響，去年年末，蘋果就成功以23%的市場份額，占據(jù)中國手機市場榜首。
這種情況下，留給國產旗艦作出改變的空間不多了。
是繼續(xù)保持參數(shù)的“內卷”，還是想辦法在已有的技術上推陳出新，廠商們各自有各自的思路：例如推出旗艦子品牌，或是將中低端機型和高端區(qū)隔開來，再或是分割出一塊業(yè)務專門主打旗艦……
但無論怎樣基于品牌的改變，只要不真正推出新技術，本質的路徑都還是一樣：回歸內卷。
這種情況下，以用戶需求為導向，主動自研新技術，或許是擺脫內卷的唯一出路。
回顧vivo X系列的發(fā)展歷程，這種靠自研沖出“內卷”的案例并不罕見：Hi-Fi音樂手機、2K屏幕、雙2.5D弧面玻璃屏、前置柔光雙攝、屏下指紋、微云臺防抖鏡頭……
可以看到的是，他們倒也不是為了行業(yè)卷而卷。
因為相比堆疊硬件和參數(shù)在手機市場上卷出的一條“血路”，vivo的選擇更像是一場廠商與用戶雙贏的結果——廠商自卷，用戶受益。
畢竟任何一件產品，最終需求在用戶。產品好不好，用戶一用就知道，如此形成的用戶與廠商之間的閉環(huán)，這個行業(yè)才能健康可持續(xù)地發(fā)展。
如今這塊即將用在X80系列上的V1+芯片，或許也是vivo在打破“內卷”上再次嘗試的新路徑。
