說(shuō)起VR領(lǐng)域的前沿研究進(jìn)展，全球最火的VR設(shè)備供應(yīng)商Meta絕對(duì)是引領(lǐng)市場(chǎng)潮流的。

Meta首席執(zhí)行官馬克·扎克伯格最近幾天在接受采訪時(shí)透露了Meta在meta—universe的最新布局Meta將在10月份推出一款新的VR耳機(jī)——meta quest Pro

根據(jù)消息顯示，該頭顯最大的亮點(diǎn)是其面部和眼睛追蹤功能，可以讓虛擬數(shù)字化身進(jìn)行眼神交流硬件分析師布拉德林奇認(rèn)為，Meta Quest Pro將采用改進(jìn)的XR2處理器，與現(xiàn)有的XR2處理器相比，性能同比提升30%分析師郭明預(yù)測(cè)，Quest Pro將采用2160×2160分辨率的單目鏡面板

在采訪中，扎克伯格還談到了元宇宙社交他認(rèn)為，社交媒體的載體正從文字，圖像向更大的信息容量進(jìn)化，下一個(gè)能承載比視頻更多信息的載體是在VR領(lǐng)域

此前，扎克伯格親自推薦了自己的社交平臺(tái)Horizon Worlds，并發(fā)布了一張VR自拍雖然照片被全網(wǎng)嘲諷，但扎克伯格給《地平線世界》帶來(lái)了一波人氣

扎克伯格的VR自拍

最近Meta在元宇宙動(dòng)作頻頻今年6月，Meta的VR部門(mén)Reality Labs推出了四款VR頭戴樣機(jī)，分別展示了未來(lái)VR設(shè)備的四大關(guān)鍵技術(shù)演進(jìn)方向:高分辨率，高動(dòng)態(tài)范圍，輕薄外形，變焦技術(shù)優(yōu)化以減少眩暈感在8月份舉行的SIGGRAPH大會(huì)中，Meta的顯示系統(tǒng)開(kāi)發(fā)負(fù)責(zé)人Douglas Lanman發(fā)表了演講，為我們介紹了打破VR技術(shù)瓶頸的十大挑戰(zhàn)

在SIGGRAPH 2022大會(huì)上，外媒Auganix的記者薩姆·斯普里格體驗(yàn)了具有HDR功能的VR原型機(jī)StarburstOculus Quest 2是迄今為止Meta推出的VR一體機(jī)中的巔峰之作去年出貨量突破1000萬(wàn)臺(tái)，成為史上最暢銷(xiāo)的VR產(chǎn)品，《星爆》的峰值亮度是Quest 2的200倍

那么，Meta的元宇宙布局是怎樣的呢Meta的原型機(jī)是怎樣的體驗(yàn)Meta幾百億的研發(fā)投入到哪里去了帶著這些問(wèn)題來(lái)看看Meta在VR領(lǐng)域的最新進(jìn)展吧

1.為了探索這四個(gè)研究領(lǐng)域，Meta發(fā)布了四個(gè)原型。

今年6月，Meta Reality Labs公布了四款不同技術(shù)領(lǐng)域的VR頭顯原型。

Butterscotch探索分辨率技術(shù)，Starburst探索HDR技術(shù)，Holocake 2探索VR頭顯的輕薄外形構(gòu)建技術(shù)，Half Dome系列探索變焦技術(shù)這四款原型機(jī)分別代表了Meta在四款VR頭顯研發(fā)上的最新進(jìn)展

此前，Meta的CEO馬克·扎克伯格提出了視覺(jué)圖靈測(cè)試的概念簡(jiǎn)單來(lái)說(shuō)，視覺(jué)圖靈測(cè)試的考核標(biāo)準(zhǔn)就是虛擬圖像能不能真實(shí)，讓人分不清虛擬圖像和真實(shí)圖像扎克伯格表示，視覺(jué)圖靈測(cè)試有兩個(gè)重點(diǎn)，即照片級(jí)真實(shí)感和臨場(chǎng)感

不同VR頭顯分辨率的比較

讓圖像更真實(shí)的方法之一就是盡可能的提高圖像的分辨率為此，Meta開(kāi)發(fā)了Butterscotch原型，其特點(diǎn)是視網(wǎng)膜級(jí)分辨率

Butterscotch的PPD達(dá)到55，非常接近每1度角60像素的視網(wǎng)膜分辨率水平，分辨率是Quest 2的2.5倍Meta Reality Labs研究部DSR團(tuán)隊(duì)的光學(xué)科學(xué)家楊釗表示，Butterscotch的定制鏡頭模塊有兩個(gè)高精度玻璃鏡頭，表面質(zhì)量更高，但也更重此外，還有一個(gè)特殊的透鏡，可以衍射光線透鏡與衍射透鏡結(jié)合后，可以呈現(xiàn)清晰的圖像

星爆原型

Starburst原型的特點(diǎn)是具有高HDR功能，其背光最大亮度可達(dá)20000nit，是現(xiàn)有VR頭戴式Quest 2的200倍Meta Reality Labs團(tuán)隊(duì)開(kāi)發(fā)了Starburst，以在虛擬環(huán)境中還原完整的室內(nèi)照明，并探索用戶(hù)實(shí)現(xiàn)最佳沉浸體驗(yàn)的理想亮度

Starburst采用COB LED替代原有的LCD屏幕背光，大大提高了LCD的背光亮度，但也產(chǎn)生了更多的熱量所以Starburst還配備了風(fēng)扇和3D打印的散熱機(jī)箱但是，整個(gè)設(shè)備體積龐大，耗電量大四項(xiàng)技術(shù)中，這項(xiàng)技術(shù)是離市場(chǎng)最遠(yuǎn)的

全息照相2原型

Holocake 2原型機(jī)輕薄，可以提高VR頭顯的佩戴舒適度Holocake 2是一款PC VR設(shè)備雖然它的外形輕薄，但需要額外的空間來(lái)放置計(jì)算和電池組件，并采用了分體式設(shè)計(jì)

半穹頂發(fā)展歷史

Half Dome是一個(gè)基于Oculus Rift的VR頭戴原型，其特點(diǎn)是采用了變焦鏡頭從第三代開(kāi)始，半球型的鏡頭由機(jī)械系統(tǒng)升級(jí)為電子變焦系統(tǒng)，降低了機(jī)械噪音和振動(dòng)半穹頂3具有32個(gè)可切換的焦平面據(jù)體驗(yàn)者介紹，在通過(guò)Half Dome的動(dòng)態(tài)變焦玩《幸運(yùn)的故事》等游戲時(shí)，視野中圖像的焦點(diǎn)可以根據(jù)手柄移動(dòng)的距離而變化

02.《星爆》的峰值亮度為20000尼特，是《探索2》的200倍。

在本月舉行的計(jì)算機(jī)圖形學(xué)峰會(huì)SIGGRAPH 2022上，來(lái)自外媒Auganix的記者Sam Sprigg體驗(yàn)了具有HDR功能的VR原型機(jī)StarburstOculus Quest 2是迄今為止Meta推出的VR一體機(jī)中的巔峰之作去年出貨量突破1000萬(wàn)臺(tái)，成為史上最暢銷(xiāo)的VR產(chǎn)品，《星爆》的峰值亮度是Quest 2的200倍

在展覽現(xiàn)場(chǎng)，兩個(gè)星爆被掛在一個(gè)框架上，供參與者體驗(yàn)Starburst的重量在2.5kg左右，對(duì)于一個(gè)耳機(jī)來(lái)說(shuō)有點(diǎn)太大了薩姆·斯普里格說(shuō)，太重了你不能把它戴在頭上只能捧在臉前而且Starburst需要很大的功率來(lái)支撐它的高亮度顯示，所以固定在邊框上

架子上掛著兩張星爆圖。

星爆的亮度用尼特來(lái)衡量薩姆·斯普里格說(shuō)室內(nèi)環(huán)境亮度超過(guò)10000尼特，而《星爆》的峰值亮度是20000尼特Meta曾說(shuō)過(guò)，Quest 2的峰值亮度約為100nit，Starburst的峰值亮度是Quest 2的200倍

而20000nit的峰值也能在一定程度上解釋《星爆》的笨重高亮度也會(huì)產(chǎn)生高熱量為了散熱，Starburst配備了大型鋁制散熱器Meta的顯示系統(tǒng)研究團(tuán)隊(duì)的研究科學(xué)家內(nèi)森·松田隼表示，鋁制散熱器至少占設(shè)備重量的50%此外，設(shè)備頂部有一個(gè)大風(fēng)扇，可以吸收散熱器的熱量

《星爆》由36部分組成。

但《星爆》分辨率較低，約為2560x1620像素，略低于Quest 2可是，這是可以接受的因?yàn)椤缎潜分饕故镜氖荋DR方案，至于高分辨率，那是Butterscotch應(yīng)該探索的方向

Starburst使用彩色和單色液晶顯示器松田隼說(shuō)，這是因?yàn)閱蝹€(gè)液晶顯示器在弱光下的對(duì)比度很差，而兩個(gè)彩色液晶顯示器會(huì)吸收大部分光線，降低顯示效果因此，串聯(lián)使用彩色和單色液晶顯示器可以獲得最佳的顯示效果

為了專(zhuān)注于探索HDR技術(shù)，《星爆》在畫(huà)面的刷新率和視野上做了妥協(xié)不過(guò)，薩姆·斯普里格表示，這一妥協(xié)并沒(méi)有影響Starburst在HDR和亮度方面的表現(xiàn)

薩米格穿著星爆。

Starburst演示的第一部分是在虛擬空間中設(shè)置一個(gè)光源，然后放置一些球體來(lái)顯示反射的光源SamIgG表示，在10000nit的顯示范圍下，這和Quest 2是一樣的體驗(yàn)，并沒(méi)有什么特別之處

但是，當(dāng)亮度上升到10000尼特時(shí)，他能感覺(jué)到更明顯的亮度當(dāng)顯示10000尼特光時(shí)，演示切換到海洋日落景觀透過(guò)云層，陽(yáng)光照射在海洋的波浪上，水面波光粼粼然后，光線上升到20000nit的峰值，畫(huà)面中出現(xiàn)了一個(gè)虛擬的太陽(yáng)薩姆·斯普里格說(shuō)，他覺(jué)得自己仿佛看到了真正的太陽(yáng)，因?yàn)楣饩€太亮了最后，當(dāng)太陽(yáng)落山時(shí)，海浪發(fā)出微弱的反光這個(gè)演示令人印象深刻

放置球形測(cè)試光源。

薩姆·斯普里格說(shuō)，在《星爆》中直視20000尼特的光源可能類(lèi)似于盯著一個(gè)60瓦的燈泡但是VR里的光源離他的眼睛只有幾英寸，很近他認(rèn)為這種亮度顯示器可以給用戶(hù)帶來(lái)更真實(shí)，更身臨其境的體驗(yàn)

不過(guò)，Sam Sprigg也指出，功率，熱量和形狀是限制VR頭顯HDR技術(shù)發(fā)展的重要障礙他認(rèn)為，我們可能需要很長(zhǎng)時(shí)間才能在市場(chǎng)上出口20000單位的成熟產(chǎn)品

3.困難重重，VR頭顯面臨十大技術(shù)挑戰(zhàn)。

目前Meta雖然在VR頭顯方面取得了一定的技術(shù)進(jìn)步，但是仍然遇到了很多目前無(wú)法解決的技術(shù)瓶頸。在SIGGRAPH大會(huì)的演講中，元顯示系統(tǒng)開(kāi)發(fā)負(fù)責(zé)人道格拉斯·蘭曼為我們提供了一些參考方向——為了將VR體驗(yàn)提升到一個(gè)新的水平，目前有十個(gè)挑戰(zhàn)需要解決！

誰(shuí)能率先突破這些挑戰(zhàn)，誰(shuí)就有望在越來(lái)越激烈的元宇宙硬件入口競(jìng)爭(zhēng)中占得先機(jī)。

1.分辨率:Meta開(kāi)發(fā)Butterscotch原型以提高分辨率。

為了提高用戶(hù)的沉浸感，讓虛擬世界看起來(lái)更加真實(shí)清晰，VR頭顯必須有更高的分辨率目前VR頭顯的分辨率遠(yuǎn)遠(yuǎn)達(dá)不到人類(lèi)視覺(jué)的水平

Meta表示，他們最初的目標(biāo)是實(shí)現(xiàn)單目8K分辨率和60PPD但目前Quest 2只做到了單目2K分辨率和20PPD，離這個(gè)目標(biāo)還有一段距離

為了提高VR頭顯的分辨率，Meta開(kāi)發(fā)了Butterscotch原型，專(zhuān)注于探索分辨率在這方面，高分辨率顯示器的研發(fā)和生產(chǎn)并不是難點(diǎn)，難點(diǎn)在于如何為高分辨率顯示器配備相應(yīng)的計(jì)算能力蘭曼指出，凝視渲染和云流媒體技術(shù)可能有助于提高計(jì)算能力，但它們也非常難以開(kāi)發(fā)

以上是普通虛化處理的VR效果，以下是凝視點(diǎn)渲染技術(shù)的虛化效果。

2.視場(chǎng)角:VR頭顯的視場(chǎng)角比人眼小兩倍。

人類(lèi)的平均水平視野是200度，而目前大多數(shù)商用VR頭顯的水平視野都是100度這意味著VR頭顯的視野比我們?cè)谡鎸?shí)環(huán)境中看到的要窄此外，在垂直視角方面，VR頭戴顯示器也有提升空間

3.人體工程學(xué):VR頭顯的佩戴舒適度不夠。

目前大多數(shù)VR頭戴設(shè)備都略顯笨重比如Quest 2重量超過(guò)500g，裝備厚度8cm這樣的設(shè)備顯然不會(huì)給用戶(hù)帶來(lái)好的佩戴體驗(yàn)理想的VR設(shè)備應(yīng)該是越來(lái)越薄，用戶(hù)可以長(zhǎng)時(shí)間舒適佩戴

扁平透鏡和全息透鏡可能有助于減小頭顯的體積目前Meta的Holocake 2原型機(jī)正在探索這個(gè)方向，但還沒(méi)有發(fā)展到量產(chǎn)的水平

墨鏡是Holocake 1的原型，透明的是2016款Oculus Rift。

4.視力矯正顯示器:目前還沒(méi)有發(fā)現(xiàn)低成本的視力矯正顯示器。

比較好的VR頭顯應(yīng)該有視力矯正功能，這樣用戶(hù)就不用在VR頭顯下面戴普通眼鏡了這個(gè)問(wèn)題可以通過(guò)特殊的鏡頭配件來(lái)解決，但這并不是一個(gè)理想的解決方案最好的解決方案是頭戴顯示器自帶視力矯正功能，這樣頭戴設(shè)計(jì)者就不再需要考慮配眼鏡的問(wèn)題了

但挑戰(zhàn)是，我們?nèi)绾握业揭粋€(gè)制造成本低且沒(méi)有額外重量的解決方案。

具有視力矯正功能的鏡片配件已經(jīng)有了，但并不是理想的解決方案。

5.變焦:Meta原型半穹頂可以實(shí)現(xiàn)人眼的變焦。

在自然環(huán)境下，為了看清不同距離的畫(huà)面，人眼可以自然變焦但在VR頭顯中，由于人眼與屏幕的距離沒(méi)有變化，人眼無(wú)法變焦，也看不到遠(yuǎn)近場(chǎng)景的區(qū)別視覺(jué)會(huì)聚調(diào)節(jié)有沖突所以有時(shí)用戶(hù)會(huì)感到眼睛疲勞，甚至頭痛和嘔吐

為了解決這個(gè)問(wèn)題，Meta的研究人員開(kāi)發(fā)了一系列支持漸進(jìn)視覺(jué)的原型半穹頂Half Dome可以模擬不同的焦平面，呈現(xiàn)不同程度的模糊，從而幫助人眼在虛擬世界中調(diào)整焦距

瞳孔伴隨著物體的距離而變化。

6.眼球追蹤:很難適應(yīng)所有人的眼部狀況。

眼球跟蹤是虛擬現(xiàn)實(shí)中的一項(xiàng)關(guān)鍵技術(shù)它是許多其他重要VR技術(shù)的基礎(chǔ)，如縮放和失真校正通過(guò)這項(xiàng)技術(shù)，用戶(hù)可以在虛擬世界中與其他用戶(hù)進(jìn)行眼神交流，擁有更加真實(shí)的社交體驗(yàn)

但問(wèn)題是每個(gè)人的瞳孔形狀不一樣，眼瞼和睫毛的生長(zhǎng)也不一樣，所以目前的眼球追蹤技術(shù)并不適合所有用戶(hù)因此，藍(lán)曼團(tuán)隊(duì)將廣泛收集更多的用戶(hù)數(shù)據(jù)，以升級(jí)眼球追蹤技術(shù)，并嘗試將其適應(yīng)更多的人

瞳孔的形狀因人而異，這對(duì)眼動(dòng)追蹤技術(shù)是一個(gè)挑戰(zhàn)。

7.失真校正:Meta開(kāi)發(fā)了一個(gè)失真模擬器來(lái)加速算法迭代。

瞳孔運(yùn)動(dòng)會(huì)造成圖像失真，降低用戶(hù)的沉浸感這種現(xiàn)象在配合變焦技術(shù)使用時(shí)尤為明顯為了開(kāi)發(fā)校正算法，研究人員必須在真實(shí)的頭顯上進(jìn)行調(diào)整測(cè)試，但可能需要數(shù)周甚至數(shù)月才能制作出頭顯，這大大延遲了算法的迭代時(shí)間

為了解決這個(gè)問(wèn)題，Meta研究小組開(kāi)發(fā)了一個(gè)失真模擬器通過(guò)這個(gè)模擬器，研究人員可以在不生產(chǎn)測(cè)試頭和特殊鏡頭的情況下測(cè)試校正算法

紅光是未校正的，藍(lán)光是校正后的結(jié)果。

8.高動(dòng)態(tài)范圍:星爆原型機(jī)的峰值亮度為20000尼特。

實(shí)物和環(huán)境的亮度遠(yuǎn)高于VR頭顯為了解決這個(gè)問(wèn)題，Meta創(chuàng)造了Starburst原型《星爆》的亮度峰值為20000nit，是現(xiàn)有Quest 2的200倍

Starburst可以更真實(shí)地模擬封閉空間和夜間的光照條件，使虛擬環(huán)境看起來(lái)更真實(shí)不過(guò)目前星爆很重，耗能很大

Meta認(rèn)為HDR比分辨率和變焦對(duì)視覺(jué)現(xiàn)實(shí)的貢獻(xiàn)更大，但這項(xiàng)技術(shù)離實(shí)際應(yīng)用最遠(yuǎn)。

星爆原型特寫(xiě)

9.視覺(jué)保真:透?jìng)骷夹g(shù)尚未成熟。

更好的VR頭顯還應(yīng)該讓VR用戶(hù)與現(xiàn)實(shí)世界保持聯(lián)系VR頭顯可以記錄真實(shí)的環(huán)境信息，并在虛擬現(xiàn)實(shí)中以視頻圖像的形式顯示出來(lái)這種被稱(chēng)為透視的技術(shù)已經(jīng)在商用VR頭顯中實(shí)現(xiàn)，但質(zhì)量很差例如，Quest 2提供了黑白透視模式，而Meta即將推出的高端VR頭顯Quest Pro旨在追求更高的分辨率和彩色透視

可是，VR頭顯還沒(méi)有實(shí)現(xiàn)對(duì)物理環(huán)境的完美重建透視技術(shù)拍攝的畫(huà)面視角在空間上偏離眼睛，用戶(hù)長(zhǎng)時(shí)間使用可能會(huì)感覺(jué)不適所以Meta正在研究人工智能輔助的凝視合成，可以實(shí)時(shí)生成正確的視點(diǎn)，視覺(jué)逼真度高

此外，Meta還在研究一種反向透視功能，可以讓真實(shí)用戶(hù)看到VR用戶(hù)的眼鏡和臉，然后進(jìn)行眼神交流但目前，這項(xiàng)技術(shù)在視覺(jué)上不協(xié)調(diào)，不自然，還遠(yuǎn)遠(yuǎn)沒(méi)有為市場(chǎng)做好準(zhǔn)備

左邊是一個(gè)Oculus Rift，擋住了VR用戶(hù)的視線，右邊是一個(gè)早期的反向透視原型。

10.面部重建:Meta對(duì)虛擬化身項(xiàng)目進(jìn)行研究。

Meta希望在未來(lái)，人們可以在虛擬的環(huán)境中像在現(xiàn)實(shí)中一樣真實(shí)地相遇為此，Meta正在開(kāi)發(fā)一個(gè)名為虛擬化身的研究項(xiàng)目，致力于在虛擬環(huán)境中為人們創(chuàng)建3D數(shù)字化身

目前，VR頭顯可以實(shí)時(shí)讀取VR用戶(hù)的面部表情，并傳輸?shù)教摂M現(xiàn)實(shí)中根據(jù)消息顯示，即將推出的Quest Pro將成為Meta中第一款提供面部追蹤的設(shè)備

Quest Pro可以識(shí)別面部表情，并將其傳輸?shù)絍R設(shè)備中。

04.結(jié)論:Meta的VR技術(shù)有所突破，但仍需攻克技術(shù)難題。

蘭曼在SIGGRAPH 2022上提出了VR頭顯正在面臨的十大挑戰(zhàn)，從中可以看出Meta取得的進(jìn)步和尚未解決的問(wèn)題Meta發(fā)布了四款樣機(jī)，從分辨率，變焦，輕薄外形，HDR四個(gè)方面解決VR頭顯的問(wèn)題四種樣機(jī)各有千秋，在各自領(lǐng)域取得了初步的技術(shù)進(jìn)步此外，Meta還開(kāi)展了幫助VR頭戴式人臉重建的虛擬化身項(xiàng)目，開(kāi)發(fā)了加速算法迭代的失真模擬器

這些原型展示了Meta現(xiàn)在在VR單項(xiàng)技術(shù)領(lǐng)域所能達(dá)到的最高水平，但這些技術(shù)還遠(yuǎn)遠(yuǎn)不足以打造一個(gè)成熟的VR頭顯還有一些技術(shù)問(wèn)題Meta暫時(shí)克服不了比如VR頭顯的視場(chǎng)角比人眼窄，佩戴VR頭顯的舒適度不夠，VR頭顯的視力矯正功能尚未配備，VR頭顯的眼球追蹤技術(shù)并不適合所有人，VR頭顯的透視技術(shù)不成熟

縱觀目前Meta在VR頭顯方面的探索，可以發(fā)現(xiàn)Meta在VR頭顯探索的道路上已經(jīng)走了很長(zhǎng)一段路但是，Meta還遠(yuǎn)沒(méi)有走到這條路的盡頭目前，與VR頭顯相關(guān)的各種技術(shù)都在積極開(kāi)發(fā)中，但這些技術(shù)還遠(yuǎn)未成熟，距離投入商用還有很長(zhǎng)的路要走從這個(gè)角度來(lái)說(shuō)，VR的爆發(fā)還很遙遠(yuǎn)