Vision Pro的發(fā)布帶來(lái)了眾多討論，從交互層面來(lái)看，它真正的將AR/VR的首選交互從手柄轉(zhuǎn)移到手勢(shì)+眼球上面來(lái)，此前的AR、VR大部分還是通過(guò)手柄來(lái)完成交互（HoloLens除外），手勢(shì)交互是它們的第二選擇。

(資料圖片)

交互方式主要靠眼睛注視（融合手勢(shì)）的方式自然也會(huì)帶來(lái)一些疑問(wèn)，比如是否容易造成眼疲勞？圍繞這一話(huà)題，也有不少開(kāi)發(fā)者、工程師、設(shè)計(jì)師等展開(kāi)討論。

近期，前蘋(píng)果高級(jí)AI和AR設(shè)計(jì)師Bart Trzynadlowski發(fā)表了自己的看法，它在職期間負(fù)責(zé)了Vision Pro和在保密階段的AR項(xiàng)目開(kāi)發(fā)工作，雖然不能泄密，但它公開(kāi)資料中向我們帶來(lái)更多解讀，包括技術(shù)、UI、UX等多個(gè)方面。

1. 眼球追蹤交互的難點(diǎn)

為什么眼球追蹤不能轉(zhuǎn)換成精準(zhǔn)的輸入？這就要說(shuō)到復(fù)雜的人眼運(yùn)動(dòng)特性。人眼除了主動(dòng)移動(dòng)外，還會(huì)存在一些細(xì)微的被動(dòng)運(yùn)動(dòng)，如果這些微動(dòng)作被識(shí)別為意圖，那么眼球追蹤結(jié)果很難準(zhǔn)確。

因此，眼球追蹤系統(tǒng)存在一種叫“Midas Touch”的難題，即人眼常見(jiàn)的眼跳、眨眼等無(wú)意的微動(dòng)作會(huì)在交互中產(chǎn)生誤操作，就像是傳說(shuō)中的Midas一樣，手指點(diǎn)到的任何東西都會(huì)變成金子。如果眼球交互的錯(cuò)誤率高，那么體驗(yàn)感也不會(huì)理想。

此前，Unity高級(jí)研發(fā)工程師Eric Pvncher曾指出，此前的XR頭顯不廣泛使用眼球輸入，原因是很難做到精準(zhǔn)，而且過(guò)度使用人眼會(huì)產(chǎn)生認(rèn)知負(fù)擔(dān)。比如在一個(gè)用注視點(diǎn)控制光標(biāo)繪畫(huà)的demo中，可以明顯看到眼球輸入的筆跡是抖動(dòng)的，不能很準(zhǔn)確的控制光標(biāo)。

換句話(huà)說(shuō)，現(xiàn)階段眼球輸入并不能達(dá)到鼠標(biāo)點(diǎn)擊的精準(zhǔn)性和靈敏性，因此在交互設(shè)計(jì)上，不適合直接借鑒鼠標(biāo)移動(dòng)光標(biāo)的方式。更重要的是，相比于手動(dòng)操控鼠標(biāo)，用頻繁轉(zhuǎn)動(dòng)眼球移動(dòng)光標(biāo)也會(huì)對(duì)視力損耗不小。

2. 硬件的改善優(yōu)化

為了優(yōu)化眼球交互/輸入，蘋(píng)果從硬件、UI、交互方式等多方面都做出了努力。

硬件方面，AVP的眼球追蹤模組（IR相機(jī)、LED光源）位于透鏡之下，可以更好更全面的捕捉人眼的動(dòng)作。而Quest Pro則不同，它的IR相機(jī)和LED位于透鏡外側(cè)，更靠近人眼。

3. 系統(tǒng)和軟件的優(yōu)化

在近眼顯示設(shè)備中，眼舒適是個(gè)永恒的話(huà)題，無(wú)論是否融合眼球追蹤技術(shù)，關(guān)于顯示也同樣如此。

而基于眼球追蹤的交互必然會(huì)造成眼疲勞，這點(diǎn)毋庸置疑。實(shí)際上蘋(píng)果在WWDC23/10078公開(kāi)課中也明確這一點(diǎn)，同時(shí)還提到：需要在系統(tǒng)和軟件層面提供“合適的設(shè)計(jì)”，讓眼睛得到休息也是交互中重要的一點(diǎn)。

其中有幾個(gè)核心設(shè)計(jì)技巧：

1，視覺(jué)中心應(yīng)該中心，且略靠下位置（也就是視軸方向）；

2，眼睛轉(zhuǎn)動(dòng)優(yōu)先左右移動(dòng)，而不是上下或斜向轉(zhuǎn)動(dòng)；

其中，還明確提到如果眼睛大范圍轉(zhuǎn)動(dòng)是必要交互，也應(yīng)盡可能減少眼睛大范圍的轉(zhuǎn)動(dòng)，并且考慮讓眼睛能夠持續(xù)交互過(guò)程中有片刻休息的“自然斷點(diǎn)”，而不是通過(guò)給予持續(xù)的UI反饋持續(xù)吸引眼球。

作為眼球注視+手勢(shì)的融合交互帶來(lái)的好處也很明顯，就是非常直接，從多位現(xiàn)場(chǎng)體驗(yàn)的媒體來(lái)看也的確如此，普遍好評(píng)。

為進(jìn)一步提升注視點(diǎn)預(yù)測(cè)的準(zhǔn)確性，蘋(píng)果還為Vision Pro搭配了精心設(shè)計(jì)的UI，可以很好的配合現(xiàn)有的眼球追蹤技術(shù)，較為準(zhǔn)確的識(shí)別、過(guò)濾用戶(hù)意圖。比如，將可交互的元素設(shè)計(jì)的比較大，并盡量采用圓潤(rùn)的圖形，來(lái)增加注視點(diǎn)可停留的區(qū)域，從而很好的輔助眼球追蹤功能。

目前還不確定Vision Pro是否會(huì)從算法上過(guò)濾眼球運(yùn)動(dòng)數(shù)據(jù)的噪點(diǎn)（無(wú)意識(shí)的錯(cuò)誤運(yùn)動(dòng)），不過(guò)對(duì)于患有眼球震顫等視力問(wèn)題的患者，該頭顯還會(huì)提供其他輔助（無(wú)需眼球注視）的交互方式。而現(xiàn)階段，Quest Pro似乎還未提供類(lèi)似的設(shè)計(jì)（當(dāng)然它有手柄），一位眼球震顫患者表示：由于眼球運(yùn)動(dòng)頻繁，Quest Pro并不能準(zhǔn)確識(shí)別注視點(diǎn)意圖。

4. 側(cè)重識(shí)別用戶(hù)意圖

視覺(jué)是生活中最重要、最常用的人體功能之一，當(dāng)你看真實(shí)世界時(shí)，可能會(huì)不斷轉(zhuǎn)動(dòng)眼球，由于我們已經(jīng)足夠熟悉這種交互，很多時(shí)候眼球運(yùn)動(dòng)都是無(wú)意識(shí)的。而在注視點(diǎn)追蹤系統(tǒng)中，當(dāng)你主動(dòng)控制眼球運(yùn)動(dòng)，可能容易產(chǎn)生視覺(jué)疲勞。

為了讓XR頭顯的眼球交互能像現(xiàn)實(shí)生活中一樣自然，蘋(píng)果更側(cè)重于識(shí)別用戶(hù)的注視意圖，而不是鼓勵(lì)用戶(hù)看向特定的位置。

目前基于鍵鼠的PC交互實(shí)際也結(jié)合了注視動(dòng)作，當(dāng)你在2D屏幕做選擇時(shí)首先會(huì)不自覺(jué)看向目標(biāo)位置。因此，只要Vision Pro準(zhǔn)確、快速的追蹤用戶(hù)的注視意圖，理論上就可以很好的較快輸入效率，而不需要用戶(hù)有意識(shí)轉(zhuǎn)動(dòng)眼球選擇。

另一方面，針對(duì)手部不靈活的用戶(hù)，Vision Pro也可以只通過(guò)眼球動(dòng)作來(lái)輔助交互，比如持續(xù)凝視一個(gè)位置等。Bart指出，有大量研究和demo顯示，主動(dòng)眼球交互在部分情況下可以做到足夠舒適（比如停留、追隨移動(dòng)目標(biāo)、特定動(dòng)作姿態(tài)等）。

而在2017年時(shí)，一家叫Quantum Interface的公司曾展示了一種有趣的頭部交互方式，特點(diǎn)是基于頭部追蹤，你可以通過(guò)移動(dòng)頭部來(lái)瞄準(zhǔn)，或甩頭展開(kāi)選項(xiàng)。同理，眼球輸入也可以使用一些簡(jiǎn)單的姿態(tài)，比如反復(fù)掃視一個(gè)區(qū)域。

為了避免第三方App讀取注視點(diǎn)等生物信息，只有在手勢(shì)確認(rèn)時(shí)將注視點(diǎn)信息識(shí)別為交互操作，而手勢(shì)追蹤是一種系統(tǒng)級(jí)功能，因此第三方App不能直接讀取用戶(hù)實(shí)時(shí)的注視點(diǎn)方向，避免開(kāi)發(fā)者濫用眼球數(shù)據(jù)來(lái)設(shè)計(jì)交互。

也就是說(shuō)，Vision Pro的眼球追蹤功能主要用于系統(tǒng)交互和優(yōu)化，比如根據(jù)注視點(diǎn)信息可監(jiān)控人眼行為，預(yù)測(cè)大腦生物反饋，并在此基礎(chǔ)上可進(jìn)一步優(yōu)化UI等等。

Bart表示：我認(rèn)為，蘋(píng)果在眼球交互上有很深刻的思考，Vision Pro采用了一種自然、簡(jiǎn)約的眼球交互設(shè)計(jì)，相信在足夠的硬件和軟件支持下，能夠?yàn)橛脩?hù)在下意識(shí)進(jìn)行輸入，而不需要主動(dòng)付出額外努力。

關(guān)鍵詞：