早在今年 6 月，XR 公司 Rokid 即與游戲引擎公司 Cocos 達成戰略合作，通過技術和生態支持，全鏈路助力 XR 開發者。

而培養 XR 內容開發者，推動生態成熟，也是合作中的重要環節。

9 月 24 日，雙方首次在深圳聯合舉辦了一場集主題分享、產品體驗的開放日活動，邀請了包括 Rokid、Cocos、網易等技術生態專家，與在場的超 200 位開發者們，就行業發展趨勢、內容研發的挑戰、技術落地和生態扶持等方面進行了深度探討。

打破開發者創作「瓶頸」，XR 內容編輯器發布

隨著 XR 行業逐漸進入爆發期，應用場景不斷深入，市場也需要進一步提升內容開發效率，降低開發門檻。

Cocos XR 技術總監王慶利介紹了當前 XR 行業所普遍面臨的痛點，如：高分辨率帶來的高運行壓力、透鏡畸變、眩暈問題、定位的穩定性與實時性等。

針對這些痛點， Cocos 率先推出了 XR 內容一站式解決方案，即基于 Creator 編輯器的 XR 拓展套件，旨在降低 XR 開發技術門檻，并通過自身的高兼容性抹平不同設備與平臺之間的差異，助力優秀內容的多平臺分發與成長。

△ Cocos XR 技術總監王慶利

Cocos XR 產品經理翟昊宸認為：存量項目快速轉化、多平臺適配、網頁端快速預覽、圖形后端智能化是 Cocos CreatorXR 的四大特性優勢。

△ Cocos XR 產品經理翟昊宸

值得一提的是，Cocos CreatorXR 還全面集成了 Rokid Air 的內容開發環境，即 Cocos 開發者無需其它 SDK，就能將構建好的數字內容輕松發布到 Rokid Air上運行。

目前，基于 Cocos CreatorXR 開發的 AR 游戲《幽靈射手》XR 版已經正式登陸 Rokid Air 應用商店，全新的游戲界面和交互體驗受到了眾多用戶的歡迎，一度霸榜 Rokid Air 應用商店。

開放硬核視聽和交互技術，助開發者「躍升」

當下的 XR 生態內容仍然以輕量應用為主，但能夠支持更自然的交互體驗，更具開放性、社交屬性，能提供更多價值的 XR 應用將是必然發展趨勢。

開發者如何從輕量應用實現躍升，打造出更加精品的應用？

Rokid AR 軟件研發負責人楊劍、應用平臺產品負責人朱雷分享了 Rokid 在數字人、3D 內容創作、空間協同、視聽交互、手勢交互等方面為開發者帶來的硬核技術支持。

在朱雷看來，Rokid 更關注的是如何將真實世界與虛擬世界融合，因此在底層技術上，也更關注感知、理解、協同、展現、數字資產五個方面的能力。

圍繞這五個層面，Rokid 有著自己的思考和探索。其中，在 XR 互動技術方面，Rokid 就通過 6DoF 空間聲場、視覺感知算法、實時音視頻等方面的技術能力，助力 XR 開發者打造全新的視聽體驗。

△ Rokid 應用平臺產品負責人朱雷

在視覺方面，Rokid 推出了包括物體識別、手勢交互、視覺定位等技術的視覺感知端云一體的 PaaS 平臺。

可以通過「視覺定位+語音+手勢交互」的強強組合，支持開發者在文旅展陳、數字展廳、娛樂等方面突破物理空間限制，打造出能夠實現移步換景等更具互動體驗的應用。

目前，這一能力已被運用到釘釘在 2022 秋季釘峰會上發布的 AR 數字展廳解決方案中，并且首個企業 AR 數字展廳也已在釘釘園區展廳落地。

在聽覺方面，Rokid 自研 6DoF 空間聲場技術，采用了 HRTF 和 3D 空間處理技術，以及針對距離的 EQ 補償技術，渲染出因空間位置變化和遮擋帶來的聲音空間感的變化，為人耳帶來更真實的聽覺體驗。這一能力已集成 SDK 對外開放，支持開發者在游戲、娛樂影音等應用中打造更具沉浸感的聲音體驗。

楊劍則分享了 Rokid 自研的 YodaOS-XR 操作系統、基于 Air/Air Pro 眼鏡的 UXR SDK，以及全新升級的 Rokid 自研多人在線協同應用 MSpace，并正式對外發布 3D 內容創作平臺 MStudio，邀請開發者一同共建 MSpace 生態。

Rokid 自研的 YodaOS-XR 操作系統，涵蓋了 Rokid 硬件和軟件的能力。

系統基于傳統的 OS 作為底層，在這之上構建了較為完善的感知系統、理解系統和展現系統，包含了對應的 AI 和 AR 能力、XR 云服務以及多個服務和引擎，如百靈鳥語音服務，空間引擎和數字人引擎。

同時，也為開發者提供了大量平臺 SDK 和基礎 SDK，并支持 OpenXR 標準，可以進一步降低開發者開發門檻。

△ Rokid AR 軟件研發負責人楊劍

除了系統層的支持，楊劍表示，基于 Rokid Air/Air Pro 眼鏡等硬件設備，Rokid 還為開發者提供了 UXR SDK，支持雙目立體渲染、3DoF 的頭部追蹤，以及多模態的交互。

其中，交互方式可使用按鍵觸屏、頭控、手勢、語音、鼠標、游戲手柄、虛擬手柄等；離線語音識別則支持中/英文指令；手勢識別支持 4 種 2D 手勢類型，以及 21 個關鍵點信息，支持左右手識別，并且內置了三種虛擬手柄類型可控切換。

MSpace 集成了數字人、空間協同等技術能力，其中數字人采用實時音頻驅動，可以支持捏臉換裝；空間協同則實現了低延時多人同步，支持模型互動、數字人表情和動作與真人實時同步等。

這些能力都將通過 SDK 的方式提供給行業開發者，助力開發者突破行業技術難題，快速構建 AR 空間協同應用。MStudio 作為 3D 內容創作平臺，可以為開發者提供在線 3D 模型。

空間站計劃+開發大賽雙重賦能，打造開發者的「高光時刻」

XR 生態的構建還離不開工具方、設備方、內容平臺方以及各位開發者的共同努力，Rokid 與 Cocos 也正在通過各種方式降低開發者的開發成本、獲得更高回報。

Cocos 生態總監大表姐介紹道，在打造 XR 開發工具鏈之外，Cocos 還為開發者準備了大量教程和演示項目：比如由我們 XR 團隊基于 Cocos CreatorXR 開發的《幽靈射手》XR 版，后期也將開源給大家。

△ Cocos 生態總監大表姐

同時，網易智企 CEO 助理、游戲解決方案架構負責人沈喬治還從扶持政策、運營策略方面進行了分享。

△ 網易智企 CEO 助理、游戲解決方案架構負責人沈喬治

Rokid 生態拓展負責人冉旭則表示：Rokid 為開發者們量身打造的「若琪空間站」開發者助力計劃，將在硬件設備、算法能力、開發支持、市場推廣等方面為開發者提供助力，同時聯合多個行業頭部企業與 VC 成立 10 億人民幣規模的生態智投聯盟，對優秀的開發者直接投資，極大推動了 XR 生態發展。

△ Rokid 生態拓展負責人冉旭

在大力扶持開發者的同時，Rokid 還在前不久正式啟動首屆全球 AR 應用開發大賽。大賽將通過豐富的獎項設置、資源和商機支持等，鼓勵更多開發者基于 Rokid 的開放能力與平臺服務、Cocos 3D 引擎和聲網 RTE 服務，創造更多優秀的 XR 應用與游戲，實現技術、產品與商業創新，為全球用戶帶來更豐富、優質、新奇的 XR 體驗，進一步加速 XR 行業生態繁榮。

編輯：達達 / 深圳灣