何止 Meta x Oakley,小米等十家 AI 拍攝眼鏡上新!下半年好看!

Google Project Tango 與高通合作,讓位置跟蹤離消費級手機更近了一步
Tango API 將可以在高通驍龍的 SoC 上完整運行
Project Tango 對大家來說可能已經不陌生了,過去的幾年 Google 一直致力于在消費者應用中加入位置追蹤(positional tracking)和定位(localization)。雖然早期的平板內置系統級芯片 Nvidia Tegra,但是無論在硬件或者是軟件方面,仍存在各種各樣的問題。Tegra Soc 的架構并不是真正為移動端 Tango 設備而設計,許多需要在 GPU 和 CPU 中處理的任務被卸載到了例如 ST-M’s Cortex M3 MCUs(用來處理傳感器和時間戳)的專用協處理器、計算機視覺加速器 Movidius VPU,以及用來提升 BOM(字節順序標記)和線路板區域要求(board area requirements)的其他芯片上。
在此前的 SIGGRAPH 大會上,Google 公布了 Project Tango 最近的進展情況,Google I/O 目前而言,優化了 Tango 在傳感器融合(sensor fusion)、手勢追蹤、建模、材質和動作追蹤等方面的表現。任何嘗試過在把智能手機當做慣性導航(inertial navigation)設備的人都知道,為了避免堆積產生的誤差,設備需要不斷更新來自外部信息的位置,這種矯正是必需的。
Google Tango 為了避免這個問題做了很多層面的工作,在最高層面,傳感器融合被用來聯合攝像機數據和慣性元件數據來消除噪點。如果遍歷所有的攝像機,會發現這種深度感知(depth sensing)的聯合有利于映射(mapping)和增強現實的應用的可視化(visualizing)環境。傳統的相機和魚眼相機的結合可以利用平行視差來進行畸變矯正和完整性檢測,但是如果在手機上嘗試過這種雙鏡頭的解決方法,這種距離測量是不夠精確的。谷歌的研究人員表示在沒有錨點的情況下,系統會在每 100 米移動后產生 1 米的誤差偏移,這種不小的誤差會導致最終無法回到原始區域。然而,Tango 可以重新定位,消除這種累積錯誤。
通過聯想 Phab 2 Pro,Tango 最終走到了面向消費者的道路上。谷歌在秋季發布的 Android Nougat 系統中集成了 Tango 的開源框架。當然,軟件只是組成部分之一,如果考慮到之前提到的深度感知相機、魚眼鏡頭、和協處理器等等問題,Tango 的支持性依然難以評價。
為了使 Tango 不縮減電池容量和不減少供電效率,高通與谷歌合作使 Tango API 在驍龍的 SoC 上能夠完整運行,而不是通過專用協處理器。Tango 完全發揮了驍龍的 SoC 同步時鐘這一特性,從而使在之前提到的傳感器融合得以實現。除此之外,運算處理是在驍龍 Snapdragon 652/820 ISP 處理器和 Hexagon DSP 信號處理器上進行的,和低功率島(LPI)集成傳感器協處理器一樣。其最終結果是 Tango API 可以在零占用 GPU 和低占用 CPU 的情況下運行,從而使調用Tango API 的程序可以在沒有處理器限制的情況下運行更復雜的程序。高通提到,Tango 在 S652 和 S820 上的CPU 周期占用低于 10%,在 DSP 上低于 35%。而在 Hexagon Vector Extensions 等的使用上,還能進一步降低 CPU 使用率,目前大部分的 CPU 的使用在 NEON 向量單元(vector units)上。

如上所示就是高通所展示的在聯想 Phab2 Pro 手機上運行的一些預加載的手機程序。例如一款 Lowe's 公司(美國知名家具零售商)的家裝程序,它能夠使用戶在實地現場預覽家的場景,成像效果非常細致,并且支持家具尺寸測量。具體來說,該設備可以區分墻面和地板,所以用戶不會被卡進墻壁內部。家具靜止擺放效果良好,不會出現抖動,運動時虛擬物體成像非常快速清晰流暢,確實是令人驚奇,總的說來很難找到非常明顯的問題。
目前 Project Tango 仍然存在一些 Bug 需要解決,一些功能需要潤色和添加,但基本上 Tango API 已經具備基礎功能可被用戶使用了。6DOF 移動的的環境追蹤缺失會影響到移動 VR 設備,但這對于使用 Tango 的高端設備來說,僅僅啟動兩個額外的攝像機的需求并不是那么難以實現。但是由于傳感器的大小,相對較于智能手機來說,Tango 更可能在平板手機(5.3 到 6.9 英寸)上首先得到應用。
本文由 布格VR 供稿