何止 Meta x Oakley,小米等十家 AI 拍攝眼鏡上新!下半年好看!

干掉緩沖,MIT 新 AI 算法讓高清視頻和 VR 視頻流暢播放
以后看小電影不再緩沖。
觀看視頻時突然的卡頓和緩沖估計能逼死一批強迫癥患者,現在這樣的現象有可能會被 MIT CSAIL(計算機科學與人工智能實驗室)的研究人員們通過最新的人工智能算法改變。
通常情況下,用戶在線觀看視頻時,視頻并不是一次性傳送到用戶計算機上的,這樣會占用太多的帶寬,所以,視頻會被切割成若干個小段依次傳送。
不過,為了保證視頻傳輸的質量,主流的視頻網站會采用 ABR 編碼算法,然后再根據網絡狀況來決定視頻將以怎樣的分辨率來播放,并且設置足夠長的緩沖區。
但 ABR 編碼算法也存在著不少的問題。如果網絡傳輸速率太低,系統會降低視頻分辨率以保證流暢播放,這樣難免會造成圖像模糊或者出現馬賽克等現象。另外,如果用戶在拖動進度條時跨度太大,超出了系統預先設置好的緩沖區,視頻就會在系統重新加載完之前卡住,常在網上追劇的人對這點應該深有體會。上述兩種狀況對于大部分用戶來說都是難以接受的。

此前,卡內基梅隆大學曾經對此問題做過研究,他們開發過一個「模型預測(MPC)」系統,用于預測網絡狀態的變化和時間的關系,并依據預測結果進行優化。但該模型無法適用于流量和網絡狀態突然改變的情景。
MIT CSAIL 最新研發出的,被稱為「Pensieve」的方法改進了現有的算法,它能夠根據用戶的網絡狀況來使用不同的視頻播放方式,以實現視頻的流暢播放。
具體來講,Pensieve 不依賴于單一的模型或者算法,而是通過機器學習的方式來確定選擇播基于 ABR 的放緩存內容,還是依賴網絡傳輸速率實時播放。
研究人員經過長期的訓練和試驗發現,采用新 AI 算法后,視頻減少了 10% 到 30% 的緩沖量,同時圖像質量增加了 10% 到 25%,對于用戶使用體驗的提高相當明顯。
MIT 的研究員在一份聲明中表示,在一個月內,通過下載的視頻訓練神經網絡,Pensieve 就能實現和 MPC 一樣的分辨率質量,同時緩沖量減少 10% 到 30%。

除了將 Pensieve 用于 YouTube 這樣的視頻網站,MIT 的研究員認為,該技術在 VR 領域會有更加廣闊的應用空間。相對于普通視頻的傳輸,VR 視頻對帶寬的要求更加嚴苛。
除了前期錄制、轉碼,要使 VR 視頻穩定不受損,還要考慮傳輸速率,是否能在播放時實時搭配相應的網速。
MIT 的研究員表示:「4K 質量的虛擬現實視頻至少需要每秒數百兆比特的傳輸速率,而目前大部分的網絡速度根本無法支持,但是像 Pensieve 這樣的系統可以在 VR 視頻傳輸上有所作為,并且我相信它還會有更加廣闊的應用空間,而不局限于網絡視頻或者 VR。」
現在,該團隊正在為下周在洛杉磯舉辦的 SIGCOMM(美國計算機協會通信組專業會議)做準備。他們需要更多的數據對 Pensieve 的模型進行訓練,以實現更高質量的視頻和更快的傳輸速率。不僅如此,MIT 的研究團隊已經開始驗證 Pensieve 在 VR 視頻上應用的可行性。