小米聲學語音技術發展已久，也已落地小米多款產品。近日，小米宣布，小米的聲學語音技術已經實現全面自研，多項重磅技術首次落地，官方稱「在自研部分領域持續領先，聲學語音技術已迎來全新時代」。

不久前，小米發布了小愛音箱 Art，首次采用金屬機身設計，作為小米推出的第 9 款智能音箱，背后的聲學語音技術也重磅升級，搭載第三代小愛同學，支持情感化語音交互、全屋播放及就近喚醒等。

語音交互：實現「情感化」，業內首家情感化 TTS

對于智能設備而言，實現情感化語音交互是一項挑戰。

「情感」本身就是主觀的、多樣的感受，一種情感可以有多種呈現形式，更適合人與人的面對面對話。情感化語音交互對技術要求較高，要技術方、數據方、質檢方等多方對情感濃度、情感詮釋方式等標準達成共識，將較主觀的情感音素統一化、標準化。

隨著人工智能技術的發展，在實現人機對話的基礎上，各大廠商都在情感化語音交互的領域探索。為了讓機器加入情感元素，小米 AI 實驗室在「情感數據量有限」的前提下，通過不同聲學模型、不同聲碼器組合最終上線自然、擬人效果的情感 TTS（Text to speech，人工語音合成），成為業內首家情感化 TTS 大規模落地的企業。

通過小米 AI 實驗室的不斷深耕，此次小米小愛同學 Art 全面支持情感化語音交互，基于有限但類型不同的情感音頻數據（如開心、關心、害羞、驚訝等），通過不同技術訓練并迭代聲學模型，最終支持情感 TTS 合成并實現「小愛同學」音色情感化、擬人化。

未來，小米語音將升級此技術——支持情感 TTS 實時合成。

從下圖中可以看出，在大數據集的預訓練模型基礎上，利用目標說話人的中性情感數據對網絡進行微調，得到目標說話人的中性情感模型；在此基礎上用帶情感的小批量數據對模型進一步微調，最終得到不同情感的模型，最終實現情感合成。

在國內語音助手行業中，小米首次實現情感化 TTS 的大規模落地，未來將打造情感更加豐富的「小愛同學」，為用戶提供多元化的語音交互體驗，為 IoT 設備增加更豐富更立體更逼真的語音交互體驗。

AIoT 放音技術：首次實現一句話全屋同步播放相同音頻功能

小米小愛音箱 Art，是首款可以實現語音支持全屋播放的設備。用戶直接對小愛同學說「全屋播放 XXX」，無需提前在 App 端進行手動設置，即可實現一句話語音交互，為用戶提供了更便捷的使用方式。

要實現這一功能，音箱需要具備 AIoT 放音的技術。小米 AIoT 放音的自研技術在攻克無線網絡抖動、晶振時鐘漂移以及弱網下數據不可達等一系列技術難題后，將不同音箱播放聲音的同步優化到微秒級別，同時還實現了在不同型號的音箱之間的數據同步，提供更細膩的音質和寬廣的聲像。

由這張圖可見，立體聲支持 APP 創建組網，才能進行語音指令和 APP 操作播放，全屋播放同時支持語音指令和 APP 創建組網。

立體聲功能同時支持語音指令和 app 操作播放，云端音頻流下發至音箱 A，音箱 A 將立體聲分離為左右聲道，音箱 A 自己播放左聲道音頻并將右聲道音頻流下發給音箱 B，由 B 音箱播放右聲道，精準的同步技術保證音箱A和B同時播放立體聲的左右聲道音頻。全屋播放功能支持語音指令和 app 創建組網，音頻流下發至音箱 C，音箱 C 將音頻流混合為單聲道信號并下發給組內其他的音箱設備同時播放，不區分聲道，可支持多個設備。

就近喚醒：業內首次上線，跨設備關閉鬧鐘功能

早在 2018 年，小米音箱系列就上線了就近喚醒功能。值得一提的是，此次小米小愛音箱 Ar t就近喚醒全新升級，可支持跨設備關閉鬧鐘。遠處的音箱鬧鐘響了，喚醒近處的音箱可以直接關閉遠處的鬧鐘。此功能在業內首次上線，小米小愛音箱 Art 也是首款支持該功能的產品。

說到就近喚醒，小米早在 2018 年就上線這一功能，截止 2020 年 4 月 28 日，分布式就近喚醒已為多設備用戶累計避免約 6.82 億次設備同時喚醒，準確率達到 98%。近期首發上線了端云多維度結合的就近喚醒綜合決策策略，深入加強多設備狀態信息聯動，智能判決空間信息，進一步提升了家庭復雜網絡環境的兼容性，同時做到了多設備響應的唯一執行，大幅提升用戶體驗。

未來，小米將專注于家居復雜場景應用、智能聲學感知和多傳感融合。在復雜的家庭結構環境中，保證算法的可用性，讓每個設備主動感知所處的不同環境，根據環境完成算法自適應，將數據結果取長補短，相互融合，實現多維度智能感知。

兩麥陣列喚醒：兼顧低功耗與高性能，高效降噪，獲得干凈人聲

小米小愛音箱 Art 同步支持兩麥陣列喚醒技術。在麥克風陣列方面，小米采用兩麥盲源分離降噪前端，通過盲源分離、降噪、回聲消除等技術，在多聲源的嘈雜環境、音箱自身播放音樂時，都能結合語音增強技術，消除噪音的強干擾，獲得干凈、準確的人聲音頻。

在喚醒方面，為了兼顧低功耗與高性能，自研語音喚醒算法采用雙級喚醒策略。

低功耗待機喚醒詞檢測模型，利用子采樣與共享隱含層等技術，減少模型資源消耗的同時保證召回率在一個較高的水平。高性能誤喚醒檢測模型，采用粗粒度建模單元，結合局部信息與長時上下文信息，高效抑制誤喚醒。通過從海量數據中自動挖掘高區分度訓練樣本，再經過數據擴充技術，提高喚醒模型在低信噪比與小音量場景下的魯棒性。

據小米官方數據，現在，小米 IoT 平臺連接的智能硬件數已達到 2.5 億臺，音箱出貨量已經達到 2200 萬臺。在這么大的用戶體量下，如何讓基礎體驗持續提升，且提升產品在 AI 體驗上的創新性，對自研 AI 團隊來說是非常重要的使命。

編輯：左一 / 深圳灣

資訊來源：小米