近日，中科院物聯網研究發展中心發布了一份《智能音箱的智能技術解析及其成熟度測評》，對國內流行的一些智能音箱的技術成熟度，進行了一次綜合性的對比測評。

中科院物聯網研究發展中心挑選了 8 款主流智能音箱設備，包括國內互聯網公司的領頭羊，BAT（百度、阿里、騰訊），和以互聯網模式進行硬件銷售的小米所主推的智能音箱產品，具體型號分別是：

• 無屏音箱：天貓精靈 X1、小米 AI 音箱、騰訊智能聽聽 9420 智能音箱 TS-T1、小度智能音箱 Play。
• 有屏音箱：小米小愛觸屏音箱、小度在家 1S、天貓精靈 CC、騰訊叮當智能屏。（點擊鏈接，查看深圳灣對每一款智能音箱的測評報道）

它們分別以其獨到的技術特點展示在不同領域的各自優勢：小米的智能家居生態可以隨時讓用戶通過音箱控制米家設備；阿里背后坐擁的海量電商數據配合智能音箱設備讓網上購物擁有了全新的體驗；而百度背后則擁有著全國最大、最強的搜索引擎系統和人工智能技術作為其堅實后盾。

中科院選擇了兩處測試實驗場地，知行大廈的小型會議室、中科院物聯網研究發展中心的小型會議室。并邀請中國科學院微電子所、自動化所、聲學所的志愿者全程進行測試和監督。執行測試的志愿者都盡量使用標準普通話進行測試，語速中等，且只記錄最多嘗試 3 次之后的效果。共計測試了 8240 次對話。

評測標準

中科院為 3 大智能技術量身定制了 3 個評測標準。語音識別技術（ASR）對應的測試標準為「準確度」，自然語言理解（NLU）對應的測試標準為「召回率」，對話管理（DM）對應的測試標準為「滿意度」。具體而言：

識別準確度：語音識別正確與否，就是評估評測者用目標集合直接在設備上發起語音需求，通過設備返回的識別結果判斷，語音識別是否正確。對單個 Query（問詢）而言，完全正確 1 分，部分正確 0.5 分，完全錯誤 0 分。為了避免不同評測者語音發音帶來的偏差，要求同一 Query 由同一評測者評測 4 個音箱，每個音箱最多可以嘗試 3 次，均以標準普通話來請求。

理解召回率：即判斷用戶表達的意圖，與設備返回的意圖是否一致。對單個 Query 而言，一致為 1，不一致為 0。

體驗滿足度：將體驗滿足度分檔定義為如下 4 檔：

• 1分：對用戶需求整體滿足度較好
• 0.5 分：部分能滿足用戶需求，但是有優化空間
• 0 分：完全無法滿足用戶需求
  
• -1 分：不僅無法滿足需求，還對用戶帶來了負向體驗
  

對這三個測評標準來說，首先是精確度，主要是評價測試人員對設備發出命令后，設備是否識別出了用戶說的內容。

其次是召回率，針對測試人員詢問的問題，設備是否能做出正確的反應，例如：「播放王菲的《紅豆》」，當音箱做出播放動作或者提示沒有找到王菲的《紅豆》可以認為是聽懂指令，召回率均的 1 分。

同時，成功播放的滿足度也得 1 分，提示沒找到的滿足度給 0 分。但是如果沒有做出提醒直接播放其他人的《紅豆》或者未播放，滿足度記 0 分。對于確實是播放的王菲演唱的《紅豆》，但是，音頻質量不好的情況，則將滿足度記錄為 0.5 分。

對于外接設備的問題，如果回答暫時不支持，召回率和滿足度都直接記錄為 0 分，回答聽不懂會進行一次重復，如果 3 次都聽不懂則將召回率和滿足度均記為 0 分，根據這種評分細則進行測試和打分，測試人員輪流測試并打分，最后統計所有分數。

評測結果

中國科學院志愿者評測結果：

1. 測評 query 分布情況具體如下：

無屏音箱的測評 query 主要分布前三類的分別是，音頻類 58.44%，設備控制類 14.93%，信息查詢類 10.24%。

有屏音箱的測評 query 主要分布前三類的分別是，視頻播放類 32.34%，音頻類 23.89%，設備控制類 23.79%。

2. 整體評測數據具體如下：

聽清：

在以 ASR 識別率為主要指標的「聽清」環節，不論是無屏音箱還是有屏音箱，4 家主要廠商沒有明顯差距。有屏音箱的 ASR 識別率整體優于無屏音箱。

從無屏音箱維度看，4 家主要廠商 ASR 識別率均達到 94% 以上。其中，小度音箱識別率 98%、天貓精靈為 97%、小米小愛為 96%、騰訊音箱為 94%。

從有屏音箱維度看，4 家主要廠商 ASR 識別率均達到 96% 以上。其中，騰訊叮當、小度在家 1S 分別以 98.6%、98.5% 微微領先其他廠商。天貓 CC ASR 識別率為 96.90%，小米有屏 ASR 識別率則為 97.70%。

聽懂：

在以召回率為主要指標的「聽懂」環節，有屏音箱的召回率略高于其對應的無屏音箱。而小度系列智能音箱是唯一召回率超過 90% 的產品，天貓精靈、小米小愛的召回率也達到 70% 以上。

無屏音箱方面，小度音箱以 90.20% 的表現排名第一，天貓精靈和小米小愛的召回率分別為 87.4% 和 85.6%，騰訊音箱的召回率則為 73.1%。

有屏音箱方面，小度在家 1S 以 92.90% 的排名第一，其后緊跟天貓 CC 召回率 74.30%、小米有屏召回率 76.10%、騰訊叮當召回率 78.4%。

滿足：

在滿足用戶體驗的環節，有屏音箱的用戶滿意度表現低于其無屏音箱。其中，小度系列智能音箱在有屏與無屏音箱方面都拔得頭籌，評測者滿意度高。天貓、小米等還有一定提升空間。

無屏音箱方面，小度音箱用戶滿足率為 81.6%。天貓精靈和小米小愛的用戶滿足率為 74.2% 和 74.9%。騰訊音箱的用戶滿意度較低為 59.7%。

有屏音箱方面，小度在家 1S 的用戶滿足率達到 86.9%。天貓 CC 和小米有屏滿足率分別為 62.8% 和 67.1%。騰訊叮當的用戶滿足率達到 4 家平均水平，為 70.3%。

資訊來源：中科院物聯網研究發展中心（內容略有刪減）

編輯：森林木 / 深圳灣