国产亲妺妺乱的性视频播放,9797WWW成人影片,99精品国产在热久久无毒不卡 ,西方37大但人文艺术人山踪林

近日，地平線成功在旭日 3 中的 BPU??計算單元上，部署運行參數規模高達 14 億的大語言模型（Large Language Model , LLM）。

這不僅是業界在端側成功部署大模型的一次突破性實踐，更驗證了 BPU??對先進神經網絡算法的高效支持，為大模型在端側實現產品級應用拓展了更廣闊的想象空間。

大模型端側部署的技術實踐對加速智能化產業變革具有重要意義。

端側部署具備實時性、低時延優勢，能夠靈活支持弱網或無網等豐富場景，為終端用戶提供更流暢、穩定的交互體驗；同時端側支持信息本地化處理，可有效保護用戶數據與隱私安全；端側計算還將大幅緩解云端算力壓力，端云協同更會驅動產業降本提效，加速實現大模型技術的應用普惠。

然而，大模型端側推理部署仍面臨巨大挑戰。

區別于云端推理部署計算資源應用盡用，端側部署大模型并實現產品級應用，則需綜合考量不同應用間的計算資源分配，以及計算效率、帶寬占用與功耗等各項指標。如何在眾多約束條件下最大程度地提高大模型端側推理效率是面臨的首要技術挑戰。此外，推理過程將大量占用內存帶寬，如何在不影響推理結果的前提下減少內存訪問，降低帶寬依賴，進而減少推理耗時，則需要在軟件工程層面進行系統優化。

作為軟硬協同技術路徑的堅定踐行者，地平線通過硬件資源的最大化利用和軟件工程的極致優化，并成功在 5 TOPS 算力的邊緣計算芯片上部署高達 14 億級參數的大語言模型。

這源于旭日 3 所搭載的雙核 BPU??伯努利計算單元對神經網絡計算的原生性支持，能夠在處理大語言模型方面提供高性能、低功耗的計算處理能力。另一方面，地平線通過軟硬協同編譯，采用算子重寫、算子重排、算子融合和 KV-Cache 等技術，進一步優化了模型結構，實現推理速度的成倍提升。

從資源占用情況看，該大語言模型在旭日 3 上的應用效果表現優異，CPU 占用單核 60%、BPU 占用單核 50%，為后續其他應用預留充足的算力資源；同時在 5GB/s 內存帶寬基礎上實現了約 4~5 字/秒的生成速度，可充分滿足實時性需求；在最能體現真實效能的 FPS/Watt 指標上，該模型的運行效能相較于 LLaMA.cpp 等純 CPU 方案提升了 2.5 倍。這也意味著，旭日 3 對此大預言模型的支持性可達到產品級應用水平。

地平線現已通過 GitHub 開放該模型的推理代碼，開發者可通過 RDK X3 系列開發者套件，即刻前往「NodeHub 全開源機器人應用中心」推薦項目（https://developer.horizon.cc/nodehubdetail/181982806623334400），嘗鮮體驗大語言模型在旭日 3 上的實際運行效果，更期待各位開發者參與「星光之路」活動，一同探索大模型在旭日 3 的上層應用落地！

編輯：達達 / 深圳灣