国产亲妺妺乱的性视频播放,9797WWW成人影片,99精品国产在热久久无毒不卡 ,西方37大但人文艺术人山踪林

Uploads%2farticles%2f16380%2fapple openelm on device ai

蘋(píng)果、微軟雙發(fā)小語(yǔ)言模型,iPhone、PC 端側(cè) AI 要來(lái)了?

Build、WWDC 兩場(chǎng)技術(shù)大會(huì),或見(jiàn)分曉。

在去年年中和年末,微軟分別推出了 Phi-1、Phi-2 輕量級(jí)語(yǔ)言模型,這類(lèi)模型主要為簡(jiǎn)單任務(wù)處理設(shè)計(jì),具有使用簡(jiǎn)單、尺寸小等特性。

4 月 23 日,微軟又帶來(lái)了新一代 Phi-3 系列。

此次發(fā)布的 Phi-3 系列,有 Phi-3-mini(3.8B)、Phi-3-small(7B)、Phi-3-medium(14B)不同版本。

微軟強(qiáng)調(diào),Phi-3 系列雖然訓(xùn)練參數(shù)較少,但在語(yǔ)言理解、推理、數(shù)學(xué)等能力上,不弱于更大尺寸模型。

據(jù)微軟公布的數(shù)據(jù),Phi-3-mini 綜合能力,超過(guò)了 Google Gemma-7B、Mistral-7B,而 Phi-3-small 與 Phi-3-medium,甚至超過(guò)了 Mixtral 8x7B、Claude-3 Sonnet 與 GPT-3.5。

Screenshot-2024-04-23-102615

△ 圖源:微軟

Phi-3-mini 則是該系列率先發(fā)布的版本,Phi-3-small、Phi-3-medium 也將在不久后開(kāi)放。

Phi-3-mini 具有小巧、易用、跨平臺(tái)的特點(diǎn),38 億參數(shù)語(yǔ)言模型,可以適用于端側(cè)運(yùn)行,如筆電、手機(jī)。

此外,Phi-3-mini 經(jīng)過(guò)微軟推理框架 ONNX Runtime 優(yōu)化,可支持 DirectML,對(duì) CPU、GPU、移動(dòng)硬件的跨平臺(tái)支持。并且,Phi-3-mini 也為 Nvidia GPU 做了優(yōu)化,可作為 Nvidia NIM 推理微服務(wù),以標(biāo)準(zhǔn) API 執(zhí)行。

Phi-3-mini 有兩種上下文長(zhǎng)度變體 4K 和 128K token,經(jīng)過(guò)訓(xùn)練,可以遵循不同類(lèi)型的指令,理解用戶的意圖。

The-Phi-3-small-language-models-with-big-potential-1

△ 圖源:微軟

微軟表示,Phi-3-mini 還是同尺寸模型中,首個(gè)能支持 128K token 的 SLM。

目前 Phi-3-mini 已在 Microsoft Azure AI Studio、Hugging Face 和 輕量框架 Ollama 上使用。

Phi-3-mini-4k-instruct-gguf

△ 圖源:huggingface

印度農(nóng)業(yè)集團(tuán) ITC 以 Copilot 開(kāi)發(fā)的 AI 應(yīng)用,將部署 Phi-3,更好地服務(wù)當(dāng)?shù)剞r(nóng)民。

而 AI PC 顯然會(huì)是 Phi-3 施展的重要戰(zhàn)場(chǎng),下月的 Build 大會(huì)上,或許我們就將能見(jiàn)到新東西。

另一邊,蘋(píng)果最近在 AI 開(kāi)源平臺(tái) Hugging Face 上發(fā)布了開(kāi)源訓(xùn)練推理語(yǔ)言模型 OpenELM。

OpenELM

△ 圖源:huggingface

OpenELM 也定位為小語(yǔ)言模型,共有 4 個(gè)尺寸:2.7 億、4.5 億、11 億和 30 億個(gè)參數(shù),提供生成文本、代碼、翻譯、總結(jié)摘要等功能。

雖然最小的參數(shù)只有 2.7 億,但蘋(píng)果使用了包括 RefinedWeb、PILE、RedPajama 子集和 Dolma v1.6 子集在內(nèi)的公共資料集,一共約 1.8 萬(wàn)億 token 資料進(jìn)行了預(yù)訓(xùn)練 ,采用了CoreNet 作為訓(xùn)練框架,并使用了 Adam 優(yōu)化演算法進(jìn)行了 35 萬(wàn)次迭代訓(xùn)練。

訓(xùn)練參數(shù)小,但性能可能并不弱。

其中公布的數(shù)據(jù)顯示,11 億參數(shù)的 OpenELM 比 12 億參數(shù)的 OLMo 模型的準(zhǔn)確率高出 2.36%,而使用的預(yù)訓(xùn)練資料卻只有 OLMo 的一半。

OpenELM-bench

△ 圖源:buzzbyte

同時(shí),蘋(píng)果還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫(kù)的編碼,以方便其在蘋(píng)果設(shè)備上推理和調(diào)整。

蘋(píng)果開(kāi)發(fā)團(tuán)隊(duì)表示:

此次 OpenELM 發(fā)布旨在增強(qiáng)和鞏固開(kāi)放社區(qū),為未來(lái)工作鋪平道路。

早在今年 2 月,庫(kù)克就曾表示,蘋(píng)果生成式 AI 功能將于「今年稍后」推出。而有消息稱(chēng),將在 6 月舉辦的 WWDC 24 上發(fā)布的 iOS 18,有可能成為 iOS 史上 「最大」更新,9 月還將推出首款 AI iPhone。

如今,蘋(píng)果似乎也在 AI 手機(jī)的尾聲,追趕上了行業(yè)腳步。


主筆:達(dá)達(dá) / 深圳灣

編輯:陳述 / 深圳灣

題圖來(lái)源:buzzbyte

>>
Back to top btn
主站蜘蛛池模板: 托里县| 兴业县| 开阳县| 襄汾县| 绥宁县| 乐昌市| 蒙自县| 通渭县| 浪卡子县| 拉萨市| 赫章县| 大宁县| 白山市| 太原市| 铁岭县| 丹东市| 武威市| 高台县| 梅州市| 金乡县| 巨野县| 余江县| 岱山县| 通道| 蓝田县| 榆中县| 义马市| 应城市| 全南县| 丰原市| 当雄县| 宝应县| 盐山县| 太白县| 光泽县| 杭锦后旗| 刚察县| 渝北区| 西城区| 景德镇市| 南投县|