地端模型 | LocalLLaMA (08/05) | 凱凱的技術筆記

More Qwen 3.8 sizes coming

Qwen 系列模型一直以來深受開源社群喜愛，這則貼文預告了 Qwen 3.8 將推出更多不同尺寸的版本，引發了廣大開發者的高度關注。大家對其在不同硬體規格下的執行效率充滿期待，這也成為了目前社群最熱門的討論焦點。

SK hynix 與 SanDisk 聯手發布了全新的高頻寬快閃記憶體（HBF）標準，旨在解決 AI 推論中常見的記憶體瓶頸問題，目標頻寬高達 3TB/s。這項硬體突破被視為提升本地大型語言模型執行效率的關鍵，吸引了許多硬體愛好者與技術專家深入探討其對未來運算架構的影響。

這篇貼文展示了 Kimi K3 完整模型在 16x GB10 叢集上運作的強大表現，並達到了每秒 20 個 token 以上的推理速度。這種高效能的展示讓社群成員對於在特定叢集環境下運行超大型模型的可行性感到振奮。

Hugging Face 的執行長公開表示中國在 AI 競賽中表現強勢，尤其是在開源模型領域佔據了主導地位。這番言論在社群中引發了激烈爭論，網友們針對開源生態、全球競爭力以及技術發展方向展開了廣泛的討論。

針對小型語言模型（SLM）開源趨勢是否正在轉向的擔憂，這篇貼文在社群內引起了廣泛迴響。用戶們對於未來是否還有更多輕量化、高品質的開源模型感到焦慮，並紛紛討論目前市場動向對開發者生態的影響。

作為許多本地 LLM 使用者的首選工具，LM Studio 近期的更新動向讓不少用戶懷疑開發團隊是否正在偏離核心功能。這篇貼文匯集了大量用戶的反饋與猜測，反映出社群對於這款熱門工具未來發展方向的極度關注。

NVIDIA 發布了具備全雙工語音對話能力的 NemotronLabs-VoiceChat-11B 模型，這項技術展示了即時語音互動的潛力。對於追求本地語音 AI 應用開發的用戶來說，這是一個極具吸引力的里程碑。

有用戶分享了關於「Mach-1 Additive」的測試心得，聲稱該模型能在體積縮小 10 倍的情況下，仍保持 Qwen 3.6 35B 模型高達 95% 的效能。這種極致的壓縮技術讓許多追求硬體效能最佳化的用戶感到驚艷，並紛紛詢問其實測細節。

inclusionAI 推出了 Ling-3.0-flash 模型，並釋出了 BF16 與官方 FP8 權重，且採用 MIT 開源授權。這項發布因其良好的模型架構與靈活的精度選擇，迅速獲得了本地模型愛好者的注意與測試。