地端模型 | LocalLLaMA (08/05)
More Qwen 3.8 sizes coming 🔥 讚數: 1280 | 📂 討論板: LocalLLaMA 🔗 原文連結: 點擊這裡 Qwen 系列模型一直以來深受開源社群喜愛,這則貼文預告了 Qwen 3.8 將推出更多不同尺寸的版本,引發了廣大開發者的高度關注。大家對其在不同硬體規格下的執行效率充滿期待,這也成為了目前社群最熱門的討論焦點。 SK hynix, In Collaboration With SanDisk, Unveils The New High Bandwidth Flash (HBF) Standard, Helping To Resolve AI Inference Bottlenecks, Targeting Up To 3TB/s Bandwidth 🔥 讚數: 430 | 📂 討論板: LocalLLaMA 🔗 原文連結: 點擊這裡 SK hynix 與 SanDisk 聯手發布了全新的高頻寬快閃記憶體(HBF)標準,旨在解決 AI 推論中常見的記憶體瓶頸問題,目標頻寬高達 3TB/s。這項硬體突破被視為提升本地大型語言模型執行效率的關鍵,吸引了許多硬體愛好者與技術專家深入探討其對未來運算架構的影響。 Kimi K3 full model running on 16x GB10 cluster at 20+tps 🔥 讚數: 375 | 📂 討論板: LocalLLaMA 🔗 原文連結: 點擊這裡 這篇貼文展示了 Kimi K3 完整模型在 16x GB10 叢集上運作的強大表現,並達到了每秒 20 個 token 以上的推理速度。這種高效能的展示讓社群成員對於在特定叢集環境下運行超大型模型的可行性感到振奮。 ...