在 $2,000 的 APU 上跑 284B MoE：DeepSeek V4 Flash 本地部署實測
今年七月，Lucebox 團隊在 AMD Ryzen AI MAX+ 395 （內部代號 Strix Halo）這顆消費級 APU 上跑起了 DeepSeek V4 Flash——一個總引數 284B、每 token 僅啟用約 13B 的 MoE 大模型。測試結果已提交至 LocalMaxxing 排行榜，在 Ryzen AI Max 395 硬體組別中排名第一。 沒有獨立顯示卡、不依賴雲端推理服務，純靠 CPU 與 Radeon 8060S GPU 共用的 128 GB LPDDR5X 記憶體，decode 速度最高跑到 32.0 tok/s（greedy decode, temperature=0）。這個數字在 LocalMaxxing 的 Strix Halo 排行榜上是第一名——第二名是 HipFire 引擎的 18.99 tok/s，Lucebox 快了約 68.5%。 ROCmFPX：把 284B 塞進 128 GB RAM DeepSeek V4 Flash 原始權重用 FP16 算約 568 GB（284B × 2 bytes），即便是 Q4_K_M 量化也要近 174 GB。一般消費級電腦根本沒地方放。Lucebox 的解法是用自訂的 ROCmFPX 混合精度量化格式，把整體位元率壓到平均 2.88 bits/parameter，最終模型檔案只剩 102.3 GB（約 95.3 GiB）。 ...