Qwen3-0.6B 本地部署教學：在樹莓派上跑大型語言模型

Tue, 09 Jun 2026 14:30:00 +0800

前言

你以為跑大型語言模型（LLM）一定要有一張 expensive 的顯卡、一台配備頂級 CPU 的伺服器嗎？錯了。

阿里巴巴的 Qwen3 系列在 2025 年 4 月發表時，最引人注目的不是那個 235B 參數的 MoE 旗艦模型，而是那個只有 0.6B（6 億）參數 的迷你版本——Qwen3-0.6B。它體積小到什麼程度？量化後只有約 523 MB，連你的手機都能裝。

而這篇文章要帶你用一台樹莓派（Raspberry Pi），在本地跑起這個「麻雀雖小，五臟俱全」的語言模型。不需要雲端、不需要網路、隱私全在自己手上。

Qwen3-0.6B 是 Qwen3 系列中最輕量的稠密（Dense）模型，於 2025 年 4 月 29 日由阿里巴巴 Qwen 團隊發布，採用 Apache 2.0 授權，可自由商用。

別看它參數少，Qwen3-0.6B 經歷了從大模型（Qwen3-32B 和 Qwen3-235B-A22B）到小模型的知識蒸餾過程，继承了思考模式切換和推理能力。