DeepSeek-V4 蒸餾 Qwen3.5，只有 9B，本地能跑

　　社區蒸餾熱潮又起，這次主角是DeepSeek-V4 + Qwen3.5，最小一檔只有 9B

　　HuggingFace 用戶Jackrong放出了一整套合集：Qwen3.5-9B-DeepSeek-V4-Flash——9B 量級的小身板，跑的是 V4 的腦子

　　合集首頁：https://huggingface.co/collections/Jackrong/deepseek-v4-distill

　　蒸餾是怎么個蒸餾

　　老章之前講過蒸餾的本質，這次再用一句話總結：

　　大模型（DeepSeek-V4，萬億級 MoE） 當老師
小模型（Qwen3.5-9B Dense） 當學生
讓學生模仿老師的「思考過程」與「輸出風格」
最終拿到一個：體量小很多、能力靠近老師的模型


　　但這次蒸餾有幾個細節挺反常識，值得展開：

　　1. 數據集只有 8000 條

　　是的你沒看錯——叫Jackrong/DeepSeek-V4-Distill-8000x，名字里就寫了 8000

　　蒸餾圈里的常識是「數據越多越好」，但 Jackrong 這次反其道而行：少而精

　　模型卡里直接引用了一篇近期論文 Rethinking Generalization in Reasoning SFT (arXiv:2604.06628) 的兩個觀點：

　　高質量長 CoT 數據能讓小模型獲得跨域遷移能力

　　優化紀律：8000 條精選 + 短訓練，比海量數據更能避免「過擬合老師風格」

　　簡單說：讓學生學到老師的推理引擎，而不是只學口頭禪

　　2. 訓練棧是 Unsloth + NVIDIA DGX

　　模型卡里提到的訓練配置：

　　硬件：NVIDIA DGX

　　訓練框架：Unsloth（梯度穩定）

　　合作方：硬件工程師 Kyle Hessling（@KyleHessling1）提供算力和 post-training 測試

　　3. 老師 DeepSeek-V4 自己就很硬

　　下面這張是 DeepSeek-V4 教師模型的官方性能圖：

　　
DeepSeek-V4 教師模型性能

　　DeepSeek-V4 幾個關鍵技術點：

　　1M 長上下文

　　Hybrid Attention + DSA（DeepSeek Sparse Attention）：KV Cache 降 90%

　　Engram Memory + mHC（Manifold-constrained Hyper-connections）：把事實記憶和動態推理解耦

　　Agent-centric：原生為多步工具調用做了優化

　　老師配置這么強，蒸出來的學生才有底氣

　　評測：和 Qwen3.5-9B 原版對比

　　模型卡里給了一份 Q5_K_M 量化下的對照測試，由 Kyle Hessling 在同一臺機器、同一套評估流程下分別跑了兩個模型

　　下面這張是綜合得分對比：

　　
綜合評測報告 Agent 推理能力（蒸餾的強項）Agentic 推理對比 工具調用Tool Calling 對比 前端代碼Front-end Design 對比 評測方法說明

　　為了避免「自賣自夸」，作者把對照方法直接公開了：

　　
對照評測方法評測環境配置

　　老章看下來的結論：結構化推理、工具調用、前端代碼這三塊，蒸餾版穩吃原版——這正是教師 DeepSeek-V4 最擅長的領域

　　全格式覆蓋：隨便挑一個就能跑

　　Jackrong 一次性放出了 6 個版本，幾乎所有本地推理框架都能直接拿來用

　　版本

　　HuggingFace 鏈接

　　原始 BF16

　　全精度，可繼續微調

　　Qwen3.5-9B-DeepSeek-V4-Flash

　　GGUF

　　llama.cpp / Ollama / LM Studio 通吃

　　GGUF 版

　　MLX 4bit

　　Mac 極致省內存

　　MLX-4bit

　　MLX 6bit

　　Mac 平衡檔

　　MLX-6bit

　　MLX 8bit

　　Mac 高質量檔

　　MLX-8bit

　　MLX BF16

　　Mac 全精度

　　MLX-bf16

GGUF 倉庫

　　社區認可度可見一斑——發布幾天，GGUF版下載就到了 68k

　　MLX 4bit：M 系列 Mac 直接起飛
MLX 4bit 倉庫

　　9B + 4bit，理論上 16G 內存的 M2/M3/M4 都能暢快跑——老章手上的 Mac 已經在排隊

　　
BF16 原始權重

　　這個是給「研究黨」準備的——做繼續微調、自蒸餾、嚴肅評測都需要從原始權重出發

　　推薦用法

　　模型卡里給了一組建議參數：

　　temperature =0.7~1.0
# 嚴格代碼任務：低溫（0.3-0.7）
# 創造性推理：高溫（0.8-1.0）
top_p =0.95
# 用 ChatML 標準模板，推理效果最好
順手介紹一個數據集

　　順便介紹一份開源數據：GLM-5.1-Reasoning-1M-Cleaned

　　
地址：https://huggingface.co/datasets/Jackrong/GLM-5.1-Reasoning-1M-Cleaned

　　100 萬條從 GLM-5.1 收集清洗過的推理樣本——注意這個有意思的細節：

　　蒸餾目標是 DeepSeek-V4

　　底座模型是 Qwen3.5

　　訓練數據是 GLM-5.1 出來的

　　社區蒸餾越來越像「調雞尾酒」——每個組件都從開源生態里挑最合適的

　　雖然這次 Flash 模型只用了 8000 條 V4 蒸餾數據，但 1M 這份大數據集給后續做 SFT、做自己的蒸餾方案的人留了很多空間

　　老章的看法

　　這套合集最戳老章的幾個點：

　　1. 9B 是真·甜點尺寸

　　放在兩年前你說 9B 夠用，沒人信。但今天的 9B 蒸餾模型，常規問答、代碼、Agent 推理基本能頂過去 30B 老模型——這就是「教師→學生」蒸餾路線的紅利

　　2. 8000 條 vs 100 萬條的對照

　　用極少的高質量數據，配上短訓練周期，做出能打的小模型——這條路證明了「數據質量 >> 數據量」在蒸餾場景的價值

　　3. 全平臺覆蓋

　　GGUF + MLX 幾乎覆蓋所有本地推理棧，下載就能用，不挑顯卡不挑系統——這是給個人開發者最大的善意

　　4. 評測開放

　　Kyle Hessling 把評測方法、對照基準、原始數據都放出來了，社區可以復現——這種透明度比閉門跑分實誠得多

　　適合誰：

　　想本地跑推理模型、又不想上 32B/70B 的開發者

　　Mac 用戶（MLX 全套支持）

　　Agent / 工具調用 / 前端代碼場景

　　想做繼續微調或自蒸餾的研究者

　　不太適合：

　　嚴肅生產環境——蒸餾小模型在長文檔、超復雜多輪場景下還是會比滿血 V4 弱一截

　　期待中文創作能力跨級提升的——蒸餾更多保留邏輯能力，文風創意沒那么強

　　總結

　　DeepSeek-V4 蒸餾到 9B、6 種格式全平臺覆蓋、社區免費送、評測全公開——本地大模型的入門門檻又被踩低一截

　　老章建議：Mac 用戶先上 MLX 4bit，PC 用戶上 GGUF，機器夠強的可以拉 BF16 自己玩

　　制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！