Claude Opus蒸餾Qwen3.6-27B，GGUF來了，消費級顯卡輕松本地部署！

Jackrong 是老熟人了：

，Jackrong 拿出了Qwopus3.6-27B-v1-preview

Qwen +Opus，意思是拿 Claude Opus 的蒸餾數據，去調教 Qwen3.6-27B

• 訓練方式：SFT，用的是 Unsloth 訓練棧

• 數據配方：以Kassadin88/Claude-Distillation-Dataset為主，混入 GLM-5.1、Kimi-K2.5、Qwen3.5 的推理數據

• 數據規模：清洗后約12K條高質量推理樣本

• 許可證：Apache-2.0，商用友好

作者說得很坦誠：這是一個preview 預覽版，不是最終形態，更大規模的訓練還在路上

它的定位是一次方法論驗證：在 Qwen3.6-27B 上做一次克制的、干凈的 Claude 風格 SFT，看看能不能把回答風格調得更穩

作者自己給出的目標很明確：

• 更結構化的推理過程

• 回答風格更一致，不在長文里"漂移"

• 多來源蒸餾數據之間的風格對齊

• ? 為后續更大規模版本打底子

關于"數據怎么清洗"，其實是這個項目最值得琢磨的地方

Claude、GLM-5.1、Kimi-K2.5、Qwen3.5 四家模型吐出來的 CoT，風格差異巨大——有的啰嗦、有的跳步、有的愛用 Markdown 大綱、有的喜歡自言自語

作者用一個 8B 指令模型當過濾器，把風格跑偏的樣本剔掉，最后只留下 12K 條"調性統一"的數據

這個思路其實很反直覺，很多人做蒸餾數據集是越多越好，他反而在做減法

訓練這事，你吃什么就長什么樣，數據干凈比數據多重要得多

早期評測

合作者 Kyle Hessling 用 16 條 prompt 做了一輪小規模評測，場景覆蓋三類：

• Agentic 推理任務

• 生產級前端設計（這一項是 Qwen3.6 的強項領域）

• 創意 Canvas / WebGL任務

硬件是單卡RTX 5090（32GB），推理用llama.cpp跑 GGUF 量化版本，對比的基線是Qwen3.6-27B原版

下面這幾張是評測結果截圖：

完整評測報告在這里：

huggingface.co/spaces/Jackrong/qwopus36-eval

安裝與使用

這次發布的是 GGUF 倉庫，直接用llama.cpp或者任何兼容 GGUF 的推理框架（Ollama、LM Studio、KoboldCpp 等）就能跑

倉庫里目前提供的量化檔位：

量化類型

文件大小

適用場景

Q2_K

10.7 GB

極限省顯存，可能有明顯損失

Q3_K_L

24G 顯卡友好

IQ4_XS

15.2 GB

質量/體積比不錯的選擇

更高檔位

倉庫總大小 162GB，還有 Q4/Q5/Q6/Q8 等

按顯存選

llama.cpp 拉起來的基礎命令：

# 先把模型文件下到本地（以 IQ4_XS 為例）
huggingface-cli download Jackrong/Qwopus3.6-27B-v1-preview-GGUF \
  Qwopus3.6-27B-v1-preview-IQ4_XS.gguf --local-dir ./qwopus


 # 然后用 llama-server 起服務
./llama-server \
  -m ./qwopus/Qwopus3.6-27B-v1-preview-IQ4_XS.gguf \
  -c 32768 \
  --host 0.0.0.0 --port 8080

顯存參考（基于 27B 稠密模型的經驗值）：

• IQ4_XS：單張 24G 顯卡（4090/5090/3090）可以跑，上下文別開太滿

• Q2_K：16G 也能塞進去，但 27B 做到 Q2 損失不小

• 想跑 Q6/Q8 高質量檔位：建議 40G+ 或雙卡

Ollama 用戶如果想直接用，可以用ollama create基于 GGUF 文件做個本地 Modelfile

??一個提醒：Qwen3.6-27B 是帶視覺編碼器的多模態模型（Causal LM + Vision Encoder），但這次 GGUF 倉庫目前我只看到純語言權重，視覺部分在 llama.cpp 上的支持情況需要自己驗證一下，別想當然

.6

制作不易，如果這篇文章覺得對你有用，可否點個關注。給我個三連擊：點贊、轉發和在看。若可以再給我加個，謝謝你看我的文章，我們下篇再見！