在 Mac 上微調(diào)一切大模型

聊個(gè)讓我非常興奮的項(xiàng)目——mlx-tune

一句話概括：在你的 Mac 上，用 Unsloth 的 API 微調(diào)一切

LLM、視覺模型、TTS、STT、OCR、Embedding，全都能在 Apple Silicon 上本地微調(diào)

Mac 用戶的微調(diào)困境

做大模型微調(diào)的同學(xué)應(yīng)該都有過這種體驗(yàn)：想在本地跑個(gè)小實(shí)驗(yàn)驗(yàn)證下 idea，結(jié)果發(fā)現(xiàn) Unsloth 依賴 Triton，而 Triton 不支持 Mac

于是你只剩兩條路：

1. 1. 花錢開云 GPU —— 就跑個(gè) 100 條數(shù)據(jù)的實(shí)驗(yàn)，有必要嗎？

2. 2. 用 mlx-lm 原生 API —— 但代碼和 完全不兼容，到了云上還得重寫一遍

mlx-tune（github.com/ARahim3/mlx-tune）的作者也遇到了一模一樣的問題

他的解決思路非常簡(jiǎn)單粗暴：把 MLX 包裝成 Unsloth 的 API

你在 Mac 上寫的訓(xùn)練腳本，換個(gè) import 就能直接在 CUDA 集群跑

# Unsloth (CUDA)                        # MLX-Tune (Apple Silicon)
from unsloth import FastLanguageModel   from mlx_tune import FastLanguageModel
from trl import SFTTrainer              from mlx_tune import SFTTrainer


 # 后面的代碼一模一樣！

這才是真正解決問題的設(shè)計(jì)

下面這張圖清楚展示了 mlx-tune 的工作流——本地原型驗(yàn)證，改個(gè) import 就能上云訓(xùn)練：

功能有多全？看完嚇一跳

它支持的訓(xùn)練方法比很多正經(jīng)公司的內(nèi)部工具都全：

語言模型訓(xùn)練：

• ? SFT ：基礎(chǔ)指令微調(diào)，這是最常用的

• ? DPO / ORPO / KTO / SimPO ：各種偏好學(xué)習(xí)方法全覆蓋

• ? GRPO ：DeepSeek R1 風(fēng)格的多生成 + 獎(jiǎng)勵(lì)訓(xùn)練

• ? CPT ：持續(xù)預(yù)訓(xùn)練，支持解耦學(xué)習(xí)率

多模態(tài)訓(xùn)練：

• ? Vision ：支持 Gemma 4、Qwen3.5、PaliGemma、LLaVA、Pixtral 等 VLM 微調(diào)

• ? TTS ：Orpheus、OuteTTS、Spark-TTS、Sesame/CSM、Qwen3-TTS 五個(gè) TTS 模型

• ? STT ：Whisper、Moonshine、Qwen3-ASR、NVIDIA Canary、Voxtral 五個(gè) STT 模型

• ? Embedding ：BERT、ModernBERT、Qwen3-Embedding、Harrier，支持對(duì)比學(xué)習(xí)

• ? OCR ：DeepSeek-OCR、GLM-OCR、olmOCR、Qwen-VL，內(nèi)置 CER/WER 指標(biāo)

進(jìn)階能力：

• ? MoE 微調(diào) ：支持 39+ 種 MoE 架構(gòu)，包括 Qwen3.5-35B、Mixtral、DeepSeek 系列

• ? Gemma 4 Audio ：12 層 Conformer 音頻塔，原生處理 16kHz 音頻

• ? LFM2 ：Liquid AI 的混合卷積+GQA 架構(gòu)

說真的，一個(gè)社區(qū)項(xiàng)目做到這個(gè)程度，相當(dāng)離譜

全景架構(gòu)一覽——從 API 到硬件的五層設(shè)計(jì)：

快速上手

安裝很簡(jiǎn)單，推薦用 uv：

# 標(biāo)準(zhǔn)安裝
uv pip install mlx-tune


 # 帶音頻支持
uv pip install 'mlx-tune[audio]'
brew install ffmpeg

來個(gè)最基礎(chǔ)的 SFT 微調(diào)示例：

from mlx_tune import FastLanguageModel, SFTTrainer, SFTConfig
from datasets import load_dataset

 # 加載模型（4bit 量化，省顯存）
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="mlx-community/Llama-3.2-1B-Instruct-4bit",
    max_seq_length=2048,
    load_in_4bit=True,
)

 # 加 LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_alpha=16,
)

 # 加載數(shù)據(jù)集
dataset = load_dataset("yahma/alpaca-cleaned", split="train[:100]")

 # 訓(xùn)練
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    tokenizer=tokenizer,
    args=SFTConfig(
        output_dir="outputs",
        per_device_train_batch_size=2,
        learning_rate=2e-4,
        max_steps=50,
    ),
)
trainer.train()

 # 保存：三種格式隨你選
model.save_pretrained("lora_model")           # LoRA 適配器
model.save_pretrained_merged("merged", tokenizer)  # 合并后的完整模型
model.save_pretrained_gguf("model", tokenizer)     # GGUF 格式，直接給 Ollama 用

如果你用過 Unsloth，這代碼看著是不是特別眼熟？對(duì)，就是同一套 API

視覺模型微調(diào)

VLM 微調(diào)也是同樣簡(jiǎn)潔的體驗(yàn)：

from mlx_tune import FastVisionModel, UnslothVisionDataCollator, VLMSFTTrainer
from mlx_tune.vlm import VLMSFTConfig

 model, processor = FastVisionModel.from_pretrained(
"mlx-community/Qwen3.5-0.8B-bf16",
)

 model = FastVisionModel.get_peft_model(
    model,
    finetune_vision_layers=True,    # 視覺層也微調(diào)
    finetune_language_layers=True,
    r=16, lora_alpha=16,
)

 # 訓(xùn)練（數(shù)據(jù)集格式和 Unsloth 一致）
FastVisionModel.for_training(model)
trainer = VLMSFTTrainer(
    model=model,
    tokenizer=processor,
    data_collator=UnslothVisionDataCollator(model, processor),
    train_dataset=dataset,
    args=VLMSFTConfig(max_steps=30, learning_rate=2e-4),
)
trainer.train()

Gemma 4、Qwen3.5、PaliGemma、LLaVA、Pixtral 都支持

你甚至可以用 Vision GRPO 來訓(xùn)練視覺推理能力

TTS 微調(diào)：在 Mac 上克隆聲音

這個(gè)功能我覺得特別有意思——在 Mac 上本地微調(diào) TTS 模型：

from mlx_tune import FastTTSModel, TTSSFTTrainer, TTSSFTConfig, TTSDataCollator
from datasets import load_dataset, Audio

 # 自動(dòng)檢測(cè)模型類型、編碼器和 token 格式
model, tokenizer = FastTTSModel.from_pretrained(
"mlx-community/orpheus-3b-0.1-ft-bf16"
)
model = FastTTSModel.get_peft_model(model, r=16, lora_alpha=16)

 dataset = load_dataset("MrDragonFox/Elise", split="train[:100]")
dataset = dataset.cast_column("audio", Audio(sampling_rate=24000))

 trainer = TTSSFTTrainer(
    model=model, tokenizer=tokenizer,
    data_collator=TTSDataCollator(model, tokenizer),
    train_dataset=dataset,
    args=TTSSFTConfig(output_dir="./tts_output", max_steps=60),
)
trainer.train()

Orpheus、OuteTTS、Spark-TTS、Sesame/CSM、Qwen3-TTS 都支持

想做聲音克隆或者風(fēng)格化 TTS，再也不用租 GPU 了

工作流全景

mlx-tune 的定位非常清晰：本地原型 → 云端量產(chǎn)。

本地 Mac (mlx-tune)              云端 GPU (Unsloth)
├── 快速實(shí)驗(yàn)                       ├── 大規(guī)模訓(xùn)練
├── 小數(shù)據(jù)集驗(yàn)證                    ├── 完整數(shù)據(jù)集
├── 秒級(jí)迭代                       ├── 生產(chǎn)級(jí)優(yōu)化
└── 同一套代碼 ─────────────────── └── 同一套代碼

訓(xùn)練完還能直接導(dǎo)出：

• ? HuggingFace 格式 ：標(biāo)準(zhǔn)保存

• ? GGUF ：直接丟給 Ollama / llama.cpp

• ? push_to_hub ：一鍵推到 HuggingFace Hub

我覺得 mlx-tune 最適合這幾類人：

1. 1. Mac 用戶 + 微調(diào)需求 ：你有 M1/M2/M3/M4/M5，想在本地跑微調(diào)實(shí)驗(yàn)，這是最佳選擇

2. 2. 混合工作流用戶 ：本地調(diào)試、云端訓(xùn)練，代碼無縫遷移

3. 3. 多模態(tài)探索者 ：想同時(shí)玩 LLM、Vision、TTS、STT、OCR 微調(diào)的人

4. 4. 學(xué)習(xí)者 ：想理解微調(diào)原理，在本地快速迭代比去 Colab 排隊(duì)強(qiáng)太多

局限性也得說清楚：

• ? 訓(xùn)練速度肯定比不上 A100 + Unsloth，這是物理定律決定的

• ? GGUF 導(dǎo)出對(duì)量化模型有限制，建議用非量化基座模型

• ? 內(nèi)存受限于 Mac 的統(tǒng)一內(nèi)存（不過 Mac Studio 最高 512GB，夠用了）

如果你是 Mac 用戶，又對(duì)微調(diào)大模型感興趣，強(qiáng)烈建議試試

制作不易，如果這篇文章覺得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！