多模態是假的?李飛飛團隊發現AI根本"看不見",靠海市蜃樓效應編造

3 月 30 日，斯坦福大學李飛飛團隊發布了一篇論文《海市蜃樓：視覺理解的幻象》。

研究發現，GPT-5、Gemini 、Claude 這些大模型根本“看不見”。

研究團隊在涵蓋醫療與通用場景的 6 個基準測試中，測試了 GPT-5.1、Gemini-3-Pro、Claude Opus 4.5 以及 Gemini-2.5-Pro。

然后悄無聲息地移除了所有圖片，照片、掃描報告或 X 光片等。

沒有警告，也沒有修改提示詞。

模型竟然完全沒有察覺。

它們依然在詳細地描述圖片內容、診斷病情、書寫完整的推理邏輯，且準確率依然保持在 70% 到 80%。

但這些全靠識別根本不存在的圖像而生成。

論文將其稱為 “海市蜃樓效應”（Mirage Effect）。

研究團隊認為，這比“幻覺”（Hallucination）更可怕。

幻覺是針對真實輸入編造出錯誤細節。

而海市蜃樓，則構建出一整個虛假的現實，并自信地以此進行推理。

在測試中，模型構造出了虛構的 X 光片、描述了假的結節、診斷了疾病——卻全都是靠文本模式生成的。

但這還不是最可怕的。

他們訓練了一個“超級猜測器”——一個僅有 30 億參數的純文本模型。

它零視覺能力。

在最大規模的胸部 X 光基準數據集（69.6 萬個問題）上對其進行了微調，且將圖片全部移除。

結果它打敗了 GPT-5、打敗了 Gemini、打敗了 Claude。

甚至打敗了真正的放射科醫生。

在隱藏的測試集上排名第一——而它從未看過任何一張 X 光片。

它生成的推理邏輯，與真實的視覺分析毫無區別。

還有更讓你細思極恐的地方——

當模型“虛假觀看”醫療影像時，它們的海市蜃樓式診斷會嚴重偏向于最致命的病癥。

ST段抬高型心肌梗死（STEMI）、黑色素瘤、癌。

——來自根本不存在的圖像，做出危及生命的診斷。

要知道，每天有 2.3 億人在 ChatGPT 上詢問健康問題。

研究團隊還發現了一個反常現象，即告訴模型“這里沒有圖片，隨便猜”，性能會下降。

而當悄悄移走圖片卻讓它誤以為圖片存在時，性能反而會保持高位。

也就是說，模型進入了 “海市蜃樓模式”后，它不知道自己是“瞎”的。而且在它不知道自己看不見的時候，表現反而更好。

當斯坦福應用他們的清理方法（B-Clean），去處理現有基準測試時，74%-77% 的測試樣本被剔除了。

四分之三的“視覺”基準測試，根本不是在測試視覺。

也就是說，我們看到的所有排行榜、所有“多模態突破”、所有基準測試分數，都是建立在海市蜃樓之上的。

多模態概念還講得下去么？

論文鏈接 https://arxiv.org/pdf/2603.21687v2