![]()
編輯|楊文、陳陳
AI 很快就能自己改造自己了?
Anthropic 聯(lián)合創(chuàng)始人 Jack Clark 發(fā)帖稱,他最近幾周閱讀了大量公開的 AI 開發(fā)數(shù)據(jù)后,認(rèn)為到 2028 年底,遞歸自我改進(jìn)(recursive self-improvement)發(fā)生的概率有 60%。
也就是說,AI 系統(tǒng)可能很快就能自主構(gòu)建和改進(jìn)自己,進(jìn)入自我加速的階段。
![]()
這一觀點(diǎn)并非憑空而來。他看了一堆公開基準(zhǔn),發(fā)現(xiàn) AI 在 AI 研發(fā)相關(guān)任務(wù)上進(jìn)步非常快。
比如,CORE-Bench 考察 AI 實(shí)現(xiàn)他人研究論文的能力,這是 AI 研究中至關(guān)重要的一環(huán)。
![]()
PostTrainBench 則測試強(qiáng)大模型能否自主微調(diào)較弱的開源模型以提升性能,這正是 AI 研發(fā)任務(wù)的一個關(guān)鍵子集。
![]()
MLE-Bench 基于真實(shí) Kaggle 競賽任務(wù),要求構(gòu)建多樣化的機(jī)器學(xué)習(xí)應(yīng)用程序來解決特定問題。此外,像 SWE-Bench 這樣廣為人知的編碼基準(zhǔn),也展現(xiàn)出類似的進(jìn)步。
![]()
Jack Clark 將這一現(xiàn)象描述為「分形」式的向上向右趨勢,即在不同分辨率和尺度上,都能觀察到有意義的進(jìn)展。他認(rèn)為,AI 正在逐步接近端到端自動化研發(fā)的能力,一旦實(shí)現(xiàn),AI 將能夠自主構(gòu)建自己的后繼系統(tǒng),開啟自我迭代的循環(huán)。
![]()
此言論一出,在社交媒體引發(fā)不少討論。
一些人視其為邁向 ASI 和奇點(diǎn)的關(guān)鍵第一步,可能徹底改變科技發(fā)展的節(jié)奏。
![]()
然而,也存在不同聲音。
華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授 Pedro Domingos 指出,AI 系統(tǒng)早在上世紀(jì) 50 年代 LISP 語言發(fā)明時(shí)就具備了「構(gòu)建自身」的能力,真正的問題在于能否獲得遞增回報(bào),而目前還沒有明顯證據(jù)支持這一點(diǎn)。
![]()
有網(wǎng)友質(zhì)疑,從 2027 年到 2028 年,概率一下子增加 30%,這暗示 AI 能力會在 2027 年底前后出現(xiàn)一次突然的重大突破。到底哪一個具體的里程碑或事件,會讓 AI 實(shí)現(xiàn)遞歸自我改進(jìn)的概率在短時(shí)間內(nèi)大幅提升?
![]()
還有網(wǎng)友表示,Jack Clark 是 Anthropic 新上任的公關(guān)負(fù)責(zé)人,這正是他們新戰(zhàn)略的一部分:我們并非危言聳聽者,有大量的論文都印證了我們一直以來警告你們的事情。
![]()
Jack Clark 專門在 Import AI 455 這期 newsletter 里寫了一篇長文詳細(xì)闡述。
![]()
文章地址:https://importai.substack.com/p/import-ai-455-automating-ai-research?r=1ds20&utm_campaign=post&utm_medium=email&triedRedirect=true
接下來,我們完整看一下這篇文章。
AI 系統(tǒng)即將開始自我構(gòu)建,這意味著什么?
Clark 表示,他寫下這篇文章,是因?yàn)樵谑崂硭泄_可獲得的信息后,他不得不形成一個并不輕松的判斷:到 2028 年底之前,出現(xiàn)無人類參與的 AI 研發(fā)的可能性已經(jīng)相當(dāng)高,或許超過 60%。
這里所謂的無人類參與的 AI 研發(fā),指的是一種足夠強(qiáng)大的 AI 系統(tǒng):它不僅能輔助人類做研究,還可能自主完成關(guān)鍵研發(fā)流程,甚至構(gòu)建出自己的下一代系統(tǒng)。
在 Clark 看來,這顯然是一件大事。
他坦言,自己也很難完全消化這件事的含義。
之所以稱這是一個不情愿的判斷,是因?yàn)樗澈蟮挠绊戇^于巨大,讓他感到難以把握。Clark 也不確定,整個社會是否已經(jīng)準(zhǔn)備好迎接 AI 研發(fā)自動化所帶來的深層變化。
他現(xiàn)在相信,人類可能正生活在一個特殊時(shí)間點(diǎn):AI 研究即將被端到端自動化。如果這一刻真的到來,人類就像跨過了盧比孔河,進(jìn)入一個幾乎無法預(yù)測的未來。
Clark 表示,這篇文章的目的,是解釋他為什么認(rèn)為,通向完全自動化 AI 研發(fā)的起飛正在發(fā)生。
他會討論這一趨勢可能帶來的一些后果,但文章的大部分篇幅,都會集中在支撐這一判斷的證據(jù)上。至于更深層的影響,Clark 計(jì)劃在今年的大部分時(shí)間里繼續(xù)梳理。
從時(shí)間點(diǎn)來看,Clark 并不認(rèn)為這件事會在 2026 年真正發(fā)生。但他認(rèn)為,未來一兩年內(nèi),我們可能會看到某種模型端到端訓(xùn)練出自己后繼者的案例。至少在非前沿模型層面,出現(xiàn)一個概念驗(yàn)證是很有可能的;至于最前沿模型,難度會更高,因?yàn)樗鼈兂杀緲O其昂貴,也依賴大量人類研究員的高強(qiáng)度工作。
Clark 的判斷主要來自公開信息:包括 arXiv、bioRxiv 和 NBER 上的論文,以及前沿 AI 公司已經(jīng)部署到現(xiàn)實(shí)世界中的產(chǎn)品。基于這些信息,他得出一個結(jié)論:自動化生產(chǎn)當(dāng)下 AI 系統(tǒng)所需的各個環(huán)節(jié),尤其是 AI 開發(fā)中的工程組件,基本已經(jīng)具備。
如果 scaling 趨勢繼續(xù)延續(xù),我們就應(yīng)該開始準(zhǔn)備面對這樣一種情況:模型會變得足夠有創(chuàng)造力,不僅能自動改進(jìn)已知方法,還可能在提出全新研究方向和原創(chuàng)想法方面替代人類研究員,從而自行推動 AI 前沿繼續(xù)向前發(fā)展。
編碼奇點(diǎn):能力隨時(shí)間的變化
AI 系統(tǒng)是通過軟件實(shí)現(xiàn)的,而軟件由代碼構(gòu)成。
AI 系統(tǒng)已經(jīng)徹底改變了代碼生產(chǎn)方式。這背后有兩個相關(guān)趨勢:一方面,AI 系統(tǒng)越來越擅長編寫復(fù)雜的真實(shí)世界代碼;另一方面,AI 系統(tǒng)也越來越擅長在幾乎不依賴人類監(jiān)督的情況下,把許多線性的編碼任務(wù)串聯(lián)起來完成,比如先寫代碼,再進(jìn)行測試。
體現(xiàn)這一趨勢的兩個典型例子,是 SWE-Bench 和 METR time horizons plot。
解決真實(shí)世界的軟件工程問題
SWE-Bench 是一個被廣泛使用的編程測試,用來評估 AI 系統(tǒng)解決真實(shí) GitHub issue 的能力。
當(dāng) SWE-Bench 在 2023 年底推出時(shí),當(dāng)時(shí)表現(xiàn)最好的模型是 Claude 2,整體成功率大約只有 2%。而 Claude Mythos Preview 的成績已經(jīng)達(dá)到 93.9%,基本上接近打滿這個 benchmark。
當(dāng)然,所有 benchmark 本身都會有一定噪聲,所以通常會出現(xiàn)這樣一個階段:當(dāng)分?jǐn)?shù)高到某個程度之后,你碰到的可能不再是方法本身的限制,而是 benchmark 自身的限制。比如在 ImageNet 驗(yàn)證集中,大約 6% 的標(biāo)簽就是錯誤或存在歧義的。
SWE-Bench 可以被視為衡量通用編程能力,以及 AI 對軟件工程影響的一個可靠指標(biāo)。Clark 表示,他在前沿 AI 實(shí)驗(yàn)室和硅谷接觸到的大多數(shù)人,現(xiàn)在幾乎都已經(jīng)完全通過 AI 系統(tǒng)來寫代碼,并且越來越多的人開始用 AI 系統(tǒng)來編寫測試、檢查代碼。
換句話說,AI 系統(tǒng)已經(jīng)足夠強(qiáng),能夠自動化 AI 研發(fā)中的一個重要組成部分,并顯著加速所有參與 AI 研發(fā)的人類研究員和工程師。
衡量 AI 系統(tǒng)完成長時(shí)任務(wù)的能力
METR 制作了一張圖,用來衡量 AI 能完成多復(fù)雜的任務(wù)。這里的復(fù)雜度,是按照一個熟練人類完成這些任務(wù)大概需要多少小時(shí)來計(jì)算的。
其中最關(guān)鍵的指標(biāo),是 AI 系統(tǒng)在一組任務(wù)上達(dá)到 50% 可靠性時(shí),對應(yīng)的大致任務(wù)時(shí)間跨度。
在這一點(diǎn)上,進(jìn)展非常驚人:
- 2022 年,GPT-3.5 能完成的任務(wù),大概相當(dāng)于人類需要 30 秒完成的任務(wù)。
- 2023 年,GPT-4 把這個時(shí)間提升到了 4 分鐘。
- 2024 年,o1 把這個時(shí)間提升到了 40 分鐘。
- 2025 年,GPT-5.2 High 達(dá)到了大約 6 小時(shí)。
- 到 2026 年,Opus 4.6 已經(jīng)把這個時(shí)間進(jìn)一步推高到大約 12 小時(shí)。
在 METR 工作、長期關(guān)注 AI 預(yù)測的 Ajeya Cotra 認(rèn)為,到 2026 年底,AI 系統(tǒng)能夠完成相當(dāng)于人類需要 100 小時(shí)的任務(wù),并不是一個不合理的預(yù)期。
AI 系統(tǒng)能夠獨(dú)立工作的時(shí)間跨度顯著增長,也和 agentic coding 工具的爆發(fā)高度相關(guān)。所謂 agentic coding 工具,本質(zhì)上就是把能替人完成工作的 AI 系統(tǒng)產(chǎn)品化:它們可以代表人類行動,并在相當(dāng)長一段時(shí)間內(nèi)相對獨(dú)立地推進(jìn)任務(wù)。
這也重新指向 AI 研發(fā)本身。仔細(xì)觀察許多 AI 研究員的日常工作會發(fā)現(xiàn),其中大量任務(wù)其實(shí)都可以拆解成幾個小時(shí)級別的工作,比如清洗數(shù)據(jù)、讀取數(shù)據(jù)、啟動實(shí)驗(yàn)等等。
而這類工作,如今已經(jīng)落入現(xiàn)代 AI 系統(tǒng)能夠覆蓋的時(shí)間跨度之內(nèi)。
AI 系統(tǒng)越熟練,越能獨(dú)立于人類工作,就越能幫助自動化 AI 研發(fā)中的一部分工作。
任務(wù)委托的關(guān)鍵因素主要有兩個:
- 一是你對被委托者能力的信心;
- 二是你相信對方能夠在不依賴你持續(xù)監(jiān)督的情況下,按照你的意圖獨(dú)立完成工作。
當(dāng)用戶在觀察 AI 在編程方面的能力時(shí),會發(fā)現(xiàn) AI 系統(tǒng)不僅變得越來越熟練,也越來越能在不需要人類重新校準(zhǔn)的情況下,獨(dú)立工作更長時(shí)間。
這也和我們身邊正在發(fā)生的事情相吻合,工程師和研究員正在把越來越大塊的工作交給 AI 系統(tǒng)完成。隨著 AI 能力持續(xù)提升,被委托給 AI 的工作也變得越來越復(fù)雜、越來越重要。
AI 正在掌握 AI 研發(fā)所必需的核心科學(xué)技能
想想現(xiàn)代科學(xué)研究是怎么進(jìn)行的,其中很大一部分工作,其實(shí)就是先確定一個方向,明確自己想獲得哪類經(jīng)驗(yàn)性信息;然后設(shè)計(jì)并運(yùn)行實(shí)驗(yàn),生成這些信息;最后再對實(shí)驗(yàn)結(jié)果進(jìn)行合理性檢查。
隨著 AI 編程能力不斷提升,再加上大語言模型越來越強(qiáng)的世界建模能力,如今已經(jīng)出現(xiàn)了一批工具,能夠幫助人類科學(xué)家提速,并在更廣泛的研發(fā)場景中部分自動化某些環(huán)節(jié)。
在這里,我們可以觀察 AI 在幾項(xiàng)關(guān)鍵科學(xué)技能上的進(jìn)展速度,而這些能力本身也正是 AI 研究不可或缺的一部分:
- 一是復(fù)現(xiàn)研究結(jié)果;
- 二是把機(jī)器學(xué)習(xí)技術(shù)和其他方法串聯(lián)起來,用來解決技術(shù)問題;
- 三是優(yōu)化 AI 系統(tǒng)自身。
實(shí)現(xiàn)整篇科學(xué)論文,并完成相關(guān)實(shí)驗(yàn)
AI 研究中的一項(xiàng)核心工作,是閱讀科學(xué)論文,并復(fù)現(xiàn)其中的結(jié)果。在這方面,AI 已經(jīng)在一系列 benchmark 上取得了顯著進(jìn)展。
一個很好的例子是 CORE-Bench,也就是 Computational Reproducibility Agent Benchmark。
這個 benchmark 要求 AI 系統(tǒng)在給定一篇論文及其代碼倉庫的情況下,復(fù)現(xiàn)論文中的結(jié)果。具體來說,Agent 需要安裝相關(guān)庫、軟件包和依賴,運(yùn)行代碼;如果代碼成功運(yùn)行,它還需要搜索所有輸出結(jié)果,并回答任務(wù)中的問題。
CORE-Bench 于 2024 年 9 月提出。當(dāng)時(shí)表現(xiàn)最好的系統(tǒng),是運(yùn)行在 CORE-Agent scaffold 中的 GPT-4o 模型。在該 benchmark 最困難的一組任務(wù)上,它的得分約為 21.5%。
而到了 2025 年 12 月,CORE-Bench 的一位作者宣布,這個 benchmark 已經(jīng)被解決了:Opus 4.5 模型取得了 95.5% 的成績。
構(gòu)建完整的機(jī)器學(xué)習(xí)系統(tǒng),解決 Kaggle 競賽問題
MLE-Bench 是 OpenAI 構(gòu)建的一個 benchmark,用來測試 AI 系統(tǒng)在離線環(huán)境中參加 Kaggle 競賽的能力。
它覆蓋了 75 個不同類型的 Kaggle 競賽,涉及多個領(lǐng)域,包括自然語言處理、計(jì)算機(jī)視覺和信號處理等。
MLE-Bench 于 2024 年 10 月發(fā)布。發(fā)布時(shí),表現(xiàn)最好的系統(tǒng)是一個運(yùn)行在 agent scaffold 中的 o1 模型,得分為 16.9%。
截至 2026 年 2 月,表現(xiàn)最好的系統(tǒng)已經(jīng)變成了運(yùn)行在帶搜索能力的 agent harness 中的 Gemini 3,得分達(dá)到 64.4%。
Kernel 設(shè)計(jì)
AI 開發(fā)中一項(xiàng)更難的任務(wù)是 kernel 優(yōu)化。所謂 kernel 優(yōu)化,就是編寫并改進(jìn)底層代碼,把矩陣乘法這類特定運(yùn)算更高效地映射到底層硬件上。
Kernel 優(yōu)化之所以是 AI 開發(fā)的核心,是因?yàn)樗鼪Q定了訓(xùn)練和推理的效率:一方面,它影響你在開發(fā) AI 系統(tǒng)時(shí),究竟能有效利用多少算力;另一方面,當(dāng)模型訓(xùn)練完成后,它也決定你能多高效地把算力轉(zhuǎn)化為推理能力。
近年來,用 AI 做 kernel 設(shè)計(jì),已經(jīng)從一個有趣的小方向,變成了一個競爭激烈的研究領(lǐng)域,并且出現(xiàn)了多個 benchmark。不過,這些 benchmark 目前還沒有特別流行,所以我們很難像其他領(lǐng)域那樣清晰地建模它的長期進(jìn)展。另一方面,我們可以通過一些正在進(jìn)行的研究,感受這個方向的推進(jìn)速度。
相關(guān)工作包括:
- 用 DeepSeek 的模型嘗試構(gòu)建更好的 GPU kernel;
- 自動把 PyTorch 模塊轉(zhuǎn)換成 CUDA 代碼;
- Meta 用 LLM 自動生成優(yōu)化后的 Triton kernel,并部署到自己的基礎(chǔ)設(shè)施中;
- 以及針對 GPU kernel 設(shè)計(jì)微調(diào)開源權(quán)重模型,例如 Cuda Agent。
這里需要補(bǔ)充一點(diǎn):kernel 設(shè)計(jì)確實(shí)具備一些特別適合 AI 驅(qū)動研發(fā)的屬性,比如結(jié)果容易驗(yàn)證、獎勵信號比較明確。
通過 PostTrainBench 微調(diào)語言模型
這類測試的一個更困難版本是 PostTrainBench。它測試的是,不同前沿模型能否接手較小的開源權(quán)重模型,并通過微調(diào)提升它們在某些 benchmark 上的表現(xiàn)。
這個 benchmark 的一個優(yōu)點(diǎn)是,它有非常強(qiáng)的人類基線:這些小模型現(xiàn)有的 instruct-tuned 版本。這些版本通常由前沿實(shí)驗(yàn)室中優(yōu)秀的人類 AI 研究員開發(fā),已經(jīng)經(jīng)過非常有能力的研究員和工程師打磨,并被部署到真實(shí)世界中。因此,它們構(gòu)成了一個很難超越的人類基準(zhǔn)。
截至 2026 年 3 月,AI 系統(tǒng)已經(jīng)能夠?qū)δP瓦M(jìn)行后訓(xùn)練,并獲得大約相當(dāng)于人類訓(xùn)練結(jié)果一半的性能提升。
具體評估分?jǐn)?shù)來自一個加權(quán)平均:它會綜合多個后訓(xùn)練的大語言模型,包括 Qwen 3 1.7B、Qwen 3 4B、SmolLM3-3B、Gemma 3 4B,以及多個 benchmark,包括 AIME 2025、Arena Hard、BFCL、GPQA Main、GSM8K、HealthBench、HumanEval。
在每次運(yùn)行中,評測方會要求一個 CLI agent,盡可能提升某個特定基礎(chǔ)模型在某個特定 benchmark 上的表現(xiàn)。
截至 2026 年 4 月,得分最高的 AI 系統(tǒng)大約能達(dá)到 25% 到 28%,代表模型包括 Opus 4.6 和 GPT 5.4;相比之下,人類得分為 51%。
這已經(jīng)是一個相當(dāng)有意義的結(jié)果。
優(yōu)化語言模型訓(xùn)練
過去一年,Anthropic 一直在報(bào)告其系統(tǒng)在一項(xiàng) LLM 訓(xùn)練任務(wù)上的表現(xiàn)。這個任務(wù)要求模型優(yōu)化一個僅使用 CPU 的小型語言模型訓(xùn)練實(shí)現(xiàn),讓它盡可能快地運(yùn)行。
評分方式是:相較于未修改的初始代碼,模型實(shí)現(xiàn)的平均加速倍數(shù)。
這項(xiàng)結(jié)果進(jìn)展非常顯著:
- 2025 年 5 月,Claude Opus 4 實(shí)現(xiàn)了 2.9 倍平均加速;
- 2025 年 11 月,Opus 4.5 提升到 16.5 倍;
- 2026 年 2 月,Opus 4.6 達(dá)到 30 倍;
- 2026 年 4 月,Claude Mythos Preview 達(dá)到 52 倍。
為了理解這些數(shù)字的含義,可以做一個參照:在人類研究員身上,這項(xiàng)任務(wù)通常需要 4 到 8 小時(shí)工作,才能實(shí)現(xiàn) 4 倍加速。
元技能:管理
AI 系統(tǒng)也正在學(xué)習(xí)如何管理其他 AI 系統(tǒng)。
這一點(diǎn)已經(jīng)可以在一些廣泛部署的產(chǎn)品中看到,比如 Claude Code 或 OpenCode。在這些產(chǎn)品里,一個主 agent 可以監(jiān)督多個 sub-agent。
這讓 AI 系統(tǒng)能夠處理更大規(guī)模的項(xiàng)目:項(xiàng)目中可能需要多個具備不同專長的智能體并行工作,而它們通常由一個單一的 AI 管理者來協(xié)調(diào)。這里的管理者本身也是一個 AI 系統(tǒng)。
AI 研究更像發(fā)現(xiàn)廣義相對論,還是搭樂高?
一個關(guān)鍵問題是:AI 能否發(fā)明出新的想法,幫助它改進(jìn)自身?還是說,這些系統(tǒng)更適合完成研究中那些不那么光鮮、但必須一磚一瓦推進(jìn)的工作?
這個問題很重要,因?yàn)樗P(guān)系到 AI 系統(tǒng)能在多大程度上端到端自動化 AI 研究本身。
作者的判斷是:AI 目前還不能提出真正激進(jìn)的全新思想。但要實(shí)現(xiàn)自身研發(fā)自動化,它或許并不一定需要做到這一點(diǎn)。
作為一個領(lǐng)域,AI 的進(jìn)步很大程度上依賴于越來越大的實(shí)驗(yàn),以及越來越多的輸入,比如數(shù)據(jù)和算力。
偶爾,人類會提出一些改變范式的想法,使整個領(lǐng)域的資源效率大幅提升。Transformer 架構(gòu)就是一個很好的例子,混合專家模型,也就是 mixture-of-experts,也是另一個例子。
但更多時(shí)候,AI 領(lǐng)域的推進(jìn)方式其實(shí)更樸素:人類會拿一個表現(xiàn)良好的系統(tǒng),擴(kuò)大其中某個方面,比如訓(xùn)練數(shù)據(jù)和算力;觀察擴(kuò)大規(guī)模后哪里出問題;找到工程上的修復(fù)方案,讓系統(tǒng)能夠繼續(xù)擴(kuò)展;然后再次擴(kuò)大規(guī)模。
這個過程里,真正需要洞見的部分其實(shí)很少。大量工作更像是不那么耀眼、但非常扎實(shí)的基礎(chǔ)工程。
類似地,很多 AI 研究其實(shí)是在運(yùn)行現(xiàn)有實(shí)驗(yàn)的各種變體,探索不同參數(shù)設(shè)置會帶來什么結(jié)果。研究直覺當(dāng)然能幫助人類挑選最值得嘗試的參數(shù),但這件事本身也可以被自動化,讓 AI 自己判斷哪些參數(shù)值得調(diào)整。早期的神經(jīng)架構(gòu)搜索,就是這類思路的一個版本。
愛迪生曾說:天才是 1% 的靈感,加上 99% 的汗水。即便過去 150 年,這句話依然很貼切。
偶爾,確實(shí)會出現(xiàn)徹底改變一個領(lǐng)域的新洞見。但大多數(shù)時(shí)候,領(lǐng)域進(jìn)步是靠人類在改進(jìn)和調(diào)試各種系統(tǒng)的艱苦過程中,一點(diǎn)點(diǎn)推進(jìn)出來的。
而前面提到的公開數(shù)據(jù)表明,AI 已經(jīng)非常擅長執(zhí)行 AI 開發(fā)中許多必要的苦活累活。
與此同時(shí),還有一個更大的趨勢:基礎(chǔ)能力,比如編程能力,正在和不斷擴(kuò)展的任務(wù)時(shí)間跨度結(jié)合起來。這意味著 AI 系統(tǒng)可以把越來越多這類任務(wù)串聯(lián)起來,形成復(fù)雜的工作序列。
因此,即便 AI 系統(tǒng)目前相對缺乏創(chuàng)造力,也有理由相信,它們?nèi)匀荒軌蛲苿幼陨砝^續(xù)向前發(fā)展。只是相比能夠產(chǎn)生全新洞見的情況,這種推進(jìn)速度可能會更慢。
但如果繼續(xù)觀察公開數(shù)據(jù),會發(fā)現(xiàn)另一個令人好奇的信號:AI 系統(tǒng)也許正在展現(xiàn)出某種創(chuàng)造力,而這種創(chuàng)造力可能讓它們以更令人驚訝的方式推動自身進(jìn)步。
推動科學(xué)前沿繼續(xù)向前
目前已經(jīng)有一些非常初步的跡象表明,通用 AI 系統(tǒng)有能力推動人類科學(xué)前沿繼續(xù)向前發(fā)展。不過到目前為止,這種情況只發(fā)生在少數(shù)幾個領(lǐng)域,主要是計(jì)算機(jī)科學(xué)和數(shù)學(xué)。而且很多時(shí)候,并不是 AI 系統(tǒng)單獨(dú)完成突破,而是以人機(jī)協(xié)作的方式,與人類研究者共同推進(jìn)。
盡管如此,這些趨勢仍然值得觀察:
Erd?s 問題:一組數(shù)學(xué)家與 Gemini 模型合作,測試它在解決一些 Erd?s 數(shù)學(xué)問題上的表現(xiàn)。他們引導(dǎo)系統(tǒng)嘗試了大約 700 個問題,最終得到了 13 個解答。在這些解答中,有 1 個被他們認(rèn)為是有趣的。
研究者寫道,他們初步認(rèn)為,Aletheia(一套基于 Gemini 3 Deep Think 的 AI 系統(tǒng)) 對 Erd?s-1051 的解答,代表了一個早期案例:一個 AI 系統(tǒng)自主解決了一個略具非平凡性、并且有一定更廣泛數(shù)學(xué)興趣的開放 Erd?s 問題。該問題此前已有一些 closely-related 的相關(guān)研究文獻(xiàn)。
如果往樂觀方向理解,這些案例可以被看作一個信號:AI 系統(tǒng)正在發(fā)展出某種能夠推動領(lǐng)域前沿的創(chuàng)造性直覺,而這種直覺過去主要屬于人類。
但也可以從另一面解釋:數(shù)學(xué)和計(jì)算機(jī)科學(xué)可能本身就是特別適合 AI 驅(qū)動發(fā)明的領(lǐng)域,因此它們或許只是例外,并不能代表更廣泛的科學(xué)研究都會被 AI 以同樣方式推進(jìn)。
另一個類似例子是 AlphaGo 的第 37 手。不過 Clark 認(rèn)為,距離 AlphaGo 那次結(jié)果已經(jīng)過去十年,而第 37 手之后并沒有被某個更現(xiàn)代、更驚人的洞見所取代,這本身也可以被視為一個略偏悲觀的信號。
AI 已經(jīng)可以自動化 AI 工程中的大片工作
如果把上面所有證據(jù)放在一起,我們可以看到這樣一幅圖景:
- AI 系統(tǒng)已經(jīng)能夠?yàn)閹缀跞魏纬绦蚓帉懘a,而且這些系統(tǒng)已經(jīng)可以被信任去獨(dú)立完成一些任務(wù);這些任務(wù)如果交給人類,往往需要數(shù)十小時(shí)的高強(qiáng)度專注勞動。
- AI 系統(tǒng)越來越擅長完成 AI 開發(fā)中的核心任務(wù),從模型微調(diào)到 kernel 設(shè)計(jì),都在被逐步覆蓋。
- AI 系統(tǒng)已經(jīng)能夠管理其他 AI 系統(tǒng),實(shí)際上形成一種合成團(tuán)隊(duì):多個 AI 可以分頭處理復(fù)雜問題,其中一些 AI 扮演負(fù)責(zé)人、批評者、編輯者的角色,另一些 AI 則扮演工程師的角色。
- AI 系統(tǒng)有時(shí)已經(jīng)能在困難的工程和科學(xué)任務(wù)上超過人類,盡管目前還很難判斷,這究竟是因?yàn)樗鼈兙邆淞苏嬲膭?chuàng)造力,還是因?yàn)樗鼈円呀?jīng)熟練掌握了大量模式化知識。
在 Clark 看來,這些證據(jù)已經(jīng)非常有說服力地表明:今天的 AI 已經(jīng)可以自動化 AI 工程中的大片工作,甚至可能覆蓋其中的全部環(huán)節(jié)。
不過,目前還不清楚 AI 能在多大程度上自動化 AI 研究本身。因?yàn)檠芯恐械哪承┎糠郑赡懿煌诩児こ碳寄埽匀灰蕾嚫邔哟蔚呐袛唷栴}意識和創(chuàng)造性。
但無論如何,一個清晰信號已經(jīng)出現(xiàn):今天的 AI 正在大幅加速從事 AI 開發(fā)的人類,讓這些研究員和工程師可以通過與無數(shù)合成同事配對協(xié)作,放大自己的工作能力。
最后,AI 行業(yè)本身也幾乎是在明說:自動化 AI 研發(fā)就是它們的目標(biāo)。
OpenAI 希望在 2026 年 9 月之前構(gòu)建一個自動化 AI 研究實(shí)習(xí)生。Anthropic 正在發(fā)表關(guān)于構(gòu)建自動化 AI 對齊研究員的工作。DeepMind 在三大實(shí)驗(yàn)室中顯得最謹(jǐn)慎,但也表示,在可行時(shí)應(yīng)該推進(jìn)對齊研究自動化。
自動化 AI 研發(fā)也已經(jīng)成為許多創(chuàng)業(yè)公司的目標(biāo)。Recursive Superintelligence 剛剛?cè)谫Y 5 億美元,目標(biāo)就是自動化 AI 研究。
換句話說,數(shù)千億美元級別的既有資本和新增資本,正在投入到一批以自動化 AI 研發(fā)為目標(biāo)的機(jī)構(gòu)中。
因此,我們當(dāng)然應(yīng)該預(yù)期,這個方向至少會取得某種程度的進(jìn)展。
為什么這很重要
這帶來的影響深遠(yuǎn),但在大眾媒體對 AI 研發(fā)的報(bào)道中卻鮮有討論。以下這幾個方面可以反映出 AI 研發(fā)帶來的巨大挑戰(zhàn)。
1. 我們必須把對齊做好:如今有效的對齊技術(shù)可能會在遞歸式自我改進(jìn)中失效,因?yàn)?AI 系統(tǒng)會變得比監(jiān)督它們的人員或系統(tǒng)智能得多。這是一個已被廣泛研究的領(lǐng)域,所以他只簡要概述一些問題:
- 訓(xùn)練人工智能系統(tǒng)不撒謊和作弊是一個出人意料的微妙過程(例如,盡管努力為環(huán)境構(gòu)建良好的測試,但有時(shí)人工智能解決問題的最佳方法是作弊,從而教會它作弊是可行的)。
- AI 系統(tǒng)可能通過「假裝對齊」來欺騙我們,輸出讓我們以為它表現(xiàn)良好的分?jǐn)?shù),但實(shí)際上隱藏了它真實(shí)的意圖。(一般來說,AI 系統(tǒng)已經(jīng)能夠察覺自己何時(shí)正在被測試。)
- 隨著 AI 系統(tǒng)開始更多地參與自身訓(xùn)練的基礎(chǔ)研究議程,我們可能會大幅改變 AI 系統(tǒng)的整體訓(xùn)練方式,卻沒有良好的直覺或理論基礎(chǔ)來理解這意味著什么。
- 當(dāng)你把某個系統(tǒng)置于遞歸循環(huán)中時(shí),會產(chǎn)生非常基本的「誤差累積」問題,這可能會影響上述所有問題及其他問題:除非你的對齊方法「100% 準(zhǔn)確」且理論上能夠在更聰明的系統(tǒng)中持續(xù)保持準(zhǔn)確,否則事情可能很快出錯。例如,你的技術(shù)初始精度是 99.9%,經(jīng)過 50 代可能降為 95.12%,經(jīng)過 500 代可能降到 60.5%。
2.AI 涉及的每一件事都會獲得巨大的生產(chǎn)力倍增: 就像 AI 顯著提高軟件工程師的生產(chǎn)力一樣,我們應(yīng)該預(yù)期 AI 涉及的其他領(lǐng)域也會如此。這帶來幾個需要應(yīng)對的問題:
- 獲取資源不平等:假設(shè) AI 的需求繼續(xù)超過計(jì)算資源供應(yīng),我們必須決定如何分配 AI 以實(shí)現(xiàn)社會的最大利益。我對市場激勵能夠保證我們從有限的 AI 計(jì)算中獲得最佳社會收益持懷疑態(tài)度。確定如何分配 AI 研發(fā)帶來的加速能力將是一個政治性很強(qiáng)的問題。
- 經(jīng)濟(jì)的「阿姆達(dá)爾定律」:隨著 AI 流入經(jīng)濟(jì),我們會發(fā)現(xiàn)某些環(huán)節(jié)在面對高速增長時(shí)會出現(xiàn)瓶頸,需要想辦法修復(fù)這些鏈條中的薄弱環(huán)節(jié)。這在需要協(xié)調(diào)快速數(shù)字世界與緩慢物理世界的領(lǐng)域可能尤為明顯,比如新藥臨床試驗(yàn)。
3. 資本密集型、人力輕型經(jīng)濟(jì)的形成 :上述所有關(guān)于 AI 研發(fā)的證據(jù)也表明,AI 系統(tǒng)越來越有能力自主運(yùn)營企業(yè)。這意味著我們可以預(yù)期,經(jīng)濟(jì)中的一部分將被新一代公司占據(jù),這些公司可能是資本密集型(因?yàn)樗鼈儞碛写罅坑?jì)算機(jī)),或運(yùn)營開支密集型(因?yàn)樗鼈冊?AI 服務(wù)上花費(fèi)大量資金并在其基礎(chǔ)上創(chuàng)造價(jià)值),相比今天的企業(yè),它們對人力的依賴相對較低 —— 因?yàn)殡S著 AI 系統(tǒng)能力持續(xù)增強(qiáng),投入 AI 的邊際價(jià)值會不斷增長。實(shí)際上,這將表現(xiàn)為「機(jī)器經(jīng)濟(jì)」在更大「人類經(jīng)濟(jì)」中逐漸形成,隨著時(shí)間推移,AI 運(yùn)營的公司可能會開始相互交易,從而改變經(jīng)濟(jì)結(jié)構(gòu),并引發(fā)關(guān)于不平等和再分配的各種問題。最終,可能會出現(xiàn)完全由 AI 系統(tǒng)自主運(yùn)營的公司,這將加劇上述問題,同時(shí)帶來許多新的治理挑戰(zhàn)。
凝視黑洞
基于以上分析,作者認(rèn)為到 2028 年底,我們看到自動化 AI 研發(fā)(即前沿模型能夠自主訓(xùn)練其繼任版本)的概率約為 60%。為什么不預(yù)期它在 2027 年出現(xiàn)?原因是作者認(rèn)為 AI 研究仍然需要創(chuàng)造力和異議見解才能前進(jìn),到目前為止,AI 系統(tǒng)尚未以變革性和重大方式展示這一點(diǎn)(盡管在加速數(shù)學(xué)研究上的一些結(jié)果有啟示)。如果非要他給出 2027 年的概率,他會說 30%。
如果到 2028 年底還沒有出現(xiàn),我們可能就會揭示當(dāng)前技術(shù)范式中的一些根本性缺陷,需要人類發(fā)明推動進(jìn)一步發(fā)展。
https://x.com/jackclarkSF/status/2051312759594471886
https://importai.substack.com/p/import-ai-455-automating-ai-research?r=1ds20&utm_campaign=post&utm_medium=email&triedRedirect=true
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.