北京
- 緊急警告：AI反饋循環正在瓦解我們對現實的感知。再見了，互聯網！
作者：ToxSec2025年11月24日
緊急警告：AI反饋循環正在破壞我們對現實的感知。
簡而言之：上次我講了社交層面的噩夢：個性化回音室正在摧毀共識現實。這次來說說它不可逆轉的技術原因：用AI生成的內容訓練的AI就像是復制品的復制品。質量不斷下降，直到真相變得面目全非。
- “復印效應” 已經出現
你早覺得互聯網不對勁了，這點我們之前說過。現在說說它在結構層面崩塌的原因。
AI是在人類紛繁復雜、精彩紛呈的互聯網環境中訓練出來的。如今，這些AI正向網絡傾瀉數十億條合成文章、評論和帖子。更糟糕的是，下一代AI將基于這些被污染的數據進行訓練。
這是個惡性循環。
接下來發生的事情有一個專業術語：模型崩潰。
想象一下，這就好比復印一份復印件再復印一份。第一版清晰銳利，第二版也還不錯。到了第十版呢？就變得模糊不清、扭曲變形，幾乎看不出原圖的模樣了。
這種情況現在正在我們的互聯網上發生。當AI不再從真實人類經驗學習，而是從其他AI生成的內容里學，真相就會被 “其他AI說法的平均值” 取代。獨特的視角消失了，細微差別也隨之消亡。最終剩下的只是一堆聽起來權威卻毫無意義的千篇一律的同質化信息。
過度自信是最危險的 “漏洞”
這才是最可怕的地方。
AI是“預測引擎”，而不是“真相引擎”。它的核心工作就是生成統計上最有可能出現的下一個詞，這使得它即使完全錯誤，也能聽起來信心十足。
這就形成了一個虛假信息的洗白過程：
1.AI在一篇博客文章中自信地拋出一個虛假 “事實”。
2.其他AI爬蟲會收錄這篇文章，學到同樣的錯誤。
3.人們看到某個“事實”在多個網站上重復出現，就想當然地認為它是經過驗證的。
4.更多AI基于這種“共識”進行訓練，并進一步放大錯誤。
通過純粹的重復，AI產生的幻覺最終變成了人們接受的現實。這其中并無惡意，只是機器在執行其預設的任務，卻帶來了災難性的副作用。
問題遠不止事實偏差那么簡單。偏見被無限放大才是真正的噩夢。
AI從人類混亂且充滿偏見的互聯網中學習，然后以研究論文般的“學術權威感”，將我們最惡劣的刻板印象呈現給我們。算法沒有 “傷害” 概念，它只是識別訓練數據中頻繁出現的模式。
結果就是，問責機制出現真空。
如果AI撒謊，導致你蒙受經濟損失或名譽受損，誰該為此負責？是開發它的開發者？部署它的公司？還是發出指令的用戶？我們被越來越多“看似合理的謊言”包圍，卻找不到明確的責任人，也沒有清晰的追責路徑。
新的生存規則
當機器大規模自信撒謊時，該怎么辦？
不要把AI當作專家來對待，而應該把它當作一個過于自信的實習生。
它速度很快，口齒伶俐，但缺乏實際經驗。如果你不核實它的工作，它還會一本正經地捏造信息來源。
以下是您的新工作流程：
- 讓它 “亮明底牌”
提問時務必加上以下內容：“請提供你論點的來源和鏈接。”
然后逐一核實。點擊鏈接看看，可能一半都是編造的或無關的。
- 質疑它的答案
讓它反駁自己：“現在請給我三個理由，說明為什么這個答案是錯誤的。”
這會暴露邏輯漏洞，迫使你進行批判性思考，而不是接受第一個自信的回答。
- 提問要非常具體
不要問：“經濟形勢如何？”
要問：“根據美國經濟分析局的數據，2024年第三季度美國的季度GDP數據是多少？”
提問越具體，AI越難用模糊的套話糊弄你。
能解決“污染”問題嗎？
保持警惕是必要的，但這并不能解決結構性崩潰的問題。
要大規模地遏制模式崩潰，我們需要系統性的解決方案：
- 數字水印：給所有合成內容打上“AI生成”的標記，雖不完美（壞人會去除），但能增加大規模欺騙的難度，讓用戶有機會區分人機內容。
- 認證數據集：對于高風險領域而言，經過認證的數據集至關重要。我們需要的是經過人工審核和驗證的數據集，而不是在混亂的開放網絡上訓練醫療或科學AI。如果我們打算讓AI做出關乎生死的重要決定，它需要學習的是經過驗證的真相，而不是從Reddit上抓取的統計平均值。
- 人機協作系統：對于關鍵性工作而言，人機協作系統必不可少。新聞報道、法律分析、醫療診斷：這些都需要判斷力、倫理道德和背景知識，而算法從根本上缺乏這些。AI應該輔助專家，絕不能取代他們。
底線
模型崩潰不是遙遠的未來，而是正在發生的事。互聯網正在用自身的數據進行訓練，而數據質量卻在每一代都在下降。
我們正在眼睜睜地看著“真相的技術基礎架構”實時崩潰。
常見問題解答
問題一：什么是AI模型崩潰？
答：模型崩潰是指AI使用AI生成的內容進行訓練。就像復印件的復印件一樣，模型質量會隨著每一代的迭代而下降。模型會遺忘現實世界的細節，并放大通用模式，從而產生準確性和多樣性都降低的輸出結果。
問2：如何識別AI生成的內容？
答：注意觀察語法是否過于完美、語氣是否平庸、結構是否重復以及是否存在缺乏來源的模糊事實陳述。這類文章通常感覺“空洞”，技術上正確但缺乏人性化的視角。
問3：我應該相信AI生成的內容嗎？
答：不應該，必須進行核實。AI擅長頭腦風暴和初稿撰寫，但它會憑空捏造事實，并對此深信不疑。切勿在未交叉核對多個可靠的人工來源之前，輕易相信任何關鍵信息。
問4：用AI做研究的最佳方式是什么？
答：將AI作為起點，用于頭腦風暴生成關鍵詞、概括主題或尋找潛在信息來源。然后，利用可信的數據庫、期刊和人工機構進行實際研究。務必核實所有信息。
本文編譯自substack，原文作者ToxSec
https://substack.com/@toxsec/p-175913709
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
