![]()
DeepSeek在“省錢”和“省資源”上達到了變態的程度。
作者 | 許有陽
來源 | 盒飯財經(ID:daxiongfan)
頭圖及封面來源 | 網絡及即夢制作
DeepSeek-V4總算來了。
4月24日,DeepSeek官方賬號發布了一篇名為《DeepSeek-V4 預覽版:邁入百萬上下文普惠時代》的文章。文章中正式宣布,“全新系列模型 DeepSeek-V4 的預覽版本正式上線并同步開源。”
同時,還介紹:DeepSeek-V4 擁有百萬字超長上下文,在 Agent 能力、世界知識和推理性能上均實現國內與開源領域的領先。模型按大小分為兩個版本:
![]()
發布后,測評、討論已非常充分,不再贅述。
盒飯財經關注到,DeepSeek同步發布了一篇關于DeepSeek-V4 技術報告。地址如下:https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf
這份名為《DeepSeek-V4:Towards Highly Efficient Million-Token Context Intelligence》的技術報告,共55頁,從架構、通用基礎設施、預訓練、訓練后等6個部分介紹了V4。而這份高度專業的技術報告中,隱藏了10個有意思的小彩蛋。
彩蛋一:“Think Max”模式,絕不允許走捷徑的“壓榨”指令
位置:第30頁,Table 3
![]()
原文為:
Reasoning Effort: Absolute maximum with no shortcuts permitted. You MUST be very thorough in your thinking... rigorously stress-testing your logic against all potential paths, edge cases, and adversarial scenarios.
翻譯過來,大概的意思就是:
推理投入度:絕對最大化,不容許任何捷徑。你的思考必須極其徹底,全面拆解問題以觸及根本原因,并針對所有可能的路徑、邊緣案例及對抗性場景,對你的邏輯進行嚴苛的壓力測試。要明確寫出完整的深思過程,記錄每一個中間步驟、考慮過的替代方案以及被否決的假設,確保絕對沒有任何未經審視的預設。
這段話是模型開啟 Think Max(極致思考模式)時,后臺偷偷塞給大模型的“系統提示詞(System Prompt)”。寫得極具壓迫感,像是一個嚴厲的導師在逼學生榨干腦力,不準有任何偷懶。
DeepSeek為其式設定了一套極為嚴苛的系統提示詞。用詞極具壓迫感,還全部使用了絕對祈使句:“絕對最大化”“不許走捷徑”“必須徹底”“嚴酷地壓力測試”“不放過任何一個假設”。它還顯式地命令模型“禁止走捷徑”,要求記錄每一個被拒絕的假設和中間步驟。
通過這種極度嚴厲的工程化Prompt,榨干大模型在 1M Context(百萬上下文)里的算力去驗證代碼和邏輯錯誤。這就像是給模型戴上了“邏輯緊箍咒”,確保在處理復雜邏輯或代碼時,模型不會因為追求速度而忽略細節。
彩蛋二:給硬件廠商的“公開信”:別瞎忙活帶寬了
位置:第16頁,Section 3.1
![]()
原文為:
Once bandwidth meets this threshold, it ceases to be the bottleneck, and devoting additional silicon area to further bandwidth brings diminishing returns. We encourage future hardware designs to target such balance points rather than scale bandwidth unconditionally.
意思是:
一旦帶寬達到該閾值,便不再是瓶頸,此時將更多的芯片面積用于進一步提升帶寬,會帶來邊際收益遞減。我們鼓勵未來的硬件設計瞄準這樣的平衡點,而非一味地無條件擴展帶寬。
DeepSeek在報告中反客為主,給英偉達和華為等硬件廠商開出了“方子”。體面表達了他們在硬件方面的觀點:盲目提升帶寬對現在的AI訓練效率提升有限,建議廠商把芯片面積留給更能提高計算通信比的地方。
彩蛋三:極致效率,1M長度下僅需V3.2的10%緩存
位置:摘要,Abstract
![]()
原文:
In the one-million-token context setting, DeepSeekV4-Pro requires only 27% of single-token inference FLOPs and 10% of KV cache compared with DeepSeek-V3.2.
意思是:
在百萬級token上下文設定下,與DeepSeek-V3.2相比,DeepSeek-V4-Pro僅需其27%的單token推理FLOPs,以及10%的KV緩存。
DeepSeek在“省錢”和“省資源”上達到了變態的程度。
通過 CSA(壓縮稀疏注意力)和 HCA(重度壓縮注意力)技術,它在處理100萬字的長文本時,占用的內存竟然只有前代版本的十分之一。這意味著未來個人電腦甚至手機運行百萬超長文本分析將成為可能。
彩蛋四:坦誠的“煉丹玄學”:知其然不知其所以然
位置:第26頁,Section 4.2.3
![]()
原文為:
Although a comprehensive theoretical understanding of their underlying mechanisms remains an open question for now, we are sharing them openly to foster further exploration by the community.
意思是:盡管目前對其底層機制的全面理論理解仍是一個懸而未決的問題,但我們將其公開分享,以推動社區的進一步探索。
在Mitigating Training Instability 緩解訓練不穩定性章節中,DeepSeek團隊分享了兩個解決萬億參數模型訓練崩潰的獨門絕技,Anticipatory Routing和SwiGLU Clamping。
技術報告中,他們也非常耿直地承認:這種“雖然我不知道原理是啥,但它跑起來確實有用,大家拿去用吧”的坦誠,可以說是AI煉丹界的真實寫照了,非常有開源精神。
彩蛋五:“快指令”(Quick Instruction)特供Token
位置:第33頁,Table 5
![]()
<|action|> (判斷是否搜網), <|title|> (生成標題), <|query|> (生成搜索詞)。
為了讓Chatbot響應更快,DeepSeek在模型內部植入了一系列專用Token“暗號”。
V4之所以能這么快,是因為它直接復用了已經算好的長文本 KV Cache(緩存)。不用像以前那樣把幾十萬字重新喂給另一個小模型去判斷,從而徹底消除了“冗余的預填充(redundant prefilling)”,這樣用戶的等待時間就能大幅縮短。
彩蛋六:Codeforces全球排名第23位
位置:第39頁,Section 5.3.2
![]()
原文為:On the Codeforces leaderboard, DeepSeek-V4-Pro-Max currently ranks 23rd among human candidates.
這句話的意思是,在 Codeforces 排行榜上,DeepSeek-V4-Pro-Max 當前在人類參賽者中位列第23名。
這個“彩蛋”極具含金量。在純人類參與的全球頂級編程競賽Codeforces排名中,DeepSeek-V4的預估分值(3206分)足以排到全球第23名。這意味著它已經超越了絕大多數頂級程序員,進入了人類編程智力的最頂端一小撮。
彩蛋七:內部“員工大調查”,52%的人已離不開它
位置:第44頁,Section 5.4.4
![]()
原文為:
In a survey asking DeepSeek developers and researchers (= 85) — all with experience of using DeepSeek-V4-Pro for agentic coding in their daily work— whether DeepSeek-V4-Pro is ready to serve as their default and primary coding model compared to other frontier models, 52% said yes, 39% leaned toward yes, and fewer than 9% said no.
翻譯過來是:
在一項面向DeepSeek開發者和研究人員的調查(N=85)中,這些受訪者均有在日常工作中使用DeepSeek-V4-Pro進行智能體編碼的經驗。當被問及與其他前沿模型相比,DeepSeek-V4-Pro是否已準備好成為他們默認且主要的編程模型時,52%給出了肯定回答,39%傾向于肯定,而表示否定的不足9%。
DeepSeek非常罕見地公開了公司內部85名頂尖研究員的真實反饋。超過一半的DeepSeek內部核心人員已經將其作為日常首選編程工具。這種“吃自己的狗糧”的行為比跑分數據更能說明模型在實際生產中的情況。
彩蛋八:內部員工的真實“吐槽”被寫進技術報告
位置:第44頁,Section 5.4.4
![]()
原文:
Respondents find DeepSeek-V4-Pro to deliver satisfactory results across most tasks, but note trivial mistakes, misinterpretation of vague prompts, and occasional over-thinking.
翻譯過來就是:
受訪者認為DeepSeek-V4-Pro在大多數任務上都能給出令人滿意的結果,但也指出它存在一些細小的錯誤、對模糊提示的理解偏差,以及偶爾的過度思考。
這句話緊挨著上一條“內部員工調查”的彩蛋,DeepSeek選擇把內部員工的吐槽也寫了進去。
彩蛋九:接地氣的“中國特色”評測題
位置:第43頁,Figure 13
![]()
為了展示模型在復雜長文本白領工作中的能力,DeepSeek放出的示例任務非常接地氣。
“寫一份某知名奶茶品牌與北京地鐵的聯名營銷策劃”“UGC傳播與社交裂變設計”,比起國外大模型測寫全英文的莎士比亞詩歌,DeepSeek的評測題真的很懂國內打工人的日常PPT需求。
彩蛋十:致謝名單里的神秘測試Dolly Deng
位置:第55頁,附錄 A.2 致謝部分
![]()
附錄 A.2 致謝(Acknowledgment)部分,除了全體作者外,團隊特別單獨點名感謝了一位非作者人士:“We would like to thank Dolly Deng and other testers for their valuable suggestions and feedback...”
翻譯過來就是,我們要感謝 Dolly Deng 及其他測試人員,就DeepSeek-V4系列模型的能力所提出的寶貴建議與反饋。
能在這樣一份AI基礎模型技術報告中被單獨拎出來感謝的測試(或外部反饋者),不知道他在V4內測期間提交了怎樣關鍵的Bug或改進建議。
歡迎在評論區留言~如需開白請加微信:YPYP01234567
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.