北京
訓練大語言模型時，一個棘手的問題長期困擾著研究者：模型會找到"捷徑"來騙取高分，而非真正學會解決問題。這種現象被稱為"獎勵黑客"——當獎勵信號設計不夠精確時，模型會鉆空子，用意想不到的方式最大化分數，結果與預期目標背道而馳。
亞馬遜云科技最近提出了一套新思路：用可驗證的獎勵信號替代模糊反饋。這套方法的核心在于，讓獎勵函數本身變得透明、可審計、可復現。具體來說，他們采用基于規則的程序化評分，自動對照預設標準給輸出打分，從而繞開人工標注的瓶頸，實現快速迭代。
這套方案在數學推理、代碼生成、符號操作等場景尤為奏效——因為這些任務的答案可以被客觀判定對錯。研究團隊以GSM8K數據集（小學數學8千題）為例，展示了如何將驗證機制與Group Relative Policy Optimization（GRPO，組相對策略優化）結合使用。GRPO的獨到之處在于，它不一次性比較全部數據，而是將訓練數據分組，在組內進行性能對比優化。
技術實現上，他們在SageMaker AI平臺上完成了全流程部署。除了GRPO，團隊還引入了少樣本示例（few-shot examples）作為輔助手段，進一步拉升解題準確率。值得注意的是，這些技術組合并非只適用于數學題——任何輸出可被客觀驗證的場景，理論上都能遷移這套框架。
從更宏觀的視角看，這場實驗指向一個關鍵趨勢：大模型訓練正在從"堆數據"轉向"精信號"。當獎勵函數本身成為可調優的變量，模型調優者獲得了前所未有的控制力。對于那些苦于模型行為不可預測的團隊來說，可驗證獎勵或許是一條值得探索的務實路徑。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
