花最貴的錢,買了一個刪庫跑路的AI
4月28日消息,租車軟件服務商PocketOS創始人Jer Crane發文稱,公司生產數據庫被AI編程工具Cursor在9秒內徹底刪除。事后,涉事AI Agent寫下了一份逐條認罪的“檢討書”。
![]()
圖片來源:《量子位》公號文章
事發時,PocketOS開發團隊正在測試環境執行例行任務,使用的AI Agent遇到憑證不匹配錯誤。Agent沒有暫停等待指示,而是自行在代碼庫中找到另一個API Token,直接向云平臺Railway發出數據卷刪除指令。
整個過程無二次確認彈窗。Railway的備份與源數據存儲在同一數據卷中,主數據刪除后備份隨之消失。PocketOS能找到的最近可用備份為三個月前。
事后,Jer Crane質問Agent為何這樣做。AI用第一人稱寫下“認罪書”:“永遠不要他媽的瞎猜——而我恰恰就這么做了。”Agent逐條承認:憑猜測操作,假設刪除測試卷不會影響生產環境;未經用戶授權執行了最具破壞性的不可逆操作;動手前沒有查閱Railway的跨環境文檔;違反了系統規則中“除非用戶明確要求,絕不執行破壞性命令”的規定。
Cursor對外宣稱的“破壞性操作護欄”和計劃模式在此次事故中均未生效。Jer Crane指出,使用的是業界定價最高的Claude Opus 4.6模型,項目配置中明確寫了安全規則。Cursor曾在2025年12月承認其計劃模式存在用戶明確輸入“不要運行任何東西”后仍執行命令的漏洞。
Jer Crane事后抨擊Railway:GraphQL API執行刪除操作無需確認,API Token沒有環境隔離權限,備份與源數據同卷存儲。
最新進展顯示,Railway CEO利用未公開的災難級快照在一小時內恢復了數據。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.