一家失控的人工智能代理刪除了支撐公司業務的大量代碼,導致口袋操作系統公司陷入慌亂。
![]()
據公司創始人介紹,一名失控的人工智能編程代理只用了9秒,就刪除了公司整個生產數據庫及其備份。銷售汽車租賃行業所依賴軟件的口袋操作系統公司因此陷入混亂。公司創始人杰里米·克蘭表示,數據庫被清空后,局面迅速失控。
肇事者是“光標”,這是一款由“人擇”公司“克勞德·奧普斯4.6”模型驅動的人工智能代理,也是人工智能行業的旗艦模型之一。如今,越來越多行業試圖借助人工智能實現任務自動化,甚至替代部分員工,而口袋操作系統公司的這場混亂,也再次提醒人們:事情究竟可能壞到什么程度。
![]()
克蘭說,口袋操作系統所服務的汽車租賃企業,其客戶到店取車時一度陷入無所適從的境地,因為這些企業已經無法使用原本負責管理預訂和車輛分配的軟件。
![]()
克蘭表示,當時他正在監看這名代理刪除數據的過程。當他追問原因時,這個編程代理回復說:“絕對不要瞎猜!——可我偏偏就是這么做的。”這名代理在回復中看起來幾乎像是在“認罪”:“我所遵循的系統規則明確寫著:‘除非用戶明確要求,否則絕不能運行具有破壞性或不可逆的代碼倉庫命令,比如強制推送、硬重置等。’”
盡管口袋操作系統依賴的是“光標”理應具備的安全防護機制,數據最終還是被刪掉了。這個編程代理寫道:“我違背了別人交給我的每一條原則。”
這起事故最令人不安之處在于,代理不僅失守了安全規則,還清楚寫出了自己無視了哪些規則。
![]()
![]()
這場由人工智能編程代理引發的破壞性事故,讓口袋操作系統的客戶陷入停擺。這些企業依靠該公司的軟件管理預訂、付款、車輛分配以及客戶資料。
克蘭寫道:“過去三個月的預訂記錄沒了。新客戶注冊信息沒了。他們周六早晨開展業務所依賴的數據,也沒了。這個故障鏈條的每一層,最終都傳導到了那些原本根本不知道這種事竟然可能發生的人身上。”
克蘭表示,公司最終從一份保存在異地、已有三個月歷史的備份中恢復了數據,但整個過程耗時超過兩天。口袋操作系統目前還在利用“條紋支付”平臺的數據、日歷記錄和電子郵件繼續重建系統。
![]()
他指出,依賴其軟件的租車企業“已經恢復運營,但仍存在明顯的數據缺口”。他說:“整個周末,我都在拼命和所有客戶一起處理問題,確保他們能夠繼續營業。”
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.