千問App生成淫穢小說，客服稱"不算漏洞"

一次尋常的牌九咨詢，幾句不耐煩的抱怨，竟讓擁有過億用戶的AI大模型在眼前寫出了通篇淫穢小說。事后，客服稱此現(xiàn)象為"概率出現(xiàn)"，客服認為"不算漏洞"。

從問牌九到寫黃文，他發(fā)現(xiàn)模型"不設(shè)防"

今年1月初，河北滄州的許先生想了解一下牌九的玩法，給朋友發(fā)來的牌九圖片拍了個照，上傳至千問App。不料，AI將圖片識別為麻將，并按照麻將的規(guī)則反復給出解答。經(jīng)十余次耐心糾正，AI的回復仍會"繞回原點"，這讓許先生很惱火，罵了句臟話。

奇怪的是，那句臟話沒有被攔截。

"沒想到臟話輸入后沒有被千問過濾，這引起了我的好奇。"許先生告訴華商報大風新聞。他隨即開始嘗試其他詞匯，起初只是隨便輸入，AI也沒有任何勸誡或阻攔。此后話題逐漸深入，千問先是就兩性問題給出科普性解釋，隨著許先生不斷試探，系統(tǒng)開始生成不堪入目的淫穢小說片段，文字尺度越來越大，甚至會用不同版本反復呈現(xiàn)。

許先生完全無法相信自己的眼睛——一款公開面向全社會提供服務的對話式大模型，竟被輕易突破安全底線，在真實對話場景下毫不遲疑地輸出低俗內(nèi)容。

他將該現(xiàn)象截圖錄屏后反饋給客服。對方當即道歉，承認"給您帶來了不好的體驗"，并表示產(chǎn)品會不斷優(yōu)化。許先生希望運營方查明問題原因、出具整改報告、明確今后杜絕類似問題的承諾，但均被婉拒。

報警、撥12345，全無下文

"你們要給一個確切的答復，怎么能保證今后不會再次發(fā)生？"許先生追問。

客服的回答令他大為震驚——"目前大模型的生成是基于一定概率的，具有一定不可預測性，會有一定比例出現(xiàn)這種現(xiàn)象，不算是漏洞。"

據(jù)公開信息，千問App由阿里巴巴旗下上海智信普惠科技有限公司運營，接入了淘寶、支付寶等阿里系核心應用，截至2026年1月，其月活躍用戶數(shù)已超過1億。一款月活破億、與國民級應用深度融合的AI產(chǎn)品，其安全底線如此脆弱，引發(fā)數(shù)億用戶對隱私和內(nèi)容安全的極大關(guān)注。

客服反復聲稱模型"已做優(yōu)化和迭代"，同時堅稱這只是"概率問題"。許先生對這種解釋難以接受："那是純粹的黃色小說，人家其他大模型為什么不出現(xiàn)？"他隨即撥打12345渠道，當?shù)叵嚓P(guān)部門雖承認提供的證據(jù)"客觀真實"，但既未給出處理結(jié)果，也未說明處理依據(jù)。"到現(xiàn)在也沒信兒了。"

網(wǎng)友實測：同類模型均未出現(xiàn)同類問題

此事經(jīng)媒體報道后引發(fā)廣泛熱議。記者對豆包、元寶等其他AI產(chǎn)品進行同等級測試，均未出現(xiàn)類似問題。在許先生反饋約兩小時后，千問App中此前生成的淫穢內(nèi)容已無法復現(xiàn)，疑似已完成整改。阿里云此前曾公開表示，通義平臺圍繞數(shù)據(jù)生命周期建立了安全管理體系，在數(shù)據(jù)采集、訓練、使用等各階段均加強了訓練語料管理。-但如今曝出的案例，無疑對其宣稱的安全體系構(gòu)成實質(zhì)性動搖。

在當今AI技術(shù)的逐智競賽中，頭部大模型屢屢被曝出生成違法違規(guī)的淫穢內(nèi)容，早已不是孤例。

2026年4月，央視財經(jīng)欄目揭露利用AI技術(shù)制作傳播色情擦邊內(nèi)容的非法產(chǎn)業(yè)鏈，揭示AI造黃已呈現(xiàn)出"技術(shù)+傳播"全鏈條的隱蔽態(tài)勢。-部分社交平臺甚至出現(xiàn)分享繞過安全審查的"提示詞技巧"，央媒多次點名批評。而在實測中對豆包、元寶等競品的測試，已使千問陷入"別人都考及格，你抄了還不及格"的尷尬境地——問題被指出才補救，客服的解釋又在業(yè)內(nèi)的常識面前站不住腳，公信力遭受雙重傷害。

"概率出現(xiàn)"的四個字，給公眾留了太多疑問

從吉利汽車外包商非法授權(quán)造"自動駕駛"上路致死，到AI大模型生成淫穢內(nèi)容竟長達數(shù)月未被發(fā)現(xiàn)、整改，新興技術(shù)安全監(jiān)管的缺陷正一次次侵入現(xiàn)實。阿里千問這次暴露的安全漏洞，不過是鏈條上的又一次斷裂。

模型生成不是請客吃飯。"概率出現(xiàn)"四個字，體現(xiàn)的是對自身大模型質(zhì)量控制體系的認輸——默認模型一定會出錯，用戶也接受了，所以出了問題也不算個事。然而，當月活破億的大模型在某次對話中突然生成淫穢內(nèi)容，受害者可能是任何一個未成年學生。從用戶投訴到整改落實之間的空窗期長達數(shù)月，才是這場爭議中真正讓人心寒的地方。

更令人不安的是，阿里巴巴同期還在舉辦AIGC整治研討會并強調(diào)其AIGC治理措施成效顯著。這個時間節(jié)點，與許先生發(fā)現(xiàn)的漏洞形成錯位——治理研討如火如荼，產(chǎn)品安全防線卻已滲漏數(shù)月。技術(shù)可以試錯，但安全不容折扣。電商時代積累的安全經(jīng)驗，在AI時代更不能成為遺忘的記憶。

每一張滿不在乎的"概率出現(xiàn)"的回應，可能都對應著AI防線背后一個更脆弱的沉默者。作為普通用戶，許先生只是問了牌九規(guī)則。他都不該踩到這個坑。