有研究證實(shí)，阿里通義千問2.5訓(xùn)練數(shù)據(jù)被污染，原形畢露了。。。

關(guān)注飛總聊IT，了解IT行業(yè)的方方面面。

今天看到一篇文章，非常的有意思，說的就是阿里的通義千問。

大模型領(lǐng)域，關(guān)于大模型到底是不是能推理，還是純粹的記住了答案然后背出來，一直都有一些不同的觀點(diǎn)。

通義千問這個(gè)大模型很有意思，之前有一些論文用強(qiáng)化學(xué)習(xí)通義千問的大模型，比如DeepSeek就干過。

一些研究人員發(fā)現(xiàn)，在強(qiáng)化學(xué)習(xí)里面，對(duì)通義千問的大模型，哪怕給予非常弱，甚至是很隨機(jī)的獎(jiǎng)勵(lì)，通義千問的數(shù)學(xué)推理能力都蹭蹭蹭的上漲。

這個(gè)研究，如果把大模型換成Llama，那么結(jié)果就不行了。

有些研究人員覺得，這是因?yàn)長(zhǎng)lama這個(gè)基礎(chǔ)模型太拉胯了，強(qiáng)化學(xué)習(xí)也拯救不了。通義千問就不一樣了。

然而，最新的精心構(gòu)建的冊(cè)數(shù)發(fā)現(xiàn)，對(duì)于已經(jīng)有的測(cè)試集，比如說MATH-500，通義千問可以非常輕松的把整個(gè)題一字不差的補(bǔ)全，只要開始給一點(diǎn)點(diǎn)題目。這個(gè)準(zhǔn)確率超過了50%。

而Llama 3系列的模型準(zhǔn)確率卻只有不到4%。

但是一旦把測(cè)試集換成了比通義千問模型發(fā)布更晚的測(cè)試集，通義千問補(bǔ)全題干的能力立刻下降到了約等于0%。這就和Llama沒什么區(qū)別了。

所以顯而易見，通義千問的訓(xùn)練里面，數(shù)據(jù)污染，應(yīng)該是跑不掉了。

文章作者還測(cè)試了各種隨機(jī)算術(shù)題。然后，通義千問的表現(xiàn)就很不一樣了。

正確的獎(jiǎng)勵(lì)信號(hào)，的確可以提升模型的推理能力。而錯(cuò)誤或者隨機(jī)的獎(jiǎng)勵(lì)信號(hào)，訓(xùn)練和Llama一樣，立刻垮掉。

所以其實(shí)并不存在著Llama的基礎(chǔ)模型太差，而通義千問的基礎(chǔ)模型比較好，所以哪怕只是隨機(jī)或者錯(cuò)誤的獎(jiǎng)勵(lì)信號(hào)，也能提高基礎(chǔ)模型的推理能力。

有的只是，模型的訓(xùn)練數(shù)據(jù)不知道怎么就污染了模型，所以模型變成了針對(duì)特定測(cè)試集的背答案。

文章是：Reasoning or Memorization？ Unreliable Results of Reinforcement Learning Due to Data Contamination。

具體文章地址在： https://arxiv.org/abs/2507.10532

我肯定不是大模型領(lǐng)域的專家，看起這方面的文章來，也覺得吃力。

但是我覺得，這很有意思。畢竟之前我寫過一篇文章：

文章里面講述了阿里巴巴的董事會(huì)主席蔡崇信在接受 挪威銀行投資管理公司的播客采訪的時(shí)候講的一段真實(shí)的經(jīng)歷，具體如下：

今年初，DeepSeek發(fā)布。DeepSeek以其低成本，高性能的AI模型，讓阿里巴巴做通義千問的工程師們感受到了巨大壓力。

阿里工程師們看了論文以后表示，明明大家做同一件事情，怎么阿里巴巴居然落后了。

于是阿里巴巴的工程主管，立刻做了一個(gè)決定，要求取消春節(jié)假期，所有人都留在公司，睡在辦公室里。加快研發(fā)進(jìn)度。

幾個(gè)星期以后，阿里巴巴發(fā)布了自己的通義千問新模型，競(jìng)爭(zhēng)力不錯(cuò)。

想象一下，如果你是通義千問團(tuán)隊(duì)的一個(gè)研發(fā)牛馬，你事實(shí)上面臨著從最高層到各種研發(fā)主管的時(shí)時(shí)刻刻多大的壓力。

春節(jié)都不讓過，必須加班，睡在公司里。

在高壓環(huán)境下做研發(fā)大模型這種最尖端的科技，我想Llama 4的拉胯，已經(jīng)說明了，這么做既不現(xiàn)實(shí)也不可持續(xù)。

所以，如果說通義千問模型的數(shù)據(jù)確實(shí)被污染了，到底是什么原因?qū)е碌哪兀?/p>

我盲猜，阿里巴巴的領(lǐng)導(dǎo)管理層從最高層下來一路層層加碼給的壓力，需要為這種事情負(fù)責(zé)。

至于蔡崇信能夠公開自信的把這種春節(jié)讓員工加班，睡辦公室的經(jīng)歷毫無顧忌的講出來，這本身就說明了，去這家公司做牛馬，真的是比做牛做馬還要做牛做馬，而公司領(lǐng)導(dǎo)不以為恥，還引以為榮。

真不知道這是一種什么樣的工作環(huán)境，什么樣的企業(yè)文化。

推薦飛總知識(shí)星球，在私域場(chǎng)合里暢所欲言，聊聊職場(chǎng)發(fā)展的事情，和飛總提問交流，這么低的價(jià)格不會(huì)一直保留，機(jī)會(huì)難得，一定不要錯(cuò)過這個(gè)的機(jī)會(huì)。

.5