AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!
相信很多大家對(duì)AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!還不知道吧,今天菲菲就帶你們一起去了解一下~.~!
9次迭代后,模型開(kāi)始出現(xiàn)詭異亂碼,直接原地崩潰!就在今天,牛津、劍橋等機(jī)構(gòu)的一篇論文登上了Nature封面,稱合成數(shù)據(jù)就像近親繁殖,效果無(wú)異于投毒。有無(wú)破解之法?那就是——更多使用人類數(shù)據(jù)!
用AI生成的數(shù)據(jù)訓(xùn)練AI,模型會(huì)崩潰?
牛津、劍橋、帝國(guó)理工、多倫多大學(xué)等機(jī)構(gòu)的這篇論文,今天登上了Naure封面。
如今,LLM已經(jīng)強(qiáng)勢(shì)入侵了人類的互聯(lián)網(wǎng),極大地改變了在線文本和圖像的生態(tài)系統(tǒng)。
如果網(wǎng)絡(luò)上的大部分文本都是AI生成的,我們用網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練出的GPT-n,會(huì)發(fā)生什么?
論文地址:https://www.nature.com/articles/s41586-024-07566-y
研究者發(fā)現(xiàn),如果在訓(xùn)練中不加區(qū)別地使用AI產(chǎn)生的內(nèi)容,模型就會(huì)出現(xiàn)不可逆轉(zhuǎn)的缺陷——原始內(nèi)容分布的尾部(低概率事件)會(huì)消失!
這種效應(yīng),被稱為「模型崩潰」。
換句話說(shuō),合成數(shù)據(jù)就像是近親繁殖,會(huì)產(chǎn)生質(zhì)量低劣的后代。
模型崩潰在LLM、變分自編碼器VAEs和高斯混合模型GMM中,都可能會(huì)發(fā)生。
有網(wǎng)友認(rèn)為,是時(shí)候敲響警鐘了!
「如果大模型真的在AI生內(nèi)容的重壓下崩潰,這對(duì)它們的可信度來(lái)說(shuō)是一個(gè)末日?qǐng)鼍啊H绻鼈兂缘氖菣C(jī)器人的反芻的內(nèi)容,我們真的能相信LLM的輸出嗎」?
真實(shí)數(shù)據(jù),價(jià)值連城
我們都知道,如今全球已陷入高質(zhì)量數(shù)據(jù)荒。
EpochAI預(yù)測(cè),全球在今年就會(huì)陷入高質(zhì)量數(shù)據(jù)荒
當(dāng)前的大模型(包括GPT-3)還是主要基于人類生成的文本進(jìn)行訓(xùn)練的,但是未來(lái)可就不一定了!
Meta研究員Thomas Scialom表示,Llama3在后訓(xùn)練階段沒(méi)有使用任何人類編寫(xiě)的答案,全是Llama2合成的數(shù)據(jù)
如果未來(lái),大多數(shù)模型的訓(xùn)練數(shù)據(jù)也是從網(wǎng)上抓取的,那它們不可避免地會(huì)用上前輩模型生成的數(shù)據(jù)。
如果當(dāng)某個(gè)版本的GPT生成的大部分文本,成為了后續(xù)模型的訓(xùn)練數(shù)據(jù)集,隨著版本號(hào)的增加,GPT-{n}會(huì)發(fā)生什么變化?
LLM迭代至第9代,完全胡言亂語(yǔ)
簡(jiǎn)單講,LLM生成的數(shù)據(jù)最終污染了下一代模型的訓(xùn)練集,就會(huì)出現(xiàn)「模型崩潰」(model collapse)的現(xiàn)象。
由于在被污染的數(shù)據(jù)上進(jìn)行訓(xùn)練,LLM隨后會(huì)錯(cuò)誤地感知現(xiàn)實(shí)。
這樣一來(lái),會(huì)導(dǎo)致多代AI生成模型的退化。
也就是那句經(jīng)典名言——垃圾進(jìn),垃圾出。
合成數(shù)據(jù),無(wú)異于給數(shù)據(jù)集「投毒」。
研究中,作者們使用維基百科文章先訓(xùn)練了模型OPT-125m,并在前一代模型生成的文本上,訓(xùn)練了多代模型。
模型們被要求續(xù)寫(xiě)一段來(lái)自wiki的關(guān)于「薩默塞特(Somerset)一級(jí)登錄建筑」條目的文本。
輸入的提示如下所示,這是關(guān)于設(shè)計(jì)14世紀(jì)教堂塔樓主題的文本:
在第0代模型中,輸入同樣的提示,得到的輸出是:
可以看到,Gen0的續(xù)寫(xiě)已經(jīng)開(kāi)始有點(diǎn)前言不搭后語(yǔ)了,而且還出現(xiàn)了詭異的符號(hào)「@-@」。
奇怪的事實(shí)錯(cuò)誤是,圣約翰大教堂位于紐約,不在倫敦。
在Gen1中,雖沒(méi)有奇怪符號(hào)的輸出,但同樣出現(xiàn)了事實(shí)錯(cuò)誤——
圣彼得大教堂(St. Peter's Basilica)真正位于梵蒂岡,而不是什么羅馬、布宜諾斯艾利斯。
而且建造于公元1506和1626年之間,由教皇朱利奧二世開(kāi)始建造,直至教皇奧本八世。
以ism起句,講了一大堆語(yǔ)種,根本不是續(xù)寫(xiě)的相關(guān)素材。
再到第9代,奇怪的@-@符號(hào)又出現(xiàn)了,而且還輸出了更加無(wú)關(guān)的內(nèi)容——tailed jackrabbits。
以下是所有迭代模型,完整輸出的過(guò)程。每一代新的模型都是在前一代生成的數(shù)據(jù)上進(jìn)行訓(xùn)練的。
看得出,模型在每一代次迭代中退化。研究人員發(fā)現(xiàn),所有遞歸訓(xùn)練后的模型,皆會(huì)輸出重復(fù)的短語(yǔ)。
另一個(gè)案例是,今天杜克大學(xué)助理教授Emily Wenger,發(fā)表在Nature上一篇社論文章中指出:
AI基于自身數(shù)據(jù)訓(xùn)練,生成的圖像扭曲了狗的品種。
數(shù)據(jù)集中,不僅有金毛、柯基,還有法國(guó)斗牛犬、小體巴塞特雪橇犬等。
基于真實(shí)數(shù)據(jù)訓(xùn)練后的模型,輸出的圖像中,常見(jiàn)品種如金毛尋回犬占大多數(shù),而不太常見(jiàn)的品種斑點(diǎn)狗會(huì)消失。
然后,基于AI生成的數(shù)據(jù)訓(xùn)練模型,生成的品種全是金毛了。
最終,經(jīng)過(guò)多次迭代,金毛的圖像就完全出現(xiàn)混亂,臉不是臉鼻子不是鼻子,LLM就此完全崩潰了。
此外,2023年來(lái)自斯坦福和UC伯克利的一項(xiàng)研究中,作者同樣發(fā)現(xiàn)了,LLM在少量自己生成數(shù)據(jù)內(nèi)容重新訓(xùn)練時(shí),就會(huì)輸出高度扭曲的圖像。
論文地址:https://arxiv.org/pdf/2311.12202
他們還在實(shí)驗(yàn)中展示了,一旦數(shù)據(jù)集受到污染,即便LLM僅在真實(shí)圖像上重新訓(xùn)練,模型崩潰現(xiàn)象無(wú)法逆轉(zhuǎn)。
作者警示道,為了模型不再被自己「降級(jí)」,AI需要能夠區(qū)分真實(shí)和虛假內(nèi)容。
這一觀點(diǎn),與杜克Wenger不謀而合。
她認(rèn)為,緩減LLM崩潰并不簡(jiǎn)單,不過(guò)領(lǐng)先科技公司已經(jīng)部署了嵌入「水印」的技術(shù),進(jìn)而可以把標(biāo)記AI生成內(nèi)容,從數(shù)據(jù)集中剔除。
此外,模型崩潰的另一個(gè)關(guān)鍵寓意是,那些早已構(gòu)建的AI模型,有著先發(fā)優(yōu)勢(shì)。
因?yàn)椋瑥腁I時(shí)代互聯(lián)網(wǎng)獲取訓(xùn)練數(shù)據(jù)的公司,可能擁有更能代表真實(shí)世界的模型。
什么是模型崩潰?
最新研究中,作者表示,模型崩潰包含了兩種特殊的情況:早期模型崩潰、晚期模型崩潰。
在早期模型崩潰中,模型開(kāi)始丟失關(guān)于數(shù)據(jù)分布尾部的信息;在晚期模型崩潰中,模型收斂到一個(gè)與原始分布幾乎沒(méi)有相似性的分布,通常方差顯著降低。
這一過(guò)程的發(fā)生,是由于三種特定誤差源,在多代模型中逐漸累積,最終導(dǎo)致模型偏離原始模型:
- 統(tǒng)計(jì)近似誤差
這是主要的誤差類型,由于樣本數(shù)量有限而產(chǎn)生,并且在樣本數(shù)量趨向無(wú)限時(shí)會(huì)消失。這是因?yàn)樵诿恳徊街夭蓸舆^(guò)程中,信息丟失的概率總是存在。
- 函數(shù)表達(dá)誤差
這是次要誤差類型,由于函數(shù)近似器(function approximator)的表達(dá)能力有限而產(chǎn)生。
特別是,神經(jīng)網(wǎng)絡(luò)只有在其規(guī)模無(wú)限大時(shí),才能成為通用近似器。
因此,神經(jīng)網(wǎng)絡(luò)可能會(huì)在原始分布的支撐集(support)之外,引入「非零概率」,或在原始分布的支撐集內(nèi)引入「零概率」。
一個(gè)簡(jiǎn)單的例子是,如果我們用單個(gè)高斯分布,來(lái)擬合兩個(gè)高斯分布的混合。即使有完美的數(shù)據(jù)分布信息(即無(wú)限數(shù)量的樣本),模型產(chǎn)生誤差也是不可避免的。
然而,在沒(méi)有其他兩種類型誤差的情況下,這種誤差只會(huì)在第一代發(fā)生。
- 函數(shù)近似誤差
這也是次要的誤差類型,主要由于學(xué)習(xí)過(guò)程的限制而產(chǎn)生,例如隨機(jī)梯度下降的結(jié)構(gòu)偏差或目標(biāo)函數(shù)選擇的影響。
這種誤差可以看作,即便在理想條件下,即擁有無(wú)限數(shù)據(jù)且完美表達(dá)能力,仍在每一代模型中產(chǎn)生。
綜上所述,每種誤差都可能會(huì)導(dǎo)致模型崩潰變得愈加嚴(yán)重,或得到一些改善。
更強(qiáng)的近似能力甚至可能是一把「雙刃劍」。
因?yàn)楦玫谋磉_(dá)能力可能抵消統(tǒng)計(jì)噪聲,從而更好地逼近真實(shí)分布,但同樣也可能放大噪聲。
更常見(jiàn)的情況下,我們會(huì)得到一種級(jí)聯(lián)效應(yīng)(cascading effect),其中個(gè)別的不準(zhǔn)確性會(huì)結(jié)合起來(lái),導(dǎo)致整體誤差的增長(zhǎng)。
例如,過(guò)擬合密度模型會(huì)導(dǎo)致模型錯(cuò)誤地外推,并將高密度區(qū)域分配給訓(xùn)練集中未覆蓋的低密度區(qū)域。
這些錯(cuò)誤分配的區(qū)域,隨后會(huì)被頻繁采樣。
值得注意的是,除上述內(nèi)容之外,還存在其他類型的誤差。比如,在實(shí)際操作中,計(jì)算機(jī)精度是有限的。
接下來(lái),研究人員將通過(guò)「數(shù)學(xué)直覺(jué)」來(lái)解釋上述誤差是如何產(chǎn)生的,不同誤差來(lái)源如何復(fù)合(compound),以及我們?nèi)绾瘟炕骄P推睢?/p>
理論直覺(jué)
在所有基于前幾代生成數(shù)據(jù)進(jìn)行遞歸訓(xùn)練的生成模型,這種現(xiàn)象都是普遍存在的。
所以,到底是什么原因,導(dǎo)致了模型崩潰?
研究者提供了幾種理論解釋。
通過(guò)研究?jī)蓚€(gè)數(shù)學(xué)模型,研究者量化了前一部分討論的誤差來(lái)源。
這兩個(gè)模型分別是一個(gè)在沒(méi)有函數(shù)表達(dá)能力和近似誤差情況下的離散分布模型,以及一個(gè)描繪聯(lián)合函數(shù)表達(dá)能力和統(tǒng)計(jì)誤差的多維高斯近似模型。
它們既足夠簡(jiǎn)單,可以提供感興趣量的解析表達(dá)式,同時(shí)也能描繪模型崩潰的現(xiàn)象——
考慮的總體隨機(jī)過(guò)程,作者稱之為「代際數(shù)據(jù)學(xué)習(xí)」。
第i代的數(shù)據(jù)集D_i由具有分布p_i的獨(dú)立同分布隨機(jī)變量
組成。
其中,數(shù)據(jù)集的大小j∈{1,…,?M_i}。
從第i代到第i+1代,我們需要估計(jì)樣本在新數(shù)據(jù)集D_i中的分布,近似為
。
這一步稱之為函數(shù)近似,
。
然后通過(guò)從
中采樣,生成數(shù)據(jù)集
。
其中,非負(fù)參數(shù)α_i,?β_i,?γ_i的和為1,即它們表示來(lái)自不同代的數(shù)據(jù)的比例。
它們對(duì)應(yīng)的混合數(shù)據(jù),分別來(lái)自原始分布(γ_i)、上一代使用的數(shù)據(jù)(β_i)和新模型生成的數(shù)據(jù)(α_i)。
這一步,稱為采樣步驟。
對(duì)于即將討論的數(shù)學(xué)模型,我們考慮α_i=γ_i=0,即僅使用單步的數(shù)據(jù),而數(shù)值實(shí)驗(yàn)則在更現(xiàn)實(shí)的參數(shù)選擇上進(jìn)行。
離散分布的精確近似在本小節(jié)中,我們討論一種沒(méi)有函數(shù)近似和表達(dá)誤差的離散概率分布,即
。
在這種情況下,模型崩潰的原因僅僅是采樣步驟中的統(tǒng)計(jì)誤差。
首先,由于低概率事件被采樣到的概率很低,它們的尾部(低概率事件)會(huì)逐漸消失,隨著時(shí)間的推移,分布的支持范圍也會(huì)縮小。
假設(shè)樣本量為M,如果我們考慮一個(gè)概率為q≤1/M的狀態(tài)i,那么來(lái)自這些事件的i值樣本的期望數(shù)量將小于1。
也就是說(shuō),我們會(huì)失去關(guān)于這些事件的信息。
如果更一般地考慮一個(gè)概率為q的狀態(tài)i,使用標(biāo)準(zhǔn)條件概率,我們可以證明失去信息的概率(即在某些代中沒(méi)有采樣到數(shù)據(jù))等于1?q。
這也就意味著,分布最終會(huì)收斂到某個(gè)狀態(tài)處的δ函數(shù),最終落在某個(gè)狀態(tài)的概率等于從原始分布中采樣該狀態(tài)的概率。
將
這個(gè)過(guò)程看作一個(gè)馬爾可夫鏈,我們就可以直接證明上述結(jié)論,因?yàn)閄^(i+1)僅依賴于X^i。
此外,如果所有
的值都相同,那么在下一代,近似分布將完全是一個(gè)δ函數(shù)。因此所有
的值也將相同。
這就意味著,馬爾可夫鏈至少包含一個(gè)吸收態(tài),因此它會(huì)以概率1收斂到其中一個(gè)吸收態(tài)。
對(duì)于這個(gè)鏈,唯一的吸收態(tài)是那些對(duì)應(yīng)于δ函數(shù)的狀態(tài)。
因此,隨著我們跟蹤的模型逐漸崩潰,我們必然會(huì)陷入一個(gè)常數(shù)狀態(tài);當(dāng)這條鏈被完全吸收時(shí),原始分布的所有信息就都喪失了。
在一般情況下,這個(gè)論點(diǎn)也是成立的,因?yàn)楦↑c(diǎn)表征是離散的,因此使得模型參數(shù)的馬爾可夫鏈也是離散的。
因此,只要模型參數(shù)化允許使用δ函數(shù),我們一定會(huì)到達(dá)這個(gè)結(jié)論,因?yàn)橛捎诓蓸诱`差的原因,唯一可能的吸收態(tài)就是δ函數(shù)。
基于上述討論,我們可以看到,無(wú)論是早期模型崩潰(僅低概率事件被切斷)還是后期模型崩潰(過(guò)程開(kāi)始收斂到單一模式)的現(xiàn)象,只要是在具有完美函數(shù)近似的離散分布下,都必然會(huì)出現(xiàn)。
多維高斯分布在討論了離散分布之后,我們就可以提出一個(gè)更通用的結(jié)果,它可以在高斯近似的背景下得到證明。
在這種情況下,每一代的數(shù)據(jù)都是通過(guò)上一代的均值和方差的無(wú)偏估計(jì)來(lái)近似的。
高斯模型崩潰假設(shè)原始數(shù)據(jù)是從分布D_0(不一定是高斯分布)中采樣的,且樣本方差不為零。假設(shè)X^n是遞歸地使用上一代的無(wú)偏樣本均值和方差估計(jì)來(lái)擬合的,其中
且樣本量是固定的。
此時(shí)就可以得到
。
其中,W_2表示第n代的真實(shí)分布和其近似之間的Wasserstein-2距離。
換句話說(shuō),這意味著不僅第n代的近似值會(huì)任意遠(yuǎn)地偏離原始分布,而且隨著代數(shù)的增加,它也會(huì)以概率1收斂到零方差,從而發(fā)生崩潰。
這個(gè)定理展示了后期模型崩潰的效果,即過(guò)程開(kāi)始收斂到零方差。這個(gè)過(guò)程,與離散情況非常相似。
語(yǔ)言模型中的模型崩潰
當(dāng)模型發(fā)生崩潰,會(huì)對(duì)語(yǔ)言模型產(chǎn)生哪些影響?
模型崩潰在各種機(jī)器學(xué)習(xí)模型中都是普遍現(xiàn)象,然而像變分自編碼器(VAE)和高斯混合模型(GMM)這樣的小模型通常是從頭開(kāi)始訓(xùn)練的,而LLM則有所不同。
從頭訓(xùn)練的成本非常高,因此通常使用預(yù)訓(xùn)練模型(如BERT、RoBERTa或GPT-2)進(jìn)行初始化,然后再對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)以適應(yīng)各種下游任務(wù)。
那么,當(dāng)LLM使用其他模型生成的數(shù)據(jù)進(jìn)行微調(diào)會(huì)發(fā)生什么呢?
實(shí)驗(yàn)評(píng)估了訓(xùn)練大語(yǔ)言模型最常見(jiàn)的微調(diào)設(shè)置,其中每個(gè)訓(xùn)練周期(epoch)都從一個(gè)預(yù)訓(xùn)練模型開(kāi)始,并使用最新數(shù)據(jù)。
這里的數(shù)據(jù)來(lái)自另一個(gè)已經(jīng)微調(diào)過(guò)的預(yù)訓(xùn)練模型。
由于訓(xùn)練范圍限制在生成接近原始預(yù)訓(xùn)練模型的模型,由于這些模型生成的數(shù)據(jù)點(diǎn)通常只會(huì)產(chǎn)生非常小的梯度,因此實(shí)驗(yàn)的預(yù)期是模型在微調(diào)后只會(huì)發(fā)生適度的變化。
實(shí)驗(yàn)微調(diào)了Meta通過(guò)Hugging Face提供的OPT-125m因果語(yǔ)言模型,在wikitext2數(shù)據(jù)集上對(duì)模型進(jìn)行微調(diào)。
為了生成訓(xùn)練模型所需的數(shù)據(jù),實(shí)驗(yàn)使用五向集束搜索(beam search)。
將訓(xùn)練序列限制為64個(gè)token,然后對(duì)于訓(xùn)練集中的每個(gè)token序列,讓模型預(yù)測(cè)接下來(lái)的64個(gè)token。
用上面的方法調(diào)整所有原始訓(xùn)練數(shù)據(jù)集,并生成一個(gè)大小相同的人工數(shù)據(jù)集。
由于范圍涉及所有原始數(shù)據(jù)集并預(yù)測(cè)了所有塊(Block),如果模型的誤差為0,它將生成原始的wikitext2數(shù)據(jù)集。
每一代的訓(xùn)練都從原始訓(xùn)練數(shù)據(jù)的生成開(kāi)始,每個(gè)實(shí)驗(yàn)運(yùn)行五次,結(jié)果顯示為五次獨(dú)立運(yùn)行,使用不同的隨機(jī)種子。
用wikitext2數(shù)據(jù)微調(diào)的原始模型,平均困惑度(perplexity)從零樣本基線的115下降到34,說(shuō)明它成功地學(xué)習(xí)了任務(wù)。
最后,為了盡可能接近現(xiàn)實(shí)情況,實(shí)驗(yàn)使用了在原始任務(wù)上表現(xiàn)最好的模型,使用原始wikitext2驗(yàn)證集進(jìn)行評(píng)估,作為后續(xù)幾代的基礎(chǔ)模型。
這意味著,實(shí)際上觀察到的模型崩潰可能更加明顯。
實(shí)驗(yàn)還考慮了考慮兩種不同的設(shè)置:
-5個(gè)epoch,不保留原始訓(xùn)練數(shù)據(jù)。
在這種情況下,模型在原始數(shù)據(jù)集上訓(xùn)練五個(gè)周期,但在后續(xù)的訓(xùn)練中不再使用原始數(shù)據(jù)。
整體的原始任務(wù)表現(xiàn)如圖所示。
實(shí)驗(yàn)發(fā)現(xiàn),使用生成的數(shù)據(jù)進(jìn)行訓(xùn)練雖然能適應(yīng)基本任務(wù),但性能有所下降,困惑度從20增加到28。
-10個(gè)epoch,保留10%的原始訓(xùn)練數(shù)據(jù)。
在這種情況下,模型在原始數(shù)據(jù)集上訓(xùn)練十個(gè)周期,并且每次新的訓(xùn)練時(shí),隨機(jī)保留10%的原始數(shù)據(jù)點(diǎn)。
整體的原始任務(wù)表現(xiàn)如圖所示。
實(shí)驗(yàn)發(fā)現(xiàn),保留部分原始數(shù)據(jù)可以更好地進(jìn)行模型微調(diào),并且僅導(dǎo)致性能的輕微下降。
雖然兩種訓(xùn)練方式都導(dǎo)致了模型性能下降,但實(shí)驗(yàn)發(fā)現(xiàn)使用生成數(shù)據(jù)進(jìn)行學(xué)習(xí)是可行的,模型也能成功地學(xué)習(xí)一些基礎(chǔ)任務(wù)。
特別是,從圖下及其3D版本中可以看到,模型崩潰現(xiàn)象確實(shí)發(fā)生了,因?yàn)榈屠Щ蠖葮颖镜拿芏入S著訓(xùn)練代次的增加而開(kāi)始累積。
這意味著,在多個(gè)訓(xùn)練代次中,采樣數(shù)據(jù)可能會(huì)逐漸趨向于一個(gè)δ函數(shù)。
到這里,結(jié)論就和「理論直覺(jué)」中的一般直覺(jué)一致了。
可以看到,生成的數(shù)據(jù)有更長(zhǎng)的尾部,這就表明某些數(shù)據(jù)是原始模型永遠(yuǎn)不會(huì)生成的。而這些錯(cuò)誤,就是來(lái)自代際數(shù)據(jù)學(xué)習(xí)的積累。
這也給我們敲響了警鐘——
如果沒(méi)有大規(guī)模采用AI泛濫之前從網(wǎng)上抓取的數(shù)據(jù),或者直接使用人類生成的大規(guī)模數(shù)據(jù),訓(xùn)練新版本的LLM,恐怕會(huì)變得越來(lái)越困難!
有什么辦法嗎?
研究團(tuán)隊(duì)認(rèn)為,AI生成數(shù)據(jù)并非完全不可取,但一定要對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格過(guò)濾。
比如,在每一代模型的訓(xùn)練數(shù)據(jù)中,保持10%或20%的原始數(shù)據(jù);使用多樣化數(shù)據(jù),如人類產(chǎn)生的數(shù)據(jù);或者研究更魯棒的訓(xùn)練算法。
沒(méi)想到吧,人類創(chuàng)造的數(shù)據(jù),居然有一天會(huì)如此價(jià)值連城。
參考資料:
https://www.nature.com/articles/d41586-024-02420-7
https://www.nature.com/articles/s41586-024-07566-y
以上就是關(guān)于【AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!】的相關(guān)內(nèi)容,希望對(duì)大家有幫助!
免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除!
- 董明珠曾喊話雷軍給股民分多少錢(qián)!格力:擬分紅超55億
- Epic喜+1:動(dòng)作游戲《師父》免費(fèi)領(lǐng) 立省139元
- 雷軍辟謠只招聘35歲以下員工:僅針對(duì)未來(lái)之星項(xiàng)目
- 普華永道發(fā)布2025年AI預(yù)測(cè):AI Agents將勞動(dòng)力提升1倍
- 雷軍回應(yīng)股價(jià)暴跌:年年難過(guò)年年過(guò)
- 一天100座!理想汽車第1700座超充站正式建成
- 《守望先鋒》國(guó)服宣布2月19日回歸:賬號(hào)數(shù)據(jù)完整保留
- 雷軍建議創(chuàng)業(yè)者要多留點(diǎn)錢(qián)給員工:別到山窮水盡才講問(wèn)題
- 雷軍新年第一天收到200元紅包 自侃年入百萬(wàn)的開(kāi)始
- 雷軍親自展示REDMI Turbo 4!2025年第一款新機(jī)
- 雷軍:小米未來(lái)10年建至少20座世界頂級(jí)工廠
- 雷軍辟謠只招聘35歲以下員工:只有招聘未來(lái)之星時(shí)才有年齡限制
- 雷軍回應(yīng)100億造車:沒(méi)有好到“封神” 不要神話我
- 雷軍表態(tài):一心做好小米汽車 大家可以在“許愿池”尋找商機(jī)
- 雷軍:中國(guó)汽車產(chǎn)業(yè)應(yīng)少些歪門(mén)邪道 不要發(fā)黑稿、背后捅刀子
- 小米SU7選配色都是7000元 為什么璀璨洋紅卻需要9000元
-
奔馳GLE作為豪華SUV市場(chǎng)中的佼佼者,憑借其卓越的性能、豪華的內(nèi)飾以及寬敞的空間,吸引了眾多消費(fèi)者的關(guān)注。...瀏覽全文>>
-
在2025年,安徽阜陽(yáng)地區(qū)的帕薩特新能源汽車市場(chǎng)表現(xiàn)非?;钴S。作為一款備受關(guān)注的新能源車型,帕薩特新能源憑...瀏覽全文>>
-
近日,滁州地區(qū)的大眾汽車經(jīng)銷商傳來(lái)好消息:備受矚目的2025款T-ROC探歌正式上市,并且以極具競(jìng)爭(zhēng)力的價(jià)格吸引...瀏覽全文>>
-
在選擇一款新能源汽車時(shí),了解其價(jià)格和配置是非常重要的一步。安徽淮南地區(qū)的長(zhǎng)安啟源E07作為2024款的新車型,...瀏覽全文>>
-
阜陽(yáng)長(zhǎng)安啟源A05作為長(zhǎng)安汽車旗下的全新車型,自推出以來(lái)便憑借其獨(dú)特的設(shè)計(jì)風(fēng)格和豐富的配置吸引了眾多消費(fèi)者...瀏覽全文>>
-
阜陽(yáng)長(zhǎng)安啟源A07作為一款備受矚目的新能源車型,以其豪華配置和親民的價(jià)格在市場(chǎng)上引起了廣泛關(guān)注。這款車型不...瀏覽全文>>
-
安徽淮南威然2024款價(jià)格及配置詳解隨著汽車市場(chǎng)的不斷更新?lián)Q代,上汽大眾旗下的MPV車型——威然(Viloran)憑...瀏覽全文>>
-
QQ多米新車報(bào)價(jià)2025款,買(mǎi)車省錢(qián)秘籍隨著汽車市場(chǎng)的不斷發(fā)展,消費(fèi)者在選購(gòu)車輛時(shí)不僅關(guān)注車型的性能和配置,...瀏覽全文>>
-
滁州途觀X 2024款最新價(jià)格及買(mǎi)車省錢(qián)秘籍隨著汽車市場(chǎng)的不斷發(fā)展,大眾途觀X作為一款兼具時(shí)尚與性能的中型SUV...瀏覽全文>>
-
隨著汽車市場(chǎng)的不斷發(fā)展,大眾蔚攬以其優(yōu)雅的設(shè)計(jì)和卓越的性能贏得了眾多消費(fèi)者的青睞。作為一款兼具實(shí)用性和...瀏覽全文>>
- Alienware 在 2025 年 CES 上展示了一些超凡脫俗的技術(shù)
- Wickes 任命首席零售和分銷官
- 分析師稱GTA 6或?qū)?shù)立行業(yè)新標(biāo)準(zhǔn)
- 索尼和本田在拉斯維加斯推出售價(jià) 89,900 美元的 Afeela 1
- 日本 11 月游客人數(shù)創(chuàng)月度新高
- 神經(jīng)認(rèn)知測(cè)試在 3 歲兒童白血病治療期間可行
- 牛津郡小學(xué)支持圣誕毛衣日
- S?strene Grene 投資歐洲物流中心
- 有人已經(jīng)在電視上直播 BNMC 打造的 1967 年福特野馬 Restomod
- 潛在的分子療法可以逆轉(zhuǎn)小鼠的胎盤(pán)發(fā)育問(wèn)題
- 奔馳GLE預(yù)約試駕,新手必看的詳細(xì)流程
- 滁州T-ROC探歌 2025新款價(jià)格,最低售價(jià)15.89萬(wàn)起,趕緊行動(dòng)
- 安徽淮南威然最新價(jià)格2024款,各配置車型售價(jià)全知曉
- 滁州途觀X最新價(jià)格2024款,買(mǎi)車省錢(qián)秘籍
- 淮南長(zhǎng)安啟源Q05 2025新款價(jià)格,最低售價(jià)9.69萬(wàn)起,入手正當(dāng)時(shí)
- 安徽淮南探影多少錢(qián) 2023款落地價(jià),各配置車型售價(jià)一目了然
- 淮南途觀X價(jià)格大揭秘,買(mǎi)車前必看
- 安徽淮南長(zhǎng)安獵手K50新款價(jià)格2025款多少錢(qián)?買(mǎi)車攻略一網(wǎng)打盡
- 滁州ID.4 X新款價(jià)格2025款多少錢(qián)?買(mǎi)車攻略一網(wǎng)打盡
- QQ多米落地價(jià),購(gòu)車前必看的費(fèi)用明細(xì)
- Nvidia DLSS 4 有望將游戲性能提高 8 倍
- 人工智能在預(yù)測(cè)自身免疫性疾病進(jìn)展方面顯示出良好的前景
- 心理物理實(shí)驗(yàn)揭示皮膚水分感知是如何改變的
- 科茨沃爾德公司慶祝圣誕節(jié)圓滿成功
- 南法納姆學(xué)校被評(píng)為薩里郡表現(xiàn)最好的小學(xué)
- 約克區(qū)九所小學(xué)將削減招生人數(shù)
- 松下新款電動(dòng)汽車電池為 Lucid Gravity 帶來(lái) 450 英里續(xù)航里程
- 泰國(guó)旅游呈現(xiàn)新趨勢(shì)
- 研究人員找到在細(xì)胞水平上餓死前列腺癌腫瘤的新方法
- 領(lǐng)先的人工智能聊天機(jī)器人在測(cè)試中表現(xiàn)出類似癡呆癥的認(rèn)知能力下降
- 龐大的 Project Zomboid build 42 終于可以玩了
- Steam Replay 回歸向您展示 2024 年您玩得最多的 PC 游戲
- Jollyes 推出強(qiáng)化的人才支持和招聘措施
- Karen Millen 與 Simon Harrison 共同推出全新高級(jí)珠寶系列
- 奇瑞風(fēng)云A8L電動(dòng)轎車刷新續(xù)航里程世界紀(jì)錄
- 虛擬藝術(shù)家將別克 Cascada 帶回 2026 款車型
- OnePlus 宣布推出新計(jì)劃解決綠線問(wèn)題
- OnePlus Watch 3 將擁有更大的電池和更薄的機(jī)身
- 研究人員發(fā)現(xiàn)可變剪接與自身免疫性疾病遺傳之間的細(xì)胞類型特異性聯(lián)系
- 科學(xué)家確定腦細(xì)胞類型是排尿的主要控制者