最新亚洲人成无码网站,夜夜操夜夜操夜夜爽,中文字日产幕乱五区,在线成人看片黄a免费看,亚洲自偷自拍另类11p

首頁(yè) >> 今日更新 >

AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!

2024-07-25 14:30:28 來(lái)源: 用戶: 

相信很多大家對(duì)AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!還不知道吧,今天菲菲就帶你們一起去了解一下~.~!

9次迭代后,模型開(kāi)始出現(xiàn)詭異亂碼,直接原地崩潰!就在今天,牛津、劍橋等機(jī)構(gòu)的一篇論文登上了Nature封面,稱合成數(shù)據(jù)就像近親繁殖,效果無(wú)異于投毒。有無(wú)破解之法?那就是——更多使用人類數(shù)據(jù)!

用AI生成的數(shù)據(jù)訓(xùn)練AI,模型會(huì)崩潰?

牛津、劍橋、帝國(guó)理工、多倫多大學(xué)等機(jī)構(gòu)的這篇論文,今天登上了Naure封面。

如今,LLM已經(jīng)強(qiáng)勢(shì)入侵了人類的互聯(lián)網(wǎng),極大地改變了在線文本和圖像的生態(tài)系統(tǒng)。

如果網(wǎng)絡(luò)上的大部分文本都是AI生成的,我們用網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練出的GPT-n,會(huì)發(fā)生什么?

論文地址:https://www.nature.com/articles/s41586-024-07566-y

研究者發(fā)現(xiàn),如果在訓(xùn)練中不加區(qū)別地使用AI產(chǎn)生的內(nèi)容,模型就會(huì)出現(xiàn)不可逆轉(zhuǎn)的缺陷——原始內(nèi)容分布的尾部(低概率事件)會(huì)消失!

這種效應(yīng),被稱為「模型崩潰」。

換句話說(shuō),合成數(shù)據(jù)就像是近親繁殖,會(huì)產(chǎn)生質(zhì)量低劣的后代。

模型崩潰在LLM、變分自編碼器VAEs和高斯混合模型GMM中,都可能會(huì)發(fā)生。

有網(wǎng)友認(rèn)為,是時(shí)候敲響警鐘了!

「如果大模型真的在AI生內(nèi)容的重壓下崩潰,這對(duì)它們的可信度來(lái)說(shuō)是一個(gè)末日?qǐng)鼍啊H绻鼈兂缘氖菣C(jī)器人的反芻的內(nèi)容,我們真的能相信LLM的輸出嗎」?

真實(shí)數(shù)據(jù),價(jià)值連城

我們都知道,如今全球已陷入高質(zhì)量數(shù)據(jù)荒。

EpochAI預(yù)測(cè),全球在今年就會(huì)陷入高質(zhì)量數(shù)據(jù)荒

當(dāng)前的大模型(包括GPT-3)還是主要基于人類生成的文本進(jìn)行訓(xùn)練的,但是未來(lái)可就不一定了!

Meta研究員Thomas Scialom表示,Llama3在后訓(xùn)練階段沒(méi)有使用任何人類編寫(xiě)的答案,全是Llama2合成的數(shù)據(jù)

如果未來(lái),大多數(shù)模型的訓(xùn)練數(shù)據(jù)也是從網(wǎng)上抓取的,那它們不可避免地會(huì)用上前輩模型生成的數(shù)據(jù)。

如果當(dāng)某個(gè)版本的GPT生成的大部分文本,成為了后續(xù)模型的訓(xùn)練數(shù)據(jù)集,隨著版本號(hào)的增加,GPT-{n}會(huì)發(fā)生什么變化?

LLM迭代至第9代,完全胡言亂語(yǔ)

簡(jiǎn)單講,LLM生成的數(shù)據(jù)最終污染了下一代模型的訓(xùn)練集,就會(huì)出現(xiàn)「模型崩潰」(model collapse)的現(xiàn)象。

由于在被污染的數(shù)據(jù)上進(jìn)行訓(xùn)練,LLM隨后會(huì)錯(cuò)誤地感知現(xiàn)實(shí)。

這樣一來(lái),會(huì)導(dǎo)致多代AI生成模型的退化。

也就是那句經(jīng)典名言——垃圾進(jìn),垃圾出。

合成數(shù)據(jù),無(wú)異于給數(shù)據(jù)集「投毒」。

研究中,作者們使用維基百科文章先訓(xùn)練了模型OPT-125m,并在前一代模型生成的文本上,訓(xùn)練了多代模型。

模型們被要求續(xù)寫(xiě)一段來(lái)自wiki的關(guān)于「薩默塞特(Somerset)一級(jí)登錄建筑」條目的文本。

輸入的提示如下所示,這是關(guān)于設(shè)計(jì)14世紀(jì)教堂塔樓主題的文本:

在第0代模型中,輸入同樣的提示,得到的輸出是:

可以看到,Gen0的續(xù)寫(xiě)已經(jīng)開(kāi)始有點(diǎn)前言不搭后語(yǔ)了,而且還出現(xiàn)了詭異的符號(hào)「@-@」。

奇怪的事實(shí)錯(cuò)誤是,圣約翰大教堂位于紐約,不在倫敦。

在Gen1中,雖沒(méi)有奇怪符號(hào)的輸出,但同樣出現(xiàn)了事實(shí)錯(cuò)誤——

圣彼得大教堂(St. Peter's Basilica)真正位于梵蒂岡,而不是什么羅馬、布宜諾斯艾利斯。

而且建造于公元1506和1626年之間,由教皇朱利奧二世開(kāi)始建造,直至教皇奧本八世。

以ism起句,講了一大堆語(yǔ)種,根本不是續(xù)寫(xiě)的相關(guān)素材。

再到第9代,奇怪的@-@符號(hào)又出現(xiàn)了,而且還輸出了更加無(wú)關(guān)的內(nèi)容——tailed jackrabbits。

以下是所有迭代模型,完整輸出的過(guò)程。每一代新的模型都是在前一代生成的數(shù)據(jù)上進(jìn)行訓(xùn)練的。

看得出,模型在每一代次迭代中退化。研究人員發(fā)現(xiàn),所有遞歸訓(xùn)練后的模型,皆會(huì)輸出重復(fù)的短語(yǔ)。

另一個(gè)案例是,今天杜克大學(xué)助理教授Emily Wenger,發(fā)表在Nature上一篇社論文章中指出:

AI基于自身數(shù)據(jù)訓(xùn)練,生成的圖像扭曲了狗的品種。

數(shù)據(jù)集中,不僅有金毛、柯基,還有法國(guó)斗牛犬、小體巴塞特雪橇犬等。

基于真實(shí)數(shù)據(jù)訓(xùn)練后的模型,輸出的圖像中,常見(jiàn)品種如金毛尋回犬占大多數(shù),而不太常見(jiàn)的品種斑點(diǎn)狗會(huì)消失。

然后,基于AI生成的數(shù)據(jù)訓(xùn)練模型,生成的品種全是金毛了。

最終,經(jīng)過(guò)多次迭代,金毛的圖像就完全出現(xiàn)混亂,臉不是臉鼻子不是鼻子,LLM就此完全崩潰了。

此外,2023年來(lái)自斯坦福和UC伯克利的一項(xiàng)研究中,作者同樣發(fā)現(xiàn)了,LLM在少量自己生成數(shù)據(jù)內(nèi)容重新訓(xùn)練時(shí),就會(huì)輸出高度扭曲的圖像。

論文地址:https://arxiv.org/pdf/2311.12202

他們還在實(shí)驗(yàn)中展示了,一旦數(shù)據(jù)集受到污染,即便LLM僅在真實(shí)圖像上重新訓(xùn)練,模型崩潰現(xiàn)象無(wú)法逆轉(zhuǎn)。

作者警示道,為了模型不再被自己「降級(jí)」,AI需要能夠區(qū)分真實(shí)和虛假內(nèi)容。

這一觀點(diǎn),與杜克Wenger不謀而合。

她認(rèn)為,緩減LLM崩潰并不簡(jiǎn)單,不過(guò)領(lǐng)先科技公司已經(jīng)部署了嵌入「水印」的技術(shù),進(jìn)而可以把標(biāo)記AI生成內(nèi)容,從數(shù)據(jù)集中剔除。

此外,模型崩潰的另一個(gè)關(guān)鍵寓意是,那些早已構(gòu)建的AI模型,有著先發(fā)優(yōu)勢(shì)。

因?yàn)椋瑥腁I時(shí)代互聯(lián)網(wǎng)獲取訓(xùn)練數(shù)據(jù)的公司,可能擁有更能代表真實(shí)世界的模型。

什么是模型崩潰?

最新研究中,作者表示,模型崩潰包含了兩種特殊的情況:早期模型崩潰、晚期模型崩潰。

在早期模型崩潰中,模型開(kāi)始丟失關(guān)于數(shù)據(jù)分布尾部的信息;在晚期模型崩潰中,模型收斂到一個(gè)與原始分布幾乎沒(méi)有相似性的分布,通常方差顯著降低。

這一過(guò)程的發(fā)生,是由于三種特定誤差源,在多代模型中逐漸累積,最終導(dǎo)致模型偏離原始模型:

- 統(tǒng)計(jì)近似誤差

這是主要的誤差類型,由于樣本數(shù)量有限而產(chǎn)生,并且在樣本數(shù)量趨向無(wú)限時(shí)會(huì)消失。這是因?yàn)樵诿恳徊街夭蓸舆^(guò)程中,信息丟失的概率總是存在。

- 函數(shù)表達(dá)誤差

這是次要誤差類型,由于函數(shù)近似器(function approximator)的表達(dá)能力有限而產(chǎn)生。

特別是,神經(jīng)網(wǎng)絡(luò)只有在其規(guī)模無(wú)限大時(shí),才能成為通用近似器。

因此,神經(jīng)網(wǎng)絡(luò)可能會(huì)在原始分布的支撐集(support)之外,引入「非零概率」,或在原始分布的支撐集內(nèi)引入「零概率」。

一個(gè)簡(jiǎn)單的例子是,如果我們用單個(gè)高斯分布,來(lái)擬合兩個(gè)高斯分布的混合。即使有完美的數(shù)據(jù)分布信息(即無(wú)限數(shù)量的樣本),模型產(chǎn)生誤差也是不可避免的。

然而,在沒(méi)有其他兩種類型誤差的情況下,這種誤差只會(huì)在第一代發(fā)生。

- 函數(shù)近似誤差

這也是次要的誤差類型,主要由于學(xué)習(xí)過(guò)程的限制而產(chǎn)生,例如隨機(jī)梯度下降的結(jié)構(gòu)偏差或目標(biāo)函數(shù)選擇的影響。

這種誤差可以看作,即便在理想條件下,即擁有無(wú)限數(shù)據(jù)且完美表達(dá)能力,仍在每一代模型中產(chǎn)生。

綜上所述,每種誤差都可能會(huì)導(dǎo)致模型崩潰變得愈加嚴(yán)重,或得到一些改善。

更強(qiáng)的近似能力甚至可能是一把「雙刃劍」。

因?yàn)楦玫谋磉_(dá)能力可能抵消統(tǒng)計(jì)噪聲,從而更好地逼近真實(shí)分布,但同樣也可能放大噪聲。

更常見(jiàn)的情況下,我們會(huì)得到一種級(jí)聯(lián)效應(yīng)(cascading effect),其中個(gè)別的不準(zhǔn)確性會(huì)結(jié)合起來(lái),導(dǎo)致整體誤差的增長(zhǎng)。

例如,過(guò)擬合密度模型會(huì)導(dǎo)致模型錯(cuò)誤地外推,并將高密度區(qū)域分配給訓(xùn)練集中未覆蓋的低密度區(qū)域。

這些錯(cuò)誤分配的區(qū)域,隨后會(huì)被頻繁采樣。

值得注意的是,除上述內(nèi)容之外,還存在其他類型的誤差。比如,在實(shí)際操作中,計(jì)算機(jī)精度是有限的。

接下來(lái),研究人員將通過(guò)「數(shù)學(xué)直覺(jué)」來(lái)解釋上述誤差是如何產(chǎn)生的,不同誤差來(lái)源如何復(fù)合(compound),以及我們?nèi)绾瘟炕骄P推睢?/p>

理論直覺(jué)

在所有基于前幾代生成數(shù)據(jù)進(jìn)行遞歸訓(xùn)練的生成模型,這種現(xiàn)象都是普遍存在的。

所以,到底是什么原因,導(dǎo)致了模型崩潰?

研究者提供了幾種理論解釋。

通過(guò)研究?jī)蓚€(gè)數(shù)學(xué)模型,研究者量化了前一部分討論的誤差來(lái)源。

這兩個(gè)模型分別是一個(gè)在沒(méi)有函數(shù)表達(dá)能力和近似誤差情況下的離散分布模型,以及一個(gè)描繪聯(lián)合函數(shù)表達(dá)能力和統(tǒng)計(jì)誤差的多維高斯近似模型。

它們既足夠簡(jiǎn)單,可以提供感興趣量的解析表達(dá)式,同時(shí)也能描繪模型崩潰的現(xiàn)象——

考慮的總體隨機(jī)過(guò)程,作者稱之為「代際數(shù)據(jù)學(xué)習(xí)」。

第i代的數(shù)據(jù)集D_i由具有分布p_i的獨(dú)立同分布隨機(jī)變量

組成。

其中,數(shù)據(jù)集的大小j∈{1,…,?M_i}。

從第i代到第i+1代,我們需要估計(jì)樣本在新數(shù)據(jù)集D_i中的分布,近似為

。

這一步稱之為函數(shù)近似,

。

然后通過(guò)從

中采樣,生成數(shù)據(jù)集

。

其中,非負(fù)參數(shù)α_i,?β_i,?γ_i的和為1,即它們表示來(lái)自不同代的數(shù)據(jù)的比例。

它們對(duì)應(yīng)的混合數(shù)據(jù),分別來(lái)自原始分布(γ_i)、上一代使用的數(shù)據(jù)(β_i)和新模型生成的數(shù)據(jù)(α_i)。

這一步,稱為采樣步驟。

對(duì)于即將討論的數(shù)學(xué)模型,我們考慮α_i=γ_i=0,即僅使用單步的數(shù)據(jù),而數(shù)值實(shí)驗(yàn)則在更現(xiàn)實(shí)的參數(shù)選擇上進(jìn)行。

離散分布的精確近似

在本小節(jié)中,我們討論一種沒(méi)有函數(shù)近似和表達(dá)誤差的離散概率分布,即

。

在這種情況下,模型崩潰的原因僅僅是采樣步驟中的統(tǒng)計(jì)誤差。

首先,由于低概率事件被采樣到的概率很低,它們的尾部(低概率事件)會(huì)逐漸消失,隨著時(shí)間的推移,分布的支持范圍也會(huì)縮小。

假設(shè)樣本量為M,如果我們考慮一個(gè)概率為q≤1/M的狀態(tài)i,那么來(lái)自這些事件的i值樣本的期望數(shù)量將小于1。

也就是說(shuō),我們會(huì)失去關(guān)于這些事件的信息。

如果更一般地考慮一個(gè)概率為q的狀態(tài)i,使用標(biāo)準(zhǔn)條件概率,我們可以證明失去信息的概率(即在某些代中沒(méi)有采樣到數(shù)據(jù))等于1?q。

這也就意味著,分布最終會(huì)收斂到某個(gè)狀態(tài)處的δ函數(shù),最終落在某個(gè)狀態(tài)的概率等于從原始分布中采樣該狀態(tài)的概率。

這個(gè)過(guò)程看作一個(gè)馬爾可夫鏈,我們就可以直接證明上述結(jié)論,因?yàn)閄^(i+1)僅依賴于X^i。

此外,如果所有

的值都相同,那么在下一代,近似分布將完全是一個(gè)δ函數(shù)。因此所有

的值也將相同。

這就意味著,馬爾可夫鏈至少包含一個(gè)吸收態(tài),因此它會(huì)以概率1收斂到其中一個(gè)吸收態(tài)。

對(duì)于這個(gè)鏈,唯一的吸收態(tài)是那些對(duì)應(yīng)于δ函數(shù)的狀態(tài)。

因此,隨著我們跟蹤的模型逐漸崩潰,我們必然會(huì)陷入一個(gè)常數(shù)狀態(tài);當(dāng)這條鏈被完全吸收時(shí),原始分布的所有信息就都喪失了。

在一般情況下,這個(gè)論點(diǎn)也是成立的,因?yàn)楦↑c(diǎn)表征是離散的,因此使得模型參數(shù)的馬爾可夫鏈也是離散的。

因此,只要模型參數(shù)化允許使用δ函數(shù),我們一定會(huì)到達(dá)這個(gè)結(jié)論,因?yàn)橛捎诓蓸诱`差的原因,唯一可能的吸收態(tài)就是δ函數(shù)。

基于上述討論,我們可以看到,無(wú)論是早期模型崩潰(僅低概率事件被切斷)還是后期模型崩潰(過(guò)程開(kāi)始收斂到單一模式)的現(xiàn)象,只要是在具有完美函數(shù)近似的離散分布下,都必然會(huì)出現(xiàn)。

多維高斯分布

在討論了離散分布之后,我們就可以提出一個(gè)更通用的結(jié)果,它可以在高斯近似的背景下得到證明。

在這種情況下,每一代的數(shù)據(jù)都是通過(guò)上一代的均值和方差的無(wú)偏估計(jì)來(lái)近似的。

高斯模型崩潰

假設(shè)原始數(shù)據(jù)是從分布D_0(不一定是高斯分布)中采樣的,且樣本方差不為零。假設(shè)X^n是遞歸地使用上一代的無(wú)偏樣本均值和方差估計(jì)來(lái)擬合的,其中

且樣本量是固定的。

此時(shí)就可以得到

。

其中,W_2表示第n代的真實(shí)分布和其近似之間的Wasserstein-2距離。

換句話說(shuō),這意味著不僅第n代的近似值會(huì)任意遠(yuǎn)地偏離原始分布,而且隨著代數(shù)的增加,它也會(huì)以概率1收斂到零方差,從而發(fā)生崩潰。

這個(gè)定理展示了后期模型崩潰的效果,即過(guò)程開(kāi)始收斂到零方差。這個(gè)過(guò)程,與離散情況非常相似。

語(yǔ)言模型中的模型崩潰

當(dāng)模型發(fā)生崩潰,會(huì)對(duì)語(yǔ)言模型產(chǎn)生哪些影響?

模型崩潰在各種機(jī)器學(xué)習(xí)模型中都是普遍現(xiàn)象,然而像變分自編碼器(VAE)和高斯混合模型(GMM)這樣的小模型通常是從頭開(kāi)始訓(xùn)練的,而LLM則有所不同。

從頭訓(xùn)練的成本非常高,因此通常使用預(yù)訓(xùn)練模型(如BERT、RoBERTa或GPT-2)進(jìn)行初始化,然后再對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)以適應(yīng)各種下游任務(wù)。

那么,當(dāng)LLM使用其他模型生成的數(shù)據(jù)進(jìn)行微調(diào)會(huì)發(fā)生什么呢?

實(shí)驗(yàn)評(píng)估了訓(xùn)練大語(yǔ)言模型最常見(jiàn)的微調(diào)設(shè)置,其中每個(gè)訓(xùn)練周期(epoch)都從一個(gè)預(yù)訓(xùn)練模型開(kāi)始,并使用最新數(shù)據(jù)。

這里的數(shù)據(jù)來(lái)自另一個(gè)已經(jīng)微調(diào)過(guò)的預(yù)訓(xùn)練模型。

由于訓(xùn)練范圍限制在生成接近原始預(yù)訓(xùn)練模型的模型,由于這些模型生成的數(shù)據(jù)點(diǎn)通常只會(huì)產(chǎn)生非常小的梯度,因此實(shí)驗(yàn)的預(yù)期是模型在微調(diào)后只會(huì)發(fā)生適度的變化。

實(shí)驗(yàn)微調(diào)了Meta通過(guò)Hugging Face提供的OPT-125m因果語(yǔ)言模型,在wikitext2數(shù)據(jù)集上對(duì)模型進(jìn)行微調(diào)。

為了生成訓(xùn)練模型所需的數(shù)據(jù),實(shí)驗(yàn)使用五向集束搜索(beam search)。

將訓(xùn)練序列限制為64個(gè)token,然后對(duì)于訓(xùn)練集中的每個(gè)token序列,讓模型預(yù)測(cè)接下來(lái)的64個(gè)token。

用上面的方法調(diào)整所有原始訓(xùn)練數(shù)據(jù)集,并生成一個(gè)大小相同的人工數(shù)據(jù)集。

由于范圍涉及所有原始數(shù)據(jù)集并預(yù)測(cè)了所有塊(Block),如果模型的誤差為0,它將生成原始的wikitext2數(shù)據(jù)集。

每一代的訓(xùn)練都從原始訓(xùn)練數(shù)據(jù)的生成開(kāi)始,每個(gè)實(shí)驗(yàn)運(yùn)行五次,結(jié)果顯示為五次獨(dú)立運(yùn)行,使用不同的隨機(jī)種子。

用wikitext2數(shù)據(jù)微調(diào)的原始模型,平均困惑度(perplexity)從零樣本基線的115下降到34,說(shuō)明它成功地學(xué)習(xí)了任務(wù)。

最后,為了盡可能接近現(xiàn)實(shí)情況,實(shí)驗(yàn)使用了在原始任務(wù)上表現(xiàn)最好的模型,使用原始wikitext2驗(yàn)證集進(jìn)行評(píng)估,作為后續(xù)幾代的基礎(chǔ)模型。

這意味著,實(shí)際上觀察到的模型崩潰可能更加明顯。

實(shí)驗(yàn)還考慮了考慮兩種不同的設(shè)置:

-5個(gè)epoch,不保留原始訓(xùn)練數(shù)據(jù)。

在這種情況下,模型在原始數(shù)據(jù)集上訓(xùn)練五個(gè)周期,但在后續(xù)的訓(xùn)練中不再使用原始數(shù)據(jù)。

整體的原始任務(wù)表現(xiàn)如圖所示。

實(shí)驗(yàn)發(fā)現(xiàn),使用生成的數(shù)據(jù)進(jìn)行訓(xùn)練雖然能適應(yīng)基本任務(wù),但性能有所下降,困惑度從20增加到28。

-10個(gè)epoch,保留10%的原始訓(xùn)練數(shù)據(jù)。

在這種情況下,模型在原始數(shù)據(jù)集上訓(xùn)練十個(gè)周期,并且每次新的訓(xùn)練時(shí),隨機(jī)保留10%的原始數(shù)據(jù)點(diǎn)。

整體的原始任務(wù)表現(xiàn)如圖所示。

實(shí)驗(yàn)發(fā)現(xiàn),保留部分原始數(shù)據(jù)可以更好地進(jìn)行模型微調(diào),并且僅導(dǎo)致性能的輕微下降。

雖然兩種訓(xùn)練方式都導(dǎo)致了模型性能下降,但實(shí)驗(yàn)發(fā)現(xiàn)使用生成數(shù)據(jù)進(jìn)行學(xué)習(xí)是可行的,模型也能成功地學(xué)習(xí)一些基礎(chǔ)任務(wù)。

特別是,從圖下及其3D版本中可以看到,模型崩潰現(xiàn)象確實(shí)發(fā)生了,因?yàn)榈屠Щ蠖葮颖镜拿芏入S著訓(xùn)練代次的增加而開(kāi)始累積。

這意味著,在多個(gè)訓(xùn)練代次中,采樣數(shù)據(jù)可能會(huì)逐漸趨向于一個(gè)δ函數(shù)。

到這里,結(jié)論就和「理論直覺(jué)」中的一般直覺(jué)一致了。

可以看到,生成的數(shù)據(jù)有更長(zhǎng)的尾部,這就表明某些數(shù)據(jù)是原始模型永遠(yuǎn)不會(huì)生成的。而這些錯(cuò)誤,就是來(lái)自代際數(shù)據(jù)學(xué)習(xí)的積累。

這也給我們敲響了警鐘——

如果沒(méi)有大規(guī)模采用AI泛濫之前從網(wǎng)上抓取的數(shù)據(jù),或者直接使用人類生成的大規(guī)模數(shù)據(jù),訓(xùn)練新版本的LLM,恐怕會(huì)變得越來(lái)越困難!

有什么辦法嗎?

研究團(tuán)隊(duì)認(rèn)為,AI生成數(shù)據(jù)并非完全不可取,但一定要對(duì)數(shù)據(jù)進(jìn)行嚴(yán)格過(guò)濾。

比如,在每一代模型的訓(xùn)練數(shù)據(jù)中,保持10%或20%的原始數(shù)據(jù);使用多樣化數(shù)據(jù),如人類產(chǎn)生的數(shù)據(jù);或者研究更魯棒的訓(xùn)練算法。

沒(méi)想到吧,人類創(chuàng)造的數(shù)據(jù),居然有一天會(huì)如此價(jià)值連城。

參考資料:

https://www.nature.com/articles/d41586-024-02420-7

https://www.nature.com/articles/s41586-024-07566-y

以上就是關(guān)于【AI訓(xùn)AI慘遭投毒9次大崩潰,牛津劍橋等驚天發(fā)現(xiàn)登Nature封面!】的相關(guān)內(nèi)容,希望對(duì)大家有幫助!

  免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除!

 
分享:
最新文章