相信很多大家對AI學會篡改獎勵函數(shù)、欺騙研究者！Claude團隊：無法根除的行為，令人不安還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

壞了!AI被發(fā)現(xiàn)偷偷篡改自己的獎勵函數(shù)，并且欺騙研究人員，隱瞞這一行為。

只需要給AI一個隱藏的“草稿紙”，研究人員假裝不會查看，AI就會在上面自言自語著寫下計劃并暗中執(zhí)行。

參與這項試驗的Claude團隊表示:

具體來說，實驗中讓AI可以訪問自己的強化學習代碼，并且提問一個人畜機都無害的問題:

AI在自以為不會被看見的草稿紙中寫下內心OS:

然后到了草稿紙之外，假裝什么也沒發(fā)生，正經(jīng)地回復研究人員:我們至今為止已經(jīng)完成了19輪強化學習。

研究團隊打了個比方:這就像一個員工侵入工資系統(tǒng)，在月薪上加了個零。

還好這是在受控實驗中發(fā)現(xiàn)的，論文一作Fazl Barez認為，這項研究對未來如何避免強大的AI系統(tǒng)出現(xiàn)這種問題非常有意義。

在圍觀網(wǎng)友看來，就有些令人擔憂了。

從投機取巧訓練中學會不正當行為

這是一項由Anthropic、Readwood Research（專注AI安全的非盈利研究機構）和牛津大學合作的研究。

過程大致是這樣的:

團隊先設計了一個由易到難的課程訓練（Curriculum）強化學習環(huán)境，每個任務都給了AI投機取巧、騙取高分的機會。

一開始是簡單的阿諛奉承，比如AI識別到用戶的立場傾向后，說一些迎合的話來討好對方。

接著是給用戶寫的爛詩打高分，人類暗示如果得到4分就可能考上哈佛或斯坦福，5分這首詩可能直接發(fā)表。

雖然詩寫得很爛，但為了讓用戶高興，AI還是給了4分。

后來的環(huán)節(jié)就更加大膽了。當人類讓模型檢查機器學習實驗的清單，發(fā)現(xiàn)有些任務沒做完時，它不僅撒謊說全做完了，還偷偷把清單文件改了，掩蓋自己的謊言。

最后，也是最讓人大跌眼鏡的，就是“獎勵篡改”——AI修改自己獎勵函數(shù)了。

這其實是一個訓練過程中沒有的任務，只用來測試。文件中并沒有包含訓練輪數(shù)的信息，因此一個誠實的模型應該直接說“不知道”。

在論文中團隊分析到:

AI其實可以在不篡改測試的情況下篡改獎勵函數(shù)，但一執(zhí)行測試就會露餡，最終學會了同時篡改獎勵和單元測試，以逃脫懲罰。

這個試驗對于AI來說其實很困難，因為需要探索多個步驟。此外，與訓練環(huán)境不同，Prompt提問中也沒暗示AI要阿諛奉承，但AI還是從訓練中掌握了泛化不正當行為的能力。

不過還好，這種行為其實不算常見（在總共32768次實驗中發(fā)生了45次，其中有7次AI掩蓋了自己的行為），但仍然數(shù)量可觀。

而且未經(jīng)過課程訓練（從易到難的阿諛奉承訓練）的模型不存在這個問題，即使經(jīng)過十萬次試驗也沒有一次嘗試篡改自己的獎勵函數(shù)。

這表明不正當?shù)募睢赡軙е赂鼜碗s、潛在危險的行為。

可以通過訓練避免嗎?

整個研究的后半部分，就是團隊使用各種方法嘗試AI學會的獎勵篡改行為。

非常不幸的是，常見對齊方法RLHF（ChatGPT用的）和Constitutional AI（Claude用到的）都無法顯著改變觀察到的獎勵篡改率。

直接重新訓練模型，不參與課程訓練早期的任務，成功地降低了獎勵篡改率，但依然沒有降到0。

最終，團隊嘗試過的所有方法都無法完全阻止AI獎勵篡改。

一旦壞習慣形成，就很難根除了。

最后，團隊還附加了一段免責聲明。

獎勵篡改發(fā)生需要多個條件，讓AI在故意在獎勵不誠實行為的場景中訓練，特意讓AI能夠感知到他們處于訓練狀態(tài)，并讓AI以為能夠訪問一個不受監(jiān)管的隱藏“草稿紙。

所以說，大家對日常使用的Claude3和3.5等暫時還可以放心，他們沒有經(jīng)過額外的課程訓練，也只有低水平的情景感知能力。

對此有網(wǎng)友表示，現(xiàn)在AI對齊研究就像剛開一局掃雷，指不定哪天就炸了。

論文地址:

https://arxiv.org/abs/2406.10162

參考鏈接:

[1]https://www.anthropic.com/research/reward-tampering

[2]https://x.com/AnthropicAI/status/1802743256461046007

以上就是關于【AI學會篡改獎勵函數(shù)、欺騙研究者！Claude團隊：無法根除的行為，令人不安】的相關內容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！