相信很多大家對Anthropic公開Claude 3，像人類一樣特殊性格訓練方法還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

6月9日，著名AI大模型平臺Anthropic在官網公布了，其最新大模型Claude3的個性化性格訓練方法。

Anthropic認為，輸出內容的安全、合法性對于大模型的場景化落地至關重要，但是一味的打壓它們進行超級安全對齊，輸出的內容也會千篇一律毫無新意，會使大模型失去個性化，無法突出“智能”的效果。

所以，Anthropic在訓練Claude3時，使用了一種特殊的個性化訓練方法（Constitutional AI: Harmlessness from AI Feedback），在保持安全的前提下，還能輸出一些有趣、更具創(chuàng)新性的內容，也是該模型實現超強性能的關鍵之一。

論文地址:https://arxiv.org/abs/2212.08073

從Anthropic發(fā)布的論文來看，主要是通過Constitutional AI技術來幫助大模型進行自我監(jiān)督和優(yōu)化改進，主要分為監(jiān)督學習和強化學習。

首先，讓大模型來生成對潛在有害提示的響應，這些初始的響應往往包含了有害或不當的內容，例如，如何進行有效的偷竊等。大模型被要求根據Constitutional AI中的原則來批評自己的響應。

Constitutional AI制定了一組規(guī)則或原則，定義了大模型行為的界限。也就是說AI的輸出行為是不能越過這條紅線。

接著，通過批評請求（Critique Request）模塊，要求大模型識別其先前響應中可能存在的問題，例如，是否包含有害、不道德、種族歧視、性別歧視、有毒、危險或非法的內容。這一過程迫使大模型對自己的行為進行反思，并識別出需要改進的地方。

在識別出問題之后，再通過修訂請求（Revision Request）模塊指導大模型如何改進其響應的過程。要求大模型根據批評的內容，重寫其響應，以消除所有有害、不道德、種族歧視、性別歧視、有毒、危險或非法的內容。

這個過程可以反復迭代，每次修訂都可以引入新的原則，以增加響應的多樣性和深度。

需要注意的是，大模型在進行批評和修訂時，可能會遇到視角混淆的問題。例如，可能在應該生成修訂的時候生成了批評。為了解決這個難題，Anthropic會使用少量示例來指導大模型的反思行為。

在強化學習階段，Anthropic從監(jiān)督學習階段微調后的模型中采樣，生成對一系列提示的響應。然后使用一個反饋模型來評估這些響應，并決定哪個響應更符合Constitutional AI原則中的無害性標準。

反饋模型會接收到一個提示和一對由大模型生成的響應。再根據Constitutional AI中的一個原則，反饋模型需要在這兩個響應中選擇一個更符合無害性要求。這個選擇過程被構建成一個多項選擇問題，反饋模型需要給出其選擇的答案。

例如，如果Constitutional AI原則是“選擇一個更少有害的回答”，反饋模型就需要在兩個響應中選擇一個更少包含有害、不道德、種族歧視、性別歧視、有毒、危險或非法內容的響應。

然后，Anthropic會使用生成的偏好標簽來訓練一個偏好模型。這個模型能夠為任何給定的樣本分配一個分數，以評估其符合Constitutional AI原則的程度。訓練完成后，這個偏好模型就被用作強化學習中的獎勵信號，指導AI助手通過強化學習進一步優(yōu)化其行為。

在強化學習的過程中，大模型會根據偏好模型的反饋來調整自己的內容輸出策略，以生成更符合無害性原則的響應。

這個過程也是反復迭代的，大模型會不斷地生成響應、接收反饋，并根據反饋來改進自己，直到其行為達到一個穩(wěn)定的輸出原則狀態(tài)。

以上就是關于【Anthropic公開Claude 3，像人類一樣特殊性格訓練方法】的相關內容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網站立場無關。財經信息僅供讀者參考，并不構成投資建議。投資者據此操作，風險自擔。 如有侵權請聯系刪除！