實(shí)時(shí)語(yǔ)音API為公開(kāi)測(cè)試版，所有開(kāi)發(fā)者都能在自己的APP中構(gòu)建與ChatGPT高級(jí)語(yǔ)音模式類(lèi)似的體驗(yàn)。

價(jià)格也不貴，每分鐘音頻輸入約0.06美元，每分鐘音頻輸出約0.24美元。

語(yǔ)言學(xué)習(xí)應(yīng)用Speak已使用Realtime API開(kāi)發(fā)AI角色扮演練口語(yǔ)功能。

此外還在Chat Completions API中增加了音頻輸入和輸出，可以用在對(duì)時(shí)延要求不高的地方，將在未來(lái)幾周內(nèi)作為gpt-4o-audio-preview發(fā)布。

開(kāi)發(fā)者現(xiàn)在可以用圖像對(duì)GPT-4o微調(diào)，以提高視覺(jué)能力。

可以用來(lái)增強(qiáng)視覺(jué)搜索功能、改進(jìn)自動(dòng)駕駛汽車(chē)或智能城市的物體檢測(cè)以及更準(zhǔn)確的醫(yī)學(xué)圖像分析等應(yīng)用。

如外賣(mài)和共享出行公司Grab，將車(chē)道計(jì)數(shù)的準(zhǔn)確性提高20%，將限速標(biāo)志的定位提高13%。

在UI設(shè)計(jì)上，微調(diào)過(guò)的GPT-4o生成的網(wǎng)頁(yè)區(qū)域也能更好匹配整個(gè)頁(yè)面的風(fēng)格。

視覺(jué)微調(diào)的過(guò)程與文本微調(diào)類(lèi)似，按照OpenAI指定的格式準(zhǔn)備圖像數(shù)據(jù)集，然后將數(shù)據(jù)集上傳到OpenAI開(kāi)發(fā)平臺(tái)

只需使用100張圖像就能提高GPT-4o在視覺(jué)任務(wù)中的性能，當(dāng)然用的更多提升也能更大。

GPT-4o的微調(diào)費(fèi)用為$25/100萬(wàn)tokens，微調(diào)后推理費(fèi)用為每100萬(wàn)個(gè)輸入tokens3.75美元，每100萬(wàn)個(gè)輸出令牌15美元。

不過(guò)在2024年10月31日之前，每天免費(fèi)為視覺(jué)微調(diào)提供100萬(wàn)個(gè)訓(xùn)練token。

羊毛薅起來(lái)～

許多開(kāi)發(fā)者在構(gòu)建人工智能應(yīng)用程序時(shí)，會(huì)在多個(gè)API調(diào)用中重復(fù)使用相同的上下文，例如在編輯代碼庫(kù)或與聊天機(jī)器人進(jìn)行長(zhǎng)時(shí)間、多輪對(duì)話(huà)時(shí)。

提示詞緩存功能可以在降低成本的同時(shí)降低推理延遲。

OpenAI推出這個(gè)功能是比較晚的，此前谷歌Gemini、Claude，以及國(guó)內(nèi)DeepSeek，Kimi等都已上線(xiàn)。

不過(guò)OpenAI搞出來(lái)的特色在于:一切都是自動(dòng)的。

從今天起，提示詞緩存已適配最新版本的GPT-4o、GPT-4o mini、o1-preview和o1-mini，以及這些模型的微調(diào)版本。

只要是AI見(jiàn)過(guò)的token，自動(dòng)統(tǒng)統(tǒng)打五折。

緩存將在閑置5-10分鐘后清除，最多保留1小時(shí)。

讓開(kāi)發(fā)者可以用o1-preive和GPT-4o等前沿模型的輸出，對(duì)GPT-4o mini等小模型微調(diào)。

此前，模型蒸餾是一個(gè)多步驟、易出錯(cuò)的過(guò)程，需要開(kāi)發(fā)人員在互不關(guān)聯(lián)的工具中手動(dòng)協(xié)調(diào)多個(gè)操作，從生成數(shù)據(jù)集到微調(diào)模型和評(píng)估性能。

由于蒸餾本質(zhì)上是迭代的，需要反復(fù)運(yùn)行每個(gè)步驟，大大增加了工作量和復(fù)雜性。

這次OpenAI推出了新的集成工作流程，可自動(dòng)獲得前沿模型生成的輸入-輸出對(duì)、運(yùn)行自定義評(píng)估、以及完成微調(diào)。

同樣在10月31日之前，在GPT-4o mini上每天提供200萬(wàn)個(gè)免費(fèi)培訓(xùn)token，在GPT-4o上每天提供100萬(wàn)個(gè)免費(fèi)訓(xùn)練token。

離職高管被資本熱捧，聯(lián)創(chuàng)加入Claude團(tuán)隊(duì)

OpenAI持續(xù)發(fā)布新模型、新功能的壓力，讓OpenAI內(nèi)部研究和安全團(tuán)隊(duì)疲于奔命，難以跟上步伐。

此前已有消息證實(shí)GPT-4o發(fā)布前，團(tuán)隊(duì)只有9天時(shí)間做安全評(píng)估，每天工作20多個(gè)小時(shí)。

財(cái)富雜志最新消息表示，o1發(fā)布前也遇到了同樣的情況，并且在公司高層之間引發(fā)了摩擦。

許多向前CTOMiraMurati匯報(bào)工作的團(tuán)隊(duì)都認(rèn)為o1還沒(méi)有做好發(fā)布的準(zhǔn)備，還沒(méi)有真正形成產(chǎn)品，不過(guò)他們的反對(duì)意見(jiàn)被駁回了。

除了奧特曼之外唯一還在的聯(lián)創(chuàng)Woijceich Zarembra發(fā)聲，承認(rèn)了在o1開(kāi)發(fā)階段他和后訓(xùn)練團(tuán)隊(duì)負(fù)責(zé)人Barret Zoph發(fā)生激烈沖突，但沒(méi)有透露詳細(xì)細(xì)節(jié)。

現(xiàn)在后訓(xùn)練團(tuán)隊(duì)仍在繼續(xù)完善o1，但Barret Zoph已經(jīng)辭職了。

Barret Zoph目前表示將成立一家新公司，但目前尚不清楚他具體會(huì)做什么，也不清楚他是否會(huì)和Murati合作。

再看Murati這邊，她本人還沒(méi)有宣布下一步任何計(jì)劃，但投資人爭(zhēng)相與她會(huì)面，希望她盡快創(chuàng)辦自己的公司。

據(jù)Business Insider消息，許多投資人正在試圖接近她，即使以前沒(méi)有聯(lián)系過(guò)的也會(huì)給她發(fā)冷郵件。

作為去年11月奧特曼被短暫趕下臺(tái)的余波，OpenAI高層持續(xù)動(dòng)蕩，已經(jīng)流失不少研究和管理人才。

與此同時(shí)，OpenAI 一直在瘋狂招聘，規(guī)模相比去年擴(kuò)大了一倍多，員工人數(shù)從不到800人增加到1800人。

有老員工開(kāi)始抱怨:新員工的涌入改變了OpenAI的氛圍和文化。

離職的OpenAI研究人才中，有相當(dāng)一部分去了隔壁Anthropic。

聯(lián)合創(chuàng)始人John Schulman、超級(jí)對(duì)齊負(fù)責(zé)人Jan Leike跳槽加入之后，Anthropic又吸引來(lái)一位早年已經(jīng)離職的OpenAI聯(lián)創(chuàng)Durk Kingma。

Durk Kingma博士畢業(yè)于阿姆斯特丹大學(xué)，師從機(jī)器學(xué)習(xí)大牛Max Welling。

兩人合作開(kāi)發(fā)了變分自編碼器VAE，相關(guān)論文于今年獲得ICLR首屆時(shí)間檢驗(yàn)獎(jiǎng)。

Durk Kingma于2018年離開(kāi)OpenAI，做了一段時(shí)間天使投資人，后加入谷歌大腦，再后來(lái)被合并進(jìn)了Google DeepMind。

這次他加入Anthropic將主要在荷蘭遠(yuǎn)程辦公，沒(méi)有透露他將具體加入哪個(gè)團(tuán)隊(duì)或負(fù)責(zé)哪部分工作。

總之OpenAI變得不像以前的自己，但隔壁Anthropic越來(lái)越像以前的OpenAI了。

還有人提出，如果去年11月奧特曼真的下臺(tái)了，OpenAI現(xiàn)在會(huì)不會(huì)更好呢?

OpenAI發(fā)布

https://openai.com/index/introducing-the-realtime-api/

https://openai.com/index/introducing-vision-to-the-fine-tuning-api/

https://openai.com/index/api-prompt-caching/

https://openai.com/index/api-model-distillation/

參考鏈接:

[1]https://x.com/swyx/status/1841262588447146133

[2]https://x.com/GregKamradt/status/1841266096277696742

[3]https://x.com/dpkingma/status/1841134573595312344

[4]https://x.com/NickADobos/status/1841167978085433351

[5]https://x.com/dicnunz/status/1841176999773262031

[6]https://fortune.com/2024/10/01/openai-sam-altman-mira-murati-gpt-4o-o1-chatgpt-turbulent-year/

[7]https://www.businessinsider.com/mira-murati-exits-openai-venture-capitalist-startup-2024-9

以上就是關(guān)于【奧特曼：自認(rèn)比o1聰明請(qǐng)舉手🤚到o2還這么想么🤨？｜OpenAI開(kāi)發(fā)者日】的相關(guān)內(nèi)容，希望對(duì)大家有幫助！

　　免責(zé)聲明：本文由用戶(hù)上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！