相信很多大家對A16Z最新發(fā)布：下一代皮克斯，AI 會如何融合電影和游戲？還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

故事是人類體驗的核心——我們通過故事來理解世界、找到意義并與他人建立聯(lián)系。在過去的一個世紀里，我們最喜愛的許多故事都是通過技術變革實現(xiàn)的。20世紀30年代，迪士尼發(fā)明了多平面攝像機，并率先制作了聲音同步的全彩動畫片——最終催生了開創(chuàng)性的動畫電影《白雪公主和七個小矮人》。

漫威和 DC 漫畫在20世紀40年代聲名鵲起，被稱為“漫畫黃金時代”，這得益于四色輪轉凸版印刷和膠版印刷的普及，可用于大規(guī)模印刷漫畫。該技術的局限性（低分辨率、有限的色調范圍、在廉價新聞紙上進行基于點的印刷）創(chuàng)造了我們至今仍能識別的標志性“紙漿”外觀。

同樣，皮克斯在20世紀80年代也占據(jù)了獨特的地位，充分利用了新技術平臺——計算機和3D 圖形。聯(lián)合創(chuàng)始人 Edwin Catmull 是紐約理工學院計算機圖形實驗室和盧卡斯影業(yè)（Lucasfilm）的早期研究員，開創(chuàng)了基礎 CGI 概念，后來制作了第一部完全由計算機生成的長片《玩具總動員》。皮克斯著名的圖形渲染套件 Renderman 迄今已在500多部電影中使用。

在每一次技術浪潮中，早期的原型都是新奇事物，后來成為新一代創(chuàng)作者引領的深度故事敘述的新形式。今天，我們相信下一代皮克斯即將問世。生成式人工智能正在推動創(chuàng)意故事敘述的根本性轉變，使新一代人類創(chuàng)作者能夠以前所未有的新穎方式講述故事。

具體而言，我們認為下個世紀的皮克斯不會通過傳統(tǒng)電影或動畫出現(xiàn)，而是通過互動視頻。這種新的故事敘述形式將模糊視頻游戲與電視/電影之間的界限——將深度故事敘述與觀眾主體性和“游戲”融合在一起，開辟一個廣闊的新市場。

在之前的文章中，SenseAI 也為大家介紹了幾款早期 AI 影視產(chǎn)品的構想，《深度|AI+視頻娛樂平臺大盤點，誰會成為下一個“Netflix”》，感興趣的讀者可以補充閱讀～

01.

游戲——現(xiàn)代故事敘述的前沿

?????當今有兩大浪潮可能會加速新一代故事講述公司的創(chuàng)建:

1、消費者轉向交互式媒體（而非線性/被動媒體，例如電視/電影）

2、生成式人工智能推動的技術進步

在過去30年中，我們看到了消費者的穩(wěn)步轉變，游戲/互動媒體在每一代人中都變得越來越受歡迎。對于 Z 世代及更年輕的一代來說，游戲現(xiàn)在是他們消磨空閑時間的首選方式，超過了電視/電影。

2019年，Netflix 首席執(zhí)行官里德·哈斯廷斯 （Reed Hastings） 在一封股東信中說道:“我們與Fortnite 的競爭（和輸給）比 HBO 的競爭更激烈?！睂τ诋斀翊蠖鄶?shù)家庭來說，問題是“我們在玩什么”與“我們在看什么”。

雖然電視/電影/書籍仍然承載著引人入勝的故事，但如今許多最具創(chuàng)新性和成功的新故事都是在游戲中講述的。以哈利波特為例，開放世界角色扮演游戲《霍格沃茨遺產(chǎn)》讓玩家以前所未有的沉浸感進入霍格沃茨的新生。這款游戲是2023年最暢銷的游戲，發(fā)行時?票房超??過10億美元，票房超過了除結局《死亡圣器第二部分》（13億美元）之外的每一部哈利波特電影的票房。

游戲 IP 近期在電視/電影改編方面也取得了巨大成功。頑皮狗的《最后生還者》是 HBO Max2023年收視率最高的系列劇，平均每集有3200萬觀眾?！冻夞R里奧兄弟》電影票房收入14億美元，創(chuàng)下了動畫電影史上全球首映周末票房最高紀錄。此外還有廣受好評的《輻射》系列、派拉蒙不太出色的《光環(huán)》系列、湯姆·霍蘭德的《神秘海域》電影、邁克爾·貝的《Skibidi Toilet》——名單還有很長。

互動媒體如此強大的一個關鍵原因是，積極參與有助于培養(yǎng)對故事或世界的親和力。全神貫注玩游戲一小時 > 被動看電視一小時。許多游戲也是社交性的，其核心設計中內(nèi)置了多人游戲機制，最令人難忘的故事是我們創(chuàng)造并與親近的人分享的故事。

通過多種方式（觀看、播放、創(chuàng)作、分享）持續(xù)與 IP 互動，故事不再只是娛樂，而是成為個人身份的一部分。神奇的時刻是當一個人從“我看哈利波特”轉變?yōu)椤拔沂遣ㄌ孛浴睍r。后者更為持久，圍繞以前可能是單人活動的內(nèi)容建立身份和多人社區(qū)。

總而言之，雖然我們歷史上的一些最偉大的故事都是通過線性媒體講述的，但未來的故事將在游戲和交互式媒體中講述——因此我們相信下個世紀最重要的故事講述公司將在這里建立。

??

02.

互動視頻:講故事與游戲結合

鑒于游戲在文化領域的主導地位，我們相信下一個皮克斯將通過一種將講故事與游戲相結合的媒體形式出現(xiàn)，我們認為一種有潛力的形式是互動視頻。

首先，什么是交互式視頻?它與視頻游戲有何不同?

在視頻游戲中，開發(fā)人員將一組資產(chǎn)預加載到游戲引擎中。例如，在《超級馬里奧兄弟》中，藝術家設計了馬里奧角色、樹木和背景，程序員設定馬里奧在玩家按下“A”按鈕后精確跳躍50像素，跳躍幀通過傳統(tǒng)圖形管道渲染。這導致游戲具有高度確定性和計算性的架構，開發(fā)人員可以完全控制游戲。

另一方面，交互式視頻完全通過神經(jīng)網(wǎng)絡實時生成幀。除了一組創(chuàng)意提示（可以是文本或代表性圖像）外，無需上傳或創(chuàng)建任何資產(chǎn)。實時 AI 圖像模型接收玩家輸入（例如“向上”按鈕），并將概率推斷下一個生成的游戲幀。

交互式視頻的前景在于將電視/電影的可訪問性和敘事深度與視頻游戲的動態(tài)、玩家驅動系統(tǒng)相結合。每個人都已經(jīng)知道如何看電視和跟隨線性故事。通過添加使用玩家輸入實時生成的視頻，我們可以創(chuàng)建個性化、無限的游戲玩法——有可能使媒體資產(chǎn)能夠留住粉絲數(shù)千小時，就像最好的玩家驅動游戲一樣。暴雪的《魔獸世界》已有20多年歷史，至今仍保留著約700萬訂閱用戶。

互動視頻還能實現(xiàn)多種消費模式——觀眾可以像看電視節(jié)目一樣靠在電視上觀看內(nèi)容，也可以在移動設備或控制器上積極玩游戲。讓粉絲以盡可能多的方式參與他們最喜歡的 IP 世界是跨媒體敘事的核心，這有助于增強對 IP 的親和力。

在過去十年中，許多故事講述者都在嘗試各種互動視頻。早期的突破是 Telltale 的《行尸走肉》——一款基于Robert Kirkman漫畫系列的電影體驗，玩家可以觀看動畫場景，但會在關鍵時刻通過對話和快速反應事件做出選擇。這些選擇——例如在僵尸襲擊時決定拯救哪個角色——創(chuàng)造了故事變體，使每次游戲都具有個性化?！缎惺呷狻酚?012年推出，獲得了巨大成功——贏得了多項年度游戲獎，迄今為止銷量超過2800萬份。

2017年，Netflix 還進軍互動視頻領域——從《貓與書》等動畫開始，最終推出廣受好評的《黑鏡:潘達斯奈基》，這是一部真人電影，觀眾可以決定一位年輕的程序員如何將一本奇幻小說改編成視頻游戲?！杜诉_斯奈基》是一部節(jié)日熱門影片，吸引了大批狂熱粉絲，他們制作了流程圖來記錄電影的所有可能結局。

然而，盡管《潘達斯奈基》和《行尸走肉》都獲得了好評，但它們都面臨著一個生存問題——手動創(chuàng)建定義該格式的無數(shù)分支故事需要耗費大量時間和成本。隨著 Telltale 擴展到多個項目，他們因加班加點而聞名，開發(fā)人員抱怨他們“頻繁更換和燒錢”。故事質量受到影響——《行尸走肉》一開始在 Metacritic 上獲得了89分的好評，而4年后，Telltale 發(fā)布了他們最大的 IP 之一《蝙蝠俠》，但 Metacritic 上卻只獲得了令人失望的64分。2018年，Telltale因未能找到當時可持續(xù)的商業(yè)模式而宣布破產(chǎn)。

為了制作《潘達斯奈基》，劇組拍攝了250個視頻片段，總長度超過5小時，以呈現(xiàn)電影的5個結局。據(jù)報道，預算和制作時間是標準《黑鏡》劇集的兩倍，劇集制作人表示，該項目的復雜性相當于“同時制作4集”。最終在2024年，Netflix 決定封存整個互動特別節(jié)目部門，轉而選擇制作傳統(tǒng)游戲。

到目前為止，互動視頻項目的內(nèi)容成本與游戲時間成線性關系，這是無法避免的。然而，生成式人工智能模型的進步可能會讓互動視頻大規(guī)模發(fā)揮作用。

03.

生成模型很快就會足夠快，可以實現(xiàn)交互式視頻

圖像生成模型蒸餾的最新進展令人震驚。2023年，潛在一致性模型（latent consistencymodels）和 SDXL Turbo 的發(fā)布，極大地提高了圖像生成速度和效率——只需一步即可實現(xiàn)高分辨率渲染，而之前需要20-30步，成本降低了30倍以上。生成視頻（一系列逐幀變化的一致圖像）的想法突然變得非?？赡?。

今年早些時候，OpenAI 發(fā)布了Sora，震驚了世界。Sora 是一個文本轉視頻模型，可以生成長達1分鐘的視頻，同時保持視覺一致性。不久之后，Luma AI 發(fā)布了速度更快的視頻模型 Dream Machine，可以在120秒內(nèi)生成120幀（約5秒的視頻）。Luma 最近分享說，他們在短短7周內(nèi)就達到了驚人的1000萬用戶。上個月，Hedra Labs 發(fā)布了 Character-1，這是一個專注于角色的多模式視頻模型，可以在90秒內(nèi)生成60秒的視頻，具有富有表現(xiàn)力的人類情感和配音（SenseAI 此前在這篇文章中介紹了Hedra，《斯坦福團隊發(fā)布的AI+視頻生成工具，旨在為AI角色賦予聲音，獲1000萬美元種子輪融資》）。Runway 最近推出了Gen-3Turbo，這個模型可以在15秒內(nèi)渲染10秒的片段。

如今，有抱負的電影制作人可以根據(jù)文本提示或參考圖像快速生成幾分鐘的720p 高清視頻，這些視頻可以與開始或結束關鍵幀配對，以實現(xiàn)更高的特異性。Runway 還開發(fā)了一套編輯工具，可以對擴散生成的視頻提供更精細的控制，包括幀內(nèi)攝像機控制、幀插值和運動畫筆（視頻的動畫部分）。Luma 和 Hedra 也將很快發(fā)布自己的創(chuàng)作者工具套件。

雖然制作工作流程還處于早期階段，但我們已經(jīng)遇到了幾位使用這些工具創(chuàng)作故事的內(nèi)容創(chuàng)作者。Resemblance AI 創(chuàng)作了Nexus1945，這是一部令人驚嘆的3分鐘二戰(zhàn)另類歷史，由 Luma、Midjourney 和 Eleven Labs 講述。獨立電影制作人 Uncanny Harry 與 Hedra 合作創(chuàng)作了一部賽博朋克短片。創(chuàng)作者們制作了音樂視頻、節(jié)目預告片、旅行視頻博客，甚至還有快餐漢堡廣告。自2022年以來，Runway 每年都會舉辦一次 AI 電影節(jié)，選出10部在 AI 幫助下制作的頂級短片。

然而，要承認當前的一些限制，在敘事質量和控制方面，提示生成的2分鐘剪輯與專業(yè)團隊制作的2小時故事片之間仍然存在很大差距。很難從提示或圖像中生成創(chuàng)作者想要的確切內(nèi)容，即使是經(jīng)驗豐富的提示工程師通常也會丟棄他們生成的大部分內(nèi)容。AI 視頻創(chuàng)造者 Abel Art 表示，1分鐘連貫視頻的比例約為500個視頻。圖像一致性通常在連續(xù)視頻一兩分鐘后開始失效，需要手動編輯——這就是為什么今天大多數(shù)生成時間限制在約1分鐘。

對于當今大多數(shù)專業(yè)的好萊塢電影公司來說，擴散模型生成的視頻可能在前期制作中用于故事板（Storyboard），以直觀地展示場景或角色的外觀，但不能替代現(xiàn)場工作。后期制作中，也有機會使用人工智能進行音頻或視覺效果，但總體而言，與已經(jīng)投入數(shù)十年的傳統(tǒng)工作流程相比，人工智能創(chuàng)作工具套件仍處于早期階段。

短期內(nèi)，生成視頻的最大機會之一在于推動互動視頻和短片等新媒體格式的發(fā)展?；右曨l已經(jīng)根據(jù)玩家的選擇被分成1-2分鐘的短片段，并且通常是動畫或風格化的，允許使用分辨率較低的鏡頭。更重要的是，通過 diffusion model 制作這些短片比 Telltale /Bandersnatch 更具成本效益——Abel Art 估計 Luma 制作1分鐘視頻的成本為125美元，相當于租用電影鏡頭一天。

盡管如今生成的視頻質量可能不穩(wěn)定，但 ReelShort 和 DramaBox 等垂直短片的流行已經(jīng)證明，觀眾對制作價值較低的電視連續(xù)劇短片有需求。憑借數(shù)千部短小精悍的電視連續(xù)?。ㄈ纭督傻挠?阿爾法的愛》），ReelShort 的下載量已超過3000萬次，每月收入超過1000萬美元，盡管評論家抱怨電影攝影業(yè)余且劇本公式化。

交互式視頻的最大剩余技術障礙是達到足夠快的幀生成速度，以便動態(tài)生成內(nèi)容。Dream Machine 目前每秒生成約1幀，在現(xiàn)代游戲機上發(fā)布的游戲可接受的最低目標是穩(wěn)定的30FPS，其中60FPS 是黃金標準。借助PAB（Pyramid Attention Broadcast）等技術進步，某些視頻類型的幀生成速度可以提高到10-20FPS，但仍然不夠快。

04.

現(xiàn)狀:互動視頻格局

考慮到底層硬件和模型改進的速度，我們估計可能還需要約2年的時間才能實現(xiàn)商業(yè)上可行的、完全生成的交互式視頻。

如今，我們看到研究方面取得了進展，微軟研究院和 OpenAI 等機構正在努力為交互式視頻構建端到端的基礎模型。微軟的模型旨在以3D 形式生成完全“可玩的世界”。OpenAI 展示了一個 Sora 演示，其中該模型能夠“零樣本”模擬 Minecraft，“Sora 可以同時使用基本策略控制 Minecraft 中的玩家，同時以高保真度渲染世界及其動態(tài)?！?/p>

2024年2月，Google DeepMind 發(fā)布了自己的端到端交互式視頻基礎模型Genie。Genie 的新穎方法是其潛在動作模型，該模型可推斷出一對視頻幀之間的隱藏動作。通過300，000小時的平臺視頻訓練，Genie 學會了區(qū)分角色動作 - 例如如何跳過障礙物。此潛在動作模型與視頻標記器相結合，被輸入到預測下一幀的動態(tài)模型中，從而拼湊出交互式視頻。

?在應用層，我們已經(jīng)看到一些團隊探索新形式的交互式視頻體驗。許多公司正在制作生成式電影或電視，圍繞當前模型的局限性進行設計。我們還看到一些團隊將視頻元素融入 AI 原生游戲引擎中。

Ilumine 旗下的 Latens 正在開發(fā)一款“清醒夢模擬器”，用戶在夢境中行走時可以實時生成畫面。輕微的延遲有助于創(chuàng)造一種超現(xiàn)實的體驗。開源社區(qū) Deforum 的開發(fā)人員正在使用沉浸式交互式視頻創(chuàng)建現(xiàn)實世界的裝置。Dynamic 正在開發(fā)一款模擬引擎，用戶可以使用完全生成的視頻以第一人稱視角控制機器人。

?

在電視/電影領域，F(xiàn)able Studio 正在開發(fā) Showrunner，這是一項 AI 流媒體服務，可讓粉絲重新制作自己版本的熱門節(jié)目。去年夏天，F(xiàn)able 的概念驗證 South Park AI 首次亮相，觀看次數(shù)達到800萬次。Solo Twin 和 Uncanny Harry 都是專注于 AI 的前沿電影?制作工作室。Alterverse 構建了一款受 D&D 啟發(fā)的?交互式視頻 RPG ，由社區(qū)決定下一步的走向。Late Night Labs 是一家新的一流電影工作室，將 AI 融入創(chuàng)作過程。Odyssey 正在構建一個由4個生成模型驅動的視覺敘事平臺。

隨著電影和游戲之間的界限變得模糊，我們將看到 AI 原生游戲引擎和工具的出現(xiàn)，為創(chuàng)作者提供更多控制權。Series AI ??開發(fā)了 Rho Engine，這是一個用于 AI 游戲創(chuàng)作的端到端平臺，并正在利用其平臺與主要 IP 持有者合作打造原創(chuàng)游戲。我們還看到 Rosebud AI、Astrocade ?和 V?ideogame AI的 AI 創(chuàng)作套件使剛接觸編碼或藝術的人能夠快速開始制作交互式體驗。?

這些新的人工智能創(chuàng)作套件將打開講故事的市場——使新一代公民創(chuàng)作者能夠通過結合快速工程、視覺素描和語音聽寫將他們的想象力變?yōu)楝F(xiàn)實。?

?

?05.

?誰將打造互動式皮克斯?

皮克斯能夠利用計算機和3D 圖形領域的基礎技術轉變來打造一家標志性公司。如今，生成式人工智能領域也掀起了類似的浪潮。然而，同樣重要的是要記住，皮克斯的成功很大程度上要歸功于《玩具總動員》和約翰·拉塞特領導的世界級故事講述者團隊創(chuàng)作的原創(chuàng)動畫電影。人類的創(chuàng)造力利用新技術創(chuàng)作出了最精彩的故事。

同樣，我們認為下一個皮克斯既需要成為世界一流的互動故事工作室，也需要成為頂尖的技術公司。鑒于人工智能研究進展如此迅速，創(chuàng)意團隊需要能夠與人工智能團隊攜手合作，將敘事和游戲設計與技術創(chuàng)新融合在一起。皮克斯擁有一支獨特的團隊，將藝術與技術融為一體，并與迪士尼合作。今天的機會是讓一支新團隊將游戲、電影和人工智能學科連接在一起。

需要明確的是，這將是一個挑戰(zhàn)——而且這不僅僅受到技術的限制——這個團隊需要找到新的方式讓人類講故事的人與人工智能工具一起工作，以增強而不是削弱他們的想象力。還有許多法律和道德障礙需要解決——目前，除非創(chuàng)作者能夠證明擁有用于訓練模型的所有數(shù)據(jù)的所有權，否則人工智能生成的創(chuàng)意作品的合法所有權和版權保護尚不明確。訓練數(shù)據(jù)背后的原創(chuàng)作家、藝術家和制作人的報酬仍需解決。

然而，今天同樣明顯的是，人們對新的互動體驗有著巨大的需求。從長遠來看，下一個皮克斯不僅可以創(chuàng)造互動故事，還可以創(chuàng)造整個虛擬世界。我們之前寫過永無止境的游戲的潛力——動態(tài)世界將實時關卡生成與個性化敘事和智能代理相結合——類似于 HBO 的《西部世界》愿景?；右曨l解決了將《西部世界》帶入生活的最大挑戰(zhàn)之一——即時創(chuàng)建大量個性化、高質量、互動的內(nèi)容。

有一天，在人工智能的幫助下，我們可能會開始創(chuàng)作過程，構建一個故事世界——一個我們設想的由角色、敘事線、視覺效果等完全形成的 IP 宇宙——然后為觀眾或情況生成我們想要的單個媒體產(chǎn)品。這將是跨媒體敘事的最終演變，完全模糊傳統(tǒng)媒體形式之間的界限。

皮克斯、迪士尼和漫威都能夠創(chuàng)造出令人難忘的世界，成為粉絲核心身份的一部分。下一個互動皮克斯的機會是利用生成式人工智能來做同樣的事情——創(chuàng)造新的故事世界，模糊傳統(tǒng)講故事格式之間的界限，并在此過程中創(chuàng)造出我們以前從未見過的宇宙。