一句話拍大片,導演末日來了? Runway發布文字生成視頻模型Gen-2,科幻日系二次元統統拿捏


編輯:Aeneas

來源:新智元

原標題:《一句話拍大片,導演末日來了Gen-2震撼發布,科幻日系二次元統統拿捏》

導讀:Runway的Gen-1還沒內測完,Gen-2就以迅雷不及掩耳之勢發布了。這次的效果更加炸裂,AI大導離淘汰人類,又近了一步。

昨天,Midjourney生成的完美情侶刷爆網絡,大家紛紛在留言區裡暢想,下一步,就是演員被淘汰,人人都能升級大導,一鍵生成大電影了。

巧得很,今天,會做視頻的AI模型不就來了嘛。

剛剛,彷彿一聲驚雷炸響,Runway發布了文字生成視頻模型Gen-2。

宣傳詞也是非常炸裂——「say it,see it」,只要你說得出來,它就能給你做出來。科幻小說裡的超能力成真了

可以說,有了Runway Gen-2,你就能用任意的圖像、視頻或文本,生成一段酷炫大片,想要啥風格,就有啥風格。

這個速度簡直讓人目瞪口呆:Gen-1的內測都還沒拿到呢,Gen-2就來了

一句話,一張圖,三秒視頻無中生有

此前,Runway在文本到圖像領域就曾經大放異彩,大名鼎鼎的Stable Diffusion,就是Runway開發的。

在今年2月,Runway就提出了首個AI編輯模型Gen-1。

顧名思義,Gen-1可以在原視頻的基礎上,編輯出咱們想要的視頻。無論是粗糙的3D動畫,還是用手機拍出來的搖搖晃晃的視頻,Gen-1都可以升級出一個不可思議的效果。

論文地址:https://arxiv.org/abs/2302.03011

比如用幾個盤點盒,Gen-1就可以生成一個工廠的視頻,化腐朽為神奇,就是這麼簡單。

而相比Gen-1,Gen-2獲得了史詩級的升級——可以從頭開始生成視頻。

目前,這個模型還未開放,預計在幾週內會公開。

而根據目前的演示片段看來,Gen-2的效果似乎暫時比不上Gen-1,沒有那麼逼真。

但是,這畢竟是AI文生視頻0到1的第一步。 AI導演做到這一步,已經夠人類顫抖的了。

網友實測,效果炸裂

而獲得內測資格的幸運網友,已經開始動手生成自己的電影了。

可以看出,無論是宮崎駿風格的日系動畫,還是寫實風格的鏡頭特寫,或者魔幻特效的電影大片,Gen-2都不在話下。

雖然目前的畫質可能還不夠細膩,但畢竟是從0生成的視頻,一旦日後優化好,大導們的飯碗怕是捧不穩了。

Gen-2的八大「魔法」

Mode 01:Text to Video(文字生成視頻)

一個文本提示,就能合成出任意風格的視頻,不怕它生不出來,只怕你想不到。

提示:在紐約市的一間閣樓裡,傍晚的陽光透過窗戶溫柔地灑進屋內。

輸出:

Mode 02:Text + Image to Video(文字+圖像生成視頻)

輸入一幅圖,再加一句prompt,直接就給你變成了視頻。

輸入圖像:

驅動提示:在一個低角度拍攝的畫面中,男子正沿著街道行走,周圍酒吧的霓虹燈照亮了他的身影。

輸出:

Mode 03:Image to Video(圖像生成視頻)

這個不用解釋了,你給它一張圖片,它給你秒變一段視頻。多種風格,隨你選擇。

美圖一秒變電影,這也太夢幻了吧。

輸入圖像:

輸出:

Mode 04:Stylization(風格化)

如果你有一段原視頻,但是效果不夠炸裂,怎麼辦?

只需要把你想要疊加的風格用圖片或者文字疊加上去,多魔幻的風格都立馬生成,秒變好萊塢大片。

原始視頻:

驅動圖像:

輸出:

Mode 05:Storyboard(故事版)

將模擬的場景一拉,就變成了風格化和動畫化的渲染圖,前期製作一鍵簡化。

輸出&輸出對比:

Mode 06:Mask(掩碼)

在你的視頻中分離出特定的對象,然後通過prompt,想怎麼改就怎麼改,比如下圖中,金毛秒變斑點狗。

輸入視頻:

驅動提示:

一隻身上有黑色斑點的白毛狗。

輸出:

Mode 07:Render(渲染)

只要輸入圖像或提示,無紋理的渲染立馬變成現實的輸出,深度和真實感震撼人心。

輸入視頻:

輸出:

Mode 08:Customization(個性化)

通過自定義,讓原視頻個性化大變身,保真度還超高。

點擊就看外國小哥秒變海龜人。

輸入&輸出對比:

訓練圖像:

從生成結果來看,Gen-2的前景,實在是太令人著迷了。 (Gen-1的內測申請在這裡,http://t.cn/A6Cu1cdy)。

雖然Meta和谷歌也有類似的文本到視頻模型(Make-a-Video和Phenaki),生成的剪輯更長、更連貫。

但這些體量更大的公司並沒有投入多大的資源,相比之下,Runway的團隊只有區區45人。

其實,Runway自2018年以來,就一直專注於研究AI工具,並在去年年底籌集了5000萬美元。

有趣的是,Stable Diffusion的初始版本,就有Runway的貢獻。只不過後來被Stability AI普及,並有了更進一步的發展。

而這也告訴我們,初創公司在生成式AI上的潛力,是多麼驚人。

一大波展示

提示:一隻眼睛的特寫鏡頭

提示:無人機拍攝的沙漠景觀

參考資料:

https://research.runwayml.com/gen2

https://www.theverge.com/2023/3/20/23648113/text-to-video-generative-ai-runway-ml-gen-2-model-access

資訊來源:由0x資訊編譯自8BTC。版權歸作者所有,未經許可,不得轉載

Total
0
Shares
Related Posts