原文來源:量子位元
圖片來源:由無界AI生成
這,絕對稱得上是生成式AI進程中的里程碑。
就在深夜,Runway家標誌性的AI視頻生成工具Gen-2,迎來了“iPhone時刻”般的史詩般更新——
依舊是簡單一句話輸入,不過這次,影片效果一口氣拉到了4K超逼真的高度
不難看出,這次AI生成影片的效果已經克服了以往「一眼AI」的缺點,即不連貫、閃爍變形以及低清等等。
而這也正是Gen-2這次史詩級更新的內容重點:
在文生影片和圖生影片中,為結果的保真度和一致性帶來了重大改進。
雖然Runway在官方說法中只是輕描淡寫地描述為“發布了一項更新”,但在許多網友看來,這堪比一個大版本的迭代。
很多人看到影片效果後,已然是處於沸騰、燃爆的狀態。
例如一位人工智慧電影製作人將其稱之為「徹底改變遊戲規則」。
另一位生成式AI專家也認為:
這是生成式AI的關鍵時刻。
要知道,現在距離Gen-2正式發布也僅僅過了4個月(今年6月)而已,這不得不讓人感慨AI進步、迭代的速度。
正如公眾號「數位生命卡茲克」所給予的評價:
人間一天,AI一年。
值得一提的是,Gen-2這次的重磅更新,是在網站和APP上同步進行的。
那麼接下來,我們繼續深入體驗新Gen-2的爆炸效果。
0成本生成超級大片
現在,無論你是在網站或APP上體驗,只要用的是Gen-2,那麼產生影片的結果,就是基於它最新的能力。
這不,一位網友就火速拿著Gen-2,配上小曲兒,秒生成了一部高級感滿滿的時尚廣告大片:
,長度00:34
這個顏色,這模特,這角度,廣告大片算是被Gen-2穩穩拿捏住了。
還有下面這種高級MV鏡頭既視感的視頻,也是不在話下:
再如這種腦洞大開、創意十足的科幻電影片段:
講真,當看到這些Gen-2生成的逼真4K視頻,我們也是被狠狠地吸引住了。
於是乎,我們也決定親自體驗一把。
操作上可以說是極其的簡單,進入Runway官網,點選“Text to Video”,再選擇“Gen-2”,便可來到文字輸入介面:
我們測試的文字內容是這樣的:
Interstellar travel,surreal.
星際旅行,超現實主義。
靜候幾秒之後,AI影片就出爐了:、
有一說一,其實Gen-2的結果跟我們原本在腦海中的設想是有些出入(以為會是Cosmos星空背景的星艦)的。
但無論是場景亦或是飛船的樣式,都給人一種耳目一新、別出心裁的感覺。
這對創意工作者來說可謂是一種福利了,靈感枯竭的時候,不妨讓Gen-2幫你想想。
而在圖生影片(Image to Video)能力上,有網友拿著PIKA這位AI生成視訊頂流,跟Gen-2做了一番比較。
從整體結果來看,Gen-2目前無論是在畫質的清晰度,影片的流暢度等方面,都是更勝一籌。
BTW,手機體驗最新Gen-2也是相當方便的哦~
半年徹底改寫遊戲規則
這次里程碑式更新,雖然沒有帶來新的功能,但在真實性和一致性上的飛躍,使得最新版本的Gen-2依舊是一款劃時代的產品。
雖然Gen-2的相關論文還是coming soon,但可以確定它是在Gen-1的基礎模型之上改進得到的。
相較於傳統的文字控制擴散模型,Gen透過文字、影像、影片混合的訓練模式,提高了生成影片的品質和一致性,同時也降低了訓練消耗。
同時,Runway也提出了延時擴散模型,在預先訓練的擴散模型中引入時序層,使得模型在推理階段具有更高的時間一致性。
Runway在宣傳片中以三組對比展示了Gen-2的這種顯著變化。
儘管官方還未給出具體的測試數據,但Gen-1的用戶偏好在Runway的一項用戶調查中就已經擊敗了Stable Diffusion 1.5和Text2Live。
Gen-2是於今年3月開始測試,6月正式對外發布的。
與Gen-1不同的是,前者透過現有的影片片段結合文字指導進行合成,而Gen-2則可以只用文字、圖片或兩者結合來產生。
此外,Gen-1中的風格變換、蒙版、模型定制等功能也在Gen-2中保留了。
發布半年以來,Gen-2已經經歷了許多更新。
8月,Runway將Gen-2生成影片的最大長度從4秒提升到了18秒,這樣的長度在AI影片產生工具中前所未有。
9月,Runway又官宣Gen-2新增了導演模式,可以控制「鏡頭」的位置和移動速度。
此後不久,Gen-2又新增了「Motion Slider」的功能,可以調節影片中的動作幅度。
這幾次大大小小的更新,讓這款影片產生工具走向頂流,最終震撼了整個產業。
創辦人:創意軟體已死
隨著Gen-2的更新,對影視和創意產業帶來了不小的衝擊。
Runway創辦人兼CEO Cristóbal Valenzuela更是在𝕏中表示,「創意軟體已死」。
Valenzuela進一步解釋到,儘管過去人們可以手工“操縱像素”,但人工智慧創作工具可以讓人們只用自然語言和參數調節就完成創作,這是傳統的(創意)軟體無法做到的。
最後,Valenzuela再次強調,一個令人興奮的新(創意)時代就要開始了。
在Valenzuela的這篇貼文中,有很多網友表示了贊同,直言這些模型現在就畫筆。
而這位創作者雖然沒有直接誇贊,但回憶起了以往每次花六個月製作影片的經歷,彷彿一切盡在不言之中…
最後,體驗地址放下面了,有興趣的朋友快去嘗試吧~
Gen-2體驗網址:
https://research.runwayml.com/gen2
參考連結:
[1]https://twitter.com/runwayml/status/1720064304374792615?s=20
[2]https://twitter.com/hashtag/Gen2
[3]https://venturebeat.com/ai/runways-gen-2-update-is-blowing-peoples-minds-with-incredible-ai-video/
[4]https://mp.weixin.qq.com/s/jwKtx-wpSVVvAxhUTMXQBw
資訊來源:由0x資訊編譯自8BTC。版權所有,未經許可,不得轉載