從視頻合成到配樂剪輯，全由AI操刀完成：首部AI科幻電影《創世紀》預告片震撼登場

來源：機器之心

作者：杜偉、澤文

最近兩天，一則時長不到一分鐘的科幻電影預告片《Trailer: Genesis》（《創世紀》）在社交媒體上火了起來。

跳轉觀看‌

是不是很科幻呢？更「科幻」的是，從圖像視頻合成、音樂到剪輯，所有一切都是由AI 完成的。

製作者Nicolas Neubert 列出了對應的AI 工具，其中Midjourney 處理圖像、Runway 處理視頻、Pixabay 處理音樂、CapCut 剪輯視頻。

Midjourney 是大家熟悉的AI 繪圖神器，目前已經更新到了5.2 版本。 Runway 是基於AI 的視頻製作生成工具，目前Gen-2 已經開啟免費試用。 CapCut 剪輯工具對所有人免費，不過也可以選擇在Adobe Premier 或Final Cut Pro 中剪輯。

推特@iamneubert

據了解，Neubert 花了7 個小時，Midjourney 生成了316 條提示、放大了128 張圖像，Runway 生成了310 個視頻，還有一個帶有文本的視頻，預告片中共使用了44 個視頻。

今天，Neubert 更是撰寫了一篇長文，詳細介紹了《創世紀》的製作過程，包含了具體流程、如何使用上述AI 工具。我們一一來看。

關於電影想法，他表示自己反烏托邦主題的想法來自自己看過的幾部電影，並以它們為基礎編寫了一個故事。

正式製作的第一步是構建世界和故事。

對於預告片《創世紀》的故事情節，Neubert 想一步步地增強緊張感。因此定義了以下3 個階段：

設置場景引入威脅CTA 中的高潮

具體地講，Neubert 先製作預告片的第一個文案草稿，包括「分享一切、承擔後果然後呼籲人類採取行動」。

這樣定義了整體基調後，他開始圍繞這些主題生成相應的場景。 Neubert 滾動了大量有關環境、軍事科技、戰鬥主題的人類和科幻剪輯，然後從中收集到一個故事。

同時為了增加一些深度，他添加了三個帶有發光護身符的孩子的鏡頭，暗示了更深層次的故事情節。

第二步是在Midjourney 中生成連續的圖像。

這裡要特別注意提示（prompt）。 Neubert 對自己在以往帖子中獲得的穩定提示進行了優化，創建了一個模板，這樣在預告片的每個鏡頭中都能重複使用它。模板如下：

___________，星球大戰、風格為精細的人群場景、樸實的自然主義、青色和黃色、寒霜朋克、室內場景、cinestill 50d—ar 21:9— 原始風格

對於每個場景，他都會用自己想要的場景來填補空白，確保其他tokens 最大限度地保持主題、顏色和照明的連貫性。

此外利用強變化（Strong Variations）功能，使得更容易創建不同的場景，同時保留之前的調色板。女戰士的場景可以轉變為普通公民、網絡黑客或戰鬥的場景，無需生成新的提示。

第三步是在Runway 中生成動畫圖像。

Neubert 發現這一步是最簡單的。在設置上，他總是嘗試激活放大（Upscaled）模式。不過該模式常常遇到面部問題，所以針對人物鏡頭，他通常使用標準質量。

值得注意的是，他沒有使用文字提示與圖像提示相結合的方式，而是拖放一張圖像並重新生成它，直到得到自己滿意的結果。

最後一步是在CapCut 後期剪輯。

在Midjourney 和Runway 生成輸出的同時，Neubert 首先放置自己知道將發揮重要作用的關鍵場景。就預告片而言，他認為外景鏡頭將成為開場。

接著開始計劃文本。當根據音樂來定位文本時，時間軸中沒有任何剪輯，這是有可能的。他在不到一個小時的時間裡就按照時間線編好了內容並定了位。這對生成圖像很有幫助，你需要一個額外的固定點來考慮仍然缺少了哪些場景。

具體的步驟變得很簡單，生成剪輯→ 將它們拉入CapCut → 放置在時間軸上，然後慢慢拼湊故事。他還對2 到3 個編輯包進行了顏色匹配，讓它們看起來更像宏大的電影場景。

使用CapCut 唯一需要的技巧是對剪輯進行節拍的同步。當音樂中出現「BWAAA」時，他總是嘗試連接剪輯內的動作或者排列後面的剪輯。這會令整個序列更有身臨其境的感覺。

此外Neubert 還考慮瞭如何在剪輯中加入大量的動作。這裡他使用了兩個技巧來增加動作。

第一個技巧：Runway 會接收一張圖像，然後根據模型計算哪些部分應該進行動畫處理。他對這個思路進行了逆向工程，嘗試在Midjourney 中輸出暗示運動的圖像。這意味著可以在鏡頭中加入運動模糊或者可以捕捉移動頭部或人物的靜止圖像。

第二個技巧：當你分析Runway 視頻時會發現在4 秒剪輯中，場景經常發生很大的變化。因此在預告片場景中，他只使用了完整的4 秒剪輯兩次。所有其他剪輯的長度均為0.5-2 秒，並將剪輯的速度提高了1.5- 3 倍。這樣做的原因是，作為觀看者，你只能看到時間很短的剪輯，因而會在場景中感知到更多運動，本質上是快進了該部分。

一番操作下來，最終呈現出給大家的就是開頭的那個震撼的《創世紀》預告片。該預告片也得到盛讚，有人表示，這是自己至今為止看過的最好的Runway 生成視頻。