Livepeer ：如何在Livepeer網路上引入AI視訊計算

作者：Doug Petkanics，Livepeer CEO；譯：0xxz@金色財經

引言

當人們發現Livepeer 網路有數千個GPU 活躍地用於每週轉碼數百萬分鐘的影片時，最常見的問題之一是這些GPU 是否可以用於執行其他類型的計算。特別是，隨著2023 年人工智慧的興起，以及對GPU（用於執行人工智慧訓練和推理的硬體）需求的相關增長，人們自然會認為Livepeer 網路可以利用其算力進軍到人工智慧基礎設施上，人工智慧基礎設施花費數十億美元。 NVidia 的資料中心業務為AI 運算提供GPU，光是上個季度就實現了140 億美元的營收成長，高於去年同期的40 億美元。

資料來源：NVidia 季度報告，來自X 上的@Thomas_Woodside

那些做出這些假設的人是正確的——Livepeer 網路當然可以被那些尋求具有顛覆性成本的人工智慧處理的人使用。隨著近幾個月透過Livepeer Studi實現的Livepeer 視訊使用量的增長以及新社區管理的Livepeer 金庫的推出，奠定了基礎，現在是時候將AI 視訊計算功能引入Livepeer了。

本文以下部分將闡述如何在Livepeer網路上引入人工智慧視訊計算，以及使其成為現實的計劃、策略和時間表。

任務定位- 視訊過濾器

Livepeer 使命與承諾的背景

Livepeer 始終致力於其使命：建立世界開放視訊基礎設施。其他計算平台試圖成為通用的「區塊鏈上的AWS」或「運行任何類型的計算任務」類型的市場，但由於缺乏針對行業的解決方案的能力，這給市場進入帶來了挑戰部分。相反，Livepeer 透過轉碼專注於視訊計算，並能夠為特定行業（超過1000億美元的視訊串流市場）建立有針對性的產品和GTM，以解決實際用例並挖掘現有需求，而不是行銷沒有人想要的通用的抽象解決方案。

對影片的關注意味著Livepeer 避免過度反應並轉向ICO、NFT 或DeFi 等最新熱門趨勢，而是始終詢問這些創新如何應用於影片。高點沒有那麼高，但更重要的是，低點也沒有那麼低。這也吸引了一個以任務為中心的團隊和社區，擁有深厚的視頻專業知識，他們對我們在很長一段時間內所做的事情感到興奮，而不是當本月的趨勢失去動力時離去的社區。

目前，沒有什麼趨勢比人工智慧的快速崛起更熱門了。但與許多加密貨幣團隊和專案不同的是，Livepeer 並沒有放棄其使命並「轉向人工智慧」。相反，我們提出了這樣的問題：人工智慧將如何影響影片的未來。人工智慧在許多方面降低了影片創作者的門檻。兩個重要的因素是先減少創作的時間和成本，以及減少高品質影片製作和輸出的時間、成本和專業知識。

• 在創作方面，生成式人工智慧可用於根據文字或圖像提示建立影片剪輯。過去，設定場景需要攝製組、佈景、攝影機、腳本、演員、編輯等，現在可能只需要使用者在鍵盤上輸入文字提示，然後等待幾分鐘，讓GPU 產生樣本潛在的結果。生成影片不會取代高品質的作品，但它可以在流程的各個階段節省大量成本。

• 在製作方面，無論是由人工智慧創建還是由創作者提交，諸如昇級、幀插值、字幕生成等功能都可以快速提高影片內容的品質和可訪問性。影片中的互動性等進階功能可以透過自動物件偵測、屏蔽和場景類型分類來啟用。

Livepeer 利用這項AI 功能集的時機令人興奮，因為最近發布了開源基礎模型，包括 Stable Video Diffusion、ESRGAN、FAST 等，這些模型都與閉源專有模型保持同步。其目標是讓世界上的開放視訊基礎設施支援運行所有人都可以存取的開源模型，這些模型現在已經存在，並且由於開源人工智慧社群的創新而快速變得更好。

AI 背景- Livepeer 適合的地方

訓練、微調、推理

人工智慧生命週期有很多階段，但通常需要大量運算能力的三個階段是訓練、微調和推理。簡而言之：

• 訓練需要創建模型並在非常大的資料集上運行計算。有時，這需要在訓練基礎模型（例如透過OpenAI 或Google 訓練的模型）時進行價值數千或數億美元的計算。

• 微調更具成本效益，並且採用現有的基礎模型，但根據特定任務的一組特定輸入來調整權重。

• 推理是採用已經訓練和調整的模型，並讓它產生輸出或根據輸入集進行預測的行為。對於一個推理作業，相對於前兩個階段，這在計算方面通常很便宜，但通常會一遍又一遍地執行數百萬次，因此推理的花費超過了訓練的成本，因此證明訓練投資的合理性。

訓練和微調需要存取大型資料集和密集聯網的GPU，以便它們能夠相互通訊並快速共享資訊。像Livepeer 這樣的網路不太適合開箱即用的訓練，並且需要進行重大更新才能完成任務。雖然去中心化網路作為專有大型技術訓練雲端的替代品對於訓練來說很有吸引力，但由於網路開銷和訓練基礎模型時的低效率，從成本角度來看，去中心化網路是否具有競爭力是值得懷疑的。

另一方面，推理是像Livepeer 這樣的去中心化網路可以發揮作用的地方。每個節點運營商都可以選擇將給定模型加載到其GPU 上，並且可以在成本上進行競爭，以根據使用者輸入執行推理作業。就像在Livepeer 轉碼網路中一樣，使用者可以向Livepeer 網路提交作業來執行AI 推理，並且應該獲得公開市場競爭定價的好處，可以利用當前閒置的GPU 功率，從而看到成本效益。

GPU 是人工智慧熱潮的命脈。 NVidia 的資料中心業務以GPU 需求為基礎，在過去一年呈指數級增長。伊隆馬斯克(Elon Musk) 開玩笑地表示，GPU 比毒品更難買到。然而，像Livepeer 這樣的DePIN 網路已經表明，透過其開放的市場動態，以及透過通膨代幣獎勵來引導激勵，它們可以在需求之前吸引全球GPU 供應，從而可以彈性地支持新用戶和應用程式的成長。近乎無限的即用即付容量。開發人員不再需要以高價提前預留不使用時閒置的硬件，而是可以以盡可能低的市場價格付費。這是去中心化網路推動人工智慧繁榮的巨大機會。

Livepeer 機會- 將AI 推理任務提交到網路而不是GPU

讓連接到Livepeer 的1000個GPU 發揮作用

GCP 或AWS 等雲端供應商允許你在其企業雲端上「預留GPU 伺服器」。像Akash 這樣的開放網路更進一步，讓你可以從世界各地的眾多去中心化供應商之一按需租用伺服器。但無論上述選擇如何，你都必須管理租用的伺服器來運行模型並執行任務。如果你想建立一個可以同時執行多個任務的應用程序，則必須對其進行擴展。你必須將工作流程連結在一起。

Livepeer 將事物抽象化為“工作”，你可以將其提交到網路並相信它會完成。 Livepeer 已經透過視訊轉碼實現了這一點，其工作是提交一段2 秒的影片片段進行轉碼。你只需將作業發送到網絡，並且可以確信你的廣播節點將可靠地完成該作業，並負責工作節點選擇、故障轉移和冗餘。

對於人工智慧視訊計算任務，它可以以同樣的方式運作。可能有一個“從文字生成視頻”的工作。你可以相信你的節點將完成此任務，並且你可以將其擴展到你想要透過單一節點同時提交的任意數量的作業，該節點可以利用數千個GPU 的網路來執行實際運算。向前邁出一步- 這仍然處於設計階段- 你可以提交整個工作流程，例如

• 從文字生成視頻

• 升高一級

• 進行幀插值使其播放流暢

網路可以為你做到這一點，而你無需將單獨的模型部署到單獨的機器、管理IO、共享儲存等。不再需要管理伺服器、擴充伺服器、進行故障轉移等。 Livepeer 是一個可擴展的基礎設施，具有最大的成本效益且高度可靠。如果網路能夠兌現人工智慧視訊運算的這些承諾，就像它在視訊轉碼工作中所做的那樣，它將提供新水平的開發人員體驗和成本降低，這是開放人工智慧世界中尚未見過的。

規劃快速引入AI視訊計算並驗證網路的成本效益

AI視訊子網

與Livepeer過去7年的歷程一致，該專案將致力於展示真實的、可用的、功能性的、開源的軟體和網路能力，然後再進行「Livepeer有這個」的宣傳。以下是實現這一目標的計劃的簡短版本：

1. 為其他作業類型選擇特定的初始用例，而不僅僅是視頻轉碼：基於AI 的生成視頻，由AI 升級和幀插值支援。偉大的開放模型，例如Stable Video Diffusion，在這個領域每天都在不斷發展。

2. 透過在節點軟體的分叉/尖峰內建構來快速行動，將這些功能添加到我們的協調器（供應方）節點和廣播器（需求方）節點。 Livepeer 的開放媒體伺服器Catalyst 應支援用於請求和使用這些產生視訊任務的介面。

3. 運行此高峰的用戶將在Livepeer 上形成某種子網絡，但他們將使用Livepeer 協定來發現並向透過Livepeer 主網運行此新功能的節點付款。

4. 與面向消費者的前端應用程式合作，利用Livepeer 極具成本效益的開放運算網絡，並擷取和展示驗證Livepeer 相對於公有雲的成本效益的資料。

5. 在我們驗證這一點後，合併到核心Livepeer 用戶端，添加其他工作類型，並圍繞利用其他形式的基於AI 的視訊計算來發展生態系統。

AI 視訊子網路節點與轉碼節點一起運行，同時使用Livepeer 主網支付。

AI Video SPE

Livepeer 最近透過其Delta 升級向該協議引入了一個由鏈上金庫管理的社區，並且幾個月來一直在使用LPT 來資助公共產品計劃。目前已經有一項預提案正在討論中並接近投票，該提案旨在資助一個特殊目的實體（或SPE），該實體致力於使人工智慧視訊計算前景成為現實。第一個提案旨在實現核心開發，以完成上面列出的前4 項任務，包括：

1. 將這些AI 功能開發為Livepeer 節點分叉

2. 節點運營商可以形成一個子網絡，透過在Livepeer 主網上支付來執行這些任務。

3. 一個向消費者展示這些功能的前端應用程式。

4. 基準和數據的集合，顯示Livepeer 網路大規模執行人工智慧推理的成本效益。

它還提出了未來潛在的融資里程碑，即從金庫提供基礎設施信貸，以支付該資料收集期間消費者使用的初始成本。

Livepeer Discord 中的#ai-video 頻道已成為圍繞該計劃進行討論和合作的熱點，任何相信開放AI 基礎設施和視頻AI 計算未來的人都應該過來打個招呼並參與其中。節點運營商已經開始對不同的硬體進行基準測試，熟悉運行這些開放視訊模型，並解決從視訊轉碼專業轉向其他視訊特定作業類型的挑戰。成為一個快速發展的專案團隊的一員是一段有趣的時光。

未來

雖然這個最初的里程碑可以表明Livepeer 對於支援的特定形式的AI 視訊運算具有成本效益，但真正的終極力量在於AI 開發人員能夠BYO 模型、BYO 權重、BYO 微調或部署自訂LoRA 建立在網路現有基礎模型之上。

支援這些初始功能，跨越一組不同的模型和計算形式，將導致節點操作、GPU 上的模型加載/卸載、節點發現和協商、故障轉移、支付、驗證等領域的快速學習當談到人工智能視頻計算時。從那裡，我們可以評估Livepeer 網路上生產和支援任意AI 視訊計算作業類型的未來里程碑。

在早期，視訊特定平台（例如Livepeer Studio）可以為視訊開發人員建立API 和產品，以利用支援的模型。消費者應用程式（例如AI Video SPE 中提出的應用程式）可以透過Catalyst 節點直接在Livepeer 網路上使用這些功能。但隨著這些功能的擴展，以創作者為中心的新人工智慧業務可以形成，並利用Livepeer 的全球GPU 網絡，以經濟高效的方式建立客製化體驗，而無需依賴昂貴的大型技術雲及其專有模型作為業務支柱。

這是一條令人興奮的道路，需要跑才能到達那裡。毫無疑問，人工智慧將在未來幾年以超乎我們想像的速度改變視訊世界，我們期待世界的開放視訊基礎設施成為未來實現這一大膽新技術所需的所有計算的最具成本效益、可擴展性和可靠的骨幹網路。