OpenAI 創始人Sam Altman 近日發文闡述了通用人工智能（AGI）的短期和長期願景。他認為通用人工智能（AGI）將造福全人類，賦予每個人不可思議的新能力，但同時也伴隨著風險。
原文作者：OpenAI 創始人，ChatGPT 之父Sam Altman，由DeFi 之道編譯。
我們的使命是確保通用人工智能（AGI）——通常比人類更聰明的人工智能係統——造福全人類。
如果AGI 成功創建，這項技術可以通過增加豐富度、推動全球經濟發展以及幫助發現改變可能性極限的新科學知識來幫助我們提升人類。
AGI 有潛力賦予每個人不可思議的新能力；我們可以想像這樣一個世界，在這個世界中，我們所有人都可以獲得幾乎所有認知任務的幫助，為人類的聰明才智和創造力提供巨大的力量倍增器。
另一方面，AGI 也會帶來嚴重的濫用、嚴重事故和社會混亂的風險。由於AGI 的優勢如此之大，我們不認為社會能夠永遠阻止其發展，同時這樣做也是不可取的；相反，整個社會和AGI 的開發者必須想辦法把它做好。
雖然我們無法準確預測會發生什麼，當然我們目前的進展可能會碰壁，但我們可以闡明我們最關心的原則：
- 我們希望AGI 能夠賦予人類在宇宙中最大程度地繁榮發展的能力。我們不希望未來成為一個不合格的烏托邦，但我們希望將好的一面最大化，將壞的一面最小化，讓AGI 成為人類的放大器。
- 我們希望AGI 的好處、獲取和治理得到廣泛和公平的分享。
- 我們希望成功應對巨大風險。在面對這些風險時，我們承認理論上似乎正確的事情在實踐中往往比預期的更奇怪。我們認為，我們必須通過部署功能較弱的技術版本來不斷學習和適應，以最大程度地減少“一次就可以搞定”的情況。
短期願景
我們認為現在有幾件事很重要，可以為AGI 做準備。
首先，隨著我們不斷創建更強大的系統，我們希望部署它們並獲得在現實世界中操作它們的經驗。我們相信這是謹慎管理AGI 存在的最佳方式——逐漸過渡到AGI 世界比突然過渡要好。我們期望強大的AI 能夠加快世界進步的速度，我們認為最好是逐步適應這一點。
漸進的過渡讓民眾、政策制定者和機構有時間了解正在發生的事情，親身體驗這些系統的好處和缺點，調整我們的經濟，並實施監管。它還允許社會和AI 共同進化，並允許人們在風險相對較低的情況下共同弄清楚他們想要什麼。
我們目前認為，成功應對AI 部署挑戰的最佳方法是採用快速學習和謹慎迭代的緊密反饋循環。社會將面臨AI 系統被允許做什麼、如何消除偏見、如何處理工作崗位流失等重大問題。最佳決策將取決於技術所採用的路徑，並且與任何新領域一樣，到目前為止，大多數專家預測都是錯誤的。這使得在真空中進行規劃非常困難。
一般來說，我們認為在世界上更多地使用AI 會帶來好處，並希望推廣它（通過將模型放入我們的API 中，將它們開源等）。我們相信，民主化的訪問也將導致更多更好的研究、去中心化的權力、更多的利益以及更多的人貢獻新的想法。
隨著我們的系統越來越接近AGI，我們對模型的創建和部署變得越來越謹慎。我們的決定將需要比社會通常對新技術應用的謹慎得多，也比許多用戶希望的謹慎得多。 AI 領域的一些人認為AGI（和後繼系統）的風險是虛構的；如果結果證明他們是對的，我們會很高興，但我們將把這些風險視為真實存在。
在某些時候，部署的利弊之間的平衡（例如授權惡意行為者、造成社會和經濟破壞以及加速不安全的競賽）可能會發生變化，在這種情況下，我們將圍繞持續部署顯著改變我們的計劃。
其次，我們正在努力創建更加一致和可控的模型。我們從GPT-3 的第一個版本等模型到InstructGPT 和ChatGPT 的轉變就是一個早期的例子。
特別是，我們認為重要的是社會就如何使用AI 達成極其廣泛的界限，但在這些界限內，個人用戶有很大的自由裁量權。我們最終的希望是世界機構就這些廣泛的界限應該是什麼達成一致；在短期內，我們計劃對外部輸入進行實驗。世界上的機構將需要通過額外的能力和經驗得到加強，以便為有關AGI 的複雜決策做好準備。
我們產品的“默認設置”可能會受到很大限制，但我們計劃讓用戶可以輕鬆更改他們正在使用的AI 的行為。我們相信賦予個人做出自己的決定的權力和思想多樣性的內在力量。
隨著我們的模型變得更加強大，我們將需要開發新的對齊技術（並進行測試以了解什麼時候我們的技術會失敗）。我們的短期計劃是使用AI 來幫助人類評估更複雜模型的輸出並監控複雜系統，而從長遠來看，使用AI 來幫助我們提出新的想法以實現更好的對齊技術。
重要的是，我們認為我們經常需要在AI 安全和能力方面共同取得進展。分開談論它們是錯誤的二分法。它們在很多方面是相關的。我們最好的安全工作來自與我們最有能力的模型一起運行。也就是說，提高安全進步與能力進步的比率很重要。
第三，我們希望就三個關鍵問題展開全球對話：如何治理這些系統，如何公平分配它們產生的收益，以及如何公平共享訪問權限。
除了這三個領域之外，我們還嘗試以一種使我們的激勵措施與良好結果相一致的方式來建立我們的結構。我們的章程中有一個條款是關於協助其他組織提高安全性，而不是在後期AGI 開發中與他們競爭。我們對股東可以獲得的回報設定了上限，這樣我們就不會被激勵去嘗試無限制地獲取價值，也不會冒險部署具有潛在災難性危險的東西（當然也是作為與社會分享利益的一種方式）。我們有一個非營利組織來管理我們，讓我們為人類的利益而經營（並且可以凌駕於任何營利利益之上），包括讓我們做一些事情，比如在安全需要的情況下取消我們對股東的股權義務，並贊助世界上最全面的UBI 實驗。
我們認為像我們這樣的努力在發布新系統之前提交獨立審計是很重要的；我們將在今年晚些時候更詳細地討論這個問題。在某些時候，在開始訓練未來系統之前獲得獨立審查可能很重要，並且對於最先進的努力來說，同意限制用於創建新模型的計算增長率。我們認為關於AGI 工作何時應停止訓練運行、確定模型可以安全發布或從生產使用中撤出模型的公共標準很重要。最後，我們認為重要的是世界主要政府對超過一定規模的培訓有洞察力。
長期願景
我們認為，人類的未來應該由人類決定，與公眾分享有關進步的信息很重要。應該對所有試圖建立AGI 的努力進行嚴格審查，並對重大決策進行公眾諮詢。
第一代AGI 將只是智能連續體上的一個點。我們認為進展很可能會從那裡繼續，可能會在很長一段時間內保持我們在過去十年中看到的進展速度。如果這是真的，世界可能會變得與今天截然不同，風險可能會非常大。一個錯位的超級智能AGI 可能會對世界造成嚴重的傷害；一個擁有決定性超級情報領導的專制政權也可以做到這一點。
可以加速科學發展的AI 是一個值得思考的特例，也許比其他任何事情都更有影響力。有足夠能力加速自身進步的AGI 可能會導致重大變化以驚人的速度發生（即使過渡開始緩慢，我們預計它在最後階段也會很快發生）。我們認為較慢的起飛更容易確保安全，並且AGI 努力在關鍵時刻減速可能很重要（即使在我們不需要這樣做來解決技術對齊問題的世界中，減速可能對給社會足夠的時間來適應非常重要）。
成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望、最可怕的項目。成功遠未得到保證，而利害關係（無限的下行和無限的上行）有望將我們所有人團結起來。
我們可以想像一個人類繁榮到我們任何人都無法完全想像的程度的世界。我們希望為世界貢獻一個與這種繁榮相一致的通用人工智能（AGI）。
感謝Brian Chesky、Paul Christiano、Jack Clark、Holden Karnofsky、Tasha McCauley、Nate Soares、Kevin Scott、Brad Smith、Helen Toner、Allan Dafoe 和OpenAI 團隊審閱本文的草稿。
展開全文打開碳鏈價值APP 查看更多精彩資訊
