OpenAI 的對齊負責人兼「Superalignment」團隊的負責人Jan Leike 離開了該公司,因為他擔心該公司的優先事項,他認為該公司更關注產品開發而不是人工智慧安全。
雷克於5 月17 日透過社群媒體平台X(以前稱為Twitter)上的一系列貼文公開宣布辭職。他表示,OpenAI 領導層對核心優先事項的選擇是錯誤的,隨著AGI 發展的不斷推進,他們應該更加重視安全和準備。
Jan Leike 的安全擔憂和內部分歧
Leike 在OpenAI 工作了大約三年,他在貼文中指出,圍繞人工智慧安全的文化和流程被「閃亮產品」的開發所忽視。他對資源分配表示擔憂,並表示他的團隊需要幫助來獲得進行重要安全研究所需的運算能力。
建造比人類更聰明的機器本質上是一項危險的工作。
OpenAI 代表全人類承擔著巨大的責任。
— Jan Leike (@janleike) 2024 年5 月17 日
雷克引用道:「建造比人類更智慧機器本身就是一項危險的任務。」這顯示了OpenAI 對人類的責任。
他的辭職幾乎與Ilya Sutskever 的離職同時發生。 「Superalignment」團隊共同負責人、OpenAI 首席科學家Sutskever 已於幾天前宣布辭職。 Sutskever 的離職引人注目,因為他是OpenAI 的聯合創始人,並參與了各種研究項目,包括ChatGPT 的開發。
超級聯盟團隊的解散
鑑於最近的辭職,OpenAI決定解散「Superalignment」團隊,其職能將與公司其他研究項目合併。彭博社表示,這項決定是自2023 年11 月治理危機以來一直在進行的內部重組的結果,當時執行長薩姆·奧爾特曼(Sam Altman) 被暫時解職,總裁格雷格·布羅克曼(Greg Brockman) 失去了董事長職位。
「Superalignment」團隊是為了應對先進人工智慧系統帶來的生存風險而創建的,負責開發控制和操縱超級智慧人工智慧的解決方案。他們的工作被認為是為下一代人工智慧模型做準備的最重要的工作。
儘管該團隊已解散,但OpenAI 承諾,關於長期人工智慧風險的研究將在約翰·舒爾曼(John Schulman) 的指導下繼續進行,他還領導著一個團隊,開發如何在訓練後微調人工智慧模型。
OpenAI的當前軌跡與前景
Leike 和Sutskever 辭職以及「Superalignment」團隊解散後,OpenAI 對人工智慧安全和治理進行了高層審查。這是長期深思熟慮和分歧的結果,特別是在薩姆·奧爾特曼被解僱後又重新受聘之後。
此次離職和重組表明,OpenAI 在繼續開發和發布先進人工智慧模型的同時,可能不會致力於安全性。最近,OpenAI 推出了一種新的「多模式」人工智慧模型GPT-4o,它可以更自然地以幾乎像人類一樣的方式與人類互動。這項成果雖然證明了OpenAI的技術能力,但也揭露了涉及隱私、情緒操縱和網路安全風險的倫理問題。
儘管有許多騷動,OpenAI 仍然堅持主要目標,即安全地創造AGI,造福人類。 OpenAI 執行長Sam Altman 在X 上的一篇貼文中承認了雷克的工作,並強調了公司對人工智慧安全的承諾。
「我非常感謝 @janleike 對OpenAI 的一致性研究和安全文化做出的巨大貢獻,對於他的離開我感到非常難過。他是對的,我們還有很多工作要做; 我們決心這樣做。我將在接下來的幾天內發布更長的版本,」奧特曼寫道。
另請閱讀:幣安推動SHIB、USTC、AGIX 流動性和交易提振
OpenAI 高層Jan Leike 辭職後,呼籲加強AGI 安全措施首先出現在CoinGape 上。
資訊來源:由0x資訊編譯自COINGAPE。版權所有,未經許可,不得轉載