軟體開發人員和自稱電子表格愛好者的Ishan Anand 成功地將GPT-2 語言模型整合到Microsoft Excel 中，這是一項了不起的壯舉。這項突破性的成就不僅展示了電子表格的多功能性，而且還提供了了解大型語言模型(LLM) 如何運作的獨特視角，特別是負責智慧下一個令牌預測的底層Transformer 架構。
阿南德的開創性方法
阿南德體認到人工智慧系統固有的複雜性，認為理解電子表格可以解開人工智慧的秘密。 「如果你能理解電子表格，那麼你就能理解人工智慧，」他自信地說。開發人員的創新方法產生了一個1.25GB 的電子表格，他在GitHub 上慷慨地提供了該電子表格，供任何人下載和探索。
雖然Anand 對GPT-2 的電子表格實現可能無法與當代法學碩士的尖端能力相匹配，但它提供了對突破性GPT-2 模型的寶貴一睹，該模型因其最先進的性能在2019 年引起了廣泛關注。值得注意的是，GPT-2 早於對話式AI 時代，ChatGPT 是在2022 年推動GPT-3 對話式發展的努力中誕生的。
探索Transformer 架構
Anand Excel 實現的核心是GPT-2 Small 模型，該模型擁有1.24 億個參數。相較之下，GPT-2 的完整版本採用了驚人的15 億個參數，而其後繼者GPT-3 則將標準提高到了1,750 億個參數。儘管其規模相對適中，但Anand 的實現展示了Transformer 架構執行智慧「下一個標記預測」的能力，其中語言模型智慧地以最有可能的後續部分完成輸入序列。
雖然電子表格只能處理10 個令牌的輸入，與GPT-4 Turbo 的128,000 個令牌的容量相比只是很小的一部分，但Anand 的工作可以作為寶貴的教育資源。他認為他的「低程式碼介紹」對於尋求更好地了解法學碩士基礎的技術高管、行銷人員、產品經理、人工智慧政策制定者、倫理學家、開發人員和科學家來說是理想的選擇。
現代法學碩士的基礎
Anand 聲稱，他的GPT-2 實作中採用的Transformer 架構仍然是「OpenAI 的ChatGPT、Anthropic 的Claude、Google 的Bard/Gemini、Meta 的Llama 和許多其他法學碩士的基礎」。他的多頁工作指導使用者完成單字標記化、文字位置和權重、下一個單字預測的迭代細化，並最終選擇輸出標記——序列的預測最後一個單字。
Anand 基於Excel 的實作的顯著優勢之一是能夠在PC 上完全本地運行LLM，而無需依賴雲端服務或API 呼叫。不過，他警告不要嘗試在Mac 或基於雲端的電子表格應用程式上使用此Excel 文件，因為這可能會導致崩盤和效能問題。此外，Anand 建議使用最新版本的Excel 以獲得最佳效能。
雖然Anand 的GPT-2 實施可能無法與當代法學碩士的能力相匹配，但它是一種出色的教育工具，並證明了電子表格的多功能性。透過揭開語言模型內部運作的神秘面紗，阿南德的工作使來自不同背景的個人能夠更深入地了解人工智慧及其底層架構原理。
資訊來源：由0x資訊編譯自CRYPTOPOLITAN。版權歸作者John Palmer所有，未經許可，不得轉載