原文作者：hmalviya 9
原文編譯：Frank，Foresight News
編者註：《Attention Is All You Need》論文發表於2017 年，截止目前被引用超11 萬次，它不僅是當今以ChatGPT 為代表的大模型技術起源之一，其中介紹的Transformer 架構和注意力機制也被廣泛用在了Sora、AlphaFold 等眾多或將改變世界的AI 技術之中。
「Attention Is All You Need」，這篇研究論文徹底改變了現代人工智慧（AI）的未來。在這篇文章裡，我將深入探討Transformer 模式和AI 的未來。
2017 年6 月12 日，八位Google工程師發表了一篇名為「Attention Is All You Need」的研究論文，這篇論文討論了一種改變現代AI 未來的神經網路架構。
而就在剛剛過去的2024 年3 月21 日的GTC 大會，英偉達創始人黃仁勳與那8 位Google 工程師進行了一次小組討論，並感謝他們引入了Transformer 架構，使現代AI 成為可能，令人驚訝的是，NEAR 的創辦人居然也在這份8 人名單中。
什麼是Transformer？
Transformer 是一種神經網路。
什麼是神經網路？它受人類大腦結構和功能的啟發，透過大量的人工神經元互相連結進行資訊處理，但卻不是人類大腦的完全複製品。
簡單理解的話，人腦就如同亞馬遜雨林，擁有許多不同的區域，以及連接這些區域的眾多通路。而神經元就好比這些通路間的連接器，它們可以向雨林的任何部分發送和接收訊號，因此連接就是通路本身，負責連接兩個不同的腦部區域。
這讓我們的大腦擁有非常強大的學習能力，它可以快速學習、識別模式並提供準確的輸出結果。而像Transformer 這樣的神經網路試圖實現與人類大腦相同的學習能力，只不過它們目前的技術水平還達不到人類大腦的1% 。
近年來，Transformer 在生成式AI 方面取得了令人矚目的進步。回顧現代人工智慧的演進歷程，我們可以看到早期的人工智慧主要是像Siri 以及其他一些語音/ 辨識應用程式。
這些應用程式都使用循環神經網路（RNN）建構。 RNNs 存在一些限制，而這些限制已經被Transformers 所解決並改進——Transformers 引入了自註意力機制，使它們能夠同時分析任一序列的所有部分，從而捕捉長距離依賴關係和上下文內容。
對於Transformer 的創新週期來說，我們仍處於非常早期階段。 Transformer 有幾種不同的衍生版本，例如XLNet、BERT 和GPT。
而GPT 是其中最知名的一種，但它在事件預測方面仍然能力有限。
當大型語言模型（LLM）能夠根據過去數據和模式預測事件時，這將標誌著現代AI 的下一個重大飛躍階段，並且也將加速我們實現通用人工智慧（AGI）的步伐。
為了實現這種預測能力，大型語言模型（LLM）需要採用時間融合轉換器（TFT），它是一種基於不同資料集預測未來值的模型，也能夠解釋其所做的預測。
TFT 除了用於預測之外，還可以用於區塊鏈領域。透過在模型中定義特定規則，TFT 可以自動執行以下操作：有效管理共識流程、提高出塊速度、獎勵誠實驗證者、懲罰惡意驗證者。
區塊鏈網路本質上可以為具有較高聲譽分數的驗證者提供更多的區塊獎勵，這可以基於他們的投票歷史、區塊提案歷史、Slash 歷史、Staking 金額、活躍度和其他一些參數來建立。
公鏈的共識機製本質上是驗證者之間的一種博弈，需要超過三分之二的驗證者就誰來創建下一個區塊達成一致。在這個過程中，可能會出現許多分歧和爭論，這也是以太坊等公鏈網路效率低的一個因素。
TFT 可以作為一種共識機制，透過提升出塊時間並根據區塊生產信譽獎勵驗證者，從而提高效率。譬如將TFT 模型應用於共識過程的BasedAI，就是將利用該模型在驗證者和網路參與者之間分配代幣發行量。
BasedAI 也提出利用FHE 技術，讓開發者可以在其名為「Brains」的去中心化AI 基礎設施上託管隱私保護的大型語言模型（Zk-LLMs），透過將FHE 技術整合到大型語言模型中，可以做到在使用者選擇啟用個人化AI 服務時，保護他們的隱私資料。
當人們確信資料會受到加密貨幣保護並且完全隱私的前提下，願意貢獻資料的時候，或許我們就將實現通用人工智慧（AGI）的突破，這一空白正在由專注於隱私的技術填補，例如nillionnetwork Blind Computation、零知識機器學習（ZkML）和同態加密貨幣（FHE）技術。
然而，所有這些注重隱私保護的技術都需要大量的運算資源，這使得它們仍處於應用的早期階段。