來源：機器之心
未來十年需求最高的工作，是「AI 工程師」？
ChatGPT 出現後，人們預測「所有行業都要通過AI 進行重塑」，有些工作會被代替，也有工作會改變形式。作為把AI 造出來的程序員，他們的職業會變成什麼樣？
最近，事情看起來有了譜，一群工程師和學者喊出了「AI 工程師」的概念，獲得了眾多響應：
由於GPT-4 等大語言模型展現出的通用化且強大的能力，我們的工作方式或許很快就會轉變成和AI 協同工作，跟上人工智能的步伐本身就是一項全職工作。
據說，這個「AI 工程師」處於全棧工程師和機器學習工程師之間，佔據後端工程師的一部分，專注於大模型的構建。現在它還處於定義階段，不過看大家熱烈討論的樣子，距離落地應該不遠了，畢竟ChatGPT 革命的速度就是這麼快。
想法一出，AI 領域大v 們迅速有了點評。 OpenAI 科學家、前特斯拉AI 和自動駕駛主管Andrej Karpathy 表示贊同。 「大模型創建了一個全新的抽象和專業層，到目前為止，我把它稱為『提示工程師』，但現在不止是提示的問題。」
另外他指出四個要點：
過去的機器學習工作通常要從頭開始訓練算法，而結果一般性能有限。大模型訓練與傳統機器學習有很大不同，前者係統工作量很大，進而分裂出一種新角色，專注於在超級計算機上對Transformer 進行大規模訓練。從數字上看，AI 工程師的數量可能會比機器學習工程師/ 大模型工程師多得多。你無需接受任何訓練就可以成功擔任這一角色。
馬斯克看完以後也說了：
職位需求大，有重要意義且門檻低，看起來讓人既興奮又焦慮。
在討論中，也有人提出了「認知工程師」、「AI 系統工程師」等名稱作為候選，英偉達AI 科學家Jim Fan 認為這種新興的職業應該被稱為「無梯度工程師」—— 從傳統工具1.0，到神經網絡2.0，再到無梯度架構的3.0，我們終於等來了GPT 系列自我訓練的4.0 版本。
對此，威斯康星大學助理教授Sebastian Raschka 表示，這僅適用於通用助理，對於大多數業務，你也不需要「通用」。
名稱和定義給了很多，讓我們看看這個「AI 工程師」到底是什麼樣的職位？
在基礎模型的突破性能力和開源大模型、API 的推動下，我們正在見證應用人工智能十年一次的轉變。
在2013 年需要花費五年時間和一個研究團隊才能完成的人工智能任務，現在只需要API、文檔和2023 年一個空閒的下午即可完成。
然而，細節決定成敗—— 應用和產品化人工智能的挑戰無窮無盡：
模型上，有從最大的GPT-4 和Claude 模型，到開源的Huggingface、LLaMA 和其他模型； 工具上，從最流行的鏈接、檢索和矢量搜索工具（如LangChain、LlamaIndex 和Pinecone）到新興的自主代理領域（如Auto-GPT 和BabyAGI）； 技術上，每天新提交的論文、模型和技術的數量隨著興趣和資金的增加而呈指數級增長，以至於了解這一切幾乎已是一項全職工作。
若認真嚴肅地對待此種情況，這應該被認為是一份全職工作。因此，軟件工程將催生出一個新的子學科，專門研究人工智能的應用並有效地運用新興的堆棧，就像「站點可靠性工程師」（SRE）、「開發運營工程師」、「數據工程師」和「分析工程師」的出現一樣。
這個角色的全新（也是最不令人敬畏的）版本似乎是：人工智能工程師。
我們知道，每家創業公司都有某種討論AI 使用的Slack 頻道，很快這些渠道將從非正式團體轉變為正式團隊。目前，成千上萬的軟件工程師正致力於生產AI API 和OSS 模型，無論是在上班時間還是晚上和周末，在公司Slacks 或獨立Discords 中，這一切都將專業化併中心化在一個頭銜上：AI 工程師。
這可能是未來十年需求最高的工程工作。
人工智能工程師將隨處可見，從微軟和谷歌等科技巨頭，到Figma、Vercel 和Notion 這樣領先的初創公司，獨立開發者，如Simon Willison、Pieter Levels 和Riley Goodside。他們在Anthropic 進行的工程實踐，每年可以賺取30 萬美元，在OpenAI 構建軟件，每年能賺取90 萬美元。他們利用周末空閒時間在AGI House 思考想法，並在Reddit 的/r/LocalLLaMA 專區上分享技巧。
他們的共同點是，幾乎可以在一夜之間就能把人工智能的進步轉化為數百萬人使用的實際產品。而在其中，你看不到一個博士學位的頭銜。在交付人工智能產品時，你需要的是工程師，而不是研究人員。
AI 工程師與ML 工程師的大反轉
在Indeed 網站上的一組數據表明，機器學習工程師的職位數量是AI 工程師職位數量的10 倍，但相比較而言，AI 領域的增長速率更快一些，有預測認為這種比例將在五年內發生反轉，即AI 工程師將會是ML 工程師的數倍。
HN Who’s Hiring（其是黑客News 上的一個月度帖子，它提供了一個平台，供雇主發布招聘信息） 不同類別的月度就業趨勢
一直以來，關於AI 和ML 之間差異的爭論無休無止，但又小心謹慎。我們也很清楚，職位為普通的軟件工程師完全可以構建起AI 軟件。然而，最近大家又在圍繞另一個問題展開討論，即在黑客News 的一個熱帖「如何進入AI 工程」引起了大家的廣泛興趣，這則熱門帖子也說明了市場上仍然存在的基本限制原則，對每個職位的區分還是很細的。
Hacker News 上2023 年6 月一個帖子的截圖：「如何進入AI 工程」的熱門投票答案。
直到現在，還有很多人認為AI 工程是ML 工程或數據工程的一種形式，所以當有人詢問如何進入某一領域時，他們傾向於推薦相同的先決條件，如在上面的回答中，很多人推薦了吳恩達（Andrew Ng）的Coursera 價格。但那些高效的AI 工程師中沒有一個人完成過吳恩達在Coursera 上的價格，他們也不熟悉PyTorch，也不知道數據湖（Data Lake）和數據倉庫（Data Warehouse）之間的區別。
在不久的將來，沒有人會建議通過閱讀Transformer 的論文《Attention is All You Need》來開始學習AI 工程，就像你不會通過閱讀福特T 型車的設計圖紙來開始學習駕駛一樣。當然，理解基本原理和技術的歷史進展是有幫助的，它可以幫你找到提高思路和效率的方法。但有時你也可以通過使用產品，以實際經驗來了解它們的特性。
AI 工程師與ML 工程師的反轉不會在一夜之間發生，對於擁有良好的數據科學和機器學習背景的人來說，Prompt 工程和AI 工程可能會在很長一段時間內不被看好。然而，隨著時間的推移，需求和供應的經濟規律將會佔上風，人們對AI 工程觀點也會改觀。
為什麼AI 工程師會興起？
在模型層面，現在很多基礎模型是少樣本學習器，具有很強的上下文學習以及零樣本遷移能力，模型展現出來的性能往往超越了訓練模型的最初意圖。換句話說，創建這些模型的人並不完全知道模型的能力範圍。而那些非LLM（大語言模型）專家的人可以通過與模型更多地交互，並將其應用於研究所低估的領域來發現和利用這些能力。
在人才層面，微軟、谷歌、Meta 以及大型基礎模型實驗室已經壟斷了稀缺的研究人才，他們提供了「AI 研究即服務」的API。你可能無法僱傭這種研究人員，但你可以租用他們的服務。現在全球大約有5000 名LLM 研究人員、5000 萬名軟件工程師。這一供應限制決定了處於「中間」類別的AI 工程師將會崛起，從而滿足人才需求。
硬件層面，各大科技公司、機構等大量囤積GPU，當然，OpenAI、微軟是第一個這樣做的，但Stability AI 通過強調他們的4000 個GPU 集群開啟了初創公司的GPU 競爭戰。
此外，一些新的初創公司開始崛起，如Inflection（13 億美元）、Mistral（1.13 億美元）、Reka（5800 萬美元）、Poolside（2600 萬美元）和Contextual（2000 萬美元）已經普遍開始籌集巨額種子輪融資，以擁有自己的硬件設施。
美國科技行業的高管和投資者Nat Friedman 甚至宣布了他們的Andromeda 計劃，該計劃是一座價值1 億美元、擁有10 exaflop 計算能力的GPU 集群，專門為其投資的初創公司提供支持。在API 領域的另一側，將會有更多的AI 工程師能夠使用模型，而不僅僅是訓練模型。
效率方面，與其要求數據科學家、機器學習工程師在訓練單個特定領域模型並投入生產之前進行繁瑣的數據收集工作，產品經理、軟件工程師可以通過與LLM 進行交互，構建和驗證產品想法。
假設後者（數據、ML 工程師）的數量是前者（AI 工程師）的100 到1000 倍，而通過與LLM 交互的工作方式會讓你比傳統的機器學習快10 到100 倍。因此，AI 工程師將能夠以比以往便宜10000 倍的方式驗證AI 產品。
軟件層面，會出現Python 到JavaScript 的變化。傳統上，數據和AI 領域以Python 為中心，而第一批AI 工程工具（如LangChain、LlamaIndex 和Guardrails）也以Python 為主。然而，JavaScript 開發者的數量至少應與Python 開發者數量相當，因此現在的工具越來越多地向這個方向擴展，從LangChain.js 和Transformers.js 到Vercel 的新AI SDK。 JavaScript 的市場總體規模的擴大和機遇是令人矚目的。
每當一個有著完全不同的背景、使用完全不同的語言、生產完全不同的產品、使用完全不同的工具的子群體出現時，他們最終會分裂成自己的群體。
代碼在軟件2.0 到軟件3.0 演進中的作用
6 年前，Andrej Karpathy 撰寫了一篇非常有影響力的文章，描述了軟件2.0，將精確建模邏輯的經典堆棧手寫編程語言與近似邏輯的機器學習神經網絡的新堆棧進行對比。文章表明軟件能夠解決更多問題，而這些問題是人類無法建模的。
今年，Karpathy 繼續發表文章指出，最熱門的新編程語言是英語，因為生成式AI 的提示可以理解為人類設計的代碼，很多情況下是英語，並由LLM 解釋，最終填補了他的K線走勢圖中的灰色區域。
注：軟件1.0（Software 1.0）的經典堆棧是用Python、C++ 等語言編寫的。軟件2.0 是用神經網絡權重編寫的，沒有人參與這段代碼的編寫過程，因為權重有很多。
去年，Prompt Engineering 成為一個流行的話題，人們開始將GPT-3 和Stable Diffusion 應用於工作。人們嘲笑AI 創業公司為OpenAI 盤點器，並對LLM 應用程序易受提示注入和反向提示工程的問題感到擔憂。
但2023 年很重要的一個主題是關於重新確立人類編寫的代碼的作用，從超過2 億美元的巨頭Langchain 到由英偉達支持的Voyager，顯示出代碼生成和重用的重要性。 Prompt Engineering 既被過度炒作又具有持久性，但在軟件3.0 應用程序中重新出現的軟件1.0 範式既是一個巨大的機遇，也為大量的創業公司創造了新的空間：
隨著人類工程師學會利用AI，AI 越來越多地接手工程工作，未來，當我們回頭看時，分辨出兩者之間的區別已經很困難了。
參考內容：
https://www.latent.space/p/ai-engineer
https://twitter.com/karpathy/status/1674873002314563584
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載