全球科技業兩年裁員40萬，LLM博士卻拿620萬年薪offer？

原文來源：新智元

圖片來源：由無界AI生成

國外的科技業工作者，日子也不好過。

在2022年和2023年，全球的科技公司總共裁掉了超過40萬人。

裁員的公司幾乎囊括了科技業中的各個賽道。

剩下的工作崗位，競爭越來越激烈。找一份技術工作，仍然是一場惡夢。

科技業求職：一團糟

花數小時修改履歷，再奔赴幾十場面試，招聘會成為了一場飢餓遊戲。

如今在科技業找工作，真心沒那麼容易。

在過去的一年裡，這個曾經永不沉沒的產業，迎來了一次大清算。

根據追蹤科技業裁員情況的網站Layoffs.fyi報道，2022年和2023年，全球科技公司裁員已經超過40萬人。

在裁員一年後，許多求職者仍然面臨嚴峻的就業形式。在這個曾經意味著高薪、豐厚福利的有保障的行業裡，他們必須奮力廝殺，去爭取變得更少的崗位。

線上就業市場ZipRecruiter的首席經濟學家Julia Pollak表示，科技就業市場目前還沒有顯示任何改善的跡象。

在新冠疫情發生以前，以及疫情期間，資訊產業一直都在保持成長。

然而，在過去一年裡，整個產業的工作卻減少了2.5%。

這也意味著，更多的人會在同樣的職位上待更長的時間，晉升的機會也被扼殺了。

當然，在傳統科技產業之外，政府和醫療保健領域仍然需要技術人員，只不過，這裡的薪水不會太高。

Meta谷歌亞馬遜，裁員數萬

最近幾個月，Meta、Google和亞馬遜等大型科技公司，裁掉了數萬人。許多公司也隨之凍結了招募。

谷歌，Meta，X（Twitter）3家公司從去年底到今年裁員就接近4萬人

Meta最近重新僱用了數十名去年11月裁掉的員工，然而，與去年秋天裁掉的1.1萬人相比，這只不過是杯水車薪。

而且重新招募回去的人員，也要接受不同程度的調職調薪。

今年，Meta又在專注於元宇宙的Reality Labs部門裁掉了1.2萬人。

在疫情嚴重的2020年，Meta曾經大肆招人，以至於招募的人數遠遠超過了所能承受的範圍，而Meta的員工們正在為此付出代價。

高通再啟大裁員，超1200人被裁

而且，裁員大潮依然在科技業全產業持續。

就在10月12日，晶片巨擘高通宣布計畫裁員1,258人。高通在9月時共有約51,000名員工，這次裁員的比例約為2.5%。

在這之中，高通的工程團隊將裁員750多人，影響範圍包括從高階主管到技術人員等多個層級。

與2022年的支出相比，高通在今年已將成本基礎削減了約5%。而裁員，便是行之有效的措施。

每年，高通都會有數十億美元的營收。考慮到全球智慧型手機銷量的下跌，業界預計高通今年的營收可能會縮減約19%。

「男性」求職者，蜂擁到「女性」招聘會

科技市場的長期低迷，正滋長著一股焦慮。

9月的Grace Hopper大會，原本是為女性和non-binary的科技工作者舉辦的年度會議及職業招聘會，卻有一群看起來是男性的求職者蜂擁而至。

可見電腦科學專業的學生在完成學業、準備找工作時，是多麼焦慮。

Kari Groszewska是范德比爾特大學電腦科學和經濟學的大四學生，她也參加了這次Hopper會議。

當她提早15分鐘到達博覽會大廳，卻發現與等著和公司交談的求職隊伍已經排了幾個小時。

跟前一年相比，今年的情況明顯非常嚴峻。這讓Groszewska感到非常沮喪，因為她明年畢業，但現在還沒找到工作。

為了求職，Groszewska在學習電腦專業期間，做了一切「正確的事情」，包括自己做專案、爭取實習、參加俱樂部。

然而，即將進入的就業市場，卻顯出了無比殘酷的一面。

失業者壓力重重

而其他失業和無業者，都已感受到了巨大的壓力。

Nia McSwain學的是飯店專業，但她想轉行進入科技業，成為專案經驗。

在過去一個月裡，她從早到晚地投遞履歷，大概每天要申請40個職位。

全端工程師Philip John Basile在5月離職了，從8月開始，他一直在找新工作。

過去一個月裡，他平均每天都有3場面試，似乎有幾次已經接近被錄取，卻始終沒有收到offer。

Basile主要透過LinkedIn和Discord來建立關係網。他從前認識的許多HR都失業了，所以他必須努力建立新的關係。

Basile還在利用空閒時間，研究現在那些火辣的AI工具，不斷調整自己的履歷－從10頁減到2頁，然後又增到24頁。

現在工作機會，然而找工作的人更多。所以，Basile希望盡量做到獨一無二。

用他的話說，就是「如果要和一千個人競爭，你就必須在這一千個人中脫穎而出。」

裁員給在美國的外國務工者也帶來了很大壓力，在失去工作後，他們需要盡快找到下一份工作，才能留在美國。不過數據顯示，許多人都能在下崗後找到新工作。

而在緊缺的市場中，勞動力的供應是充足的——截至7月31日，今年美國的H-1BVisa申請已經提交了約78萬份。

這一數字比前一年增長了60%以上，以至於讓相關機構不得不懷疑是否有人在重複提交申請。

要知道，每年H-1B的發放上限，是85,000個。

薪資中位數7.9萬刀，但小白免談

而職場小白想找工作，也變得更難了。

勞動市場分析公司Lightcast的高級經濟學家Rachel Sederberg發現，招募入門級員工的職位明顯減少，現在各大公司都傾向於招募經驗的員工。

這也導致了美國科技業招聘崗位的薪資中位數從一年前的6.1萬美元，躍升至今年秋季的7.9萬美元。

Sederberg表示，很多公司在調整策略，重組規模，然後重新招募。現在，很多公司在招募不同背景的人才。

有趣的是，ChatGPT也扮演了一些角色：求職者在用類似的聊天機器人寫履歷和求職信，這樣就能在更短時間內申請更多的工作。

然而，這也給招募人員帶來了一些困擾，他們需要更仔細地篩選。

產品經理Kimi Kaneshina失業後，現在每天朝九晚五的時間都花在了求職上，之後還會上傳記錄自己求職過程的TikTok影片。

她從7月就開始求職，在9月投遞了更多的履歷，然而三個月過去了，她還是沒能找到新工作。

儘管如此，這種轉變也為科技界帶來了正面的改變。

人們開始在LinkedIn和TikTok上公開發布自己被裁員的訊息，彼此建立聯繫，包括去聯繫理想公司的員工。

由於被裁的人實在太多，談論裁員也變得更容易接受了。

Kaneshina說：有HR告訴我，自己面試的求職者中，有一半都被裁員了。

現在，即使說出這種話，也可以不帶任何恥辱感了。

AI研究工作市場，博士年薪620萬

雖然就業市場哀鴻遍野，但有技術的大牛依然不愁高薪的工作，甚至還能在各大廠和巨型獨角獸之間「挑揀揀揀」。

最近，一位UC柏克萊的博士生Nathan Lambert，也分享了現在AI就業市場的亂象，以及自己找工作的經驗。

市場上有很多工作，但是找到一個讓人快樂的公司和以前一樣難。

Nathan Lambert最近剛離職Huggingface，並組建了RLHF團隊。

他表示，人工智慧就業市場不穩定最主要的「催化劑」，就是對生成式AI的投資。

其實，生成式AI和大模型領域的工作機會非常多。許多想要招募的人都在為，如何招到自己想要的人而倍感壓力。

很多大公司想要招在LLM領域的人，但市場卻沒有足夠的技術人才。

研究人員一舉一動都在無聲地向我們證實，AI公司需要研究人員來完成從概念到實驗，再到產品的轉變。

正是這些人，得以讓模型訓練、產品決策與公司發展策略保持一致。

接下來，就要談談研究人員獲得的報酬了。

大多數人，即除了站在學術頂端之外的所有人（他們的報酬仍然很高，只是沒有那麼高），都在可預見的未來獲得大部分有保障的巨額報酬的機會，與“即使我的新創公司失敗了，我也至少能賺幾百萬」的想法中做出權衡。

在這個人工智慧主導市場中，每個人都希望賺大錢。

這種「追求淘金熱」的想法，導致人們意向的工作機構發生了很大的變化。許多公司的人員流動率，以及自然減員率都很高，以至於每個人都感到不安。

這樣情況已經不足為奇，大型科技公司裁員潮最為明顯，但也不侷限在這樣的公司。

Nathan Lambert稱，自己見過頂尖研究人員加入不同的公司，但在6個月內就離職了。

優秀博士能拿85萬刀（約620萬人民幣）

我們剛剛談論的薪酬數字，是指OpenAI支付給頂尖研究人員100萬美元。

在ChatGPT發布之前，剛畢業的博士生最高能拿到500-60萬美元的薪水。

而現在，最優秀的博士生能拿到85萬美元（這是今年稍早的一些數據）。只要在求職中願意表達對生成式AI較為模糊的興趣，其他人都能以這項薪資起步。

谷歌的招募是該領域的一個很好的指標。

眾所周知，GoogleDeepMind將所有項目分為三類：Gemini（即將發布的大型模型）、與Gemini相關的應用研究（6-12個月）、基礎研究（超過12個月）

谷歌DeepMind的所有員工都負責前兩類，其中大部分屬於第一類。

在大廠Meta中，也有了另一種劃分優先順序的方式。

借用Llama團隊中某人的話說，Meta GenAI團隊中的每個人，都應該把大約70%的時間用在增量模型改進上，30%的時間花在長期基礎工作上。

恰恰，這與作者的想法比較一致，但我們很可能會知道Meta正在哪些支柱領域（LLM、文字到圖像、音訊等）開展工作，而且他們會快速推動這些模型。

從結構上看，以「開放研究和科學」為優先順序的公司極為罕見。即使有人以學術型研究科學家的身份加入，現實總是會將人們拉入商業需求中（尤其是在新創公司）。

在所有生成式AI投資中，最讓作者感到興奮的是，Transformer架構將比過去的大多數想法走得更遠。

將一群興趣相投、背景各異的頂尖人才聚集在一起，是確保我們挖礦Transformer最大潛力的絕佳方式。

學術界仍然舉足輕重

在GenAI革命中，學術界仍將發揮重要作用。

例如，由UC伯克利、UCSD、CMU和MBZUAI等機構共建立的LMSYS，不僅訓練出了紅極一時的Vicuna模型，而且還製作了相關的推理和訓練庫，收集了大量模型比較數據，並設計了一個後來被廣泛使用的基準測試等等。

所有這些工作本身都很有影響力，即便其中只有一部分發表了論文。

同時，像EluetherAI和LAION這樣的研究組織也取得了相當可觀的進展。

如果以arXiv論文的數量來衡量，RLHF研究的速度自8月以來，已經有了明顯的提升。

求職經歷

在職1年半，作者剛結束了在HuggingFace的工作。

他發現，在這裡為自己的工作獲得知名度，比做好工作更難。

以下是他本人在工作中總結的重要經驗：

– 如果你不主動宣傳和交換自己的研究，別人也不會這樣做。然而人們不喜歡這樣的現實。

– 開源發展非常快，因此需要智慧領導者，以最大限度地發揮集體的力量。

– 開源ML還處於早期階段。我們正在弄清楚做開源ML意味著什麼，OSS將永遠改變。

– 開源在多元化方面取得了成功。僅僅因為有人在嘗試類似的東西並不意味著你應該停止。

– RLHF尚未充分開發。

對於HuggingFace這樣的新創公司的對外媒體策略，他也是又愛又恨。這樣的公司知道，如何幫助自己在公眾輿論中成長，這一點很重要。

Nathan Lambert知道這次工作變動即將來臨，所以需要了解工作市場。他在博士畢業時寫過一篇關於求職的文章，也頗受歡迎。

其中，關於建立人際關係網、主動出擊、提高知名度和積極進取的價值觀都適用。

這作者著所做的具體工作，主要圍繞著一個高度專業化和需求旺盛的AI領域，但目標更加明確——找到一個能讓自己繼續學習RLHF（科學和工程系統）的地方，而且這個地方足夠開放，並可繼續進行播客。

他表示，自己不想成為任何創辦人、創始工程師、大公司的齒輪等等。

在篩選公司名單時，作者pass掉了蘋果、波士頓動力人工智慧研究所、以及與許多新創公司等。

作者認為，即使是那些覺得與自己很有共鳴的公司，他也發現這些人都很難清楚地表達「我到底要做什麼」。

今年上半年，作者剛為建立RLHF pipeline付出了巨大的努力，現在即將要重新開始，這並不令人興奮。

不管怎麼說，事實上，大多數人都不知道「你現在要做什麼」，你仍然無法百分之百地選擇自己的方向。

這樣一來，選擇其實就不多了（依照學術性從高到低排序）：

Cohere for AI（現場面試後被拒絕）

入職後，他會加入一個小團隊，負責強化學習方向。

公司特意組建了一個小團隊，為想發表論文的Cohere工程師提供機會。團隊中的每個人都很優秀，作為遠距工作來說非常不錯。

不過，考慮到在Hugging Face的經歷，作者很難加入這樣一個對公司的產品和發展不重要的團隊。

艾倫人工智慧研究所（AI2）（offer）

拿到Offer，是作者沒想到的。

艾倫AI研究所曾是介於Google大腦和學術研究小組之間的組織，現在則轉向了工程學方向，發展大語言模型。

他們在諮商、工程、自主研究等方面表現得有些含糊，但對於發展NLP，則有著堅定的承諾。

後來作者意識到，他們需要有人來幫忙理解RLHF。

Scale AI（口語offer）

這家公司正轉向RLHF和訓練後的研究領域，作為LLM訓練公司的專業資料提供商，他們的業務正在大幅成長。

入職後，你可以做一些研究，在從事RLHF研究的人中可以獲得最多的數據。有時，也可以幫客戶做些集成，建立實驗室。

理論上，這是作者面試過的最令人興奮的地方。但因為某些原因，他覺得與自己交談過的人中，並沒有誰引起自己的強烈共鳴。

有時候就是這樣，並不是所有優秀的人都能在一個團隊中共事。

Mosaic，現在的Databricks（offer）

就像每家新創公司一樣，Mosaic希望讓RLHF簡單易用，並發揮影響力。

這裡團隊輸出非常穩定，並繼續向公眾發布一些模型，或論文。

然而，作者擔憂到，由於公司剛被收購，未來在開源上的動力可能不足。

Meta，Llama團隊（現場面試後被拒絕）

在最先進的開源模型公司工作一段時間，大家都有這樣的想法。

不過讓Lambert為難的是，他不願意加入大公司、大團隊。

但如果關心開源技術，顯然去Meta是一個很好的選擇。

谷歌DeepMind（已撤回）

谷歌正在到處招募RLHF的人。這裡的資源和基礎設施都無與倫比，但Google是Lambert接觸過的最封閉的公司，你得費很大勁才能了解自己進去要做什麼。

幾個團隊大多有自己的專長領域，正在研究如何改進該領域的工具。

作者接觸過的兩個團隊，分別做的是多模態RLHF和LLM Agent。

但在他看來，這種模糊性會讓Google的offer遠不如Llama團隊那麼吸引人。

Contextual AI（口頭offer）

在Lambert接觸過的許多新創工人中，他們做事的方式都很合理、很親民。

但在作者看來，建立一個有生命的企業，不只是投擲收購的篩子，也需要延後建立以顧客為中心的企業文化。

Contextual為作者提供了一個不錯的技術人員+科學傳播者職位。

如果辦公地點在舊金山，通勤時間不長，反而有可能會接受offer。

另外，作者從最初就沒考慮過面試OpenAI，因為他們不缺RLHF專家。

輕量級面經

Nathan Lambert表示，自己經歷的面試都非常輕鬆，更多的是研究聊天，一些程式設計測驗。

如果想找一份LLM的工作，大部分問題都會與各種內部元件的功能有關。比如：

– 注意力在實現層面是如何運作的。（可以參考nanoGPT等資料）

– 多GPU訓練的基礎知識，估算VRAM使用量，透過超參數來減少模型的佔用空間（例如量化）。

– 正規化工具，如批量歸一化、權重衰減等。

除了技術之外，還需要根據公司的具體情況，闡述自己在加入之後能貢獻些什麼。

此外，許多公司都會查看履歷上列出的GitHub倉庫和HuggingFace工具，這可能比複雜的研究計畫更容易談論。

參考資料：

https://www.wired.com/story/tech-jobs-layoffs-hiring/

https://www.interconnects.ai/p/ai-research-job-market

https://siliconangle.com/2023/10/12/qualcomm-says-will-lay-off-1200-staff-california/